WO2021106278A1 - 作業支援サーバ、作業支援方法および作業支援システム - Google Patents

作業支援サーバ、作業支援方法および作業支援システム Download PDF

Info

Publication number
WO2021106278A1
WO2021106278A1 PCT/JP2020/030675 JP2020030675W WO2021106278A1 WO 2021106278 A1 WO2021106278 A1 WO 2021106278A1 JP 2020030675 W JP2020030675 W JP 2020030675W WO 2021106278 A1 WO2021106278 A1 WO 2021106278A1
Authority
WO
WIPO (PCT)
Prior art keywords
client
work
designated position
support
designated
Prior art date
Application number
PCT/JP2020/030675
Other languages
English (en)
French (fr)
Inventor
祐介 澤田
佐々木　均
誠司 佐伯
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to EP20892962.0A priority Critical patent/EP4044101A4/en
Priority to CN202080079410.3A priority patent/CN114730440A/zh
Priority to US17/774,241 priority patent/US20220389683A1/en
Publication of WO2021106278A1 publication Critical patent/WO2021106278A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2045—Guiding machines along a predetermined path
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2054—Fleet management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction

Definitions

  • the present invention relates to a work support server for supporting work by the operator using the work machine by communicating with a client assigned to the operator of the work machine.
  • a technique has been proposed for grasping the three-dimensional shape of a construction work site and accurately informing the construction machine operator of the relationship between the tension and the current finished shape, the travelable range, the dangerous range, etc. (for example, Patent Document 1). reference). Specifically, the distance images acquired from the stereo cameras arranged in the different places are integrated to generate the three-dimensional model data of the construction work site. Then, an image of the construction work site viewed from a virtual viewpoint designated by the operator of the construction machine is drawn based on the three-dimensional model data, and the image is displayed in the driver's seat of the construction machine.
  • an object of the present invention is to provide a server and a system that allows one operator to intuitively recognize advice or instructions from another operator when operating or operating a work machine. And.
  • the present invention relates to a work support server for supporting work using a work machine by each of the plurality of operators by communicating with each of a plurality of clients assigned to each of the plurality of operators.
  • the work support server of the present invention includes a first support processing element and a second support processing element, and the first support processing element and the first client are based on communication with the first client among the plurality of clients. Recognizing the route guidance request including the first designated position and the second designated position of the first work machine which is the linked work machine, the second support processing element is the second client among the plurality of clients. A map work environment image showing the first designated position and the second designated position included in the route guidance request recognized by the first support processing element based on the communication of the second client. It is output to the output interface, recognizes the guide path extending between the first designated position and the second designated position designated on the work environment image through the input interface of the second client, and recognizes the first designated position.
  • the support processing element is characterized in that, based on communication with the first client, a route guidance image corresponding to the guidance route recognized by the second support processing element is output to the output interface of the first client. ..
  • the work support system of the present invention is characterized in that it is composed of the work support server of the present invention and a client.
  • the first client is linked (or operated by communication with the first client).
  • 1 Extends between the 1st and 2nd designated positions designated through the input interface of the 2nd client in response to a route guidance request extending between the 1st and 2nd designated positions of the work machine.
  • the route guidance information corresponding to the guidance route to be performed is output to the output interface of the first client.
  • the first designated position is, for example, the current position of the first work machine or a starting position different from the current position
  • the second designated position is, for example, a stop position or a target position of the first work machine. Therefore, for example, an operator operating the first work machine can move the first work machine from the first designated position to the second designated position from another operator to which the second client is assigned. Can intuitively recognize advice or instructions.
  • Explanatory drawing about the structure of the work support system as one Embodiment of this invention.
  • Explanatory drawing about the structure of the remote control device Explanatory drawing about the structure of the work machine.
  • Explanatory drawing about the first function of work support system Explanatory drawing about the 2nd function of work support system.
  • Explanatory drawing about the 1st working environment image Explanatory drawing about the 2nd working environment image.
  • Explanatory drawing about selection method of 2nd client Explanatory drawing about the 1st route guidance image.
  • the work support system as an embodiment of the present invention shown in FIG. 1 is composed of a work support server 10 and a plurality of remote control devices 20 for remotely controlling a plurality of work machines 40. ..
  • the work support server 10, the remote control device 20, and the work machine 40 are configured to enable network communication with each other.
  • the work support server 10 includes a database 102, a first support processing element 121, and a second support processing element 122.
  • the database 102 stores and holds captured images, work environment images, route guidance images, and the like, as well as the position orbits of the plurality of work machines 40.
  • the database 102 may be configured by a database server separate from the work support server 10.
  • Each assistive processing element is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Therefore, the arithmetic processing described later is executed.
  • the remote control device 20 constituting the client includes a remote control device 200, a remote input interface 210, and a remote output interface 220.
  • the remote control device 200 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the remote input interface 210 includes a remote control mechanism 211.
  • the remote output interface 220 includes an image output device 221 and a remote wireless communication device 222.
  • the client may be configured by a mobile terminal that cooperates with the remote control device 20 or has an intercommunication function.
  • the mobile terminal may have a communication function with the work support server 10.
  • the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 410 of the work machine 40.
  • the travel lever may also serve as a travel pedal.
  • a traveling pedal fixed to the base or the lower end of the traveling lever may be provided.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430 of the work machine 40.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
  • the operation lever (arm lever) of the arm operation device is operated to move the arm cylinder 444 of the work machine 40.
  • the operating lever (bucket lever) of the bucket operating device is operated to move the bucket
  • Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
  • the seat St is in the form of a high back chair with armrests, but can also be in any form in which the remote operator OP2 can be seated, such as a low back chair without headrests or a chair without backrests. Good.
  • a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
  • One operating lever may also serve as a plurality of operating levers.
  • the right operating lever 2111 provided in front of the right frame of the seat St shown in FIG. 3 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. May function as a bucket lever.
  • the left side operating lever 2112 provided in front of the left side frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a swivel lever.
  • the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
  • the image output device 221 includes a right diagonal front image output device 2211, a front image output device 2212, and a left diagonally forward image output device 2211 arranged diagonally forward to the right, forward, and diagonally forward to the left of the seat St. It is composed of an oblique forward image output device 2213.
  • the image output devices 2211 to 2213 may further include a speaker (audio output device).
  • the working machine 40 includes an actual machine control device 400, an actual machine input interface 410, an actual machine output interface 420, and an operating mechanism 440.
  • the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 2, the work machine 40 is rotatably mounted on a crawler type lower traveling body 410 and a lower traveling body 410 via a swivel mechanism 430. It is equipped with an upper swivel body 420 and. A cab (driver's cab) 424 is provided on the front left side of the upper swing body 420. A work attachment 440 is provided at the front center portion of the upper swing body 220.
  • a crawler excavator construction machine
  • the actual machine input interface 410 includes an actual machine operation mechanism 411 and an actual machine imaging device 412.
  • the actual machine operation mechanism 411 includes a plurality of operation levers arranged in the same manner as the remote control mechanism 211 around the seat arranged inside the cab 424.
  • the cab 424 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever based on the received signal.
  • the actual image pickup device 412 is installed inside the cab 424, for example, and images an environment including at least a part of the operating mechanism 440 through the front window of the cab 424.
  • the actual device output interface 420 includes an actual device wireless communication device 422.
  • the work attachment 440 as an operating mechanism is rotatable to the boom 441 undulatingly attached to the upper swing body 420, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It is provided with a bucket 445, which is connected to a bucket.
  • the work attachment 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are composed of a telescopic hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 420 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about the horizontal axis with respect to the arm 443.
  • Each component (arithmetic processing resource or hardware resource) of the present invention "recognizes" information means that it receives the information, reads or retrieves the information from a storage device, or the like, and obtains the information. Estimate the information by writing (retaining) or registering it in a storage device, etc., and executing arithmetic processing on the output signal from the sensor and / or the basic information received or searched according to a predetermined algorithm. It is a concept that includes processing for preparing the information in any form that can be used in subsequent processing, such as determination, identification, measurement, prediction, and the like.
  • the operator determines whether or not there is a first designated operation through the remote input interface 210 (FIG. 4 / STEP200).
  • the "first designated operation” is, for example, an operation such as tapping the image Q1 or Q2 on the remote input interface 210 for the operator to specify the work machine 40 intended for remote control in the work environment image (see FIG. 7). is there. If the determination result is negative (FIG. 4 / STEP200 ... NO), a series of processes is completed. On the other hand, when the determination result is affirmative (FIG. 4 / STEP200 ... YES), the work environment image request is transmitted to the work support server 10 through the remote wireless communication device 222 (FIG. 4 / STEP202).
  • the working environment image request includes at least one of the identifier of the remote control device 20 and the identifier of the operator.
  • the work environment image request is transmitted to the corresponding work machine 40 by the first support processing element 121 (FIG. 4 / C10).
  • the actual machine control device 400 acquires the captured image through the actual machine image pickup device 412 (FIG. 4 / STEP402).
  • the actual device control device 400 transmits the captured image data representing the captured image to the remote control device 10 through the actual device wireless communication device 422 (FIG. 4 / STEP404).
  • the first work environment image data (all or part of the captured image itself or generated based on the captured image data) corresponding to the captured image data is generated.
  • Data representing a simulated work environment image) is transmitted to the remote control device 20 (FIG. 4 / STEP112).
  • the second working environment image corresponding to the second working environment image data is sent to the image output device 221. It is output (Fig. 4 / STEP204).
  • a work environment image including a boom 441, an arm 443, a bucket 445, and an arm cylinder 444, which are a part of the work attachment 440 as an operating mechanism is an image output device. It is displayed at 221.
  • the remote control device 200 recognizes the operation mode of the remote control mechanism 211 (FIG. 4 / STEP206), and the remote control command is issued to the work support server through the remote wireless communication device 222. It is transmitted to 10 (Fig. 4 / STEP208).
  • the remote control command is transmitted to the work machine 40 by the first support processing element 121 (FIG. 4 / C12).
  • the operation of the work attachment 440 and the like is controlled (FIG. 4 / STEP406).
  • the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 410 is swiveled, and then the soil is dropped from the bucket 445.
  • the operator determines whether or not there is a second designated operation through the remote input interface 210 (FIG. 5 / STEP210).
  • the first designated operation is, for example, an operation such as tapping through the remote input interface 210 or an operation of the remote control mechanism 211. If the determination result is affirmative (FIG. 5 / STEP210: YES), a route guidance image request is transmitted to the work support server 10 through the remote wireless communication device 222 (FIG. 5 / STEP212).
  • the "route guidance image request" includes data representing the latitude and longitude of the first designated position P1 and the second designated position P2, respectively.
  • the first designated position P1 may be, for example, the starting position designated by an operation such as tapping on the remote input interface 210, or the current position of the work machine 40 linked with the first remote control device 20. ..
  • the second designated position P2 may be, for example, a stop-by position or a target position designated by an operation such as tapping on the remote input interface 210.
  • the image output device 221 constituting the remote output interface 220 outputs a second work environment image showing the overall state of the work site, and the real space position corresponding to an arbitrary part in the second work environment image is first designated. It may be designated as position P1 and / or second designated position P2.
  • a bird's-eye view image or a bird's-eye view map showing the overall state of the work site is output by the image output device 221 as a second work environment image.
  • images or icons Q1 and Q2 representing the work machines 40 existing at the work site are shown.
  • the first designated position P1 and the second designated position P2 at the work site are shown.
  • the bird's-eye view image may be acquired through, for example, an image pickup device mounted on an unmanned aerial vehicle or an image pickup device installed on a structure such as a pole at a work site.
  • the imaging location and the angle of view of the captured image as the first working environment image may be arbitrarily changed.
  • the bird's-eye view map may be generated based on the bird's-eye view captured image.
  • the second support processing element 122 recognizes the first designated range S1 that extends with reference to the first designated position P1 and the second designated range S2 that extends with reference to the second designated position P2 (FIG. 5 / STEP121).
  • a first designated range S1 having a substantially elliptical shape that is deflected with respect to the second designated position P2 is set.
  • the second designated position P2 may be included in the straight line including the long axis of the ellipse.
  • a second designated range S2 having a substantially elliptical shape that is deflected with respect to the first designated position P1 is set.
  • the first designated position P1 may be included in the straight line including the long axis of the ellipse.
  • the positions, shapes, and sizes of the first designated range S1 and the second designated range S2 with respect to the respective reference positions may be changed in various ways.
  • the sizes of the first designated range S1 and the second designated range S2 may be different.
  • the first designated range S1 and the second designated range S2 may be separated from each other, may be in contact with each other, or may overlap each other.
  • the second support processing element 122 allows the database 102 to be a position that is a time series of the respective positions of the plurality of work machines 40 excluding the work machine 40 that is linked to or is the operation target of the first client.
  • the orbit is recognized (Fig. 5 / STEP122).
  • FIG. 8 for example, the three position trajectories T1 to T3 of the work machine 40 are recognized.
  • the position orbit of the work machine 40 is measured by a GPS mounted on the work machine 40 and, if necessary, a positioning device using an acceleration sensor.
  • the position trajectory of the work machine 40 measured by the work machine 40 is directly from the work machine 40 at an appropriate timing or indirectly via the remote control device 20 (client) linked with the work machine 40. Is transmitted to the work support server 10 together with the client's identifier or the operator's identifier, and is registered in the database 102.
  • the second support processing element 122 selects the second client from a plurality of clients other than the first client (FIG. 5 / STEP123). Specifically, the requirement is that the position trajectory of the work machine 40 during the cooperation period with the remote control device 20 (client) overlaps with at least one of the first designated range S1 and the second designated range S2. The remote control device 20 or the client of the operator who was operating the remote control device 20 is selected as the second client.
  • the work machine 40 (second work machine) and the work machine 40 (second work machine) are in the period corresponding to the position track T2.
  • the linked remote control device 20 (client) or the client of its operator is selected as the second client based on the identifier associated with the position trajectory T2.
  • the work machine corresponds to the position track T3.
  • the remote control device 20 (client) linked with the 40 (second work machine) or the client of its operator is selected as the second client based on the identifier associated with the position trajectory T3.
  • the selection of the second client may be attempted after at least one of the first designated range S1 and the second designated range S2 is expanded. Further, a client corresponding to the work machine 40 (second work machine) having the position trajectory having the shortest distance to each of the first designated position P1 and the second designated position P2 may be selected as the second client. Further, the client of the operator whose skill score evaluated according to the total distance traveled by remotely controlling the work machine 40 or the remote control time of the work machine 40 is equal to or higher than the reference value is used as the second client based on the identifier. It may be selected. The client closest to the first client may be selected as the second client.
  • the second support processing element 122 transmits a route guidance image request to the second remote control device 20 selected as the second client (FIG. 5 / STEP124). At this time, the second work environment image data showing the overall state of the work site is also transmitted to the remote control device 20.
  • the second work environment image corresponding to the second work environment image data. Is output to the image output device 221 (FIG. 5 / STEP220).
  • a bird's-eye view image or a bird's-eye view map showing the overall state of the work site is output to the image output device 221 as a second work environment image.
  • images or icons Q1 and Q2 representing the work machines 40 existing at the work site are shown.
  • the first designated position P1 and the second designated position P2 at the work site are shown.
  • the remote control device 200 determines whether or not the guide path R extending between the first designated position P1 and the second designated position P2 is designated through the operation in the remote input interface 210 (FIG. 5 / STEP222). ..
  • the extension mode of the guide path R may be recognized by recognizing the locus of the operator's fingertip or the pen. Thereby, for example, as shown in FIG. 10, a curved guide path R extending between the first designated position P1 and the second designated position P2 in the second working environment image can be designated by the operator.
  • the start position of the locus of the pen or the like and the first designated position P1 do not have to be the same, and if the distance between the two is within a certain distance, the locus can be recognized as the guide path R.
  • the end position of the locus of the pen or the like and the second designated position P2 do not have to be the same, and if the distance between the two is within a certain distance, the locus can be recognized as the guide path R.
  • the work machine 40 moves according to the trajectory of the pen or the like, there is a possibility that the work machine 40 may come into contact with an object such as a material at the work site or the work machine 40 may enter a deep depression.
  • the locus may be recognized as the guide path R on the condition that it is determined by the image analysis of the second work environment image and there is no such possibility.
  • the data representing the guidance path R by the remote control device 200 is transmitted by the remote wireless communication device 222 constituting the remote output interface 220 to the work support server. It is transmitted to 10 (Fig. 5 / STEP224).
  • the second support processing element 122 When the work support server 10 receives data representing the guidance route R (FIG. 5 / C13), the second support processing element 122 generates a route guidance image based on the guidance route R (FIG. 5 / STEP126). ).
  • a first work environment image showing a local state of the work site around the work machine 40 (first work machine) linked with the first client.
  • the direction instruction image M indicating the direction of the guide path R may be generated as the route guide image.
  • the position and orientation of a part such as the start end of the guide path R around the work machine 40 in the real space coordinate system (or the second work environment image coordinate system) are coordinate-converted to obtain the first work environment coordinates.
  • the position and orientation of a part of the guide path R in the system are recognized or calculated.
  • the position and orientation of the work machine 40 in the real space coordinate system, the first coordinate conversion factor (matrix or quaternion) representing the position and orientation of the work machine coordinate system, and the image pickup device 412 in the work machine coordinate system are displayed.
  • the second coordinate transformation factor to be represented is used.
  • the first coordinate conversion factor is the position and posture of the work machine 40 in the second work environment image, or the real space position of the work machine 40 measured by each of the positioning sensor and the orientation sensor mounted on the work machine 40. And is recognized based on the real space attitude.
  • the second coordinate conversion factor is stored in the storage device constituting the actual machine control device 400 of the work machine 40, or is registered in the database 102 in association with the identifier of the work machine 40. It is recognized based on the mounting position and orientation of the 412.
  • An image showing the above is generated as a route guidance image.
  • the second support processing element 122 transmits data representing the route guidance image to the first client (first remote control device 20) (FIG. 5 / STEP128).
  • the remote output interface 220 is used.
  • a work environment image is output by the constituent image output device 221 (FIG. 5 / STEP214).
  • the route guidance image based on the first work environment image shown in FIG. 9 and the route guidance image based on the second work environment image shown in FIG. 10 is an image output device. It is output at 221.
  • the route guidance request from the first work machine 40 linked with the first client is accepted (). See FIG. 5 / STEP212 ⁇ C13).
  • a guide path R extending between the first designated position P1 and the second designated position P2 can be designated through the input interface 210 of the second client (second remote control device 20) (see FIGS. 5 / STEP222 and 10). ).
  • the route guidance information corresponding to the guidance route R is output to the output interface 210 of the first client (see FIG. 5 / STEP214, FIGS. 9 and 10).
  • an operator who operates the work machine 40 by using the first remote control device 20 receives the first designated position P1 and the second designated position P2 from other operators to which the second client is assigned. Advice or instructions for moving the first work machine between can be intuitively recognized.
  • the designation of the guide path R on the environment image is allowed (see FIG. 5 / STEP121 ⁇ STEP122 ⁇ STEP123 ⁇ STEP124 ⁇ C220 ⁇ STEP220, FIGS. 7 and 10).
  • An operator to whom a client (remote control device 20) linked with a work machine 40 having a position trajectory or route movement history included in the first designated range S1 and / or the second designated range S2 is assigned is so. It is highly probable that the operator has an appropriate sense of land to specify the guide route R extending between the first designated position P1 and the second designated position P2 as compared with the operator who is not. Taking this point into consideration, the client of the operator who has a high probability of having an appropriate land knowledge for designating the guide route R extending between the first designated position P1 and the second designated position P2 is the second. It is recognized as a client (second remote control device 20).
  • the advice or instruction given by the operator to which the second client is assigned can be intuitively recognized by the operator to which the first client (first remote control device 20) is assigned.
  • the first support processing element 121 recognizes a peripheral image showing the surroundings of the first work machine 40 based on communication with the first client (first remote control device 20), and guide path R in the peripheral image.
  • the direction instruction image M indicating the direction of the above is output to the output interface 220 of the first client as the route guidance image (see FIG. 9).
  • the operator who operates the first work machine 40 can perform the first designated position P1 to the second designated position from another operator to which the second client (second remote control device 20) is assigned.
  • the advice or instruction for moving the first work machine 40 up to P2 can be intuitively recognized by the direction instruction image M superimposed and displayed on the peripheral image of the first work machine 40.
  • the first support processing element 121 outputs a work environment image showing at least a part of the guide path R as a route guide image to the output interface 220 of the first client (see FIG. 10).
  • the work support server 10 is composed of one or a plurality of servers separate from each of the remote control device 20 and the work machine 40 (see FIG. 1), but as another embodiment, the work support is supported.
  • the server 10 may be a component of the remote control device 20 or the work machine 40.
  • Each of the components 121 and 122 of the work support server 10 may be a component of two or more communicable devices of the remote control device 20 and the work machine 40.
  • the second support processing element 122 in the work support server 10, the second support processing element 122 generates a route guide image based on the data representing the extension mode of the guide path R in the real space coordinate system or the second imaging coordinate system. (FIG. 5 / STEP126), as another embodiment, the data is transmitted to the first client by the second support processing element 122, and the route guidance image is based on the data by the remote control device 20 in the first client. May be generated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Operation Control Of Excavators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一のオペレータが作業機械を運転または操作する際、他のオペレータからの助言または指示を当該一のオペレータに直感的に認識させることができるサーバおよびシステムを提供する。第１クライアント（第１の遠隔操作装置２０）と連携している第１作業機械４０からの経路案内要求が受け付けられる。第２クライアント（第２の遠隔操作装置２０）の入力インターフェース２１０を通じて第１指定位置Ｐ１および第２指定位置Ｐ２の間で延在する案内経路Ｒが指定されうる。そして、案内経路Ｒに応じた経路案内情報が第１クライアントの出力インターフェース２１０に出力される。

Description

作業支援サーバ、作業支援方法および作業支援システム
　本発明は、作業機械のオペレータに対して割り当てられたクライアントとの通信により、前記オペレータによる前記作業機械を用いた作業を支援するための作業支援サーバに関する。
　建設作業現場の３次元形状を把握して、丁張りと現況出来形との関係や走行可能範囲や危険範囲などを、建機オペレータに的確に知らせる技術が提案されている（例えば、特許文献１参照）。具体的には、異なる場所のそれぞれに配置された各ステレオカメラから取得された距離画像が統合されて建設作業現場の３次元モデルデータが生成される。そして、建機のオペレータにより指定された仮想視点から建設作業現場を見た画像が、当該３次元モデルデータに基づいて描かれ、それが建機の運転席に表示される。
特開２００３－３３３５９０号公報
　しかし、経験が浅いオペレータが作業機械を運転または操作する際、ベテランのオペレータから助言または指示を得ることにより、当該オペレータの円滑な作業機械を用いた作業の遂行の観点から好ましい。
　そこで、本発明は、一のオペレータが作業機械を運転または操作する際、他のオペレータからの助言または指示を当該一のオペレータに直感的に認識させることができるサーバおよびシステムを提供することを目的とする。
　本発明は、複数のオペレータのそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数のオペレータのそれぞれによる作業機械を用いた作業を支援するための作業支援サーバに関する。
　本発明の作業支援サーバは、第１支援処理要素および第２支援処理要素を備え、前記第１支援処理要素が、前記複数のクライアントのうち第１クライアントとの通信に基づき、前記第１クライアントと連携している前記作業機械である第１作業機械の第１指定位置および第２指定位置を含む経路案内要求を認識し、前記第２支援処理要素が、前記複数のクライアントのうち第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記経路案内要求に含まれている前記第１指定位置および前記第２指定位置が示されているマップ作業環境画像を前記第２クライアントの出力インターフェースに出力させ、前記第２クライアントの入力インターフェースを通じて前記作業環境画像の上で指定された前記第１指定位置および前記第２指定位置の間に延在する案内経路を認識し、前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第２支援処理要素により認識された前記案内経路に応じた経路案内画像を前記第１クライアントの出力インターフェースに出力させることを特徴とする。
　本発明の作業支援システムは、本発明の作業支援サーバと、クライアントと、により構成されていることを特徴とする。
　本発明の作業支援サーバおよび作業支援システム（以下、適宜「作業支援サーバ等」という。）によれば、第１クライアントと連携している（または第１クライアントとの通信により操作されている）第１作業機械の第１指定位置および第２指定位置の間で延在する経路案内要求に応じて、第２クライアントの入力インターフェースを通じて指定された第１指定位置および第２指定位置の間で延在する案内経路に応じた経路案内情報が第１クライアントの出力インターフェースに出力される。第１指定位置は、例えば、第１作業機械の現在位置または現在位置とは異なる出発位置である、第２指定位置は、例えば、第１作業機械の立ち寄り位置または目標位置である。このため、例えば、第１作業機械を運転操作しているオペレータが、第２クライアントが割り当てられた他のオペレータから、第１指定位置から第２指定位置まで、第１作業機械を移動させるための助言または指示を直感的に認識することができる。
本発明の一実施形態としての作業支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 作業支援システムの第１機能に関する説明図。 作業支援システムの第２機能に関する説明図。 第１作業環境画像に関する説明図。 第２作業環境画像に関する説明図。 第２クライアントの選定方法に関する説明図。 第１の経路案内画像に関する説明図。 第２の経路案内画像に関する説明図。
　（作業支援システムの構成）
　図１に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ１０と、複数の作業機械４０を遠隔操作するための複数の遠隔操作装置２０と、により構成されている。作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０と、は相互にネットワーク通信可能に構成されている。
　（作業支援サーバの構成）
　作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、複数の作業機械４０のそれぞれの位置軌道のほか、撮像画像、作業環境画像および経路案内画像などを記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
　（遠隔操作装置の構成）
　クライアントを構成する遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。
　遠隔操作装置２０と連携するまたは相互通信機能を有する携帯端末により当該クライアントが構成されていてもよい。当該携帯端末は、作業支援サーバ１０との通信機能を有していてもよい。
　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータＯＰ２が着座できる任意の形態でもよい。
　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
　画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。
　（作業機械の構成）
　作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４０が設けられている。
　実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。
　実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。
　作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
　（機能）
　前記構成の作業支援システムの機能について図４および図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。
　本発明の各構成要素（演算処理資源またはハードウェア資源）が、情報を「認識する」とは、当該情報を受信すること、当該情報を記憶装置等から読み出すことまたは検索すること、当該情報を記憶装置等に書き込む（記憶保持させる）ことまたは登録すること、センサからの出力信号および／または受信または検索等された基礎情報を所定のアルゴリズムにしたがって演算処理を実行することにより当該情報を推定、判定、同定、測定、予測等すること、など、後続の処理で利用可能なあらゆる形態で当該情報を準備するための処理を包含する概念である。
　（第１機能（作業機械の遠隔操作））
　遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２００）。「第１指定操作」は、例えば、作業環境画像（図７参照）において、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０における画像Ｑ１またはＱ２のタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２００‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２００‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して作業環境画像要求が送信される（図４／ＳＴＥＰ２０２）。作業環境画像要求には、遠隔操作装置２０の識別子およびオペレータの識別子のうち少なくとも一方が含まれている。
　作業支援サーバ１０において、作業環境画像要求が受信された場合、第１支援処理要素１２１により当該作業環境画像要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。
　作業機械４０において、実機無線通信機器４２２を通じて作業環境画像要求が受信された場合（図４／Ｃ４１）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４０４）。
　作業支援サーバ１０において、撮像画像データが受信された場合（図４／Ｃ１１）、撮像画像データに応じた第１作業環境画像データ（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な作業環境画像を表わすデータ）が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。
　遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第１作業環境画像データが受信された場合（図４／Ｃ２０）、第２作業環境画像データに応じた第２作業環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２０４）。これにより、例えば図６に示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている作業環境画像が画像出力装置２２１に表示される。
　遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２０６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ２０８）。
　作業支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
　（第２機能（経路案内画像の出力））
　第１クライアントとしての第１の遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図５／ＳＴＥＰ２１０）。第１指定操作は、例えば、遠隔入力インターフェース２１０を通じたタップなどの操作または遠隔操作機構２１１の操作である。当該判定結果が肯定的である場合（図／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して経路案内画像要求が送信される（図５／ＳＴＥＰ２１２）。
　「経路案内画像要求」には、第１指定位置Ｐ１および第２指定位置Ｐ２のそれぞれの緯度および経度を表わすデータが含まれている。第１指定位置Ｐ１は、例えば、遠隔入力インターフェース２１０におけるタップ等の操作により指定された出発位置のほか、第１の遠隔操作装置２０と連携している作業機械４０の現在位置であってもよい。第２指定位置Ｐ２は、例えば、遠隔入力インターフェース２１０におけるタップ等の操作により指定された立ち寄り位置または目的位置であってもよい。
　遠隔出力インターフェース２２０を構成する画像出力装置２２１において作業現場の大局的な様子を示す第２作業環境画像が出力され、当該第２作業環境画像における任意の箇所に相当する実空間位置が第１指定位置Ｐ１および／または第２指定位置Ｐ２として指定されてもよい。例えば図７に示されているように、作業現場の大局的な様子を示す鳥瞰撮像画像または鳥瞰マップが第２作業環境画像として画像出力装置２２１において出力される。この第２作業環境画像においては、作業現場に存在する作業機械４０を表わす画像またはアイコンＱ１およびＱ２が示されている。また、作業現場における第１指定位置Ｐ１および第２指定位置Ｐ２が示されている。
　鳥瞰撮像画像は、例えば無人飛行機に搭載されている撮像装置または作業現場のポール等の構造物に設置されている撮像装置を通じて取得されてもよい。第１作業環境画像としての撮像画像の撮像箇所および画角のそれぞれは任意に変更されてもよい。鳥瞰マップは、鳥瞰撮像画像を基礎として生成されてもよい。
　作業支援サーバ１０において、経路案内画像要求が受信された場合（図５／Ｃ１０）、第２支援処理要素１２２により、第１指定位置Ｐ１および第２指定位置Ｐ２のうち少なくとも一方が認識される（図５／ＳＴＥＰ１２０）。
　また、第２支援処理要素１２２により、第１指定位置Ｐ１を基準として広がる第１指定範囲Ｓ１および第２指定位置Ｐ２を基準として広がる第２指定範囲Ｓ２が認識される（図５／ＳＴＥＰ１２１）。これにより、例えば図８に示されているように、第２指定位置Ｐ２に対して偏向的に広がっている略楕円形状の第１指定範囲Ｓ１が設定される。当該楕円の長軸を含む直線に第２指定位置Ｐ２が含まれていてもよい。同様に、図８に示されているように、第１指定位置Ｐ１に対して偏向的に広がっている略楕円形状の第２指定範囲Ｓ２が設定される。当該楕円の長軸を含む直線に第１指定位置Ｐ１が含まれていてもよい。第１指定範囲Ｓ１および第２指定範囲Ｓ２のそれぞれの基準位置に対する位置、形状およびサイズのそれぞれはさまざまに変更されていてもよい。第１指定範囲Ｓ１および第２指定範囲Ｓ２のそれぞれのサイズが異なっていてもよい。第１指定範囲Ｓ１および第２指定範囲Ｓ２は、相互に離間していてもよく、相互に接していてもよく、相互に重なっていてもよい。
　さらに、第２支援処理要素１２２により、データベース１０２から、第１クライアントと連携しているまたは操作対象となっている作業機械４０を除く、複数の作業機械４０のそれぞれの位置の時系列である位置軌道が認識される（図５／ＳＴＥＰ１２２）。これにより、例えば図８に示されているように、作業機械４０の３つの位置軌道Ｔ１～Ｔ３が認識される。作業機械４０の位置軌道は、当該作業機械４０に搭載されているＧＰＳ、必要に応じて加速度センサを利用した測位装置により測定される。作業機械４０において測定された当該作業機械４０の位置軌道は、適当なタイミングで作業機械４０から直接的に、または、作業機械４０と連携している遠隔操作装置２０（クライアント）を介して間接的に、当該クライアントの識別子またはオペレータの識別子とともに作業支援サーバ１０に対して送信され、データベース１０２に登録される。
　第２支援処理要素１２２により、第１クライアントを除く複数のクライアントの中から第２クライアントが選定される（図５／ＳＴＥＰ１２３）。具体的には、遠隔操作装置２０（クライアント）との連携期間における作業機械４０の位置軌道が、第１指定範囲Ｓ１および第２指定範囲Ｓ２のうち少なくとも一方に重なっていることを要件として、当該遠隔操作装置２０または当該遠隔操作装置２０を操作していたオペレータのクライアントが第２クライアントとして選定される。
　例えば図８に示されているように、作業機械４０の位置軌道Ｔ２が第１指定範囲Ｓ１に重なっている場合、当該位置軌道Ｔ２に対応する期間において当該作業機械４０（第２作業機械）と連携していた遠隔操作装置２０（クライアント）またはそのオペレータのクライアントが、位置軌道Ｔ２に関連付けられている識別子に基づいて第２クライアントとして選定される。また、同じく図８に示されているように、作業機械４０の位置軌道Ｔ３が第１指定範囲Ｓ１および第２指定範囲Ｓ２に重なっている場合、当該位置軌道Ｔ３に対応する期間において当該作業機械４０（第２作業機械）と連携していた遠隔操作装置２０（クライアント）またはそのオペレータのクライアントが、位置軌道Ｔ３に関連付けられている識別子に基づいて第２クライアントとして選定される。
　該当するクライアントが存在しない場合、例えば、第１指定範囲Ｓ１および第２指定範囲Ｓ２のうち少なくとも一方が拡張されたうえで第２クライアントの選定が試みられてもよい。また、第１指定位置Ｐ１および第２指定位置Ｐ２のそれぞれに対する距離が最短の位置軌道を有する作業機械４０（第２作業機械）に対応するクライアントが第２クライアントとして選定されてもよい。さらに、作業機械４０を遠隔操作して走行させた合計距離または作業機械４０の遠隔操作時間などに応じて評価されるスキルスコアが基準値以上であるオペレータのクライアントが識別子に基づいて第２クライアントとして選定されてもよい。第１クライアントに最も近くにあるクライアントが第２クライアントとして選定されてもよい。
　第２支援処理要素１２２により、第２クライアントとして選定された第２の遠隔操作装置２０に対して、経路案内画像要求が送信される（図５／ＳＴＥＰ１２４）。この際、作業現場の大局的な様子を表わす第２作業環境画像データも当該遠隔操作装置２０に対して送信される。
　第２クライアント（第２の遠隔操作装置２０）において、遠隔無線通信機器２２２を通じて経路案内画像要求が受信された場合（図５／Ｃ２２０）、第２作業環境画像データに応じた第２作業環境画像が画像出力装置２２１に出力される（図５／ＳＴＥＰ２２０）。これにより、例えば図７に示されているように、作業現場の大局的な様子を示す鳥瞰撮像画像または鳥瞰マップが第２作業環境画像として画像出力装置２２１において出力される。この第２作業環境画像においては、作業現場に存在する作業機械４０を表わす画像またはアイコンＱ１およびＱ２が示されている。また、作業現場における第１指定位置Ｐ１および第２指定位置Ｐ２が示されている。
　遠隔制御装置２００により、遠隔入力インターフェース２１０における操作を通じて、第１指定位置Ｐ１および第２指定位置Ｐ２の間で延在する案内経路Ｒが指定されたか否かが判定される（図５／ＳＴＥＰ２２２）。例えば、遠隔入力インターフェース２１０および遠隔出力インターフェース２２０の両方を構成するタッチパネルにおいて、オペレータの指先またはペンの軌跡が認識されることにより、案内経路Ｒの延在態様が認識されてもよい。これにより、例えば図１０に示されているように、第２作業環境画像において第１指定位置Ｐ１および第２指定位置Ｐ２の間で延在する曲線状の案内経路Ｒがオペレータにより指定されうる。
　ペン等の軌跡の始端位置および第１指定位置Ｐ１は同一でなくてもよく、両者の間隔が一定間隔以内であれば、当該軌跡が案内経路Ｒとして認識されうる。ペン等の軌跡の終端位置および第２指定位置Ｐ２は同一でなくてもよく、両者の間隔が一定距間隔以内であれば、当該軌跡が案内経路Ｒとして認識されうる。さらに、ペン等の軌跡にしたがって作業機械４０が移動した場合、当該作業機械４０が作業現場において資材等の物体と接触する可能性または当該作業機械４０が深い窪地に進入する可能性などの有無が、第２作業環境画像の画像解析によって判定され、当該可能性がないことを要件として当該軌跡が案内経路Ｒとして認識されてもよい。
　第当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２２‥ＹＥＳ）、遠隔制御装置２００により、案内経路Ｒを表わすデータが、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２により、作業支援サーバ１０に対して送信される（図５／ＳＴＥＰ２２４）。
　作業支援サーバ１０において、案内経路Ｒを表わすデータが受信された場合（図５／Ｃ１３）、第２支援処理要素１２２により、当該案内経路Ｒに基づき経路案内画像が生成される（図５／ＳＴＥＰ１２６）。
　これにより、例えば図９に示されているように、第１クライアントと連携している作業機械４０（第１作業機械）の周囲における作業現場の局所的な様子を示す第１作業環境画像（周辺画像）において、案内経路Ｒの方向を示す方向指示画像Ｍが経路案内画像として生成されてもよい。この場合、実空間座標系（または第２作業環境画像座標系）における作業機械４０の周辺における案内経路Ｒの始端部等の一部分の位置および姿勢が座標変換されることにより、第１作業環境座標系における当該案内経路Ｒの一部の位置および姿勢が認識または算定される。当該座標変換に際して、実空間座標系における作業機械４０、ひいては作業機械座標系の位置および姿勢を表わす第１座標変換因子（行列またはクォータニオン）と、作業機械座標系における撮像装置４１２の位置および姿勢を表わす第２座標変換因子と、が用いられる。第１座標変換因子は、第２作業環境画像における作業機械４０の位置および姿勢、または、作業機械４０に搭載されている測位センサおよび方位センサのそれぞれにより測定された当該作業機械４０の実空間位置および実空間姿勢に基づいて認識される。第２座標変換因子は、作業機械４０の実機制御装置４００を構成する記憶装置に格納されているまたはデータベース１０２に作業機械４０の識別子と関連付けられて登録されている、当該作業機械４０における撮像装置４１２の搭載位置および姿勢に基づいて認識される。
　また、例えば図１０に示されているように、作業現場の大局的な様子を示す第２作業環境画像において、第１指定位置Ｐ１および第２指定位置Ｐ２の間における案内経路Ｒの延在態様を示す画像が経路案内画像として生成される。
　さらに、第２支援処理要素１２２により、経路案内画像を表わすデータが第１クライアント（第１の遠隔操作装置２０）に対して送信される（図５／ＳＴＥＰ１２８）。
　第１クライアント（第１の遠隔操作遠隔操作装置２０）において、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２により経路案内画像データが受信された場合（図５／Ｃ２１０）、遠隔出力インターフェース２２０を構成する画像出力装置２２１において作業環境画像が出力される（図５／ＳＴＥＰ２１４）。これにより、例えば図９に示されている第１作業環境画像に基づく経路案内画像と、図１０に示されている第２作業環境画像に基づく経路案内画像と、のうち少なくとも一方が画像出力装置２２１において出力される。
　（効果）
　当該構成の作業支援システムおよびこれを構成する作業支援サーバ１０によれば、第１クライアント（第１の遠隔操作装置２０）と連携している第１作業機械４０からの経路案内要求が受け付けられる（図５／ＳＴＥＰ２１２→Ｃ１３参照）。第２クライアント（第２の遠隔操作装置２０）の入力インターフェース２１０を通じて第１指定位置Ｐ１および第２指定位置Ｐ２の間で延在する案内経路Ｒが指定されうる（図５／ＳＴＥＰ２２２および図１０参照）。そして、案内経路Ｒに応じた経路案内情報が第１クライアントの出力インターフェース２１０に出力される（図５／ＳＴＥＰ２１４、図９および図１０参照）。
　このため、例えば、第１の遠隔操作装置２０を用いて作業機械４０を運転操作しているオペレータが、第２クライアントが割り当てられた他のオペレータから、第１指定位置Ｐ１および第２指定位置Ｐ２の間で第１作業機械を移動させるための助言または指示を直感的に認識することができる。
　第２支援処理要素１２２が、複数のクライアントのうち第１クライアント（第１の遠隔操作装置２０）とは異なる少なくとも一のクライアントとの通信に基づき、当該少なくとも一のクライアントと連携している作業機械４０の位置の時系列である位置軌道を認識し、第１指定位置Ｐ１を基準として広がる第１指定範囲Ｓ１および第２指定位置Ｐ２を基準として広がる第２指定範囲Ｓ２のうち少なくとも一方に当該位置軌道が含まれていることを要件として、少なくとも一のクライアントを第２クライアント（第１の遠隔操作装置２０）として認識し、第２クライアントとの通信に基づき、第２クライアントの入力インターフェース２１０を通じて作業環境画像の上での案内経路Ｒの指定を許容する（図５／ＳＴＥＰ１２１→ＳＴＥＰ１２２→ＳＴＥＰ１２３→ＳＴＥＰ１２４→Ｃ２２０→ＳＴＥＰ２２０、図７および図１０参照）。
　第１指定範囲Ｓ１および／または第２指定範囲Ｓ２に含まれている位置軌道または経路移動履歴を有する作業機械４０と連携しているクライアント（遠隔操作装置２０）が割り当てられているオペレータは、そうではないオペレータと比較して第１指定位置Ｐ１および第２指定位置Ｐ２の間で延在する案内経路Ｒを指定するために適当な土地勘を有している蓋然性が高い。この点が勘案されて、第１指定位置Ｐ１および第２指定位置Ｐ２の間で延在する案内経路Ｒを指定するために適当な土地勘を有している蓋然性が高いオペレータのクライアントが第２クライアント（第２の遠隔操作装置２０）として認識される。このため、当該第２クライアントが割り当てられたオペレータによる助言または指示を、第１クライアント（第１の遠隔操作装置２０）が割り当てられたオペレータに直感的に認識させることができる。
　第１支援処理要素１２１が、第１クライアント（第１の遠隔操作装置２０）との通信に基づき、第１作業機械４０の周囲の様子を表わす周辺画像を認識し、当該周辺画像において案内経路Ｒの方向を示す方向指示画像Ｍを前記経路案内画像として第１クライアントの出力インターフェース２２０に出力させる（図９参照）。
　これにより、例えば、第１作業機械４０を運転操作しているオペレータが、第２クライアント（第２の遠隔操作装置２０）が割り当てられた他のオペレータから、第１指定位置Ｐ１から第２指定位置Ｐ２まで、第１作業機械４０を移動させるための助言または指示を、当該第１作業機械４０の周辺画像に重畳表示される方向指示画像Ｍにより直感的に認識することができる。
　第１支援処理要素１２１が、案内経路Ｒの少なくとも一部を示す作業環境画像を経路案内画像として第１クライアントの出力インターフェース２２０に出力させる（図１０参照）。
　これにより、例えば、第１作業機械４０を運転操作しているオペレータが、第２クライアント（第２の遠隔操作装置２０）が割り当てられた他のオペレータから、第１指定位置Ｐ１から第２指定位置Ｐ２まで、第１作業機械４０を移動させるための助言または指示を案内経路Ｒの少なくとも一部を示す作業環境画像により直感的に認識することができる。
　（本発明の他の実施形態）
　前記実施形態では、作業支援サーバ１０が、遠隔操作装置２０および作業機械４０のそれぞれとは別個の一または複数のサーバにより構成されていたが（図１参照）、他の実施形態として、作業支援サーバ１０が、遠隔操作装置２０または作業機械４０の構成要素であってもよい。作業支援サーバ１０の各構成要素１２１および１２２のそれぞれが、遠隔操作装置２０および作業機械４０のうちの相互通信可能な２つ以上のそれぞれの機器の構成要素であってもよい。
　前記実施形態では、作業支援サーバ１０において第２支援処理要素１２２により、案内経路Ｒの実空間座標系または第２撮像座標系における延在態様を表わすデータに基づき、経路案内画像が生成されたが（図５／ＳＴＥＰ１２６）、他の実施形態として、第２支援処理要素１２２により第１クライアントに対して当該データが送信され、当該第１クライアントにおける遠隔制御装置２０により当該データに基づき、経路案内画像が生成されてもよい。
１０‥作業支援サーバ、２０‥遠隔操作装置（クライアント）、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、４１０‥実機入力インターフェース、４１２‥実機撮像装置、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作動機構）。

Claims (6)

  1. 　複数のオペレータのそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数のオペレータのそれぞれによる作業機械を用いた作業を支援するための作業支援サーバであって、
    　第１支援処理要素および第２支援処理要素を備え、
    　前記第１支援処理要素が、前記複数のクライアントのうち第１クライアントとの通信に基づき、前記第１クライアントと連携している前記作業機械である第１作業機械の第１指定位置および第２指定位置を含む経路案内要求を認識し、
    　前記第２支援処理要素が、前記複数のクライアントのうち第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記経路案内要求に含まれている前記第１指定位置および前記第２指定位置が示されているマップ作業環境画像を前記第２クライアントの出力インターフェースに出力させ、前記第２クライアントの入力インターフェースを通じて前記作業環境画像の上で指定された前記第１指定位置および前記第２指定位置の間に延在する案内経路を認識し、
    　前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第２支援処理要素により認識された前記案内経路に応じた経路案内画像を前記第１クライアントの出力インターフェースに出力させることを特徴とする作業支援サーバ。
  2. 　請求項１記載の作業支援サーバにおいて、
    　前記第２支援処理要素が、前記複数のクライアントのうち前記第１クライアントとは異なる少なくとも一のクライアントとの通信に基づき、前記少なくとも一のクライアントと連携している作業機械の位置の時系列である位置軌道を認識し、前記第１指定位置を基準として広がる第１指定範囲および前記第２指定位置を基準として広がる第２指定範囲のうち少なくとも一方に当該位置軌道が含まれていることを要件として、前記少なくとも一のクライアントを前記第２クライアントとして認識し、前記第２クライアントとの通信に基づき、前記第２クライアントの入力インターフェースを通じて前記作業環境画像の上での前記案内経路の指定を許容することを特徴とする作業支援サーバ。
  3. 　請求項１または２記載の作業支援サーバにおいて、
    　前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第１作業機械の周囲の様子を表わす周辺画像を認識し、前記周辺画像において前記案内経路の方向を示す方向指示画像を前記経路案内画像として前記第１クライアントの出力インターフェースに出力させることを特徴とする作業支援サーバ。
  4. 　請求項１～３のうちいずれか1項に記載の作業支援サーバにおいて、
    　前記第１支援処理要素が、前記案内経路の少なくとも一部を示す作業環境画像を前記経路案内画像として前記第１クライアントの出力インターフェースに出力させることを特徴とする作業支援サーバ。
  5. 　請求項１～４のうちいずれか１項に記載の作業支援サーバと、クライアントと、により構成されていることを特徴とする作業支援システム。
  6. 　複数のオペレータのそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数のオペレータのそれぞれによる作業機械を用いた作業を支援するための作業支援方法であって、
    　第１支援処理および第２支援処理を含み、
    　前記第１支援処理が、前記複数のクライアントのうち第１クライアントとの通信に基づき、前記第１クライアントと連携している前記作業機械である第１作業機械の第１指定位置および第２指定位置を含む経路案内要求を認識する工程を含み、
    　前記第２支援処理が、前記複数のクライアントのうち第２クライアントとの通信に基づき、前記第１支援処理により認識された前記経路案内要求に含まれている前記第１指定位置および前記第２指定位置が示されているマップ作業環境画像を前記第２クライアントの出力インターフェースに出力させ、前記第２クライアントの入力インターフェースを通じて前記作業環境画像の上で指定された前記第１指定位置および前記第２指定位置の間に延在する案内経路を認識する工程を含み、
    　前記第１支援処理が、前記第１クライアントとの通信に基づき、前記第２支援処理要素により認識された前記案内経路に応じた経路案内画像を前記第１クライアントの出力インターフェースに出力させる工程を含むことを特徴とする作業支援方法。
PCT/JP2020/030675 2019-11-25 2020-08-12 作業支援サーバ、作業支援方法および作業支援システム WO2021106278A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20892962.0A EP4044101A4 (en) 2019-11-25 2020-08-12 WORK SUPPORT SERVER, WORK SUPPORT METHOD AND WORK SUPPORT SYSTEM
CN202080079410.3A CN114730440A (zh) 2019-11-25 2020-08-12 作业支援服务器、作业支援方法及作业支援系统
US17/774,241 US20220389683A1 (en) 2019-11-25 2020-08-12 Work assist server, work assist method, and work assist system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019212620A JP7392422B2 (ja) 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム
JP2019-212620 2019-11-25

Publications (1)

Publication Number Publication Date
WO2021106278A1 true WO2021106278A1 (ja) 2021-06-03

Family

ID=76087666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030675 WO2021106278A1 (ja) 2019-11-25 2020-08-12 作業支援サーバ、作業支援方法および作業支援システム

Country Status (5)

Country Link
US (1) US20220389683A1 (ja)
EP (1) EP4044101A4 (ja)
JP (1) JP7392422B2 (ja)
CN (1) CN114730440A (ja)
WO (1) WO2021106278A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023182387A1 (ja) * 2022-03-23 2023-09-28 日立建機株式会社 遠隔操縦システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333590A (ja) 2002-05-16 2003-11-21 Komatsu Ltd 現場の画像生成システム
JP2005098904A (ja) * 2003-09-26 2005-04-14 Aisin Aw Co Ltd ナビゲーション装置
JP2010152834A (ja) * 2008-12-26 2010-07-08 Ihi Aerospace Co Ltd 無人移動体システム
KR20110110648A (ko) * 2010-04-01 2011-10-07 한양대학교 산학협력단 토공 작업을 위한 그래픽 사용자 인터페이스 제공 장치 및 방법
JP2016095811A (ja) * 2014-11-17 2016-05-26 ヤンマー株式会社 作業車両の移動システム
US20190196464A1 (en) * 2017-07-07 2019-06-27 Zoox, Inc. Predictive teleoperator situational awareness
JP2019175254A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 運転支援システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
CN107343381A (zh) * 2016-03-01 2017-11-10 株式会社小松制作所 评价装置以及评价方法
WO2017119517A1 (ja) * 2017-01-13 2017-07-13 株式会社小松製作所 作業機械の制御システム、作業機械及び作業機械の制御方法
DE112018001447T5 (de) * 2017-07-14 2019-12-12 Komatsu Ltd. Topographische informationsübertragungsvorrichtung, bauverwaltungssystem und topographisches informationsübertragungsverfahren

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333590A (ja) 2002-05-16 2003-11-21 Komatsu Ltd 現場の画像生成システム
JP2005098904A (ja) * 2003-09-26 2005-04-14 Aisin Aw Co Ltd ナビゲーション装置
JP2010152834A (ja) * 2008-12-26 2010-07-08 Ihi Aerospace Co Ltd 無人移動体システム
KR20110110648A (ko) * 2010-04-01 2011-10-07 한양대학교 산학협력단 토공 작업을 위한 그래픽 사용자 인터페이스 제공 장치 및 방법
JP2016095811A (ja) * 2014-11-17 2016-05-26 ヤンマー株式会社 作業車両の移動システム
US20190196464A1 (en) * 2017-07-07 2019-06-27 Zoox, Inc. Predictive teleoperator situational awareness
JP2019175254A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 運転支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4044101A4

Also Published As

Publication number Publication date
JP2021086227A (ja) 2021-06-03
JP7392422B2 (ja) 2023-12-06
US20220389683A1 (en) 2022-12-08
EP4044101A1 (en) 2022-08-17
CN114730440A (zh) 2022-07-08
EP4044101A4 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021111677A1 (ja) 遠隔操作支援サーバ、遠隔操作支援方法および遠隔操作支援システム
EP4265857A1 (en) Work assistance system and work assistance composite system
WO2021106278A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021176883A1 (ja) 作業支援サーバ、作業支援方法
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
WO2021106279A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US20220398512A1 (en) Work assist server, work assist method, and work assist system
WO2021106281A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021181916A1 (ja) 作業支援サーバ、作業支援方法
US20230167626A1 (en) Remote operation assistance server, remote operation assistance system, and remote operation assistance method
EP4365376A1 (en) Remote operation system and remote operation composite system
EP4130400A1 (en) Remote operation assistance device and remote operation assistance method
CN114902311A (zh) 作业辅助服务器、作业辅助方法以及作业辅助系统
JP2023032997A (ja) 遠隔操作システム
JP2023103876A (ja) 遠隔操作支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20892962

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020892962

Country of ref document: EP

Effective date: 20220504

NENP Non-entry into the national phase

Ref country code: DE