WO2021106281A1 - 作業支援サーバ、作業支援方法および作業支援システム - Google Patents

作業支援サーバ、作業支援方法および作業支援システム Download PDF

Info

Publication number
WO2021106281A1
WO2021106281A1 PCT/JP2020/030685 JP2020030685W WO2021106281A1 WO 2021106281 A1 WO2021106281 A1 WO 2021106281A1 JP 2020030685 W JP2020030685 W JP 2020030685W WO 2021106281 A1 WO2021106281 A1 WO 2021106281A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
client
designated area
designated
processing element
Prior art date
Application number
PCT/JP2020/030685
Other languages
English (en)
French (fr)
Inventor
祐介 澤田
佐々木　均
誠司 佐伯
山▲崎▼　洋一郎
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to EP20892752.5A priority Critical patent/EP4030375A4/en
Priority to US17/768,340 priority patent/US20230169422A1/en
Priority to CN202080079418.XA priority patent/CN114730441A/zh
Publication of WO2021106281A1 publication Critical patent/WO2021106281A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]

Definitions

  • the present invention relates to a work support server for supporting the sharing of information on work by the plurality of workers by communicating with each of a plurality of clients assigned to each of the plurality of workers.
  • a terminal device for a remote monitoring support system has been proposed for sharing information with sufficient accuracy between a worker who is inspecting the inside of a plant and a person who is waiting outside the work site. (See, for example, Patent Document 1).
  • This terminal device wirelessly transmits / receives data to / from the outside, a video input means for inputting on-site video data, a pen or mouse type input operation selection means, a detection means for detecting the presence / absence of new video acquisition. It includes a communication control means and an input / output screen display means for displaying an input screen for inputting predetermined data.
  • an object of the present invention is to provide a server and a system capable of sharing information on an area requiring attention at a work site with a plurality of work-related persons.
  • the present invention relates to a work support server for supporting the sharing of information on work by the plurality of workers by communicating with each of a plurality of clients assigned to each of the plurality of workers.
  • the work support server of the present invention causes the output interface of the first client to display a work environment image showing the situation of the work site based on the communication with the first client among the plurality of clients, and inputs the first client.
  • the first support processing element that recognizes the extension mode of the designated area that constitutes a part of the work site designated in the work environment image through the interface and the designated area related information related to the designated area.
  • the work environment image showing the extension mode of the designated area recognized by the first support processing element is displayed on the output interface of the second client together with the designated area related information. It has a second support processing element.
  • the work support system of the present invention is composed of the work support system of the present invention and the plurality of clients.
  • the work environment of the work site showing the extension mode of the designated area designated through the input interface of the first client.
  • the image is output or displayed on the output interface of the second client together with the designated area related information regarding the designated area also designated through the input interface of the first client. Therefore, each of the plurality of workers assigned to each of the plurality of clients can easily share the extension mode of the designated area at the work site and the designated area-related information related thereto.
  • the second client functions as the first client, and the work environment image of the work site showing the extension mode of another designated area is output by the other second client together with the designated area related information regarding the other designated area. It may be displayed on the interface.
  • the first client may be the other second client. Therefore, for example, each of a plurality of workers engaged in a common site specifies one or a plurality of designated areas and designated area-related information through the input interface of each client, thereby providing information through the output interface of each client. A large amount of work environment images can be shared among the plurality of workers.
  • Explanatory drawing about the structure of the work support system as one Embodiment of this invention Explanatory drawing about the structure of the remote control device. Explanatory drawing about the structure of the work machine. Explanatory drawing about the first function of work support system. Explanatory drawing about the 2nd function of work support system. Explanatory drawing about remote output form of work environment image. Explanatory drawing about the 2nd output form of the work environment image. Explanatory drawing about the 3rd output form of the work environment image. The explanatory view about the 4th output form of the work environment image. Explanatory drawing about the 5th output form of a work environment image.
  • the work support system as an embodiment of the present invention shown in FIG. 1 is composed of a work support server 10, a remote control device 20 for remotely controlling the work machine 40, and a worker terminal 60. ing.
  • the "plurality of clients" may be composed of one or more remote control devices 20 and one or more worker terminals 60, and may be composed of a plurality of remote control devices 20 or a plurality of worker terminals 60. May be good.
  • the work support server 10, the remote control device 20, the work machine 40, and the worker terminal 60 are configured to enable network communication with each other.
  • the work support server 10 includes a database 102, a first support processing element 121, and a second support processing element 122.
  • the database 102 stores, in addition to the work environment image showing the state of the work site, the extension mode of the designated area, the designated area-related information regarding the designated area, and chats between a plurality of workers.
  • the database 102 may be configured by a database server separate from the work support server 10.
  • Each assistive processing element is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the processor core), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Therefore, the arithmetic processing described later is executed.
  • the one client may be configured by a mobile terminal that cooperates with the remote control device 20 or has an intercommunication function.
  • the mobile terminal has the same configuration as the worker terminal 60 described later.
  • the remote control mechanism 211 includes a traveling operation device, a turning operation device, a boom operation device, an arm operation device, and a bucket operation device.
  • Each operating device has an operating lever that receives a rotation operation.
  • the operation lever (travel lever) of the travel operation device is operated to move the lower traveling body 410 of the work machine 40.
  • the travel lever may also serve as a travel pedal.
  • a traveling pedal fixed to the base or the lower end of the traveling lever may be provided.
  • the operation lever (swivel lever) of the swivel operation device is operated to move the hydraulic swivel motor constituting the swivel mechanism 430 of the work machine 40.
  • the operating lever (boom lever) of the boom operating device is operated to move the boom cylinder 442 of the work machine 40.
  • the operation lever (arm lever) of the arm operation device is operated to move the arm cylinder 444 of the work machine 40.
  • the operating lever (bucket lever) of the bucket operating device is operated to move the bucket
  • Each operation lever constituting the remote control mechanism 211 is arranged around the seat St for the operator to sit on, for example, as shown in FIG.
  • the seat St is in the form of a high back chair with armrests, but can also be in any form in which the remote operator OP2 can be seated, such as a low back chair without headrests or a chair without backrests. Good.
  • a pair of left and right traveling levers 2110 corresponding to the left and right crawlers are arranged side by side in front of the seat St.
  • One operating lever may also serve as a plurality of operating levers.
  • the right operating lever 2111 provided in front of the right frame of the seat St shown in FIG. 3 functions as a boom lever when operated in the front-rear direction and is operated in the left-right direction. May function as a bucket lever.
  • the left side operating lever 2112 provided in front of the left side frame of the seat St shown in FIG. 2 functions as an arm lever when operated in the front-rear direction and is operated in the left-right direction. In some cases, it may function as a swivel lever.
  • the lever pattern may be arbitrarily changed according to the operation instruction of the operator.
  • the image output device 221 includes a right diagonal front image output device 2211, a front image output device 2212, and a left diagonally forward image output device 2211 arranged diagonally forward to the right, forward, and diagonally forward left of the seat St. It is composed of an oblique forward image output device 2213.
  • the image output devices 2211 to 2213 may further include a speaker (audio output device).
  • the working machine 40 includes an actual machine control device 400, an actual machine input interface 410, an actual machine output interface 420, and an operating mechanism 440.
  • the actual machine control device 400 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and applies the data to the software. Executes the corresponding arithmetic processing.
  • the work machine 40 is, for example, a crawler excavator (construction machine), and as shown in FIG. 2, the work machine 40 is rotatably mounted on a crawler type lower traveling body 410 and a lower traveling body 410 via a swivel mechanism 430. It is equipped with an upper swivel body 420 and. A cab (driver's cab) 424 is provided on the front left side of the upper swing body 420. A work attachment 440 is provided at the front center portion of the upper swing body 220.
  • a crawler excavator construction machine
  • the actual machine input interface 410 includes an actual machine operation mechanism 411 and an image pickup device 412.
  • the actual machine operation mechanism 411 includes a plurality of operation levers arranged in the same manner as the remote control mechanism 211 around the seat arranged inside the cab 424.
  • the cab 424 is provided with a drive mechanism or a robot that receives a signal according to the operation mode of the remote control lever and moves the actual machine operation lever based on the received signal.
  • the image pickup apparatus 414 is installed inside the cab 424, for example, and images an environment including at least a part of the operating mechanism 440 through the front window of the cab 424.
  • the actual device output interface 420 includes an actual device wireless communication device 422.
  • the work attachment 440 as an operating mechanism is rotatable to the boom 441 undulatingly attached to the upper swing body 420, the arm 443 rotatably connected to the tip of the boom 441, and the tip of the arm 443. It is provided with a bucket 445, which is connected to a bucket.
  • the work attachment 440 is equipped with a boom cylinder 442, an arm cylinder 444, and a bucket cylinder 446, which are composed of a telescopic hydraulic cylinder.
  • the boom cylinder 442 is interposed between the boom 441 and the upper swing body 420 so as to expand and contract by receiving the supply of hydraulic oil and rotate the boom 441 in the undulating direction.
  • the arm cylinder 444 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the arm 443 and the boom 441 so as to rotate the arm 443 about a horizontal axis with respect to the boom 441.
  • the bucket cylinder 446 expands and contracts by receiving the supply of hydraulic oil, and is interposed between the bucket 445 and the arm 443 so as to rotate the bucket 445 about the horizontal axis with respect to the arm 443.
  • the worker terminal 60 constituting another client is a terminal device such as a smart phone or a tablet terminal, and includes a control device 600, an input interface 610, and an output interface 620.
  • the control device 600 is composed of an arithmetic processing unit (single-core processor or multi-core processor or a processor core constituting the same), reads necessary data and software from a storage device such as a memory, and follows the software for the data. Executes the arithmetic processing.
  • the input interface 610 is composed of touch panel type buttons and switches.
  • the output interface 620 includes an image output device, an audio output device, and a wireless communication device.
  • FIG. 4 shows a flowchart in which the worker terminal 60 constitutes the “first client” and the remote control device 20 constitutes the “second client”. On the contrary, the worker The terminal 60 may constitute a "second client” and the remote control device 20 may constitute a "second client”.
  • Each component (arithmetic processing resource or hardware resource) of the present invention "recognizes" information means that it receives the information, reads or retrieves the information from a storage device, or the like, and obtains the information. Estimate the information by writing (retaining) or registering it in a storage device, etc., and executing arithmetic processing on the output signal from the sensor and / or the basic information received or searched according to a predetermined algorithm. It is a concept that includes processing for preparing the information in any form that can be used in subsequent processing, such as determination, identification, measurement, prediction, and the like.
  • a work environment image request is transmitted from the worker terminal 60 to the work support server 10 in response to a designated operation (first designated operation) performed by the first worker through the input interface 610. ..
  • the first support processing element 121 transmits the work environment image registered or stored in the database 102 to the worker terminal 60 (FIG. 4 / STEP 102).
  • the work environment image is received by the wireless communication device constituting the output interface 620 in the worker terminal 60 (FIG. 4 / C60), the work environment image is output in the image output device constituting the output interface 620 (FIG. 4 / C60). 4 / STEP602).
  • the work environment image is output in the image output device in which the bird's-eye view map of the work site or the bird's-eye view captured image constitutes the output interface 620.
  • the bird's-eye view captured image includes an image Q1 of the first work machine 40 and an image Q2 of the work machine 40 of the second work machine 40.
  • the bird's-eye view image may be acquired through, for example, an image pickup device mounted on an unmanned aerial vehicle or an image pickup device installed on a structure such as a pole at a work site. Each of the imaging location and the angle of view of the captured image as the working environment image may be arbitrarily changed.
  • the bird's-eye view map may be generated based on the bird's-eye view captured image.
  • the remote control device 20 requests the work environment image from the work support server 10 in response to the designated operation (first designated operation) performed by the second worker through the remote input interface 210. Is sent.
  • the second support processing element 122 transmits the work environment image registered or stored in the database 102 to the remote control device 20 (FIG. 4 / STEP 102).
  • the work environment image is received by the remote wireless communication device 222 constituting the remote output interface 220 in the remote control device 20 (FIG. 4 / C20), the work environment image is displayed in the image output device 621 constituting the remote output interface 620. It is output (Fig. 4 / STEP202).
  • the extension mode of the designated area is designated as a part (image area) of the work environment image through the operation of the input interface 610 (FIG. 4 / STEP604).
  • the extension mode or contour of the designated area may be recognized by recognizing the locus of the fingertip or the pen of the first worker.
  • the first designated area A1 and the second designated area A2 can be designated by the first worker in the working environment image.
  • the worker terminal 60 it is determined whether or not a chat has been input through the input interface 610 (FIG. 4 / STEP610). For example, the result of the voice recognition device recognizing the utterance content of the first worker input through the microphones constituting the input interface 610 may be recognized as a chat. Further, the touch-type keypad constituting the input interface 610 may recognize the chat by recognizing the locus of the fingertip of the first worker.
  • the designated area-related information may include, for example, designated timed information indicating that the area is a designated area for a certain period of time, information regarding an object or environment existing in the designated area, and the like.
  • chat When a chat is received on the work support server 10 (FIG. 4 / C11), the chat is registered or stored in the database 102 (FIG. 4 / STEP104). Then, the chat is transmitted to the worker terminal 60 by the second support processing element 122 (FIG. 4 / STEP106). Further, the chat is transmitted to the remote control device 20 by the second support processing element 122 (FIG. 4 / STEP106).
  • the chat When a chat is received on the worker terminal 60 (FIG. 4 / C61), the chat is output to the image output device constituting the output interface 620 (FIG. 4 / STEP618).
  • the chat is received in the remote control device 20 (FIG. 4 / C21)
  • the chat is output to the image output device 221 constituting the remote output interface 220 (FIG. 4 / STEP218).
  • the chat C11 of the first worker is on the right side of the work environment image, and the image output device and the remote that constitute the output interface 620 of the worker terminal 60 (first client). It is output to each of the image output devices 221 constituting the output interface 220 of the operation device 20 (second client).
  • the work support server 10 receives the extension mode of the designated area and the designated area-related information (hereinafter, appropriately referred to as "designated area-related information, etc.") (FIG. 4 / C12), or the first support processing element.
  • the designated area-related information or the like is registered or stored in the database 102 (FIG. 4 / STEP108). Then, the designated area-related information and the like are transmitted to the worker terminal 60 by the second support processing element 122 (FIG. 4 / STEP110). In addition, the designated area-related information and the like are transmitted to the remote control device 20 by the second support processing element 122 (FIG. 4 / STEP110).
  • the designated area-related information or the like is received by the worker terminal 60 (FIG. 4 / C62).
  • the designated area-related information or the like is output to the image output device constituting the output interface 620 (FIG. 4 / STEP620).
  • the remote control device 20 receives the designated area-related information or the like (FIG. 4 / C62)
  • the designated area-related information or the like is output to the image output device constituting the output interface 620 (FIG. 4 / C62).
  • STEP220 As a result, as shown in FIG. 7, for example, in addition to the work environment image showing the extension mode of the designated area N4 (workplace), the designated area related to the right side in the form of chat C12 of the first worker.
  • Information is output to each of the image output device constituting the output interface 620 of the worker terminal 60 (first client) and the image output device 221 constituting the output interface 220 of the remote control device 20 (second client).
  • each client can act as both a first client and a second client.
  • the image showing the chat exchange may form a part of the work environment image, or may be an image separate from the work environment image.
  • a bird's-eye view image or a bird's-eye view map of the work site is output as a work environment image. From this state, first, as shown in FIG. 6, a chat C11 by the first worker asking "Where are you working today?" Is output (see FIGS. 4 / STEP218 and STEP618).
  • FIG. 7 an image (for example, a contour line) showing an extension mode of the workplace N1 (designated area) designated by the second worker and a position Q0 of the remote control device 20 are displayed.
  • the image shown is output, and the chat C21 by the second worker saying "This is the N1 workshop. The driver's seat is here" is output as the designated area related information (Fig. 4 / STEP220, STEP604 ... YES ⁇ ... ⁇ See STEP620. ).
  • a chat C22 by the second worker asking "Where are you going to work on N4 next?" Is output (see FIGS. 4 / STEP218 and STEP618).
  • an image for example, a contour line
  • the extension mode of the workplace N4 designated area
  • the first worker Chat C12 by the worker saying "N4 is here” is output as the designated area related information (see FIG. 4 / STEP220, STEP604 ... YES ⁇ ... ⁇ STEP620).
  • a chat C23 saying "Thank you” by the second worker is output (see FIG. 4 / STEP218 and STEP618).
  • an image for example, a contour line and a color or pattern inside the contour line
  • Chat C31 by the third worker saying "Please do not enter here between 10:00 and 12:00 because the worker will come” is output as the designated area related information (Fig. 4 / STEP220, STEP604). .. YES ⁇ .. ⁇ See STEP 620).
  • an image for example, a contour line and a color or pattern inside the contour line
  • the image is output.
  • Chat C24 by the second worker saying "Be careful because there was a material that was not available until yesterday" is output as information related to the designated area (see Fig. 4 / STEP220, STEP604 ... YES ⁇ ... ⁇ STEP620).
  • the operator OP determines whether or not there is a designated operation (second designated operation) through the remote input interface 210 (FIG. 5 / STEP240).
  • the "designated operation” is, for example, an operation such as tapping the image Q1 or Q2 on the remote input interface 210 for the worker to specify the work machine 40 intended for remote control in the work environment image (see FIG. 7). .. If the determination result is negative (FIG. 5 / STEP240 ... NO), a series of processes is completed. On the other hand, if the determination result is affirmative (FIG. 5 / STEP240 ... YES), an environment confirmation request is transmitted to the work support server 10 through the remote wireless communication device 222 (FIG. 4 / STEP242).
  • the first support processing element 121 transmits the environment confirmation request to the corresponding work machine 40 (FIG. 5 / C13).
  • the actual machine control device 400 acquires the captured image through the imaging device 412 (FIG. 5 / STEP402).
  • the actual device control device 400 transmits the captured image data representing the captured image to the remote control device 10 through the actual device wireless communication device 422 (FIG. 5 / STEP404).
  • the environment image data (all or part of the captured image itself or a simulated image generated based on the captured image data) corresponding to the captured image data is simulated.
  • Data representing an environment image is transmitted to the remote control device 20 (FIG. 5 / STEP112).
  • the remote control device 20 When the remote control device 20 receives the environmental image data through the remote wireless communication device 222 (FIG. 5 / C23), the environmental image corresponding to the environmental image data is output to the image output device 221 (FIG. 5 / STEP212). .. Thereby, for example, an environmental image including the boom 441, the arm 443, the bucket 445, and the arm cylinder 444, which are a part of the work attachment 440 as the operating mechanism, is displayed in the image output device 221 and the second image output device 221 respectively. Is displayed in.
  • the remote control device 200 recognizes the operation mode of the remote control mechanism 211 (FIG. 5 / STEP214), and the remote control command is issued to the work support server through the remote wireless communication device 222. It is transmitted to 10 (Fig. 5 / STEP216).
  • the remote control command is transmitted to the work machine 40 by the first support processing element 121 (FIG. 5 / C15).
  • the operation of the work attachment 440 and the like is controlled (FIG. 5 / STEP406).
  • the bucket 445 scoops the soil in front of the work machine 40, the upper swivel body 410 is swiveled, and then the soil is dropped from the bucket 445.
  • the work environment image of the work site showing the above is the output interface (for example, remote output interface) of the second client (for example, the remote control device 20) together with the designated area related information regarding the designated area also designated through the input interface of the first client. 220) (see FIG. 4 / STEP 616 ⁇ ... ⁇ STEP 220).
  • each of the plurality of workers assigned to each of the plurality of clients has an extension mode of the designated area (for example, workplaces N1, N4, first designated area A1 and second designated area A2) at the work site. Information related to the designated area related to this can be easily shared (see FIGS. 6 to 10).
  • the second client functions as the first client
  • the work environment image of the work site showing the extension mode of another designated area is the designated area related information regarding the other designated area. It may be displayed on the output interface of another second client (for example, the worker terminal 60). Therefore, for example, each of a plurality of workers engaged in a common site can use one or a plurality of designated areas (for example, workplaces N1, N4, first designated area A1 and second designated area) through the input interface of each client. By designating A2) and the designated area-related information, a work environment image having a large amount of information can be shared among the plurality of workers through the output interface of each client (see FIGS. 6 to 10).
  • the second support processing element 122 recognizes the chat input through the respective input interfaces (210, 610) of the plurality of clients based on the communication with each of the plurality of clients (20, 60), and causes the chat. , Displayed on the output interfaces (220, 620) of each of the plurality of clients, and the chat recognized by the first support processing element 121 based on the communication with the first client (for example, the remote control device 20) is related to the designated area. Recognize as information (see FIG. 4 / STEP220, STEP604 ... YES ⁇ ... ⁇ STEP620).
  • the chats emitted from each of the plurality of workers are output through the output interfaces (220, 620) of each client.
  • the chat issued through the first client is recognized as the designated area-related information, and the designated area-related information is displayed together with the work environment image showing the extension mode of the designated area as described above (Fig.). 6 to 10). Therefore, by sharing the relationship between one chat in the chat time series and the designated area included in the work environment image among the plurality of workers, the designated area related information regarding the designated area is shared. Is planned for smooth sharing.
  • the chat issued from the first client on the condition that the first support processing element 121 specifies the designated area in the first client based on the communication with the first client (for example, the remote control device 20). Recognize at least part of the content as designated area related information.
  • the chat without the designation of the extension mode of the designated area is recognized as a mere chat, while the designation of the extension mode of the designated area is specified.
  • At least part of the accompanying chat can be recognized as designated area related information.
  • the first support processing element 121 recognizes the designated period of the designated area as the designated area-related information based on the communication with the first client (for example, one remote control device 20 and the worker terminal 60), and the second support processing A work site where the extension mode of the designated area is displayed only during the designated period in which the element 122 is recognized by the first support processing element 121 based on the communication with the second client (for example, another remote control device 20). It is preferable to display the work environment image of the above on the output interface (220) of the second client together with the information related to the designated area.
  • the work environment image of the work site where the extension mode of the designated area is displayed is displayed on the output interface (220) of the second client (20) together with the designated period as the designated area-related information regarding the designated area. .. Therefore, the worker can be made to recognize that the designated area exists for a limited time through the second client. Further, after the designated period has elapsed, the designated area is not displayed in a form different from the surroundings, so that the situation of giving the worker a misunderstanding that the designated area exists can be avoided.
  • the first arithmetic processing element 121 recognizes the position of the work machine 40 based on the communication with the first client (for example, one remote control device 20) or the work machine 40 linked with the first client.
  • the second support processing element 122 indicates the position of the work machine 40 recognized by the first support processing element 121 based on the communication with the second client (for example, another remote control device 20, the worker terminal 60). It is preferable to display the work environment image of the site together with the information related to the designated area on the output interface of the second client (20, 60).
  • the work support server 10 is composed of one or more servers separate from each of the remote control device 20, the work machine 40, and the worker terminal 60 (see FIG. 1), but other embodiments.
  • the work support server 10 may be a component of the remote control device 20, the work machine 40, or the worker terminal 60.
  • Each of the components 110, 121, and 122 of the work support server 10 may be two or more components of the remote control device 20, the work machine 40, and the worker terminal 60 that can communicate with each other. ..
  • the chat is recognized as the designated area related information, but in another embodiment, the information input through the input interface may be recognized as the designated area related information regardless of the chat. .. In this case, even if the first support processing element 121 recognizes that the input information is designated as the designated area-related information in the client, and then recognizes that the input information is the designated area-related information. Good.
  • a part or all of the chat contents after the designated area is designated is recognized as the designated area related information, but as another embodiment, the designation before the time when the designated area is designated is specified. At least a part of the chat of the same worker entered in the period may be recognized as the designated area related information. Also, regarding the designated area designated by the first worker, as in the case where the second worker issues a chat saying "I heard that equipment will be brought into this designated area at 14:00", the designated area At least a part of the chat may be recognized as the designated area related information regarding the designated area without the designation of the extension mode as a requirement. In this case, the first support processing element 121 may recognize that the chat is designated area-related information in the client, and then recognize that the chat is designated area-related information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

複数の作業箇所のそれぞれにおける作業機械を用いて遂行すべき作業内容等を当該作業機械の作業員に直感的に認識させることができるサーバおよびシステムを提供する。第１クライアント（例えば、作業員端末６０）の入力インターフェース（例えば、入力インターフェース）６１０を通じて指定された指定エリアＡ１、Ａ２の延在態様を示す作業現場の作業環境画像が、同じく第１クライアントの入力インターフェースを通じて指定された当該指定エリアに関する指定エリア関連情報とともに第２クライアント（例えば、遠隔操作装置２０）の出力インターフェース（例えば、遠隔出力インターフェース２２０）に出力される。

Description

作業支援サーバ、作業支援方法および作業支援システム
　本発明は、複数の作業員のそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数の作業員による作業に関する情報の共有を支援するための作業支援サーバに関する。
　プラント内を巡回点検中の作業従事者と、その作業現場外に待機している者との間で十分な精度で情報の共有化を図るための遠隔監視支援システム用端末装置が提案されている（例えば、特許文献１参照）。この端末装置は、現場の映像データを入力する映像入力手段と、ペンあるいはマウスタイプの入力操作選択手段と、新規の映像取得の有無を検出する検出手段と、外部とのデータ送受信を無線で行う通信制御手段と、所定のデータを入力する入力画面を表示する入出力画面表示手段と、を備えている。
特開２００５－２４２８３０号公報
　しかし、複数の作業関係者が関与する作業現場において注意を要するエリアに関する情報を、当該複数の作業関係者の間で共有できることが好ましい。
　そこで、本発明は、作業現場において注意を要するエリアに関する情報を、複数の作業関係者に共有させることができるサーバおよびシステムを提供することを目的とする。
　本発明は、複数の作業員のそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数の作業員による作業に関する情報の共有を支援するための作業支援サーバに関する。
　本発明の作業支援サーバは、前記複数のクライアントのうち第１クライアントとの通信に基づき、前記第１クライアントの出力インターフェースに作業現場の状況を示す作業環境画像を表示させ、前記第１クライアントの入力インターフェースを通じて前記作業環境画像において指定された前記作業現場の一部を構成する指定エリアの延在態様および当該指定エリアに関する指定エリア関連情報を認識する第１支援処理要素と、前記複数のクライアントのうち第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記指定エリアの延在態様を示す前記作業環境画像を、前記指定エリア関連情報とともに前記第２クライアントの出力インターフェースに表示させる第２支援処理要素と、を備えている。
　本発明の作業支援システムは、本発明の作業支援システムと、前記複数のクライアントと、により構成されている。
　本発明の作業支援サーバおよび作業支援システム（以下、適宜「作業支援サーバ等」という。）によれば、第１クライアントの入力インターフェースを通じて指定された指定エリアの延在態様を示す作業現場の作業環境画像が、同じく第１クライアントの入力インターフェースを通じて指定された当該指定エリアに関する指定エリア関連情報とともに第２クライアントの出力インターフェースに出力または表示される。このため、複数のクライアントのそれぞれを割り当てられた複数の作業員のそれぞれが、作業現場における指定エリアの延在態様およびこれに関する指定エリア関連情報を容易に共有することができる。
　また、第２クライアントが第１クライアントとして機能し、さらに別の指定エリアの延在態様を示す作業現場の作業環境画像が、当該別の指定エリアに関する指定エリア関連情報とともに他の第２クライアントの出力インターフェースに表示されてもよい。第１クライアントが当該他の第２クライアントであってもよい。このため、例えば、共通の現場に携わっている複数の作業員のそれぞれが、各クライアントの入力インターフェースを通じて一または複数の指定エリアおよび指定エリア関連情報を指定することにより、各クライアントの出力インターフェースを通じて情報量の豊富な作業環境画像を当該複数の作業員の間で共有することができる。
本発明の一実施形態としての作業支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 作業支援システムの第１機能に関する説明図。 作業支援システムの第２機能に関する説明図。 作業環境画像の遠隔出力形態に関する説明図。 作業環境画像の第２出力形態に関する説明図。 作業環境画像の第３出力形態に関する説明図。 作業環境画像の第４出力形態に関する説明図。 作業環境画像の第５出力形態に関する説明図。
　（作業支援システムの構成）
　図１に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、作業員端末６０と、により構成されている。「複数のクライアント」は、一または複数の遠隔操作装置２０および一または複数の作業員端末６０により構成されていてもよく、複数の遠隔操作装置２０または複数の作業員端末６０により構成されていてもよい。作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０と、作業員端末６０と、は相互にネットワーク通信可能に構成されている。
　（作業支援サーバの構成）
　作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、作業現場の様子を示す作業環境画像のほか、指定エリアの延在態様および指定エリアに関する指定エリア関連情報ならびに複数の作業員の間のチャットなどを記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
　（遠隔操作装置の構成）
　一のクライアントを構成する遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。
　遠隔操作装置２０と連携するまたは相互通信機能を有する携帯端末により当該一のクライアントが構成されていてもよい。当該携帯端末は、後述する作業員端末６０と同様の構成を有している。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。
　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータＯＰ２が着座できる任意の形態でもよい。
　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。
　（作業機械の構成）
　作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４０が設けられている。
実機入力インターフェース４１０は、実機操作機構４１１と、撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。撮像装置４１４は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

　実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。
　作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。
　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。
（作業員端末の構成）
　他のクライアントを構成する作業員端末６０は、スマートホンまたはタブレット端末などの端末装置であり、制御装置６００と、入力インターフェース６１０と、出力インターフェース６２０と、を備えている。制御装置６００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
　入力インターフェース６１０は、タッチパネル方式のボタンおよびスイッチなどにより構成されている。出力インターフェース６２０は、画像出力装置と、音声出力装置と、無線通信機器と、を備えている。

　（機能）
　（第１機能（作業環境画像およびチャットの出力））
　前記構成の作業支援システムの機能について図４および図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。図４には、作業員端末６０が「第１クライアント」を構成し、遠隔操作装置２０が「第２クライアント」を構成する場合のフローチャートが示されているが、これとは逆に、作業員端末６０が「第２クライアント」を構成し、遠隔操作装置２０が「第２クライアント」を構成していてもよい。
　本発明の各構成要素（演算処理資源またはハードウェア資源）が、情報を「認識する」とは、当該情報を受信すること、当該情報を記憶装置等から読み出すことまたは検索すること、当該情報を記憶装置等に書き込む（記憶保持させる）ことまたは登録すること、センサからの出力信号および／または受信または検索等された基礎情報を所定のアルゴリズムにしたがって演算処理を実行することにより当該情報を推定、判定、同定、測定、予測等すること、など、後続の処理で利用可能なあらゆる形態で当該情報を準備するための処理を包含する概念である。
　作業員端末６０において、第１作業員により入力インターフェース６１０を通じて、指定操作（第１指定操作）があったことに応じて、作業員端末６０から作業支援サーバ１０に作業環境画像要求が送信される。これに応じて、第１支援処理要素１２１により、データベース１０２に登録または記憶保持されている作業環境画像が作業員端末６０に対して送信される（図４／ＳＴＥＰ１０２）。
　作業員端末６０において、出力インターフェース６２０を構成する無線通信機器により作業環境画像が受信された場合（図４／Ｃ６０）、出力インターフェース６２０を構成する画像出力装置において作業環境画像が出力される（図４／ＳＴＥＰ６０２）。
　これにより、例えば図６に示されているように、作業現場の鳥瞰マップまたは鳥瞰撮像画像が出力インターフェース６２０を構成する画像出力装置において作業環境画像が出力される。鳥瞰撮像画像には、第１の作業機械４０の画像Ｑ１および２の作業機械４０の画像Ｑ２が含まれている。鳥瞰撮像画像は、例えば無人飛行機に搭載されている撮像装置または作業現場のポール等の構造物に設置されている撮像装置を通じて取得されてもよい。作業環境画像としての撮像画像の撮像箇所および画角のそれぞれは任意に変更されてもよい。鳥瞰マップは、鳥瞰撮像画像を基礎として生成されてもよい。
　同様に、遠隔操作装置２０において、第２作業員により遠隔入力インターフェース２１０を通じて、指定操作（第１指定操作）があったことに応じて、遠隔操作装置２０から作業支援サーバ１０に作業環境画像要求が送信される。これに応じて、第２支援処理要素１２２により、データベース１０２に登録または記憶保持されている作業環境画像が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１０２）。
　遠隔操作装置２０において、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２により作業環境画像が受信された場合（図４／Ｃ２０）、遠隔出力インターフェース６２０を構成する画像出力装置６２１において作業環境画像が出力される（図４／ＳＴＥＰ２０２）。
　作業員端末６０において、入力インターフェース６１０の操作を通じて、作業環境画像の一部（画像領域）として指定エリアの延在態様が指定されたか否かが判定される（図４／ＳＴＥＰ６０４）。例えば、入力インターフェース６１０および出力インターフェース６２０の両方を構成するタッチパネルにおいて、第１作業員の指先またはペンの軌跡が認識されることにより、指定エリアの延在態様または輪郭が認識されてもよい。これにより、例えば図９に示されているように、作業環境画像において第１指定エリアＡ１および第２指定エリアＡ２が第１作業員により指定されうる。
　当該判定結果が肯定的である場合（図４／ＳＴＥＰ６０４‥ＹＥＳ）、フラグｆが「０」に設定される（図４／ＳＴＥＰ６０６）。その一方、当該判定結果が否定的である場合（図４／ＳＴＥＰ６０４‥ＮＯ）、フラグｆが「１」に設定される（図４／ＳＴＥＰ６０８）。
　作業員端末６０において、入力インターフェース６１０を通じて、チャットが入力されたか否かが判定される（図４／ＳＴＥＰ６１０）。例えば、入力インターフェース６１０を構成するマイクを通じて入力された第１作業員の発話内容が音声認識装置により認識された結果がチャットとして認識されてもよい。また、入力インターフェース６１０を構成するタッチ式キーパッドにおいて、第１作業員の指先の軌跡が認識されることによりチャットが認識されてもよい。
　所定期間においてチャットが入力されたと判定された場合（図４／ＳＴＥＰ６１０‥ＮＯ）、一連の処理が終了する。所定期間においてチャットが入力されたと判定された場合（図４／ＳＴＥＰ６１０‥ＹＥＳ）、作業員端末６０において、フラグｆが０であるか否かが判定される（図４／ＳＴＥＰ６１２）。当該判定結果が否定的である場合（図４／ＳＴＥＰ６１２‥ＮＯ）、すなわち指定エリアの延在態様が指定されていない場合、当該チャットが作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ６１４）。
　その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ６１２‥ＹＥＳ）、すなわち指定エリアの延在態様が指定されている場合、当該チャットの内容の少なくとも一部が指定エリア関連情報として認識されたうえで作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ６１６）。指定エリア関連情報には、例えば、当該エリアが一定期間だけ指定エリアであることを示す指定時限情報、指定エリアに存在する物体または環境に関する情報などが含まれていてもよい。
　作業支援サーバ１０において、チャットが受信された場合（図４／Ｃ１１）、当該チャットがデータベース１０２に登録または記憶保持される（図４／ＳＴＥＰ１０４）。その上で、第２支援処理要素１２２により、当該チャットが作業員端末６０に対して送信される（図４／ＳＴＥＰ１０６）。また、第２支援処理要素１２２により、当該チャットが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１０６）。
　作業員端末６０において、チャットが受信された場合（図４／Ｃ６１）、当該チャットが出力インターフェース６２０を構成する画像出力装置に出力される（図４／ＳＴＥＰ６１８）。同様に、遠隔操作装置２０において、チャットが受信された場合（図４／Ｃ２１）、当該チャットが遠隔出力インターフェース２２０を構成する画像出力装置２２１に出力される（図４／ＳＴＥＰ２１８）。これにより、例えば図６に示されているように、作業環境画像の右側に第１作業員のチャットＣ１１が、作業員端末６０（第１クライアント）の出力インターフェース６２０を構成する画像出力装置および遠隔操作装置２０（第２クライアント）の出力インターフェース２２０を構成する画像出力装置２２１のそれぞれに出力される。
　作業支援サーバ１０において、指定エリアの延在態様および指定エリア関連情報（以下、適宜「指定エリア関連情報等」という。）が受信された場合（図４／Ｃ１２）、または、第１支援処理要素１２１によりチャットの内容の少なくとも一部が指定エリア関連情報として認識された場合、当該指定エリア関連情報等がデータベース１０２に登録または記憶保持される（図４／ＳＴＥＰ１０８）。その上で、第２支援処理要素１２２により、当該指定エリア関連情報等が作業員端末６０に対して送信される（図４／ＳＴＥＰ１１０）。また、第２支援処理要素１２２により、当該指定エリア関連情報等が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。
　作業員端末６０において、指定エリア関連情報等が受信された場合（図４／Ｃ６２）、当該指定エリア関連情報等が出力インターフェース６２０を構成する画像出力装置に出力される（図４／ＳＴＥＰ６２０）。同様に、遠隔操作装置２０において、指定エリア関連情報等が受信された場合（図４／Ｃ６２）、当該指定エリア関連情報等が出力インターフェース６２０を構成する画像出力装置に出力される（図４／ＳＴＥＰ２２０）。これにより、例えば図７に示されているように、指定エリアＮ４（作業場）の延在態様を示す作業環境画像に加えて、その右に第１作業員のチャットＣ１２の形態での指定エリア関連情報が、作業員端末６０（第１クライアント）の出力インターフェース６２０を構成する画像出力装置および遠隔操作装置２０（第２クライアント）の出力インターフェース２２０を構成する画像出力装置２２１のそれぞれに出力される。
　（実施例）
　図４のフローチャートを用いて説明した作業支援システムの第１機能にしたがった、各クライアントの出力インターフェースにおける作業環境画像およびチャットの出力遷移態様の一例に関して図６～図１０を用いて説明する。この例では、各クライアントが第１クライアントおよび第２クライアントの両方として機能しうる。チャットのやり取りを示す画像は、作業環境画像の一部を構成していてもよく、作業環境画像とは別個の画像であってもよい。
　図６に示されているように、作業現場の鳥瞰撮像画像または鳥瞰マップが作業環境画像として出力されている。この状態からまず、図６に示されているように、第１作業員による「今日はどこで作業してますか？」というチャットＣ１１が出力される（図４／ＳＴＥＰ２１８、ＳＴＥＰ６１８参照）。
　これに応じて、図７に示されているように、第２作業員により指定された作業場Ｎ１（指定エリア）の延在態様を示す画像（例えば輪郭線）および遠隔操作装置２０の位置Ｑ０を示す画像が出力され、かつ、当該第２作業員による「Ｎ１作業場です　運転席はここです」というチャットＣ２１が指定エリア関連情報として出力される（図４／ＳＴＥＰ２２０、ＳＴＥＰ６０４‥ＹＥＳ→‥→ＳＴＥＰ６２０参照）。次に、図７に示されているように、第２作業員による「次はＮ４で作業するのですがどこですか？」というチャットＣ２２が出力される（図４／ＳＴＥＰ２１８、ＳＴＥＰ６１８参照）。
　これに応じて、図８に示されているように、第１作業員により指定された作業場Ｎ４（指定エリア）の延在態様を示す画像（例えば輪郭線）が出力され、かつ、当該第１作業員による「Ｎ４はここです」というチャットＣ１２が指定エリア関連情報として出力される（図４／ＳＴＥＰ２２０、ＳＴＥＰ６０４‥ＹＥＳ→‥→ＳＴＥＰ６２０参照）。さらに、図８に示されているように、第２作業員による「ありがとうございます」というチャットＣ２３が出力される（図４／ＳＴＥＰ２１８、ＳＴＥＰ６１８参照）。
　続いて、図９に示されているように、第３作業員により指定された第１指定エリアＡ１の延在態様を示す画像（例えば輪郭線およびその内側の色彩または模様）が出力され、かつ、当該第３の作業員による「作業者がくるので１０：００－１２：００の間はここに侵入しないでください」というチャットＣ３１が指定エリア関連情報として出力される（図４／ＳＴＥＰ２２０、ＳＴＥＰ６０４‥ＹＥＳ→‥→ＳＴＥＰ６２０参照）。
　また、図１０に示されているように、第２作業員により指定された第２指定エリアＡ２の延在態様を示す画像（例えば輪郭線およびその内側の色彩または模様）が出力され、かつ、当該第２作業員による「昨日までなかった資材があったので注意です」というチャットＣ２４が指定エリア関連情報として出力される（図４／ＳＴＥＰ２２０、ＳＴＥＰ６０４‥ＹＥＳ→‥→ＳＴＥＰ６２０参照）。
　（第２機能（作業機械の遠隔操作））
　遠隔操作装置２０において、オペレータＯＰにより遠隔入力インターフェース２１０を通じた指定操作（第２指定操作）の有無が判定される（図５／ＳＴＥＰ２４０）。「指定操作」は、例えば、作業環境画像（図７参照）において、作業員が遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０における画像Ｑ１またはＱ２のタップなどの操作である。当該判定結果が否定的である場合（図５／ＳＴＥＰ２４０‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２４０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２４２）。
　作業支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図５／Ｃ１３）。
　作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図５／Ｃ４１）、実機制御装置４００が撮像装置４１２を通じて撮像画像を取得する（図５／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図５／ＳＴＥＰ４０４）。
　作業支援サーバ１０において、撮像画像データが受信された場合（図５／Ｃ１４）、撮像画像データに応じた環境画像データ（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像を表わすデータ）が遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１１２）。
　遠隔操作装置２０において、遠隔無線通信機器２２２を通じて環境画像データが受信された場合（図５／Ｃ２３）、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図５／ＳＴＥＰ２１２）。これにより、例えば、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境画像が画像出力装置２２１および第２画像出力装置２２１のそれぞれに表示される。
　遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図５／ＳＴＥＰ２１４）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信される（図５／ＳＴＥＰ２１６）。
　作業支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図５／Ｃ１５）。
　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図５／Ｃ４２）、作業アタッチメント４４０等の動作が制御される（図５／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。
（効果）
　当該構成の作業支援システムおよびこれを構成する作業支援サーバ１０によれば、第１クライアント（例えば、作業員端末６０）の入力インターフェース（例えば、入力インターフェース６１０）を通じて指定された指定エリアの延在態様を示す作業現場の作業環境画像が、同じく第１クライアントの入力インターフェースを通じて指定された当該指定エリアに関する指定エリア関連情報とともに第２クライアント（例えば、遠隔操作装置２０）の出力インターフェース（例えば、遠隔出力インターフェース２２０）に出力される（図４／ＳＴＥＰ６１６→‥→ＳＴＥＰ２２０参照）。このため、複数のクライアントのそれぞれを割り当てられた複数の作業員のそれぞれが、作業現場における指定エリア（例えば、作業場Ｎ１、Ｎ４、第１指定エリアＡ１および第２指定エリアＡ２）の延在態様およびこれに関する指定エリア関連情報を容易に共有することができる（図６～図１０参照）。
　また、第２クライアント（例えば、遠隔操作装置２０）が第１クライアントとして機能し、さらに別の指定エリアの延在態様を示す作業現場の作業環境画像が、当該別の指定エリアに関する指定エリア関連情報とともに他の第２クライアント（例えば、作業員端末６０）の出力インターフェースに表示されてもよい。このため、例えば、共通の現場に携わっている複数の作業員のそれぞれが、各クライアントの入力インターフェースを通じて一または複数の指定エリア（例えば、作業場Ｎ１、Ｎ４、第１指定エリアＡ１および第２指定エリアＡ２）および指定エリア関連情報を指定することにより、各クライアントの出力インターフェースを通じて情報量の豊富な作業環境画像を当該複数の作業員の間で共有することができる（図６～図１０参照）。
　第２支援処理要素１２２が、複数のクライアント（２０、６０）のそれぞれとの通信に基づき、当該複数のクライアントのそれぞれの入力インターフェース（２１０、６１０）を通じて入力されたチャットを認識し、当該チャットを、複数のクライアントのそれぞれの出力インターフェース（２２０、６２０）に表示させ、第１支援処理要素１２１が、第１クライアント（例えば、遠隔操作装置２０）との通信に基づいて認識したチャットを指定エリア関連情報として認識する（図４／ＳＴＥＰ２２０、ＳＴＥＰ６０４‥ＹＥＳ→‥→ＳＴＥＰ６２０参照）。
　これにより、複数の作業員のそれぞれから発せられたチャットが各クライアントの出力インターフェース（２２０、６２０）を通じて出力される。また、第１クライアントを通じて発せられたチャットが指定エリア関連情報として認識され、これに応じて前記のように当該指定エリア関連情報が指定エリアの延在態様を示す作業環境画像とともに表示される（図６～図１０参照）。このため、チャットの時系列の中で一のチャットと作業環境画像に含まれている指定エリアとの関連性を当該複数の作業員の間で共有することにより、当該指定エリアに関する指定エリア関連情報の円滑な共有が図られる。
　第１支援処理要素１２１が、第１クライアント（例えば、遠隔操作装置２０）との通信に基づき、当該第１クライアントにおいて指定エリアが指定されたことを要件として、第１クライアントから発せられたチャットの内容の少なくとも一部を指定エリア関連情報として認識する。
　これにより、各クライアント（２０、６０）を通じて発信されるチャットのうち、指定エリアの延在態様の指定を伴わないチャットは単なるチャットであると認識される一方、指定エリアの延在態様の指定を伴うチャットのうち少なくとも一部が指定エリア関連情報として認識されうる。
　第１支援処理要素１２１が、第１クライアント（例えば、一の遠隔操作装置２０、作業員端末６０）との通信に基づき、指定エリアの指定期間を指定エリア関連情報として認識し、第２支援処理要素１２２が、第２クライアント（例えば、他の遠隔操作装置２０）との通信に基づき、第１支援処理要素１２１により認識された指定期間においてのみ、指定エリアの延在態様が表示される作業現場の作業環境画像を、指定エリア関連情報とともに第２クライアントの出力インターフェース（２２０）に表示させることが好ましい。
　これにより、指定エリアの延在態様が表示される作業現場の作業環境画像が、当該指定エリアに関する指定エリア関連情報としての指定期間とともに第２クライアント（２０）の出力インターフェース（２２０）に表示される。このため、第２クライアントを通じて、指定エリアが時限的に存在することを作業員に認識させることができる。また、指定期間の経過後は、当該指定エリアが周囲と異なる形態では表示されないため、作業員に指定エリアが存在するという誤解を与える事態が回避される。
　第１演算処理要素１２１が、第１クライアント（例えば、一の遠隔操作装置２０）または当該第１クライアントと連携している作業機械４０との通信に基づき、当該作業機械４０の位置を認識し、第２支援処理要素１２２が、第２クライアント（例えば、他の遠隔操作装置２０、作業員端末６０）との通信に基づき、第１支援処理要素１２１により認識された作業機械４０の位置を示す作業現場の作業環境画像を、指定エリア関連情報とともに第２クライアント（２０、６０）の出力インターフェースに表示させることが好ましい。
　これにより、作業員が操作する作業機械４０の位置と指定エリアの位置関係を複数の作業員の間で共有することができる。
　（本発明の他の実施形態）
　前記実施形態では、作業支援サーバ１０が、遠隔操作装置２０、作業機械４０および作業員端末６０のそれぞれとは別個の一または複数のサーバにより構成されていたが（図１参照）、他の実施形態として、作業支援サーバ１０が、遠隔操作装置２０、作業機械４０または作業員端末６０の構成要素であってもよい。作業支援サーバ１０の各構成要素１１０、１２１および１２２のそれぞれが、遠隔操作装置２０、作業機械４０および作業員端末６０のうちの相互通信可能な２つ以上のそれぞれの構成要素であってもよい。
　前記実施形態では、チャットの少なくとも一部が指定エリア関連情報として認識されたが、他の実施形態として、チャットとは無関係に入力インターフェースを通じて入力された情報が指定エリア関連情報として認識されてもよい。この場合、クライアントにおいて、当該入力情報が指定エリア関連情報であることが指定されたことを第１支援処理要素１２１が認識したうえで、当該入力情報が指定エリア関連情報であると認識されてもよい。
　前記実施形態では、指定エリアが指定された後のチャットの内容の一部または全部が指定エリア関連情報として認識されたが、他の実施形態として、指定エリアが指定された時点よりも前の指定期間において入力された同一作業員のチャットの少なくとも一部が指定エリア関連情報として認識されてもよい。また、第１作業員により指定された指定エリアに関して、第２作業員が「この指定エリアには１４：００に機材が運び込まれると聞きました」というチャットを発する場合のように、指定エリアの延在態様の指定が要件とされずに、チャットの少なくとも一部が当該指定エリアに関する指定エリア関連情報として認識されてもよい。この場合、クライアントにおいて、チャットが指定エリア関連情報であることが指定されたことを第１支援処理要素１２１が認識したうえで、当該チャットが指定エリア関連情報であると認識されてもよい。
１０‥作業支援サーバ、２０‥遠隔操作装置、４０‥作業機械、６０‥作業員端末、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作動機構）、６１０‥入力インターフェース、６２０‥出力インターフェース。

Claims (7)

  1. 　複数の作業員のそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数の作業員による作業に関する情報の共有を支援するための作業支援サーバであって、
    　前記複数のクライアントのうち第１クライアントとの通信に基づき、前記第１クライアントの出力インターフェースに作業現場の状況を示す作業環境画像を表示させ、前記第１クライアントの入力インターフェースを通じて前記作業環境画像において指定された前記作業現場の一部を構成する指定エリアの延在態様および当該指定エリアに関する指定エリア関連情報を認識する第１支援処理要素と、
    　前記複数のクライアントのうち第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記指定エリアの延在態様を示す前記作業環境画像を、前記指定エリア関連情報とともに前記第２クライアントの出力インターフェースに表示させる第２支援処理要素と、を備えていることを特徴とする作業支援サーバ。
  2. 　請求項１記載の作業支援サーバにおいて、
    　前記第２支援処理要素が、前記複数のクライアントのそれぞれとの通信に基づき、前記複数のクライアントのそれぞれの入力インターフェースを通じて入力されたチャットを認識し、前記チャットを、前記複数のクライアントのそれぞれの出力インターフェースに表示させ、
    　前記第１支援処理要素が、前記第１クライアントとの通信に基づいて認識した前記チャットを前記指定エリア関連情報として認識することを特徴とする作業支援サーバ。
  3. 　請求項２記載の作業支援サーバにおいて、
    　前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第１クライアントにおいて前記指定エリアが指定されたことを要件として、前記第１クライアントから発せられたチャットの内容の少なくとも一部を前記指定エリア関連情報として認識することを特徴とする作業支援サーバ。
  4. 　請求項１～３のうちいずれか１項に記載の作業支援サーバにおいて、
    　前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記指定エリアの指定期間を前記指定エリア関連情報として認識し、
    　前記第２支援処理要素が、前記第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記指定期間においてのみ、前記指定エリアの延在態様が表示される前記作業環境画像を、前記指定エリア関連情報とともに前記第２クライアントの出力インターフェースに表示させることを特徴とする作業支援サーバ。
  5. 　請求項１～４のうちいずれか１項に記載の作業支援サーバにおいて、
    　前記第１演算処理要素が、前記第１クライアントまたは前記第１クライアントと連携している作業機械との通信に基づき、前記作業機械の位置を認識し、
    　前記第２支援処理要素が、前記第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記作業機械の位置を示す前記作業環境画像を、前記指定エリア関連情報とともに前記第２クライアントの出力インターフェースに表示させることを特徴とする作業支援サーバ。
  6. 　請求項１～５のうちいずれか１項に記載の作業支援サーバと、前記複数のクライアントと、により構成されていることを特徴とする作業支援システム。
  7. 　複数の作業員のそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数の作業員による作業に関する情報の共有を支援するための作業支援方法であって、
    　前記複数のクライアントのうち第１クライアントとの通信に基づき、前記第１クライアントの出力インターフェースに作業現場の状況を示す作業環境画像を表示させ、前記第１クライアントの入力インターフェースを通じて前記作業環境画像において指定された前記作業現場の一部を構成する指定エリアの延在態様および当該指定エリアに関する指定エリア関連情報を認識する第１支援処理と、
    　前記複数のクライアントのうち第２クライアントとの通信に基づき、前記第１支援処理により認識された前記指定エリアの延在態様を示す前記作業環境画像を、前記指定エリア関連情報とともに前記第２クライアントの出力インターフェースに表示させる第２支援処理と、を実行することを特徴とする作業支援方法。
PCT/JP2020/030685 2019-11-25 2020-08-12 作業支援サーバ、作業支援方法および作業支援システム WO2021106281A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20892752.5A EP4030375A4 (en) 2019-11-25 2020-08-12 ASSISTING LABOR DEVICE, ASSISTING LABOR METHOD AND ASSISTING LABOR SYSTEM
US17/768,340 US20230169422A1 (en) 2019-11-25 2020-08-12 Work assist server, work assist method, and work assist system
CN202080079418.XA CN114730441A (zh) 2019-11-25 2020-08-12 作业支援服务器、作业支援方法以及作业支援系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-212617 2019-11-25
JP2019212617A JP7367486B2 (ja) 2019-11-25 2019-11-25 作業支援サーバおよび作業支援システム

Publications (1)

Publication Number Publication Date
WO2021106281A1 true WO2021106281A1 (ja) 2021-06-03

Family

ID=76087709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030685 WO2021106281A1 (ja) 2019-11-25 2020-08-12 作業支援サーバ、作業支援方法および作業支援システム

Country Status (5)

Country Link
US (1) US20230169422A1 (ja)
EP (1) EP4030375A4 (ja)
JP (1) JP7367486B2 (ja)
CN (1) CN114730441A (ja)
WO (1) WO2021106281A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242830A (ja) 2004-02-27 2005-09-08 Toshiba Corp 遠隔監視支援システムおよび遠隔監視支援システム用携帯端末装置
JP2019114191A (ja) * 2017-12-26 2019-07-11 井関農機株式会社 農作業管理システム
JP2019185159A (ja) * 2018-04-03 2019-10-24 株式会社アルカディア 情報共有システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162528B1 (en) * 1998-11-23 2007-01-09 The United States Of America As Represented By The Secretary Of The Navy Collaborative environment implemented on a distributed computer network and software therefor
JP4203657B2 (ja) * 2004-02-27 2009-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーション コラボレーションサーバ、コラボレーションシステム、その方法及びプログラム
US20140184643A1 (en) * 2012-12-27 2014-07-03 Caterpillar Inc. Augmented Reality Worksite
AU2014202959B2 (en) * 2014-05-30 2020-10-15 Caterpillar Of Australia Pty Ltd Illustrating elevations associated with a mine worksite

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242830A (ja) 2004-02-27 2005-09-08 Toshiba Corp 遠隔監視支援システムおよび遠隔監視支援システム用携帯端末装置
JP2019114191A (ja) * 2017-12-26 2019-07-11 井関農機株式会社 農作業管理システム
JP2019185159A (ja) * 2018-04-03 2019-10-24 株式会社アルカディア 情報共有システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUMITOMO MITSUI CONSTRUCTION CO.: "GeoMation worker safety support solution Case study", HITACHI SOCIAL INNOVATION FORUM 2019, HITACHI SOLUTIONS, JP, JP, pages 1 - 2, XP009529145, Retrieved from the Internet <URL:https://www.hitachi-solutions.co.jp/-/media/Project/DefaultSite/Products/pdf/g/case/geomation_case11_smcon_pdf.ashx?la=ja-JP> *

Also Published As

Publication number Publication date
EP4030375A4 (en) 2022-09-28
JP2021086224A (ja) 2021-06-03
US20230169422A1 (en) 2023-06-01
JP7367486B2 (ja) 2023-10-24
CN114730441A (zh) 2022-07-08
EP4030375A1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
WO2021111677A1 (ja) 遠隔操作支援サーバ、遠隔操作支援方法および遠隔操作支援システム
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US20230073325A1 (en) Remote operation assistance server, remote operation assistance system, and remote operation assistance method
WO2021153187A1 (ja) 作業支援サーバおよび作業支援システム
EP3922775B1 (en) Remote operation system and remote operation server
CN114902311A (zh) 作业辅助服务器、作业辅助方法以及作业辅助系统
WO2021106281A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021106278A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021106279A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2021106280A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US12123175B2 (en) Remote operation device, remote operation assistance server, remote operation assistance system, and remote operation assistance method
WO2022209018A1 (ja) 作業支援システムおよび作業支援複合システム
US20220307224A1 (en) Work support system and work support composite system
US20230056724A1 (en) Remote operation device, remote operation assistance server, remote operation assistance system, and remote operation assistance method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20892752

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020892752

Country of ref document: EP

Effective date: 20220412

NENP Non-entry into the national phase

Ref country code: DE