WO2023063219A1 - 作業機械の周辺監視システム、情報処理装置、及び周辺監視方法 - Google Patents

作業機械の周辺監視システム、情報処理装置、及び周辺監視方法 Download PDF

Info

Publication number
WO2023063219A1
WO2023063219A1 PCT/JP2022/037483 JP2022037483W WO2023063219A1 WO 2023063219 A1 WO2023063219 A1 WO 2023063219A1 JP 2022037483 W JP2022037483 W JP 2022037483W WO 2023063219 A1 WO2023063219 A1 WO 2023063219A1
Authority
WO
WIPO (PCT)
Prior art keywords
work machine
dimensional
information
space recognition
shape
Prior art date
Application number
PCT/JP2022/037483
Other languages
English (en)
French (fr)
Inventor
晋 相澤
Original Assignee
住友重機械工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友重機械工業株式会社 filed Critical 住友重機械工業株式会社
Publication of WO2023063219A1 publication Critical patent/WO2023063219A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices

Definitions

  • the present invention relates to a work machine surroundings monitoring system, an information processing device, and a surroundings monitoring method.
  • the number of counterweights is changed for each site.
  • a space recognition device is provided on the top surface of the counterweight of such a crane, it is necessary to set the position and posture of the space recognition device according to the site.
  • the calibration for grasping at least one of the position and orientation of the space recognition device places a heavy burden on the operator who performs the settings.
  • One aspect of the present invention provides a technology that reduces the burden on workers to identify the position or orientation of a space recognition device provided on a work machine.
  • a work machine surroundings monitoring system includes a three-dimensional detection device installed on the work machine so that a part of the work machine is included in a measurement range, and detection information of the three-dimensional detection device. and specifying the position or orientation of the three-dimensional sensing device based on the shape of at least a part of the working machine included in the acquired sensing information.
  • the burden on workers can be reduced.
  • FIG. 1 is a schematic diagram showing an example of a perimeter monitoring system according to an embodiment.
  • FIG. 2 is a side view showing an example of the excavator according to the embodiment.
  • FIG. 3 is a top view showing an example of the excavator according to the embodiment.
  • Drawing 4 is a side view showing an example of a crawler crane concerning an embodiment.
  • FIG. 5 is a block diagram showing an example of the configuration of the perimeter monitoring system according to the embodiment.
  • FIG. 6 is a block diagram showing an example of the configuration of the perimeter monitoring system according to the embodiment.
  • FIG. 7 is a diagram showing a specific example of the construction of the excavator corresponding to FIG.
  • FIG. 8 is a diagram showing a specific example of the configuration of a crawler crane corresponding to FIG.
  • FIG. 1 is a schematic diagram showing an example of a perimeter monitoring system according to an embodiment.
  • FIG. 2 is a side view showing an example of the excavator according to the embodiment.
  • FIG. 3 is
  • FIG. 9 is a conceptual diagram showing three-dimensional markers stored in a three-dimensional marker storage unit according to the embodiment.
  • FIG. 10 is a diagram exemplifying the measurement range by the space recognition device provided on the excavator according to the embodiment.
  • FIG. 11 is a diagram showing an example of 3D image information captured by the space recognition device according to the embodiment.
  • FIG. 12 is a diagram showing the shape of a part of the three-dimensional marker of the excavator stored in the three-dimensional marker storage unit according to the embodiment;
  • FIG. 13 is a diagram exemplifying a part of three-dimensional integrated image information generated by the integration processing unit according to the embodiment;
  • FIG. 14 is a conceptual diagram showing three-dimensional markers stored in a three-dimensional marker storage unit according to the embodiment.
  • FIG. 10 is a diagram exemplifying the measurement range by the space recognition device provided on the excavator according to the embodiment.
  • FIG. 11 is a diagram showing an example of 3D image information captured by the space recognition device
  • FIG. 15 is a diagram exemplifying the measurement range by the space recognition device provided on the crawler crane according to the embodiment.
  • FIG. 16 is a flow chart showing overall processing in the perimeter monitoring system according to the embodiment.
  • FIG. 17 is a flow chart showing processing when assembling the crawler crane according to the embodiment.
  • FIG. 18 is an overall view showing an example of a continuous unloader according to the embodiment;
  • FIG. 19 is a diagram showing a side view of the bucket elevator of the continuous unloader according to the embodiment;
  • FIG. 1 is a schematic diagram showing an example of a perimeter monitoring system SYS according to this embodiment.
  • 2, 3 and 4 are diagrams showing specific examples of the work machine 100 included in the perimeter monitoring system SYS.
  • FIG. 2 is a side view showing an example of the excavator 100A
  • FIG. 3 is a top view showing an example of the excavator.
  • FIG. 4 is a side view showing an example of the crawler crane 100B.
  • corresponding components for example, components having the same function of the excavator 100A and the crawler crane 100B will be described with the same reference numerals.
  • the perimeter monitoring system SYS includes a working machine 100 and a management device 200.
  • the work machine 100 included in the perimeter monitoring system SYS may be one or may be multiple. Further, when a plurality of work machines 100 are included in the perimeter monitoring system SYS, the plurality of work machines 100 may all be of the same type, or at least some of them may be of different types.
  • the perimeter monitoring system SYS may include a plurality of excavators 100A or crawler cranes 100B, or may include both excavators 100A and crawler cranes 100B.
  • a plurality of management devices 200 may be included in the perimeter monitoring system SYS. That is, the plurality of management devices 200 may distribute and perform the processing related to the perimeter monitoring system SYS. For example, the plurality of management devices 200 mutually communicate with some of the work machines 100 in charge of all the work machines 100 included in the perimeter monitoring system SYS. may be performed.
  • the surroundings monitoring system SYS collects information from the work machine 100 in the management device 200 and monitors various states of the work machine 100 (for example, the presence or absence of abnormalities in various devices mounted on the work machine 100).
  • the surroundings monitoring system SYS monitors the surroundings of the work machine 100 by the space recognition device 40 (an example of a three-dimensional detection device) provided on the work machine 100 in the management device 200, for example.
  • the perimeter monitoring system SYS may support remote operation of the work machine 100 in the management device 200, for example.
  • the perimeter monitoring system SYS may support remote monitoring of the work by the fully automatic operation of the work machine 100 in the management device 200, for example.
  • the work machine 100 includes a lower traveling body 1, an upper revolving body 3 rotatably mounted on the lower traveling body 1 via a revolving mechanism 2, an attachment AT attached to the upper revolving body 3, and a tip of the attachment AT.
  • a hook HK provided and a cabin 10 in which an operator boards are provided.
  • the front of the work machine 100 (upper revolving body 3) is the attachment to the upper revolving body 3 when the excavator 100A is viewed from directly above along the revolving shaft of the upper revolving body 3 in plan view (top view). Corresponds to the extending direction.
  • the left and right sides of work machine 100 (upper swing body 3 ) correspond to the left and right sides of an operator seated in the operator's seat in cabin 10 , respectively.
  • the cabin 10 may be omitted when the work machine 100 is remotely controlled or when the work machine 100 operates by fully automatic operation.
  • the work machine 100 is a crane operation in which a suspended load is suspended from a hook HK and at least one of the lower traveling body 1, the upper revolving body 3, and the attachment AT is operated to transport the suspended load to a predetermined destination. (hanging work) can be performed.
  • the work machine 100 is equipped with a communication device 60, and can mutually communicate with the management device 200 through a predetermined communication line NW. As a result, work machine 100 can transmit (upload) various types of information to management device 200 and receive various signals (for example, information signals and control signals) from management device 200 .
  • the communication line NW includes, for example, a wide area network (WAN: Wide Area Network).
  • a wide area network may include, for example, a mobile communication network terminating at a base station.
  • the wide area network may also include, for example, a satellite communication network that uses communication satellites over work machine 100 .
  • the wide area network may also include, for example, the Internet network.
  • the communication line NW may include, for example, a local network (LAN: Local Area Network) such as a facility where the management device 200 is installed.
  • the local network may be a wireless line, a wired line, or a line containing both.
  • the communication line NW may include, for example, a short-range communication line based on a predetermined wireless communication method such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the work machine 100 operates actuators (for example, hydraulic actuators) in response to operations by an operator riding in the cabin 10 to drive driven elements such as the lower traveling body 1, the upper revolving body 3, and the attachment AT.
  • actuators for example, hydraulic actuators
  • work machine 100 may be configured to be operable by an operator of cabin 10, and may be configured to be remotely controlled (remotely operated) from the outside of work machine 100. Furthermore, it may be configured such that only remote operation (remote operation) is possible from the outside of work machine 100 .
  • remote operation remote operation
  • the interior of cabin 10 may be unmanned.
  • Remote operation includes, for example, a mode in which work machine 100 is operated by a user (operator)'s input regarding an actuator of work machine 100 performed by a predetermined external device (eg, management device 200).
  • work machine 100 transmits image information (hereinafter referred to as “three-dimensional image information”) representing three-dimensional objects existing around work machine 100 based on the output of space recognition device 40, which will be described later, to an external device.
  • image information hereinafter referred to as “remote control display device”
  • remote control display device a display device
  • various information images (information screens) displayed on the output device 50 (display device) in the cabin 10 of the work machine 100 may be similarly displayed on the remote control display device of the external device.
  • the operator of the external device can operate the work machine 100 remotely while confirming the display contents such as image information representing the surroundings of the work machine 100 and various information images displayed on the remote control display device. can be manipulated.
  • Work machine 100 operates actuators according to a remote control signal representing the details of remote control received from an external device, and drives driven elements such as lower traveling body 1, upper revolving body 3, and attachment AT. can be driven.
  • the remote operation includes, for example, a mode in which work machine 100 is operated by a person (for example, a worker) around work machine 100 who inputs voice or gestures to work machine 100 from the outside. good.
  • the work machine 100 uses a voice input device (e.g., a microphone), an imaging device, or the like mounted on the work machine 100 (self machine) to transmit sounds uttered by surrounding workers or the like, or by the workers, etc. Recognize gestures and the like that are made.
  • the work machine 100 may operate the actuators according to the contents of the recognized voice, gesture, or the like to drive the driven elements such as the lower traveling body 1, the upper revolving body 3, and the attachment AT.
  • work machine 100 may automatically operate the actuator regardless of the content of the operator's operation.
  • the work machine 100 has a function of automatically operating at least a part of the driven elements such as the lower traveling body 1, the upper revolving body 3, and the attachment AT, that is, the so-called “automatic driving function” or “machine control (machine control).”
  • Control: MC) function is realized.
  • the automatic operation function includes a function of automatically operating a driven element (actuator) other than the driven element (actuator) to be operated in accordance with the operator's operation on the operation device 26 or remote control, that is, a so-called “semi-automatic operation”.
  • functions or “operation-assisted MC functions” may be included.
  • the automatic operation function includes a function that automatically operates at least a part of a plurality of driven elements (hydraulic actuators) on the premise that the operator does not operate the operation device 26 or remote control, that is, the so-called “fully automatic operation”.
  • functions” or “fully automated MC functions” may be included.
  • the interior of the cabin 10 may be in an unmanned state when the fully automatic operation function is enabled.
  • the semi-automatic operation function, the fully automatic operation function, and the like may include a mode in which the operation contents of the driven elements (actuators) to be automatically operated are automatically determined according to predetermined rules.
  • the work machine 100 autonomously makes various judgments, and according to the judgment results, autonomously operates the driven elements (hydraulic actuators) to be automatically operated.
  • a mode in which the operation content is determined (so-called “autonomous operation function”) may be included.
  • the work machine 100 is, for example, a shovel 100A.
  • the excavator 100A is rotatably mounted on the lower traveling body 1A via a lower traveling body 1A (an example of the lower traveling body 1) and a turning mechanism 2A (an example of a turning mechanism 2).
  • a lower traveling body 1A an example of the lower traveling body 1
  • a turning mechanism 2A an example of a turning mechanism 2).
  • an upper revolving body 3A an example of the upper revolving body 3
  • an attachment AT for performing various operations and a cabin 10.
  • the lower traveling body 1A causes the excavator 100A to travel by hydraulically driving a pair of left and right crawlers 1C by left and right traveling hydraulic motors 1M. That is, the crawler 1C includes a left crawler 1CL and a right crawler 1CR, and the traveling hydraulic motor 1M includes a left traveling hydraulic motor 1ML and a right traveling hydraulic motor 1MR.
  • the upper revolving body 3A revolves relative to the lower traveling body 1A by hydraulically driving the revolving mechanism 2A with a revolving hydraulic motor 2M (see FIG. 7).
  • An attachment AT (an example of a working device) includes a boom 4A, an arm 5A, and a bucket 6A as driven elements.
  • the boom 4A is attached to the center of the front part of the upper rotating body 3A so that it can be raised.
  • An arm 5A is attached to the tip of the boom 4A so that it can rotate up and down. possible to be installed.
  • Bucket 6A is an example of an end attachment.
  • the bucket 6A is used, for example, for excavation work or the like.
  • another end attachment may be attached to the tip of the arm 5A instead of the bucket 6A, depending on the type of work and the like.
  • Other end attachments may be other types of buckets such as, for example, large buckets, slope buckets, dredging buckets, and the like.
  • Other end attachments may also be types of end attachments other than buckets, such as agitators, breakers, grapples, and the like.
  • a hook HK for crane work is attached to the bucket 6A.
  • a base end of the hook HK is rotatably connected to a bucket pin that connects the arm 5A and the bucket 6A.
  • the hook HK is accommodated in the space formed between the two bucket links when work other than crane work (hanging work) such as excavation work is performed.
  • the boom 4A, arm 5A, and bucket 6A are hydraulically driven by boom cylinders 7A, arm cylinders 8A, and bucket cylinders 9A, respectively, as hydraulic actuators.
  • the cabin 10 is a cockpit in which an operator boards, and is mounted, for example, on the front left side of the upper revolving structure 3A.
  • the space recognition device 40 is attached to the upper part of the upper revolving body 3A, detects objects existing around the excavator 100A over an area relatively close to the excavator 100A and an area relatively far from the excavator 100A, and converts the detection result into a three-dimensional image. Get it as information.
  • the space recognition device 40 may be any device that can detect the distance to objects existing around the excavator 100A.
  • the space recognition device 40 is, for example, LiDAR (Light Detection and Ranging).
  • the space recognition device 40 irradiates infrared rays in a certain direction and receives reflected light from objects in that direction, thereby obtaining information about objects around the excavator 100A, specifically received reflected light. (hereinafter referred to as “light reception information”).
  • the space recognition device 40 is, for example, a scanning LiDAR, and is a three-dimensional laser scanner capable of scanning the irradiation direction of an infrared laser in the vertical direction and the horizontal direction.
  • the space recognition device 40 may be a so-called flash-type LiDAR that emits infrared rays from a light-emitting module over a wide three-dimensional range and captures reflected light (infrared rays) with a three-dimensional distance image element.
  • the light reception information includes information on the time from infrared irradiation to reception of reflected light (TOF: Time Of Flight) for each infrared irradiation direction, and information on the intensity of reflected light received for each infrared irradiation direction. is included. Thereby, the shape of the object existing in the measurement range and the distance to the object can be recognized.
  • TOF Time Of Flight
  • the space recognition device 40 is not limited to the sensors described above, and may be a stereo camera, a distance image camera, a depth camera, or the like. Furthermore, the space recognition device 40 may be, for example, a millimeter wave radar. By using these imaging devices, it is possible to detect the shape and distance of an object existing around the excavator 100A each time an image is taken.
  • a flash-type LiDAR is applied as the space recognition device 40, and image information representing the distance from the space recognition device 40 to an object and the shape of the object by the flash-type LiDAR is converted into three-dimensional image information (detection example of information).
  • image information representing the distance from the space recognition device 40 to an object and the shape of the object by the flash-type LiDAR is converted into three-dimensional image information (detection example of information).
  • detection information used for processing may be any information that includes the shape of an object present in the detection target and the distance to the object.
  • the space recognition device 40 includes space recognition devices 40F, 40B, 40L, and 40R. Each of space recognition devices 40 is installed on work machine 100 so that a part of the appearance of work machine 100 is included in the measurement range.
  • the spatial recognition devices 40F, 40B, 40L, and 40R are attached to the upper front end, upper rear end, upper left end, and upper right end of the upper revolving structure 3A, respectively, and are mounted on the front, rear, left, and right sides of the upper revolving structure 3A. , object detection is performed on the right side.
  • the space recognition device 40F captures an image of a measurement range in front of the upper revolving body 3A, for example, a measurement range in the horizontal direction from the front left to the front right (that is, the circumferential direction viewed from the excavator 100A).
  • the space recognition device 40B captures an image of the measurement range behind the upper revolving body 3A, for example, the measurement range in the horizontal direction (that is, the circumferential direction viewed from the excavator 100A) extending from the left rear to the right rear. Further, the space recognition device 40L, for example, measures the left side measurement range of the upper revolving body 3A, for example, the measurement range in the horizontal direction (circumferential direction viewed from the excavator 100A) from the left front to the left rear of the upper revolving body 3A. Take an image.
  • the space recognition device 40R measures the measurement range on the right side of the upper revolving body 3A, for example, the measurement range in the horizontal direction (circumferential direction viewed from the excavator 100A) from the right front to the right rear of the upper revolving body 3A. Take an image.
  • the space recognition devices 40F, 40B, 40L, and 40R differ in measurement direction and installation position, and are configured to be able to irradiate the above-described measurement range with infrared rays.
  • Each of the space recognition devices 40 of the excavator 100A is mounted in the upper part of the upper revolving body 3A so that the optical axis is directed obliquely downward, and the measurement range in the vertical direction includes from the ground near the excavator 100A to the far side of the excavator 100A. is provided so as to image the An example in which the space recognition devices 40F, 40B, 40L, and 40R of the excavator 100A have different measurement directions and installation positions will be described. may be
  • the space recognition device 40 indicates the detection result at predetermined intervals (eg, 1/30 second) from start-up (ie, key switch ON) to stop (ie, key switch OFF) of the excavator 100A.
  • 3D image information is output.
  • Three-dimensional image information output from the space recognition device 40 is captured by the controller 30 .
  • the three-dimensional image information output from the space recognition device 40 is transmitted (uploaded) from the controller 30 to the management device 200 through the communication device 60 .
  • the working machine 100 is, for example, a crawler crane 100B.
  • the crawler crane 100B includes a lower traveling body 1B (an example of a lower traveling body 1) and an upper revolving body 3B (an upper turning body 3B) mounted on the lower traveling body 1B so as to be rotatable via a turning mechanism 2B (an example of a turning mechanism 2).
  • a turning mechanism 2B an example of a turning mechanism 2
  • An example of the body 3 an attachment AT, a mast 5B, a backstop 6B, a hook HK, a counterweight 9B, and a cabin 10.
  • the lower traveling body 1B includes, for example, a pair of left and right crawlers 1C.
  • the lower traveling body 1B causes the crawler crane 100B to travel by hydraulically driving the respective crawlers 1C by the left traveling hydraulic motor 1ML and the right traveling hydraulic motor 1MR (see FIG. 7).
  • the upper revolving body 3B revolves relative to the lower traveling body 1B by hydraulically driving the revolving mechanism 2B with a revolving hydraulic motor 2M (see FIG. 8).
  • the attachment AT (an example of a working device) includes a boom 4B and a main hoisting rope 7B.
  • the boom 4B is attached to the center of the front part of the upper swing body 3B so that it can rise and fall.
  • a main hoisting rope 7B hangs down from the tip of the boom 4B, and a hook HK is attached to the tip of the main hoisting rope 7B. That is, a hook HK is attached to the tip of the boom 4B via the main hoisting rope 7B.
  • the main hoisting rope 7B is attached at its base end to the main hoisting winch 7Ba attached to the rear surface portion between the base end and the tip of the boom 4B, and its tip is attached to the hook HK.
  • the main hoisting rope 7B is wound up and unwound by a main hoisting winch 7Ba that is hydraulically driven by a main hoisting hydraulic motor 7M (see FIG. 8), whereby the hook HK can be moved up and down.
  • the mast 5B is attached slightly behind the base end of the boom 4B of the upper swing body 3B so as to be rotatable around a rotation axis parallel to the rotation axis of the boom 4B.
  • the tip of the mast 5B is connected to the tip of the boom 4B via a pendant rope 5Ba, and the boom hoisting rope 5Bb is reeled in and out by a boom hoisting winch 5Bc hydraulically driven by a hoisting hydraulic motor 5M (see FIG. 8).
  • the extension raises and lowers the boom 4B via the mast 5B.
  • the backstop 6B is attached to a portion of the upper rotating body 3B behind the base end of the boom 4B so as to be rotatable about a rotation axis parallel to the rotation axis of the boom 4B. It is attached to a rear surface portion between the base end and the tip end of the boom 4B so as to be rotatable around a rotation axis parallel to the rotation axis of the boom 4B.
  • the backstop 6B expands and contracts according to the hoisting motion of the boom 4B, and has a function of supporting the boom 4B from behind when the boom 4B is in a substantially upright state, for example.
  • the hook HK is attached to the tip of the main hoisting rope 7B and used to suspend the load.
  • the counterweight 9B is provided at the rear end of the upper rotating body 3B and has a function of balancing the weight of the boom 4B and the weight of the suspended load.
  • the cabin 10 is attached, for example, to the right front end of the upper swing body 3B. Inside the cabin 10, an operating device 26 (see FIG. 8) for operating a cockpit and various actuators is provided.
  • the space recognition device 40 is provided on the upper surface of the counterweight 9B and monitors the surroundings of the crawler crane 100B.
  • the crawler crane 100B for example, transmits three-dimensional image information around the crawler crane 100B based on the output of the space recognition device 40 described later to an external device, and the image information is displayed on a display device (hereinafter referred to as a display device) provided in the external device. , “remote control display”).
  • the space recognition device 40 is provided on the upper surface of the counterweight 9B and captures an image of the surroundings of the crawler crane 100B ranging from an area relatively close to the crawler crane 100B to an area relatively far from the crawler crane 100B to obtain three-dimensional image information.
  • the space recognition device 40 includes space recognition devices 40B, 40L, and 40R.
  • the space recognition device 40 mounted on the crawler crane 100B is the same as the space recognition device 40 mounted on the excavator 100A described above, and a description thereof will be omitted.
  • the space recognition device 40B, the space recognition device 40L, and the space recognition device 40R are respectively attached to the upper rear end, upper left end, and upper right end of the counterweight 9B, and are attached to the rear, left, and right sides of the crawler crane 100B. take an image of the direction.
  • the crawler crane 100B is provided with a space recognition device 40F in order to detect objects existing in front.
  • the space recognition device 40F may be installed at any position, for example, on the upper surface of the counterweight 9B or near the front side of the upper revolving body 3B of the crawler crane 100B.
  • the space recognition device 40F images the front of the crawler crane 100B.
  • the space recognition device 40B captures an image of the measurement range behind the counterweight 9B, for example, the measurement range in the horizontal direction (that is, the circumferential direction viewed from the crawler crane 100B) from the left rear to the right rear.
  • the space recognition device 40L captures, for example, the measurement range on the left side of the counterweight 9B, for example, the measurement range in the horizontal direction (circumferential direction viewed from the crawler crane 100B) from the left front to the left rear of the counterweight 9B. do.
  • the space recognition device 40R captures, for example, the measurement range on the right side of the counterweight 9B, for example, the measurement range in the horizontal direction (circumferential direction viewed from the crawler crane 100B) extending from the right front to the right rear of the counterweight 9B. do.
  • the space recognizing device 40F captures an image of a measurement range in front of the upper swing body 3B of the crawler crane 100B, for example, a measurement range in the horizontal direction from the left front to the right front (that is, the circumferential direction viewed from the crawler crane 100B).
  • each of the space recognition devices 40 of the crawler crane 100B is attached to the upper part of the counterweight 9B or the upper revolving body 3B so that the optical axis is directed obliquely downward.
  • the measurement range in the vertical direction including the far distance is imaged.
  • the space recognition devices 40F, 40B, 40L, and 40R are configured to be able to irradiate the above-described measurement range with infrared rays.
  • the space recognition devices 40F, 40B, 40L, and 40R of the crawler crane 100B will be described with different measurement directions and installation positions. may be installed.
  • the space recognition device 40 for example, from start-up (ie, key switch ON) to stop (ie, key switch OFF) of the crawler crane 100B, for each predetermined cycle (eg, 1/30 second), three-dimensional image Output information.
  • Three-dimensional image information output from the space recognition device 40 is captured by the controller 30 .
  • the three-dimensional image information output from the space recognition device 40 is transmitted (uploaded) from the controller 30 to the management device 200 through the communication device 60 .
  • the crawler crane 100B is assembled according to the site. For this reason, the number of weights piled up on the counterweight 9B is different for each site. Therefore, the position and posture of the spatial recognition device 40 mounted on the counterweight 9B also differ depending on the site.
  • the management device 200 identifies the position and orientation of the space recognition device 40 based on the three-dimensional image information obtained by the space recognition device 40 of the work machine 100 (including the crawler crane 100B).
  • the management device 200 is an example of an information processing device, and manages the work machine 100 , such as managing (monitoring) the state of the work machine 100 and managing (monitoring) the work of the work machine 100 .
  • the management device 200 may be, for example, an on-premises server or a cloud server installed in a management center or the like outside the work site where the work machine 100 works.
  • the management device 200 is an edge server that is placed, for example, in a work site where the work machine 100 works, or in a location relatively close to the work site (for example, a communication carrier's station building, a base station, etc.). There may be.
  • the management device 200 may be a stationary terminal device or a portable terminal device (portable terminal) arranged in a management office or the like in the work site of the work machine 100 .
  • Stationary terminal devices may include, for example, desktop computer terminals.
  • Portable terminal devices may include, for example, smartphones, tablet terminals, laptop computer terminals, and the like.
  • the management device 200 has, for example, a communication device 220 (see FIGS. 5 and 6), and communicates with the work machine 100 through the communication line NW as described above. As a result, management device 200 can receive various information uploaded from work machine 100 and transmit various signals to work machine 100 . Therefore, the user of the management device 200 can confirm various information about the work machine 100 through the output device 240 (see FIGS. 5 and 6). Also, the management device 200 can, for example, transmit an information signal to the work machine 100 to provide information necessary for work, or transmit a control signal to control the work machine 100 .
  • Users of the management device 200 include, for example, the owner of the work machine 100, the manager of the work machine 100, the engineer of the manufacturer of the work machine 100, the operator of the work machine 100, the manager of the work site of the work machine 100, and the supervisor. , workers, and the like.
  • the management device 200 may be configured to support remote operation of the work machine 100 .
  • the management device 200 has an input device for remote control by an operator (hereinafter referred to as a “remote control device” for convenience) and a remote control display device for displaying image information around the work machine 100 .
  • You can A signal input from the remote control device is transmitted to work machine 100 as a remote control signal.
  • the user (operator) of management device 200 can remotely control work machine 100 using the remote control device while checking the surroundings of work machine 100 on the remote control display device.
  • the management device 200 may be configured to support remote monitoring of the work machine 100 that performs work in fully automatic operation.
  • the management device 200 may have a display device (hereinafter referred to as “monitoring display device”) that displays image information representing the surroundings of the work machine 100 .
  • the user (monitoring person) of the management device 200 can monitor how the work machine 100 is working on the monitoring display device.
  • the management device 200 may have an input device (hereinafter referred to as an “intervention operation device” for convenience) for performing an intervention operation on the operation of the work machine 100 by the automatic driving function.
  • the intervention operating device may include, for example, an input device for bringing work machine 100 to an emergency stop.
  • the intervention control device may include the remote control device described above. As a result, the user (monitoring person) of the management device 200 can stop the work machine 100 in an emergency or can Remote control can be implemented to cause 100 to perform appropriate actions.
  • control device 210 of the management device 200 performs various processes based on the three-dimensional image information from the space recognition device 40 of the working machine 100.
  • the control device 210 of the management device 200 uses the shape of a part of the work machine 100 included in the received three-dimensional image information (an example of detection information) to determine the spatial recognition device 40 provided in the work machine 100. Identify position and posture.
  • the method is not limited to specifying the position and orientation, and the position or orientation may be specified. In other words, even when the position or orientation is specified, the operator can use it when adjusting the position or orientation of the space recognition device 40 .
  • control device 210 of the management device 200 integrates the three-dimensional image information from the plurality of space recognition devices 40 provided on the work machine 100 to create a three-dimensional integrated image representing the environment around the work machine 100.
  • Information (an example of integrated three-dimensional shape information) is generated.
  • Image information representing the surroundings of work machine 100 based on the three-dimensional integrated image information may be displayed on the monitoring display device.
  • management device 200 may transmit three-dimensional integrated image information to work machine 100 , and image information based on the three-dimensional integrated image information may be displayed on output device 50 (display device) of work machine 100 .
  • FIG. 5 and 6 are block diagrams showing an example of the configuration of the perimeter monitoring system SYS according to this embodiment.
  • FIG. 7 is a diagram showing an example of the configuration of the excavator 100A. Specifically, FIG. 7 is a diagram showing a specific example of the configuration of the excavator 100A corresponding to FIG.
  • FIG. 8 is a diagram showing an example of the configuration of the crawler crane 100B. Specifically, FIG. 8 is a diagram showing a specific example of the configuration of the crawler crane 100B corresponding to FIG.
  • the path through which mechanical power is transmitted is double lines
  • the path through which high-pressure hydraulic oil that drives the hydraulic actuator flows is solid lines
  • the path through which pilot pressure is transmitted is dashed lines
  • electrical signals are transmitted.
  • Each route is indicated by a dotted line. 5 and 6 differ from each other only in the configuration of work machine 100 (operation device 26) of work machine 100 and management device 200.
  • FIG. Therefore, a diagram showing a specific example of the configuration of each of the excavator 100A and the crawler crane 100B corresponding to FIG. 5 is omitted.
  • the work machine 100 includes a hydraulic drive system for hydraulically driving the driven elements, an operation system for operating the driven elements, a user interface system for exchanging information with the user, a communication system for communication with the outside, and a control system for various controls. and so on.
  • the hydraulic drive system of the work machine 100 includes the lower traveling body 1 (left and right crawlers 1C), the upper revolving body 3, the attachment AT, etc., as described above. It includes a hydraulic actuator HA that hydraulically drives each of the driven elements. Further, the hydraulic drive system of work machine 100 according to the present embodiment includes engine 11 , regulator 13 , main pump 14 , and control valve 17 .
  • hydraulic actuator HA includes travel hydraulic motors 1ML and 1MR, turning hydraulic motor 2M, boom cylinder 7A, arm cylinder 8A, and bucket cylinder 9A. included.
  • the hydraulic actuator HA includes traveling hydraulic motors 1ML and 1MR, a turning hydraulic motor 2M, a hoisting hydraulic motor 5M, a main hoisting hydraulic motor 7M, and the like. is included.
  • the engine 11 is the prime mover and the main power source in the hydraulic drive system.
  • the engine 11 is, for example, a diesel engine that uses light oil as fuel.
  • the engine 11 is mounted, for example, on the rear portion of the upper revolving body 3 .
  • the engine 11 rotates at a preset target speed under direct or indirect control by a controller 30 to be described later, and drives the main pump 14 and the pilot pump 15 .
  • the regulator 13 controls (adjusts) the discharge amount of the main pump 14 under the control of the controller 30 .
  • the regulator 13 adjusts the angle of the swash plate of the main pump 14 (hereinafter referred to as “tilt angle”) according to a control command from the controller 30 .
  • the main pump 14 supplies hydraulic oil to the control valve 17 through a high-pressure hydraulic line.
  • the main pump 14 is mounted, for example, on the rear portion of the upper rotating body 3, similar to the engine 11. As shown in FIG.
  • the main pump 14 is driven by the engine 11 as described above.
  • the main pump 14 is, for example, a variable displacement hydraulic pump, and as described above, under the control of the controller 30, the regulator 13 adjusts the tilting angle of the swash plate, thereby adjusting the stroke length of the piston and discharging.
  • the flow rate (discharge pressure) is controlled.
  • the control valve 17 is a hydraulic control device that controls the hydraulic actuator HA according to the details of the operator's operation on the operation device 26 or the remote operation, or the operation command related to the automatic operation function output from the controller 30 .
  • the control valve 17 is mounted, for example, in the central portion of the upper revolving body 3 .
  • the control valve 17 is connected to the main pump 14 via the high-pressure hydraulic line, as described above, and supplies the hydraulic oil supplied from the main pump 14 according to the operator's operation or the operation command output from the controller 30. , selectively feeding the respective hydraulic actuators.
  • the control valve 17 includes a plurality of control valves (also referred to as “direction switching valves”) that control the flow rate and flow direction of hydraulic oil supplied from the main pump 14 to each hydraulic actuator HA.
  • the operation system of work machine 100 according to the present embodiment includes pilot pump 15 , operation device 26 , and hydraulic control valve 31 . Further, as shown in FIG. 5, the operating system of the work machine 100 according to the present embodiment includes a shuttle valve 32 and a hydraulic control valve 33 when the operating device 26 is of a hydraulic pilot type.
  • the pilot pump 15 supplies pilot pressure to various hydraulic devices via the pilot line 25 .
  • the pilot pump 15 is mounted, for example, on the rear portion of the upper revolving body 3 in the same manner as the engine 11 .
  • the pilot pump 15 is, for example, a fixed displacement hydraulic pump, and is driven by the engine 11 as described above.
  • pilot pump 15 may be omitted.
  • relatively high-pressure hydraulic fluid discharged from the main pump 14 is decompressed by a predetermined pressure reducing valve, and then relatively low-pressure hydraulic fluid is supplied as pilot pressure to various hydraulic devices.
  • the operation device 26 is provided near the cockpit of the cabin 10 and used by the operator to operate various driven elements.
  • the operating device 26 is used by the operator to operate the hydraulic actuators HA that drive the respective driven elements.
  • the operating device 26 includes a pedal device and a lever device for operating each driven element (hydraulic actuator HA).
  • the operating device 26 is of a hydraulic pilot type. Specifically, the operating device 26 utilizes the hydraulic oil supplied from the pilot pump 15 through the pilot line 25 and the pilot line 25A branched therefrom, and applies the pilot pressure according to the operation content to the secondary side pilot line. 27A.
  • the pilot line 27A is connected to one inlet port of the shuttle valve 32 and connected to the control valve 17 via the pilot line 27 connected to the outlet port of the shuttle valve 32 .
  • a pilot pressure can be input to the control valve 17 through the shuttle valve 32 according to the operation details of various driven elements (hydraulic actuators) in the operating device 26 . Therefore, the control valve 17 can drive each hydraulic actuator HA according to the operation content of the operating device 26 by an operator or the like.
  • the operating device 26 is electric. Specifically, the operation device 26 outputs an electric signal (hereinafter referred to as “operation signal”) corresponding to the content of the operation, and the operation signal is captured by the controller 30 . Then, the controller 30 outputs to the hydraulic control valve 31 a control command corresponding to the content of the operation signal, that is, a control signal corresponding to the content of the operation on the operating device 26 . As a result, a pilot pressure corresponding to the operation content of the operation device 26 is input from the hydraulic control valve 31 to the control valve 17, and the control valve 17 drives each hydraulic actuator HA according to the operation content of the operation device 26. be able to.
  • operation signal an electric signal
  • the controller 30 outputs to the hydraulic control valve 31 a control command corresponding to the content of the operation signal, that is, a control signal corresponding to the content of the operation on the operating device 26 .
  • a pilot pressure corresponding to the operation content of the operation device 26 is input from the hydraulic control valve 31 to the control valve 17, and the control valve 17 drives
  • control valves (direction switching valves) built in the control valve 17 that drive the respective hydraulic actuators may be of the electromagnetic solenoid type.
  • the operation signal output from the operation device 26 may be directly input to the control valve 17, that is, to the electromagnetic solenoid type control valve.
  • the hydraulic control valve 31 is provided for each driven element (hydraulic actuator HA) to be operated by the operating device 26 .
  • the hydraulic control valve 31 is provided, for example, in the pilot line 25B between the pilot pump 15 and the control valve 17, and is configured such that its passage area (that is, the cross-sectional area through which hydraulic oil can flow) can be changed. good.
  • the hydraulic control valve 31 can output a predetermined pilot pressure to the secondary side pilot line 27B using the hydraulic fluid of the pilot pump 15 supplied through the pilot line 25B. Therefore, as shown in FIG. 5, the hydraulic control valve 31 indirectly controls a predetermined pilot pressure according to the control signal from the controller 30 through the shuttle valve 32 between the pilot lines 27B and 27B. 17. Further, as shown in FIG.
  • the hydraulic control valve 31 can directly apply a predetermined pilot pressure to the control valve 17 in accordance with the control signal from the controller 30 through the pilot line 27B and the pilot line 27. can. Therefore, the controller 30 can cause the control valve 17 to supply the pilot pressure corresponding to the operation content of the electric operation device 26 from the hydraulic control valve 31, and can realize the operation of the work machine 100 based on the operator's operation.
  • the shuttle valve 32 has two inlet ports and one outlet port. output to The shuttle valve 32 is provided for each driven element (hydraulic actuator HA) to be operated by the operating device 26 .
  • One of the two inlet ports of the shuttle valve 32 is connected to the pilot line 27A on the secondary side of the operating device 26 (specifically, the above-described lever device and pedal device included in the operating device 26), and the other is connected to the pilot line 27A. It is connected to the pilot line 27B on the secondary side of the hydraulic control valve 31 .
  • the outlet port of shuttle valve 32 is connected through pilot line 27 to the corresponding control valve pilot port of control valve 17 .
  • the corresponding control valve is a control valve that drives the hydraulic actuator that is the object of operation of the above-described lever device or pedal device that is connected to one inlet port of the shuttle valve 32 . Therefore, these shuttle valves 32 correspond to the higher one of the pilot pressure of the pilot line 27A on the secondary side of the operating device 26 and the pilot pressure of the pilot line 27B on the secondary side of the hydraulic control valve 31. It can act on the pilot port of the control valve. That is, the controller 30 causes the hydraulic control valve 31 to output a pilot pressure higher than the pilot pressure on the secondary side of the operation device 26, thereby controlling the corresponding control valve regardless of the operator's operation of the operation device 26. be able to.
  • the hydraulic control valve 33 is provided in a pilot line 27A that connects the operating device 26 and the shuttle valve 32.
  • the hydraulic control valve 33 is configured, for example, so that its flow passage area can be changed.
  • the hydraulic control valve 33 operates according to control signals input from the controller 30 . Thereby, the controller 30 can forcibly reduce the pilot pressure output from the operating device 26 when the operating device 26 is operated by the operator.
  • the user interface system of work machine 100 includes an operation device 26, an output device 50, and an input device 52.
  • FIG. 5 the user interface system of work machine 100 according to the present embodiment includes an operation device 26, an output device 50, and an input device 52.
  • the output device 50 outputs various information to the user (operator) of the work machine 100 inside the cabin 10 .
  • the output device 50 is provided at a location within the cabin 10 that is easily visible to a seated operator, and includes indoor lighting equipment, a display device, and the like that output various types of information in a visual manner.
  • the lighting equipment is, for example, a warning light or the like.
  • the display device is, for example, a liquid crystal display or an organic EL (Electroluminescence) display.
  • the output device 50 includes a sound output device that outputs various information in an auditory manner.
  • Sound output devices include, for example, buzzers and speakers.
  • the output device 50 includes a device that outputs various types of information in a tactile manner such as vibration of the cockpit.
  • the input device 52 is provided in the cabin 10 in a range close to the seated operator, receives various inputs from the operator, and signals corresponding to the received inputs are captured by the controller 30 .
  • the input device 52 is an operation input device that receives operation input.
  • the operation input device may include a touch panel mounted on the display device, a touch pad installed around the display device, a button switch, a lever, a toggle, a knob switch provided on the operation device 26 (lever device), and the like. .
  • the input device 52 may be a voice input device that receives voice input from the operator.
  • Audio input devices include, for example, microphones.
  • the input device 52 may be a gesture input device that accepts operator's gesture input.
  • the gesture input device includes, for example, an imaging device (indoor camera) installed inside the cabin 10 .
  • the communication system of work machine 100 includes communication device 60 .
  • the communication device 60 is connected to the communication line NW and communicates with a device provided separately from the working machine 100 (for example, the management device 200).
  • the devices provided separately from work machine 100 may include devices external to work machine 100 as well as portable terminal devices brought into cabin 10 by the user of work machine 100 .
  • the communication device 60 may include, for example, a mobile communication module conforming to standards such as 4G (4th Generation) and 5G (5th Generation).
  • Communication device 60 may also include, for example, a satellite communication module.
  • the communication device 60 may also include, for example, a Wi-Fi (registered trademark) communication module, a Bluetooth (registered trademark) communication module, or the like.
  • control system of work machine 100 includes controller 30 . Further, the control system of work machine 100 according to the present embodiment includes acquisition device SX. Further, as shown in FIG. 7, the control system of the working machine 100 according to the present embodiment includes an operating pressure sensor 29 when the operating device 26 is of a hydraulic pilot type.
  • the controller 30 performs various controls related to the working machine 100 .
  • the functions of the controller 30 may be implemented by any hardware, or any combination of hardware and software.
  • the controller 30 is a computer that includes a CPU (Central Processing Unit), memory devices such as RAM (Random Access Memory), non-volatile auxiliary storage devices such as ROM (Read Only Memory), interface devices for various inputs and outputs, etc. is centered on
  • the controller 30 implements various functions by, for example, loading a program installed in the auxiliary storage device into the memory device and executing it on the CPU.
  • the controller 30 controls the operation of the hydraulic actuator HA (driven element) of the work machine 100, for example, with the hydraulic control valve 31 as the control target.
  • the controller 30 may control the operation of the hydraulic actuator HA (driven element) of the work machine 100 based on the operation of the operation device 26, with the hydraulic control valve 31 as the control target.
  • the controller 30 also controls, for example, communication with the management device 200 and display of information on the output device 50 (display device).
  • the controller 30 includes a communication control section 301 and a display control section 302 .
  • the functions of the communication control unit 301 and the display control unit 302 are realized, for example, by loading a program installed in the auxiliary storage device into the memory device and executing the program by the CPU.
  • controller 30 may be realized by another controller (control device). In other words, the functions of the controller 30 may be distributed and implemented by a plurality of controllers.
  • the operation pressure sensor 29 detects the pilot pressure on the secondary side (pilot line 27A) of the hydraulic pilot type operation device 26, that is, the operation of each driven element (hydraulic actuator) in the operation device 26. Detect the pilot pressure corresponding to the state. A pilot pressure detection signal corresponding to the operation state of each driven element (hydraulic actuator HA) in the operation device 26 by the operation pressure sensor 29 is taken into the controller 30 .
  • the acquisition device SX acquires information about the state of the work machine 100, the state of the surroundings of the work machine 100, and the like.
  • the output of acquisition device SX is taken into controller 30 .
  • the acquisition device SX includes a boom angle sensor S1, an arm angle sensor S2, a bucket angle sensor S3, a body tilt sensor S4, and a turning state sensor S5. , and a space recognition device 40 .
  • the acquisition device SX includes a body tilt sensor S4, a turning state sensor S5, and a space recognition device 40.
  • the boom angle sensor S1 acquires detection information regarding the posture angle (hereinafter referred to as "boom angle") of the boom 4A with respect to a predetermined reference (for example, a horizontal plane or one of the two ends of the movable angle range of the boom 4A).
  • the boom angle sensor S1 may include, for example, a rotary encoder, an acceleration sensor, an angular velocity sensor, a hexaaxial sensor, an IMU (Inertial Measurement Unit), and the like.
  • the boom angle sensor S1 may include a cylinder sensor capable of detecting the telescopic position of the boom cylinder 7A.
  • the arm angle sensor S2 detects the posture angle of the arm 5A (hereinafter referred to as "arm angle ”).
  • Arm angle sensor S2 may include, for example, a rotary encoder, an acceleration sensor, an angular velocity sensor, a hexaaxial sensor, an IMU, or the like.
  • the arm angle sensor S2 may include a cylinder sensor capable of detecting the extension/retraction position of the arm cylinder 8A.
  • Bucket angle sensor S3 detects the posture angle of the bucket 6A (hereinafter referred to as "bucket angle ”).
  • Bucket angle sensor S3 may include, for example, a rotary encoder, an acceleration sensor, an angular velocity sensor, a hexaaxial sensor, an IMU, and the like.
  • the bucket angle sensor S3 may include a cylinder sensor capable of detecting the expansion/contraction position of the bucket cylinder 9A.
  • the machine body tilt sensor S4 acquires detection information regarding the machine body tilt state of the work machine 100 (for example, the excavator 100A or the crawler crane 100B) including the lower traveling body 1 and the upper revolving body 3.
  • the fuselage tilt sensor S4 is mounted on, for example, the upper revolving structure 3, and acquires detection information regarding the tilt angles of the upper revolving structure 3 in the longitudinal direction and the lateral direction (hereinafter referred to as "forward/backward tilt angle" and "lateral tilt angle”).
  • the body tilt sensor S4 may include, for example, an acceleration sensor (tilt sensor), an angular velocity sensor, a hexaaxial sensor, an IMU, and the like.
  • the turning state sensor S5 acquires detection information regarding the turning state of the upper turning body 3 of the work machine 100 (for example, the excavator 100A or the crawler crane 100B).
  • the turning state sensor S5 includes, for example, a potentiometer, rotary encoder, resolver, and the like.
  • the turning state sensor S5 may be omitted.
  • the space recognition devices 40F, 40B, 40L, and 40R of the excavator 100A are attached to the upper front end, upper rear end, upper left end, and upper right end of the upper revolving body 3A, respectively. Three-dimensional image information representing the surroundings of the excavator 100A is acquired. Further, as shown in FIG. 4, the space recognition device 40B, the space recognition device 40L, and the space recognition device 40R of the crawler crane 100B are attached to, for example, the counterweight 9B, and the three-dimensional image information representing the periphery of the crawler crane 100B is displayed. to get
  • the communication control unit 301 controls transmission and reception of information with the management device 200 .
  • the display control unit 302 performs control for displaying information on the output device 50 (display device).
  • Information to be displayed includes image information that has undergone image processing based on the three-dimensional image information acquired by the space recognition device 40, and the like.
  • the operator's operation burden is reduced. It can reduce and improve safety.
  • three-dimensional image information captured by a plurality of space recognition devices 40 is integrated.
  • the crawler crane 100B of the work machine 100 is reassembled for each site, the position and posture of the space recognition device 40 are different each time. Therefore, it is difficult to store information indicating the position and orientation of each of the plurality of space recognition devices 40 in advance.
  • the position or posture of the space recognition device 40 may be changed according to the user's request, or the posture of the space recognition device 40 may be shifted during work.
  • the work machine 100 transmits the three-dimensional image information captured by the space recognition devices 40 to the management device 200, thereby specifying the position and orientation of each of the plurality of space recognition devices 40. .
  • the management device 200 integrates a plurality of pieces of three-dimensional image information to generate three-dimensional integrated image information. explain.
  • the three-dimensional integrated image information (an example of three-dimensional shape integrated information) is image information obtained by integrating a plurality of three-dimensional image information based on the position and orientation of each of the space recognition devices 40. This is image information representing the distance and shape of an object existing in . In this embodiment, it is possible to generate image information representing the surroundings of the work machine 100 from an arbitrary viewpoint in accordance with the user's operation or the like.
  • the management device 200 includes a control device 210, a communication device 220, an input device 230, an output device 240, and a storage device 250.
  • FIG. 1 the management device 200 includes a control device 210, a communication device 220, an input device 230, an output device 240, and a storage device 250.
  • the communication device 220 connects to the communication line NW and communicates with the outside of the management device 200 (for example, the work machine 100).
  • the input device 230 receives input from the manager, operator, etc. of the management device 200 and outputs a signal representing the content of the input (for example, operation input, voice input, gesture input, etc.). A signal representing the content of the input is taken into the controller 210 .
  • the output device 240 outputs various information to the user of the management device 200 .
  • the output device 240 includes, for example, a lighting device and a display device that output various information to the user of the management device 200 in a visual manner.
  • Illumination devices include, for example, warning lamps and the like.
  • the display device includes, for example, a liquid crystal display, an organic EL display, and the like.
  • the output device 240 also includes a sound output device that outputs various information to the user of the management device 200 in an audible manner. Sound output devices include, for example, buzzers and speakers.
  • the display device displays various information images related to the management device 200.
  • the display device may include, for example, a remote control display device or a monitoring display device. Information and the like may be displayed.
  • the control device 210 performs various controls related to the management device 200.
  • the functions of the control device 210 are realized by arbitrary hardware, or a combination of arbitrary hardware and software.
  • the control device 210 is mainly composed of a computer including, for example, a CPU, a memory device such as a RAM, a non-volatile auxiliary storage device such as a ROM, and various input/output interface devices.
  • the control device 210 implements various functions by executing programs stored in the auxiliary storage device on the CPU, for example.
  • the storage device 250 is a nonvolatile auxiliary storage device such as an SSD (Solid State Drive) or HDD (Hard Disk Drive), and includes a three-dimensional marker storage section 251 and a position information storage section 252.
  • SSD Solid State Drive
  • HDD Hard Disk Drive
  • the three-dimensional marker storage unit 251 stores three-dimensional markers that represent the shape of the work machine 100 .
  • a three-dimensional marker is information (an example of work machine information) that holds in advance the three-dimensional shape of the external appearance of work machine 100 expressed in the reference coordinate system.
  • the three-dimensional marker does not need to hold the entire three-dimensional shape of the external appearance of work machine 100, and for example, information representing the external shape of work machine 100 that is likely to be included in the measurement range of space recognition device 40. you should keep it.
  • the position information storage unit 252 stores information indicating the position and orientation of the space recognition device 40 provided on the work machine 100 . Each time the control device 210 of this embodiment specifies the position and orientation of the space recognition device 40, it is updated.
  • FIG. 9 is a conceptual diagram showing three-dimensional markers stored in the three-dimensional marker storage unit 251 according to this embodiment.
  • FIG. 9 shows a partial area 901 that serves as a three-dimensional marker of the excavator 100A.
  • a three-dimensional marker of the partial area 901 is shown in the reference coordinate system.
  • the reference coordinate system is a three-dimensional coordinate system for specifying the position of the configuration of the excavator 100A indicated by the three-dimensional marker, and indicates the front-rear direction of the excavator 100A as the X axis, the width direction as the Y axis, It shows a reference coordinate system with the height direction as the Z-axis.
  • the coordinate system has the center position 951 of the installation surface of the excavator 100A as the origin. good.
  • the three-dimensional marker storage unit 251 stores a three-dimensional marker indicating the shape and position of the partial area 901 of the external appearance of the excavator 100A.
  • the three-dimensional marker may be generated based on the detection result of the space recognition device 40, for example.
  • the three-dimensional marker is not limited to the method of generating it based on the detection result of the space recognition device 40, and for example, the three-dimensional CAD (Computer Aided Design) data of the excavator 100A can be used to create the external appearance of the excavator 100A.
  • the shape of the partial area 901 may be generated. By using the generation method, the work load for generation can be reduced.
  • the space recognition device 40 is provided on the upper surface of the working machine. Therefore, the three-dimensional marker stored in the three-dimensional marker storage unit 251 is generated so as to include at least the shape representing the upper surface of the excavator 100A.
  • a partial area 901 includes the shape of the excavator 100A included in the measurement ranges of the space recognition devices 40F, 40B, 40L, and 40R. Also, it is assumed that the portion of the excavator 100A corresponding to the partial area 901 serving as the three-dimensional marker is neither movable nor deformed.
  • the partial area 901 that serves as a three-dimensional marker preferably includes a characteristic shape that can be specified compared to other areas (for example, areas whose sides are represented by straight lines).
  • the partial area 901 serving as a three-dimensional marker includes a characteristic shape, so that the partial area of the excavator 100A shown in the three-dimensional image information captured by the space recognition device 40 corresponds to which part. It becomes easy to recognize whether Therefore, it is possible to improve the accuracy of specifying the position and orientation of the space recognition device 40, which will be described later, and reduce the burden of the specifying process.
  • control device 210 refers to the three-dimensional markers stored in the three-dimensional marker storage unit 251, so that the excavator 100A shown in the three-dimensional image information captured by the space recognition devices 40F, 40B, 40L, and 40R. It is possible to specify which position in the partial area 901 the shape of corresponds to.
  • the control device 210 includes a communication control section 211, a specifying section 212, and an integration processing section 213.
  • the functions of the communication control unit 211, the identification unit 212, and the integrated processing unit 213 are realized, for example, by loading a program stored in an auxiliary storage device into a memory device and executing the program by the CPU.
  • the communication control unit 211 uses the communication device 220 to control transmission and reception of information with the work machine 100 .
  • the communication control unit 211 receives (acquires) three-dimensional image information (an example of detection information) of each of the plurality of space recognition devices 40 provided on the work machine 100 from the work machine 100 .
  • the communication control unit 211 an example in which the communication control unit 211 (an example of an acquisition unit) receives (acquires) three-dimensional image information (an example of detection information) from each of the plurality of space recognition devices 40 provided in the work machine 100.
  • the present embodiment is not limited to the example of receiving from each of the plurality of space recognition devices 40, and receiving three-dimensional image information (an example of detection information) from one space recognition device 40 good too.
  • the specifying unit 212 obtains three-dimensional shape information including the shape of a part of the work machine 100 included in each of the plurality of pieces of three-dimensional image information (an example of detection information) received (acquired) by the communication control unit 211, and the reference coordinates.
  • the position and orientation of each of all the space recognition devices 40 are specified in the reference coordinate system by performing matching between the three-dimensional markers stored in advance as the shape of the excavator 100A represented by the system.
  • the estimated position is the position in the reference coordinate system.
  • the reference coordinate system is a three-dimensional coordinate system for specifying the position of the configuration of the excavator 100A indicated by the three-dimensional marker, and for example, the central position 951 on the installation surface of the excavator 100A is set as the origin.
  • the longitudinal direction of the excavator 100A is shown as the X axis, the width direction as the Y axis, and the height direction as the Z axis.
  • the estimated position is the position in the three-dimensional space represented by the reference coordinate system.
  • the estimated orientation is, for example, the angle (inclination) in the height direction (in other words, the Z-axis direction) in which the space recognition device 40 is installed in the reference coordinate system.
  • the inclination of the space recognition device 40 is represented by the direction of the optical axis, for example, the posture may be such that the optical axis of the space recognition device 40 faces downward at 60 degrees.
  • FIG. 10 is a diagram exemplifying the measurement range of the space recognition device 40.
  • the space recognition device 40B images a measurement range 1001 including a part 1011 of the external appearance of the excavator 100A.
  • the space recognition device 40F captures an image of a measurement range 1002 including a part 1015 of the external appearance of the excavator 100A.
  • the space recognition device 40 can detect the distance to objects included in the measurement range.
  • objects included in the measurement range objects existing within 0 m to 0.5 m are recognized as three-dimensional markers.
  • a three-dimensional marker is information indicating a part of the external appearance of the excavator 100 ⁇ /b>A, which is used to specify the position and orientation of the space recognition device 40 .
  • the three-dimensional marker be represented by a characteristic shape in order to specify the position and orientation of the space recognition device 40B.
  • the space recognition device 40B can detect the distance to an object included in the measurement range 1001. Then, the specifying unit 212 detects the excavator 100A within the marker detection range 1021 (within 0.5 m from the space recognition device 40B) in the measurement range 1001 based on the three-dimensional image information captured by the space recognition device 40B. is recognized as the shape of the excavator 100A corresponding to the three-dimensional marker. Further, the identifying unit 212 recognizes areas 1012 and 1013 detected outside the marker detection range 1021 as objects existing around the excavator 100A.
  • the space recognition device 40F can detect the distance to an object included in the measurement range 1002. Then, the specifying unit 212 converts a part 1011 of the external appearance of the excavator 100A detected in the marker detection range 1022 (within 0.5 m from the space recognition device 40F) in the measurement range 1002 to the excavator 100A corresponding to the three-dimensional marker. recognized as the shape of
  • FIG. 11 is a diagram showing an example of three-dimensional image information captured by the space recognition device 40B.
  • a person 1121 and an object 1122 shown in FIG. 11 are recognized as objects existing around the excavator 100A, and parts 1111, 1112, and 1113 of the external appearance of the excavator 100A are recognized as the shape of the work machine 100 corresponding to the three-dimensional marker. Recognized.
  • FIG. 12 is a diagram showing part of a three-dimensional marker 1200 representing the shape of the excavator 100A, stored in the three-dimensional marker storage unit 251.
  • FIG. 12 the shapes of the parts 1211, 1212, and 1213 of the three-dimensional marker 1200 corresponding to the parts 1111, 1112, and 1113 of the external appearance of the excavator 100A, the positions where the parts exist, is stored in the three-dimensional marker storage unit 251 .
  • parts 1211, 1212, and 1213 of the three-dimensional marker 1200 have a concave shape near the center.
  • the three-dimensional marker storage unit 251 also holds information indicating the concave-shaped positions of the parts 1211, 1212, and 1213 of the three-dimensional marker 1200.
  • the identifying unit 212 compares the concave shape appearing in the three-dimensional image information with the concave shape of the three-dimensional marker 1200 stored in the three-dimensional marker storage unit 251, thereby determining the detected range. can identify where on the three-dimensional marker 1200 it corresponds.
  • the specifying unit 212 performs a translational motion on parts 1111, 1112, and 1113 of the external appearance of the excavator 100A that are present within 0.5 m and appear in the three-dimensional image information shown in FIG. , rotation, and scaling, and parts 1111, 1112, and 1113 of the appearance processed by at least one of translation, rotation, and scaling are stored in the three-dimensional marker storage unit 251. It is determined whether or not the three-dimensional marker matches a part of the three-dimensional shape model stored in .
  • the specifying unit 212 stores The stored information indicating the positions of the parts 1211, 1212 and 1213 of the three-dimensional marker 1200 and the relative distances to the parts 1111, 1112 and 1113 of the external appearance of the excavator 100A shown in the three-dimensional image information. and the position and orientation of the space recognition device 40 are specified.
  • the space recognition device 40 is installed on the upper surface of the excavator 100A.
  • the identifying unit 212 determines, in the three-dimensional marker 1200, between the parts 1211, 1212, and 1213 of the shape representing the upper surface of the excavator 100A and the parts 1111, 1112, and 1113 of the external appearance of the excavator 100A. perform matching. By predetermining the part to be matched in this manner, the processing load can be reduced.
  • the specifying unit 212 uses the RANSAC algorithm to apply the three-dimensional image information to the three-dimensional shape model of the three-dimensional marker stored in the three-dimensional marker storage unit 251, thereby obtaining the spatial recognition device 40 in the reference coordinate system. Identify position and posture. In other words, the specifying unit 212 determines that the parts 1211, 1212, and 1213 of the three-dimensional marker 1200 shown in FIG. Explore what it looks like.
  • the specifying unit 212 performs at least one of translation, rotation, and scaling so that the parts 1111, 1112, and 1113 of the external appearance of the excavator 100A fit the parts 1211, 1212, and 1213 of the three-dimensional marker 1200.
  • the specifying unit 212 may adjust the position and orientation, which are the results of specifying using the RANSAC algorithm, using ICP (Iterative Closest Point) as one of the alignment techniques. By using this technique, it is possible to suppress errors and improve the accuracy of specifying the position and orientation.
  • ICP Intelligent Closest Point
  • the specifying unit 212 stores information indicating the specified position and orientation of the space recognition device 40 in the position information storage unit 252 .
  • 3D image information is transmitted from work machine 100 after information indicating the position and orientation of space recognition device 40 is stored, in other words, 3D image information is transmitted after the position and orientation have already been specified.
  • the process of specifying the position and orientation of the space recognition device 40 by the specifying unit 212 can be suppressed.
  • the identification of the position and orientation of the space recognition device 40 by the identification unit 212 may be performed at any timing.
  • the identifying unit 212 may identify the position and orientation of the space recognition device 40 when the user fine-tunes the position and orientation of the space recognition device 40 .
  • the specifying unit 212 performs the above-described processing to Information indicating the position and orientation of the space recognition device 40 can be specified.
  • the space recognition device 40 may have a movable part. Further, even if the user changes the position or posture of the space recognition device 40 using the movable part, the processing described above, in other words, the characteristic shape of the work machine 100 shown in the three-dimensional image information can be used by the space recognition device. 40 positions and poses can continue to be specified. Furthermore, the movable range of the movable part may be restricted. For example, it is conceivable to limit the range of motion so that the characteristic shape of work machine 100, which serves as a three-dimensional marker, is captured.
  • the movable part provided in the space recognition device 40 is not limited to a mechanism that can be moved by adjustment by the user or the like, and may include a drive mechanism for rotating.
  • the space recognition device 40 when the space recognition device 40 has a movable part, the space recognition device 40 is adjusted by a user or the like or moved by a driving mechanism, and then the detected work machine is placed in the measurement range of the space recognition device 40. 100 are arranged to include. Thereby, the specifying unit 212 can specify the position and orientation of the space recognition device 40 based on the shape of the part of the work machine 100 included in the three-dimensional image information acquired from the space recognition device 40 .
  • the position of the spatial recognition device 40 after being adjusted by the operator or the like or moved by the drive mechanism may be a position structurally predetermined by the limitation of the range of motion of the spatial recognition device 40, or may be a position determined in advance by the operator or the like.
  • integration processing unit 213, When receiving work machine 100 or the three-dimensional image information of each of the plurality of space recognition devices 40, integration processing unit 213, according to the position and orientation of each of the plurality of space recognition devices 40 specified by specifying unit 212, The three-dimensional image information of each of the plurality of space recognition devices 40 is integrated into the reference coordinate system to generate three-dimensional integrated image information representing the periphery of the work machine 100 .
  • FIG. 13 is a diagram exemplifying part of the three-dimensional integrated image information generated by the integration processing unit 213.
  • a three-dimensional model 1301 representing the excavator 100A is arranged near the center position of the reference coordinate system, and the three-dimensional image information 1351 shown in FIG. Based on the position and orientation of the imaged space recognition device 40B, it is assigned in the three-dimensional space.
  • a part 1302 of the three-dimensional model 1301 corresponds to part of the external appearance of the excavator 100A detected by the space recognition device 40.
  • FIG. 13 is a diagram exemplifying part of the three-dimensional integrated image information generated by the integration processing unit 213.
  • three-dimensional image information captured by the space recognition device 40L is assigned to the region 1352, and three-dimensional image information captured by the space recognition device 40R is allocated to the region 1353.
  • the three-dimensional integrated image information shown in FIG. 13 is obtained by synthesizing the three-dimensional image information of all the space recognition devices 40 provided in the excavator 100A on the three-dimensional space.
  • the image information based on the three-dimensional integrated image information may be transmitted to the excavator 100A by the communication control unit 211.
  • the display control unit 302 of the excavator 100A performs predetermined image processing on the three-dimensional integrated image information to generate two-dimensional image information referring to the surroundings of the working machine 100 from an arbitrary viewpoint, and displays the image. Display information.
  • the operator of the excavator 100A can recognize the situation around the excavator 100A by referring to the image information based on the three-dimensional integrated image information.
  • the surrounding environment of the work machine 100 can be seamlessly displayed. This makes it easier for the operator to grasp the surrounding conditions.
  • FIG. 14 is a conceptual diagram showing three-dimensional markers stored in the three-dimensional marker storage unit 251 according to this embodiment.
  • FIG. 14 shows a partial area 1401 that serves as a three-dimensional marker of the crawler crane 100B.
  • a three-dimensional marker of partial area 1401 is shown in the reference coordinate system.
  • the reference coordinate system is a three-dimensional coordinate system for specifying the position of the structure of the crawler crane 100B indicated by the three-dimensional markers, and the front-rear direction of the crawler crane 100B is indicated as the X axis, and the width direction as the Y axis. , and shows a reference coordinate system with the height direction as the Z-axis.
  • the coordinate system has the center position 1451 of the installation surface of the excavator 100A as the origin, but this is shown as an example, and even if another position is the origin, good.
  • the three-dimensional marker storage unit 251 stores a three-dimensional marker indicating the shape and position of a partial area 1401 of the appearance of the crawler crane 100B.
  • the three-dimensional marker may be generated based on the measurement result of the space recognition device 40, for example.
  • a partial area 1401 includes the shape of the crawler crane 100B included in the measurement ranges of the space recognition devices 40F, 40B, 40L, and 40R. Also, it is assumed that the portion of the crawler crane 100B corresponding to the partial area 1401 serving as the three-dimensional marker is neither movable nor deformed.
  • control device 210 can detect the crawler crane indicated by the three-dimensional image information captured by the space recognition devices 40F, 40B, 40L, and 40R. It is possible to specify the position of the partial area 1401 to which the shape of 100B corresponds.
  • the crawler crane 100B differs in the number of weights stacked as the counterweight 9B depending on the site.
  • the space recognition device 40 is installed on the upper surface of the counterweight 9B. In other words, the position and orientation of the space recognition device 40 differ depending on the site.
  • the three-dimensional marker storage unit 251 stores a three-dimensional marker for each number of weights that can be stacked as the counterweight 9B. In other words, the three-dimensional marker storage unit 251 stores three-dimensional markers corresponding to the site in this embodiment.
  • FIG. 15 is a diagram exemplifying the measurement range of the space recognition device 40.
  • the space recognition device 40B images a measurement range 1501 including a part 1511 of the appearance of the crawler crane 100B.
  • the space recognition device 40F images a measurement range 1502 including a part 1515 of the appearance of the crawler crane 100B.
  • the space recognition device 40B can detect the distance to an object included in the measurement range 1501. Then, the specifying unit 212 detects a crawler crane detected within a marker detection range 1521 (within 0.5 m from the space recognition device 40B) in the measurement range 1501 based on the three-dimensional image information captured by the space recognition device 40B. A portion 1511 of the appearance of 100B is recognized as the shape of crawler crane 100B corresponding to the three-dimensional marker. Further, the identifying unit 212 recognizes areas 1512 and 1513 detected outside the marker detection range 1521 as objects existing around the crawler crane 100B.
  • the space recognition device 40F can detect the distance to an object included in the measurement range 1502. Then, the specifying unit 212 converts a part 1515 of the appearance of the crawler crane 100B detected in the marker detection range 1522 (within 0.5 m from the space recognition device 40F) in the measurement range 1502 to the crawler corresponding to the three-dimensional marker. It is recognized as the shape of the crane 100B.
  • the specifying unit 212 translates, rotates, and scales a part of the appearance of the crawler crane 100B existing within 0.5 m, which is reflected in the three-dimensional image information captured by the space recognition device 40. and a part of the appearance processed by at least one or more of translation, rotation, and scaling is stored in the three-dimensional marker storage unit 251 and corresponds to the current site. It is determined whether or not the 3D marker matches a part of the 3D shape model of the 3D marker.
  • a plurality of three-dimensional markers of the crawler crane 100B (which differ depending on the number of counterweights 9B, etc.) are stored.
  • any method may be used to select the three-dimensional marker corresponding to the current site from among the plurality of three-dimensional markers.
  • the user may select a three-dimensional marker corresponding to the current site, or the selection may be made automatically.
  • FIG. 16 is a flow chart showing overall processing in the perimeter monitoring system SYS. Although FIG. 16 describes the case of the excavator 100A, the same applies to the crawler crane 100B.
  • the controller 30 of the excavator 100A acquires three-dimensional image information from each of the plurality of space recognition devices 40 (S1601).
  • the communication control unit 301 of the excavator 100A transmits the acquired pieces of three-dimensional image information to the management device 200 (S1602).
  • the communication control unit 211 of the management device 200 determines whether or not it has received (acquired) a plurality of three-dimensional image information (S1611: acquisition step). If it is determined that it has not been received (S1611: No), the determination of S1611 is performed again.
  • the specifying unit 212 extracts a part of the appearance of the excavator 100A from each of the pieces of three-dimensional image information.
  • a region representing a part (for example, a region of an object detected as existing within 0.5 m from the space recognition device 40) is extracted (S1612).
  • the identifying unit 212 reads the three-dimensional marker representing the excavator 100A from the three-dimensional marker storage unit 251 (S1613).
  • the specifying unit 212 performs translation/rotation/scaling processing (image processing) on a region representing a part of the appearance of the excavator 100A extracted from the three-dimensional image information.
  • the highest degree of matching is calculated by comparing the dimensional marker with a part of the 3D shape model (S1614).
  • the degree of matching is a numerical value indicating the degree of matching between a part of the external appearance of the excavator 100A and the three-dimensional shape model of the three-dimensional marker. Indicated by 0.
  • the specifying unit 212 determines whether or not all matching degrees calculated for each piece of three-dimensional image information are equal to or greater than a predetermined value (S1615).
  • a predetermined value is an example of a predetermined threshold determined according to the embodiment as a criterion for determining the degree of matching.
  • the communication control unit 211 uses the communication device 220 to adjust the spatial recognition device 40.
  • An instruction is transmitted to the excavator 100A (S1616). That is, when the degree of matching is not equal to or greater than the predetermined value, it is assumed that part of the exterior of the excavator 100A is not captured in the measurement range of the space recognition device 40, and the space recognition device 40 captures part of the exterior of the excavator 100A. require adjustment of position or posture as
  • the adjustment instruction according to the present embodiment is, for example, information requesting adjustment of the position or orientation of the space recognition device 40 that has output three-dimensional image information (an example of detection information). Any notification related to 40 will suffice.
  • the communication control unit 301 of the excavator 100A determines whether or not an adjustment instruction for the space recognition device 40 has been received (S1603). If an adjustment instruction has been received (S1603: Yes), the display control unit 302 displays an adjustment request for the space recognition device 40 on the output device 50 (display device) (S1604).
  • the operator of the excavator 100A adjusts the position and posture of the space recognition device 40 when the display is made. Since the operator or the like can position and adjust the space recognition device 40, the efficiency of work based on the information detected by the space recognition device 40 can be improved.
  • the controller 30 of the excavator 100A receives an operation to complete adjustment of the position and attitude from the operator (S1605).
  • the process is performed again from S1601.
  • S1615 when the specifying unit 212 of the management device 200 determines that all the matching degrees calculated for each piece of three-dimensional image information are equal to or higher than the predetermined value (S1615: Yes), the specifying unit 212 , the position and orientation in the reference coordinate system are specified (S1617: specifying step).
  • the identifying unit 212 stores the identified position and orientation in the position information storage unit 252 .
  • the integration processing unit 213 integrates the three-dimensional image information of each of the plurality of space recognition devices 40 into the reference coordinate system according to the position and orientation of each of the plurality of space recognition devices 40 specified by the specification unit 212, Three-dimensional integrated image information representing the surroundings of the excavator 100A is generated (S1618).
  • the communication control unit 211 uses the communication device 220 to transmit the three-dimensional integrated image information to the excavator 100A (S1619).
  • the communication control unit 301 of the excavator 100A determines whether or not the three-dimensional integrated image information has been received (S1606). If the 3D integrated image information has not been received (S1606: NO), the process of 1606 is performed again to wait until the 3D integrated image information is received.
  • the display control unit 302 displays an image based on the three-dimensional integrated image information (S1607 ) and terminate the process.
  • management device 200 may support remote operation of work machine 100 . Therefore, when management device 200 remotely operates work machine 100 , control device 210 may display image information based on the generated three-dimensional integrated image information on output device 240 . As a result, in the management device 200, the operator can refer to the image information based on the three-dimensional integrated image information to confirm the surrounding conditions of the work machine 100, and realize remote operation.
  • FIG. 17 is a flow chart showing processing during assembly of the crawler crane 100B. Although FIG. 17 describes the case of the crawler crane 100B, it can be applied to any situation in which the work machine 100 is assembled on site.
  • the space recognition device 40 When the crawler crane 100B is assembled at a work site by a worker or a work machine, the space recognition device 40 is attached to the crawler crane 100B, and a part of the crawler crane 100B is included in the detection target range of the space recognition device 40.
  • S1701 an example of an installation process
  • the space recognition device 40 is a mechanism connected to the crawler crane 100B, and has a structure in which the installation position can be changed so that it can be set on the upper surface of the counterweight 9B whose height changes according to the site.
  • the space recognition device 40 may have a mechanism that allows a portion connected to the main body of the crawler crane 100B to expand and contract.
  • the number of space recognition devices 40 installed on the crawler crane 100B is, for example, four as described above, but the number of installations is not limited and may be three or five or more.
  • the space recognition device 40 has a movable structure because the desired direction of photographing changes depending on the customer and the site.
  • a part of the crawler crane 100B is included in the measurement range even when the space recognition device 40 is moved.
  • it may be constrained, for example, by the extendable mechanism described above.
  • it may be restricted by the description of the manual or the like for setting the space recognition device 40 .
  • the controller 30 acquires three-dimensional image information captured from the position where each of the plurality of space recognition devices 40 is installed (S1702).
  • the communication control unit 211 of the crawler crane 100B transmits the generated plurality of three-dimensional image information to the management device 200 (an example of an information processing device) via the communication device 220 (S1703: an example of a transmission step).
  • the specifying unit 212 of the management device 200 based on each of the received plurality of three-dimensional image information and part of the three-dimensional marker representing the shape of the crawler crane 100B currently assembled at the site, The position and orientation of the space recognition device 40 that captured the three-dimensional image information are identified. In addition, description is abbreviate
  • the communication control unit 211 of the crawler crane 100B receives the three-dimensional integrated image information from the management device 200 (an example of the information processing device) via the communication device 220 (S1704: an example of the receiving process).
  • the information to be received is not limited to three-dimensional integrated image information. Any information processed based on a part of the three-dimensional marker may be received. For example, information indicating the position and orientation of the space recognition device 40 may be received.
  • the display control unit 302 displays image information based on the three-dimensional integrated image information (S1705).
  • the space recognition device 40 can be installed according to the crawler crane 100B at the site, and the surroundings of the crawler crane 100B can be monitored according to the detection result of the space recognition device 40. Therefore, the space recognition device 40 for each site Since it is not necessary to set the position and posture of the , the work load can be reduced.
  • FIG. 18 and 19 are diagrams showing an example of application to a continuous unloader 100C to which the perimeter monitoring system SYS is applied.
  • FIG. 18 is an overall view showing an example of a continuous unloader 100C.
  • FIG. 19 is a diagram showing a side view of the bucket elevator 59.
  • a continuous unloader 100C (an example of a working machine) is of a so-called bucket elevator type, and is provided on the quay QY to continuously move the bulk cargo M in the hold HD of the ship SP docked to the quay QY. It is carried out (unloaded) on land.
  • Bulk M is, for example, coal, coke, iron ore, or the like.
  • the quay QY is constructed of, for example, reinforced concrete, and two rails 53 are installed in the quay QY in parallel to its extending direction, that is, the longitudinal direction of the ship SP to be docked.
  • the continuous unloader 100C is configured to be movable on two rails 53, and is unloaded from the ship SP while stopped at a predetermined position.
  • the continuous unloader 100C includes a travel section 51, a revolving frame 55, a boom 57, a bucket elevator 59, and an operator's cab 66.
  • the traveling part 51 is configured to be movable on the two rails 53 of the wharf QY.
  • the rotating frame 55 is mounted on the traveling portion 51 so as to be able to rotate.
  • the boom 57 is provided so as to extend forward from the revolving frame 55 to the part of the sea where the ship SP berths from the wharf QY, and is configured to be able to rise and fall with respect to the revolving frame 55 .
  • the boom 57 can be raised and lowered according to the expansion and contraction of the cylinder 65 attached between the boom 57 and the swing frame 55 .
  • the bucket elevator 59 is provided at the tip of the boom 57 so as to extend downward, that is, toward the ship SP (hull HD). As shown in FIG. 18, the bucket elevator 59 has a scraping portion 61 at its tip, and the bulk cargo M scraped by the scraping portion 61 is conveyed upward by a bucket 77 and unloaded onto land.
  • the scraping part 61 can change the inclination angle in the front-rear direction with the elevator body 64 as a reference.
  • the scraping portion 61 is used in a state in which there is substantially no inclination in the longitudinal direction with respect to the elevator main body 64 (the solid line state in the figure).
  • the scraping portion 61 is inclined forward with respect to the elevator body 64 (the dashed line in the figure). used in
  • a parallel link 58 is provided between the revolving frame 55 and the bucket elevator 59. Due to the action of the parallel link 58, the bucket elevator 59 is configured to be able to maintain a vertical state regardless of the hoisting angle of the boom 57. be done. In addition, the bucket elevator 59 can move vertically according to the ups and downs of the boom 57 .
  • the swing frame 55 also supports a counterweight 63 via a link extending rearward on the opposite side of the boom 57 , and a balancing lever 62 is provided to connect the counterweight 63 and the boom 57 . . Thereby, the load can be balanced between the bucket elevator 59 and the counterweight 63 .
  • the operator's cab 66 is provided in the front part of the revolving frame 55 (that is, the part in the direction in which the boom 57 extends), and is used by an operator to operate the continuous unloader 100C.
  • control device 110 is installed in the driver's cab 66 .
  • a display device 140 and an input device 150 are provided in the driver's cab 66 .
  • the operator in the operator's cab 66 checks the image information indicating the opening OP of the hold HD and the situation inside the hold HD displayed on the display device 140, as well as the content of the communication from the worker about the situation inside the hold HD.
  • a continuous unloader 100C can be operated.
  • the bucket elevator 59 includes an elevator body 64 extending in the vertical direction, and a chain bucket 79 that revolves between an upper portion 59 a and a lower portion (scraping portion 61 ) of the bucket elevator 59 . including.
  • the chain bucket 79 includes a pair of roller chains 75 and a plurality of buckets 77 supported by the pair of roller chains 75 so as to be suspended.
  • the roller chain 75 passes through the interior of the elevator body 64 and is endlessly connected in a form of circulation between the upper portion 59a and the lower portion (scraping portion 61) of the bucket elevator 59.
  • the bucket elevator 59 also includes a drive roller 81a over which the roller chain 75 is stretched, driven rollers 81b and 81c that guide the roller chain 75, and a turning roller 83.
  • the driving roller 81a is provided on the upper portion 59a of the bucket elevator 59, and the driven rollers 81b and 81c are provided on the scraping portion 61 with a predetermined interval in the front-rear direction.
  • the turning roller 83 is arranged below the driving roller 81a in the upper portion 59a of the bucket elevator 59, and is configured to be able to change the traveling direction of the roller chain 75.
  • a cylinder 85 is connected between the driven rollers 81b and 81c, and the distance between the shafts of the driven rollers 81b and 81c is varied according to the expansion and contraction of the cylinder 85. As a result, the movement orbit of the chain bucket 79 is varied. be.
  • the roller chain 75 is driven by the drive roller 81a and revolves in the direction of the arrow W with respect to the elevator body 64.
  • the chain bucket 79 circulates between the upper portion 59 a of the bucket elevator 59 and the scraping portion 61 while making a circular movement.
  • the bucket 77 scrapes the loose cargo M from the opening of the bucket 77 to the interior thereof when the roller chain 75 moves from the driven roller 81b to the driven roller 81c in a substantially horizontal direction.
  • the bucket 77 that has scraped off and accommodated the loose cargo M rises with its opening facing upward as the roller chain 75 rises from the driven roller 81c toward the driving roller 81a.
  • the opening turns downward as the roller chain 75 changes direction from upward to downward when passing the drive roller 81a.
  • the bulk cargo M inside the bucket 77 is sent from the discharge chute to the rotary feeder 87 provided on the outer periphery of the bucket elevator 59 .
  • the rotary feeder 87 conveys the bulk cargo M sent from the bucket 77 through the discharge chute to the boom conveyor 89 provided on the boom 57 .
  • the boom conveyor 89 is arranged inside the boom 57 .
  • the bulk cargo M on the rotary feeder 87 of the bucket elevator 59 is transferred to the boom conveyor 89 and conveyed toward the revolving frame 55 .
  • a hopper is provided at the end of the boom conveyor 89 on the revolving frame 55 side, and bulk cargo M conveyed by the boom conveyor 89 is supplied to the belt conveyor 93 through the hopper.
  • the belt conveyor 93 is provided in the traveling section 51.
  • the belt conveyor 93 conveys bulk cargo M to the ground belt conveyor 95 .
  • the bulk cargo M is carried out to the ground equipment 99 through the ground belt conveyor 95 .
  • the continuous unloader 100C includes a space recognition device 40 and a perimeter monitoring sensor 120E.
  • the space recognition devices 40 are provided at equal intervals in the circumferential direction on the outer peripheral surface below the upper portion 59a of the bucket elevator 59. Although the number of space recognition devices 40 is not limited, it is conceivable to provide four, for example. The four space recognition devices 40 have their optical axes directed downward, and are arranged so as to be able to image the opening OP of the hold HD of the ship SP from above.
  • the peripheral monitoring sensor 120E is an imaging device.
  • the peripheral monitoring sensors 120E are provided on the left and right outer surfaces of the fixed portion of the lower portion (scraping portion 61) of the bucket elevator 59. As shown in FIG.
  • the perimeter monitoring sensor 120E has its optical axis directed downward, and is arranged so as to be able to image the inside of the hold HD (that is, the upper portion of the bulk cargo M) from above.
  • the space recognition device 40 and the periphery monitoring sensor 120E for example, output three-dimensional image information at predetermined intervals (eg, 1/30 second) during the period from the start to the stop of the continuous unloader 100C. Captured images (including three-dimensional image information) output from the space recognition device 40 and the periphery monitoring sensor 120E are captured by the control device 110 .
  • the control device 110 has functions similar to those of the controller 30 described above.
  • the continuous unloader 100C (bucket elevator 59) may be provided with another type of perimeter monitoring sensor 120X (for example, a distance sensor) in addition to the space recognition device 40 and the perimeter monitoring sensor 120E.
  • perimeter monitoring sensor 120X for example, a distance sensor
  • Continuous unloader 100C is included in work machine 100 shown in FIG. Therefore, the control device 110 of the continuous unloader 100 ⁇ /b>C transmits the three-dimensional image information of the space recognition device 40 to the management device 200 . As a result, three-dimensional integrated image information representing the periphery of the continuous unloader 100C is generated.
  • the control device 110 of this embodiment can communicate with the management device 200 via the communication line NW. Therefore, the control device 110 transmits the three-dimensional image information captured by the space recognition device 40 to the management device 200 .
  • the management device 200 identifies the position and orientation of the space recognition device 40 based on the received three-dimensional image information and three-dimensional marker.
  • the space recognition device 40 captures an image of a measurement range 1801 including a part 1811 of the outer appearance of the bucket elevator 59.
  • the management device 200 stores a three-dimensional marker corresponding to a part 1811 of the external appearance of the bucket elevator 59 in the three-dimensional marker storage unit 251 .
  • control device 210 of management device 200 stores three-dimensional shape information indicating a part of work machine 100 included in the three-dimensional image information transmitted from control device 110 and the work data stored in three-dimensional marker storage unit 251 .
  • the position and orientation of the space recognition device 40 are identified based on part of the three-dimensional marker that indicates the shape of the machine 100 .
  • the continuous unloader 100C differs from the excavator 100A and the crawler crane 100B in that the marker detection range is not 0 to 0.5 m, but the same processing is performed. That is, the method of identifying the position and orientation of the space recognition device 40 based on the shape and position of the part 1811 is the same as that of the excavator 100A or the crawler crane 100B. Therefore, description of the method is omitted.
  • the marker detection range of the continuous unloader 100 ⁇ /b>C may be set according to the approximate distance between the space recognition device 40 and the part 1811 of the appearance of the bucket elevator 59 .
  • control device 210 of the management device 200 After specifying the position and orientation of the space recognition device 40, the control device 210 of the management device 200 generates three-dimensional integrated image information based on the three-dimensional image information.
  • the control device 210 may transmit the generated three-dimensional integrated image information to the control device 110 of the continuous unloader 100C, or may output (display) it to the output device 240 .
  • image information based on the three-dimensional integrated image information can be displayed on the display device 140.
  • control device 110 and the management device 200 perform known viewpoint conversion processing and synthesis processing on the three-dimensional integrated image information, so that the inside of the hold HD around the scraping unit 61 is viewed from directly above.
  • a viewpoint conversion image (overhead image) may be displayed.
  • the operator can see the situation of the bulk cargo M around the scraping portion 61 and the inner wall of the scraping portion 61 and the hold HD from the bird's-eye view image of the interior of the hold HD viewed from directly above (upper portion of the scraping portion 61). can more easily grasp the positional relationship with.
  • a measurement range 1801 including a part 1811 of the outer appearance of the bucket elevator 59, which is a portion that does not deform is set as a three-dimensional marker. This makes it easier to extract the region corresponding to the three-dimensional marker from the three-dimensional image information. Since the portion below the part 1811 of the appearance of the bucket elevator 59 is deformed, it is preferable not to set it as a three-dimensional marker. However, the three-dimensional marker storage unit 251 may store three-dimensional markers as many as the number of deformation patterns, so that the portion below the part 1811 of the outer appearance of the bucket elevator 59 may be held as a three-dimensional marker.
  • the above-described embodiments do not limit the detection information used for specifying the position and orientation to three-dimensional image information.
  • Multiple types of sensing information obtained from multiple types of three-dimensional sensing devices may be combined to identify the position and orientation.
  • the three-dimensional detection device combined with the space recognition device 40 may include, for example, a distance sensor, which is an example of the perimeter monitoring sensor 120X.
  • control device 110 can improve the accuracy of specifying the position and shape of a part of work machine 100 in the reference coordinate system. In other words, based on the distance from a part of work machine 100, etc., it is possible to improve the accuracy of specifying the position and orientation of space recognition device 40 in the reference coordinate system.
  • control device 110 may also identify the position and orientation of another three-dimensional detection device.
  • control device 110 may identify the position and orientation of the distance sensor.
  • the operator may adjust the position or posture of the distance sensor according to the identification result.
  • Modification 1 In the above-described embodiment, an example in which the management device 200 synthesizes three-dimensional image information has been described. However, the method is not limited to the method in which the management device 200 synthesizes three-dimensional image information. Therefore, in Modification 1, an example will be described in which management device 200 specifies the position and orientation of space recognition device 40 and work machine 100 synthesizes three-dimensional image information.
  • the management device 200 of the modified example identifies the position and orientation of the space recognition device 40 provided on the working machine 100, as in the above-described embodiment. Management device 200 then transmits information indicating the specified position and orientation to work machine 100 .
  • the controller 30 of the work machine 100 has the same configuration as the integrated processing section 213 shown in the above embodiment. Accordingly, the controller 30 integrates the three-dimensional image information captured by the space recognition device 40 based on the received position and orientation to generate three-dimensional integrated image information. After that, the display control unit 302 of the controller 30 outputs image information based on the three-dimensional integrated image information to the output device 240 . Thus, the situation around work machine 100 is displayed.
  • the same effects as in the above-described embodiment can be obtained, and the load on the network can be reduced by generating the three-dimensional integrated image information on the work machine 100 side. Furthermore, since the time required for transmitting and receiving information can be shortened, the time until the display control unit 302 displays the image information based on the three-dimensional integrated image information can be shortened.
  • Modification 2 In the first modification described above, an example has been described in which management device 200 identifies the position and orientation of space recognition device 40 and work machine 100 generates three-dimensional integrated image information.
  • the method is not limited to the method of specifying the position and orientation of the space recognition device 40 by the management device 200 as in the above-described embodiment and modification.
  • the controller 30 of the work machine 100 according to Modification 2 holds the three-dimensional marker of its own device, and has the same configuration as the specifying unit 212 and the integration processing unit 213 .
  • the controller 30 identifies the position and orientation of the space recognition device 40 based on the three-dimensional image information of the space recognition device 40. Then, the controller 30 synthesizes three-dimensional image information based on the specified position and orientation of the space recognition device 40 to generate three-dimensional integrated image information.
  • the perimeter monitoring system SYS includes a part of the working machine 100 detected as three-dimensional image information (an example of detection information) and a three-dimensional image representing the shape of the working machine 100 expressed in a reference coordinate system.
  • the position and orientation of the space recognition device 40 in the reference coordinate system are specified based on the part of the marker. In this embodiment, an example of specifying the position and orientation will be described, but only the position or only the orientation may be specified.
  • the identifying unit 212 identifies the position and orientation using a three-dimensional marker.
  • the above-described embodiment and modifications are not limited to the technique of using three-dimensional markers when identifying the position and orientation of the space recognition device 40 . That is, the relative positional relationship between work machine 100 and space recognition device 40 can be recognized if a part of the external appearance of work machine 100 is captured in the three-dimensional image information captured by space recognition device 40 .
  • the specifying unit 212 determines the position of the space recognition device 40 based on the three-dimensional shape information indicating the shape of the working machine 100 included in the three-dimensional image information (an example of detection information) captured by the space recognition device 40. and the posture can be specified.
  • the surroundings monitoring system SYS can recognize the positions and orientations of the plurality of space recognition devices 40 even when the positions and orientations of the space recognition devices 40 are deviated or when the work machine 100 is assembled for each site. Accuracy can be improved. Therefore, the surroundings monitoring system SYS can more easily monitor or recognize the surroundings of the work machine 100 as described above. In addition, since the surroundings monitoring system SYS does not require the user to set the position and orientation of the space recognition device 40, the work load related to the space recognition device 40 can be reduced.
  • the surroundings monitoring system SYS generates three-dimensional integrated image information by synthesizing the three-dimensional image information of the plurality of space recognition devices 40 based on the positions and orientations of the plurality of space recognition devices 40.
  • the perimeter monitoring system SYS allows the operator to refer to the three-dimensional integrated image information along the unified reference (reference coordinate system), so that the perimeter of the work machine can be monitored more easily and accurately. can be done.
  • the surroundings monitoring system SYS may display image information representing the surroundings of the work machine 100 based on the three-dimensional integrated image information.
  • the surroundings monitoring system SYS can provide the operator with easier and more accurate image information representing the surroundings of the work machine.
  • two or more types of sensors may be included.
  • the surroundings monitoring system SYS can comprehensively use the output information of two or more types of sensors to more appropriately monitor the surroundings of the work machine.
  • image information that three-dimensionally represents the surroundings of the work machine 100 is displayed based on the three-dimensional integrated image information, and the viewpoint is changed according to the user's operation. can be displayed while As a result, the user can easily monitor the surroundings of the work machine while freely changing the viewpoint.
  • SYS surrounding monitoring system 100 working machine 100A excavator 100B crawler crane 100C continuous unloader 30 controller 40, 40A to 40D space recognition device 110 control device 301 communication control section 302 display control section 200 management device 210 control device 211 communication control section 212 specifying section 213 Integrated processing unit 220 communication device 230 input device 240 output device 250 storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

作業機械の周辺監視システムは、計測範囲内に作業機械の一部が含まれるように、当該作業機械に設置された３次元検知装置と、３次元検知装置の検知情報を取得し、取得した検知情報に含まれる作業機械の少なくとも一部の形状に基づいて、３次元検知装置の位置又は姿勢を特定するように構成されている制御部と、を備える。

Description

作業機械の周辺監視システム、情報処理装置、及び周辺監視方法
　本発明は、作業機械の周辺監視システム、情報処理装置、及び周辺監視方法に関する。
　近年、作業機械の周辺を監視するために、作業機械に空間認識装置（例えばLiDAR）を設ける傾向にある。作業機械に設けられた空間認識装置が作業機械の周囲の検出を行う。作業機械を操作している作業者が作業を行うときに、空間認識装置による検出結果を確認することで、安全性を向上させることができる。
　さらには、複数の空間認識装置の検出結果を統合し、作業機械の周辺を表した統合情報として表示する技術がある。このように統合情報を生成するためには、複数の空間認識装置の位置及び姿勢を認識する必要がある。このために、作業機械に空間認識装置を設ける場合に、空間認識装置の位置及び姿勢を設定する必要があるが、当該設定の負担が大きい場合が多い。
　例えば、特許文献１に記載されているようなクレーンでは、現場ごとカウンタウェイトの数を変更している。このようなクレーンのカウンタウェイトの上面等に空間認識装置を設ける場合、現場に応じた空間認識装置の位置及び姿勢の設定が必要となる。
特開２０１２－０９６９１５号公報
　このように、従来技術においては、空間認識装置の位置及び姿勢のうち少なくとも一つ以上を把握するためのキャリブレーションは、当該設定を行う作業者の負担が大きい。
　本発明の一態様は、作業機械に設けられた空間認識装置の位置又は姿勢を特定するための作業者の負担を軽減する技術を提供する。
　本発明の一態様に係る作業機械の周辺監視システムは、計測範囲内に作業機械の一部が含まれるように、当該作業機械に設置された３次元検知装置と、３次元検知装置の検知情報を取得し、取得した検知情報に含まれる作業機械の少なくとも一部の形状に基づいて、３次元検知装置の位置又は姿勢を特定するように構成されている制御部と、を備える。
　本発明の一態様によれば、作業者の負担を軽減できる。
図１は、実施形態に係る周辺監視システムの一例を示す概略図である。 図２は、実施形態に係るショベルの一例を示す側面図である。 図３は、実施形態に係るショベルの一例を示す上面図である。 図４は、実施形態に係るクローラクレーンの一例を示す側面図である。 図５は、実施形態に係る周辺監視システムの構成の一例を示すブロック図である。 図６は、実施形態に係る周辺監視システムの構成の一例を示すブロック図である。 図７は、図５に対応するショベルの構成の具体例を示す図である。 図８は、図６に対応するクローラクレーンの構成の具体例を示す図である。 図９は、実施形態に係る３次元マーカ記憶部に記憶されている３次元マーカを表した概念図である。 図１０は、実施形態に係るショベルに設けられた空間認識装置による計測範囲を例示した図である。 図１１は、実施形態に係る空間認識装置により撮像された３次元画像情報の一例を示した図である。 図１２は、実施形態に係る３次元マーカ記憶部に記憶されている、ショベルの３次元マーカの一部の形状を示した図である。 図１３は、実施形態に係る統合処理部により生成された３次元統合画像情報の一部を例示した図である。 図１４は、実施形態に係る３次元マーカ記憶部に記憶されている３次元マーカを表した概念図である。 図１５は、実施形態に係るクローラクレーンに設けられた空間認識装置による計測範囲を例示した図である。 図１６は、実施形態に係る周辺監視システムにおける全体的な処理を示したフローチャートである。 図１７は、実施形態に係るクローラクレーンを組み立て時の処理を示したフローチャートである。 図１８は、実施形態に係る連続アンローダの一例を示す全体図である。 図１９は、実施形態に係る連続アンローダのバケットエレベータの側面図を示す図である。
　以下、本発明の実施形態について図面を参照して説明する。また、以下で説明する実施形態は、発明を限定するものではなく例示であって、実施形態に記述される全ての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。
　［周辺監視システムの概要］
　まず、図１～図３を参照して、本実施形態に係る周辺監視システムＳＹＳの概要について説明をする。
　図１は、本実施形態に係る周辺監視システムＳＹＳの一例を示す概略図である。図２、図３及び図４は、周辺監視システムＳＹＳに含まれる作業機械１００の具体例を示す図である。具体的には、図２は、ショベル１００Ａの一例を示す側面図であり、図３は、ショベルの一例を示す上面図である。図４は、クローラクレーン１００Ｂの一例を示す側面図である。以下、ショベル１００Ａ及びクローラクレーン１００Ｂの対応する構成要素（例えば、同じ機能を有する構成要素）には同じ符号を付して説明を行う。
　図１に示すように、周辺監視システムＳＹＳは、作業機械１００と、管理装置２００とを含む。
　周辺監視システムＳＹＳに含まれる作業機械１００は、一台であってもよいし、複数台であってもよい。また、周辺監視システムＳＹＳに複数の作業機械１００が含まれる場合、複数の作業機械１００は、全て同じ種類であってもよいし、その少なくとも一部が互いに異なる種類であってもよい。例えば、周辺監視システムＳＹＳは、後述のショベル１００Ａ及びクローラクレーン１００Ｂの何れか一方だけを複数台含んでいてもよいし、ショベル１００Ａ及びクローラクレーン１００Ｂの双方を含んでいてもよい。
　また、周辺監視システムＳＹＳに含まれる管理装置２００は、複数であってもよい。即ち、複数の管理装置２００は、周辺監視システムＳＹＳに関する処理を分散して実施してよい。例えば、複数の管理装置２００は、それぞれ、周辺監視システムＳＹＳに含まれる全ての作業機械１００のうちの担当する一部の作業機械１００との間で相互に通信を行い、一部の作業機械１００を対象とする処理を実行してよい。
　周辺監視システムＳＹＳは、例えば、管理装置２００において、作業機械１００から情報を収集し、作業機械１００の各種状態（例えば、作業機械１００に搭載される各種機器の異常の有無等）を監視する。
　また、周辺監視システムＳＹＳは、例えば、管理装置２００において、作業機械１００に設けられた空間認識装置４０（３次元検知装置の一例）によって、作業機械１００の周辺を監視する。
　さらに、周辺監視システムＳＹＳは、例えば、管理装置２００において、作業機械１００の遠隔操作を支援してもよい。
　また、作業機械１００が完全自動運転によって作業を行う場合、周辺監視システムＳＹＳは、例えば、管理装置２００において、作業機械１００の完全自動運転による作業の遠隔監視を支援してもよい。
　　＜作業機械の概要＞
　作業機械１００は、下部走行体１と、旋回機構２を介して下部走行体１に旋回自在に搭載される上部旋回体３と、上部旋回体３に取り付けられるアタッチメントＡＴと、アタッチメントＡＴの先端に設けられるフックＨＫと、オペレータが搭乗するキャビン１０とを備える。以下、作業機械１００（上部旋回体３）の前方は、ショベル１００Ａを上部旋回体３の旋回軸に沿って真上から平面視（上面視）で見たときに、上部旋回体３に対するアタッチメントが延び出す方向に対応する。また、作業機械１００（上部旋回体３）の左方及び右方は、それぞれ、キャビン１０内の操縦席に着座するオペレータから見た左方及び右方に対応する。
　なお、後述するように、作業機械１００が遠隔操作される場合や作業機械１００が完全自動運転によって動作する場合、キャビン１０は省略されてもよい。
　作業機械１００は、フックＨＫに吊り荷を吊り下げて、下部走行体１、上部旋回体３，及びアタッチメントＡＴの少なくとも一つを動作させることにより、吊り荷を所定の搬送先まで搬送するクレーン作業（吊り作業）を行うことができる。
　また、作業機械１００は、通信装置６０を搭載し、所定の通信回線ＮＷを通じて、管理装置２００と相互に通信を行うことができる。これにより、作業機械１００は、各種情報を管理装置２００に送信（アップロード）したり、管理装置２００から各種の信号（例えば、情報信号や制御信号）等を受信したりすることができる。
　通信回線ＮＷには、例えば、広域ネットワーク（ＷＡＮ：Wide　Area　Network）が含まれる。広域ネットワークには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、広域ネットワークには、例えば、作業機械１００の上空の通信衛星を利用する衛星通信網が含まれてもよい。また、広域ネットワークには、例えば、インターネット網が含まれてもよい。また、通信回線ＮＷには、例えば、管理装置２００が設置される施設等のローカルネットワーク（ＬＡＮ：Local　Area　Network）が含まれてもよい。ローカルネットワークは、無線回線であってもよいし、有線回線であってもよいし、その両方を含む回線であってよい。また、通信回線ＮＷには、例えば、Wi-Fi(登録商標)やブルートゥース（登録商標）等の所定の無線通信方式に基づく近距離通信回線が含まれてもよい。
　作業機械１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータ（例えば、油圧アクチュエータ）を動作させ、下部走行体１、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素を駆動する。
　また、作業機械１００は、キャビン１０のオペレータにより操作可能に構成されるとともに、作業機械１００の外部から遠隔操作（リモート操作）が可能に構成されてもよい。さらには、作業機械１００の外部から遠隔操作（リモート操作）のみ可能に構成してもよい。作業機械１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。
　遠隔操作には、例えば、所定の外部装置（例えば、管理装置２００）で行われる作業機械１００のアクチュエータに関するユーザ（オペレータ）からの入力によって、作業機械１００が操作される態様が含まれる。この場合、作業機械１００は、例えば、後述の空間認識装置４０の出力に基づく作業機械１００の周辺に存在する物体を３次元で示した画像情報（以下、「３次元画像情報」）を外部装置に送信し、３次元画像情報は、所定の画像処理が行われた後に、外部装置に設けられる表示装置（以下、「遠隔操作用表示装置」）に表示されてもよい。また、作業機械１００のキャビン１０内の出力装置５０（表示装置）に表示される各種の情報画像（情報画面）は、同様に、外部装置の遠隔操作用表示装置にも表示されてもよい。これにより、外部装置のオペレータは、例えば、遠隔操作用表示装置に表示される作業機械１００の周辺の様子を表す画像情報や各種の情報画像等の表示内容を確認しながら、作業機械１００を遠隔操作することができる。そして、作業機械１００は、外部装置から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素を駆動してよい。
　また、遠隔操作には、例えば、作業機械１００の周囲の人（例えば、作業者）の作業機械１００に対する外部からの音声入力やジェスチャ入力等によって、作業機械１００が操作される態様が含まれてよい。具体的には、作業機械１００は、作業機械１００（自機）に搭載される音声入力装置（例えば、マイクロフォン）や撮像装置等を通じて、周囲の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、作業機械１００は、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、アタッチメントＡＴ等の被駆動要素を駆動してよい。
　また、作業機械１００は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、作業機械１００は、下部走行体１、上部旋回体３、アタッチメントＡＴ等の被駆動要素の少なくとも一部を自動で動作させる機能、即ち、いわゆる「自動運転機能」或いは「マシンコントロール（Machine Control：ＭＣ）機能」を実現する。
　自動運転機能には、オペレータの操作装置２６に対する操作や遠隔操作に応じて、操作対象の被駆動要素（アクチュエータ）以外の被駆動要素（アクチュエータ）を自動で動作させる機能、即ち、いわゆる「半自動運機能」或いは「操作支援型のＭＣ機能」が含まれてよい。また、自動運転機能には、オペレータの操作装置２６に対する操作や遠隔操作がない前提で、複数の被駆動要素（油圧アクチュエータ）の少なくとも一部を自動で動作させる機能、即ち、いわゆる「完全自動運転機能」或いは「完全自動型のＭＣ機能」が含まれてもよい。作業機械１００において、完全自動運転機能が有効な場合、キャビン１０の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素（アクチュエータ）の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、作業機械１００が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素（油圧アクチュエータ）の動作内容が決定される態様（いわゆる「自律運転機能」）が含まれてもよい。
　作業機械１００は、例えば、ショベル１００Ａである。
　図２、図３に示すように、ショベル１００Ａは、下部走行体１Ａ（下部走行体１の一例）と、旋回機構２Ａ（旋回機構２の一例）を介して旋回自在に下部走行体１Ａに搭載される上部旋回体３Ａ（上部旋回体３の一例）と、各種作業を行うためのアタッチメントＡＴと、キャビン１０とを備える。
　下部走行体１Ａは、左右一対のクローラ１Ｃが左右の走行油圧モータ１Ｍでそれぞれ油圧駆動されることにより、ショベル１００Ａを走行させる。即ち、クローラ１Ｃは、左側のクローラ１ＣＬ及び右側のクローラ１ＣＲを含み、走行油圧モータ１Ｍは、左側の走行油圧モータ１ＭＬ、及び右側の走行油圧モータ１ＭＲを含む。
　上部旋回体３Ａは、旋回機構２Ａが旋回油圧モータ２Ｍ（図７参照）で油圧駆動されることにより、下部走行体１Ａに対して旋回する。
　アタッチメントＡＴ（作業装置の一例）は、被駆動要素としてのブーム４Ａ、アーム５Ａ、及びバケット６Ａを含む。
　ブーム４Ａは、上部旋回体３Ａの前部中央に俯仰可能に取り付けられ、ブーム４Ａの先端には、アーム５Ａが上下回動可能に取り付けられ、アーム５Ａの先端には、バケット６Ａが上下回動可能に取り付けられる。
　バケット６Ａは、エンドアタッチメントの一例である。バケット６Ａは、例えば、掘削作業等に用いられる。また、アーム５Ａの先端には、作業内容等に応じて、バケット６Ａの代わりに、他のエンドアタッチメントが取り付けられてもよい。他のエンドアタッチメントは、例えば、大型バケット、法面用バケット、浚渫用バケット等の他の種類のバケットであってよい。また、他のエンドアタッチメントは、攪拌機、ブレーカ、グラップル等のバケット以外の種類のエンドアタッチメントであってもよい。
　また、バケット６Ａには、クレーン作業用のフックＨＫが取り付けられる。フックＨＫは、基端が、アーム５Ａとバケット６Ａとの間を連結するバケットピンに回動可能に連結される。これにより、フックＨＫは、掘削作業等のクレーン作業（吊り作業）以外の作業が行われる場合、２本のバケットリンクの間に形成される空間に収納される。
　ブーム４Ａ、アーム５Ａ、及びバケット６Ａは、それぞれ、油圧アクチュエータとしてのブームシリンダ７Ａ、アームシリンダ８Ａ、及びバケットシリンダ９Ａにより油圧駆動される。
　キャビン１０は、オペレータが搭乗する操縦室であり、例えば、上部旋回体３Ａの前部左側に搭載される。
　空間認識装置４０は、上部旋回体３Ａの上部に取り付けられ、ショベル１００Ａに相対的に近い領域から相対的に遠い領域に亘るショベル１００Ａの周囲に存在する物体を検出し、検出結果を３次元画像情報として取得する。
　空間認識装置４０は、ショベル１００Ａの周囲に存在する物体までに距離を検出可能な装置であればよい。空間認識装置４０は、例えば、ＬｉＤＡＲ（Light　Detection　and　Ranging）である。
　空間認識装置４０は、例えば、ある方向に赤外線を照射する共に、その方向の物体からの反射光を受光することにより、ショベル１００Ａの周辺の物体に関する情報、具体的には、受光される反射光に関する情報（以下、「受光情報」）を取得する。空間認識装置４０は、例えば、走査型のＬｉＤＡＲであり、赤外線レーザの照射方向を上下方向及び左右方向に走査可能な三次元レーザスキャナである。また、空間認識装置４０は、発光モジュールから赤外線を三次元の広範囲に照射し、反射光（赤外線）を三次元距離画像素子で撮像する、いわゆるフラッシュ型ＬｉＤＡＲであってもよい。
　受光情報には、赤外線の照射方向ごとの赤外線の照射から反射光が受光されるまでの時間（ＴＯＦ：Time　Of　Flight）に関する情報、及び赤外線の照射方向ごとの受光される反射光の強度に関する情報が含まれる。これにより、計測範囲に存在する物体の形状及び物体までの距離を認識できる。
　また、空間認識装置４０は、上述したセンサに制限するものではなく、ステレオカメラや距離画像カメラやデプスカメラ等であってもよい。さらに、空間認識装置４０は、例えば、ミリ波レーダ等であってもよい。これら撮像装置を用いることで、撮像を行う毎に、ショベル１００Ａの周囲に存在する物体の形状及び距離を検出できる。
　本実施形態では、空間認識装置４０としてフラッシュ型ＬｉＤＡＲを適用し、フラッシュ型ＬｉＤＡＲによる、空間認識装置４０から物体までの距離及び当該物体の形状が表された画像情報を、３次元画像情報（検知情報の一例）と称する。なお、本実施形態は、処理に用いる検知情報を、フラッシュ型ＬｉＤＡＲによる３次元画像情報に制限するものではない。処理に用いる検知情報は、検出対象に存在する物体の形状及び物体までの距離を含んだ情報であればよい。
　空間認識装置４０は、空間認識装置４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒを含む。空間認識装置４０の各々は、計測範囲内に作業機械１００の外観の一部が含まれるように、作業機械１００に設置される。
　空間認識装置４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒは、それぞれ、上部旋回体３Ａの前端上部、後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体３Ａの前方、後方、左側方、及び、右側方に対して物体の検出を行う。空間認識装置４０Ｆは、上部旋回体３Ａの前方の計測範囲、例えば、左前方から右前方に亘る水平方向（即ち、ショベル１００Ａから見た周方向）の計測範囲を撮像する。また、空間認識装置４０Ｂは、上部旋回体３Ａの後方の計測範囲、例えば、左後方から右後方に亘る水平方向（即ち、ショベル１００Ａから見た周方向）の計測範囲を撮像する。また、空間認識装置４０Ｌは、例えば、上部旋回体３Ａの左側方の計測範囲、例えば、上部旋回体３Ａの左前方から左後方に亘る水平方向（ショベル１００Ａから見た周方向）の計測範囲を撮像する。また、空間認識装置４０Ｒは、例えば、上部旋回体３Ａの右側方の計測範囲、例えば、上部旋回体３Ａの右前方から右後方に亘る水平方向（ショベル１００Ａから見た周方向）の計測範囲を撮像する。つまり、空間認識装置４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒは、計測方向及び設置された位置が異なると共に、上述した計測範囲に対して、赤外線を照射可能に構成されている。ショベル１００Ａの空間認識装置４０の各々は、上部旋回体３Ａの上部において、光軸が斜め下方に向くように取り付けられ、ショベル１００Ａの近傍の地面からショベル１００Ａの遠方までを含む上下方向の計測範囲を撮像するように設けられている。ショベル１００Ａの空間認識装置４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒは、計測方向及び設置された位置が異なる例について説明するが、計測範囲が異なるように設けられれば良く、計測方向又は位置が異なるように設置されてもよい。
　空間認識装置４０は、例えば、ショベル１００Ａの起動（即ち、キースイッチＯＮ）から停止（即ち、キースイッチＯＦＦ）までの間で、所定周期（例えば、１／３０秒）ごとに、検出結果を示した３次元画像情報を出力する。空間認識装置４０から出力される３次元画像情報は、コントローラ３０に取り込まれる。また、空間認識装置４０から出力される３次元画像情報は、コントローラ３０から通信装置６０を通じて、管理装置２００に送信（アップロード）される。
　また、作業機械１００は、例えば、クローラクレーン１００Ｂである。
　クローラクレーン１００Ｂは、下部走行体１Ｂ（下部走行体１の一例）と、旋回機構２Ｂ（旋回機構２の一例）を介して旋回自在に下部走行体１Ｂに搭載される上部旋回体３Ｂ（上部旋回体３の一例）と、アタッチメントＡＴと、マスト５Ｂと、バックストップ６Ｂと、フックＨＫと、カウンタウェイト９Ｂと、キャビン１０とを備える。
　下部走行体１Ｂは、例えば、左右一対のクローラ１Ｃを含む。下部走行体１Ｂは、それぞれのクローラ１Ｃが左側の走行油圧モータ１ＭＬ及び右側の走行油圧モータ１ＭＲ（図７参照）で油圧駆動されることにより、クローラクレーン１００Ｂを走行させる。
　上部旋回体３Ｂは、旋回油圧モータ２Ｍ（図８参照）で旋回機構２Ｂが油圧駆動されることにより、下部走行体１Ｂに対して旋回する。
　アタッチメントＡＴ（作業装置の一例）は、ブーム４Ｂと、主巻ロープ７Ｂとを含む。
　ブーム４Ｂは、上部旋回体３Ｂの前部中央に起伏可能に取り付けられる。ブーム４Ｂの先端部から主巻ロープ７Ｂが垂下され、主巻ロープ７Ｂの先端には、フックＨＫが取り付けられる。即ち、ブーム４Ｂの先端には、主巻ロープ７Ｂを介してフックＨＫが取り付けられる。
　主巻ロープ７Ｂは、その基端が、ブーム４Ｂの基端と先端との間の後面部分に取り付けられる主巻ウインチ７Ｂａに取り付けられ、その先端がフックＨＫに取り付けられる。主巻ロープ７Ｂは、主巻油圧モータ７Ｍ（図８参照）で油圧駆動される主巻ウインチ７Ｂａにより巻き取り及び巻き出しが行われることにより、フックＨＫを上下させることができる。
　マスト５Ｂは、上部旋回体３Ｂのブーム４Ｂの基端部よりも若干後方において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられる。マスト５Ｂの先端部は、ペンダントロープ５Ｂａを介してブーム４Ｂの先端部と接続され、起伏油圧モータ５Ｍ（図８参照）で油圧駆動されるブーム起伏ウインチ５Ｂｃによるブーム起伏ロープ５Ｂｂの巻き取り及び巻き出しにより、マスト５Ｂを介してブーム４Ｂが起伏する。
　バックストップ６Ｂは、その基端がブーム４Ｂの基端よりも後方の上部旋回体３Ｂの部分において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられ、その先端がブーム４Ｂの基端と先端との間の後面部分において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられる。バックストップ６Ｂは、ブーム４Ｂの起伏動作に応じて伸縮し、例えば、ブーム４Ｂが略直立状態の場合にブーム４Ｂを後方から支える機能を有する。
　フックＨＫは、主巻ロープ７Ｂの先端に取り付けられ、吊り荷を吊り下げるために用いられる。
　カウンタウェイト９Ｂは、上部旋回体３Ｂの後端部に設けられ、ブーム４Ｂ及び吊り荷の重量との重量バランスを取る機能を有する。
　キャビン１０は、例えば、上部旋回体３Ｂの右前端部に取り付けられる。キャビン１０の内部には、操縦席や各種アクチュエータを操作する操作装置２６（図８参照）が設けられる。
　空間認識装置４０は、カウンタウェイト９Ｂの上面部に設けられ、クローラクレーン１００Ｂの周囲の監視を行う。この場合、クローラクレーン１００Ｂは、例えば、後述の空間認識装置４０の出力に基づくクローラクレーン１００Ｂの周辺の３次元画像情報を外部装置に送信し、画像情報は、外部装置に設けられる表示装置（以下、「遠隔操作用表示装置」）に表示されてよい。
　空間認識装置４０は、カウンタウェイト９Ｂの上面部に設けられ、クローラクレーン１００Ｂに相対的に近い領域から相対的に遠い領域に亘るクローラクレーン１００Ｂの周囲を撮像し、３次元画像情報を取得する。空間認識装置４０は、空間認識装置４０Ｂ，４０Ｌ，４０Ｒを含む。クローラクレーン１００Ｂに搭載される空間認識装置４０は、上述したショベル１００Ａに搭載される空間認識装置４０と同様として説明を省略する。
　空間認識装置４０Ｂ、空間認識装置４０Ｌ、及び空間認識装置４０Ｒは、それぞれ、カウンタウェイト９Ｂの後端上部、左端上部、及び、右端上部に取り付けられ、クローラクレーン１００Ｂの後方、左側方、及び、右側方を撮像する。
　また、クローラクレーン１００Ｂには、前方に存在する物体を検出するために、空間認識装置４０Ｆを設けられている。空間認識装置４０Ｆを取り付ける位置は任意の位置でよく、例えば、カウンタウェイト９Ｂの上面でもよいし、クローラクレーン１００Ｂの上部旋回体３Ｂの前側近傍でもよい。空間認識装置４０Ｆは、クローラクレーン１００Ｂの前方を撮像する。
　また、空間認識装置４０Ｂは、カウンタウェイト９Ｂの後方の計測範囲、例えば、左後方から右後方に亘る水平方向（即ち、クローラクレーン１００Ｂから見た周方向）の計測範囲を撮像する。また、空間認識装置４０Ｌは、例えば、カウンタウェイト９Ｂの左側方の計測範囲、例えば、カウンタウェイト９Ｂの左前方から左後方に亘る水平方向（クローラクレーン１００Ｂから見た周方向）の計測範囲を撮像する。また、空間認識装置４０Ｒは、例えば、カウンタウェイト９Ｂの右側方の計測範囲、例えば、カウンタウェイト９Ｂの右前方から右後方に亘る水平方向（クローラクレーン１００Ｂから見た周方向）の計測範囲を撮像する。空間認識装置４０Ｆは、クローラクレーン１００Ｂの上部旋回体３Ｂの前方の計測範囲、例えば、左前方から右前方に亘る水平方向（即ち、クローラクレーン１００Ｂから見た周方向）の計測範囲を撮像する。また、クローラクレーン１００Ｂの空間認識装置４０の各々は、カウンタウェイト９Ｂ又は上部旋回体３Ｂの上部において、光軸が斜め下方に向くように取り付けられ、クローラクレーン１００Ｂの近傍の地面からクローラクレーン１００Ｂの遠方までを含む上下方向の計測範囲を撮像する。このように、空間認識装置４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒは、上述した計測範囲に対して、赤外線を照射可能に構成されている。クローラクレーン１００Ｂの空間認識装置４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒは、計測方向及び設置された位置が異なる例について説明するが、計測範囲が異なるように設けられれば良く、計測方向又は位置が異なるように設置されてもよい。
　空間認識装置４０は、例えば、クローラクレーン１００Ｂの起動（即ち、キースイッチＯＮ）から停止（即ち、キースイッチＯＦＦ）までの間で、所定周期（例えば、１／３０秒）ごとに、３次元画像情報を出力する。空間認識装置４０から出力される３次元画像情報は、コントローラ３０に取り込まれる。また、空間認識装置４０から出力される３次元画像情報は、コントローラ３０から通信装置６０を通じて、管理装置２００に送信（アップロード）される。
　ところで、クローラクレーン１００Ｂは、現場に応じて組み立てられるものである。このため、現場ごとにカウンタウェイト９Ｂに積み上げられる重りの数などが異なる。このため、カウンタウェイト９Ｂに搭載される空間認識装置４０の位置及び姿勢も現場に応じて異なる。
　そこで、本実施形態に係る管理装置２００が、（クローラクレーン１００Ｂを含む）作業機械１００の空間認識装置４０による３次元画像情報に基づいて、空間認識装置４０の位置及び姿勢を特定する。
　　＜管理装置の概要＞
　管理装置２００は、情報処理装置の一例であって、例えば、作業機械１００の状態の管理（監視）や作業機械１００の作業の管理（監視）等、作業機械１００に関する管理を行う。
　管理装置２００は、例えば、作業機械１００が作業を行う作業現場の外部の管理センタ等に設置されるオンプレミスサーバやクラウドサーバであってよい。また、管理装置２００は、例えば、作業機械１００が作業行う作業現場内、又は、作業現場から相対的に近い場所（例えば、通信事業者の局舎や基地局等）に配置されるエッジサーバであってもよい。また、管理装置２００は、作業機械１００の作業現場内の管理事務所等に配置される定置型の端末装置、又は携帯型の端末装置（携帯端末）であってもよい。定置型の端末装置には、例えば、デスクトップ型のコンピュータ端末が含まれてよい。また、携帯型の端末装置には、例えば、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等が含まれてよい。
　管理装置２００は、例えば、通信装置２２０（図５、図６参照）を有し、上述の如く、通信回線ＮＷを通じて、作業機械１００と相互に通信を行う。これにより、管理装置２００は、作業機械１００からアップロードされる各種情報を受信したり、各種信号を作業機械１００に送信したりすることができる。そのため、管理装置２００のユーザは、出力装置２４０（図５、図６参照）を通じて、作業機械１００に関する各種情報を確認することができる。また、管理装置２００は、例えば、作業機械１００に情報信号を送信し、作業に必要な情報を提供したり、制御信号を送信し、作業機械１００を制御したりすることができる。管理装置２００のユーザには、例えば、作業機械１００のオーナ、作業機械１００の管理者、作業機械１００のメーカの技術者、作業機械１００のオペレータ、作業機械１００の作業現場の管理者、監督者、作業者等が含まれてよい。
　また、管理装置２００は、作業機械１００の遠隔操作を支援可能に構成されてもよい。例えば、管理装置２００は、オペレータが遠隔操作を行うための入力装置（以下、便宜的に「遠隔操作装置」）、及び作業機械１００の周囲の画像情報等を表示する遠隔操作用表示装置を有してよい。遠隔操作装置から入力される信号は、遠隔操作信号として、作業機械１００に送信される。これにより、管理装置２００のユーザ（オペレータ）は、遠隔操作用表示装置で作業機械１００の周囲の様子を確認しながら、遠隔操作装置を用いて、作業機械１００の遠隔操作を行うことができる。
　また、管理装置２００は、完全自動運転で作業を行う作業機械１００の遠隔監視を支援可能に構成されてもよい。例えば、管理装置２００は、作業機械１００の周囲を表した画像情報等を表示する表示装置（以下、「監視用表示装置」）を有してよい。これにより、管理装置２００のユーザ（監視者）は、監視用表示装置で作業機械１００の作業の様子を監視することができる。また、例えば、管理装置２００は、作業機械１００の自動運転機能による動作に介入操作を行うための入力装置（以下、便宜的「介入操作装置」）を有してもよい。介入操作装置には、例えば、作業機械１００を非常停止させるための入力装置が含まれてよい。また、介入操作装置には、上述の遠隔操作装置が含まれてもよい。これにより、管理装置２００のユーザ（監視者）は、作業機械１００に異常が発生している場合や作業機械１００の動作が不適切な場合等に、作業機械１００を非常停止させたり、作業機械１００に適切な動作を行わせる遠隔操作を実施したりすることができる。
　さらに、管理装置２００の制御装置２１０は、作業機械１００の空間認識装置４０からの３次元画像情報に基づいて、様々な処理を行う。例えば、管理装置２００の制御装置２１０は、受信した３次元画像情報（検知情報の一例）に含まれる作業機械１００の一部の形状に基づいて、作業機械１００に設けられた空間認識装置４０の位置及び姿勢を特定する。なお、本実施形態では、位置及び姿勢を特定する例について説明するが、位置及び姿勢を特定する手法に制限するものではなく、位置又は姿勢の特定でもよい。つまり、位置又は姿勢を特定した場合でも、オペレータが空間認識装置４０の位置又は姿勢を調整する際に利用できる。
　さらには、管理装置２００の制御装置２１０は、作業機械１００に設けられた複数の空間認識装置４０からの３次元画像情報を統合して、作業機械１００の周囲の環境を表した３次元統合画像情報（３次元形状統合情報の一例）の生成を行う。３次元統合画像情報に基づいた作業機械１００の周囲を表した画像情報は、監視用表示装置に表示されてもよい。さらには、管理装置２００は、３次元統合画像情報を作業機械１００に送信し、３次元統合画像情報に基づいた画像情報が作業機械１００の出力装置５０（表示装置）に表示されてもよい。
　［周辺監視システムの構成］
　次に、図５～図８を参照して、周辺監視システムＳＹＳの構成について説明する。
　図５、図６は、本実施形態に係る周辺監視システムＳＹＳの構成の一例を示すブロック図である。図７は、ショベル１００Ａの構成の一例を示す図である。具体的には、図７は、図５に対応するショベル１００Ａの構成の具体例を示す図である。図８は、クローラクレーン１００Ｂの構成の一例を示す図である。具体的には、図８は、図６に対応するクローラクレーン１００Ｂの構成の具体例を示す図である。
　図５～図８では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する高圧の作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。図５、図６は、互いに、作業機械１００及び管理装置２００のうちの作業機械１００（操作装置２６）に関する構成のみが異なる。そのため、図５に対応するショベル１００Ａ及びクローラクレーン１００Ｂのそれぞれの構成の具体例を示す図は省略されている。
　　＜作業機械の構成＞
　作業機械１００は、被駆動要素の油圧駆動に関する油圧駆動系、被駆動要素の操作に関する操作系、ユーザとの情報のやり取りに関するユーザインタフェース系、外部との通信に関する通信系、及び各種制御に関する制御系等のそれぞれの構成要素を含む。
　　＜＜油圧駆動系＞＞
　図５、図６に示されるように、本実施形態に係る作業機械１００の油圧駆動系は、上述の如く、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータＨＡを含む。また、本実施形態に係る作業機械１００の油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。
　図７に示されるように、作業機械１００がショベル１００Ａである場合、油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、ブームシリンダ７Ａ、アームシリンダ８Ａ、及びバケットシリンダ９Ａ等が含まれる。
　また、図８に示すように、作業機械１００がクローラクレーン１００Ｂである場合、油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、起伏油圧モータ５Ｍ、及び主巻油圧モータ７Ｍ等が含まれる。
　エンジン１１は、原動機であり、油圧駆動系におけるメイン動力源である。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載される。エンジン１１は、後述するコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。
　レギュレータ１３は、コントローラ３０の制御下で、メインポンプ１４の吐出量を制御（調節）する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。
　メインポンプ１４は、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０の制御下で、レギュレータ１３により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。
　コントロールバルブ１７は、オペレータの操作装置２６に対する操作や遠隔操作の内容、或いは、コントローラ３０から出力される自動運転機能に関する操作指令に応じて、油圧アクチュエータＨＡの制御を行う油圧制御装置である。コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載される。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、オペレータの操作、或いは、コントローラ３０から出力される操作指令に応じて、それぞれの油圧アクチュエータに選択的に供給する。具体的には、コントロールバルブ１７は、メインポンプ１４から油圧アクチュエータＨＡのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁（「方向切換弁」とも称する）を含む。
　　＜＜操作系＞＞
　図５、図６に示すように、本実施形態に係る作業機械１００の操作系は、パイロットポンプ１５と、操作装置２６と、油圧制御弁３１とを含む。また、図５に示すように、本実施形態に係る作業機械１００の操作系は、操作装置２６が油圧パイロット式である場合、シャトル弁３２と、油圧制御弁３３とを含む。
　パイロットポンプ１５は、パイロットライン２５を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。
　なお、パイロットポンプ１５は、省略されてもよい。この場合、メインポンプ１４から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給される。
　操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。換言すれば、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータＨＡの操作を行うために用いられる。操作装置２６は、それぞれの被駆動要素（油圧アクチュエータＨＡ）を操作するためのペダル装置やレバー装置を含む。
　例えば、図５に示すように、操作装置２６は、油圧パイロット式である。具体的には、操作装置２６は、パイロットライン２５及びそこから分岐されるパイロットライン２５Ａを通じてパイロットポンプ１５から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットライン２７Ａに出力する。パイロットライン２７Ａは、シャトル弁３２の一方の入口ポートに接続され、シャトル弁３２の出口ポートに接続されるパイロットライン２７を介して、コントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、シャトル弁３２を介して、操作装置２６における各種被駆動要素（油圧アクチュエータ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等による操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。
　また、例えば、図６に示すように、操作装置２６は、電気式である。具体的には、操作装置２６は、操作内容に応じた電気信号（以下、「操作信号」）を出力し、操作信号は、コントローラ３０に取り込まれる。そして、コントローラ３０は、操作信号の内容に応じた制御指令、つまり、操作装置２６に対する操作内容に応じた制御信号を油圧制御弁３１に出力する。これにより、油圧制御弁３１からコントロールバルブ１７に操作装置２６の操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、操作装置２６の操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。
　また、コントロールバルブ１７に内蔵される、それぞれの油圧アクチュエータを駆動する制御弁（方向切換弁）は、電磁ソレノイド式であってもよい。この場合、操作装置２６から出力される操作信号がコントロールバルブ１７に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。
　油圧制御弁３１は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごとに設けられる。油圧制御弁３１は、例えば、パイロットポンプ１５とコントロールバルブ１７との間のパイロットライン２５Ｂに設けられ、その流路面積（即ち、作動油が通流可能な断面積）を変更可能に構成されてよい。これにより、油圧制御弁３１は、パイロットライン２５Ｂを通じて供給されるパイロットポンプ１５の作動油を利用して、所定のパイロット圧を二次側のパイロットライン２７Ｂに出力することができる。そのため、図５に示すように、油圧制御弁３１は、パイロットライン２７Ｂとパイロットライン２７の間のシャトル弁３２を通じて、間接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。また、図６に示すように、油圧制御弁３１は、パイロットライン２７Ｂ及びパイロットライン２７を通じて、直接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。そのため、コントローラ３０は、油圧制御弁３１から電気式の操作装置２６の操作内容に応じたパイロット圧をコントロールバルブ１７に供給させ、オペレータの操作に基づく作業機械１００の動作を実現することができる。
　図５に示すように、シャトル弁３２は、２つの入口ポートと１つの出口ポートを有し、２つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁３２は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごとに設けられる。シャトル弁３２の２つの入口ポートのうちの一方が操作装置２６（具体的には、操作装置２６に含まれる上述のレバー装置やペダル装置）の二次側のパイロットライン２７Ａに接続され、他方が油圧制御弁３１の二次側のパイロットライン２７Ｂに接続される。シャトル弁３２の出口ポートは、パイロットライン２７を通じて、コントロールバルブ１７の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁３２の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータを駆動する制御弁である。そのため、これらのシャトル弁３２は、それぞれ、操作装置２６の二次側のパイロットライン２７Ａのパイロット圧と油圧制御弁３１の二次側のパイロットライン２７Ｂのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ３０は、操作装置２６の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁３１から出力させることで、オペレータの操作装置２６に対する操作に依らず、対応する制御弁を制御することができる。
　図５に示すように、油圧制御弁３３は、操作装置２６とシャトル弁３２とを接続するパイロットライン２７Ａに設けられる。油圧制御弁３３は、例えば、その流路面積を変更可能なように構成される。油圧制御弁３３は、コントローラ３０から入力される制御信号に応じて動作する。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されている場合に、操作装置２６から出力されるパイロット圧を強制的に減圧させることができる。
　　＜＜ユーザインタフェース系＞＞
　図５、図６に示すように、本実施形態に係る作業機械１００のユーザインタフェース系は、操作装置２６と、出力装置５０と、入力装置５２とを含む。
　出力装置５０は、キャビン１０の内部の作業機械１００のユーザ（オペレータ）に向けて各種情報を出力する。
　例えば、出力装置５０は、キャビン１０内の着座したオペレータから視認し易い場所に設けられ、視覚的な方法で各種情報を出力する室内の照明機器や表示装置等を含む。照明機器は、例えば、警告灯等である。表示装置は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。
　また、例えば、出力装置５０は、聴覚的な方法で各種情報を出力する音出力装置を含む。音出力装置には、例えば、ブザーやスピーカ等が含まれる。
　また、例えば、出力装置５０は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含む。
　入力装置５２は、キャビン１０内の着座したオペレータに近接する範囲に設けられ、オペレータによる各種入力を受け付け、受け付けられる入力に対応する信号は、コントローラ３０に取り込まれる。
　例えば、入力装置５２は、操作入力を受け付ける操作入力装置である。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置２６（レバー装置）に設けられるノブスイッチ等が含まれてよい。
　また、例えば、入力装置５２は、オペレータの音声入力を受け付ける音声入力装置であってもよい。音声入力装置には、例えば、マイクロフォンが含まれる。
　また、例えば、入力装置５２は、オペレータのジェスチャ入力を受け付けるジェスチャ入力装置であってもよい。ジェスチャ入力装置には、例えば、キャビン１０内に設置される撮像装置（室内カメラ）が含まれる。
　　＜＜通信系＞＞
　図５、図６に示すように、本実施形態に係る作業機械１００の通信系は、通信装置６０を含む。
　通信装置６０は、通信回線ＮＷに接続し、作業機械１００と別に設けられる装置（例えば、管理装置２００）と通信を行う。作業機械１００と別に設けられる装置には、作業機械１００の外部にある装置の他、作業機械１００のユーザによりキャビン１０に持ち込まれる携帯型の端末装置が含まれてよい。通信装置６０は、例えば、４Ｇ（4th　Generation）や５Ｇ（5th　Generation）等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置６０は、例えば、衛星通信モジュールを含んでもよい。また、通信装置６０は、例えば、Wi-Fi（登録商標）通信モジュールやブルートゥース（登録商標）通信モジュール等を含んでもよい。
　　＜＜制御系＞＞
　図５、図６に示すように、本実施形態に係る作業機械１００の制御系は、コントローラ３０を含む。また、本実施形態に係る作業機械１００の制御系は、取得装置ＳＸを含む。また、図７に示すように、本実施形態に係る作業機械１００の制御系は、操作装置２６が油圧パイロット式である場合、操作圧センサ２９を含む。
　コントローラ３０は、作業機械１００に関する各種制御を行う。コントローラ３０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、コントローラ３０は、ＣＰＵ（Central　Processing　Unit）、ＲＡＭ（Random　Access　Memory）等のメモリ装置、ＲＯＭ（Read　Only　Memory）等の不揮発性の補助記憶装置、各種入出力用のインタフェース装置等を含むコンピュータを中心に構成される。コントローラ３０は、例えば、補助記憶装置にインストールされるプログラムをメモリ装置にロードしＣＰＵ上で実行することにより各種機能を実現する。
　コントローラ３０は、例えば、油圧制御弁３１を制御対象として、作業機械１００の油圧アクチュエータＨＡ（被駆動要素）の操作に関する制御を行う。
　具体的には、コントローラ３０は、油圧制御弁３１を制御対象として、操作装置２６の操作に基づく作業機械１００の油圧アクチュエータＨＡ（被駆動要素）の操作に関する制御を行ってよい。
　また、コントローラ３０は、例えば、管理装置２００との間の通信のための制御や、出力装置５０（表示装置）に情報を表示するための制御を行う。コントローラ３０は、通信制御部３０１と、表示制御部３０２と、を含む。通信制御部３０１及び表示制御部３０２の機能は、例えば、補助記憶装置にインストールされるプログラムをメモリ装置にロードしＣＰＵで実行することにより実現される。
　なお、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散して実現される態様であってもよい。
　図５に示すように、操作圧センサ２９は、油圧パイロット式の操作装置２６の二次側（パイロットライン２７Ａ）のパイロット圧、即ち、操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータ）の操作状態に対応するパイロット圧を検出する。操作圧センサ２９による操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータＨＡ）に関する操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。
　取得装置ＳＸは、作業機械１００の状態や作業機械１００の周辺の状態等に関する情報を取得する。取得装置ＳＸの出力は、コントローラ３０に取り込まれる。
　図７に示すように、作業機械１００がショベル１００Ａである場合、取得装置ＳＸは、ブーム角度センサＳ１と、アーム角度センサＳ２と、バケット角度センサＳ３と、機体傾斜センサＳ４と、旋回状態センサＳ５と、空間認識装置４０とを含む。
　また、図８に示すように、作業機械１００がクローラクレーン１００Ｂである場合、取得装置ＳＸは、機体傾斜センサＳ４と、旋回状態センサＳ５と、空間認識装置４０とを含む。
　ブーム角度センサＳ１は、所定基準（例えば、水平面やブーム４Ａの可動角度範囲の両端の何れかの状態等）に対するブーム４Ａの姿勢角度（以下、「ブーム角度」）に関する検出情報を取得する。ブーム角度センサＳ１は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ（Inertial　Measurement　Unit）等を含んでよい。また、ブーム角度センサＳ１は、ブームシリンダ７Ａの伸縮位置を検出可能なシリンダセンサを含んでもよい。
　アーム角度センサＳ２は、所定基準（例えば、ブーム４Ａの両端の連結点間を結ぶ直線やアーム５Ａの可動角度範囲の両端の何れかの状態等）に対するアーム５Ａの姿勢角度（以下、「アーム角度」）に関する検出情報を取得する。アーム角度センサＳ２は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。また、アーム角度センサＳ２は、アームシリンダ８Ａの伸縮位置を検出可能なシリンダセンサを含んでもよい。
　バケット角度センサＳ３は、所定基準（例えば、アーム５Ａの両端の連結点間を結ぶ直線やバケット６Ａの可動角度範囲の両端の何れかの状態等）に対するバケット６Ａの姿勢角度（以下、「バケット角度」）に関する検出情報を取得する。バケット角度センサＳ３は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。また、バケット角度センサＳ３は、バケットシリンダ９Ａの伸縮位置を検出可能なシリンダセンサを含んでもよい。
　機体傾斜センサＳ４は、下部走行体１及び上部旋回体３を含む作業機械１００（例えばショベル１００Ａ、又はクローラクレーン１００Ｂ）の機体の傾斜状態に関する検出情報を取得する。機体傾斜センサＳ４は、例えば、上部旋回体３に搭載され、上部旋回体３の前後方向及び左右方向の傾斜角度（以下、「前後傾斜角度」及び「左右傾斜角度」）に関する検出情報を取得する。機体傾斜センサＳ４は、例えば、加速度センサ（傾斜センサ）、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。
　旋回状態センサＳ５は、作業機械１００（例えばショベル１００Ａ、又はクローラクレーン１００Ｂ）の上部旋回体３の旋回状態に関する検出情報を取得する。旋回状態センサＳ５は、例えば、所定基準（例えば、下部走行体１の前進方向と上部旋回体３の前方とが一致する状態）に対する上部旋回体３の旋回角度に関する検出情報を取得する。旋回状態センサＳ５は、例えば、ポテンショメータ、ロータリエンコーダ、レゾルバ等を含む。
　また、機体傾斜センサＳ４の構成要素（例えば、六軸センサやＩＭＵ等）によって、上部旋回体３の傾斜角度だけでなく、旋回角度も含む上部旋回体３の姿勢状態に関する検出情報を取得可能な場合、旋回状態センサＳ５は、省略されてもよい。
　図２、図３に示すように、ショベル１００Ａの空間認識装置４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒは、それぞれ、上部旋回体３Ａの前端上部、後端上部、左端上部、及び、右端上部に取り付けられ、ショベル１００Ａの周囲を表した３次元画像情報を取得する。また、図４に示すように、クローラクレーン１００Ｂの空間認識装置４０Ｂ、空間認識装置４０Ｌ、空間認識装置４０Ｒは、例えば、カウンタウェイト９Ｂに取り付けられ、クローラクレーン１００Ｂの周囲を表した３次元画像情報を取得する。
　通信制御部３０１は、管理装置２００との間で情報を送受信するための制御を行う。
　表示制御部３０２は、出力装置５０（表示装置）に情報を表示するための制御を行う。表示する情報としては、空間認識装置４０によって取得された３次元画像情報に基づいて画像処理された画像情報などがある。
　本実施形態においては、空間認識装置４０によって取得された３次元画像情報に基づいた画像処理された画像情報を表示して、作業機械１００の周辺の状況を可視化することで、オペレータの操作負担を軽減すると共に安全性を向上させることができる。
　本実施形態では、作業機械１００の周辺の状況をシームレスに表示するためには、複数の空間認識装置４０によって撮像された３次元画像情報を統合する。３次元画像情報を統合するためには、複数の空間認識装置４０の各々の位置及び姿勢を示す情報を予め保持しておく必要がある。しかしながら、作業機械１００のうちクローラクレーン１００Ｂは現場ごとに毎回組み立てなおすため、空間認識装置４０の位置及び姿勢が毎回異なる。このため、複数の空間認識装置４０の各々の位置及び姿勢を示す情報を予め保持しておくのは難しい。また、ショベル１００Ａにおいても、ユーザの要望に応じて空間認識装置４０の位置又は姿勢を異ならせたり、作業中に空間認識装置４０の姿勢等がずれたりする場合がある。
　そこで、本実施形態においては、作業機械１００が、空間認識装置４０によって撮像された３次元画像情報を管理装置２００に送信することで、複数の空間認識装置４０の各々の位置及び姿勢を特定する。
　本実施形態においては、複数の空間認識装置４０の各々の位置及び姿勢が特定された後、管理装置２００が、複数の３次元画像情報を統合して、３次元統合画像情報を生成する例について説明する。
　３次元統合画像情報（３次元形状統合情報の一例）は、複数の３次元画像情報を、空間認識装置４０の各々の位置及び姿勢に基づいて統合した画像情報であって、作業機械１００の周囲に存在する物体の距離及び形状が表された画像情報である。本実施形態では、ユーザからの操作等に応じて、任意の視点から、作業機械１００の周囲の状況を表した画像情報の生成等を行うことができる。
　　＜管理装置の構成＞
　図５、図６に示すように、管理装置２００は、制御装置２１０と、通信装置２２０と、入力装置２３０と、出力装置２４０と、記憶装置２５０を含む。
　通信装置２２０は、通信回線ＮＷに接続し、管理装置２００の外部（例えば、作業機械１００）と通信を行う。
　入力装置２３０は、管理装置２００の管理者や作業者等からの入力を受け付け、入力（例えば、操作入力、音声入力、ジェスチャ入力等）の内容を表す信号を出力する。入力の内容を表す信号は、制御装置２１０に取り込まれる。
　出力装置２４０は、管理装置２００のユーザに向けて各種情報を出力する。
　出力装置２４０は、例えば、視覚的な方法で管理装置２００のユーザに各種情報を出力する照明装置や表示装置を含む。照明装置は、例えば、警告ランプ等を含む。表示装置は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等を含む。また、出力装置２４０は、聴覚的な方法で管理装置２００のユーザに各種情報を出力する音出力装置を含む。音出力装置は、例えば、ブザーやスピーカ等を含む。
　表示装置は、管理装置２００に関する各種情報画像を表示する。表示装置は、例えば、遠隔操作用表示装置や監視用表示装置を含んでよく、監視用表示装置には、制御装置２１０の制御下で、作業機械１００からアップロードされる作業機械１００の周囲の画像情報等が表示されてよい。
　制御装置２１０は、管理装置２００に関する各種制御を行う。制御装置２１０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現される。制御装置２１０は、例えば、ＣＰＵ、ＲＡＭ等のメモリ装置、ＲＯＭ等の不揮発性の補助記憶装置、及び各種入出力用のインタフェース装置等を含むコンピュータを中心に構成される。制御装置２１０は、例えば、補助記憶装置に格納されているプログラムをＣＰＵ上で実行することにより各種機能を実現する。
　記憶装置２５０は、ＳＳＤ（Solid　State　Drive）やＨＤＤ（Hard　Disk　Drive）などの不揮発性の補助記憶装置であって、３次元マーカ記憶部２５１と、位置情報記憶部２５２と、を備えている。
　３次元マーカ記憶部２５１は、作業機械１００の形状を表した３次元マーカを記憶している。３次元マーカとは、基準座標系に表された作業機械１００の外観の３次元的な形状を予め保持している情報（作業機械の情報の一例）である。３次元マーカは、作業機械１００の外観の３次元的な形状を全て保持する必要はなく、例えば、空間認識装置４０の計測範囲に含まれる可能性が高い作業機械１００の外観形状を表す情報を保持すればよい。
　位置情報記憶部２５２は、作業機械１００に設けられた空間認識装置４０の位置及び姿勢を示した情報を記憶する。本実施形態の制御装置２１０が、空間認識装置４０の位置及び姿勢を特定する毎に更新される。
　図９は、本実施形態に係る３次元マーカ記憶部２５１に記憶されている３次元マーカを表した概念図である。図９は、ショベル１００Ａの３次元マーカとなる一部領域９０１を示している。一部領域９０１の３次元マーカは、基準座標系に示されている。基準座標系は、３次元マーカで示されたショベル１００Ａの構成の位置を特定するための３次元座標系であって、ショベル１００Ａの前後方向をＸ軸として示し、幅方向をＹ軸として示し、高さ方向をＺ軸とした基準座標系を示している。図９に示される基準座標系では、例えば、ショベル１００Ａの設置面のうち中心位置９５１を原点とした座標系とするが、一例として示したものであって、他の位置が原点であってもよい。
　図９に示される例では、ショベル１００Ａの外観の一部領域９０１の形状及び位置を示す３次元マーカが、３次元マーカ記憶部２５１に記憶されている。当該３次元マーカは、例えば、空間認識装置４０の検出結果に基づいて生成されたものであってもよい。さらには、３次元マーカは、空間認識装置４０の検出結果に基づいて生成する手法に制限するものではなく、例えば、ショベル１００Ａの３次元ＣＡＤ（Computer　Aided　Design）データを用いてショベル１００Ａの外観の一部領域９０１の形状を生成してもよい。当該生成手法を用いることで、生成するための作業負担を軽減できる。また、本実施形態では、空間認識装置４０が、作業機械の上面に設けられている。このため、３次元マーカ記憶部２５１が記憶する３次元マーカにおいては、少なくともショベル１００Ａの上面を表す形状を含むように生成される。
　一部領域９０１は、空間認識装置４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒの計測範囲に含まれるショベル１００Ａの形状を含んでいる。また、３次元マーカとなる一部領域９０１に対応するショベル１００Ａの部分は可動及び変形が行われないものとする。３次元マーカとなる一部領域９０１は、他の領域（例えば、辺が直線で表される領域）と比べて特定可能な特徴的な形状を含むのが好ましい。３次元マーカとなる一部領域９０１は、特徴的な形状を含むことで、空間認識装置４０によって撮像された３次元画像情報に写っている、ショベル１００Ａの一部領域が、どの部分に対応するのか認識することが容易になる。したがって、後述する空間認識装置４０の位置及び姿勢の特定精度を向上させると共に、特定処理の負担を軽減できる。
　これにより制御装置２１０は、３次元マーカ記憶部２５１に記憶された３次元マーカを参照することで、空間認識装置４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒが撮像した３次元画像情報に示されているショベル１００Ａの形状が、一部領域９０１のどの位置に該当するのかを特定できる。
　制御装置２１０は、通信制御部２１１と、特定部２１２と、統合処理部２１３と、を含む。通信制御部２１１、特定部２１２及び統合処理部２１３の機能は、例えば、補助記憶装置に格納されているプログラムをメモリ装置にロードしＣＰＵで実行することにより実現される。
　通信制御部２１１（取得部の一例）は、通信装置２２０を用いて、作業機械１００との間で情報の送受信を制御する。例えば、通信制御部２１１は、作業機械１００から、作業機械１００に設けられた複数の空間認識装置４０の各々の３次元画像情報（検知情報の一例）を受信（取得）する。本実施形態では、通信制御部２１１（取得部の一例）が、作業機械１００に設けられた複数の空間認識装置４０の各々の３次元画像情報（検知情報の一例）を受信（取得）する例について説明するが、本実施形態は、複数の空間認識装置４０の各々から受信する例に制限するものではなく、１つの空間認識装置４０から３次元画像情報（検知情報の一例）を受信してもよい。
　特定部２１２は、通信制御部２１１が受信（取得）した複数の３次元画像情報（検知情報の一例）の各々に含まれる作業機械１００の一部の形状を含む３次元形状情報と、基準座標系で表されるショベル１００Ａの形状として予め保持している３次元マーカと、の間でマッチングを行うことで、全ての空間認識装置４０の各々について、基準座標系における位置及び姿勢を特定する。作業機械１００に設けられた全ての空間認識装置４０の各々の位置及び姿勢を特定することで、例えば、ユーザの作業機械１００の初期設定時の作業負担を軽減できる。なお、本実施形態は、位置及び姿勢を推定する対象が複数の空間認識装置である必要はなく、空間認識装置４０の一つについての位置及び姿勢を推定してもよい。推定される位置とは、基準座標系における位置とする。基準座標系は、上述したとおり、３次元マーカで示されたショベル１００Ａの構成の位置を特定するための３次元座標系であって、例えば、ショベル１００Ａの設置面のうち中心位置９５１を原点として、ショベル１００Ａの前後方向をＸ軸として示し、幅方向をＹ軸として示し、高さ方向をＺ軸とした座標系を示している。推定される位置は、基準座標系で示される３次元空間における位置となる。推定される姿勢とは、例えば、基準座標系における、空間認識装置４０が設置された高さ方向（換言すれば、Ｚ軸方向）の角度（傾き）とする。空間認識装置４０の傾きを光軸の方向で表す場合、姿勢としては例えば空間認識装置４０の光軸が下向き６０度などが考えらえる。
　図１０は、空間認識装置４０による計測範囲を例示した図である。図１０に示されるように、空間認識装置４０Ｂは、ショベル１００Ａの外観の一部１０１１を含む計測範囲１００１を撮像する。また、空間認識装置４０Ｆは、ショベル１００Ａの外観の一部１０１５を含む計測範囲１００２を撮像する。
　空間認識装置４０は、計測範囲に含まれる物体までの距離を検出できる。本実施形態では、計測範囲に含まれる物体のうち、０ｍ～０．５ｍ以内に存在する物体を、３次元マーカとして認識する。３次元マーカとは、空間認識装置４０の位置及び姿勢を特定するために用いられる、ショベル１００Ａの外観の一部を示した情報である。また、３次元マーカは、空間認識装置４０Ｂの位置及び姿勢を特定するために、特徴的な形状で表したものであれば好ましい。
　例えば、空間認識装置４０Ｂは、計測範囲１００１に含まれる物体までの距離を検出できる。そして、特定部２１２は、空間認識装置４０Ｂが撮像した３次元画像情報に基づいて、計測範囲１００１のうち、マーカ検出範囲１０２１（空間認識装置４０Ｂから０．５ｍ以内）内で検出した、ショベル１００Ａの外観の一部１０１１を、３次元マーカに対応するショベル１００Ａの形状として認識する。また、特定部２１２は、マーカ検出範囲１０２１外で検出された領域１０１２、１０１３を、ショベル１００Ａの周囲に存在する物体として認識する。
　他の例としては、空間認識装置４０Ｆは、計測範囲１００２に含まれる物体までの距離を検出できる。そして、特定部２１２は、計測範囲１００２のうち、マーカ検出範囲１０２２（空間認識装置４０Ｆから０．５ｍ以内）で検出した、ショベル１００Ａの外観の一部１０１１を、３次元マーカに対応するショベル１００Ａの形状として認識する。
　図１１は、空間認識装置４０Ｂにより撮像された３次元画像情報の一例を示した図である。図１１に示される人物１１２１及び物体１１２２が、ショベル１００Ａの周囲に存在する物体として認識され、ショベル１００Ａの外観の一部１１１１、１１１２、１１１３が、３次元マーカに対応する作業機械１００の形状として認識される。
　図１２は、３次元マーカ記憶部２５１に記憶されている、ショベル１００Ａの形状を表した３次元マーカ１２００の一部を示した図である。図１２に示される例では、上記のショベル１００Ａの外観の一部１１１１、１１１２、１１１３に対応する３次元マーカ１２００の一部１２１１、１２１２、１２１３の形状と、当該一部の存在する位置と、を示す情報が３次元マーカ記憶部２５１に記憶されている。
　図１２に示されるように、３次元マーカ１２００の一部１２１１、１２１２、１２１３は、中央近傍で凹型形状になっている。本実施形態に係る３次元マーカ記憶部２５１は、３次元マーカ１２００の一部１２１１、１２１２、１２１３の凹型形状となった位置を示す情報も保持している。このため、特定部２１２は、３次元画像情報に写っている凹形状と、３次元マーカ記憶部２５１に記憶されている３次元マーカ１２００の凹形状と、を対比することで、検出された範囲が、３次元マーカ１２００のどこに対応するのか特定できる。
　具体的には、特定部２１２は、図１１で示された３次元画像情報に写っている、０．５ｍ以内に存在する、ショベル１００Ａの外観の一部１１１１、１１１２、１１１３に対して、並進、回転、及び拡縮のうち少なくとも一つ以上の処理を行うと共に、並進、回転、及び拡縮のうち少なくとも一つ以上に処理された外観の一部１１１１、１１１２、１１１３が、３次元マーカ記憶部２５１に記憶された、３次元マーカの３次元形状モデルの一部と一致するか否かを判定する。
　そして、特定部２１２は、ショベル１００Ａの外観の一部１１１１、１１１２、１１１３が、３次元マーカ１２００の一部１２１１、１２１２、１２１３と、が一致すると判定した場合に、３次元マーカ記憶部２５１に記憶された、３次元マーカ１２００の一部１２１１、１２１２、１２１３の位置を示す情報と、３次元画像情報に示されているショベル１００Ａの外観の一部１１１１、１１１２、１１１３までの相対的な距離を示す情報と、に基づいて、空間認識装置４０の位置及び姿勢を特定する。
　上述したように空間認識装置４０はショベル１００Ａの上面に設置されている。このため、特定部２１２は、３次元マーカ１２００のうち、ショベル１００Ａの上面を表した形状の一部１２１１、１２１２、１２１３と、ショベル１００Ａの外観の一部１１１１、１１１２、１１１３と、の間でマッチングを行う。このようにマッチングを行う部分を予め定めておくことで、処理負担を軽減できる。
　空間認識装置４０の位置及び姿勢を特定するための具体的な処理としては、例えば、RANSAC(Random　Sample　Consensus)アルゴリズムを用いることが考えられる。特定部２１２は、RANSACアルゴリズムを用いて、３次元マーカ記憶部２５１に記憶された、３次元マーカの３次元形状モデルに、３次元画像情報を当てはめることで、基準座標系における空間認識装置４０の位置及び姿勢を特定する。換言すれば、特定部２１２は、空間認識装置４０がどの位置に存在すれば、図１２に示される３次元マーカ１２００の一部１２１１、１２１２、１２１３が、図１１に示される３次元画像情報のように表示されるかを探索する。本実施形態においては、特定部２１２が、ショベル１００Ａの外観の一部１１１１、１１１２、１１１３が、３次元マーカ１２００の一部１２１１、１２１２、１２１３に当てはまるよう並進、回転、及び拡縮のうち少なくとも一つ以上の処理を行う際に、RANSACアルゴリズムを用いる。なお、本実施形態は、マッチングにRANSACを用いた推定に制限するものではなく、他のアルゴリズムを用いて推定を行ってもよい。
　さらに、特定部２１２は、RANSACアルゴリズムを用いた特定結果である位置及び姿勢に、位置合わせの手法の一つとしてICP(Iterative　Closest　Point)を用いて調整を行ってもよい。当該手法を用いることで誤差を抑制し、位置及び姿勢の特定精度の向上を図ることができる。
　特定部２１２は、特定した空間認識装置４０の位置及び姿勢を示した情報を、位置情報記憶部２５２に記憶する。空間認識装置４０の位置及び姿勢を示した情報を記憶した後に、作業機械１００から３次元画像情報が送信されてきた場合、換言すれば既に位置及び姿勢の特定を完了した後に３次元画像情報が送信されてきた場合、特定部２１２による空間認識装置４０の位置及び姿勢を特定する処理を抑制できる。
　また、特定部２１２による空間認識装置４０の位置及び姿勢の特定は、任意のタイミングで行ってもよい。例えば、ユーザが空間認識装置４０の位置・姿勢を微調整した場合に、特定部２１２が、空間認識装置４０の位置及び姿勢を特定してもよい。上述したように、空間認識装置４０の３次元画像情報に、３次元マーカ、換言すれば作業機械１００の特徴的な形状の一部が写っていれば、特定部２１２は、上述した処理によって、空間認識装置４０の位置、及び姿勢を示す情報を特定できる。
　空間認識装置４０は可動部を有していてもよい。また、ユーザが可動部によって空間認識装置４０の位置又は姿勢が変化させた場合でも、上述した処理、換言すれば３次元画像情報に写っている作業機械１００の特徴的な形状によって、空間認識装置４０の位置及び姿勢を特定し続けることができる。さらに、当該可動部の可動範囲は、可動域を制限してもよい。例えば、３次元マーカとなる作業機械１００の特徴的な形状が写るように、可動域を制限することが考えられる。空間認識装置４０に設けられる可動部は、ユーザ等の調整によって移動可能な機構に制限するものではなく、回転等するための駆動機構を含んでもよい。
　つまり、空間認識装置４０が可動部を有している場合、当該空間認識装置４０は、ユーザ等の調整又は駆動機構によって移動された後に、空間認識装置４０の計測範囲に、検出された作業機械１００の一部が含まれるように配置されている。これにより、特定部２１２は、空間認識装置４０から取得した３次元画像情報に含まれる作業機械１００の一部の形状に基づいて、空間認識装置４０の位置及び姿勢を特定できる。なお、オペレータ等の調整又は駆動機構によって移動させた後の空間認識装置４０の位置は、空間認識装置４０の可動域の制限によって構造的に予め定められた位置であってよいし、オペレータ等の調整する際にマニュアル等で予め設定された位置であってもよい。このように空間認識装置４０が可動部によって移動可能な場合であっても、空間認識装置４０の位置及び姿勢を特定できる。したがって、空間認識装置４０が固定されている場合と同様の効果を得ることができる。
　統合処理部２１３は、作業機械１００か複数の空間認識装置４０の各々の３次元画像情報を受信した場合に、特定部２１２によって特定された複数の空間認識装置４０の各々の位置及び姿勢に従って、複数の空間認識装置４０の各々の３次元画像情報を基準座標系に統合し、作業機械１００の周辺を表した３次元統合画像情報を生成する。
　図１３は、統合処理部２１３により生成された３次元統合画像情報の一部を例示した図である。図１３に示される例では、基準座標系の中心位置近傍に、ショベル１００Ａを表した３次元モデル１３０１を配置すると共に、図１１で示された３次元画像情報１３５１を、当該３次元画像情報を撮像した空間認識装置４０Ｂの位置及び姿勢に基づいて、３次元空間上に割り当てている。なお、３次元モデル１３０１の一部１３０２は、空間認識装置４０によって検出されたショベル１００Ａの外観の一部に対応している。
　図１３では省略されているが、領域１３５２には空間認識装置４０Ｌが撮像した３次元画像情報が割り当てられ、領域１３５３には空間認識装置４０Ｒが撮像した３次元画像情報が割り当てられている。
　図１３に示される３次元統合画像情報は、ショベル１００Ａに設けられた全ての空間認識装置４０の３次元画像情報を３次元空間上に合成したものである。本実施形態では、所定の画像処理を行うことで、３次元統合画像情報から、作業機械１００の周囲を任意の視点から参照した２次元の画像情報を生成できる。
　当該３次元統合画像情報に基づいた画像情報は、通信制御部２１１によってショベル１００Ａに送信してもよい。
　ショベル１００Ａの表示制御部３０２は、３次元統合画像情報に対して、所定の画像処理を行うことで、作業機械１００の周囲を任意の視点から参照した２次元の画像情報を生成し、当該画像情報を表示する。ショベル１００Ａのオペレータは、当該３次元統合画像情報に基づいた画像情報を参照することで、ショベル１００Ａの周囲の状況を認識できる。このように、本実施形態では、３次元統合画像情報を表示に用いることで、作業機械１００の周辺の環境をシームレスに表示することができる。これにより、オペレータは、周囲の状況の把握が容易になる。
　本実施形態では、ショベル１００Ａの場合について図９～図１３を用いて説明したが、ショベル１００Ａ以外の作業機械１００であってもよい。そこでクローラクレーン１００Ｂの場合について説明する。
　図１４は、本実施形態に係る３次元マーカ記憶部２５１に記憶されている３次元マーカを表した概念図である。図１４は、クローラクレーン１００Ｂの３次元マーカとなる一部領域１４０１を示している。一部領域１４０１の３次元マーカは、基準座標系に示されている。基準座標系は、３次元マーカで示されたクローラクレーン１００Ｂの構成の位置を特定するための３次元座標系であって、クローラクレーン１００Ｂの前後方向をＸ軸として示し、幅方向をＹ軸として示し、高さ方向をＺ軸とした基準座標系を示している。図１４に示される基準座標系では、例えば、ショベル１００Ａの設置面のうち中心位置１４５１を原点とした座標系とするが、一例として示したものであって、他の位置が原点であってもよい。
　図１４に示される例では、クローラクレーン１００Ｂの外観の一部領域１４０１の形状及び位置を示す３次元マーカが、３次元マーカ記憶部２５１に記憶されている。当該３次元マーカは、例えば、空間認識装置４０の計測結果に基づいて生成されたものであってもよい。
　一部領域１４０１は、空間認識装置４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒの計測範囲に含まれるクローラクレーン１００Ｂの形状を含んでいる。また、３次元マーカとなる一部領域１４０１に対応するクローラクレーン１００Ｂの部分は可動及び変形が行われないものとする。
　したがって、制御装置２１０が、３次元マーカ記憶部２５１に記憶された３次元マーカを参照することで、空間認識装置４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒが撮像した３次元画像情報に示されているクローラクレーン１００Ｂの形状が、一部領域１４０１のどの位置に該当するのかを特定できる。
　上述したように、クローラクレーン１００Ｂは、現場に応じてカウンタウェイト９Ｂとして積み上げられる重りの数などが異なる。空間認識装置４０はカウンタウェイト９Ｂの上面に設置される。つまり、現場に応じて空間認識装置４０が設置される位置及び姿勢が異なる。
　このため、３次元マーカ記憶部２５１は、カウンタウェイト９Ｂとして積み上げ可能な重りの数毎に、３次元マーカを記憶している。換言すれば、３次元マーカ記憶部２５１は、本実施形態は、現場に応じた３次元マーカを記憶している。
　図１５は、空間認識装置４０による計測範囲を例示した図である。図１５に示されるように、空間認識装置４０Ｂは、クローラクレーン１００Ｂの外観の一部１５１１を含む計測範囲１５０１を撮像する。空間認識装置４０Ｆは、クローラクレーン１００Ｂの外観の一部１５１５を含む計測範囲１５０２を撮像する。
　例えば、空間認識装置４０Ｂは、計測範囲１５０１に含まれる物体までの距離を検出できる。そして、特定部２１２は、空間認識装置４０Ｂが撮像した３次元画像情報に基づいて、計測範囲１５０１のうち、マーカ検出範囲１５２１（空間認識装置４０Ｂから０．５ｍ以内）内で検出した、クローラクレーン１００Ｂの外観の一部１５１１を、３次元マーカに対応するクローラクレーン１００Ｂの形状として認識する。また、特定部２１２は、マーカ検出範囲１５２１外で検出された領域１５１２、１５１３を、クローラクレーン１００Ｂの周囲に存在する物体として認識する。
　他の例としては、空間認識装置４０Ｆは、計測範囲１５０２に含まれる物体までの距離を検出できる。そして、特定部２１２は、計測範囲１５０２のうち、マーカ検出範囲１５２２（空間認識装置４０Ｆから０．５ｍ以内）で検出した、クローラクレーン１００Ｂの外観の一部１５１５を、３次元マーカに対応するクローラクレーン１００Ｂの形状として認識する。
　そして、特定部２１２は、空間認識装置４０によって撮像された３次元画像情報に写っている、０．５ｍ以内に存在する、クローラクレーン１００Ｂの外観の一部に対して、並進、回転、及び拡縮のうち少なくとも一つ以上の処理を行うと共に、並進、回転、及び拡縮のうち少なくとも一つ以上で処理された外観の一部が、３次元マーカ記憶部２５１に記憶された、現在の現場に対応する３次元マーカの３次元形状モデルの一部と一致するか否かを判定する。
　なお、本実施形態では、クローラクレーン１００Ｂの（カウンタウェイト９Ｂの数等によって異なる）複数の３次元マーカを記憶する例とする。この場合、当該複数の３次元マーカのうち、現在の現場に対応する３次元マーカの選択は、任意の手法を用いてもよい。例えば、ユーザが現在の現場に対応する３次元マーカを選択してもよいし、自動で選択してもよい。
　なお、以降の処理は、上述したショベル１００Ａの処理と同様として説明を省略する。
　周辺監視システムＳＹＳの処理の流れについて説明する。図１６は、周辺監視システムＳＹＳにおける全体的な処理を示したフローチャートである。図１６は、ショベル１００Ａの場合について説明するが、クローラクレーン１００Ｂの場合も同様とする。
　ショベル１００Ａのコントローラ３０は、複数の空間認識装置４０の各々から、３次元画像情報を取得する（Ｓ１６０１）。
　ショベル１００Ａの通信制御部３０１は、取得した複数の３次元画像情報を、管理装置２００に送信する（Ｓ１６０２）。
　管理装置２００の通信制御部２１１は、複数の３次元画像情報を受信（取得）したか否かを判定する（Ｓ１６１１：取得工程）。受信していないと判定した場合（Ｓ１６１１：Ｎｏ）、再びＳ１６１１の判定を行う。
　管理装置２００の通信制御部２１１は、複数の３次元画像情報を受信したと判定した場合（Ｓ１６１１：Ｙｅｓ）、特定部２１２は、複数の３次元画像情報の各々から、ショベル１００Ａの外観の一部を表した領域（例えば、空間認識装置４０から０．５ｍ以内に存在するものとして検出された物体の領域）を抽出する（Ｓ１６１２）。
　特定部２１２は、３次元マーカ記憶部２５１から、ショベル１００Ａを表した３次元マーカを読み出す（Ｓ１６１３）。
　特定部２１２は、３次元画像情報から抽出した、ショベル１００Ａの外観の一部を表した領域に対して、並進・回転・拡縮処理（画像処理）を行うと共に、画像処理された領域と、３次元マーカの３次元形状モデルの一部とを対比して、最も高いマッチ度を算出する（Ｓ１６１４）。マッチ度とは、ショベル１００Ａの外観の一部と、３次元マーカの３次元形状モデルと、の一致度合いを示した数値であって、大きくなるほど一致度合いが大きい数値として、例えば、０～１．０で示される。
　特定部２１２は、３次元画像情報毎に算出した全てのマッチ度が、所定値以上か否かを判定する（Ｓ１６１５）。なお、所定値は、マッチ度の判定基準として実施態様に応じて定められる所定の閾値の一例とする。
　マッチ度が所定値以上ではない（換言すれば、マッチ度が所定値より低い）と判定した場合（Ｓ１６１５：Ｎｏ）、通信制御部２１１は、通信装置２２０を用いて、空間認識装置４０の調整指示を、ショベル１００Ａに送信する（Ｓ１６１６）。つまり、マッチ度が所定値以上ではない場合、空間認識装置４０の計測範囲にショベル１００Ａの外観の一部が写っていないものとみなして、空間認識装置４０がショベル１００Ａの外観の一部が写るように位置又は姿勢の調整を要求する。本実施形態に係る調整指示とは、例えば、３次元画像情報（検知情報の一例）を出力した空間認識装置４０の位置又は姿勢の調整を要求する情報であるが、調整対象となる空間認識装置４０に関する通知であれば、どのような通知でもよい。
　一方、ショベル１００Ａの通信制御部３０１は、空間認識装置４０の調整指示を受信したか否を判定する（Ｓ１６０３）。調整指示を受信した場合（Ｓ１６０３：Ｙｅｓ）、表示制御部３０２は、出力装置５０（表示装置）に、空間認識装置４０の調整要求を表示する（Ｓ１６０４）。ショベル１００Ａのオペレータは、当該表示がされた場合に、空間認識装置４０の位置及び姿勢の調整を行う。オペレータ等が空間認識装置４０の位置及び調整を行うことができるので、空間認識装置４０で検出された情報に基づいた作業の効率の向上を図ることができる。
　その後、ショベル１００Ａのコントローラ３０は、オペレータから位置及び姿勢の調整完了の操作を受け付ける（Ｓ１６０５）。当該操作を受け付けた場合、再びＳ１６０１から処理が行われる。
　一方、Ｓ１６１５において、管理装置２００の特定部２１２は、３次元画像情報毎に算出したマッチ度が全て所定値以上と判定した場合（Ｓ１６１５：Ｙｅｓ）、特定部２１２は、空間認識装置４０毎に、基準座標系における位置及び姿勢を特定する（Ｓ１６１７：特定工程）。特定部２１２は、特定した位置及び姿勢を、位置情報記憶部２５２に記憶する。
　その後、統合処理部２１３が、特定部２１２によって特定された複数の空間認識装置４０の各々の位置及び姿勢に従って、複数の空間認識装置４０の各々の３次元画像情報を基準座標系に統合し、ショベル１００Ａの周囲を表した３次元統合画像情報を生成する（Ｓ１６１８）。
　そして、通信制御部２１１は、通信装置２２０を用いて、３次元統合画像情報を、ショベル１００Ａに送信する（Ｓ１６１９）。
　一方、ショベル１００Ａの通信制御部３０１は、３次元統合画像情報を受信したか否を判定する（Ｓ１６０６）。３次元統合画像情報を受信していない場合（Ｓ１６０６：ＮＯ）、再び１６０６の処理を行うことで、３次元統合画像情報を受信するまで待機する。
　一方、ショベル１００Ａの通信制御部３０１は、３次元統合画像情報を受信したと判定した場合（Ｓ１６０６：ＹＥＳ）、表示制御部３０２が、３次元統合画像情報に基づいた画像を表示して（Ｓ１６０７）、処理を終了する。
　上述した処理手順では、３次元統合画像情報をショベル１００Ａに表示するための処理について説明した。しかしながら、３次元統合画像情報の表示を行うのを作業機械１００に制限するものではない。上述したように、周辺監視システムＳＹＳにおいては、管理装置２００が作業機械１００の遠隔操作を支援してもよい。そこで、管理装置２００が作業機械１００の遠隔操作を行う場合には、制御装置２１０が、生成された３次元統合画像情報に基づいた画像情報を、出力装置２４０に表示してもよい。これにより管理装置２００において、オペレータは、３次元統合画像情報に基づいた画像情報を参照して、作業機械１００の周囲の状況を確認しながら、遠隔操作を実現できる。
　次に、クローラクレーン１００Ｂの組みたて時の流れについて説明する。図１７は、クローラクレーン１００Ｂの組み立て時における処理を示したフローチャートである。図１７は、クローラクレーン１００Ｂの場合について説明するが、現場で作業機械１００を組み立てる状況であれば適用できる。
　作業者又は作業機械が、作業を行う現場においてクローラクレーン１００Ｂの組み立て時に、クローラクレーン１００Ｂに対して空間認識装置４０を、空間認識装置４０の検知対象の範囲内にクローラクレーン１００Ｂの一部が含められるような位置に設置する（Ｓ１７０１：設置工程の一例）。例えば、空間認識装置４０は、クローラクレーン１００Ｂに接続された機構であって、現場に応じて高さが変化するカウンタウェイト９Ｂの上面に設定できるように、設置位置を変更可能な構造を有する。例えば、空間認識装置４０は、クローラクレーン１００Ｂの本体と接続された部位が伸縮可能な機構を有していてもよい。クローラクレーン１００Ｂに設置する空間認識装置４０の数は、上述したように例えば４個とするが、設置数を制限するものではなく３個又は５個以上でもよい。このように、クローラクレーン１００Ｂの場合、顧客や現場に応じて撮影したい方向が変わるため、空間認識装置４０を移動可能な構造とする。そして、空間認識装置４０を移動させた場合にもクローラクレーン１００Ｂの一部が計測範囲に含まれるようにする。計測範囲に含まれるようにするために、例えば、上述した伸縮可能な機構によって制約してもよい。また、空間認識装置４０を設定するための説明書等の記載で制約してもよい。
　設置された後、コントローラ３０は、複数の空間認識装置４０の各々が設置された位置から撮像を行った３次元画像情報を取得する（Ｓ１７０２）。
　クローラクレーン１００Ｂの通信制御部２１１が、通信装置２２０を介して、生成された複数の３次元画像情報を、管理装置２００（情報処理装置の一例）に送信する（Ｓ１７０３：送信工程の一例）。
　これにより管理装置２００の特定部２１２は、受信した複数の３次元画像情報の各々と、現在の現場で組み立てられたクローラクレーン１００Ｂの形状を表した３次元マーカの一部と、に基づいて、３次元画像情報を撮像した空間認識装置４０の位置及び姿勢を特定する。なお、特定手法は、上述した手法を用いるものとして説明を省略する。さらに、管理装置２００の統合処理部２１３が、特定された位置及び姿勢に基づいて、３次元画像情報を合成して、３次元統合画像情報を生成してもよい。
　その後、クローラクレーン１００Ｂの通信制御部２１１が、通信装置２２０を介して、管理装置２００（情報処理装置の一例）から、３次元統合画像情報を受信する（Ｓ１７０４：受信工程の一例）。なお、本フローチャートでは、３次元統合画像情報を受信する例について説明したが、受信する情報を、３次元統合画像情報に制限するものではなく、３次元画像情報とクローラクレーン１００Ｂの形状を表した３次元マーカの一部とに基づいて処理された情報であればよく、例えば、空間認識装置４０の位置及び姿勢を示した情報を受信してもよい。
　その後、クローラクレーン１００Ｂの通信制御部２１１が３次元統合画像情報を受信した場合、表示制御部３０２が、当該３次元統合画像情報に基づいた画像情報を表示する（Ｓ１７０５）。
　上述した処理手順では、現場のクローラクレーン１００Ｂに応じて空間認識装置４０を設置して、空間認識装置４０の検出結果に応じてクローラクレーン１００Ｂの周囲を監視できるので、現場ごとの空間認識装置４０の位置及び姿勢の設定が不要になるので、作業負担を軽減できる。
　［周辺監視システムの連続アンローダへの適用例］
　上述した実施形態に係る周辺監視システムＳＹＳは、作業機械１００として、ショベル１００Ａ及びクローラクレーン１００Ｂを管理する例について説明した。しかしながら、上述した実施形態は作業機械１００をショベル１００Ａ及びクローラクレーン１００Ｂに制限するものではない。
　そこで、次に、図１８～図１９を参照して、周辺監視システムＳＹＳの監視対象である作業機械１００が、連続アンローダ１００Ｃの場合について説明する。
　　＜連続アンローダの構成＞
　図１８～図１９は、周辺監視システムＳＹＳが適用される連続アンローダ１００Ｃへの適用例の一例を示す図である。具体的には、図１８は、連続アンローダ１００Ｃの一例を示す全体図である。図１９は、バケットエレベータ５９の側面図を示す図である。
　図１８に示すように、連続アンローダ１００Ｃ（作業機械の一例）は、いわゆるバケットエレベータ式であり、岸壁ＱＹに設けられ、岸壁ＱＹに接岸された船舶ＳＰの船倉ＨＤ内のバラ荷Ｍを、連続的に陸上に搬出（荷揚げ）する。バラ荷Ｍは、例えば、石炭、コークス、鉄鉱石等である。
　岸壁ＱＹは、例えば、鉄筋コンクリートにより構築され、その岸壁ＱＹには、その延びる方向、即ち、接岸される船舶ＳＰの長手方向に対して、平行に２本のレール５３が設置される。連続アンローダ１００Ｃは、２本のレール５３上を移動可能に構成され、所定の位置で停止した状態で、船舶ＳＰからの荷揚げが行われる。
　連続アンローダ１００Ｃは、走行部５１と、旋回フレーム５５と、ブーム５７と、バケットエレベータ５９と、運転室６６を備える。
　走行部５１は、岸壁ＱＹの２本のレール５３上を移動可能に構成される。
　旋回フレーム５５は、走行部５１の上に旋回可能に搭載される。
　ブーム５７は、旋回フレーム５５から岸壁ＱＹから船舶ＳＰが接岸する海上の部分まで前方に延び出すように設けられ、旋回フレーム５５に対して起伏可能に構成される。具体的には、ブーム５７は、旋回フレーム５５との間に取り付けられるシリンダ６５の伸縮に応じて、上下に起伏することができる。
　バケットエレベータ５９は、ブーム５７の先端において、下方向に、即ち、船舶ＳＰ（船倉ＨＤ）に向かって延び出すように設けられる。図１８に示すように、バケットエレベータ５９は、その先端部に掻き取り部６１を有し、掻き取り部６１により掻き取られるバラ荷Ｍをバケット７７により上方に搬送し、陸上に荷揚げする。
　図１９に示すように、掻き取り部６１は、エレベータ本体６４を基準にして、その前後方向への傾斜角度を変化させることができる。例えば、船倉ＨＤの開口部ＯＰ直下のバラ荷Ｍを掻き取る場合、掻き取り部６１は、エレベータ本体６４に対して略前後方向の傾斜がない状態（図中の実線の状態）で利用される。一方、船倉ＨＤの開口部ＯＰよりも内壁側に存在するバラ荷Ｍを掻き取る場合、掻き取り部６１は、エレベータ本体６４に対して前方に傾斜させた状態（図中の一点鎖線）の状態で利用される。
　旋回フレーム５５とバケットエレベータ５９との間には、平行リンク５８が設けられ、平行リンク５８の作用により、バケットエレベータ５９は、ブーム５７の起伏角度に依らず、鉛直状態を保持可能なように構成される。また、バケットエレベータ５９は、ブーム５７の上下への起伏に応じて、上下方向に移動することができる。また、旋回フレーム５５には、ブーム５７と反対側の後方に延びるリンクを介してカウンタウェイト６３が支持されると共に、カウンタウェイト６３とブーム５７との間を接続するようにバランシングレバー６２が設けられる。これにより、バケットエレベータ５９とカウンタウェイト６３との間で荷重バランスを取ることができる。
　運転室６６は、旋回フレーム５５の前部（即ち、ブーム５７が延び出す方向の箇所）に設けられ、オペレータが搭乗し、連続アンローダ１００Ｃの操作を行うために用いられる。
　運転室６６には、例えば、制御装置１１０が搭載される。また、運転室６６には、表示装置１４０と、入力装置１５０が設けられる。
　連続アンローダ１００Ｃによるバラ荷Ｍの荷揚げ作業が行われる場合、運転室６６にオペレータが配置されるのに加えて、船倉ＨＤの内部にバラ荷の状況をオペレータに連絡する作業員が配置される。そして、運転室６６のオペレータと、船倉ＨＤの作業員との協働により連続アンローダ１００Ｃによるバラ荷Ｍの荷揚げ作業が行われる。
　運転室６６のオペレータは、表示装置１４０に表示される、船倉ＨＤの開口部ＯＰやその内部の状況を表す画像情報、及び作業員からの船倉ＨＤの内部の状況の連絡内容を確認しながら、連続アンローダ１００Ｃを操作することができる。
　図１９に示すように、バケットエレベータ５９は、上下方向の延びるように設けられるエレベータ本体６４と、バケットエレベータ５９の上部５９ａと下部（掻き取り部６１）との間で周回動作を行うチェーンバケット７９とを含む。
　チェーンバケット７９は、一対のローラーチェーン７５と、一対のローラーチェーン７５に吊り下げるように支持される複数のバケット７７とを含む。
　ローラーチェーン７５は、エレベータ本体６４の内部を通過し、バケットエレベータ５９の上部５９ａと下部（掻き取り部６１）との間を循環する形で、無端状に連結される。
　また、バケットエレベータ５９は、ローラーチェーン７５が掛け渡される駆動ローラ８１ａと、ローラーチェーン７５をガイドする従動ローラ８１ｂ，８１ｃ、及び転向ローラ８３とを含む。
　駆動ローラ８１ａは、バケットエレベータ５９の上部５９ａに設けられ、従動ローラ８１ｂ，８１ｃは、掻き取り部６１において、前後方向に所定の間隔をあけて設けられる。
　転向ローラ８３は、バケットエレベータ５９の上部５９ａにおいて、駆動ローラ８１ａの下方に配置され、ローラーチェーン７５の進行方向を転換可能に構成される。
　従動ローラ８１ｂ，８１ｃの間には、シリンダ８５が接続され、シリンダ８５の伸縮に応じて、従動ローラ８１ｂ，８１ｃの軸間距離が可変され、その結果、チェーンバケット７９の移動周回軌跡が可変される。
　ローラーチェーン７５は、駆動ローラ８１ａにより駆動され、エレベータ本体６４に対して、矢印Ｗの方向に周回運動する。チェーンバケット７９は、バケットエレベータ５９の上部５９ａと掻き取り部６１との間を周回移動しながら循環する。
　バケット７７は、掻き取り部６１において、ローラーチェーン７５が従動ローラ８１ｂから８１ｃに向かって略水平方向に移動する際に、バケット７７の開口部からその内部にバラ荷Ｍを掻き取る。バラ荷Ｍを掻き取り収容したバケット７７は、従動ローラ８１ｃから駆動ローラ８１ａに向かうローラーチェーン７５の上昇に合わせて、その開口部を上に向けた姿勢で上昇する。バケットエレベータ５９の上部５９ａに到着したバケット７７は、ローラーチェーン７５が駆動ローラ８１ａを通過する際に上向きから下向きに方向転換するのに合わせて、その開口部が下向きに転回する。これにより、バケット７７の内部のバラ荷Ｍは、排出用シュートからバケットエレベータ５９の外周部に設けられる回転フィーダ８７に送られる。
　回転フィーダ８７は、排出用シュートを通じてバケット７７から送られるバラ荷Ｍをブーム５７に設けられるブームコンベヤ８９に搬送する。
　ブームコンベヤ８９は、ブーム５７の内部に配置される。バケットエレベータ５９の回転フィーダ８７のバラ荷Ｍは、ブームコンベヤ８９に乗り換えて、旋回フレーム５５に向かって搬送される。旋回フレーム５５側において、ブームコンベヤ８９の端部には、ホッパが設けられ、ブームコンベヤ８９により搬送されるバラ荷Ｍは、ホッパを通じて、ベルトコンベヤ９３に供給される。
　ベルトコンベヤ９３は、走行部５１に設けられる。ベルトコンベヤ９３は、バラ荷Ｍを地上ベルトコンベヤ９５に搬送する。これにより、バラ荷Ｍは、地上ベルトコンベヤ９５を通じて、地上設備９９に搬出される。
　また、図１９に示すように、連続アンローダ１００Ｃは、空間認識装置４０と、周辺監視センサ１２０Ｅとを含む。
　空間認識装置４０は、バケットエレベータ５９の上部５９ａより下側の外周面において、周方向に等間隔で設けられる。空間認識装置４０の数については制限するものではないが、例えば４個設けることが考えられる。４個の空間認識装置４０は、その光軸が下方に向けられ、船舶ＳＰの船倉ＨＤの開口部ＯＰを上から撮像可能に配置される。
　周辺監視センサ１２０Ｅは、撮像装置である。周辺監視センサ１２０Ｅは、バケットエレベータ５９の下部（掻き取り部６１）の固定部の左右の外側面に設けられる。周辺監視センサ１２０Ｅは、その光軸が下方に向けられ、船倉ＨＤの内部（即ち、バラ荷Ｍの上部）を上から撮像可能に配置される。
　空間認識装置４０及び周辺監視センサ１２０Ｅは、例えば、連続アンローダ１００Ｃの起動から停止までの間で、所定周期（例えば、１／３０秒）ごとに、３次元画像情報を出力する。空間認識装置４０及び周辺監視センサ１２０Ｅから出力される撮像画像（３次元画像情報を含む）は、制御装置１１０に取り込まれる。制御装置１１０は、上述したコントローラ３０と同様の機能を有している。
　また、連続アンローダ１００Ｃ（バケットエレベータ５９）には、空間認識装置４０及び周辺監視センサ１２０Ｅに加えて、他の種類の周辺監視センサ１２０Ｘ（例えば、距離センサ）が設けられてもよい。
　　＜連続アンローダ（バケットエレベータ）の周辺の状況の監視に関する動作＞
　連続アンローダ１００Ｃは、図１に示される作業機械１００に含まれている。このため、連続アンローダ１００Ｃの制御装置１１０は、空間認識装置４０の３次元画像情報を管理装置２００に送信する。これにより、連続アンローダ１００Ｃの周辺を表した３次元統合画像情報を生成する。
　３次元統合画像情報を生成するためには、空間認識装置４０の位置及び姿勢を認識する必要がある。
　本実施形態の制御装置１１０は、通信回線ＮＷを介して管理装置２００と通信可能である。そこで、制御装置１１０は、空間認識装置４０により撮像された３次元画像情報を、管理装置２００に送信する。管理装置２００は、受信した３次元画像情報と３次元マーカとに基づいて、空間認識装置４０の位置及び姿勢を特定する。
　図１９には、空間認識装置４０は、バケットエレベータ５９の外観の一部１８１１を含む計測範囲１８０１を撮像している。
　管理装置２００は、バケットエレベータ５９の外観の一部１８１１に対応する３次元マーカを３次元マーカ記憶部２５１に記憶している。
　そして、管理装置２００の制御装置２１０は、制御装置１１０から送信された３次元画像情報に含まれる作業機械１００の一部を示す３次元形状情報と、３次元マーカ記憶部２５１に記憶された作業機械１００の形状を示す３次元マーカの一部と、に基づいて、空間認識装置４０の位置及び姿勢を特定する。連続アンローダ１００Ｃの場合、マーカ検出範囲は、０～０．５ｍではない点が、上述したショベル１００Ａ及びクローラクレーン１００Ｂとは異なるが、実施される処理は同様とする。つまり、一部１８１１の形状及び位置に基づいて空間認識装置４０の位置及び姿勢を特定する手法は、ショベル１００Ａ又はクローラクレーン１００Ｂと同様となる。このため、手法に説明については省略する。また、連続アンローダ１００Ｃのマーカ検出範囲は、空間認識装置４０とバケットエレベータ５９の外観の一部１８１１との間のおおよその距離に応じて設定してもよい。
　管理装置２００の制御装置２１０は、空間認識装置４０の位置及び姿勢を特定した後、３次元画像情報に基づいて、３次元統合画像情報を生成する。制御装置２１０は、生成した３次元統合画像情報を、連続アンローダ１００Ｃの制御装置１１０に送信してもよいし、出力装置２４０に出力（表示）してもよい。
　連続アンローダ１００Ｃの制御装置１１０に送信した場合、表示装置１４０に３次元統合画像情報に基づいた画像情報を表示できる。
　また、制御装置１１０及び管理装置２００は、３次元統合画像情報に対して、既知の視点変換処理及び合成処理を行うことにより、掻き取り部６１の周辺の船倉ＨＤの内部を真上から見た視点変換画像（俯瞰画像）を表示させてもよい。これにより、オペレータは、船倉ＨＤの内部を真上（掻き取り部６１の上部）から見た俯瞰画像によって、掻き取り部６１の周辺のバラ荷Ｍの状況や掻き取り部６１と船倉ＨＤの内壁との位置関係をより容易に把握することができる。
　本実施形態では、作業機械１００として連続アンローダ１００Ｃを適用した場合、変形しない部分である、バケットエレベータ５９の外観の一部１８１１を含む計測範囲１８０１を、３次元マーカとして設定した。これにより、３次元画像情報から三次元マーカに対応する領域を抽出するのが容易になる。バケットエレベータ５９の外観の一部１８１１より下方の部分については、変形するため、３次元マーカとして設定しない方が好ましい。しかしながら、３次元マーカ記憶部２５１が、変形パターンの数だけ３次元マーカを記憶することで、バケットエレベータ５９の外観の一部１８１１より下方の部分を３次元マーカとして保持してもよい。
　これにより、作業機械１００として連続アンローダ１００Ｃを適用した場合でも、上述したショベル１００Ａやクローラクレーン１００Ｂと同様の効果を奏することができる。
　また、上述した実施形態は、位置及び姿勢を特定するために用いる検知情報を３次元画像情報に制限するものではない。位置及び姿勢を特定するために、複数種類の３次元検知装置から取得した複数種類の検知情報を組み合わせてもよい。空間認識装置４０に組み合わせる３次元検知装置としては、例えば、周辺監視センサ１２０Ｘの一例である距離センサを含んでもよい。そして、制御装置１１０は、複数種類の検知情報を組み合わせることで、基準座標系における作業機械１００の一部の位置及び形状の特定精度の向上を実現できる。換言すれば、作業機械１００の一部からの距離等に基づいて、基準座標系における空間認識装置４０の位置及び姿勢の特定精度の向上を実現できる。また、制御装置１１０は、空間認識装置４０に加えて、他の３次元検知装置の位置及び姿勢を特定してもよい。例えば、制御装置１１０は、当該距離センサの位置及び姿勢を特定してもよい。さらには、オペレータが、特定結果に応じて距離センサの位置又は姿勢の調整を行ってもよい。
（変形例１）
　上述した実施形態では、３次元画像情報の合成を管理装置２００で行う例について説明した。しかしながら、３次元画像情報の合成を管理装置２００で行う手法に制限するものではない。そこで、変形例１では、管理装置２００で空間認識装置４０の位置及び姿勢の特定を行い、３次元画像情報の合成を作業機械１００で行う例について説明する。
　当該変形例の管理装置２００が、上述した実施形態と同様に、作業機械１００に設けられた空間認識装置４０の位置及び姿勢を特定する。そして、管理装置２００は、特定した位置及び姿勢を示す情報を、作業機械１００に送信する。
　作業機械１００のコントローラ３０は、上述した実施形態で示した統合処理部２１３と同様の構成を備えている。これにより、コントローラ３０は、受信した位置及び姿勢に基づいて、空間認識装置４０が撮像した３次元画像情報を統合して、３次元統合画像情報を生成する。その後、コントローラ３０の表示制御部３０２は、出力装置２４０に、３次元統合画像情報に基づいた画像情報を出力する。これにより作業機械１００の周辺の状況が表示される。
　本変形例では上述した実施形態と同様の効果が得られると共に、３次元統合画像情報の生成を作業機械１００側で行うことで、ネットワークの負担を軽減することができる。さらには、情報の送受信に要する時間を短縮できるので、表示制御部３０２が３次元統合画像情報に基づいた画像情報を表示するまでの時間を短縮できる。
（変形例２）
　上述した変形例１では、管理装置２００で空間認識装置４０の位置及び姿勢の特定を行い、作業機械１００で３次元統合画像情報を生成する例について説明した。しかしながら、上述した実施形態及び変形例のように、管理装置２００で空間認識装置４０の位置及び姿勢の特定を行う手法に制限するものではない。
　変形例２にかかる作業機械１００のコントローラ３０は、自装置の３次元マーカを保持すると共に、特定部２１２及び統合処理部２１３と同様の構成を備えている。
　これにより、コントローラ３０は、空間認識装置４０の３次元画像情報に基づいて、空間認識装置４０の位置及び姿勢を特定する。そして、コントローラ３０は、特定した空間認識装置４０の位置及び姿勢に基づいて３次元画像情報を合成して、３次元統合画像情報を生成する。これにより、本変形例では、上述した実施形態及び変形例と同様の効果を奏することができる。
　［作用］
　次に、本実施形態に係る周辺監視システムＳＹＳの作用について説明する。
　本実施形態では、周辺監視システムＳＹＳは、３次元画像情報（検知情報の一例）として検出された作業機械１００の一部と、基準座標系に表された作業機械１００の形状を表した３次元マーカの一部とに基づいて、基準座標系における空間認識装置４０の位置及び姿勢を特定する。なお、本実施形態では、位置及び姿勢を特定する例について説明するが、位置のみ又は姿勢のみを特定してもよい。
　なお、上述した実施形態及び変形例に係る周辺監視システムＳＹＳでは、特定部２１２は、３次元マーカを用いて位置及び姿勢を特定する例について説明した。しかしながら、上述した実施形態及び変形例は、空間認識装置４０の位置及び姿勢を特定する際に、３次元マーカを利用する手法に制限するものではない。つまり、空間認識装置４０が撮像した３次元画像情報に、作業機械１００の外観の一部が写っていれば、作業機械１００と空間認識装置４０との相対的な位置関係を認識できる。このため、特定部２１２は、空間認識装置４０が撮像した３次元画像情報（検知情報の一例）に含まれる、作業機械１００の形状を示す３次元形状情報に基づいて、空間認識装置４０の位置及び姿勢を特定できればよい。
　これにより、周辺監視システムＳＹＳは、空間認識装置４０の位置や姿勢がずれた場合や、作業機械１００を現場ごとに組み立てる場合等であっても、複数の空間認識装置４０の位置及び姿勢の認識精度を向上させることができる。そのため、周辺監視システムＳＹＳは、上述の如く、作業機械１００の周辺の状況をより容易に監視又は認識することができる。また、周辺監視システムＳＹＳは、ユーザが空間認識装置４０の位置及び姿勢の設定を行わなくてよいので、空間認識装置４０に関する作業負担を軽減できる。
　また、本実施形態では、周辺監視システムＳＹＳは、複数の空間認識装置４０の位置及び姿勢に基づいて、複数の空間認識装置４０の３次元画像情報を合成した、３次元統合画像情報を生成してもよい。これにより、周辺監視システムＳＹＳは、統一の基準（基準座標系）に沿った３次元統合画像情報をオペレータが参照することで、より容易に且つより精度良く作業機械の周辺の状況を監視することができる。
　また、本実施形態では周辺監視システムＳＹＳは、３次元統合画像情報に基づき、作業機械１００の周辺の状況を表す画像情報を表示してもよい。これにより、周辺監視システムＳＹＳは、より容易且つより精度の高い、作業機械の周辺の状況を表す画像情報をオペレータに提供できる。
　また、本実施形態では、２種類以上のセンサを含んでよい。これにより、周辺監視システムＳＹＳは、２種類以上のセンサの出力情報を総合的に用いて、より適切に作業機械の周辺の状況を監視することができる。
　また、本実施形態に係る周辺監視システムＳＹＳでは、３次元統合画像情報に基づいて、作業機械１００の周辺の様子を３次元的に表す画像情報を、ユーザの操作に応じて、視点を変化させながら表示させてよい。これにより、ユーザは視点を自在に変化させながら、作業機械の周辺の状況をより容易に監視できる。
　以上、本発明に係る作業機械の実施形態について説明したが、本発明は上記実施形態などに限定されない。請求の範囲に記載された範疇内において、各種の変更、修正、置換、付加、削除、及び組み合わせが可能である。それらについても当然に本発明の技術的範囲に属する。
　本願は、２０２１年１０月１５日に出願した日本国特許出願２０２１－１６９７７９号に基づく優先権を主張するものであり、これら日本国特許出願の全内容を本願に参照により援用する。
　ＳＹＳ　周辺監視システム
　１００　作業機械
　１００Ａ　ショベル
　１００Ｂ　クローラクレーン
　１００Ｃ　連続アンローダ
　３０　コントローラ
　４０，４０Ａ～４０Ｄ　空間認識装置
　１１０　制御装置
　３０１　通信制御部
　３０２　表示制御部
　２００　管理装置
　２１０　制御装置
　２１１　通信制御部
　２１２　特定部
　２１３　統合処理部
　２２０　通信装置
　２３０　入力装置
　２４０　出力装置
　２５０　記憶装置

Claims (14)

  1. 　計測範囲内に作業機械の一部が含まれるように、当該作業機械に設置された３次元検知装置と、
    　前記３次元検知装置の検知情報を取得し、取得した前記検知情報に含まれる前記作業機械の少なくとも前記一部の形状に基づいて、前記３次元検知装置の位置又は姿勢を特定するように構成されている制御部と、
    　を備える作業機械の周辺監視システム。
  2. 　前記制御部は、計測方向又は設置された位置が異なる複数の前記３次元検知装置の各々から、前記検知情報を取得し、複数の前記３次元検知装置の各々から取得した前記検知情報に基づいて、複数の前記３次元検知装置の各々の前記位置又は前記姿勢を特定し、
    　複数の前記３次元検知装置の各々は、計測範囲に異なる前記一部が含まれるように設置されている、
    　請求項１に記載の作業機械の周辺監視システム。
  3. 　前記制御部は、前記検知情報に含まれる前記作業機械の少なくとも前記一部の形状と、記憶部に予め記憶されている前記作業機械の情報で示される形状と、の間のマッチングを行うことで、前記位置又は前記姿勢を特定するように構成されている、
    　請求項２に記載の作業機械の周辺監視システム。
  4. 　前記制御部は、前記記憶部に予め記憶されている前記作業機械の情報で示される形状に対して、前記検知情報に含まれる前記作業機械の少なくとも前記一部の形状が当てはまるよう、並進、回転、及び拡縮のうちいずれか一つ以上の処理を行う際に、RANSAC(Random　Sample　Consensus)アルゴリズムを用いて、前記位置又は前記姿勢を特定する、
    　請求項３に記載の作業機械の周辺監視システム。
  5. 　前記制御部は、前記RANSACアルゴリズムを用いて前記位置又は前記姿勢を特定した後、特定された前記位置又は前記姿勢をICP(Iterative　Closest　Point)を用いて調整をする、
    　請求項４に記載の作業機械の周辺監視システム。
  6. 　前記制御部は、前記記憶部に予め記憶されている、前記作業機械の情報で示される３次元形状のうち、前記作業機械の上面を表す形状と、前記検知情報に含まれる前記作業機械の少なくとも前記一部の形状と、の間でマッチングを行うように構成されている、
    　請求項３に記載の作業機械の周辺監視システム。
  7. 　前記制御部は、前記検知情報に含まれる前記作業機械の少なくとも前記一部の形状と、前記記憶部に予め記憶されている前記作業機械の情報で示される形状と、の間のマッチングによる一致度合いが所定の閾値より低い場合には、前記検知情報を出力した前記３次元検知装置に関する通知を行うように構成されている、
    　請求項３に記載の作業機械の周辺監視システム。
  8. 　前記作業機械の情報は、前記３次元検知装置によって取得された前記作業機械の形状を示した情報、又は３次元ＣＡＤ（Computer　Aided　Design）に基づいた前記作業機械の形状を示した情報である、
    　請求項３に記載の作業機械の周辺監視システム。
  9. 　前記制御部は、特定された複数の前記３次元検知装置の各々の前記位置に従って、複数の前記３次元検知装置の各々から取得した前記検知情報を統合し、統合された前記検知情報を用いて前記作業機械の周辺を表示するように構成されている、
    　請求項２に記載の作業機械の周辺監視システム。
  10. 　前記制御部は、前記作業機械に設けられた複数種類の前記３次元検知装置の各々から、複数種類の前記検知情報を取得し、複数種類の前記３次元検知装置の各々から取得した、複数種類の前記検知情報に基づいて、複数種類のうちいずれか一つ以上の前記３次元検知装置の前記位置又は前記姿勢を特定する、
    　請求項１に記載の作業機械の周辺監視システム。
  11. 　前記３次元検知装置は、前記作業機械に移動可能に設けられ、
    　前記制御部は、前記３次元検知装置が移動させられた後、前記３次元検知装置の前記検知情報を取得し、取得した前記検知情報に含まれる前記作業機械の少なくとも前記一部の形状に基づいて、前記３次元検知装置の位置又は姿勢を特定するように構成されている、
    　請求項１に記載の作業機械の周辺監視システム。
  12. 　前記作業機械の前記一部の形状は、前記作業機械の形状として、他の部分と比べて特定可能な形状であって、可動又は変形しない部分である、
    　請求項１に記載の作業機械の周辺監視システム。
  13. 　計測範囲内に作業機械の一部が含まれるように設置された３次元検知装置の検知情報を取得し、取得した前記検知情報に含まれる前記作業機械の少なくとも前記一部の形状に基づいて、前記３次元検知装置の位置又は姿勢を特定するように構成されている制御部、
    　を備える情報処理装置。
  14. 　計測範囲内に作業機械の一部が含まれるように設置された３次元検知装置の検知情報を取得する取得工程と、
    　前記取得工程により取得された前記検知情報に含まれる前記作業機械の少なくとも前記一部の形状に基づいて、前記３次元検知装置の位置又は姿勢を特定する特定工程と、
    　を有する作業機械の周辺監視方法。
PCT/JP2022/037483 2021-10-15 2022-10-06 作業機械の周辺監視システム、情報処理装置、及び周辺監視方法 WO2023063219A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-169779 2021-10-15
JP2021169779 2021-10-15

Publications (1)

Publication Number Publication Date
WO2023063219A1 true WO2023063219A1 (ja) 2023-04-20

Family

ID=85987466

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037483 WO2023063219A1 (ja) 2021-10-15 2022-10-06 作業機械の周辺監視システム、情報処理装置、及び周辺監視方法

Country Status (1)

Country Link
WO (1) WO2023063219A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055762A (ja) * 1999-08-13 2001-02-27 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその位置計測手段の校正方法
CN105209694A (zh) * 2013-03-15 2015-12-30 诺瓦特公司 使用提供距离信息的图像采集装置的重型设备导航和工作刃定位的系统和方法
WO2016047808A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 撮像装置の校正システム、作業機械及び撮像装置の校正方法
JP2018017617A (ja) * 2016-07-28 2018-02-01 株式会社神戸製鋼所 建設機械
JP2018184815A (ja) * 2017-04-27 2018-11-22 株式会社小松製作所 撮像装置の校正装置、作業機械および校正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055762A (ja) * 1999-08-13 2001-02-27 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその位置計測手段の校正方法
CN105209694A (zh) * 2013-03-15 2015-12-30 诺瓦特公司 使用提供距离信息的图像采集装置的重型设备导航和工作刃定位的系统和方法
WO2016047808A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 撮像装置の校正システム、作業機械及び撮像装置の校正方法
JP2018017617A (ja) * 2016-07-28 2018-02-01 株式会社神戸製鋼所 建設機械
JP2018184815A (ja) * 2017-04-27 2018-11-22 株式会社小松製作所 撮像装置の校正装置、作業機械および校正方法

Similar Documents

Publication Publication Date Title
KR102399329B1 (ko) 작업 기계
WO2020204007A1 (ja) ショベル及び施工システム
JPWO2019139102A1 (ja) ショベル及びショベルの管理システム
US20210270013A1 (en) Shovel, controller for shovel, and method of managing worksite
JP6801421B2 (ja) クレーン
US11913194B2 (en) Shovel
US20210010229A1 (en) Shovel
WO2020196874A1 (ja) 建設機械、支援システム
US20220041411A1 (en) Crane inspection system and crane
JP2023174887A (ja) 作業機械、情報処理装置
WO2023063219A1 (ja) 作業機械の周辺監視システム、情報処理装置、及び周辺監視方法
US20220341124A1 (en) Shovel and remote operation support apparatus
JP2022179081A (ja) 遠隔操作支援システム、遠隔操作支援装置
WO2022176783A1 (ja) ショベル、情報処理装置
JP7167464B2 (ja) 遠隔操作端末および遠隔操作端末を備える作業車両
JP2022085617A (ja) 周辺監視システム、表示装置
CN114341439A (zh) 施工机械、施工机械的管理系统、机器学习装置及施工机械的作业现场的管理系统
JP2022182529A (ja) 遠隔操作支援システム、遠隔操作支援装置
JP2024018270A (ja) 作業支援システム、作業機械、投影装置、制御装置
WO2023132321A1 (ja) 周辺監視システム、作業機械
JP2023093109A (ja) 建設機械、及び情報処理装置
JP7488753B2 (ja) 周辺監視装置
JP2023063991A (ja) ショベル
JP2023063990A (ja) ショベル
JP2022156791A (ja) ショベル、情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22880914

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023554468

Country of ref document: JP

Kind code of ref document: A