WO2020256101A1 - 画像システムおよび画像システムを備える作業車両 - Google Patents

画像システムおよび画像システムを備える作業車両 Download PDF

Info

Publication number
WO2020256101A1
WO2020256101A1 PCT/JP2020/024136 JP2020024136W WO2020256101A1 WO 2020256101 A1 WO2020256101 A1 WO 2020256101A1 JP 2020024136 W JP2020024136 W JP 2020024136W WO 2020256101 A1 WO2020256101 A1 WO 2020256101A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
bird
crane
eye view
processing device
Prior art date
Application number
PCT/JP2020/024136
Other languages
English (en)
French (fr)
Inventor
洋幸 林
Original Assignee
株式会社タダノ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社タダノ filed Critical 株式会社タダノ
Priority to EP20826038.0A priority Critical patent/EP3988491A4/en
Priority to JP2021526916A priority patent/JPWO2020256101A1/ja
Priority to US17/615,756 priority patent/US20220315391A1/en
Publication of WO2020256101A1 publication Critical patent/WO2020256101A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
    • B66C23/88—Safety gear
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/40—Applications of devices for transmitting control pulses; Applications of remote control devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C2700/00—Cranes
    • B66C2700/03—Cranes with arms or jibs; Multiple cranes
    • B66C2700/0321—Travelling cranes
    • B66C2700/0357—Cranes on road or off-road vehicles, on trailers or towed vehicles; Cranes on wheels or crane-trucks
    • B66C2700/0364—Cranes on road or off-road vehicles, on trailers or towed vehicles; Cranes on wheels or crane-trucks with a slewing arm
    • B66C2700/0371—Cranes on road or off-road vehicles, on trailers or towed vehicles; Cranes on wheels or crane-trucks with a slewing arm on a turntable

Definitions

  • the present invention relates to an image system and a work vehicle including an image system.
  • the view of the operator from the cockpit may be obstructed by a boom or the like stored in the vehicle during traveling, and a blind spot may occur.
  • the cockpit provided on the swivel turns with the swivel during work, the position and range of the blind spot from the cockpit changes. Therefore, even if the position of the rear-view mirror or the like is devised, it may not be easy to see from the driver's seat.
  • the bird's-eye view image system described in Patent Document 1 displays a plurality of cameras that acquire a peripheral image of a work vehicle provided with a swivel table that can turn on a traveling body, and a display that displays a bird's-eye view image based on the images acquired by each camera. It is equipped with a unit and a control unit that converts an image acquired by each camera into an image looking down from a virtual viewpoint above and connects them to generate a bird's-eye view image and display it on the display unit.
  • a plurality of cameras are provided on each of the traveling body and the swivel table. The bird's-eye view image system can obtain an appropriate bird's-eye view image by switching the camera used during running and working.
  • the bird's-eye view image system configured in this way can obtain a field of view as if a camera is installed above by generating a bird's-eye view image looking down from a virtual viewpoint above.
  • the bird's-eye view image system since the bird's-eye view image system generates a bird's-eye view image with a camera provided on the traveling body or the swivel, the very vicinity of the traveling body, a part of the traveling body, and the swivel are not included in the shooting range of the camera. That is, in the bird's-eye view image system, a blind spot is generated in a part of the traveling body, the turning body itself, and the very vicinity of the traveling vehicle, and it is necessary for the operator to visually recognize the vehicle.
  • An object of the present invention is an image system and an image system capable of generating an image of a range covering the entire circumference of a work vehicle including the entire work vehicle and the immediate vicinity of the work vehicle from an image actually taken.
  • the purpose is to provide a work vehicle.
  • the present invention is communicably connected to a photographing device provided on a traveling body of a work vehicle having a boom, and the photographing device captures a plurality of peripheral images seamlessly over the entire circumference of the traveling body.
  • the photographing device includes an image processing device that generates a composite image based on the traveling body and an upper image obtained by photographing the periphery of the traveling body from above, and a display device that displays the composite image.
  • the image processing device converts the plurality of peripheral images into an image viewed from an upper virtual viewpoint and joins them to generate a bird's-eye view image, and one missing portion of the bird's-eye view image and the upper image is combined with the other corresponding portion.
  • the composite image is generated by superimposing.
  • the present invention has the following effects.
  • the present invention by synthesizing the upper image of the work vehicle and the bird's-eye view image around the work vehicle, the missing portion in the upper image and the bird's-eye view image is supplemented with the image actually taken. As a result, it is possible to generate an image of the entire circumference of the work vehicle including the entire work vehicle and the immediate vicinity of the work vehicle from the image actually taken.
  • FIG. 6 shows images taken by the vehicle body camera and the upper camera.
  • FIG. 6A shows a bird's-eye view image generated from the peripheral image taken by the vehicle body camera
  • FIG. 6B shows a complementary image generated from the upper image taken by the upper camera.
  • FIG. 8 shows the relationship between the turning of the swivel table in the crane and the display mode of the bird's-eye view image.
  • FIG. 8A shows a state in which the swivel table of the crane is swiveled
  • FIG. 8B shows a composite image displayed in rotation.
  • FIG. 12 shows another embodiment in the superimposed image generation step.
  • FIG. 12A shows a missing portion in the upper image of the crane
  • FIG. 12B shows a complementary image corresponding to the missing portion in the bird's-eye view image
  • FIG. 12C shows a composite image in which the complementary image is superimposed on the missing portion in the upper image.
  • the crane 1 which is an embodiment of the work vehicle in the present invention will be described below with reference to FIGS. 1 and 2.
  • the rough terrain crane will be described, but any work vehicle having a boom such as an all-terrain crane, a truck crane, a loaded truck crane, and an aerial work platform may be used.
  • the crane 1 is a mobile crane that can move to an unspecified place.
  • the crane 1 has a vehicle 2 which is a traveling body, a crane device 6 which is a working device, a control device 30, and a remote control terminal 39 (see FIG. 2) capable of remotely controlling the crane device 6.
  • the crane 1 includes an image system 31 (see FIG. 2).
  • the vehicle 2 is a moving body that conveys the crane device 6.
  • the vehicle 2 has a plurality of wheels 3 and runs on the engine 4 as a power source.
  • the vehicle 2 is provided with an outrigger 5.
  • the vehicle 2 can expand the workable range of the crane 1 by extending the outrigger 5 in the width direction of the vehicle 2 and grounding the jack cylinder.
  • the crane device 6 is a device for lifting the luggage W with a wire rope.
  • the crane device 6 includes a swivel base 7, a swivel hydraulic motor 8, a boom 9, a main hook block 10, a sub hook block 11, an undulating hydraulic cylinder 12, a main winch 13, a main hydraulic motor 13a, a main wire rope 14, and a sub. It includes a winch 15, a sub hydraulic motor 15a, a sub wire rope 16, a cabin 17, and the like.
  • the swivel base 7 is a device that swivels the crane device 6.
  • the swivel base 7 is rotatably configured with the center of the annular bearing as the center of rotation.
  • the swivel base 7 is provided with a swivel hydraulic motor 8 which is an actuator.
  • the swivel base 7 is configured to be swivelable in one direction and the other direction by a swivel hydraulic motor 8.
  • the swivel hydraulic motor 8 is rotated by a swivel valve 23 (see FIG. 2), which is an electromagnetic proportional switching valve.
  • the swivel valve 23 can control the flow rate of the hydraulic oil supplied to the swivel hydraulic motor 8 to an arbitrary flow rate.
  • the swivel 7 is provided with a swivel sensor 27 (see FIG. 2) that detects a swivel angle ⁇ 2, which is the swivel angle of the swivel 7 from the reference position.
  • the boom 9 is a beam member that supports the wire rope so that the luggage W can be lifted.
  • the boom 9 is provided so that the base end of the base boom member can swing at substantially the center of the swivel base 7.
  • the boom 9 is configured to be expandable and contractible in the axial direction by moving each boom member by an expansion / contraction hydraulic cylinder (not shown) which is an actuator. Further, the boom 9 is provided with a jib 9a.
  • the suspended load camera 9b (see FIG. 2) is a photographing device that photographs the luggage W and the features around the luggage W.
  • the suspended load camera 9b is provided at the tip of the boom 9.
  • the suspended load camera 9b is configured to be capable of photographing the features and terrain around the load W and the crane 1 from vertically above the load W.
  • the expansion / contraction hydraulic cylinder is expanded / contracted by the expansion / contraction valve 24 (see FIG. 2), which is an electromagnetic proportional switching valve.
  • the boom 9 is provided with a telescopic sensor 28 for detecting the length of the boom 9, a weight sensor for detecting the weight of the luggage W, and the like.
  • the main hook block 10 and the sub hook block 11 are members for hanging the luggage W.
  • the main hook block 10 is provided with a plurality of hook sheaves around which the main wire rope 14 is wound and a main hook 10a for suspending the luggage W.
  • the sub-hook block 11 is provided with a sub-hook 11a for suspending the luggage W.
  • the undulating hydraulic cylinder 12 is an actuator that raises and lays down the boom 9 and holds the posture of the boom 9.
  • the undulating hydraulic cylinder 12 is expanded and contracted by the undulating valve 25 (see FIG. 2), which is an electromagnetic proportional switching valve.
  • the boom 9 is provided with an undulation sensor 29 (see FIG. 2) that detects the undulation angle ⁇ 1 of the boom 9.
  • the main winch 13 and the sub winch 15 carry out (winding up) and unwinding (winding down) the main wire rope 14 and the sub wire rope 16.
  • the main winch 13 is rotated by a main hydraulic motor 13a in which the main drum around which the main wire rope 14 is wound is an actuator
  • the sub winch 15 is a sub hydraulic motor in which the sub drum around which the sub wire rope 16 is wound is an actuator. It is configured to be rotated by 15a.
  • the main hydraulic motor 13a is rotationally operated by the main valve 26m (see FIG. 2), which is an electromagnetic proportional switching valve.
  • the main winch 13 is configured to control the main hydraulic motor 13a by a main valve 26m so that it can be operated at an arbitrary feeding and feeding speed.
  • the sub winch 15 is configured to control the sub hydraulic motor 15a by a sub valve 26s (see FIG. 2), which is an electromagnetic proportional switching valve, so that the sub winch 15 can be operated at an arbitrary feeding and feeding speed.
  • the cabin 17 is mounted on the swivel table 7.
  • a cockpit (not shown) is provided.
  • an operation tool for operating the vehicle 2 and a turning operation tool 18 for operating the crane device 6, an undulation operation tool 19, a telescopic operation tool 20, a main drum operation tool 21m, a sub-drum operation tool 21s, etc. is provided.
  • the communication device 22 receives the control signal from the remote control terminal 39 via the wide area information communication network or the like, and transmits the control information or the like from the crane device 6 via the wide area information communication network or the like. It is a device to do.
  • the communication device 22 is provided in the cabin 17.
  • the communication device 22 is configured to transfer the control signal or the like from the remote control terminal 39 to the control device 30 of the crane 1.
  • the control device 30 is a device that controls the actuator of the crane 1 via each operation valve.
  • the control device 30 is provided in the cabin 17.
  • the control device 30 may be substantially configured such that a CPU, ROM, RAM, HDD, etc. are connected by a bus, or may be configured to be composed of a one-chip LSI or the like.
  • the control device 30 stores various programs and data for controlling the operation of each actuator, switching valve, sensor, and the like.
  • the control device 30 is connected to the suspended load camera 9b, the swivel operating tool 18, the undulating operating tool 19, the telescopic operating tool 20, the main drum operating tool 21m, and the sub-drum operating tool 21s, acquires the image of the suspended load camera 9b, and swivels. It is possible to acquire the operating amounts of the operating tool 18, the undulating operating tool 19, the main drum operating tool 21m, and the sub-drum operating tool 21s.
  • the control device 30 is connected to the communication device 22 and can acquire a control signal from the remote control terminal 39 and transmit control information from the crane device 6 and an image from the suspended load camera 9b.
  • the control device 30 is connected to the swivel valve 23, the telescopic valve 24, the undulation valve 25, the main valve 26m and the sub valve 26s, and is connected to the swivel valve 23, the undulation valve 25, the main valve 26m and the sub.
  • a control signal can be transmitted to the valve 26s.
  • the control device 30 is connected to the swivel sensor 27, the telescopic sensor 28, and the undulation sensor 29, and acquires posture information such as the swivel angle ⁇ 2, boom length, and undulation angle ⁇ 1 of the swivel base 7 and the weight of the luggage W. be able to.
  • the control device 30 can generate a control signal corresponding to each operation tool based on the operation amounts of the turning operation tool 18, the undulation operation tool 19, the expansion / contraction operation tool 20, the main drum operation tool 21m, and the sub drum operation tool 21s. ..
  • the image system 31 is a system that combines the peripheral image of the crane 1 and the upper image to generate an image of the entire circumference of the crane 1.
  • the image system 31 is provided in the cabin 17 of the crane 1 and is connected to the control device 30.
  • the image system 31 is connected to the control device 30 and can acquire the turning angle ⁇ 2 of the swivel base 7 and the undulation angle ⁇ 1 of the boom 9 from the control device 30. Further, the image system 31 can acquire an operation signal for grounding the jack cylinder of the outrigger 5 from the control device 30.
  • the crane 1 configured in this way can move the crane device 6 to an arbitrary position by traveling the vehicle 2. Further, in the crane 1, the boom 9 is erected at an arbitrary undulation angle ⁇ 1 by the undulating hydraulic cylinder 12 by the operation of the undulation operating tool 19, and the boom 9 is extended to an arbitrary boom length by the operation of the telescopic operating tool 20. By doing so, the lift and working radius of the crane device 6 can be expanded. Further, the crane 1 can convey the luggage W by lifting the luggage W by the sub-drum operating tool 21s or the like and turning the swivel base 7 by operating the swivel operating tool 18.
  • the image system 31 is a system that combines the bird's-eye view image P1 around the crane 1 and the complementary image P2 extracted from the upper image to generate a composite image P3 over the entire circumference of the crane 1 including the crane 1.
  • the image of the entire circumference of the crane 1 is an image of the vehicle 2 of the crane 1 and the ground (running surface) and features surrounding the vehicle 2 when viewed from above (above) in the vertical direction of the crane 1. Yes, it is an image of the ground and a feature in a region from a position adjacent to the vehicle 2 to a position at a predetermined distance centered on the vehicle 2 (see FIG. 6).
  • the image system 31 includes a vehicle body front camera 32, a vehicle body rear camera 33, a vehicle body right camera 34, a vehicle body left camera 35, and a boom 9 which are vehicle body cameras provided in the vehicle 2.
  • the upper camera 36, the display device 37, and the image processing device 38 provided in the above are provided.
  • the vehicle body front camera 32, the vehicle body rear camera 33, the vehicle body right camera 34, the vehicle body left camera 35, and the upper camera 36 correspond to the "photographing device" of the present invention and are communicably connected to the image processing device 38.
  • the vehicle body front camera 32, the vehicle body rear camera 33, the vehicle body right camera 34, and the vehicle body left camera 35 are composed of, for example, a wide-angle camera having an angle of view of approximately 180 degrees.
  • the vehicle body front camera 32 is provided at the front end portion, which is the end portion of the vehicle 2 on the forward direction side.
  • the vehicle body front camera 32 captures an image in front of the vehicle 2.
  • the vehicle body rear camera 33 is provided at the rear end portion, which is the end portion of the vehicle 2 on the reverse direction side.
  • the vehicle body rear camera 33 captures an image of the rear of the vehicle 2.
  • the vehicle body right side camera 34 is provided on the right side surface of the vehicle 2 in the traveling direction.
  • the vehicle body right camera 34 captures an image on the right side of the vehicle 2.
  • the vehicle body left camera 35 is provided on the left side surface of the vehicle 2 in the traveling direction.
  • the vehicle body left camera 35 captures an image of the left side of the vehicle 2. It is sufficient that each vehicle body camera is provided at a position where an image of the periphery of the vehicle 2 can be continuously acquired over the entire circumference.
  • the upper camera 36 is composed of, for example, a wide-angle camera having an angle of view of approximately 180 degrees.
  • the upper camera 36 is provided at the tip of the base boom member swingably supported by the swivel base 7 in the boom 9 (see FIG. 1).
  • the upper camera 36 acquires an upper image of the crane 1 which is an image of the vehicle 2 and the surroundings of the vehicle 2 from above the vehicle 2 in the upright state of the boom 9.
  • the upper camera 36 is provided on the base boom member, but is provided on a portion where an upper image of the crane 1 which is an image of the vehicle 2 and the periphery of the vehicle 2 can be acquired from above the vehicle 2. It suffices if it is done.
  • the display device 37 is a device that displays images of each vehicle body camera and the upper camera 36.
  • the display device 37 is arranged inside the cabin 17.
  • the display device 37 may be provided on the remote control terminal 39 that remotely controls the crane 1 outside the cabin 17.
  • the image processing device 38 is a processing device that converts and combines the peripheral image of the crane 1 taken by each vehicle body camera and the upper image of the crane 1 taken by the upper camera 36.
  • the image processing device 38 is provided in the cabin 17.
  • the image processing device 38 may substantially have a configuration in which a CPU, ROM, RAM, HDD, etc. are connected by a bus, or may have a configuration including a one-chip LSI or the like.
  • the image processing device 38 controls each vehicle body camera, the upper camera 36, and each sensor, acquires an image or a signal from the sensor, and stores various programs and data for performing image processing.
  • the image processing device 38 is connected to the vehicle body front camera 32, the vehicle body rear camera 33, the vehicle body right camera 34, the vehicle body left camera 35, and the upper camera 36, and is connected to the vehicle body front camera 32, the vehicle body rear camera 33, and the vehicle body right camera 34.
  • the peripheral image of the crane 1 taken by the left side camera 35 of the vehicle body and the upper image of the crane 1 taken by the upper camera 36 can be acquired.
  • the image processing device 38 is connected to the display device 37 and can transmit the generated image to the display device 37.
  • the image processing device 38 includes a bird's-eye view image P1 (its image data) based on signals from each vehicle body camera, a complementary image P2 (its image data) based on a signal from the upper camera 36, and a composite image of the bird's-eye view image P1 and the complementary image P2. Controls such as generation processing of P3 (the image data), display processing of displaying the composite image P3 on the display device 37, acquisition processing of various acquired information, and the like.
  • the image processing device 38 is a bird's-eye image generation step of generating a bird's-eye view image P1 from the peripheral images of the crane 1 taken by the vehicle body front camera 32, the vehicle body rear camera 33, the vehicle body right camera 34, and the vehicle body left camera 35 every unit time. Can be carried out (see FIG. 10).
  • the bird's-eye view image generation step is composed of, for example, a distortion correction processing step (step S121), a bird's-eye view conversion processing step (step S122), and an image combination processing step (step S123). If the image processing device 38 generates the bird's-eye view image P1, each of these processes may be performed at the same time, or other processes may be performed.
  • the image processing device 38 multiplies the coordinate value of the input pixel of the image taken by each vehicle body camera by a coefficient based on the lens distortion coefficient, the aspect ratio, etc., and converts it into the coordinate value of the output pixel. Correct the distortion caused by the lens.
  • the image processing apparatus 38 forms all the coordinate values of the output pixels by multiplying the coordinate values of the input pixels appropriately selected by various coefficients based on the camera mounting angle and the like, thereby forming all the coordinate values above the crane 1. Converts to a captured image (individual bird's-eye view image) looking down from the virtual viewpoint set in.
  • the image processing device 38 linearly interpolates the brightness of the corresponding coordinate values to eliminate the discomfort of the joint, and performs the above-mentioned processing, and the adjacent individual bird's-eye view images from the vehicle body cameras. Are joined as one image to generate a bird's-eye view image P1.
  • the image processing device 38 generates a complementary image P2 which is an image of a portion corresponding to the missing portion of the bird's-eye view image P1 in the upper image of the crane 1 taken by the upper camera 36, and the complementary image P2 is generated in the missing portion of the bird's-eye view image P1. It is possible to carry out a superimposed image generation step of generating a composite image P3 on which the above is superimposed every unit time (see FIG. 11).
  • the superimposed image generation step is composed of, for example, a region extraction processing step (step S152), a matching processing step (step S153), and a superimposing processing step (step S154).
  • the image processing device 38 may perform each of these processes at the same time, or may perform processes of other contents.
  • the missing portion of the bird's-eye view image P1 is a portion corresponding to an image of the vehicle 2 and the swivel 7 of the crane 1 not included in the field of view of each vehicle body camera.
  • the image processing apparatus extracts a closed region from the upper image of the crane 1 taken by the upper camera 36 by a known method such as binarization.
  • the image processing device 38 uses a pre-registered image of the vehicle 2 as a reference image, slides the reference image on the upper image, and compares the region extracted in the upper image with the reference image.
  • the image processing device 38 specifies a region having a high degree of similarity to the reference image as the complementary image P2 corresponding to the vehicle 2.
  • the image processing device 38 cuts out the specified complementary image P2 and corrects the distortion by multiplying it by a coefficient based on the lens distortion coefficient, the aspect ratio, or the like so as to fit the missing portion of the bird's-eye view image P1. Further, the image processing device 38 generates the composite image P3 in a state in which the corrected complementary image P2 is superimposed on the bird's-eye view image P1.
  • the image system 31 configured in this way has a bird's-eye view image P1 as a unit from the peripheral images of the crane 1 taken by the vehicle body front camera 32, the vehicle body rear camera 33, the vehicle body right camera 34, and the vehicle body left camera 35, which are vehicle body cameras. It can be generated hourly. Further, the image system 31 can generate a complementary image P2 which is an image of a portion corresponding to the missing portion of the bird's-eye view image P1 from the upper image of the crane 1 taken by the upper camera 36 every unit time. Further, the image system 31 can synthesize a composite image P3 in which the complementary image P2 is superimposed on the missing portion of the bird's-eye view image P1 generated from the image around the vehicle body 2 every unit time.
  • the traveling state of the crane 1 means a state in which the boom 9 is not realistically used and the upper camera 36 is laid down to a reference angle ⁇ or less in which a sufficient field of view cannot be secured.
  • the working mode of the crane 1 means a state in which the boom 9 is upright from the reference angle ⁇ .
  • the image processing device 38 of the image system 31 starts photographing the surroundings of the crane 1 with the vehicle body front camera 32, the vehicle body rear camera 33, the vehicle body right camera 34, and the vehicle body left camera 35.
  • the image processing device 38 acquires the undulation angle ⁇ 1 of the boom 9 from the control device 30 of the crane 1.
  • the image processing device 38 determines that the crane 1 is in the traveling mode.
  • the image processing device 38 determines that the crane 1 is in the working mode when the undulation angle ⁇ 1 of the boom 9 acquired from the control device 30 of the crane 1 is larger than the reference angle ⁇ .
  • the image processing device 38 carries out a bird's-eye view image generation step, and generates a bird's-eye view image P1 from the peripheral image of the crane 1 taken by each vehicle body camera every unit time.
  • the image processing device 38 generates a front-viewed image (hereinafter, simply referred to as “overhead image”) A1 viewed from a virtual viewpoint set above the crane 1 from the image taken by the vehicle body front camera 32.
  • the image processing device 38 generates a rear bird's-eye view image A2 from the image taken by the vehicle body rear camera 33, generates a right bird's-eye view image A3 from the image taken by the vehicle body right camera 34, and generates a right bird's-eye view image A3 from the image taken by the vehicle body right camera 34. Generates a left bird's-eye view image A4 from the image taken by.
  • the image processing device 38 connects the front bird's-eye view image A1, the rear bird's-eye view image A2, the right bird's-eye view image A3, and the left bird's-eye view image A4 as one bird's-eye view image to generate the bird's-eye view image P1.
  • the portion of the crane 1 corresponding to the vehicle 2 is generated as a missing portion A5 that cannot be photographed by the vehicle body camera.
  • the range surrounded by the ring in FIGS. 7, 8 and 12 is the range displayed on the display device 37.
  • the image processing device 38 determines that the crane 1 is in the work mode, it executes a superimposed image generation step, and in the upper image of the crane 1 taken by the upper camera 36, the bird's-eye view image P1 is taken.
  • the image processing device 38 performs a superimposed image generation step, superimposes the complementary image P2 on the missing portion A5 of the bird's-eye view image P1, and creates a composite image P3 based on the bird's-eye view image P1 every unit time. To generate.
  • the image processing device 38 acquires the turning angle ⁇ 2 of the swivel base 7 from the control device 30 of the crane 1.
  • the image processing device 38 acquires the swivel as a swivel angle ⁇ 2.
  • the image processing device 38 rotates the composite image P3 counterclockwise by an angle ⁇ 2 and displays it on the display device 37. That is, in the image processing device 38, when the swivel table 7 is swiveled by an arbitrary angle in one direction, the swivel table 7 reconstructs the composite image P3 in which the missing portion in the bird's-eye view image P1 is supplemented by the complementary image P2. It is displayed by rotating it by the angle of rotation. By controlling in this way, the image system 31 is displayed on the display device 37 so that the composite image P3 is interlocked with the rotation of the swivel table 7 with reference to the swivel table 7. As a result, the entire circumference of the crane 1, including the entire crane 1 and the very vicinity of the crane 1, is displayed based on the cockpit reference, so that the operator can grasp the positional relationship between the circumference of the crane 1 and the boom 9. easy.
  • the crane 1 is operated by an operating tool provided in the cabin 17, but may be controlled by a remote control terminal 39.
  • step S110 of the image processing control the image processing device 38 starts shooting with the vehicle body front camera 32, the vehicle body rear camera 33, the vehicle body right camera 34, and the vehicle body left camera 35, and the crane.
  • the peripheral image of 1 is acquired, and the step is shifted to step S120.
  • step S120 the image processing device 38 starts the bird's-eye view image generation step A and shifts the step to step S121 (see FIG. 10).
  • step S121 in the bird's-eye view image generation step A the image processing device 38 corrects the distortion of the acquired image due to the lens as a distortion correction processing step, and shifts the step to step S122.
  • step S122 the image processing device 38 converts the acquired peripheral image of the crane 1 into a front bird's-eye view image A1, a rear bird's-eye view image A2, a right-side bird's-eye view image A3, and a left-side bird's-eye view image A4 as a bird's-eye view conversion processing step.
  • step S123 the image processing device 38 converts the acquired peripheral image of the crane 1 into a front bird's-eye view image A1, a rear bird's-eye view image A2, a right-side bird's-eye view image A3, and a left-side bird's-eye view image A4 as a bird's-eye view conversion processing step.
  • step S123 the image processing device 38 generates a bird's-eye view image P1 by joining adjacent individual bird's-eye view images from each vehicle body camera that has performed each process as one image as an image combining processing step.
  • the generation step A is completed, and the step is shifted to step S130 (see FIG. 9).
  • step S130 the image processing device 38 acquires the undulation angle ⁇ 1 of the boom 9 from the control device 30 of the crane 1, and causes the step to follow step S140.
  • step S140 the image processing device 38 determines whether or not the acquired undulation angle ⁇ 1 of the boom 9 is larger than the reference angle ⁇ .
  • the image processing device 38 shifts the step to step S150.
  • the image processing device 38 shifts the step to step S160.
  • step S150 the image processing device 38 starts the superimposed image generation step B and shifts the step to step S151 (see FIG. 11).
  • step S151 in the superimposed image generation step B the image processing device 38 starts shooting with the upper camera 36, acquires an upper image of the crane 1, and shifts the step to step S152.
  • step S152 the image processing apparatus 38 extracts a closed region from the upper image of the crane 1 by a known method such as binarization as an region extraction processing step, and shifts the step to step S153.
  • step S153 as a matching processing step, the image processing device 38 compares the region extracted in the upper image of the crane 1 with the reference image, identifies the region having a high degree of similarity as the complementary image P2 corresponding to the vehicle 2. The step is moved to step 154.
  • step S154 as a superimposition processing step, the image processing device 38 cuts out the complementary image P2 and corrects it so as to fit the missing portion of the bird's-eye view image P1, and superimposes the complementary image P2 on the bird's-eye view image P1 to superimpose the complementary image P1 on the bird's-eye view image P1.
  • the composite image P3 based on the above is generated, the superimposed image generation step B is completed, and the step is shifted to step S160 (see FIG. 9).
  • step S160 the image processing device 38 causes the display device 37 to display the generated image, and shifts the step to step S110.
  • the image processing device 38 of the image system 31 determines whether the crane 1 is in the traveling mode or the working mode based on the undulation angle ⁇ 1 of the boom 9. Therefore, the image system 31 always captures the upper image of the crane 1 as long as the upper camera 36 can capture the upper image of the crane 1. That is, in the image processing system, the entire circumference of the crane 1 is photographed by a camera suitable for photographing according to the state of the crane 1.
  • the image system 31 generates a bird's-eye view image P1 in the traveling mode, and generates a composite image P3 based on the bird's-eye view image P1 in the working mode.
  • the composite image P3 is superposed with the complementary image P2 of the vehicle 2 taken by the upper camera 36, the portion that cannot be taken by the vehicle body camera is supplemented. Therefore, the composite image P3 of the image system is displayed in real time even when an operator or the like rises on the vehicle 2 during the work. As a result, it is possible to generate an image of the entire circumference of the crane 1 including the crane 1 and the very vicinity of the crane 1 from the image actually taken.
  • the composite image P3 superimposes the complementary image P2 on the missing portion of the bird's-eye view image P1 generated based on the peripheral image of the crane 1 taken by the vehicle body camera, but the upper camera 36 takes a picture.
  • the corresponding portion of the bird's-eye view image P1 may be superimposed and displayed on the missing portion of the upper image of the crane 1.
  • the boom 9 enters the field of view of the upper camera 36 depending on the undulation angle ⁇ 1 of the boom 9, and a missing portion A6 in which the photographing area is blocked occurs. Therefore, in the image processing device 38 of the image system 31, a missing portion A6 blocked by the boom 9 according to the undulation angle ⁇ 1 of the boom 9 is registered in the image processing device 38 of the upper camera 36 for each undulation angle ⁇ 1 of the boom 9. There is.
  • the image processing device 38 specifies a region having a shape corresponding to the missing portion A6 of the upper image from the undulation angle ⁇ 1 of the boom 9. Further, the image processing device 38 identifies a position corresponding to the missing portion A6 of the upper image from the turning angle ⁇ 2 of the turning table 7 in the bird's-eye view image P1. Then, the image processing device 38 cuts out the position specified in the region of the specified shape from the bird's-eye view image P1 and generates it as the complementary image P4.
  • the image processing device 38 generates a composite image P5 in which the complementary image P4 is superimposed on the upper image of the crane 1. That is, the image processing device 38 generates a composite image P5 based on the upper image of the crane 1.
  • the image system 31 supplements the missing portion in the upper image with the image actually taken by combining the complementary image P4 and the bird's-eye view image P1.
  • the crane 1 is provided with each vehicle body camera on the front end portion, the rear end portion, and the left and right side surfaces of the vehicle 2, but the front end portion, the rear end portion, and the left and right side surfaces of the swivel base 7. It may be provided in. Further, the image processing device 38 of the image system 31 determines the traveling mode and the working mode of the crane 1 based on the undulation angle ⁇ 1 of the boom 9, but the operating state of the outrigger 5 and the turning angle ⁇ 2 of the swivel table 7 are determined. The traveling mode and the working mode of the crane 1 may be determined based on a state or a control signal that always occurs only in the working mode.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Jib Cranes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

作業車両全体および作業車両の極近傍を含む作業車両の全周に亘る範囲の画像を、実際に撮影している画像から生成することができる画像システムおよび前記画像システムを提供する。画像システムは、車両（２）に旋回台（７）を介して起伏可能なブーム（９）が設けられたクレーン（１）の画像システム（３１）であって、車両（２）に設けられる複数の車体カメラと、ブーム（９）に設けられる上部カメラ（３６）と、表示装置（３７）と、画像処理装置（３８）と、を備える。画像処理装置（３８）は、車体カメラが撮影したクレーン（１）の周辺画像と上部カメラ（３６）が撮影したクレーン（１）の上方画像とを取得し、前記周辺画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて俯瞰画像（Ｐ１）を生成し、俯瞰画像（Ｐ１）の欠落部分に前記上方画像の該当する補完画像（Ｐ２）を重畳した合成画像（Ｐ３）を表示装置（３７）に表示する。

Description

画像システムおよび画像システムを備える作業車両
　本発明は、画像システムおよび画像システムを備える作業車両に関する。
　従来、旋回台とブームを備える作業車両である移動式クレーンにおいて、走行時に車両に格納されているブーム等によって操縦席からの操縦者の視界が遮られて死角が生じる場合がある。また、旋回台に設けられている操縦席は、作業時において旋回台とともに旋回するため、操縦席からの死角の位置や範囲が変化する。このため、バックミラー等の位置を工夫しても運転席からの視認が容易でない場合があった。そこで、作業車両を中心とした周辺の俯瞰画像を生成することで操縦席から死角になる範囲を映し出して操縦席からの視野を間接的に広げる俯瞰画像システムが知られている。例えば、特許文献１の如くである。
　特許文献１に記載の俯瞰画像システムは、走行体に旋回可能な旋回台が設けられた作業車両の周辺画像を取得する複数のカメラと、各カメラで取得した画像に基づく俯瞰画像を表示する表示部と、各カメラで取得した画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて俯瞰画像を生成して表示部に表示させる制御部と、を備えている。俯瞰画像システムは、走行体と旋回台にそれぞれ複数のカメラが設けられている。俯瞰画像システムは、走行時と作業時において使用するカメラを切り替えることで適切な俯瞰画像を得ることができる。
　このように構成される俯瞰画像システムは、上方の仮想視点から見下ろした俯瞰画像を生成することで、あたかも上方にカメラが設けられているような視界を得ることができる。しかし、俯瞰画像システムは、走行体または旋回台に設けられたカメラで俯瞰画像を生成してため、走行体の極近傍と走行体の一部と旋回台はカメラの撮影範囲に含まれない。つまり、俯瞰画像システムでは、走行体の一部、旋回体自体および走行車両の極近傍に死角が生じており、操縦者による肉眼視認が必要であった。
特開２０１８－９５４４９号公報
　本発明の目的は、作業車両全体および作業車両の極近傍を含む作業車両の全周に亘る範囲の画像を、実際に撮影している画像から生成することができる画像システムおよび画像システムを備えた作業車両の提供を目的とする。
　本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
　即ち、本発明は、ブームを有する作業車両の走行体に設けられた撮影装置と通信可能に接続され、前記撮影装置が前記走行体の周辺を全周に亘り切れ目なく撮影した複数の周辺画像と前記撮影装置が前記走行体および前記走行体の周辺を上方から撮影した上方画像とに基づいて、合成画像を生成する画像処理装置と、前記合成画像を表示する表示装置と、を有し、前記画像処理装置は、前記複数の周辺画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて俯瞰画像を生成し、前記俯瞰画像および前記上方画像の一方の欠落部分に他方の該当する部分を重畳して前記合成画像を生成する。
　本発明は、以下に示すような効果を奏する。
　本発明においては、作業車両の上方画像と作業車両周辺の俯瞰画像とを合成することで、上方画像と俯瞰画像とにおいて欠落している部分が実際に撮影している画像で補われる。これにより、作業車両全体および作業車両の極近傍を含む作業車両の全周に亘る範囲の画像を、実際に撮影している画像から生成することができる。
クレーンの全体構成を示す側面図。 クレーンの制御構成を示すブロック図。 クレーンの概略構成を示す平面図。 画像システムの構成を示すブロック図。 クレーンの走行モード時と作業モード時のブームの起伏を示す模式図。 図６は車体カメラと上部カメラとが撮影した画像を示す。図６Ａは車体カメラが撮影した周辺画像から生成した俯瞰画像を示し、図６Ｂは上部カメラが撮影した上方画像から生成した補完画像を示す。 俯瞰画像と補完画像とを重畳した合成画像を示す図。 図８はクレーンにおける旋回台の旋回と俯瞰画像の表示態様の関係を示す。図８Ａはクレーンの旋回台が旋回した状態を示し、図８Ｂは回転して表示された合成画像を示す。 画像システムにおける画像処理制御の態様を表すフローチャートを示す図。 画像システムにおける俯瞰画像生成工程を表すフローチャートを示す図。 画像システムにおける重畳画像生成工程を表すフローチャートを示す図。 図１２は重畳画像生成工程における他の実施形態を示す。図１２Ａはクレーンの上方画像における欠落部分を示し、図１２Ｂは俯瞰画像において、欠落部分に該当する補完画像を示し、図１２Ｃは上方画像の欠落部分に補完画像を重畳させた合成画像を示す。
　以下に、図１と図２とを用いて、本発明における作業車両の一実施形態であるクレーン１について説明する。なお、本実施形態においては、ラフテレーンクレーンついて説明を行うが、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン、高所作業車等のブームを有する作業車両であればよい。
　図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、走行体である車両２、作業装置であるクレーン装置６、制御装置３０およびクレーン装置６を遠隔操作可能な遠隔操作端末３９（図２参照）を有する。また、クレーン１は、画像システム３１（図２参照）を具備する。
　車両２は、クレーン装置６を搬送する移動体である。車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。車両２には、アウトリガ５が設けられている。車両２は、アウトリガ５を車両２の幅方向に延伸させるとともにジャッキシリンダを接地させることにより、クレーン１の作業可能範囲を広げることができる。
　クレーン装置６は、荷物Ｗをワイヤロープによって吊り上げる装置である。クレーン装置６は、旋回台７、旋回用油圧モータ８、ブーム９、メインフックブロック１０、サブフックブロック１１、起伏用油圧シリンダ１２、メインウインチ１３、メイン用油圧モータ１３ａ、メインワイヤロープ１４、サブウインチ１５、サブ用油圧モータ１５ａ、サブワイヤロープ１６およびキャビン１７等を具備する。
　旋回台７は、クレーン装置６を旋回する装置である。旋回台７は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台７には、アクチュエータである旋回用油圧モータ８が設けられている。旋回台７は、旋回用油圧モータ８によって一方向と他方向とに旋回可能に構成されている。
　旋回用油圧モータ８は、電磁比例切換弁である旋回用バルブ２３（図２参照）によって回転操作される。旋回用バルブ２３は、旋回用油圧モータ８に供給される作動油の流量を任意の流量に制御することができる。旋回台７には、旋回台７の基準位置からの旋回した角度である旋回角度θ２を検出する旋回用センサ２７（図２参照）が設けられている。
　ブーム９は、荷物Ｗを吊り上げ可能な状態にワイヤロープを支持する梁部材である。ブーム９は、ベースブーム部材の基端が旋回台７の略中央に揺動可能に設けられている。ブーム９は、各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。また、ブーム９には、ジブ９ａが設けられている。
　吊り荷カメラ９ｂ（図２参照）は、荷物Ｗおよび荷物Ｗ周辺の地物を撮影する撮影装置である。吊り荷カメラ９ｂは、ブーム９の先端部に設けられている。吊り荷カメラ９ｂは、荷物Ｗの鉛直上方から荷物Ｗおよびクレーン１周辺の地物や地形を撮影可能に構成されている。
　伸縮用油圧シリンダは、電磁比例切換弁である伸縮用バルブ２４（図２参照）によって伸縮操作される。ブーム９には、ブーム９の長さを検出する伸縮用センサ２８や荷物Ｗの重量を検出する重量センサ等が設けられている。
　メインフックブロック１０とサブフックブロック１１とは、荷物Ｗを吊る部材である。メインフックブロック１０には、メインワイヤロープ１４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック１０ａとが設けられている。サブフックブロック１１には、荷物Ｗを吊るサブフック１１ａが設けられている。
　起伏用油圧シリンダ１２は、ブーム９を起立および倒伏させ、ブーム９の姿勢を保持するアクチュエータである。起伏用油圧シリンダ１２は、電磁比例切換弁である起伏用バルブ２５（図２参照）によって伸縮操作される。ブーム９には、ブーム９の起伏角度θ１を検出する起伏用センサ２９（図２参照）が設けられている。
　メインウインチ１３とサブウインチ１５とは、メインワイヤロープ１４とサブワイヤロープ１６との繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行う。メインウインチ１３は、メインワイヤロープ１４が巻きつけられるメインドラムがアクチュエータであるメイン用油圧モータ１３ａによって回転され、サブウインチ１５は、サブワイヤロープ１６が巻きつけられるサブドラムがアクチュエータであるサブ用油圧モータ１５ａによって回転されるように構成されている。
　メイン用油圧モータ１３ａは、電磁比例切換弁であるメイン用バルブ２６ｍ（図２参照）によって回転操作される。メインウインチ１３は、メイン用バルブ２６ｍによってメイン用油圧モータ１３ａを制御し、任意の繰り入れおよび繰り出し速度に操作可能に構成されている。同様に、サブウインチ１５は、電磁比例切換弁であるサブ用バルブ２６ｓ（図２参照）によってサブ用油圧モータ１５ａを制御し、任意の繰り入れおよび繰り出し速度に操作可能に構成されている。
　キャビン１７は、旋回台７に搭載されている。図示しない操縦席が設けられている。操縦席には、車両２を走行操作するための操作具やクレーン装置６を操作するための旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍ、サブドラム操作具２１ｓ等が設けられている。
　図２に示すように、通信機２２は、広域情報通信網等を介して遠隔操作端末３９からの制御信号を受信し、広域情報通信網等を介してクレーン装置６からの制御情報等を送信する装置である。通信機２２は、キャビン１７に設けられている。通信機２２は、遠隔操作端末３９からの制御信号等を受信するとクレーン１の制御装置３０に転送するように構成されている。
　制御装置３０は、各操作弁を介してクレーン１のアクチュエータを制御する装置である。制御装置３０は、キャビン１７内に設けられている。制御装置３０は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置３０は、各アクチュエータや切換え弁、センサ等の動作を制御するために種々のプログラムやデータが格納されている。
　制御装置３０は、吊り荷カメラ９ｂ、旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓに接続され、吊り荷カメラ９ｂの映像を取得し、旋回操作具１８、起伏操作具１９、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓのそれぞれの操作量を取得することができる。
　制御装置３０は、通信機２２に接続され、遠隔操作端末３９からの制御信号を取得し、クレーン装置６からの制御情報や吊り荷カメラ９ｂからの映像等を送信することができる。
　制御装置３０は、旋回用バルブ２３、伸縮用バルブ２４、起伏用バルブ２５、メイン用バルブ２６ｍおよびサブ用バルブ２６ｓに接続され、旋回用バルブ２３、起伏用バルブ２５、メイン用バルブ２６ｍおよびサブ用バルブ２６ｓに制御信号を伝達することができる。
　制御装置３０は、旋回用センサ２７、伸縮用センサ２８および起伏用センサ２９に接続され、旋回台７の旋回角度θ２、ブーム長さ、起伏角度θ１等の姿勢情報および荷物Ｗの重量を取得することができる。
　制御装置３０は、旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓの操作量に基づいて各操作具に対応した制御信号を生成することができる。
　画像システム３１は、クレーン１の周辺画像と上方画像とを合成してクレーン１の全周に亘る範囲の画像を生成するシステムである。画像システム３１は、クレーン１のキャビン１７内に設けられ、制御装置３０と接続されている。
　画像システム３１は、制御装置３０に接続され、制御装置３０から旋回台７の旋回角度θ２、ブーム９の起伏角度θ１を取得することができる。また、画像システム３１は、アウトリガ５のジャッキシリンダを接地させる操作信号を制御装置３０から取得することができる。
　このように構成されるクレーン１は、車両２を走行させることで任意の位置にクレーン装置６を移動させることができる。また、クレーン１は、起伏操作具１９の操作によって起伏用油圧シリンダ１２でブーム９を任意の起伏角度θ１に起立させて、伸縮操作具２０の操作によってブーム９を任意のブーム長さに延伸させたりすることでクレーン装置６の揚程や作業半径を拡大することができる。また、クレーン１は、サブドラム操作具２１ｓ等によって荷物Ｗを吊り上げて、旋回操作具１８の操作によって旋回台７を旋回させることで荷物Ｗを搬送することができる。
　次に、図３および図４を用いて、画像システム３１について具体的に説明する。画像システム３１は、クレーン１の周囲の俯瞰画像Ｐ１と上方画像から抽出した補完画像Ｐ２とを合成してクレーン１を含むクレーン１の全周に亘る範囲の合成画像Ｐ３を生成するシステムである。クレーン１の全周に亘る範囲の画像とは、クレーン１の鉛直方向の上側（上方）から見てクレーン１の車両２および車両２を取り囲む地面（走行している面）および地物の画像であり、車両２と隣接する位置から車両２を中心とする所定の距離の位置までの領域の地面および地物の画像である（図６参照）。
　図３と図４とに示すように、画像システム３１は、車両２に設けられる車体カメラである車体前方カメラ３２、車体後方カメラ３３、車体右方カメラ３４および車体左方カメラ３５と、ブーム９に設けられる上部カメラ３６と、表示装置３７と、画像処理装置３８とを備える。なお、車体前方カメラ３２、車体後方カメラ３３、車体右方カメラ３４、車体左方カメラ３５および上部カメラ３６は、本発明の「撮影装置」に対応し、画像処理装置３８と通信可能に接続される。
　車体前方カメラ３２、車体後方カメラ３３、車体右方カメラ３４および車体左方カメラ３５は、例えば略１８０度の画角を有する広角カメラから構成されている。車体前方カメラ３２は、車両２の前進方向側の端部である前端部に設けられている。車体前方カメラ３２は、車両２の前方の画像を撮影する。車体後方カメラ３３は、車両２の後進方向側の端部である後端部に設けられている。車体後方カメラ３３は、車両２の後方の画像を撮影する。車体右方カメラ３４は、車両２の進行方向に向かって右側面に設けられている。車体右方カメラ３４は、車両２の右方の画像を撮影する。車体左方カメラ３５は、車両２の進行方向に向かって左側面に設けられている。車体左方カメラ３５は、車両２の左方の画像を撮影する。なお、各車体カメラは、車両２の周辺の画像を全周に亘り切れ目なく取得できる位置に設けられていればよい。
　上部カメラ３６は、例えば略１８０度の画角を有する広角カメラから構成されている。上部カメラ３６は、ブーム９のうち、旋回台７に揺動可能に支持されているベースブーム部材の先端部に設けられる（図１参照）。上部カメラ３６は、ブーム９の起立状態において、車両２の上方からの車両２および車両２の周辺の画像であるクレーン１の上方画像を取得する。なお、本実施形態において、上部カメラ３６は、ベースブーム部材に設けられているが、車両２の上方からの車両２および車両２の周辺の画像であるクレーン１の上方画像を取得できる部分に設けられていればよい。
　表示装置３７は、各車体カメラや上部カメラ３６の画像を表示させる装置である。表示装置３７は、キャビン１７の内部に配置されている。なお、表示装置３７は、キャビン１７の外部でクレーン１を遠隔操作する遠隔操作端末３９に設けられていてもよい。
　画像処理装置３８は、各車体カメラが撮影したクレーン１の周辺画像や上部カメラ３６が撮影したクレーン１の上方画像を変換したり合成したりする処理装置である。画像処理装置３８は、キャビン１７内に設けられている。画像処理装置３８は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。画像処理装置３８は、各車体カメラ、上部カメラ３６および各センサを制御し、画像やセンサからの信号を取得し、画像処理を行うために種々のプログラムやデータが格納されている。
　画像処理装置３８は、車体前方カメラ３２、車体後方カメラ３３、車体右方カメラ３４、車体左方カメラ３５および上部カメラ３６に接続され、車体前方カメラ３２、車体後方カメラ３３、車体右方カメラ３４、車体左方カメラ３５が撮影したクレーン１の周辺画像と上部カメラ３６が撮影したクレーン１の上方画像を取得することができる。また、画像処理装置３８は、表示装置３７と接続され、表示装置３７に生成した画像を送信することができる。
　画像処理装置３８は、各車体カメラからの信号に基づく俯瞰画像Ｐ１（その画像データ）、上部カメラ３６からの信号に基づく補完画像Ｐ２（その画像データ）、俯瞰画像Ｐ１と補完画像Ｐ２の合成画像Ｐ３（その画像データ）の生成処理や、合成画像Ｐ３を表示装置３７に表示させる表示処理や、取得した各種情報の取得処理等の制御を行う。
　画像処理装置３８は、車体前方カメラ３２、車体後方カメラ３３、車体右方カメラ３４および車体左方カメラ３５が撮影したクレーン１の周辺画像から俯瞰画像Ｐ１を単位時間毎に生成する俯瞰画像生成工程を実施することができる（図１０参照）。俯瞰画像生成工程は、例えば歪み補正処理工程（ステップＳ１２１）と、俯瞰変換処理工程（ステップＳ１２２）と、画像結合処理工程（ステップＳ１２３）とから構成される。なお、画像処理装置３８は、俯瞰画像Ｐ１を生成すれば、これらの各処理を同時に行ってもよく、他の内容の処理を行ってもよい。
　歪み補正処理工程として、画像処理装置３８は、各車体カメラが撮影した画像の入力画素の座標値にレンズ歪み係数やアスペクト比等に基づく係数を乗じて出力画素の座標値に変換することで、レンズによる歪みを補正する。
　俯瞰変換処理工程として、画像処理装置３８は、適宜選択した入力画素の座標値にカメラ取付角等に基づく種々の係数を乗じて出力画素の全ての座標値を形成することで、クレーン１の上方に設定した仮想視点から見下ろした撮影画像（個別の俯瞰画像）に変換する。
　画像結合処理工程として、画像処理装置３８は、対応する座標値の輝度を線形補間等することで繋ぎ目の違和感を無くしつつ上記した各処理を行った各車体カメラからの隣り合う個別の俯瞰画像を１枚の画像として繋ぎ合わせて俯瞰画像Ｐ１を生成する。
　画像処理装置３８は、上部カメラ３６が撮影したクレーン１の上方画像において、俯瞰画像Ｐ１の欠落部分に相当する部分の画像である補完画像Ｐ２を生成し、俯瞰画像Ｐ１の欠落部分に補完画像Ｐ２を重畳させた合成画像Ｐ３を単位時間毎に生成する重畳画像生成工程を実施することができる（図１１参照）。重畳画像生成工程は、例えば領域抽出処理工程（ステップＳ１５２）と、マッチング処理工程（ステップＳ１５３）と、重畳処理工程（ステップＳ１５４）とから構成される。なお、画像処理装置３８は、合成画像Ｐ３を生成すれば、これらの各処理を同時に行ってもよく、他の内容の処理を行ってもよい。なお、俯瞰画像Ｐ１の欠落部分とは、各車体カメラの視野に含まれていないクレーン１の車両２および旋回台７の画像に相当する部分である。
　領域抽出処理工程として、画像処理装置は、上部カメラ３６が撮影したクレーン１の上方画像において二値化等の既知の方法によって閉じた領域を抽出する。
　マッチング処理工程として、画像処理装置３８は、予め登録されている車両２の画像を基準画像として、基準画像を上方画像上でスライドさせ、上方画像において抽出した領域と基準画像とを比較する。画像処理装置３８は、基準画像との類似度が高い領域を車両２に該当する補完画像Ｐ２として特定する。
　重畳処理工程として、画像処理装置３８は、特定した補完画像Ｐ２を切り抜いて、俯瞰画像Ｐ１の欠落部分に適合するように、レンズ歪み係数やアスペクト比等に基づく係数を乗じて歪みを補正する。さらに、画像処理装置３８は、俯瞰画像Ｐ１に補正した補完画像Ｐ２を重畳させた状態で合成画像Ｐ３を生成する。
　このように構成される画像システム３１は、車体カメラである車体前方カメラ３２、車体後方カメラ３３、車体右方カメラ３４および車体左方カメラ３５が撮影したクレーン１の周辺画像から俯瞰画像Ｐ１を単位時間毎に生成することができる。また、画像システム３１は、上部カメラ３６が撮影したクレーン１の上方画像から俯瞰画像Ｐ１の欠落部分に相当する部分の画像である補完画像Ｐ２を単位時間毎に生成することができる。さらに、画像システム３１は、車体２の周辺の画像から生成される俯瞰画像Ｐ１の欠落部分に補完画像Ｐ２を重畳させた合成画像Ｐ３を単位時間毎に合成することができる。
　次に、図５から図８を用いてクレーン１が走行可能な状態である走行モードとクレーン装置６による作業モードにおける画像システム３１の制御について説明する。本実施形態において、クレーン１の走行時とは、ブーム９の使用が現実的でなく上部カメラ３６の視野が十分に確保できない基準角度α以下まで倒伏されている状態をいう。また、クレーン１の作業モードとは、ブーム９が基準角度αよりも起立されている状態をいう。
　画像システム３１の画像処理装置３８は、クレーン１が起動されると、車体前方カメラ３２、車体後方カメラ３３、車体右方カメラ３４および車体左方カメラ３５でクレーン１の周囲の撮影を開始する。
　図５に示すように、画像処理装置３８は、クレーン１の制御装置３０からブーム９の起伏角度θ１を取得する。画像処理装置３８は、ブーム９の起伏角度θ１が基準角度α以下である場合、クレーン１が走行モードであると判断する。一方、画像処理装置３８は、クレーン１の制御装置３０から取得したブーム９の起伏角度θ１が基準角度αよりも大きい場合、クレーン１が作業モードであると判断する。
　図６Ａに示すように、画像処理装置３８は、俯瞰画像生成工程を実施し、各車体カメラが撮影したクレーン１の周辺画像から俯瞰画像Ｐ１を単位時間毎に生成する。画像処理装置３８は、車体前方カメラ３２が撮影した画像から、クレーン１の上方に設定した仮想視点から見下ろした前方撮影画像（以下、単に「俯瞰画像」と記す）Ａ１を生成する。同様に、画像処理装置３８は、車体後方カメラ３３が撮影した画像から後方俯瞰画像Ａ２を生成し、車体右方カメラ３４が撮影した画像から右方俯瞰画像Ａ３を生成し、車体左方カメラ３５が撮影した画像から左方俯瞰画像Ａ４を生成する。画像処理装置３８は、前方俯瞰画像Ａ１、後方俯瞰画像Ａ２、右方俯瞰画像Ａ３および左方俯瞰画像Ａ４を１枚の俯瞰画像として繋ぎ合わせて俯瞰画像Ｐ１を生成する。この際、クレーン１の車両２に相当する部分は、車体カメラで撮影できない欠落部分Ａ５として生成される。なお、図７、図８および図１２において円環に囲まれた範囲が表示装置３７に表示される範囲である。
　図６Ｂに示すように、画像処理装置３８は、クレーン１が作業モードであると判断した場合、重畳画像生成工程を実施し、上部カメラ３６が撮影したクレーン１の上方画像において、俯瞰画像Ｐ１の欠落部分Ａ５に相当する部分である補完画像Ｐ２を生成する。
　図７に示すように、画像処理装置３８は、重畳画像生成工程を実施し、俯瞰画像Ｐ１の欠落部分Ａ５に補完画像Ｐ２を重畳させ、俯瞰画像Ｐ１を基礎とする合成画像Ｐ３を単位時間毎に生成する。
　また、図８Ａに示すように、画像処理装置３８は、クレーン１の制御装置３０から旋回台７の旋回角度θ２を取得する。旋回台７が基準位置から時計回りに角度θ２だけ旋回した場合、画像処理装置３８は、旋回角度θ２として取得する。
　図８Ｂに示すように、画像処理装置３８は、合成画像Ｐ３を反時計回りに角度θ２だけ回転させて表示装置３７に表示させる。つまり、画像処理装置３８は、旋回台７が一方向に任意の角度だけ旋回した場合、俯瞰画像Ｐ１において欠落している部分を補完画像Ｐ２で補った合成画像Ｐ３を他方向に旋回台７が旋回した角度だけ回転させて表示する。このように制御することで、画像システム３１は、合成画像Ｐ３が旋回台７を基準として旋回台７の旋回に連動するように表示装置３７に表示される。これにより、クレーン１の全体およびクレーン１の極近傍を含むクレーン１の全周に亘る範囲が操縦席基準で表示されるので、操縦者がクレーン１の周囲とブーム９との位置関係を把握し易い。
　以下に、図９から図１１を用いて、画像システム３１による俯瞰画像Ｐ１、補完画像Ｐ２および合成画像Ｐ３を生成する画像処理制御について具体的に説明する。以下の実施形態において、クレーン１は、キャビン１７内に設けられている操作具によって操作されているが、遠隔操作端末３９によって制御されてもよい。
　図９に示すように、画像処理制御のステップＳ１１０において、画像処理装置３８は、車体前方カメラ３２、車体後方カメラ３３、車体右方カメラ３４および車体左方カメラ３５での撮影を開始するとともにクレーン１の周辺画像を取得し、ステップをステップＳ１２０に移行させる。
　ステップＳ１２０において、画像処理装置３８は、俯瞰画像生成工程Ａを開始し、ステップをステップＳ１２１に移行させる（図１０参照）。
　図１０に示すように、俯瞰画像生成工程ＡにおけるステップＳ１２１において、画像処理装置３８は、歪み補正処理工程として、取得した画像のレンズによる歪みを補正し、ステップをステップＳ１２２に移行させる。
　ステップＳ１２２において、画像処理装置３８は、俯瞰変換処理工程として、取得したクレーン１の周辺画像を前方俯瞰画像Ａ１、後方俯瞰画像Ａ２、右方俯瞰画像Ａ３および左方俯瞰画像Ａ４に変換し、ステップをステップＳ１２３に移行させる。
　ステップＳ１２３において、画像処理装置３８は、画像結合処理工程として、各処理を行った各車体カメラからの隣り合う個別の俯瞰画像を１枚の画像として繋ぎ合わせて俯瞰画像Ｐ１を生成して俯瞰画像生成工程Ａを終了し、ステップをステップＳ１３０に移行する（図９参照）。
　図９に示すように、ステップＳ１３０において、画像処理装置３８は、クレーン１の制御装置３０からブーム９の起伏角度θ１を取得し、ステップをステップＳ１４０に以降させる。
　ステップＳ１４０において、画像処理装置３８は、取得したブーム９の起伏角度θ１が基準角度αよりも大きいか否かを判定する。その結果、ブーム９の起伏角度θ１が基準角度αよりも大きい場合、すなわち、クレーン１が作業モードである場合、画像処理装置３８はステップをステップＳ１５０に移行させる。一方、ブーム９の起伏角度θ１が基準角度α以下である場合、すなわち、クレーン１が走行モードの場合、画像処理装置３８はステップをステップＳ１６０に移行させる。
　ステップＳ１５０において、画像処理装置３８は、重畳画像生成工程Ｂを開始し、ステップをステップＳ１５１に移行させる（図１１参照）。
　図１１に示すように、重畳画像生成工程ＢにおけるステップＳ１５１において、画像処理装置３８は、上部カメラ３６での撮影を開始するとともにクレーン１の上方画像を取得し、ステップをステップＳ１５２に移行させる。
　ステップＳ１５２において、画像処理装置３８は、領域抽出処理工程として、クレーン１の上方画像において二値化等の既知の方法によって閉じた領域を抽出し、ステップをステップＳ１５３に移行させる。
　ステップＳ１５３において、画像処理装置３８は、マッチング処理工程として、クレーン１の上方画像において抽出した領域と基準画像とを比較し、類似度の高い領域を車両２に該当する補完画像Ｐ２として特定し、ステップをステップ１５４に移行させる。
　ステップＳ１５４において、画像処理装置３８は、重畳処理工程として、補完画像Ｐ２を切り抜いて俯瞰画像Ｐ１の欠落部分に適合するように補正するとともに、補完画像Ｐ２を俯瞰画像Ｐ１に重畳させて俯瞰画像Ｐ１を基礎とする合成画像Ｐ３を生成して重畳画像生成工程Ｂを終了し、ステップをステップＳ１６０に移行させる（図９参照）。
　図９に示すように、ステップＳ１６０において、画像処理装置３８は、表示装置３７に生成した画像を表示させて、ステップをステップＳ１１０に移行させる。
　このように構成することで、画像システム３１の画像処理装置３８は、ブーム９の起伏角度θ１に基づいて、クレーン１が走行モードか作業モードであるかを判定する。このため、画像システム３１は、上部カメラ３６がクレーン１の上方画像を撮影できる状態であれば常にクレーン１の上方画像を撮影する。つまり、画像処理システムは、クレーン１の全周に亘る範囲がクレーン１の状態に応じて撮影に適したカメラで撮影される。画像システム３１は、走行モードの場合に俯瞰画像Ｐ１を生成し、作業モードの場合に俯瞰画像Ｐ１を基礎とする合成画像Ｐ３を生成する。合成画像Ｐ３は、上部カメラ３６が撮影した車両２の補完画像Ｐ２が重畳されているので、車体カメラでは撮影できない部分が補われている。従って、画像システムの合成画像Ｐ３は、作業中に車両２の上に作業者等が上がった場合でもリアルタイムに表示される。これにより、クレーン１およびクレーン１の極近傍を含むクレーン１の全周に亘る範囲の画像を、実際に撮影している画像から生成することができる。
　なお、本実施形態において、合成画像Ｐ３は、車体カメラが撮影したクレーン１の周辺画像に基づいて生成された俯瞰画像Ｐ１の欠落部分に補完画像Ｐ２を重畳しているが、上部カメラ３６が撮影したクレーン１の上方画像の欠落部分に俯瞰画像Ｐ１の該当する部分を重畳表示してもよい。
　図１２Ａに示すように、クレーン１の上方画像は、ブーム９の起伏角度θ１によっては、上部カメラ３６の視野にブーム９が入り込み、撮影領域が遮られた欠落部分Ａ６が生じる。そこで、画像システム３１の画像処理装置３８には、上部カメラ３６の撮影領域において、ブーム９の起伏角度θ１に応じてブーム９に遮られる欠落部分Ａ６がブーム９の起伏角度θ１毎に登録されている。
　図１２Ｂに示すように、画像処理装置３８は、ブーム９の起伏角度θ１から上方画像の欠落部分Ａ６に相当する形状の領域を特定する。さらに、画像処理装置３８は、俯瞰画像Ｐ１において、旋回台７の旋回角度θ２から上方画像の欠落部分Ａ６に相当する位置を特定する。そして、画像処理装置３８は、特定した形状の領域で特定した位置を俯瞰画像Ｐ１から切り出し、補完画像Ｐ４として生成する。
　図１２Ｃに示すように、画像処理装置３８は、クレーン１の上方画像に補完画像Ｐ４を重畳させた合成画像Ｐ５を生成する。つまり、画像処理装置３８は、クレーン１の上方画像を基礎とする合成画像Ｐ５を生成する。このように構成することで、画像システム３１は、補完画像Ｐ４と俯瞰画像Ｐ１との合成により上方画像において欠落している部分が実際に撮影している画像で補われる。これにより、クレーン１全体およびクレーン１の極近傍を含むクレーン１の全周に亘る範囲の画像を実際に撮影している画像から生成することができる。
　なお、本実施形態において、クレーン１には、各車体カメラが車両２の前端部、後端部および左右両側面に設けられているが、旋回台７の前端部、後端部および左右両側面に設けられてもよい。また、画像システム３１の画像処理装置３８は、ブーム９の起伏角度θ１によってクレーン１の走行モードと作業モードとを判定しているが、アウトリガ５の動作状態や旋回台７の旋回角度θ２など、作業モード時のみに必ず生じる状態や制御信号によってクレーン１の走行モードと作業モードとを判定してもよい。
　上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。
　２０１９年６月２０日出願の特願２０１９－１１４９４３の日本出願に含まれる明細書、図面および要約書の開示内容は、全て本願に援用される。
　１　クレーン
　６　クレーン装置
　９　ブーム
　３０　制御装置
　３１　画像システム
　３２　車体前方カメラ
　３３　車体後方カメラ
　３４　車体右方カメラ
　３５　車体左方カメラ
　３６　上部カメラ
　３７　表示装置
　Ｐ１　俯瞰画像
　Ｐ２　補完画像
　Ｐ３　合成画像

Claims (11)

  1. 　ブームを有する作業車両の走行体に設けられた撮影装置と通信可能に接続され、前記撮影装置が前記走行体の周辺を全周に亘り切れ目なく撮影した複数の周辺画像と前記撮影装置が前記走行体および前記走行体の周辺を上方から撮影した上方画像とに基づいて、合成画像を生成する画像処理装置と、
    　前記合成画像を表示する表示装置と、を有し、
    　前記画像処理装置は、
    　前記複数の周辺画像を上方の仮想視点から見下ろした画像に変換し繋ぎ合わせて俯瞰画像を生成し、
    　前記俯瞰画像および前記上方画像の一方の欠落部分に他方の該当する部分を重畳して前記合成画像を生成する、
    　画像システム。
  2. 　前記画像処理装置は、前記俯瞰画像の欠落部分に前記上方画像の該当する部分を重畳する、
    　請求項１に記載の画像システム。
  3. 　前記画像処理装置は、前記上方画像の欠落部分に前記俯瞰画像の該当する部分を重畳する、
    　請求項１に記載の画像システム。
  4. 　前記走行体には、旋回台を介して前記ブームが設けられており、
    　前記画像処理装置は、前記旋回台が一方向に旋回した場合、前記表示装置に表示中の前記合成画像を、他方向に前記旋回台が旋回した角度だけ回転させる、
    　請求項１から請求項３のいずれか一項に記載の画像システム。
  5. 　前記ブームは、起伏可能であり、
    　前記画像処理装置は、
    　前記俯瞰画像の生成中に前記ブームの起伏角度が基準角度を超えた場合、前記合成画像の生成を開始する、
    　請求項１から請求項４のいずれか一項に記載の画像システム。
  6. 　前記画像処理装置は、
    　前記作業車両が走行モードの場合、前記俯瞰画像を生成し、前記作業車両が作業モードの場合、前記合成画像を生成する、
    　請求項１から請求項５のいずれか一項に記載の画像システム。
  7. 　前記撮影装置は、前記複数の周辺画像を撮影する複数の車体カメラと、前記上方画像を撮影する上部カメラと、を含む、
    　請求項１から請求項６のいずれか一項に記載の画像システム。
  8. 　前記画像処理装置は、前記旋回台に搭載されたキャビン内に設けられている、
    　請求項１から請求項７のいずれか一項に記載の画像システム。
  9. 　前記表示装置は、前記旋回台に搭載されたキャビンの内部に配置されている、
    　請求項１から請求項８のいずれか一項に記載の画像システム。
  10. 　前記表示装置は、前記旋回台に搭載されたキャビンの外部で前記作業車両を遠隔操作する遠隔操作端末に設けられている、
    　請求項１から請求項８のいずれか一項に記載の画像システム。
  11. 　請求項１から請求項９のいずれか一項に記載の画像システムを備える作業車両。
PCT/JP2020/024136 2019-06-20 2020-06-19 画像システムおよび画像システムを備える作業車両 WO2020256101A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20826038.0A EP3988491A4 (en) 2019-06-20 2020-06-19 IMAGE SYSTEM AND CONSTRUCTION MACHINE PROVIDED WITH THE IMAGE SYSTEM
JP2021526916A JPWO2020256101A1 (ja) 2019-06-20 2020-06-19
US17/615,756 US20220315391A1 (en) 2019-06-20 2020-06-19 Image system and work vehicle provided with image system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019114943 2019-06-20
JP2019-114943 2019-06-20

Publications (1)

Publication Number Publication Date
WO2020256101A1 true WO2020256101A1 (ja) 2020-12-24

Family

ID=74040508

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024136 WO2020256101A1 (ja) 2019-06-20 2020-06-19 画像システムおよび画像システムを備える作業車両

Country Status (4)

Country Link
US (1) US20220315391A1 (ja)
EP (1) EP3988491A4 (ja)
JP (1) JPWO2020256101A1 (ja)
WO (1) WO2020256101A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011151742A (ja) * 2010-01-25 2011-08-04 Tadano Ltd 画像表示システム
JP2015139158A (ja) * 2014-01-23 2015-07-30 クラリオン株式会社 重機用周辺監視装置
WO2018047954A1 (ja) * 2016-09-09 2018-03-15 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法及びプログラム
JP2018095449A (ja) 2016-12-15 2018-06-21 株式会社タダノ 遠隔操作端末
WO2019077993A1 (ja) * 2017-10-17 2019-04-25 株式会社タダノ 作業車両
JP2019114943A (ja) 2017-12-25 2019-07-11 株式会社メガチップス 送信回路及び該送信回路の制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP6080450B2 (ja) * 2012-09-21 2017-02-15 株式会社タダノ 監視カメラ装置
AU2016242761B2 (en) * 2015-03-31 2019-08-08 Komatsu Ltd. Working machine
KR102449834B1 (ko) * 2017-02-17 2022-09-29 스미도모쥬기가이고교 가부시키가이샤 작업기계용 주변감시 시스템
JP6958216B2 (ja) * 2017-10-17 2021-11-02 株式会社タダノ 作業車両
JP7095287B2 (ja) * 2018-01-22 2022-07-05 コベルコ建機株式会社 旋回式油圧作業機械
JP7151532B2 (ja) * 2019-02-14 2022-10-12 株式会社タダノ クレーンおよびクレーンの経路生成システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011151742A (ja) * 2010-01-25 2011-08-04 Tadano Ltd 画像表示システム
JP2015139158A (ja) * 2014-01-23 2015-07-30 クラリオン株式会社 重機用周辺監視装置
WO2018047954A1 (ja) * 2016-09-09 2018-03-15 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法及びプログラム
JP2018095449A (ja) 2016-12-15 2018-06-21 株式会社タダノ 遠隔操作端末
WO2019077993A1 (ja) * 2017-10-17 2019-04-25 株式会社タダノ 作業車両
JP2019114943A (ja) 2017-12-25 2019-07-11 株式会社メガチップス 送信回路及び該送信回路の制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3988491A4

Also Published As

Publication number Publication date
EP3988491A4 (en) 2023-08-02
US20220315391A1 (en) 2022-10-06
JPWO2020256101A1 (ja) 2020-12-24
EP3988491A1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
US11292699B2 (en) Remote operation terminal and work vehicle provided with remote operation terminal
CN110062744B (zh) 远程操作终端及具备远程操作终端的作业车辆
JP6321977B2 (ja) 重機用周辺監視装置
JP2008312004A (ja) カメラシステム及び機械装置
JP2011151742A (ja) 画像表示システム
WO2020235681A1 (ja) 遠隔操作端末および遠隔操作端末を備える移動式クレーン
JP7091729B2 (ja) 遠隔操作端末および遠隔操作端末を備える作業車両
JP7087475B2 (ja) 遠隔操作端末および遠隔操作端末を備える移動式クレーン
WO2020153325A1 (ja) クレーン
CN111052734B (zh) 作业车辆
WO2014119711A1 (ja) 運搬機械の位置調整システム
JP7114950B2 (ja) 遠隔操作端末及び作業車両
KR101811926B1 (ko) 무인비행체를 이용한 타워크레인의 운전 보조시스템 및 이를 이용한 타워크레인의 영상 제공 방법
WO2020256101A1 (ja) 画像システムおよび画像システムを備える作業車両
WO2020080434A1 (ja) クレーン装置
JP7172199B2 (ja) 遠隔操作端末及び作業車両
JP6958216B2 (ja) 作業車両
JP7099150B2 (ja) クレーン及び情報共有システム
JP6919548B2 (ja) 遠隔操作端末および遠隔操作端末を備える作業車両
JP6713884B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP7167464B2 (ja) 遠隔操作端末および遠隔操作端末を備える作業車両
JP7167469B2 (ja) 遠隔操作端末および遠隔操作端末を備える作業車両
JP2019075712A (ja) 作業車両
WO2023100889A1 (ja) 操縦支援システム及び作業車両
JP2021038086A (ja) 移動式クレーンおよび遠隔端末装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20826038

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021526916

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020826038

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2020826038

Country of ref document: EP

Effective date: 20220120