WO2019181563A1 - 監視装置およびトロリー式車両 - Google Patents

監視装置およびトロリー式車両 Download PDF

Info

Publication number
WO2019181563A1
WO2019181563A1 PCT/JP2019/009340 JP2019009340W WO2019181563A1 WO 2019181563 A1 WO2019181563 A1 WO 2019181563A1 JP 2019009340 W JP2019009340 W JP 2019009340W WO 2019181563 A1 WO2019181563 A1 WO 2019181563A1
Authority
WO
WIPO (PCT)
Prior art keywords
day
image
night
processing unit
night determination
Prior art date
Application number
PCT/JP2019/009340
Other languages
English (en)
French (fr)
Inventor
拓士 加藤
直樹 龍澤
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to US16/646,403 priority Critical patent/US11468685B2/en
Priority to EP19770645.0A priority patent/EP3667614B1/en
Publication of WO2019181563A1 publication Critical patent/WO2019181563A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L5/00—Current collectors for power supply lines of electrically-propelled vehicles
    • B60L5/04—Current collectors for power supply lines of electrically-propelled vehicles using rollers or sliding shoes in contact with trolley wire
    • B60L5/08—Structure of the sliding shoes or their carrying means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L5/00—Current collectors for power supply lines of electrically-propelled vehicles
    • B60L5/18—Current collectors for power supply lines of electrically-propelled vehicles using bow-type collectors in contact with trolley wire
    • B60L5/22—Supporting means for the contact bow
    • B60L5/24—Pantographs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L9/00—Electric propulsion with power supply external to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60M—POWER SUPPLY LINES, AND DEVICES ALONG RAILS, FOR ELECTRICALLY- PROPELLED VEHICLES
    • B60M7/00—Power lines or rails specially adapted for electrically-propelled vehicles of special types, e.g. suspension tramway, ropeway, underground railway
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2200/00—Type of vehicles
    • B60L2200/36—Vehicles designed to transport cargo, e.g. trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2200/00—Type of vehicles
    • B60L2200/40—Working vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2240/00—Control parameters of input or output; Target parameters
    • B60L2240/60—Navigation input
    • B60L2240/66—Ambient conditions
    • B60L2240/665—Light intensity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2250/00—Driver interactions
    • B60L2250/16—Driver interactions by display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60M—POWER SUPPLY LINES, AND DEVICES ALONG RAILS, FOR ELECTRICALLY- PROPELLED VEHICLES
    • B60M1/00—Power supply lines for contact with collector on vehicle
    • B60M1/12—Trolley lines; Accessories therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60M—POWER SUPPLY LINES, AND DEVICES ALONG RAILS, FOR ELECTRICALLY- PROPELLED VEHICLES
    • B60M1/00—Power supply lines for contact with collector on vehicle
    • B60M1/12—Trolley lines; Accessories therefor
    • B60M1/28—Manufacturing or repairing trolley lines
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/72—Electric energy management in electromobility
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/16—Information or communication technologies improving the operation of electric vehicles

Definitions

  • the present invention relates to a monitoring device that monitors an object by recognizing the object from an image captured by an imaging device and performing image processing, and a trolley-type vehicle equipped with the monitoring device.
  • a monitoring device mounted on a vehicle and used outdoors includes an imaging device that captures an object and a controller that processes an image captured by the imaging device.
  • the controller includes an image input unit that inputs an image captured by the imaging device, a day / night determination processing unit that determines day / night of the image input to the image input unit, and a day / night determined by the day / night determination processing unit.
  • An image processing unit that switches image processing parameters in order to make the object in the image easier to recognize by performing different image processing between daytime and nighttime based on the determination result.
  • the day / night determination processing unit performs day / night determination based on the luminance in the image captured by the imaging device, and determines the imaging condition (for example, see Patent Document 1).
  • a trolley-type transport vehicle is described in which an imaging device is mounted on the vehicle and detects the relative positions of the pantograph and the overhead line (see, for example, Patent Document 2).
  • a camera equipped with an imaging device in which pixels are formed of a semiconductor such as a CCD (Charge Coupled Device) is generally used.
  • An image signal corresponding to the brightness (brightness) of the light input to the camera light-receiving unit is output.
  • a so-called whiteout occurs in which the output signal is saturated with an excessive amount of light.
  • the output signal is small and the subject cannot be identified, so that so-called black crushing is likely to occur.
  • the gain is increased when the amount of light is weak, and conversely, the gain is decreased when it is excessive, and the brightness level (brightness and darkness) of the image signal is adjusted within a certain range.
  • An AGC (Automatic Gain Control) circuit that outputs in advance is built in in advance.
  • the AGC circuit automatically adjusts the brightness of the entire image to a certain range, so that the determination accuracy of day / night determination may be lowered.
  • Patent Document 1 As a countermeasure to this problem, in Patent Document 1 described above, a sky region and a ground region are set in advance in an image, and day and night are determined from the ratio of the number of pixels indicating a predetermined luminance value in each region.
  • the monitoring target is a pantograph, and a ground area cannot be set in the captured image.
  • the present invention has been made in view of the above-described problems of the prior art, and an object of the present invention is to provide a monitoring device that improves the determination accuracy of day / night determination of an imaging environment mounted on a trolley type vehicle.
  • the present invention is mounted on a vehicle, and an imaging device that images an object outside the vehicle, a controller that processes an image captured by the imaging device, and the imaging device are integrally fixed.
  • a plurality of reference subjects that are imaged by the imaging device at different positions in an image area that is captured from the object, and the controller determines day and night of the imaging environment of the object
  • An image processing parameter for recognizing the object in the image by performing different image processing between daytime and nighttime based on the day / night determination result determined by the day / night determination processing unit.
  • the day / night determination processing unit of the controller performs day / night determination based on luminance information of the plurality of reference subjects, and the controller
  • the image processing unit is characterized by performing the image processing using the image processing parameters differs between daytime and nighttime on the basis of the day-night determination processing unit day and night determination result of.
  • the present invention it is possible to improve the determination accuracy of day / night determination of the imaging environment performed by the monitoring device.
  • FIG. 1 is a front view showing a trolley type dump truck equipped with a monitoring device according to a first embodiment of the present invention. It is a front view of the principal part expansion which expands and shows the bracket, imaging device, etc. in FIG. It is a perspective view showing an imaging device provided with a bracket, an illumination device, a left reference subject, a right reference subject, and the like. It is a control block diagram of a controller. It is a flowchart which shows the control processing of the initial setting performed with a controller. It is a flowchart which shows the process which determines either the daytime mode and night mode which are performed by a controller. It is a flowchart which shows the process of day / night determination of daytime mode by the 1st Embodiment of this invention.
  • FIG. 5 is an explanatory diagram showing a daytime imaged daytime image input to the image input unit in FIG. 4 and a daytime mode black-and-white image subjected to image black-and-white binarization processing by the binarization processing unit.
  • FIG. 1 shows a first embodiment of the present invention.
  • An overhead line 1 (trolley line) shown in FIG. 1 is stretched on a track (flow line) of a mine, for example, and supplies power to a dump truck 2, which is a large transport vehicle used for transporting minerals mined in the mine. Supply.
  • the dump truck 2 can be turned up and down by a vehicle body 3 having left and right front wheels 4 and left and right rear wheels 5 driven by electric power from the overhead line 1 and a hoist cylinder 6 at the rear upper part of the vehicle body 3.
  • a loading platform 7 provided (inclinable).
  • the vehicle body 3 is provided with a cab 8 that is located on the front side of the loading platform 7 and that defines a driver's cab in which an operator enters.
  • a display device 39 described later is attached to the front side of the driver's seat.
  • a controller 26 that controls (processes) an image captured by an imaging device 21 (described later) is disposed.
  • the pantograph 9 is attached to the upper surface of the gantry 3A provided on the front side of the vehicle body 3.
  • the pantograph 9 is provided so as to be movable up and down between the overhead wire 1 and the gantry 3 ⁇ / b> A facing each other, and a current collecting boat 10 is provided on the upper end side to slidably contact the overhead wire 1 and take in electric power.
  • the dump truck 2 can drive a traveling motor (not shown) of the rear wheel 5 that is a driving wheel, for example, by supplying electric power from the overhead line 1 via the current collecting boat 10.
  • the monitoring device 11 monitors the contact (sliding contact) state between the overhead wire 1 and the current collecting boat 10. That is, the monitoring device 11 monitors the positional relationship between the overhead wire 1 and the current collector boat 10 so that the current collector boat 10 does not come off the overhead wire 1 while the dump truck 2 is traveling.
  • the monitoring device 11 includes a bracket 12 to which the imaging device 21 is attached, an imaging device 21 that images the overhead wire 1 and the current collecting boat 10, and the overhead wire 1 and the current collecting boat 10 that are different in an image area to be captured.
  • the reference subject 24 is picked up by the image pickup device 21 at a position, and a controller 26 that processes an image picked up by the image pickup device 21.
  • the bracket 12 is located on the rear side of the pantograph 9 and is provided on the gantry 3A of the vehicle body 3. As shown in FIG. 2, the bracket 12 includes a base tool 13 fixed to the upper surface side of the gantry 3A with bolts (not shown) or the like, and a cable 22 which is fixed to the upper surface of the base tool 13 with bolts or the like, which will be described later.
  • An intermediate fixture 14 to which the part is attached and an imaging device fixture 15 to which an imaging device 21 to be described later is attached and fixed to the upper surface of the intermediate fixture 14 by a bolt 16 are configured.
  • the imaging device fixture 15 is attached to a pedestal 17 attached to the upper surface of the intermediate fixture 14, and extends from the upper end side of the pedestal 17 toward the front so that the angle can be adjusted with respect to the pedestal 17.
  • the angle adjusting plate 18 and an extending plate 19 fixed to the front end side of the angle adjusting plate 18 by welding or the like and extending in the left and right directions.
  • the pedestal 17 includes a mounting plate portion 17A attached to the upper surface of the intermediate fixture 14 and a vertical plate portion 17B that rises upward from the left and right ends of the mounting plate portion 17A.
  • Two bolt insertion holes 17A1 through which the bolts 16 are inserted are formed in the mounting plate portion 17A so as to be spaced apart in the left and right directions.
  • the imaging device attachment 15 is attached to the intermediate attachment 14 by screwing the bolt 16 into the screw hole of the intermediate attachment 14 via the bolt insertion hole 17A1.
  • Two screw seats 17B1 are provided on the inner surface side of each vertical plate portion 17B so as to be spaced apart upward and downward.
  • Each angle adjusting plate 18 is formed with a bolt insertion hole 18A (shown only in FIG. 2) at a position corresponding to the screw seat 17B1 of each vertical plate portion 17B. Thereby, the angle adjusting plate 18 is attached to each vertical plate portion 17B by inserting each bolt 20 through each bolt insertion hole 18A and screwing it into the screw seat 17B1.
  • the bolt insertion hole 18A located on the upper side of the upper and lower bolt insertion holes 18A is formed as a curved long hole. Therefore, the angle adjusting plate 18 can adjust the angle with respect to the mounting plate portion 17A with the bolt 20 positioned on the lower side as a fulcrum.
  • the extension plate 19 is fixed to the front end side of each angle adjustment plate 18 by welding or the like and extends left and right.
  • the extension plate 19 is positioned between the left angle adjustment plate 18 and the right angle adjustment plate 18, and more than the imaging device fixing portion 19 ⁇ / b> A to which an imaging device 21 described later is fixed and the left angle adjustment plate 18.
  • a left reference object fixing portion 19B that protrudes toward the left side and a left reference object 24A described later is fixed integrally with the imaging device 21, and a right reference object 24B that is described later protrudes toward the right side from the right angle adjustment plate 18.
  • a right reference subject fixing portion 19C fixed integrally with the device 21 is included.
  • a screw seat 19B1 for attaching a left reference subject 24A described later is provided on the rear surface of the left reference subject fixing portion 19B.
  • a screw seat 19C1 for attaching a right reference subject 24B described later is provided on the rear surface of the right reference subject fixing portion 19C.
  • the positions of the screw seat 19B1 and the screw seat 19C1 are set so that the left reference subject 24A and the right reference subject 24B enter the left and right ends of the image captured by the camera 21B of the imaging device 21 described later. .
  • the imaging device 21 is mounted on the dump truck 2 (vehicle).
  • the imaging device 21 is positioned between the left and right angle adjustment plates 18 of the imaging device attachment 15 and is fixed to the extension plate 19.
  • the imaging device 21 includes a casing 21A that is fixed to the imaging device fixing portion 19A of the extension plate 19 and a camera 21B that is disposed (built in) the casing 21A.
  • the camera 21B is capable of capturing a color captured image, for example, and includes an AGC (Automatic Gain Control) circuit that automatically adjusts the gain according to the captured image. That is, the camera 21B automatically adjusts the gain according to the image to be captured.
  • AGC Automatic Gain Control
  • the camera 21 ⁇ / b> B can place the overhead wire 1 and the current collector boat 10 within the imaging range H by moving each angle adjustment plate 18 upward and downward.
  • the overhead wire 1 and the current collecting boat 10 are provided outside the dump truck 2 (vehicle), and constitute an object of the present invention imaged by the camera 21B of the imaging device 21.
  • the camera 21 ⁇ / b> B is connected to a later-described controller 26 by a cable 22 and outputs a captured image toward the controller 26.
  • the casing 21A includes four lighting devices 23 around the camera 21B.
  • the illumination device 23 illuminates the overhead wire 1, the current collector boat 10, and a reference subject 24 described later.
  • the camera 21 ⁇ / b> B and the illumination device 23 are connected to a power source (not shown), and electric power is supplied when an operator turns on a key switch in the cab 8. That is, the camera 21B starts imaging of the overhead line 1, the current collecting boat 10, and a reference subject 24 described later by turning on the key switch.
  • the lighting device 23 starts to light regardless of day or night by turning on the lighting switch.
  • the lighting device 23 is turned on / off by the operator.
  • the lighting device 23 may be interlocked with the time set by the timer, or the lighting state of the lighting device 23 may be determined based on the average luminance value of the image.
  • day / night determination is possible regardless of the combination of the lighting state of the illumination device 23 and the day / night of the imaging environment.
  • the reference subject 24 is imaged by the camera 21B of the imaging device 21 at different positions in the image area where the overhead line 1 and the current collecting boat 10 are imaged. That is, the reference subject 24 is provided so as to enter the imaging range H at a position that does not interfere with the imaging of the overhead wire 1 and the current collecting boat 10.
  • the reference subject 24 is used when a day / night determination processing unit 29 of the controller 26 described later determines day / night.
  • the reference subject 24 is composed of a left reference subject 24A provided on the left (right side) in the left and right directions and a right reference subject 24B provided on the right (other side) in the left and right directions. Yes.
  • the left reference subject 24A constitutes the first reference subject of the present invention
  • the right reference subject 24B constitutes the second reference subject of the present invention.
  • the left reference subject 24 ⁇ / b> A is formed in a plate shape from, for example, a metal material, a resin material, and the like, and extends upward from the left reference subject fixing portion 19 ⁇ / b> B of the imaging device fixture 15. .
  • the left reference subject 24A includes a fixed portion 24A1 fixed to the left reference subject fixed portion 19B, a bent portion 24A2 bent forward from the upper end of the fixed portion 24A1, and a camera 21B extending upward from the tip of the bent portion 24A2. It is comprised by the to-be-imaged part 24A3 imaged.
  • a through hole (not shown) penetrating in the thickness direction is formed in the fixing portion 24A1 of the left reference subject 24A.
  • the left reference subject 24A is attached to the left reference subject fixing portion 19B by screwing the bolt 25 into the screw seat 19B1 of the left reference subject fixing portion 19B through the through hole.
  • the imaged part 24A3 is set to appear on the lower left side of the image captured by the camera 21B.
  • the center area of the imaged part 24A3 is a left reference area 24A4 in which the luminance detection unit 30 of the controller 26 described later detects the luminance average value.
  • the right reference subject 24B includes a fixed portion 24B1, a bent portion 24B2, an imaged portion 24B3, and a right reference region 24B4.
  • the left reference subject 24A and the right reference subject 24B are arranged so as to appear symmetrically in the left and right directions with respect to the center of the image. Further, the imaging target 24A3 of the left reference subject 24A and the imaging target 24B3 of the right reference subject 24B are located on the same plane. Thus, for example, even if a disturbance such as sunlight is reflected on the left reference subject 24A and reflected on the imaging device 21, the right reference subject 24B at a relative position different from the left reference subject 24A with respect to the imaging device 21 is simultaneously exposed to the sun. The light is not reflected and reflected on the imaging device 21.
  • the day / night determination processing unit 29 of the controller 26 described later accurately performs day / night determination using the average luminance value of either the average luminance value of the left reference subject 24A or the average luminance value of the right reference subject 24B. Can do.
  • the day / night determination control process performed by the day / night determination processing unit 29 will be described in detail later.
  • Fig. 4 shows a control block diagram of the controller 26.
  • the controller 26 is connected to a power source (not shown) and is activated by an ON operation of the key switch.
  • the controller 26 is configured by a microcomputer, for example, and processes an image captured by the camera 21B of the imaging device 21.
  • the controller 26 is disposed in the cab 8, and an imaging device (camera 21 ⁇ / b> B) is connected to the input side via the cable 22, and a display device 39 (not shown) and an audio output device (not shown) are connected to the output side.
  • the storage unit 26A (memory) of the controller 26 stores (stores) image processing parameters and the control processing program shown in FIGS.
  • the controller 26 includes an image input unit 27, a day / night determination processing unit 29, an image processing unit 32, an image composition processing unit 37, and an output unit 38.
  • the image input unit 27 takes in an image signal from the imaging device 21 and converts it into, for example, RGB 8-bit digital data.
  • One of the images converted into digital data is input to the day / night determination processing unit 29 and the other is input to the image processing unit 32.
  • the day / night determination processing unit 29 detects the luminance signal of each pixel from the image input in the luminance detection unit 30 internally, and the region comparison unit 31 detects the imaging environment based on the luminance information of the specific pixel region detected next. Perform day / night judgment.
  • the image processing unit 32 performs image processing on the input image by switching the image processing parameters based on the day / night determination result by the day / night determination processing unit 29.
  • the image processing parameters include a lighting luminance threshold value Lon, an extinguishing luminance threshold value Loff, a binarized luminance threshold value, and the presence / absence of black / white reversal processing.
  • the image processing unit 32 performs image processing based on one of a daytime mode (Daylight mode) and a nighttime mode (Night mode) determined based on the result of day / night determination by the day / night determination processing unit 29.
  • the controller 26 is set to the daytime mode in the initial setting when the key switch is turned on.
  • the image input unit 27 captures images of the overhead wire 1, the current collector boat 10, and the reference subject 24 captured by the camera 21 ⁇ / b> B of the image capturing device 21 (captured when illustrating an image captured in a later description). For convenience, the day image 28D or the night image 28N is input).
  • the reference subject 24 since the reference subject 24 is brighter in the sky region S during the daytime regardless of the lighting state of the illumination device 23, the reference subject 24 appears darker in the daytime image 28D by the AGC function of the camera 21B of the imaging device 21 ( (See FIG. 10).
  • the lighting device 23 is not turned on at night, the overhead line 1, the current collector boat 10, and the reference subject 24 are difficult to distinguish. The electric boat 10 and the reference subject 24 appear bright, and the sky region S appears dark (see FIG. 11).
  • the day / night determination processing unit 29 determines the day / night of the day image 28D or the night image 28N input to the image input unit 27. Specifically, the day / night determination processing unit 29 performs day / night determination based on the average luminance value (luminance information) of the reference subject 24 of the day image 28D and the night image 28N input to the image input unit 27. For this purpose, the day / night determination processing unit 29 includes a luminance detection unit 30 and a region comparison unit 31.
  • the luminance detection unit 30 detects the average luminance value of the left reference subject 24A and the average luminance value of the right reference subject 24B of the day image 28D or the night image 28N input to the image input unit 27. Specifically, the luminance detection unit 30 detects the left luminance average value La of the left reference region 24A4 corresponding to the left reference subject 24A in the image, while the right luminance of the right reference region 24B4 corresponding to the right reference subject 24B. The average value Lb is detected.
  • left luminance average value La and right luminance average value Lb are detected as 8-bit data that can express 256 gradations, for example. Therefore, the left luminance average value La and the right luminance average value Lb are detected as numerical values between 0 and 255 (0 ⁇ La, Lb ⁇ 255). In this case, the numerical values of the luminance average values La and Lb indicate that the reference areas 24A4 and 24B4 are brighter as the values are larger. Then, the left luminance average value La and the right luminance average value Lb are output to the region comparison unit 31.
  • the region comparison unit 31 determines day and night from the left luminance average value La and the right luminance average value Lb output from the luminance detection unit 30.
  • the day / night determination processing unit 29 compares the left luminance average value La and the right luminance average value Lb with the lighting luminance threshold value Lon stored in the storage unit 26A to determine day and night.
  • the lighting luminance threshold value Lon is a threshold value for determining day and night when the overhead line 1, the current collecting boat 10, and the reference subject 24 are illuminated by sunlight or the illumination device 23. For example, the dump truck 2 travels. It is set by experiments, simulations, etc. based on the surrounding environment.
  • the area comparison unit 31 outputs the day / night determination result to a binarization processing unit 33 and an inversion processing unit 34 of the image processing unit 32 described later.
  • the left reference subject 24A and the right reference subject 24B appear relatively dark.
  • the sky region S is dark, and the left reference subject 24A and the right reference subject 24B are illuminated brightly by the illumination device 23.
  • the region comparison unit 31 determines that it is daytime when the left luminance average value La and the right luminance average value Lb are equal to or less than the lighting luminance threshold Lon (for example, 200) (La, Lb ⁇ Lon), and the left luminance When the average value La and the right luminance average value Lb are larger than the lighting luminance threshold value Lon (La, Lb> Lon), it is determined that it is nighttime.
  • Lon for example, 200
  • the left reference subject 24A or the right reference subject 24B may be temporarily brightened due to sunlight reflected on the left reference subject 24A or the right reference subject 24B.
  • the region comparison unit 31 erroneously determines that it is night even though it is daytime. There is a risk. Therefore, in the daytime mode, the region comparison unit 31 performs day / night determination using a luminance average value having a smaller value out of the left luminance average value La and the right luminance average value Lb as the determination luminance average value L.
  • the controller 26 can accurately perform day / night determination using the reference subject 24 with a small change in luminance of the image. Further, day / night determination is performed by using the smaller luminance average value of the left reference subject 24A and the right reference subject 24B provided at symmetrical positions in the left and right directions with respect to the center of the image as the determination luminance average value L. Therefore, the accuracy of day / night determination can be further improved.
  • the image processing unit 32 switches the parameters (image processing parameters) between daytime and nighttime based on the day / night determination result determined by the day / night determination processing unit 29 to perform different image processing, thereby collecting the overhead line 1 in the image. It makes it easy to recognize the electric boat 10.
  • the image processing unit 32 includes a binarization processing unit 33, an inversion processing unit 34, a recognition processing unit 35, and a detection frame generation unit 36.
  • the binarization processing unit 33 converts the daytime image 28D input to the image input unit 27 into a daytime mode black-and-white image 28D1 in which the sky region S, which is a typical luminance distribution in the daytime, is bright, and also to the image input unit 27.
  • the input night image 28N is converted into a night mode monochrome image 28N1 in which the sky region S, which is a typical luminance distribution at night, is dark.
  • the daytime image 28D becomes a daytime mode monochrome image 28D1 in which the sky region S is converted to white and the overhead line 1, the current collecting boat 10, and the reference subject 24 are converted to black.
  • the night image 28N becomes a black and white image for night mode 28N1 in which the sky region S is converted to black, and the overhead line 1, the current collecting boat 10, and the reference subject 24 are converted to white.
  • the determination result from the day / night determination processing unit 29 is also input to the binarization processing unit 33, in order to perform appropriate binarization corresponding to the luminance distribution of images that differ between day and night.
  • the binarized luminance threshold value that is the image processing parameter is also changed in each of the daytime mode and the nighttime mode.
  • a binarized image suitable for image processing for each day and night image is obtained.
  • the daytime monochrome image 28D1 or the night mode monochrome image 28N1 converted into the monochrome image by the binarization processing unit 33 is output to the inversion processing unit 34.
  • the inversion processing unit 34 performs monochrome inversion processing of the night mode monochrome image 28N1. Specifically, when the reversal processing unit 34 recognizes that the day / night determination result output from the region comparison unit 31 of the day / night determination processing unit 29 is the night determination, the reversal processing unit 33 performs the reversal processing unit.
  • the image output to 34 is recognized as the night mode monochrome image 28N1, and the black / white inversion processing (parameter switching) of the night mode monochrome image 28N1 is performed.
  • the night mode monochrome image 28N1 has the sky region S changed from black to white, and the overhead line 1, the current collecting boat 10, and the reference subject 24 are changed from white to black. It becomes.
  • the reversal processing unit 34 recognizes that the day / night determination result output from the area comparison unit 31 of the day / night determination processing unit 29 is the day determination, the reversal processing unit 33 outputs the result to the reversal processing unit 34.
  • the black and white reversal processing of the daytime monochrome image 28D1 thus performed is not performed.
  • the reversal processing unit 34 recognizes that the day / night determination result is night determination, the sky mode S of the night mode monochrome image 28N1 becomes white, and the overhead line 1, the current collecting boat 10, and the reference subject 24 By performing the black and white reversal process so that the color becomes black, it is unified into an image in the same mode as the daytime mode black and white image 28D1. Then, the unified daytime mode monochrome image 28D1 is output to the recognition processing unit 35.
  • the recognition processing unit 35 recognizes the overhead line 1 and the current collecting boat 10 from the daytime mode monochrome image 28D1 output from the inversion processing unit 34. Specifically, the recognition processing unit 35 moves the template images stored (stored) in the storage unit 26A in the daytime mode monochrome image 28D1 at predetermined intervals to search for a pattern having the highest correlation value. To recognize the overhead wire 1 and the current collector boat 10.
  • the recognition processing unit 35 uses one type of template corresponding to the day mode monochrome image 28D1 throughout the day and night. Pattern matching can be performed on images. Thereby, the processing speed for recognizing the overhead line 1 and the current collecting boat 10 can be performed faster than pattern matching using two types of template images, a daytime template image and a nighttime template image. . In addition, it is possible to reduce the processing load associated with pattern matching.
  • the detection frame generation unit 36 generates a straight line and a detection frame for the positions of the overhead line 1 and the current collecting boat 10 recognized by the recognition processing unit 35, respectively. In other words, the detection frame generation unit 36 generates a straight line at a position recognized as the overhead line 1 by the recognition processing unit 35 and sets a detection frame at a position recognized by the recognition processing unit 35 as the current collector boat 10. Generated and output to the image composition processing unit 37.
  • the image composition processing unit 37 synthesizes the straight line of the overhead line 1 generated by the detection frame generation unit 36 and the detection frame of the current collector boat 10 with the color day image 28D or night image 28N input to the image input unit 27. To do. Then, the synthesized image is output from the output unit 38 to the display device 39 described later.
  • the output unit 38 outputs an alarm sound to an alarm sound generator (not shown) when, for example, a monitoring unit (not shown) of the controller 26 is likely to come off the current collecting boat 10 from the overhead line 1.
  • the display device 39 displays the image processed by the controller 26.
  • the display device 39 is disposed, for example, in the cab 8 so that the operator can operate and check it while sitting on the driver's seat.
  • the display device 39 includes a key switch 40, a lighting switch 41, and a display unit 42. When the operator turns on the key switch 40, an image processed by the controller 26 is displayed on the display unit 42.
  • an image obtained by synthesizing the straight line 43 of the overhead line 1 and the detection frame 44 of the current collecting boat 10 by the image synthesis processing unit 37 is displayed on the daytime image 28D.
  • a straight line 43 indicated by a one-dot chain line in FIG. 12 highlights the overhead line 1 by, for example, red, blue, yellow, or the like.
  • the detection frame 44 indicated by a dotted line in FIG. 12 highlights the current collecting boat 10 in a color different from the straight line 43, for example.
  • the overhead line 1 is similarly highlighted by a straight line 43 at night, and the current collecting boat 10 is highlighted by a detection frame 44. Thereby, it becomes easy to recognize the position of the current collecting boat 10 with respect to the overhead line 1, and the operativity of the driving
  • the monitoring device 11 mounted on the dump truck 2 according to the first embodiment has the above-described configuration.
  • control processing by the controller 26 of the monitoring device 11 will be described with reference to FIGS. 5 to 9. To do. Note that the control process of the controller 26 is repeatedly executed at a predetermined control cycle after the key switch is turned on, for example, until the key switch is turned off. That is, day / night determination, mode setting, and image processing based on the set mode are repeatedly executed.
  • the controller 26 determines whether to perform day / night determination control processing in daytime mode or day / night determination control processing in night mode.
  • the image processing parameters for the mode based on the previous day / night determination result are output from the storage unit 26A of the controller 26.
  • step 11 determines whether the daytime mode is set. If “YES” in step 11, that is, if the daytime mode is set, the process proceeds to step 12 to perform daytime / nighttime determination control processing in the daytime mode. On the other hand, if “NO” in step 11, that is, if the night mode is set, the process proceeds to step 13 to perform day / night determination control processing in the night mode.
  • the left luminance average value La of the left reference area 24A4 of the left reference subject 24A is acquired.
  • the luminance detection unit 30 of the day / night determination processing unit 29 acquires the left luminance average value La of the left reference region 24A4 of the image (day image 28D or night image 28N) input to the image input unit 27.
  • the right luminance average value Lb of the right reference region 24B4 of the right reference subject 24B is acquired. That is, the luminance detection unit 30 of the day / night determination processing unit 29 acquires the right luminance average value Lb of the right reference region 24B4 of the image (day image 28D or night image 28N) input to the image input unit 27.
  • the left luminance average value La and the right luminance average value Lb are set as values between 0 and 255 (0 ⁇ La, Lb ⁇ 255) so as to increase as the brightness increases.
  • step 26 it is determined whether or not the determination luminance average value L is equal to or less than the lighting luminance threshold value Lon (Lon ⁇ L). That is, the area comparison unit 31 of the day / night determination processing unit 29 determines whether or not the smaller luminance average value of the left luminance average value La and the right luminance average value Lb is equal to or less than Lon. If “YES” in step 26, that is, if it is determined that the determination luminance average value L is equal to or less than the lighting luminance threshold Lon, the process proceeds to step 27. On the other hand, if “NO” in the step 26, that is, if it is determined that the determination luminance average value L is larger than the lighting luminance threshold value Lon, the process proceeds to a step 28.
  • step 31 the left luminance average value La of the left reference area 24A4 of the left reference subject 24A is acquired.
  • the same control process as in step 21 of FIG. 7 is performed.
  • step 31 instead of acquiring the left luminance average value La, the right luminance average value Lb of the right reference region 24B4 of the right reference subject 24B is acquired, and the subsequent control processing is performed using the right luminance average value Lb. You may go. In other words, at night, it is conceivable that the luminance of the reference subject 24 increases due to the light source such as a streetlight being reflected by the reference subject 24.
  • the reference subject 24 is illuminated by the lighting device 23 and is in a high brightness state, even if a disturbance such as a streetlight is reflected on the reference subject 24, it does not affect day / night determination. Therefore, in the night mode, the average luminance value of one of the left luminance average value La of the left reference subject 24A and the right luminance average value Lb of the right reference subject 24B is acquired.
  • step 41 black and white binarization processing of the image is performed.
  • This image black and white binarization processing is performed by the binarization processing unit 33 of the image processing unit 32.
  • the black and white binarization processing of the image converts the color daytime image 28 ⁇ / b> D input to the image input unit 27 into a daytime mode black and white image 28 ⁇ / b> D ⁇ b> 1.
  • the black and white binarization processing of the image converts the color night image 28N input to the image input unit 27 into a night mode monochrome image 28N1.
  • step 43 black and white inversion processing is performed.
  • This black and white inversion processing is performed by the inversion processing unit 34 of the image processing unit 32. That is, the reversal processing unit 34 performs black and white reversal processing of the black and white image for night mode 28N1 converted into black and white by the binarization processing unit 33 when the result determined by the region comparison unit 31 is nighttime.
  • the night mode monochrome image 28N1 the sky region S changes from black to white, and the overhead line 1, the current collecting boat 10, and the reference subject 24 are converted from white to black (see FIG. 11).
  • the night mode monochrome image 28N1 has the same form as the day mode monochrome image 28D1, and this image is output to the recognition processing unit 35.
  • next step 44 current collector boat and overhead line recognition processing is performed.
  • This recognition processing is performed by the recognition processing unit 35 of the image processing unit 32.
  • the recognition processing unit 35 the template image stored (stored) in the storage unit 26A of the controller 26 in advance in the image output from the inversion processing unit 34 (the monochrome image for daytime mode 28D1) is moved at a constant interval and correlated. By performing pattern matching to find the place with the highest value, the overhead line 1 and the current collector boat 10 are recognized and the process ends.
  • FIG. 14 and FIG. 15 show a second embodiment of the present invention.
  • a feature of the second embodiment is a control process for day / night determination when the illumination device 23 shown in the first embodiment is not provided or when the illumination device 23 is turned off.
  • the same components as those in the first embodiment described above are denoted by the same reference numerals, and the description thereof is omitted.
  • step 51 the left average luminance value La of the left reference area 24A4 of the left reference subject 24A is acquired.
  • the same control process as in step 21 of FIG. 7 is performed.
  • step 51 instead of acquiring the left luminance average value La, the right luminance average value Lb of the right reference region 24B4 of the right reference subject 24B is acquired, and the subsequent control processing is performed using the right luminance average value Lb. You may go.
  • the left luminance average value La and the right luminance average value Lb are set, for example, as values between 0 and 255 (0 ⁇ La, Lb ⁇ 255) so as to increase as the brightness increases. In this case, in the case of no illumination (non-irradiation), the left luminance average value La and the right luminance average value Lb are smaller than those in the case of illumination (first embodiment).
  • the left luminance average value La is set as the determination luminance average value L, and it is determined whether or not the left luminance average value La is greater than or equal to the extinguishing luminance threshold Loff.
  • the turn-off luminance threshold value Loff is a threshold value for performing day / night determination when the overhead line 1, the current collector boat 10, and the reference subject 24 are not illuminated, and is smaller than the turn-on luminance threshold value Lon.
  • the turn-off brightness threshold Loff is also stored (stored) in the storage unit 26A of the controller 26 in advance. That is, the left luminance average value La and the right luminance average value Lb are values greater than or equal to Loff in the daytime, and gradually decrease as the night goes on.
  • the average luminance value of the reference subject 24 is higher (larger) than in the nighttime.
  • the average luminance value of the reference subject 24 is lowered, and the day / night judgment may be erroneously judged. Therefore, in the experiment, the turn-off luminance threshold value Loff is larger than the average luminance value of the reference subject 24 detected at night and smaller than the average luminance value of the reference subject 24 detected in the shade. It is set by simulation.
  • the luminance average value of one of the left reference subject 24A and the right reference subject 24B is used as a basis. Day / night judgment can be performed.
  • step 63 it is determined whether the left luminance average value La is equal to or greater than the right luminance average value Lb (La ⁇ Lb).
  • a light source disurbance
  • the left reference subject 24A and the right reference subject 24B is brightened, and the luminance average value temporarily increased is excluded.
  • the erroneous determination of the day / night determination processing unit 29 can be suppressed, and the determination accuracy of the day / night determination can be improved.
  • step 66 it is determined whether or not the determination luminance average value L is equal to or greater than the extinguishing luminance threshold Loff (for example, 75) (Loff ⁇ L).
  • the day and night based on the luminance average value of the reference subject 24 displayed at a position that does not interfere with the object (the overhead line 1, the current collector boat 10), the day and night The determination can be made with high accuracy. Further, since the reference subject 24 is arranged so that the left reference subject 24A and the right reference subject 24B are displayed at different positions in the image, at night, based on the smaller luminance average value, By performing the determination, it is possible to suppress erroneous determination of day / night determination.
  • FIG. 16 to FIG. 18 show a third embodiment of the present invention.
  • the controller 26 includes an illumination determination unit 51 that determines whether the illumination device 23 is turned on or off, and performs a control process for day / night determination based on the determination result of the illumination determination unit 51.
  • the same components as those in the first embodiment described above are denoted by the same reference numerals, and description thereof is omitted.
  • the illumination determination unit 51 determines whether the illumination device 23 is turned on or off, and is provided in the controller 26.
  • the illumination device 23 is connected to the input side, and the area comparison unit 31 of the day / night determination processing unit 29 is connected to the output side.
  • the illumination determination unit 51 is provided in the cab 8, for example, a lighting sensor (not shown) that detects lighting and extinguishing of the lighting device 23, a voltage (current) sensor (not shown) that detects energization of the lighting device 23.
  • the lighting device 23 can be turned on or off based on the lighting device ON / OFF information obtained from the lighting switch 41 or the like for operating the lighting device 23 to be turned on or off.
  • step 71 the illumination determination unit 51 of the controller 26 acquires ON / OFF information of the illumination device 23, and the process proceeds to the next step 72.
  • step 72 it is determined whether or not the illumination device 23 is lit. If “YES” in step 72, that is, if it is determined that the lighting device 23 is lit, the process proceeds to step 73. On the other hand, if “NO” in the step 72, that is, if it is determined that the lighting device 23 is turned off, the process proceeds to a step 76.
  • the third embodiment can have the same operations and effects as those of the first embodiment.
  • it is detected whether or not the lighting device 23 is illuminating the overhead line 1, the current collector boat 10, and the reference subject 24. Since the threshold value Lon and the turn-off luminance threshold value Loff are changed, day / night determination according to the situation can be performed.
  • the image capturing unit 24A3 of the left reference subject 24A and the image capturing unit 24B3 of the right reference subject 24B are arranged on the same plane, spaced apart in the left and right directions.
  • the present invention is not limited to this.
  • the left reference subject fixing portion 61A and the right reference subject fixing portion 61B of the extension plate 61 of the bracket 12 are bent,
  • the image capturing unit 62A of the left reference subject 62 and the image capturing unit 63A of the right reference subject 63 may be disposed so as to form an angle with each other.
  • the angle between the left reference subject 62 and the right reference subject 63 is set so that disturbances such as sunlight are not simultaneously reflected on the image capturing unit 62A and the image capturing unit 63A.
  • the reference subject 64 includes a left reference subject 62 and a right reference subject 63.
  • the left reference subject 71A and the right reference subject 71B are arranged so that the reference subject 24 is shown on both the left and right sides of the image.
  • the present invention is not limited to this.
  • the left reference subject 71A and the right reference subject 71B are angle-adjusted so that disturbances such as sunlight do not appear at the same time.
  • the left reference subject 71A and the right reference subject 71B are formed in a bent state so as to face each other at a different angle with respect to the camera 21B of the imaging device 21.
  • the upper reference subject 81A (first reference subject) and the lower side whose angles are adjusted upward and downward so that disturbances such as sunlight do not appear at the same time.
  • the reference subject 81 composed of the reference subject 81B (second reference subject) may be arranged on either the left or right side so as to be imaged at a different position in the image area where the object is imaged.
  • the upper reference subject 81A is inclined toward the left in the left and right directions, for example
  • the lower reference subject 81B is inclined toward the right in the left and right directions, for example.
  • in the night mode day and night based on the average luminance value of one of the left reference subject 24A and the right reference subject 24B.
  • the case where the determination is performed has been described as an example.
  • the present invention is not limited to this.
  • the same day / night determination control processing as in the day mode shown in FIG. 7 may be performed.
  • the day / night determination may be performed based on the smaller luminance average value of the left luminance average value La and the right luminance average value Lb. This makes it possible to unify the day / night determination control process into the control process shown in FIG. 7 regardless of the previous day / night determination result (mode), thereby simplifying the day / night determination control process.
  • the black and white image for night mode 28N1 is subjected to the black and white reversal processing when it is determined that it is nighttime by the day and night determination result has been described.
  • the present invention is not limited to this.
  • the daytime monochrome image 28D1 may be subjected to monochrome inversion processing.
  • the present invention is not limited to this, and for example, three or more reference subjects may be provided.
  • the luminance information luminance average value
  • the luminance information luminance average value of the smallest value is selected, that is, the one with the lowest luminance average value among a plurality of reference subjects is selected, and day / night judgment is performed. It can be carried out.
  • the second and third embodiments are the same applies to the second and third embodiments.
  • the monitoring device 11 is mounted on the dump truck 2 and the overhead line 1 for driving the dump truck 2 and the current collecting boat 10 are monitored has been described as an example.
  • the present invention is not limited to this, and the monitoring device 11 can be widely used as a monitoring device for monitoring an object outdoors.
  • Imaging device 1 overhead line (object) 2 Dump truck (vehicle) 3 Body 9 Pantograph 10 Current collector boat (object) 11 Monitoring device 21 Imaging device 23 Illumination device 24, 64, 71, 81 Reference subject 24A, 62, 71A Left reference subject (first reference subject) 24B, 63, 71B Right reference subject (second reference subject) 26 controller 27 image input unit 28D day image 28N night image 29 day / night determination processing unit 32 image processing unit 51 illumination determination unit 81A upper reference subject (first reference subject) 81B Lower reference subject (second reference subject) Lon Luminance threshold for lighting Loff Luminance threshold for turning off

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Power Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Sustainable Energy (AREA)
  • Sustainable Development (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Current-Collector Devices For Electrically Propelled Vehicles (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

監視装置（１１）は、架線（１）および集電舟（１０）を撮像する撮像装置（２１）と、撮像装置（２１）で撮像した画像を処理するコントローラ（２６）とが備えられている。コントローラ（２６）は、撮像装置（２１）で撮像した画像の昼夜を判定する昼夜判定処理部（２９）と、昼夜判定処理部（２９）により判定された昼夜判定結果に基づいて昼間と夜間とで異なる画像処理を行うことにより画像内の架線（１）および集電舟（１０）を認識するためにパラメータを切換える画像処理部（３２）とを有している。そして、架線（１）、集電舟（１０）とは撮像される画像領域中の異なる位置で撮像装置（２１）に撮像される基準被写体（２４）が設けられ、コントローラ（２６）の昼夜判定処理部（２９）は、画像入力部（２７）に入力された基準被写体（２４）の輝度平均値に基づき昼夜の判定を行う。

Description

監視装置およびトロリー式車両
　本発明は、撮像装置によって撮像された画像から対象物を認識して画像処理を行うことにより対象物を監視する監視装置およびその監視装置を搭載したトロリー式車両に関する。
　屋外等で車両に搭載して使用される監視装置は、対象物を撮像する撮像装置と、前記撮像装置で撮像した画像を処理するコントローラとが備えられている。前記コントローラは、前記撮像装置で撮像した画像を入力する画像入力部と、前記画像入力部に入力された前記画像の昼夜を判定する昼夜判定処理部と、前記昼夜判定処理部により判定された昼夜判定結果に基づいて昼間と夜間とで異なる画像処理を行うことにより前記画像内の前記対象物を認識しやすくするために画像処理パラメータを切換える画像処理部とを有している。この場合、昼夜判定処理部は、撮像装置で撮像した画像内の輝度により昼夜の判定を行ない、撮像条件を決定している（例えば、特許文献１参照）。そして車両に撮像装置を搭載し、パンタグラフと架線の相対位置を検出するトロリー式の運搬車両が記載されている（例えば、特許文献２参照）。
米国特許第８２０４３０５号明細書 米国特許第９０２２１５３号明細書
　上述した撮像装置には、一般的にＣＣＤ（Charge Coupled Device）などの半導体で画素が構成された撮像素子が搭載されたカメラが用いられる。そして、カメラ受光部に入力された光の明暗（輝度）に応じた画像信号が出力されるが、撮像素子の特性上、過大な光量では出力信号が飽和する所謂白飛びを生じ、逆に微弱な光量では出力信号が小さくて被写体が判別できない所謂黒潰れを起こしやすい。このため、市販されるほとんどのカメラには、光量が弱い場合にはゲインを上げ、逆に過大な場合にはゲインを下げて、画像信号の輝度強弱（明暗の幅）を一定範囲に調整して出力するＡＧＣ（Automatic Gain Control）回路が予め内蔵されている。
　上述した従来技術の監視装置をダンプトラック等の車両（移動体）に搭載した場合には、天候の変化や時間の経過だけでなく車両の走行により平地から谷間へ移動したり、夜間における街灯が映り込んだりする等、周囲の環境（撮像環境）が変化するので、撮影画像内の特定領域の輝度平均値が大きく変動することになる。それにつれて、ＡＧＣ回路は、画像全体の輝度を自動的に一定範囲に調整するため、かえって昼夜判定の判定精度が低下する虞がある。
　この問題への対策として、上述した特許文献１では画像内に天空領域と地面領域を予め設定して、それぞれの領域で所定の輝度値を示す画素数の比率から昼夜を判定している。しかし、特許文献２に挙げたようなトロリー式の運搬車両では、監視対象がパンタグラフであり、撮影画像内に地面領域を設定することができない。
　本発明は、上述した従来技術の問題に鑑みなされたもので、本発明の目的は、トロリー式車両に搭載する撮像環境の昼夜判定の判定精度を向上した監視装置を提供することにある。
　上述した課題を解決するため、本発明は、車両に搭載され、この車両外側の対象物を撮像する撮像装置と、前記撮像装置で撮像した画像を処理するコントローラと、前記撮像装置と一体に固定して設けられ前記対象物とは撮像される画像領域中の異なる位置で前記撮像装置に撮像される複数の基準被写体と、が備えられ、前記コントローラは、前記対象物の撮像環境の昼夜を判定する昼夜判定処理部と、前記昼夜判定処理部により判定された昼夜判定結果に基づいて昼間と夜間とで異なる画像処理を行うことにより前記画像内の前記対象物を認識するために画像処理パラメータを切換える画像処理部とを有してなり、前記コントローラの前記昼夜判定処理部は、前記複数の基準被写体の輝度情報に基づき昼夜の判定を行い、前記コントローラの前記画像処理部は、前記昼夜判定処理部の昼夜判定結果に基づいて昼間と夜間とで異なる前記画像処理パラメータを用いて画像処理を行うことを特徴としている。
　本発明によれば、監視装置で行われる撮像環境の昼夜判定の判定精度を向上させることができる。
本発明の第１の実施形態による監視装置が搭載されたトロリー式のダンプトラックを示す正面図である。 図１中のブラケット、撮像装置等を拡大して示す要部拡大の正面図である。 ブラケット、照明装置を備えた撮像装置、左側基準被写体、右側基準被写体等を示す斜視図である。 コントローラの制御ブロック図である。 コントローラで行われる初期設定の制御処理を示す流れ図である。 コントローラで行われる昼間モードと夜間モードとのいずれかを決定する処理を示す流れ図である。 本発明の第１の実施形態による昼間モードの昼夜判定の処理を示す流れ図である。 本発明の第１の実施形態による夜間モードの昼夜判定の処理を示す流れ図である。 昼夜判定結果に応じた画像処理を示す流れ図である。 図４中の画像入力部に入力された昼間撮像の昼画像、二値化処理部で画像白黒二値化処理を行った昼モード用白黒画像を示す説明図である。 図４中の画像入力部に入力された夜間撮像の夜画像、二値化処理部で画像白黒二値化処理を行った夜モード用白黒画像、反転処理部で白黒反転処理を行った画像（昼モード用白黒画像）を示す説明図である。 表示装置に表示される昼間の画像を示す正面図である。 表示装置に表示される夜間の画像を示す正面図である。 本発明の第２の実施形態による昼間モードの昼夜判定の処理を示す流れ図である。 本発明の第２の実施形態による夜間モードの昼夜判定の処理を示す流れ図である。 本発明の第３の実施形態によるコントローラの制御ブロック図である。 照明装置の点灯、消灯に基づき昼間モードと夜間モードとのいずれかを決定する処理を示す流れ図である。 本発明の第１変形例によるブラケット、照明装置を備えた撮像装置、左側基準被写体、右側基準被写体等を示す斜視図である。 本発明の第２変形例によるブラケット、照明装置を備えた撮像装置、左側基準被写体、右側基準被写体等を示す斜視図である。 本発明の第３変形例によるブラケット、照明装置を備えた撮像装置、上側基準被写体、下側基準被写体等を示す斜視図である。
　以下、本発明の実施形態による監視装置をトロリー式のダンプトラックに搭載した場合を例に挙げて、添付図面に従って説明する。
　図１ないし図１３は、本発明の第１の実施形態を示している。図１に示す架線１（トロリー線）は、例えば鉱山の走路（動線）上に張られ、鉱山で採掘された鉱物等の運搬作業に用いられる大型の運搬車両であるダンプトラック２に電力を供給している。ダンプトラック２は、左，右の前輪４と架線１からの電力により駆動する左，右の後輪５とを有する車体３と、車体３の後方上部にホイストシリンダ６によって上下方向に回動可能（傾斜可能）に設けられた荷台７とを含んで構成されている。
　車体３には、荷台７の前側に位置して内部にオペレータが乗り込む運転室を画成するキャブ８が設けられている。キャブ８内には、運転席の前側に後述の表示装置３９が取付けられている。また、キャブ８内には、後述の撮像装置２１で撮像された画像を制御（処理）する後述のコントローラ２６が配設されている。
　パンタグラフ９は、車体３の前側に設けられた架台３Ａの上面に取付けられている。このパンタグラフ９は、対向する架線１と架台３Ａとの間で昇降可能に設けられ、上端側には架線１に摺接して電力を取り入れる集電舟１０が設けられている。ダンプトラック２は、架線１から集電舟１０を介して電力が供給されることにより、例えば駆動輪となる後輪５の走行モータ（図示せず）を駆動することができる。
　次に、ダンプトラック２に搭載された監視装置１１について説明する。
　監視装置１１は、架線１と集電舟１０との接触（摺接）状態を監視する。即ち、監視装置１１は、ダンプトラック２の走行中に集電舟１０が架線１から外れないように架線１と集電舟１０との位置関係を監視している。そして、監視装置１１は、撮像装置２１が取付けられるブラケット１２と、架線１と集電舟１０とを撮像する撮像装置２１と、架線１と集電舟１０とは撮像される画像領域中の異なる位置で撮像装置２１に撮像される基準被写体２４と、撮像装置２１で撮像した画像を処理するコントローラ２６とを含んで構成されている。
　ブラケット１２は、パンタグラフ９の後側に位置して車体３の架台３Ａに設けられている。図２に示すように、ブラケット１２は、架台３Ａの上面側にボルト（図示せず）等により固定されたベース具１３と、ベース具１３の上面にボルト等により固定され後述するケーブル２２の途中部位が取付けられる中間取付具１４と、中間取付具１４の上面にボルト１６により固定され後述の撮像装置２１が取付けられる撮像装置取付具１５とを含んで構成されている。
　図３に示すように、撮像装置取付具１５は、中間取付具１４の上面に取付けられる台座１７と、台座１７の上端側から前方に向けて延び台座１７に対して角度が調整可能に取付けられた角度調整板１８と、角度調整板１８の先端側に溶接等により固着され左，右方向に延びる延出板１９とにより構成されている。
　台座１７は、中間取付具１４の上面に取付けられる取付板部１７Ａと取付板部１７Ａの左，右両端から上方に向けて立上る縦板部１７Ｂとにより構成されている。取付板部１７Ａには、ボルト１６が挿通するボルト挿通孔１７Ａ１が左，右方向に離間して２個形成されている。撮像装置取付具１５は、ボルト１６をボルト挿通孔１７Ａ１を介して中間取付具１４のねじ孔に螺合することにより中間取付具１４に取付けられる。各縦板部１７Ｂの内面側には、上，下方向に離間して２個のねじ座１７Ｂ１がそれぞれ設けられている。
　各角度調整板１８には、各縦板部１７Ｂのねじ座１７Ｂ１に対応する位置にボルト挿通孔１８Ａ（図２にのみ図示）がそれぞれ形成されている。これにより、角度調整板１８は、各ボルト２０を各ボルト挿通孔１８Ａに挿通させてねじ座１７Ｂ１に螺合することにより各縦板部１７Ｂに取付けられる。この場合、図２に示すように、上，下のボルト挿通孔１８Ａのうち上側に位置するボルト挿通孔１８Ａは、湾曲状の長孔として形成されている。従って、角度調整板１８は、下側に位置するボルト２０を支点として取付板部１７Ａに対する角度を調整することができる。
　延出板１９は、各角度調整板１８の先端側に溶接等により固着され左，右方向に延びている。延出板１９は、左側の角度調整板１８と右側の角度調整板１８との間に位置して後述の撮像装置２１が固定される撮像装置固定部１９Ａと、左側の角度調整板１８よりも左側に向けて突出し後述の左側基準被写体２４Ａが撮像装置２１と一体に固定される左側基準被写体固定部１９Ｂと、右側の角度調整板１８よりも右側に向けて突出し後述の右側基準被写体２４Ｂが撮像装置２１と一体に固定される右側基準被写体固定部１９Ｃとを含んで構成されている。
　左側基準被写体固定部１９Ｂの後面には、後述の左側基準被写体２４Ａを取付けるためのねじ座１９Ｂ１が設けられている。一方、右側基準被写体固定部１９Ｃの後面には、後述の右側基準被写体２４Ｂを取付けるためのねじ座１９Ｃ１が設けられている。ねじ座１９Ｂ１とねじ座１９Ｃ１との位置は、左側基準被写体２４Ａと右側基準被写体２４Ｂとが後述する撮像装置２１のカメラ２１Ｂが撮像する画像の左，右両端側に入込むように設定されている。
　次に、撮像装置取付具１５に取付けられた撮像装置２１について説明する。
　撮像装置２１は、ダンプトラック２（車両）に搭載されている。撮像装置２１は、撮像装置取付具１５の左，右の角度調整板１８間に位置して延出板１９に固定されている。この撮像装置２１は、延出板１９の撮像装置固定部１９Ａに固定されるケーシング２１Ａと、ケーシング２１Ａに配設（内蔵）されたカメラ２１Ｂとを含んで構成されている。カメラ２１Ｂは、例えばカラーによる撮像画像を撮像することができ、撮像される画像に合わせて自動でゲインを調整するＡＧＣ（Automatic Gain Control）回路を搭載している。即ち、カメラ２１Ｂは、撮像される画像に合わせて自動的にゲインを調整する。
　図１に示すように、カメラ２１Ｂは、各角度調整板１８を上，下方向に移動させることにより、架線１と集電舟１０とを撮像範囲Ｈ内に収めることができる。即ち、架線１と集電舟１０とは、ダンプトラック２（車両）の外側に設けられており、撮像装置２１のカメラ２１Ｂが撮像する本発明の対象物を構成している。カメラ２１Ｂは、ケーブル２２により後述のコントローラ２６に接続され、撮像した画像をコントローラ２６に向けて出力している。
　また、ケーシング２１Ａには、カメラ２１Ｂの周囲に４個の照明装置２３が内蔵されている。この照明装置２３は、架線１、集電舟１０、および後述の基準被写体２４を照らす。カメラ２１Ｂと照明装置２３とは、図示しない電源に接続され、オペレータがキャブ８内のキースイッチをＯＮ操作することにより電力が供給される。即ち、カメラ２１Ｂは、キースイッチのＯＮ操作により架線１、集電舟１０、および後述の基準被写体２４の撮像を開始する。
　また、照明装置２３は、照明用スイッチのＯＮ操作により昼夜に拘わらず点灯を開始する。照明装置２３は、オペレータにより点灯/非点灯が操作されるが、タイマにより設定した時刻に連動したり、画像の輝度平均値によって照明装置２３の点灯状態を決定したりしてもよい。基本的に本発明では、照明装置２３の点灯状態と撮像環境の昼夜の組合せの如何によらず昼夜判定が可能である。
　次に、撮像装置取付具１５の延出板１９に取付けられた基準被写体２４について説明する。
　基準被写体２４は、架線１と集電舟１０とは撮像される画像領域中の異なる位置で撮像装置２１のカメラ２１Ｂに撮像される。即ち、基準被写体２４は、架線１と集電舟１０との撮像に邪魔にならない位置で撮像範囲Ｈ内に入込むように設けられている。この基準被写体２４は、後述のコントローラ２６の昼夜判定処理部２９が昼夜を判定するときに用いられる。そして、基準被写体２４は、左，右方向の左側（一側）に設けられた左側基準被写体２４Ａと、左，右方向の右側（他側）に設けられた右側基準被写体２４Ｂとにより構成されている。左側基準被写体２４Ａは、本発明の第１基準被写体を構成し、右側基準被写体２４Ｂは、本発明の第２基準被写体を構成している。
　図２、図３に示すように、左側基準被写体２４Ａは、例えば金属材料、樹脂材料等により板状に形成され、撮像装置取付具１５の左側基準被写体固定部１９Ｂから上方に向けて延びている。左側基準被写体２４Ａは、左側基準被写体固定部１９Ｂに固定される固定部２４Ａ１と、固定部２４Ａ１の上端から前方に向けて屈曲する屈曲部２４Ａ２と屈曲部２４Ａ２の先端から上方に向けて延びカメラ２１Ｂに撮像される被撮像部２４Ａ３とにより構成されている。
　左側基準被写体２４Ａの固定部２４Ａ１には、厚さ方向に貫通する貫通孔（図示せず）が形成されている。左側基準被写体２４Ａは、ボルト２５を前記貫通孔を介して左側基準被写体固定部１９Ｂのねじ座１９Ｂ１に螺合することにより左側基準被写体固定部１９Ｂに取付けられる。図１０、図１１に示すように、被撮像部２４Ａ３は、カメラ２１Ｂが撮像する画像の左下端側に映るように設定されている。この場合、被撮像部２４Ａ３のうち中央領域は、後述するコントローラ２６の輝度検出部３０が輝度平均値を検出する左基準領域２４Ａ４となっている。右側基準被写体２４Ｂも同様に、固定部２４Ｂ１、屈曲部２４Ｂ２、被撮像部２４Ｂ３、および右基準領域２４Ｂ４を備えた構成である。
　このように、左側基準被写体２４Ａと右側基準被写体２４Ｂとは、画像の中心に対して左，右方向に対称となる位置に映るように配設されている。また、左側基準被写体２４Ａの被撮像部２４Ａ３と右側基準被写体２４Ｂの被撮像部２４Ｂ３とは、同一平面上に位置している。これにより、例えば左側基準被写体２４Ａに太陽光等の外乱が反射して撮像装置２１に映り込んでも、撮像装置２１に対して左側基準被写体２４Ａと異なる相対位置にある右側基準被写体２４Ｂには同時に太陽光が反射して撮像装置２１に映り込むことがない。
　また、これらの基準被写体２４Ａ，２４Ｂは、撮像装置取付具１５を介して撮像装置２１と一体に固定されているため常に撮像される画像の同じ領域に位置するので、安定した撮像条件が得られる。従って、後述するコントローラ２６の昼夜判定処理部２９は、左側基準被写体２４Ａの輝度平均値と右側基準被写体２４Ｂの輝度平均値とのいずれかの輝度平均値を用いて昼夜の判定を精度よく行うことができる。昼夜判定処理部２９が行う昼夜判定の制御処理については、後述で詳しく説明する。
　図４にコントローラ２６の制御ブロック図を示す。ここで、コントローラ２６は、図示しない電源に接続され、キースイッチのＯＮ操作により起動する。コントローラ２６は、例えばマイクロコンピュータによって構成され、撮像装置２１のカメラ２１Ｂで撮像した画像を処理する。このコントローラ２６は、例えばキャブ８内に配設され、入力側にケーブル２２を介して撮像装置（カメラ２１Ｂ）が接続され、出力側に後述の表示装置３９および図示しない音声出力装置が接続されている。コントローラ２６の記憶部２６Ａ（メモリ）には、画像処理用のパラメータと、図５ないし図９に示す制御処理のプログラムとが記憶（格納）されている。そして、コントローラ２６は、画像入力部２７、昼夜判定処理部２９、画像処理部３２、画像合成処理部３７、出力部３８を含んで構成されている。
　画像入力部２７は、撮像装置２１からの画像信号を取り込んで、例えばＲＧＢ各８ビットのデジタルデータに変換する。デジタルデータに変換された画像は、一方は昼夜判定処理部２９に他方は画像処理部３２に入力される。昼夜判定処理部２９は、内部で輝度検出部３０において入力された画像から各画素の輝度信号を検出して、次に検出された特定画素領域の輝度情報に基づき領域比較部３１において撮像環境の昼夜判定を行う。画像処理部３２は、昼夜判定処理部２９による昼夜判定結果に基づいて、画像処理パラメータを切換えて入力された画像に対して画像処理を行う。画像処理パラメータ（昼夜判定処理パラメータ）には、後述する点灯用輝度閾値Ｌon、消灯用輝度閾値Ｌoff、二値化輝度閾値および白黒反転処理の有無が含まれる。
　次に、撮像した画像の処理について説明する。画像処理部３２は、昼夜判定処理部２９による昼夜判定の結果で決定した昼間モード（Daylight mode）と夜間モード（Night mode）とのいずれかのモードに基づき画像処理を行う。なお、コントローラ２６は、キースイッチがＯＮ操作されたときの初期設定では昼間モードに設定される。
　画像入力部２７は、撮像装置２１のカメラ２１Ｂにより撮像された架線１、集電舟１０、および基準被写体２４の撮像された画像（後の説明で撮像された画像を例示する際に撮像されたのが昼夜いずれかを区別しやすいように便宜的に昼画像２８Ｄまたは夜画像２８Ｎとする）を入力している。ここで、基準被写体２４は、照明装置２３の点灯状態によらず昼間は空領域Ｓの方が明るいので、撮像装置２１のカメラ２１ＢのＡＧＣ機能により、昼画像２８Ｄでは基準被写体２４が暗く映る（図１０参照）。一方、夜間では照明装置２３を点灯しなければ、架線１、集電舟１０、および基準被写体２４が判別しにくいので、通常は照明装置２３を点灯することにより、夜画像２８Ｎでは架線１、集電舟１０、および基準被写体２４が明るく映り、空領域Ｓが暗く映る（図１１参照）。
　昼夜判定処理部２９は、画像入力部２７に入力された昼画像２８Ｄまたは夜画像２８Ｎの昼夜を判定する。具体的には、昼夜判定処理部２９は、画像入力部２７に入力された昼画像２８Ｄおよび夜画像２８Ｎの基準被写体２４の輝度平均値（輝度情報）に基づき昼夜の判定を行う。このために、昼夜判定処理部２９は、輝度検出部３０と領域比較部３１とを含んで構成されている。
　輝度検出部３０は、画像入力部２７に入力された昼画像２８Ｄあるいは夜画像２８Ｎの左側基準被写体２４Ａの輝度平均値と右側基準被写体２４Ｂの輝度平均値とを検出する。具体的には、輝度検出部３０は、画像内で左側基準被写体２４Ａに対応する左基準領域２４Ａ４の左輝度平均値Ｌａを検出する一方、右側基準被写体２４Ｂに対応する右基準領域２４Ｂ４の右輝度平均値Ｌｂを検出する。
　これら左輝度平均値Ｌａと右輝度平均値Ｌｂとは、例えば２５６諧調を表現できる８ビットのデータとして検出される。このため、左輝度平均値Ｌａと右輝度平均値Ｌｂとは、０以上２５５以下（０≦Ｌａ，Ｌｂ≦２５５）の間の数値として検出される。この場合、輝度平均値Ｌａ，Ｌｂの数値は、大きいほど基準領域２４Ａ４，２４Ｂ４が明るいことを示している。そして、左輝度平均値Ｌａと右輝度平均値Ｌｂとは、領域比較部３１に出力される。
　領域比較部３１は、輝度検出部３０から出力された左輝度平均値Ｌａと右輝度平均値Ｌｂとから昼夜を判定する。この場合、昼夜判定処理部２９は、左輝度平均値Ｌａおよび右輝度平均値Ｌｂと、記憶部２６Ａに記憶されている点灯用輝度閾値Ｌonとを比較して昼夜を判定する。点灯用輝度閾値Ｌonは、架線１、集電舟１０、および基準被写体２４が日光あるいは照明装置２３に照らされている場合に昼夜の判定を行うときの閾値であり、例えばダンプトラック２が走行する周囲の環境等に基づき実験、シミュレーション等により設定される。領域比較部３１は、昼夜判定結果を後述の画像処理部３２の二値化処理部３３および反転処理部３４に向けて出力する。
　ここで、昼画像２８Ｄでは、カメラ２１ＢのＡＧＣ機能により空領域Ｓが明るいので、相対的に左側基準被写体２４Ａと右側基準被写体２４Ｂとが暗く映る。一方、夜画像２８Ｎでは、空領域Ｓは暗く、左側基準被写体２４Ａと右側基準被写体２４Ｂとが照明装置２３に照らされて明るく映る。そこで、領域比較部３１は、左輝度平均値Ｌａおよび右輝度平均値Ｌｂが点灯用輝度閾値Ｌon（例えば、２００）以下（Ｌａ，Ｌｂ≦Ｌon）のときに昼間であると判定し、左輝度平均値Ｌａおよび右輝度平均値Ｌｂが点灯用輝度閾値Ｌonより大きい（Ｌａ，Ｌｂ＞Ｌon）ときに夜間であると判定する。
　また、昼間では、ダンプトラック２の走行中に左側基準被写体２４Ａまたは右側基準被写体２４Ｂに太陽光等が反射して左側基準被写体２４Ａまたは右側基準被写体２４Ｂが一時的に明るくなる場合がある。例えば、一時的に明るくなった左側基準被写体２４Ａの左輝度平均値Ｌａが点灯用輝度閾値Ｌon以上となった場合には、領域比較部３１が昼間であるにも拘わらず夜間であると誤判定する虞がある。そこで、領域比較部３１は、昼間モードでは左輝度平均値Ｌａと右輝度平均値Ｌｂとのうち小さい値の輝度平均値を判定用輝度平均値Ｌとして昼夜の判定を行っている。これにより、昼間にダンプトラック２が走行している場合に、基準被写体２４のいずれかに太陽光が反射して撮像装置２１に映り込む外乱による昼夜の誤判定を抑制することができる。
　従って、コントローラ２６は、ダンプトラック２が走行している場合でも、画像の輝度変化が小さい基準被写体２４を用いて昼夜判定を精度よく行うことができる。また、画像の中心に対して左，右方向の対称位置に設けられた左側基準被写体２４Ａと右側基準被写体２４Ｂとのうち小さい方の輝度平均値を判定用輝度平均値Ｌとして昼夜の判定を行っているので、昼夜判定の精度をより向上させることができる。
　画像処理部３２は、昼夜判定処理部２９により判定された昼夜判定結果に基づいて昼間と夜間とでパラメータ（画像処理パラメータ）を切換えて異なる画像処理を行うことにより、画像内の架線１と集電舟１０とを認識しやすくする。そして、画像処理部３２は、二値化処理部３３、反転処理部３４、認識処理部３５、検知枠生成部３６を含んで構成されている。
　二値化処理部３３は、画像入力部２７に入力された昼画像２８Ｄを昼間において典型的な輝度分布である空領域Ｓが明るい昼モード用白黒画像２８Ｄ１に変換し、また画像入力部２７に入力された夜画像２８Ｎを、夜間において典型的な輝度分布である空領域Ｓが暗い夜モード用白黒画像２８Ｎ１に変換する。この場合、図１０に示すように、昼画像２８Ｄは、空領域Ｓが白色に変換され、架線１、集電舟１０、および基準被写体２４が黒色に変換された昼モード用白黒画像２８Ｄ１となる。一方、図１１に示すように、夜画像２８Ｎは、空領域Ｓが黒色に変換され、架線１、集電舟１０、および基準被写体２４が白色に変換された夜モード用白黒画像２８Ｎ１となる。
　ここで図４に示すように、昼夜判定処理部２９からの判定結果は、二値化処理部３３にも入力され、昼夜で異なる画像の輝度分布に対応して適切な二値化を行うための画像処理パラメータである二値化輝度閾値も、昼間モードと夜間モードそれぞれで変更される。これにより、架線１、集電舟１０、および基準被写体２４を空領域Ｓと区別して認識するために、昼夜それぞれの画像に対する画像処理に適した二値化画像が得られる。二値化処理部３３で白黒画像に変換処理された昼モード用白黒画像２８Ｄ１または夜モード用白黒画像２８Ｎ１は、反転処理部３４に出力される。
　反転処理部３４は、夜モード用白黒画像２８Ｎ１の白黒反転処理を行う。具体的には、反転処理部３４は、昼夜判定処理部２９の領域比較部３１から出力された昼夜判定結果が夜判定であることを認識した場合には二値化処理部３３から反転処理部３４に出力された画像が夜モード用白黒画像２８Ｎ１であると認識して、夜モード用白黒画像２８Ｎ１の白黒反転処理（パラメータの切換）を行う。これにより、夜モード用白黒画像２８Ｎ１は、空領域Ｓが黒色から白色になり、架線１、集電舟１０、および基準被写体２４が白色から黒色になるので、昼モード用白黒画像２８Ｄ１と同じ画像となる。
　一方、反転処理部３４は、昼夜判定処理部２９の領域比較部３１から出力された昼夜判定結果が昼判定であることを認識した場合には二値化処理部３３から反転処理部３４に出力された昼モード用白黒画像２８Ｄ１の白黒反転処理は行わない。即ち、反転処理部３４では、昼夜判定結果が夜判定であることを認識した場合には夜モード用白黒画像２８Ｎ１を空領域Ｓが白色になり、架線１、集電舟１０、および基準被写体２４が黒色になるように白黒反転処理を行うことで、昼モード用白黒画像２８Ｄ１と同じ態様の画像に統一させる。そして、統一された昼モード用白黒画像２８Ｄ１は、認識処理部３５に出力される。
　認識処理部３５は、反転処理部３４から出力された昼モード用白黒画像２８Ｄ１から架線１と集電舟１０とを認識する。具体的には、認識処理部３５は、昼モード用白黒画像２８Ｄ１内に予め記憶部２６Ａに記憶（格納）されたテンプレート画像を一定間隔で移動させて、相関値の最も高いところを探し出すパターンマッチングを行うことにより架線１と集電舟１０とを認識する。
　この場合、認識処理部３５は、反転処理部３４で夜モード用白黒画像２８Ｎ１を昼モード用白黒画像２８Ｄ１に変換しているので、昼夜を通して昼モード用白黒画像２８Ｄ１に対応させた１種類のテンプレート画像でパターンマッチングを行うことができる。これにより、架線１と集電舟１０とを認識する処理速度は、昼用のテンプレート画像と夜用のテンプレート画像との２種類のテンプレート画像を用いてパターンマッチングを行うよりも速く行うことができる。また、パターンマッチングに伴う演算処理の負担を軽減することができる。
　検知枠生成部３６は、認識処理部３５で認識した架線１と集電舟１０との位置に対してそれぞれ直線、検知枠を生成する。即ち、検知枠生成部３６は、認識処理部３５で架線１であると認識された位置に直線を生成すると共に、認識処理部３５で集電舟１０であると認識された位置に検知枠を生成して、画像合成処理部３７へ出力する。
　画像合成処理部３７は、画像入力部２７に入力されたカラーの昼画像２８Ｄまたは夜画像２８Ｎに、検知枠生成部３６で生成された架線１の直線と集電舟１０の検知枠とを合成する。そして、合成された画像は、出力部３８から後述の表示装置３９に出力される。また、出力部３８は、例えばコントローラ２６の図示しない監視部が架線１から集電舟１０が外れそうな場合には図示しない警報音発生装置に警報音発生の出力を行う。
　表示装置３９は、コントローラ２６により処理された画像を表示する。この表示装置３９は、例えばキャブ８内に配設され、オペレータが運転席に着座した状態で操作、確認することができるようになっている。図１２、図１３に示すように、表示装置３９は、キースイッチ４０、照明用スイッチ４１、表示部４２を含んで構成されている。オペレータがキースイッチ４０をＯＮ操作すると、表示部４２にコントローラ２６により処理された画像が表示される。
　ここで、図１２に示すように、昼間は、昼画像２８Ｄに画像合成処理部３７で架線１の直線４３、集電舟１０の検知枠４４が合成処理された画像が表示される。図１２に一点鎖線で示す直線４３は、例えば赤、青、黄色等により架線１を強調表示している。一方、図１２に点線で示す検知枠４４は、例えば直線４３とは異なる色で集電舟１０を強調表示している。また、図１３に示すように、夜間でも同様に架線１が直線４３により強調表示され、集電舟１０が検知枠４４により強調表示される。これにより、架線１に対する集電舟１０の位置を認識し易くなり、ダンプトラック２の運転操作の操作性を向上することができる。
　第１の実施形態によるダンプトラック２に搭載された監視装置１１は、上述のような構成を有するもので、次に監視装置１１のコントローラ２６による制御処理について図５ないし図９を参照して説明する。なお、コントローラ２６の制御処理は、例えばキースイッチがＯＮ操作された後、キースイッチがＯＦＦ操作されるまでに所定の制御周期で繰り返し実行される。即ち、昼夜判定とモード設定、そして設定されたモードに基づく画像処理も繰り返し実行される。
　まず、図５に示すように、コントローラ２６は、キースイッチがＯＮ操作され処理動作が開始されると、変数の初期設定を行う。また、ステップ１では、初回（キースイッチＯＮ操作後）の昼夜判定を行う場合のために、昼間モードに設定する（Result＝Daylight mode）。
　次に、図６に示すように、コントローラ２６は、昼間モードの昼夜判定制御処理を行うか夜間モードの昼夜判定制御処理を行うかを決定する。この場合、ステップ１１では、現在設定（記憶）されているモードが昼間モードか否かを判定する（Result＝Daylight mode？）。即ち、キースイッチＯＮ操作後であれば、ステップ１によりコントローラ２６の記憶部２６Ａからは、昼間モード用の画像処理パラメータが出力される。一方、それ以外の場合は、コントローラ２６の記憶部２６Ａからは前回の昼夜判定結果に基づくモード用の画像処理パラメータが出力される。
　そして、ステップ１１で「ＹＥＳ」、即ち昼間モードが設定されている場合には、ステップ１２に進み、昼間モードの昼夜判定制御処理を行う。一方、ステップ１１で「ＮＯ」、即ち夜間モードが設定されている場合には、ステップ１３に進み、夜間モードの昼夜判定制御処理を行う。
　次に、図６のステップ１２で行われる昼間モードの昼夜判定制御処理について、図７を参照して説明する。この昼夜判定制御処理は、コントローラ２６の昼夜判定処理部２９で行われる。
　まず、ステップ２１では、左側基準被写体２４Ａの左基準領域２４Ａ４の左輝度平均値Ｌａを取得する。即ち、昼夜判定処理部２９の輝度検出部３０は、画像入力部２７に入力された画像（昼画像２８Ｄまたは夜画像２８Ｎ）の左基準領域２４Ａ４の左輝度平均値Ｌａを取得する。次のステップ２２では、右側基準被写体２４Ｂの右基準領域２４Ｂ４の右輝度平均値Ｌｂを取得する。即ち、昼夜判定処理部２９の輝度検出部３０は、画像入力部２７に入力された画像（昼画像２８Ｄまたは夜画像２８Ｎ）の右基準領域２４Ｂ４の右輝度平均値Ｌｂを取得する。左輝度平均値Ｌａと右輝度平均値Ｌｂとは、明るくなるほど大きくなるように、０から２５５の間の値として設定される（０≦Ｌａ，Ｌｂ≦２５５）。
　次のステップ２３では、左輝度平均値Ｌａが右輝度平均値Ｌｂ以上か否かを判定する（Ｌａ≧Ｌｂ）。即ち、昼夜判定処理部２９の領域比較部３１は、左輝度平均値Ｌａと右輝度平均値Ｌｂとのうちどちらが小さい値の輝度平均値かを判定する。そして、ステップ２３で「ＹＥＳ」、即ち左輝度平均値Ｌａが右輝度平均値Ｌｂ以上であると判定された場合には、ステップ２４に進み、判定用輝度平均値Ｌを右輝度平均値Ｌｂに設定する（Ｌ＝Ｌｂ≦Ｌａ）。一方、ステップ２３で「ＮＯ」、即ち左輝度平均値Ｌａが右輝度平均値Ｌｂよりも小さいと判定された場合には、ステップ２５に進み、判定用輝度平均値Ｌを左輝度平均値Ｌａに設定する（Ｌ＝Ｌａ＜Ｌｂ）。
　これにより、昼間に太陽光等の外乱が反射して左側基準被写体２４Ａと右側基準被写体２４Ｂとのうちいずれか一方が明るくなり、一時的に大きい値となった輝度平均値を排除することができる。従って、領域比較部３１の誤判定を抑制することができ、昼夜判定の判定精度を向上させることができる。
　次のステップ２６では、判定用輝度平均値Ｌが点灯用輝度閾値Ｌon以下であるか否かを判定する（Ｌon≧Ｌ）。即ち、昼夜判定処理部２９の領域比較部３１は、左輝度平均値Ｌａと右輝度平均値Ｌｂとのうちの小さい値の輝度平均値がＬon以下となっているか否かを判定する。そして、ステップ２６で「ＹＥＳ」、即ち判定用輝度平均値Ｌが点灯用輝度閾値Ｌon以下であると判定された場合には、ステップ２７に進む。一方、ステップ２６で「ＮＯ」、即ち判定用輝度平均値Ｌが点灯用輝度閾値Ｌonよりも大きい値であると判定された場合には、ステップ２８に進む。
　ステップ２７では、昼間モード（Result＝Daylight mode）に設定する。即ち、領域比較部３１は、画像入力部２７に入力された画像が昼画像２８Ｄであると判定されたことにより、コントローラ２６の画像処理部３２に昼間モードを設定して終了する。
　一方、ステップ２８では、夜間モード（Result＝Night mode）に設定する。即ち、領域比較部３１は、画像入力部２７に入力された画像が夜画像２８Ｎであると判定されたことにより、コントローラ２６の画像処理部３２に夜間モードを設定して終了する。
　次に、図６のステップ１３で行われる夜間モードの昼夜判定制御処理について、図８を参照して説明する。この昼夜判定制御処理は、コントローラ２６の昼夜判定処理部２９で行われる。
　まず、ステップ３１では、左側基準被写体２４Ａの左基準領域２４Ａ４の左輝度平均値Ｌａを取得する。このステップ３１は、図７のステップ２１と同様の制御処理が行われる。なお、ステップ３１では、左輝度平均値Ｌａの取得に代えて、右側基準被写体２４Ｂの右基準領域２４Ｂ４の右輝度平均値Ｌｂを取得して、以降の制御処理を右輝度平均値Ｌｂを用いて行ってもよい。即ち、夜間では、街灯等の光源が基準被写体２４に反射することにより、基準被写体２４の輝度が高くなることが考えられる。しかし、夜間では、基準被写体２４が照明装置２３により照らされて輝度が高い状態にあるので、街灯等の外乱が基準被写体２４に反射しても昼夜判定に影響を及ぼさない。従って、夜間モードでは、左側基準被写体２４Ａの左輝度平均値Ｌａと右側基準被写体２４Ｂの右輝度平均値Ｌｂとのうちいずれか一方の輝度平均値を取得する。
　次のステップ３２では、左輝度平均値Ｌａが点灯用輝度閾値Ｌon以下であるか否かを判定する（Ｌon≧Ｌａ）。即ち、左輝度平均値Ｌａを判定用輝度平均値Ｌと設定して、左輝度平均値Ｌａが点灯用輝度閾値Ｌon以下であるか否かを判定する。そして、ステップ３２で「ＹＥＳ」、即ち左輝度平均値Ｌａが点灯用輝度閾値Ｌon以下であると判定された場合には、ステップ３３に進み、昼間モード（Result＝Daylight mode）に設定して終了する。一方、ステップ３２で「ＮＯ」、即ち左輝度平均値Ｌａが点灯用輝度閾値Ｌonよりも大きい値であると判定された場合には、ステップ３４に進み、夜間モード（Result＝Night mode）に設定して終了する。
　次に、コントローラ２６の画像処理部３２で行われる架線１と集電舟１０との認識制御処理について、図９を参照して説明する。
　まず、ステップ４１では、画像の白黒二値化処理を行う。この画像白黒二値化処理は、画像処理部３２の二値化処理部３３で行われる。図１０に示すように、画像の白黒二値化処理は、画像入力部２７に入力されたカラーの昼画像２８Ｄを昼モード用白黒画像２８Ｄ１に変換する。一方、図１１に示すように、画像の白黒二値化処理は、画像入力部２７に入力されたカラーの夜画像２８Ｎを夜モード用白黒画像２８Ｎ１に変換する。
　次のステップ４２では、昼間モード（Result＝Daylight mode）か否かを判定する。この昼夜判定は、昼夜判定処理部２９の領域比較部３１で行われ、その判定結果が画像処理部３２の反転処理部３４に出力される。そして、ステップ４２で「ＹＥＳ」、即ち昼間モードであると判定された場合には、ステップ４４に進む。一方、ステップ４２で「ＮＯ」、即ち夜間モードであると判定された場合には、ステップ４３に進む。
　ステップ４３では、白黒反転処理が行われる。この白黒反転処理は、画像処理部３２の反転処理部３４で行われる。即ち、反転処理部３４は、領域比較部３１で判定された結果が夜間である場合に、二値化処理部３３で白黒変換された夜モード用白黒画像２８Ｎ１の白黒反転処理を行う。これにより、夜モード用白黒画像２８Ｎ１は、空領域Ｓが黒色から白色になり、架線１、集電舟１０、および基準被写体２４が白色から黒色に変換される（図１１参照）。これにより、夜モード用白黒画像２８Ｎ１は、昼モード用白黒画像２８Ｄ１と同じ態様の画像となり、この画像は、認識処理部３５に出力される。
　次のステップ４４では、集電舟、架線の認識処理を行う。この認識処理は、画像処理部３２の認識処理部３５で行われる。認識処理部３５では、反転処理部３４から出力された画像（昼モード用白黒画像２８Ｄ１）内に予めコントローラ２６の記憶部２６Ａに記憶（格納）されたテンプレート画像を一定間隔で移動させて、相関値の最も高いところを探し出すパターンマッチングを行うことにより架線１と集電舟１０とを認識して終了する。
　次に、図１４、図１５は、本発明の第２の実施形態を示している。第２の実施形態の特徴は、第１の実施形態で示した照明装置２３が設けられていない場合または照明装置２３が消灯している場合の昼夜判定の制御処理を示すものである。なお、第２の実施形態では、前述した第１の実施形態と同一の構成要素に同一の符号を付し、その説明を省略するものとする。
　第１の実施形態と同じ図５および図６に示す一連の処理は説明を省略し、次に、図６のステップ１２で行われる昼間モードの昼夜判定制御処理について、図１４を参照して説明する。この昼夜判定制御処理は、コントローラ２６の昼夜判定処理部２９で行われる。
　ステップ５１では、左側基準被写体２４Ａの左基準領域２４Ａ４の左輝度平均値Ｌａを取得する。このステップ５１は、図７のステップ２１と同様の制御処理が行われる。なお、ステップ５１では、左輝度平均値Ｌａの取得に代えて、右側基準被写体２４Ｂの右基準領域２４Ｂ４の右輝度平均値Ｌｂを取得して、以降の制御処理を右輝度平均値Ｌｂを用いて行ってもよい。また、左輝度平均値Ｌａと右輝度平均値Ｌｂとは、明るくなるほど大きくなるように、例えば０から２５５の間の値として設定される（０≦Ｌａ，Ｌｂ≦２５５）。この場合、照明なし（非照射）の場合は、照明ありの場合（第１の実施形態）に比べて左輝度平均値Ｌａと右輝度平均値Ｌｂとが小さい値となる。
　次のステップ５２では、左輝度平均値Ｌａが消灯用輝度閾値Ｌoff以上であるか否かを判定する（Ｌoff≦Ｌａ）。即ち、左輝度平均値Ｌａを判定用輝度平均値Ｌと設定して、左輝度平均値Ｌａが消灯用輝度閾値Ｌoff以上であるか否かを判定する。消灯用輝度閾値Ｌoffは、架線１、集電舟１０、および基準被写体２４が照らされていない場合に昼夜の判定を行うときの閾値であり、点灯用輝度閾値Ｌonよりも小さな値である。そして、消灯用輝度閾値Ｌoffもコントローラ２６の記憶部２６Ａに予め記憶（格納）されている。即ち、左輝度平均値Ｌａと右輝度平均値Ｌｂとは、昼間ではＬoff以上の値となり、夜間になるに従ってその値が徐々に小さくなる。
　ここで、昼間では、基準被写体２４の輝度平均値が夜間に比べて高く（大きく）なる。この場合、例えばダンプトラック２の走行中に日陰に入ったときに、基準被写体２４の輝度平均値が低くなり、昼夜判定が誤判定となる虞がある。そこで、消灯用輝度閾値Ｌoffは、夜間で検出される基準被写体２４の輝度平均値よりも大きく、日陰に入った場合に検出される基準被写体２４の輝度平均値よりも小さくなるように、実験、シミュレーション等により設定されている。従って、昼間モードの昼夜判定においては、外乱による昼夜判定の誤判定を考慮することなく、左側基準被写体２４Ａと右側基準被写体２４Ｂとのうち、いずれか一方の基準被写体の輝度平均値を基にして昼夜判定を行うことができる。
　そして、ステップ５２で「ＹＥＳ」、即ち左輝度平均値Ｌａが消灯用輝度閾値Ｌoff以上であると判定された場合には、ステップ５３に進み、昼間モード（Result＝Daylight mode）に設定して終了する。一方、ステップ５２で「ＮＯ」、即ち左輝度平均値Ｌａが消灯用輝度閾値Ｌoffよりも小さい値であると判定された場合には、ステップ５４に進み、夜間モード（Result＝Night mode）に設定して終了する。
　次に、図６のステップ１３で行われる夜間モードの昼夜判定制御処理について、図１５を参照して説明する。この昼夜判定制御処理は、コントローラ２６の昼夜判定処理部２９で行われる。
　ステップ６１からステップ６５は、図７中のステップ２１からステップ２５と同様の制御処理が行われる。この場合、ステップ６３では、左輝度平均値Ｌａが右輝度平均値Ｌｂ以上か否かを判定している（Ｌａ≧Ｌｂ）。これにより、夜間に街灯等の光源（外乱）が反射して左側基準被写体２４Ａと右側基準被写体２４Ｂとのうちいずれか一方が明るくなり、一時的に大きい値となった輝度平均値を排除することができる。従って、昼夜判定処理部２９の誤判定を抑制することができ、昼夜判定の判定精度を向上させることができる。
　次のステップ６６では、判定用輝度平均値Ｌが消灯用輝度閾値Ｌoff（例えば、７５）以上であるか否かを判定する（Ｌoff≦Ｌ）。即ち、昼夜判定処理部２９の領域比較部３１は、左輝度平均値Ｌａと右輝度平均値Ｌｂとのうちの小さい値の輝度平均値がＬoff以上となっているか否かを判定する。そして、ステップ６６で「ＹＥＳ」、即ち判定用輝度平均値Ｌが消灯用輝度閾値Ｌoff以上であると判定された場合には、ステップ６７に進み昼間モード（Result＝Daylight mode）に設定されて終了する。一方、ステップ６６で「ＮＯ」、即ち判定用輝度平均値Ｌが消灯用輝度閾値Ｌoffよりも小さい値であると判定された場合には、ステップ６８に進み、夜間モード（Result＝Night mode）に設定されて終了する。
　かくして、第２の実施形態についても第１の実施形態と同様に、対象物（架線１、集電舟１０）の邪魔にならない位置に映される基準被写体２４の輝度平均値に基づき、昼夜の判定を精度よく行うことができる。また、基準被写体２４は、左側基準被写体２４Ａと右側基準被写体２４Ｂとが画像の異なる位置に表示されるように配設されているので、夜間においては、小さい方の輝度平均値を基に昼夜の判定を行うことで昼夜判定の誤判定を抑制することができる。
　次に、図１６ないし図１８は、本発明の第３の実施形態を示している。第３の実施形態の特徴は、コントローラ２６に照明装置２３が点灯しているか消灯しているかを判定する照明判定部５１を設け、照明判定部５１の判定結果に基づき昼夜判定の制御処理を行うことにある。なお、第３の実施形態では、前述した第１の実施形態と同一の構成要素に同一の符号を付し、その説明を省略するものとする。
　照明判定部５１は、照明装置２３の点灯および消灯を判定するもので、コントローラ２６内に設けられている。この照明判定部５１は、入力側に照明装置２３が接続され、出力側に昼夜判定処理部２９の領域比較部３１が接続されている。照明判定部５１は、例えば照明装置２３の点灯および消灯を検知する点灯センサ（図示せず）、照明装置２３への通電を検出する電圧（電流）センサ（図示せず）、キャブ８内に設けられた照明装置２３のＯＮ，ＯＦＦを操作する照明用スイッチ４１等から得られる照明装置のＯＮ，ＯＦＦ情報に基づき照明装置２３の点灯および消灯を判定することができる。
　次に、コントローラ２６で行われる昼夜判定の制御処理について説明する。
　第１の実施形態と同じ図５および図６に示す一連の処理は説明を省略し、次に、照明装置２３の点灯および消灯の判定結果に基づいてコントローラ２６で行われる昼夜判定の制御処理について、図１７を参照して説明する。図１７に示す制御処理は、コントローラ２６の記憶部２６Ａに記憶されている。
　まず、ステップ７１では、コントローラ２６の照明判定部５１により照明装置２３のＯＮ，ＯＦＦ情報を取得して、次のステップ７２に進む。ステップ７２では、照明装置２３が点灯しているか否かを判定する。そして、ステップ７２で「ＹＥＳ」、即ち照明装置２３が点灯していると判定された場合には、ステップ７３に進む。一方、ステップ７２で「ＮＯ」、即ち照明装置２３が消灯していると判定された場合には、ステップ７６に進む。
　ステップ７３では、現在設定されているモードが昼間モード（Result＝Daylight mode）か否かを判定する。即ち、キースイッチＯＮ操作後であれば、図５中のステップ１によりコントローラ２６の記憶部２６Ａには、昼間モードが設定されている。一方、それ以外の場合は、コントローラ２６の記憶部２６Ａには前回の昼夜判定結果に基づくモードが設定されている。そして、ステップ７３で「ＹＥＳ」、即ち昼間モードが設定されている場合には、ステップ７４に進み、図７に示す昼間モードの昼夜判定制御処理を行って終了する。一方、ステップ７３で「ＮＯ」、即ち夜間モードが設定されている場合には、ステップ７５に進み、図８に示す夜間モードの昼夜判定制御処理を行って終了する。
　ステップ７６も同様に、現在設定されているモードが昼間モード（Result＝Daylight mode）か否かを判定する。そして、ステップ７６で「ＹＥＳ」、即ち昼間モードが設定されている場合には、ステップ７７に進み、図１４に示す昼間モードの昼夜判定制御処理を行って終了する。一方、ステップ７６で「ＮＯ」、即ち夜間モードが設定されている場合には、ステップ７８に進み、図１５に示す夜間モードの昼夜判定制御処理を行って終了する。
　これにより、第３の実施形態においても第１の実施形態と同様の作用、効果を有することができる。特に、昼間および夜間に拘わらず、照明装置２３が架線１、集電舟１０、および基準被写体２４を照らしているか否かを検出して、その検出結果に基づき昼夜判定の輝度閾値を点灯用輝度閾値Ｌonと消灯用輝度閾値Ｌoffとに変えているので、状況に応じた昼夜判定を行うことができる。
　なお、上述した第１の実施形態では、左側基準被写体２４Ａの被撮像部２４Ａ３と右側基準被写体２４Ｂの被撮像部２４Ｂ３とを左，右方向に離間させて同一平面上に配置した場合について説明した。しかし、本発明はこれに限らず、例えば図１８に示す第１変形例のように、ブラケット１２の延出板６１の左側基準被写体固定部６１Ａと右側基準被写体固定部６１Ｂとを屈曲させて、左側基準被写体６２の被撮像部６２Ａと右側基準被写体６３の被撮像部６３Ａとが互いに角度をなすように配設してもよい。この場合、左側基準被写体６２と右側基準被写体６３との角度は、被撮像部６２Ａと被撮像部６３Ａとに同時に太陽光等の外乱が反射しないように設定される。基準被写体６４は、左側基準被写体６２と右側基準被写体６３とにより構成されている。
　また、上述した第１の実施形態では、基準被写体２４は、画像の左，右両側に映るように、左側基準被写体２４Ａと右側基準被写体２４Ｂとを配置させた場合について説明した。しかし、本発明はこれに限らず、例えば図１９に示す第２変形例のように、太陽光等の外乱が同時に映り込むことがないように角度調整された左側基準被写体７１Ａと右側基準被写体７１Ｂとが一体形成された基準被写体７１を対象物とは撮像される画像領域中の異なる位置で撮像されるように左，右方向のいずれか一方側に配置させてもよい。この場合、左側基準被写体７１Ａと右側基準被写体７１Ｂとは、撮像装置２１のカメラ２１Ｂに対して異なる角度で対面するように、屈曲した状態で形成されている。
　また、図２０に示す第３変形例のように、太陽光等の外乱が同時に映り込むことがないように上，下方向で角度調整された上側基準被写体８１Ａ（第１基準被写体）と下側基準被写体８１Ｂ（第２基準被写体）とからなる基準被写体８１を対象物とは撮像される画像領域中の異なる位置で撮像されるように左，右方向のいずれか一方側に配置させてもよい。この場合、上側基準被写体８１Ａは、例えば左，右方向の左側に向けて傾斜し、下側基準被写体８１Ｂは、例えば左，右方向の右側に向けて傾斜している。
　また、上述した第１の実施形態では、図８に示すように、夜間モードでは、左側基準被写体２４Ａと右側基準被写体２４Ｂとのうち、いずれか一方の基準被写体の輝度平均値を基にして昼夜判定を行った場合を例に挙げて説明した。しかし、本発明はこれに限らず、例えば夜間モードでも図７に示す昼間モードと同じ昼夜判定の制御処理を行ってもよい。
　即ち、夜間モードでも左輝度平均値Ｌａと右輝度平均値Ｌｂとのうち小さい値の輝度平均値を基にして昼夜判定を行ってもよい。これにより、前回の昼夜判定結果（モード）に拘わらず、昼夜判定の制御処理を図７に示す制御処理に統一させることができるので、昼夜判定制御処理の簡素化を図ることができる。このことは、第２の実施形態での図１４に示す昼間モードについても同様である。また、第３の実施形態についても同様である。
　また、上述した第１の実施形態では、昼夜判定結果で夜間であると判定された場合に、夜モード用白黒画像２８Ｎ１を白黒反転処理させた場合について説明した。しかし、本発明はこれに限らず、例えば昼夜判定結果で昼間であると判定された場合に、昼モード用白黒画像２８Ｄ１を白黒反転処理させてもよい。このことは、第２、第３の実施形態についても同様である。
　また、上述した第１の実施形態では、左側基準被写体２４Ａ（第１基準被写体）と右側基準被写体２４Ｂ（第２基準被写体）との２個の基準被写体２４を設けた場合を例に挙げて説明した。しかし、本発明はこれに限らず、例えば３個以上の基準被写体を設けてもよい。３個以上の基準被写体を設けた場合には、一番小さい値の輝度情報（輝度平均値）、即ち複数の基準被写体の中で最も輝度平均値の低いものを選択して、昼夜の判定を行うことができる。このことは、第２、第３の実施形態についても同様である。
　また、上述した実施形態では、監視装置１１をダンプトラック２に搭載して、ダンプトラック２を駆動するための架線１と集電舟１０とを監視した場合を例に挙げて説明した。しかし、本発明はこれに限らず、その他に監視装置１１は、屋外で対象物を監視する監視装置として広く用いることができる。
　１　架線（対象物）
　２　ダンプトラック（車両）
　３　車体
　９　パンタグラフ
　１０　集電舟（対象物）
　１１　監視装置
　２１　撮像装置
　２３　照明装置
　２４，６４，７１，８１　基準被写体
　２４Ａ，６２，７１Ａ　左側基準被写体（第１基準被写体）
　２４Ｂ，６３，７１Ｂ　右側基準被写体（第２基準被写体）
　２６　コントローラ
　２７　画像入力部
　２８Ｄ　昼画像
　２８Ｎ　夜画像
　２９　昼夜判定処理部
　３２　画像処理部
　５１　照明判定部
　８１Ａ　上側基準被写体（第１基準被写体）
　８１Ｂ　下側基準被写体（第２基準被写体）
　Ｌon　点灯用輝度閾値
　Ｌoff　消灯用輝度閾値

Claims (7)

  1. 　車両に搭載され、この車両外側の対象物を撮像する撮像装置と、前記撮像装置で撮像した画像を処理するコントローラと、前記撮像装置と一体に固定して設けられ前記対象物とは撮像される画像領域中の異なる位置で前記撮像装置に撮像される複数の基準被写体と、
    　が備えられ、
    　前記コントローラは、
    　前記対象物の撮像環境の昼夜を判定する昼夜判定処理部と、
    　前記昼夜判定処理部により判定された昼夜判定結果に基づいて昼間と夜間とで異なる画像処理を行うことにより前記画像内の前記対象物を認識するために画像処理パラメータを切換える画像処理部とを有してなり、
    　前記コントローラの前記昼夜判定処理部は、前記複数の基準被写体の輝度情報に基づき昼夜の判定を行い、
    　前記コントローラの前記画像処理部は、前記昼夜判定処理部の昼夜判定結果に基づいて昼間と夜間とで異なる前記画像処理パラメータを用いて画像処理を行うことを特徴とする監視装置。
  2. 　前記コントローラの前記昼夜判定処理部は、前記撮像装置で撮像した画像の異なる位置にそれぞれ表示されるように設けられた前記複数の基準被写体の中で最も輝度平均値の低いものを選択し、これを予め定めた輝度閾値と比較して前記撮像環境の昼夜の判定を行うことを特徴とする請求項１に記載の監視装置。
  3. 　前記撮像装置で撮像される前記対象物および前記複数の基準被写体を照らす照明装置が備えられていることを特徴とする請求項１に記載の監視装置。
  4. 　前記コントローラは、前記照明装置の点灯および消灯を判定する照明判定部を有し、
    　前記コントローラの前記昼夜判定処理部は、前記照明判定部の判定結果が点灯の場合には点灯用輝度閾値に基づき昼夜の判定を行い、前記照明判定部の判定結果が消灯の場合には前記点灯用輝度閾値よりも小さい値の消灯用輝度閾値に基づき昼夜の判定を行うことを特徴とする請求項３に記載の監視装置。
  5. 　前記コントローラは、前記昼夜判定処理部が夜であると判定した場合、入力された画像の輝度を反転出力する反転処理部をさらに含むことを特徴とする請求項１に記載の監視装置。
  6. 　前記対象物は、前記車両の走路上に張られた架線と、前記車両を駆動するために前記架線に摺接して電力を取り入れる集電舟とからなり、
    　前記撮像装置は、前記架線と前記集電舟とを撮像範囲に含むように撮像するカメラを備えて前記車両に搭載されていることを特徴とする請求項１に記載の監視装置。
  7. 　車体と、前記車体に設けられ昇降可能なパンタグラフと、前記パンタグラフに対向して張られた架線に摺接して電力を取り入れる集電舟とを有し、
    　前記車体には、前記架線と前記集電舟とを撮像する撮像装置と、前記撮像装置で撮像した画像を処理するコントローラとからなる監視装置が備えられ、
    　前記コントローラは、
    　前記撮像装置で撮像した前記架線および前記集電舟の撮像環境の昼夜を判定する昼夜判定処理部と、
    　前記昼夜判定処理部により判定された昼夜判定結果に基づいて昼間と夜間とで異なる画像処理を行うことにより前記画像内の前記架線と前記集電舟とを認識するために画像処理パラメータを切換える画像処理部とを有してなるトロリー式車両において、
    　前記車体には、前記架線と前記集電舟とは撮像される画像領域中の異なる位置で前記撮像装置に撮像される複数の基準被写体が設けられ、
    　前記コントローラの前記昼夜判定処理部は、前記複数の基準被写体の輝度情報に基づき昼夜の判定を行い、
    　前記コントローラの前記画像処理部は、前記昼夜判定処理部の昼夜判定結果に基づいて昼間と夜間とで異なる前記画像処理パラメータを用いて画像処理を行うことを特徴とするトロリー式車両。
PCT/JP2019/009340 2018-03-19 2019-03-08 監視装置およびトロリー式車両 WO2019181563A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/646,403 US11468685B2 (en) 2018-03-19 2019-03-08 Monitor device and trolley type vehicle
EP19770645.0A EP3667614B1 (en) 2018-03-19 2019-03-08 Monitor device and trolley-type vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-051295 2018-03-19
JP2018051295A JP6935350B2 (ja) 2018-03-19 2018-03-19 監視装置およびトロリー式車両

Publications (1)

Publication Number Publication Date
WO2019181563A1 true WO2019181563A1 (ja) 2019-09-26

Family

ID=67986174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009340 WO2019181563A1 (ja) 2018-03-19 2019-03-08 監視装置およびトロリー式車両

Country Status (4)

Country Link
US (1) US11468685B2 (ja)
EP (1) EP3667614B1 (ja)
JP (1) JP6935350B2 (ja)
WO (1) WO2019181563A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11447931B2 (en) * 2019-05-15 2022-09-20 Caterpillar Inc. Ground engaging tool monitoring system
CN112351191B (zh) * 2020-09-14 2021-11-23 中标慧安信息技术股份有限公司 一种移动侦测处理方法及系统
CN113837992B (zh) * 2021-07-14 2023-06-02 福建电子口岸股份有限公司 基于实例分割的碳刷盒运行检测方法、装置及可读介质
CN113259597B (zh) * 2021-07-16 2021-11-02 上海豪承信息技术有限公司 图像处理方法、装置、设备、介质及程序产品
CN116582980B (zh) * 2023-07-06 2023-12-08 江苏省德懿翔宇光电科技有限公司 一种基于物联网的led车灯控制系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007091141A (ja) * 2005-09-30 2007-04-12 Meidensha Corp トロリー線位置測定装置
US8204305B2 (en) 2006-12-29 2012-06-19 Alpine Electronics, Inc. Daytime and nighttime image recognizing method and apparatus
JP2013015429A (ja) * 2011-07-05 2013-01-24 Gosei:Kk 移動基準点写真測量装置および方法
US9022153B2 (en) 2011-05-10 2015-05-05 Komatsu Ltd. Transport vehicle equipped with current collector
JP2016115259A (ja) * 2014-12-17 2016-06-23 日立建機株式会社 作業機械およびその周囲監視装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3629568B2 (ja) * 1995-10-26 2005-03-16 川崎重工業株式会社 架線検査方法および架線検査装置
JP3550874B2 (ja) 1996-04-12 2004-08-04 オムロン株式会社 監視装置
JP3435623B2 (ja) * 1996-05-15 2003-08-11 株式会社日立製作所 交通流監視装置
JP4973108B2 (ja) * 2006-10-05 2012-07-11 株式会社明電舎 トロリ線の摩耗測定装置
JP5585791B2 (ja) 2011-09-27 2014-09-10 日立建機株式会社 電気駆動ダンプトラック
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
US20180013271A1 (en) * 2016-07-07 2018-01-11 Google Inc. Mounting Mechanism for Outdoor Power Converter

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007091141A (ja) * 2005-09-30 2007-04-12 Meidensha Corp トロリー線位置測定装置
US8204305B2 (en) 2006-12-29 2012-06-19 Alpine Electronics, Inc. Daytime and nighttime image recognizing method and apparatus
US9022153B2 (en) 2011-05-10 2015-05-05 Komatsu Ltd. Transport vehicle equipped with current collector
JP2013015429A (ja) * 2011-07-05 2013-01-24 Gosei:Kk 移動基準点写真測量装置および方法
JP2016115259A (ja) * 2014-12-17 2016-06-23 日立建機株式会社 作業機械およびその周囲監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3667614A4

Also Published As

Publication number Publication date
US20200285861A1 (en) 2020-09-10
JP6935350B2 (ja) 2021-09-15
EP3667614A4 (en) 2021-04-21
EP3667614B1 (en) 2023-08-02
JP2019164496A (ja) 2019-09-26
EP3667614A1 (en) 2020-06-17
US11468685B2 (en) 2022-10-11

Similar Documents

Publication Publication Date Title
WO2019181563A1 (ja) 監視装置およびトロリー式車両
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
US7415338B2 (en) Apparatus for controlling auxiliary equipment of vehicle
JP5441462B2 (ja) 車両用撮像装置
CN104718743A (zh) 状态监视装置
CN109334557B (zh) 一种基于车载视觉的车辆大灯调节控制方法及控制系统
JP5441450B2 (ja) 車両用撮像装置
JP2006298362A (ja) 暗い領域に到達したことを早期に検出する方法
US7071472B2 (en) Irradiation control device
JP5500442B2 (ja) 低照度対応カメラ
CN106915295A (zh) 车辆大灯状态的控制方法及装置
JP2016196233A (ja) 車両用道路標識認識装置
US7656423B2 (en) Imaging device and visual recognition support system employing imaging device
JP2006290273A (ja) 車両周囲監視装置
CN101237566B (zh) 监控系统及监控方法
KR101087741B1 (ko) 전조등 제어 장치 및 방법
US10525902B2 (en) Convertible roof opening detection for mirror camera
JP2970168B2 (ja) 車両検出装置
JP2010215000A (ja) 情報処理装置及び方法、並びにプログラム
CN115457535A (zh) 一种无眩光车牌识别方法及系统
JP5436892B2 (ja) 車両用撮像装置
JP2004189060A (ja) 車両用周辺視認装置
JPH06205287A (ja) 画像監視方法及び装置
CN110733408A (zh) 一种基于视觉的智能远光灯算法
US20060285008A1 (en) Image pickup apparatus and image pickup method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19770645

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019770645

Country of ref document: EP

Effective date: 20200311

NENP Non-entry into the national phase

Ref country code: DE