JP6935350B2 - 監視装置およびトロリー式車両 - Google Patents

監視装置およびトロリー式車両 Download PDF

Info

Publication number
JP6935350B2
JP6935350B2 JP2018051295A JP2018051295A JP6935350B2 JP 6935350 B2 JP6935350 B2 JP 6935350B2 JP 2018051295 A JP2018051295 A JP 2018051295A JP 2018051295 A JP2018051295 A JP 2018051295A JP 6935350 B2 JP6935350 B2 JP 6935350B2
Authority
JP
Japan
Prior art keywords
image
day
night
processing unit
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018051295A
Other languages
English (en)
Other versions
JP2019164496A (ja
Inventor
拓士 加藤
拓士 加藤
直樹 龍澤
直樹 龍澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2018051295A priority Critical patent/JP6935350B2/ja
Priority to PCT/JP2019/009340 priority patent/WO2019181563A1/ja
Priority to US16/646,403 priority patent/US11468685B2/en
Priority to EP19770645.0A priority patent/EP3667614B1/en
Publication of JP2019164496A publication Critical patent/JP2019164496A/ja
Application granted granted Critical
Publication of JP6935350B2 publication Critical patent/JP6935350B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L5/00Current collectors for power supply lines of electrically-propelled vehicles
    • B60L5/04Current collectors for power supply lines of electrically-propelled vehicles using rollers or sliding shoes in contact with trolley wire
    • B60L5/08Structure of the sliding shoes or their carrying means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L5/00Current collectors for power supply lines of electrically-propelled vehicles
    • B60L5/18Current collectors for power supply lines of electrically-propelled vehicles using bow-type collectors in contact with trolley wire
    • B60L5/22Supporting means for the contact bow
    • B60L5/24Pantographs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L9/00Electric propulsion with power supply external to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60MPOWER SUPPLY LINES, AND DEVICES ALONG RAILS, FOR ELECTRICALLY- PROPELLED VEHICLES
    • B60M7/00Power lines or rails specially adapted for electrically-propelled vehicles of special types, e.g. suspension tramway, ropeway, underground railway
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2200/00Type of vehicles
    • B60L2200/36Vehicles designed to transport cargo, e.g. trucks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2200/00Type of vehicles
    • B60L2200/40Working vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2240/00Control parameters of input or output; Target parameters
    • B60L2240/60Navigation input
    • B60L2240/66Ambient conditions
    • B60L2240/665Light intensity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2250/00Driver interactions
    • B60L2250/16Driver interactions by display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60MPOWER SUPPLY LINES, AND DEVICES ALONG RAILS, FOR ELECTRICALLY- PROPELLED VEHICLES
    • B60M1/00Power supply lines for contact with collector on vehicle
    • B60M1/12Trolley lines; Accessories therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60MPOWER SUPPLY LINES, AND DEVICES ALONG RAILS, FOR ELECTRICALLY- PROPELLED VEHICLES
    • B60M1/00Power supply lines for contact with collector on vehicle
    • B60M1/12Trolley lines; Accessories therefor
    • B60M1/28Manufacturing or repairing trolley lines
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/72Electric energy management in electromobility
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10Technologies relating to charging of electric vehicles
    • Y02T90/16Information or communication technologies improving the operation of electric vehicles

Description

本発明は、撮像装置によって撮像された画像から対象物を認識して画像処理を行うことにより対象物を監視する監視装置およびその監視装置を搭載したトロリー式車両に関する。
屋外等で車両に搭載して使用される監視装置は、対象物を撮像する撮像装置と、前記撮像装置で撮像した画像を処理するコントローラとが備えられている。前記コントローラは、前記撮像装置で撮像した画像を入力する画像入力部と、前記画像入力部に入力された前記画像の昼夜を判定する昼夜判定処理部と、前記昼夜判定処理部により判定された昼夜判定結果に基づいて昼間と夜間とで異なる画像処理を行うことにより前記画像内の前記対象物を認識しやすくするために画像処理パラメータを切換える画像処理部とを有している。この場合、昼夜判定処理部は、撮像装置で撮像した画像内の輝度により昼夜の判定を行ない、撮像条件を決定している(例えば、特許文献1参照)。そして車両に撮像装置を搭載し、パンタグラフと架線の相対位置を検出するトロリー式の運搬車両が記載されている(例えば、特許文献2参照)。
米国特許第8204305号明細書 米国特許第9022153号明細書
上述した撮像装置には、一般的にCCD(Charge Coupled Device)などの半導体で画素が構成された撮像素子が搭載されたカメラが用いられる。そして、カメラ受光部に入力された光の明暗(輝度)に応じた画像信号が出力されるが、撮像素子の特性上、過大な光量では出力信号が飽和する所謂白飛びを生じ、逆に微弱な光量では出力信号が小さくて被写体が判別できない所謂黒潰れを起こしやすい。このため、市販されるほとんどのカメラには、光量が弱い場合にはゲインを上げ、逆に過大な場合にはゲインを下げて、画像信号の輝度強弱(明暗の幅)を一定範囲に調整して出力するAGC(Automatic Gain Control)回路が予め内蔵されている。
上述した従来技術の監視装置をダンプトラック等の車両(移動体)に搭載した場合には、天候の変化や時間の経過だけでなく車両の走行により平地から谷間へ移動したり、夜間における街灯が映り込んだりする等、周囲の環境が変化するので、撮影画像内の特定領域の輝度平均値が大きく変動することになる。それにつれて、AGC回路は、画像全体の輝度を自動的に一定範囲に調整するため、かえって昼夜判定の判定精度が低下する虞がある。
この問題への対策として、上述した特許文献1では画像内に天空領域と地面領域を予め設定して、それぞれの領域で所定の輝度値を示す画素数の比率から昼夜を判定している。しかし、特許文献2に挙げたようなトロリー式の運搬車両では、監視対象がパンタグラフであり、撮影画像内に地面領域を設定することができない。
本発明は、上述した従来技術の問題に鑑みなされたもので、本発明の目的は、トロリー式車両に搭載する昼夜判定の判定精度を向上した監視装置を提供することにある。
上述した課題を解決するため、本発明は、対象物を撮像する撮像装置と、前記撮像装置で撮像した画像を処理するコントローラと、前記撮像装置と一体に固定して設けられ前記対象物とは撮像される画像領域中の異なる位置で前記撮像装置に撮像される複数の基準被写体と、が備えられ、前記コントローラは、前記画像の昼夜を判定する昼夜判定処理部と、前記昼夜判定処理部により判定された昼夜判定結果に基づいて昼間と夜間とで異なる画像処理を行うことにより前記画像内の前記対象物を認識するために画像処理パラメータを切換える画像処理部とを有してなり、前記コントローラの前記昼夜判定処理部は、前記複数の基準被写体の画像情報に基づき昼夜の判定を行い、前記コントローラの前記画像処理部は、前記昼夜判定処理部の昼夜判定結果に基づいて昼間と夜間で異なる画像処理を行うことを特徴としている。
本発明によれば、監視装置で行われる昼夜判定の判定精度を向上させることができる。
本発明の第1の実施形態による監視装置が搭載されたトロリー式のダンプトラックを示す正面図である。 図1中のブラケット、撮像装置等を拡大して示す要部拡大の正面図である。 ブラケット、照明装置を備えた撮像装置、左側基準被写体、右側基準被写体等を示す斜視図である。 コントローラの制御ブロック図である。 コントローラで行われる初期設定の制御処理を示す流れ図である。 コントローラで行われる昼間モードと夜間モードとのいずれかを決定する処理を示す流れ図である。 本発明の第1の実施形態による昼間モードの昼夜判定の処理を示す流れ図である。 本発明の第1の実施形態による夜間モードの昼夜判定の処理を示す流れ図である。 昼夜判定結果に応じた画像処理を示す流れ図である。 図4中の画像入力部に入力された昼間撮像の昼画像、二値化処理部で画像白黒二値化処理を行った昼モード用白黒画像を示す説明図である。 図4中の画像入力部に入力された夜間撮像の夜画像、二値化処理部で画像白黒二値化処理を行った夜モード用白黒画像、反転処理部で白黒反転処理を行った画像(昼モード用白黒画像)を示す説明図である。 表示装置に表示される昼間の画像を示す正面図である。 表示装置に表示される夜間の画像を示す正面図である。 本発明の第2の実施形態による昼間モードの昼夜判定の処理を示す流れ図である。 本発明の第2の実施形態による夜間モードの昼夜判定の処理を示す流れ図である。 本発明の第3の実施形態によるコントローラの制御ブロック図である。 照明装置の点灯、消灯に基づき昼間モードと夜間モードとのいずれかを決定する処理を示す流れ図である。 本発明の第1変形例によるブラケット、照明装置を備えた撮像装置、左側基準被写体、右側基準被写体等を示す斜視図である。 本発明の第2変形例によるブラケット、照明装置を備えた撮像装置、右側基準被写体、左側基準被写体等を示す斜視図である。 本発明の第3変形例によるブラケット、照明装置を備えた撮像装置、上側基準被写体、下側基準被写体等を示す斜視図である。
以下、本発明の実施形態による監視装置をトロリー式のダンプトラックに搭載した場合を例に挙げて、添付図面に従って説明する。
図1ないし図13は、本発明の第1の実施形態を示している。図1に示す架線1(トロリー線)は、例えば鉱山の走路(動線)上に張られ、鉱山で採掘された鉱物等の運搬作業に用いられる大型の運搬車両であるダンプトラック2に電力を供給している。ダンプトラック2は、左,右の前輪4と架線1からの電力により駆動する左,右の後輪5とを有する車体3と、車体3の後方上部にホイストシリンダ6によって上下方向に回動可能(傾斜可能)に設けられた荷台7とを含んで構成されている。
車体3には、荷台7の前側に位置して内部にオペレータが乗り込む運転室を画成するキャブ8が設けられている。キャブ8内には、運転席の前側に後述の表示装置39が取付けられている。また、キャブ8内には、後述の撮像装置21で撮像された画像を制御(処理)する後述のコントローラ26が配設されている。
パンタグラフ9は、車体3の前側に設けられた架台3Aの上面に取付けられている。このパンタグラフ9は、対向する架線1と架台3Aとの間で昇降可能に設けられ、上端側には架線1に摺接して電力を取り入れる集電舟10が設けられている。ダンプトラック2は、架線1から集電舟10を介して電力が供給されることにより、例えば駆動輪となる後輪5の走行モータ(図示せず)を駆動することができる。
次に、ダンプトラック2に搭載された監視装置11について説明する。
監視装置11は、架線1と集電舟10との接触(摺接)状態を監視するものである。即ち、監視装置11は、ダンプトラック2の走行中に集電舟10が架線1から外れないように架線1と集電舟10との位置関係を監視している。そして、監視装置11は、撮像装置21が取付けられるブラケット12と、架線1と集電舟10とを撮像する撮像装置21と、架線1と集電舟10とは撮像される画像領域中の異なる位置で撮像装置21に撮像される基準被写体24と、撮像装置21で撮像した画像を処理するコントローラ26とを含んで構成されている。
ブラケット12は、パンタグラフ9の後側に位置して車体3の架台3Aに設けられている。図2に示すように、ブラケット12は、架台3Aの上面側にボルト(図示せず)等により固定されたベース具13と、ベース具13の上面にボルト等により固定され後述するケーブル22の途中部位が取付けられる中間取付具14と、中間取付具14の上面にボルト16により固定され後述の撮像装置21が取付けられる撮像装置取付具15とを含んで構成されている。
図3に示すように、撮像装置取付具15は、中間取付具14の上面に取付けられる台座17と、台座17の上端側から前方に向けて延び台座17に対して角度が調整可能に取付けられた角度調整板18と、角度調整板18の先端側に溶接等により固着され左,右方向に延びる延出板19とにより構成されている。
台座17は、中間取付具14の上面に取付けられる取付板部17Aと取付板部17Aの左,右両端から上方に向けて立上る縦板部17Bとにより構成されている。取付板部17Aには、ボルト16が挿通するボルト挿通孔17A1が左,右方向に離間して2個形成されている。撮像装置取付具15は、ボルト16をボルト挿通孔17A1を介して中間取付具14のねじ孔に螺合することにより中間取付具14に取付けられる。各縦板部17Bの内面側には、上,下方向に離間して2個のねじ座17B1がそれぞれ設けられている。
各角度調整板18には、各縦板部17Bのねじ座17B1に対応する位置にボルト挿通孔18A(図2にのみ図示)がそれぞれ形成されている。これにより、角度調整板18は、各ボルト20を各ボルト挿通孔18Aに挿通させてねじ座17B1に螺合することにより各縦板部17Bに取付けられる。この場合、図2に示すように、上,下のボルト挿通孔18Aのうち上側に位置するボルト挿通孔18Aは、湾曲状の長孔として形成されている。従って、角度調整板18は、下側に位置するボルト20を支点として取付板部17Aに対する角度を調整することができる。
延出板19は、各角度調整板18の先端側に溶接等により固着され左,右方向に延びている。延出板19は、左側の角度調整板18と右側の角度調整板18との間に位置して後述の撮像装置21が固定される撮像装置固定部19Aと、左側の角度調整板18よりも左側に向けて突出し後述の左側基準被写体24Aが撮像装置21と一体に固定される左側基準被写体固定部19Bと、右側の角度調整板18よりも右側に向けて突出し後述の右側基準被写体24Bが撮像装置21と一体に固定される右側基準被写体固定部19Cとを含んで構成されている。
左側基準被写体固定部19Bの後面には、後述の左側基準被写体24Aを取付けるためのねじ座19B1が設けられている。一方、右側基準被写体固定部19Cの後面には、後述の右側基準被写体24Bを取付けるためのねじ座19C1が設けられている。ねじ座19B1とねじ座19C1との位置は、左側基準被写体24Aと右側基準被写体24Bとが後述する撮像装置21のカメラ21Bが撮像する画像の左,右両端側に入込むように設定されている。
次に、撮像装置取付具15に取付けられた撮像装置21について説明する。
撮像装置21は、撮像装置取付具15の左,右の角度調整板18間に位置して延出板19に固定されている。この撮像装置21は、延出板19の撮像装置固定部19Aに固定されるケーシング21Aと、ケーシング21Aに配設(内蔵)されたカメラ21Bとを含んで構成されている。カメラ21Bは、例えばカラーによる撮像画像を撮像することができ、撮像される画像に合わせて自動でゲインを調整するAGC(Automatic Gain Control)回路を搭載している。即ち、カメラ21Bは、撮像される画像に合わせて自動的にゲインを調整する。
図1に示すように、カメラ21Bは、各角度調整板18を上,下方向に移動させることにより、架線1と集電舟10とを撮像範囲H内に収めることができる。即ち、架線1と集電舟10とは、撮像装置21のカメラ21Bが撮像する本発明の対象物を構成している。カメラ21Bは、ケーブル22により後述のコントローラ26に接続され、撮像した画像をコントローラ26に向けて出力している。
また、ケーシング21Aには、カメラ21Bの周囲に4個の照明装置23が内蔵されている。この照明装置23は、架線1、集電舟10、および後述の基準被写体24を照らすものである。カメラ21Bと照明装置23とは、図示しない電源に接続され、オペレータがキャブ8内のキースイッチをON操作することにより電力が供給される。即ち、カメラ21Bは、キースイッチのON操作により架線1、集電舟10、および後述の基準被写体24の撮像を開始する。
また、照明装置23は、照明用スイッチのON操作により昼夜に拘わらず点灯を開始する。照明装置23は、オペレータにより点灯/非点灯が操作されるが、タイマにより設定した時刻に連動したり、画像の輝度平均値によって照明装置23の点灯状態を決定したりしてもよい。基本的に本発明では、照明装置23の点灯状態と昼夜の組合せの如何によらず昼夜判定が可能である。
次に、撮像装置取付具15の延出板19に取付けられた基準被写体24について説明する。
基準被写体24は、架線1と集電舟10とは撮像される画像領域中の異なる位置で撮像装置21のカメラ21Bに撮像されるものである。即ち、基準被写体24は、架線1と集電舟10との撮像に邪魔にならない位置で撮像範囲H内に入込むように設けられている。この基準被写体24は、後述のコントローラ26の昼夜判定処理部29が昼夜を判定するときに用いられるものである。そして、基準被写体24は、左,右方向の左側(一側)に設けられた左側基準被写体24Aと、左,右方向の右側(他側)に設けられた右側基準被写体24Bとにより構成されている。左側基準被写体24Aは、本発明の第1基準被写体を構成し、右側基準被写体24Bは、本発明の第2基準被写体を構成している。
図2、図3に示すように、左側基準被写体24Aは、例えば金属材料、樹脂材料等により板状に形成され、撮像装置取付具15の左側基準被写体固定部19Bから上方に向けて延びている。左側基準被写体24Aは、左側基準被写体固定部19Bに固定される固定部24A1と、固定部24A1の上端から前方に向けて屈曲する屈曲部24A2と屈曲部24A2の先端から上方に向けて延びカメラ21Bに撮像される被撮像部24A3とにより構成されている。
左側基準被写体24Aの固定部24A1には、厚さ方向に貫通する貫通孔(図示せず)が形成されている。左側基準被写体24Aは、ボルト25を前記貫通孔を介して左側基準被写体固定部19Bのねじ座19B1に螺合することにより左側基準被写体固定部19Bに取付けられる。図10、図11に示すように、被撮像部24A3は、カメラ21Bが撮像する画像の左下端側に映るように設定されている。この場合、被撮像部24A3のうち中央領域は、後述するコントローラ26の輝度検出部30が輝度平均値を検出する左基準領域24A4となっている。右側基準被写体24Bも同様に、固定部24B1、屈曲部24B2、被撮像部24B3、および右基準領域24B4を備えた構成である。
このように、左側基準被写体24Aと右側基準被写体24Bとは、画像の中心に対して左,右方向に対称となる位置に映るように配設されている。また、左側基準被写体24Aの被撮像部24A3と右側基準被写体24Bの被撮像部24B3とは、同一平面上に位置している。これにより、例えば左側基準被写体24Aに太陽光等の外乱が反射して撮像装置21に映り込んでも、撮像装置21に対して左側基準被写体24Aと異なる相対位置にある右側基準被写体24Bには同時に太陽光が反射して撮像装置21に映り込むことがない。
また、これらの基準被写体24A,24Bは、撮像装置取付具15を介して撮像装置21と一体に固定されているため常に撮像される画像の同じ領域に位置するので、安定した撮像条件が得られる。従って、後述するコントローラ26の昼夜判定処理部29は、左側基準被写体24Aの輝度平均値と右側基準被写体24Bの輝度平均値とのいずれかの輝度平均値を用いて昼夜の判定を精度よく行うことができる。昼夜判定処理部29が行う昼夜判定の制御処理については、後述で詳しく説明する。
図4にコントローラ26の制御ブロック図を示す。ここで、コントローラ26は、図示しない電源に接続され、キースイッチのON操作により起動する。コントローラ26は、例えばマイクロコンピュータによって構成され、撮像装置21のカメラ21Bで撮像した画像を処理するものである。このコントローラ26は、例えばキャブ8内に配設され、入力側にケーブル22を介して撮像装置(カメラ21B)が接続され、出力側に後述の表示装置39および図示しない音声出力装置が接続されている。コントローラ26の記憶部26A(メモリ)には、画像処理用のパラメータと、図5ないし図9に示す制御処理のプログラムとが記憶(格納)されている。そして、コントローラ26は、画像入力部27、昼夜判定処理部29、画像処理部32、画像合成処理部37、出力部38を含んで構成されている。
画像入力部27は、撮像装置21からの画像信号を取り込んで、例えばRGB各8ビットのデジタルデータに変換する。デジタルデータに変換された画像は、一方は昼夜判定処理部29に他方は画像処理部32に入力される。昼夜判定処理部29は、内部で輝度検出部30において入力された画像から各画素の輝度信号を検出して、次に検出された特定画素領域の輝度情報に基づき領域比較部31において昼夜判定を行う。画像処理部32は、昼夜判定処理部29による昼夜判定結果に基づいて、画像処理用パラメータを切換えて入力された画像に対して画像処理を行う。昼夜判定処理パラメータには、後述する点灯用輝度閾値Lon、消灯用輝度閾値Loff、二値化輝度閾値および白黒反転処理の有無が含まれる。
次に、撮像した画像の処理について説明する。画像処理部32は、昼夜判定処理部29による昼夜判定の結果で決定した昼間モード(Daylight mode)と夜間モード(Night mode)とのいずれかのモードに基づき画像処理を行う。なお、コントローラ26は、キースイッチがON操作されたときの初期設定では昼間モードに設定される。
画像入力部27は、撮像装置21のカメラ21Bにより撮像された架線1、集電舟10、および基準被写体24の撮像された画像(後の説明で撮像された画像を例示する際に撮像されたのが昼夜いずれかを区別しやすいように便宜的に昼画像28Dまたは夜画像28Nとする)を入力している。ここで、基準被写体24は、照明装置23の点灯状態によらず昼間は空領域Sの方が明るいので、撮像装置21のカメラ21BのAGC機能により、昼画像28Dでは基準被写体24が暗く映る(図10参照)。一方、夜間では照明装置23を点灯しなければ、架線1、集電舟10、および基準被写体24が判別しにくいので、通常は照明装置23を点灯することにより、夜画像28Nでは架線1、集電舟10、および基準被写体24が明るく映り、空領域Sが暗く映る(図11参照)。
昼夜判定処理部29は、画像入力部27に入力された昼画像28Dまたは夜画像28Nの昼夜を判定する。具体的には、昼夜判定処理部29は、画像入力部27に入力された昼画像28Dおよび夜画像28Nの基準被写体24の輝度平均値(画像情報)に基づき昼夜の判定を行う。このために、昼夜判定処理部29は、輝度検出部30と領域比較部31とを含んで構成されている。
輝度検出部30は、画像入力部27に入力された昼画像28Dあるいは夜画像28Nの左側基準被写体24Aの輝度平均値と右側基準被写体24Bの輝度平均値とを検出する。具体的には、輝度検出部30は、画像内で左側基準被写体24Aに対応する左基準領域24A4の左輝度平均値Laを検出する一方、右側基準被写体24Bに対応する右基準領域24B4の右輝度平均値Lbを検出する。
これら左輝度平均値Laと右輝度平均値Lbとは、例えば256諧調を表現できる8ビットのデータとして検出される。このため、左輝度平均値Laと右輝度平均値Lbとは、0以上255以下(0≦La,Lb≦255)の間の数値として検出される。この場合、輝度平均値La,Lbの数値は、大きいほど基準領域24A4,24B4が明るいことを示している。そして、左輝度平均値Laと右輝度平均値Lbとは、領域比較部31に出力される。
領域比較部31は、輝度検出部30から出力された左輝度平均値Laと右輝度平均値Lbとから昼夜を判定する。この場合、昼夜判定処理部29は、左輝度平均値Laおよび右輝度平均値Lbと、記憶部26Aに記憶されている点灯用輝度閾値Lonとを比較して昼夜を判定する。点灯用輝度閾値Lonは、架線1、集電舟10、および基準被写体24が日光あるいは照明装置23に照らされている場合に昼夜の判定を行うときの閾値であり、例えばダンプトラック2が走行する周囲の環境等に基づき実験、シミュレーション等により設定される。領域比較部31は、昼夜判定結果を後述の画像処理部32の二値化処理部33および反転処理部34に向けて出力する。
ここで、昼画像28Dでは、カメラ21BのAGC機能により空領域Sが明るいので、相対的に左側基準被写体24Aと右側基準被写体24Bとが暗く映る。一方、夜画像28Nでは、空領域Sは暗く、左側基準被写体24Aと右側基準被写体24Bとが照明装置23に照らされて明るく映る。そこで、領域比較部31は、左輝度平均値Laおよび右輝度平均値Lbが点灯用輝度閾値Lon(例えば、200)以下(La,Lb≦Lon)のときに昼間であると判定し、左輝度平均値Laおよび右輝度平均値Lbが点灯用輝度閾値Lonより大きい(La,Lb>Lon)ときに夜間であると判定する。
また、昼間では、ダンプトラック2の走行中に左側基準被写体24Aまたは右側基準被写体24Bに太陽光等が反射して左側基準被写体24Aまたは右側基準被写体24Bが一時的に明るくなる場合がある。例えば、一時的に明るくなった左側基準被写体24Aの左輝度平均値Laが点灯用輝度閾値Lon以上となった場合には、領域比較部31が昼間であるにも拘わらず夜間であると誤判定する虞がある。そこで、領域比較部31は、昼間モードでは左輝度平均値Laと右輝度平均値Lbとのうち小さい値の輝度平均値を判定用輝度平均値Lとして昼夜の判定を行っている。これにより、昼間にダンプトラック2が走行している場合に、基準被写体24のいずれかに太陽光が反射して撮像装置21に映り込む外乱による昼夜の誤判定を抑制することができる。
従って、コントローラ26は、ダンプトラック2が走行している場合でも、画像の輝度変化が小さい基準被写体24を用いて昼夜判定を精度よく行うことができる。また、画像の中心に対して左,右方向の対称位置に設けられた左側基準被写体24Aと右側基準被写体24Bとのうち小さい方の輝度平均値を判定用輝度平均値Lとして昼夜の判定を行っているので、昼夜判定の精度をより向上させることができる。
画像処理部32は、昼夜判定処理部29により判定された昼夜判定結果に基づいて昼間と夜間とでパラメータを切換えて異なる画像処理を行うことにより、画像内の架線1と集電舟10とを認識しやすくするものである。そして、画像処理部32は、二値化処理部33、反転処理部34、認識処理部35、検知枠生成部36を含んで構成されている。
二値化処理部33は、画像入力部27に入力された昼画像28Dを昼間において典型的な輝度分布である空領域Sが明るい昼モード用白黒画像28D1に変換し、また画像入力部27に入力された夜画像28Nを、夜間において典型的な輝度分布である空領域Sが暗い夜モード用白黒画像28N1に変換する。この場合、図10に示すように、昼画像28Dは、空領域Sが白色に変換され、架線1、集電舟10、および基準被写体24が黒色に変換された昼モード用白黒画像28D1となる。一方、図11に示すように、夜画像28Nは、空領域Sが黒色に変換され、架線1、集電舟10、および基準被写体24が白色に変換された夜モード用白黒画像28N1となる。
ここで図4に示すように、昼夜判定処理部29からの判定結果は、二値化処理部33にも入力され、昼夜で異なる画像の輝度分布に対応して適切な二値化を行うためのパラメータである二値化輝度閾値も、昼間モードと夜間モードそれぞれで変更される。これにより、架線1、集電舟10、および基準被写体24を空領域Sと区別して認識するために、昼夜それぞれの画像に対する画像処理に適した二値化画像が得られる。二値化処理部33で白黒画像に変換処理された昼モード用白黒画像28D1または夜モード用白黒画像28N1は、反転処理部34に出力される。
反転処理部34は、夜モード用白黒画像28N1の白黒反転処理を行う。具体的には、反転処理部34は、昼夜判定処理部29の領域比較部31から出力された昼夜判定結果が夜判定であることを認識した場合には二値化処理部33から反転処理部34に出力された画像が夜モード用白黒画像28N1であると認識して、夜モード用白黒画像28N1の白黒反転処理(パラメータの切換)を行う。これにより、夜モード用白黒画像28N1は、空領域Sが黒色から白色になり、架線1、集電舟10、および基準被写体24が白色から黒色になるので、昼モード用白黒画像28D1と同じ画像となる。
一方、反転処理部34は、昼夜判定処理部29の領域比較部31から出力された昼夜判定結果が昼判定であることを認識した場合には二値化処理部33から反転処理部34に出力された昼モード用白黒画像28D1の白黒反転処理は行わない。即ち、反転処理部34では、昼夜判定結果が夜判定であることを認識した場合には夜モード用白黒画像28N1を空領域Sが白色になり、架線1、集電舟10、および基準被写体24が黒色になるように白黒反転処理を行うことで、昼モード用白黒画像28D1と同じ態様の画像に統一させる。そして、統一された昼モード用白黒画像28D1は、認識処理部35に出力される。
認識処理部35は、反転処理部34から出力された昼モード用白黒画像28D1から架線1と集電舟10とを認識する。具体的には、認識処理部35は、昼モード用白黒画像28D1内に予め記憶部26Aに記憶(格納)されたテンプレート画像を一定間隔で移動させて、相関値の最も高いところを探し出すパターンマッチングを行うことにより架線1と集電舟10とを認識する。
この場合、認識処理部35は、反転処理部34で夜モード用白黒画像28N1を昼モード用白黒画像28D1に変換しているので、昼夜を通して昼モード用白黒画像28D1に対応させた1種類のテンプレート画像でパターンマッチングを行うことができる。これにより、架線1と集電舟10とを認識する処理速度は、昼用のテンプレート画像と夜用のテンプレート画像との2種類のテンプレート画像を用いてパターンマッチングを行うよりも速く行うことができる。また、パターンマッチングに伴う演算処理の負担を軽減することができる。
検知枠生成部36は、認識処理部35で認識した架線1と集電舟10との位置に対してそれぞれ直線、検知枠を生成する。即ち、検知枠生成部36は、認識処理部35で架線1であると認識された位置に直線を生成すると共に、認識処理部35で集電舟10であると認識された位置に検知枠を生成して、画像合成処理部37へ出力する。
画像合成処理部37は、画像入力部27に入力されたカラーの昼画像28Dまたは夜画像28Nに、検知枠生成部36で生成された架線1の直線と集電舟10の検知枠とを合成する。そして、合成された画像は、出力部38から後述の表示装置39に出力される。また、出力部38は、例えばコントローラ26の図示しない監視部が架線1から集電舟10が外れそうな場合には図示しない警報音発生装置に警報音発生の出力を行う。
表示装置39は、コントローラ26により処理された画像を表示するものである。この表示装置39は、例えばキャブ8内に配設され、オペレータが運転席に着座した状態で操作、確認することができるようになっている。図12、図13に示すように、表示装置39は、キースイッチ40、照明用スイッチ41、表示部42を含んで構成されている。オペレータがキースイッチ40をON操作すると、表示部42にコントローラ26により処理された画像が表示される。
ここで、図12に示すように、昼間は、昼画像28Dに画像合成処理部37で架線1の直線43、集電舟10の検知枠44が合成処理された画像が表示される。図12に一点鎖線で示す直線43は、例えば赤、青、黄色等により架線1を強調表示している。一方、図12に点線で示す検知枠44は、例えば直線43とは異なる色で集電舟10を強調表示している。また、図13に示すように、夜間でも同様に架線1が直線43により強調表示され、集電舟10が検知枠44により強調表示される。これにより、架線1に対する集電舟10の位置を認識し易くなり、ダンプトラック2の運転操作の操作性を向上することができる。
第1の実施形態によるダンプトラック2に搭載された監視装置11は、上述のような構成を有するもので、次に監視装置11のコントローラ26による制御処理について図5ないし図9を参照して説明する。なお、コントローラ26の制御処理は、例えばキースイッチがON操作された後、キースイッチがOFF操作されるまでに所定の制御周期で繰り返し実行される。即ち、昼夜判定とモード設定、そして設定されたモードに基づく画像処理も繰り返し実行される。
まず、図5に示すように、コントローラ26は、キースイッチがON操作され処理動作が開始されると、変数の初期設定を行う。また、ステップ1では、初回(キースイッチON操作後)の昼夜判定を行う場合のために、昼間モードに設定する(Result=Daylight mode)。
次に、図6に示すように、コントローラ26は、昼間モードの昼夜判定制御処理を行うか夜間モードの昼夜判定制御処理を行うかを決定する。この場合、ステップ11では、現在設定(記憶)されているモードが昼間モードか否かを判定する(Result=Daylight mode?)。即ち、キースイッチON操作後であれば、ステップ1によりコントローラ26の記憶部26Aからは、昼間モード用の昼夜判定処理パラメータが出力される。一方、それ以外の場合は、コントローラ26の記憶部26Aからは前回の昼夜判定結果に基づくモード用の昼夜判定処理パラメータが出力される。
そして、ステップ11で「YES」、即ち昼間モードが設定されている場合には、ステップ12に進み、昼間モードの昼夜判定制御処理を行う。一方、ステップ11で「NO」、即ち夜間モードが設定されている場合には、ステップ13に進み、夜間モードの昼夜判定制御処理を行う。
次に、図6のステップ12で行われる昼間モードの昼夜判定制御処理について、図7を参照して説明する。この昼夜判定制御処理は、コントローラ26の昼夜判定処理部29で行われる。
まず、ステップ21では、左側基準被写体24Aの左基準領域24A4の左輝度平均値Laを取得する。即ち、昼夜判定処理部29の輝度検出部30は、画像入力部27に入力された画像(昼画像28Dまたは夜画像28N)の左基準領域24A4の左輝度平均値Laを取得する。次のステップ22では、右側基準被写体24Bの右基準領域24B4の右輝度平均値Lbを取得する。即ち、昼夜判定処理部29の輝度検出部30は、画像入力部27に入力された画像(昼画像28Dまたは夜画像28N)の右基準領域24B4の右輝度平均値Lbを取得する。左輝度平均値Laと右輝度平均値Lbとは、明るくなるほど大きくなるように、0から255の間の値として設定される(0≦La,Lb≦255)。
次のステップ23では、左輝度平均値Laが右輝度平均値Lb以上か否かを判定する(La≧Lb)。即ち、昼夜判定処理部29の領域比較部31は、左輝度平均値Laと右輝度平均値Lbとのうちどちらが小さい値の輝度平均値かを判定する。そして、ステップ23で「YES」、即ち左輝度平均値Laが右輝度平均値Lb以上であると判定された場合には、ステップ24に進み、判定用輝度平均値Lを右輝度平均値Lbに設定する(L=Lb≦La)。一方、ステップ23で「NO」、即ち左輝度平均値Laが右輝度平均値Lbよりも小さいと判定された場合には、ステップ25に進み、判定用輝度平均値Lを左輝度平均値Laに設定する(L=La<Lb)。
これにより、昼間に太陽光等の外乱が反射して左側基準被写体24Aと右側基準被写体24Bとのうちいずれか一方が明るくなり、一時的に大きい値となった輝度平均値を排除することができる。従って、領域比較部31の誤判定を抑制することができ、昼夜判定の判定精度を向上させることができる。
次のステップ26では、判定用輝度平均値Lが点灯用輝度閾値Lon以下であるか否かを判定する(Lon≧L)。即ち、昼夜判定処理部29の領域比較部31は、左輝度平均値Laと右輝度平均値Lbとのうちの小さい値の輝度平均値がLon以下となっているか否かを判定する。そして、ステップ26で「YES」、即ち判定用輝度平均値Lが点灯用輝度閾値Lon以下であると判定された場合には、ステップ27に進む。一方、ステップ26で「NO」、即ち判定用輝度平均値Lが点灯用輝度閾値Lonよりも大きい値であると判定された場合には、ステップ28に進む。
ステップ27では、昼間モード(Result=Daylight mode)に設定する。即ち、領域比較部31は、画像入力部27に入力された画像が昼画像28Dであると判定されたことにより、コントローラ26の画像処理部32に昼間モードを設定して終了する。
一方、ステップ28では、夜間モード(Result=Night mode)に設定する。即ち、領域比較部31は、画像入力部27に入力された画像が夜画像28Nであると判定されたことにより、コントローラ26の画像処理部32に夜間モードを設定して終了する。
次に、図6のステップ13で行われる夜間モードの昼夜判定制御処理について、図8を参照して説明する。この昼夜判定制御処理は、コントローラ26の昼夜判定処理部29で行われる。
まず、ステップ31では、左側基準被写体24Aの左基準領域24A4の左輝度平均値Laを取得する。このステップ31は、図7のステップ21と同様の制御処理が行われる。なお、ステップ31では、左輝度平均値Laの取得に代えて、右側基準被写体24Bの右基準領域24B4の右輝度平均値Lbを取得して、以降の制御処理を右輝度平均値Lbを用いて行ってもよい。即ち、夜間では、街灯等の光源が基準被写体24に反射することにより、基準被写体24の輝度が高くなることが考えられる。しかし、夜間では、基準被写体24が照明装置23により照らされて輝度が高い状態にあるので、街灯等の外乱が基準被写体24に反射しても昼夜判定に影響を及ぼさない。従って、夜間モードでは、左側基準被写体24Aの左輝度平均値Laと右側基準被写体24Bの右輝度平均値Lbとのうちいずれか一方の輝度平均値を取得する。
次のステップ32では、左輝度平均値Laが点灯用輝度閾値Lon以下であるか否かを判定する(Lon≧La)。即ち、左輝度平均値Laを判定用輝度平均値Lと設定して、左輝度平均値Laが点灯用輝度閾値Lon以下であるか否かを判定する。そして、ステップ32で「YES」、即ち左輝度平均値Laが点灯用輝度閾値Lon以下であると判定された場合には、ステップ33に進み、昼間モード(Result=Daylight mode)に設定して終了する。一方、ステップ32で「NO」、即ち左輝度平均値Laが点灯用輝度閾値Lonよりも大きい値であると判定された場合には、ステップ34に進み、夜間モード(Result=Night mode)に設定して終了する。
次に、コントローラ26の画像処理部32で行われる架線1と集電舟10との認識制御処理について、図9を参照して説明する。
まず、ステップ41では、画像の白黒二値化処理を行う。この画像白黒二値化処理は、画像処理部32の二値化処理部33で行われる。図10に示すように、画像の白黒二値化処理は、画像入力部27に入力されたカラーの昼画像28Dを昼モード用白黒画像28D1に変換する。一方、図11に示すように、画像の白黒二値化処理は、画像入力部27に入力されたカラーの夜画像28Nを夜モード用白黒画像28N1に変換する。
次のステップ42では、昼間モード(Result=Daylight mode)か否かを判定する。この昼夜判定は、昼夜判定処理部29の領域比較部31で行われ、その判定結果が画像処理部32の反転処理部34に出力される。そして、ステップ42で「YES」、即ち昼間モードであると判定された場合には、ステップ44に進む。一方、ステップ42で「NO」、即ち夜間モードであると判定された場合には、ステップ43に進む。
ステップ43では、白黒反転処理が行われる。この白黒反転処理は、画像処理部32の反転処理部34で行われる。即ち、反転処理部34は、領域比較部31で判定された結果が夜間である場合に、二値化処理部33で白黒変換された夜モード用白黒画像28N1の白黒反転処理を行う。これにより、夜モード用白黒画像28N1は、空領域Sが黒色から白色になり、架線1、集電舟10、および基準被写体24が白色から黒色に変換される(図11参照)。これにより、夜モード用白黒画像28N1は、昼モード用白黒画像28D1と同じ態様の画像となり、この画像は、認識処理部35に出力される。
次のステップ44では、集電舟、架線の認識処理を行う。この認識処理は、画像処理部32の認識処理部35で行われる。認識処理部35では、反転処理部34から出力された画像(昼モード用白黒画像28D1)内に予めコントローラ26の記憶部26Aに記憶(格納)されたテンプレート画像を一定間隔で移動させて、相関値の最も高いところを探し出すパターンマッチングを行うことにより架線1と集電舟10とを認識して終了する。
次に、図14、図15は、本発明の第2の実施形態を示している。第2の実施形態の特徴は、第1の実施形態で示した照明装置23が設けられていない場合または照明装置23が消灯している場合の昼夜判定の制御処理を示すものである。なお、第2の実施形態では、前述した第1の実施形態と同一の構成要素に同一の符号を付し、その説明を省略するものとする。
第1の実施形態と同じ図5および図6に示す一連の処理は説明を省略し、次に、図6のステップ12で行われる昼間モードの昼夜判定制御処理について、図14を参照して説明する。この昼夜判定制御処理は、コントローラ26の昼夜判定処理部29で行われる。
ステップ51では、左側基準被写体24Aの左基準領域24A4の左輝度平均値Laを取得する。このステップ51は、図7のステップ21と同様の制御処理が行われる。なお、ステップ51では、左輝度平均値Laの取得に代えて、右側基準被写体24Bの右基準領域24B4の右輝度平均値Lbを取得して、以降の制御処理を右輝度平均値Lbを用いて行ってもよい。また、左輝度平均値Laと右輝度平均値Lbとは、明るくなるほど大きくなるように、例えば0から255の間の値として設定される(0≦La,Lb≦255)。この場合、照明なし(非照射)の場合は、照明ありの場合(第1の実施形態)に比べて左輝度平均値Laと右輝度平均値Lbとが小さい値となる。
次のステップ52では、左輝度平均値Laが消灯用輝度閾値Loff以上であるか否かを判定する(Loff≦La)。即ち、左輝度平均値Laを判定用輝度平均値Lと設定して、左輝度平均値Laが消灯用輝度閾値Loff以上であるか否かを判定する。消灯用輝度閾値Loffは、架線1、集電舟10、および基準被写体24が照らされていない場合に昼夜の判定を行うときの閾値であり、点灯用輝度閾値Lonよりも小さな値である。そして、消灯用輝度閾値Loffもコントローラ26の記憶部26Aに予め記憶(格納)されている。即ち、左輝度平均値Laと右輝度平均値Lbとは、昼間ではLoff以上の値となり、夜間になるに従ってその値が徐々に小さくなる。
ここで、昼間では、基準被写体24の輝度平均値が夜間に比べて高く(大きく)なる。この場合、例えばダンプトラック2の走行中に日陰に入ったときに、基準被写体24の輝度平均値が低くなり、昼夜判定が誤判定となる虞がある。そこで、消灯用輝度閾値Loffは、夜間で検出される基準被写体24の輝度平均値よりも大きく、日陰に入った場合に検出される基準被写体24の輝度平均値よりも小さくなるように、実験、シミュレーション等により設定されている。従って、昼間モードの昼夜判定においては、外乱による昼夜判定の誤判定を考慮することなく、左側基準被写体24Aと右側基準被写体24Bとのうち、いずれか一方の基準被写体の輝度平均値を基にして昼夜判定を行うことができる。
そして、ステップ52で「YES」、即ち左輝度平均値Laが消灯用輝度閾値Loff以上であると判定された場合には、ステップ53に進み、昼間モード(Result=Daylight mode)に設定して終了する。一方、ステップ52で「NO」、即ち左輝度平均値Laが消灯用輝度閾値Loffよりも小さい値であると判定された場合には、ステップ54に進み、夜間モード(Result=Night mode)に設定して終了する。
次に、図6のステップ13で行われる夜間モードの昼夜判定制御処理について、図15を参照して説明する。この昼夜判定制御処理は、コントローラ26の昼夜判定処理部29で行われる。
ステップ61からステップ65は、図7中のステップ21からステップ25と同様の制御処理が行われる。この場合、ステップ63では、左輝度平均値Laが右輝度平均値Lb以上か否かを判定している(La≧Lb)。これにより、夜間に街灯等の光源(外乱)が反射して左側基準被写体24Aと右側基準被写体24Bとのうちいずれか一方が明るくなり、一時的に大きい値となった輝度平均値を排除することができる。従って、昼夜判定処理部29の誤判定を抑制することができ、昼夜判定の判定精度を向上させることができる。
次のステップ66では、判定用輝度平均値Lが消灯用輝度閾値Loff(例えば、75)以上であるか否かを判定する(Loff≦L)。即ち、昼夜判定処理部29の領域比較部31は、左輝度平均値Laと右輝度平均値Lbとのうちの小さい値の輝度平均値がLoff以上となっているか否かを判定する。そして、ステップ66で「YES」、即ち判定用輝度平均値Lが消灯用輝度閾値Loff以上であると判定された場合には、ステップ67に進み昼間モード(Result=Daylight mode)に設定されて終了する。一方、ステップ66で「NO」、即ち判定用輝度平均値Lが消灯用輝度閾値Loffよりも小さい値であると判定された場合には、ステップ68に進み、夜間モード(Result=Night mode)に設定されて終了する。
かくして、第2の実施形態についても第1の実施形態と同様に、対象物(架線1、集電舟10)の邪魔にならない位置に映される基準被写体24の輝度平均値に基づき、昼夜の判定を精度よく行うことができる。また、基準被写体24は、左側基準被写体24Aと右側基準被写体24Bとが画像の異なる位置に表示されるように配設されているので、夜間においては、小さい方の輝度平均値を基に昼夜の判定を行うことで昼夜判定の誤判定を抑制することができる。
次に、図16ないし図18は、本発明の第3の実施形態を示している。第3の実施形態の特徴は、コントローラ26に照明装置23が点灯しているか消灯しているかを判定する照明判定部51を設け、照明判定部51の判定結果に基づき昼夜判定の制御処理を行うことにある。なお、第3の実施形態では、前述した第1の実施形態と同一の構成要素に同一の符号を付し、その説明を省略するものとする。
照明判定部51は、照明装置23の点灯および消灯を判定するもので、コントローラ26内に設けられている。この照明判定部51は、入力側に照明装置23が接続され、出力側に昼夜判定処理部29の領域比較部31が接続されている。照明判定部51は、例えば照明装置23の点灯および消灯を検知する点灯センサ(図示せず)、照明装置23への通電を検出する電圧(電流)センサ(図示せず)、キャブ8内に設けられた照明装置23のON,OFFを操作する照明用スイッチ41等から得られる照明装置のON,OFF情報に基づき照明装置23の点灯および消灯を判定することができる。
次に、コントローラ26で行われる昼夜判定の制御処理について説明する。
第1の実施形態と同じ図5および図6に示す一連の処理は説明を省略し、次に、照明装置23の点灯および消灯の判定結果に基づいてコントローラ26で行われる昼夜判定の制御処理について、図17を参照して説明する。図17に示す制御処理は、コントローラ26の記憶部26Aに記憶されている。
まず、ステップ71では、コントローラ26の照明判定部51により照明装置23のON,OFF情報を取得して、次のステップ72に進む。ステップ72では、照明装置23が点灯しているか否かを判定する。そして、ステップ72で「YES」、即ち照明装置23が点灯していると判定された場合には、ステップ73に進む。一方、ステップ72で「NO」、即ち照明装置23が消灯していると判定された場合には、ステップ76に進む。
ステップ73では、現在設定されているモードが昼間モード(Result=Daylight mode)か否かを判定する。即ち、キースイッチON操作後であれば、図5中のステップ1によりコントローラ26の記憶部26Aには、昼間モードが設定されている。一方、それ以外の場合は、コントローラ26の記憶部26Aには前回の昼夜判定結果に基づくモードが設定されている。そして、ステップ73で「YES」、即ち昼間モードが設定されている場合には、ステップ74に進み、図7に示す昼間モードの昼夜判定制御処理を行って終了する。一方、ステップ73で「NO」、即ち夜間モードが設定されている場合には、ステップ75に進み、図8に示す夜間モードの昼夜判定制御処理を行って終了する。
ステップ76も同様に、現在設定されているモードが昼間モード(Result=Daylight mode)か否かを判定する。そして、ステップ76で「YES」、即ち昼間モードが設定されている場合には、ステップ77に進み、図14に示す昼間モードの昼夜判定制御処理を行って終了する。一方、ステップ76で「NO」、即ち夜間モードが設定されている場合には、ステップ78に進み、図15に示す夜間モードの昼夜判定制御処理を行って終了する。
これにより、第3の実施形態においても第1の実施形態と同様の作用、効果を有することができる。特に、昼間および夜間に拘わらず、照明装置23が架線1、集電舟10、および基準被写体24を照らしているか否かを検出して、その検出結果に基づき昼夜判定の輝度閾値を点灯用輝度閾値Lonと消灯用輝度閾値Loffとに変えているので、状況に応じた昼夜判定を行うことができる。
なお、上述した第1の実施形態では、左側基準被写体24Aの被撮像部24A3と右側基準被写体24Bの被撮像部24B3とを左,右方向に離間させて同一平面上に配置した場合について説明した。しかし、本発明はこれに限らず、例えば図18に示す第1変形例のように、ブラケット12の延出板61の左側基準被写体固定部61Aと右側基準被写体固定部61Bとを屈曲させて、左側基準被写体62の被撮像部62Aと右側基準被写体63の被撮像部63Aとが互いに角度をなすように配設してもよい。この場合、左側基準被写体62と右側基準被写体63との角度は、被撮像部62Aと被撮像部63Aとに同時に太陽光等の外乱が反射しないように設定される。
また、上述した第1の実施形態では、基準被写体24は、画像の左,右両側に映るように、左側基準被写体24Aと右側基準被写体24Bとを配置させた場合について説明した。しかし、本発明はこれに限らず、例えば図19に示す第2変形例のように、太陽光等の外乱が同時に映り込むことがないように角度調整された左側基準被写体71Aと右側基準被写体71Bとが一体形成された基準被写体71を対象物とは撮像される画像領域中の異なる位置で撮像されるように左,右方向のいずれか一方側に配置させてもよい。この場合、左側基準被写体71Aと右側基準被写体71Bとは、撮像装置21のカメラ21Bに対して異なる角度で対面するように、屈曲した状態で形成されている。
また、図20に示す第3変形例のように、太陽光等の外乱が同時に映り込むことがないように上,下方向で角度調整された上側基準被写体81A(第1基準被写体)と下側基準被写体81B(第2基準被写体)とからなる基準被写体81を対象物とは撮像される画像領域中の異なる位置で撮像されるように左,右方向のいずれか一方側に配置させてもよい。この場合、上側基準被写体81Aは、例えば左,右方向の左側に向けて傾斜し、下側基準被写体81Bは、例えば左,右方向の右側に向けて傾斜している。
また、上述した第1の実施形態では、昼夜判定に用いる画像情報を輝度平均値とした場合を例に挙げて説明した。しかし、本発明はこれに限らず、例えば昼夜判定に用いる画像情報を明度平均値、彩度平均値としてもよい。このことは、第2、第3の実施形態についても同様である。
また、上述した第1の実施形態では、図8に示すように、夜間モードでは、左側基準被写体24Aと右側基準被写体24Bとのうち、いずれか一方の基準被写体の輝度平均値を基にして昼夜判定を行った場合を例に挙げて説明した。しかし、本発明はこれに限らず、例えば夜間モードでも図7に示す昼間モードと同じ昼夜判定の制御処理を行ってもよい。
即ち、夜間モードでも左輝度平均値Laと右輝度平均値Lbとのうち小さい値の輝度平均値を基にして昼夜判定を行ってもよい。これにより、前回の昼夜判定結果(モード)に拘わらず、昼夜判定の制御処理を図7に示す制御処理に統一させることができるので、昼夜判定制御処理の簡素化を図ることができる。このことは、第2の実施形態での図14に示す昼間モードについても同様である。また、第3の実施形態についても同様である。
また、上述した第1の実施形態では、昼夜判定結果で夜間であると判定された場合に、夜モード用白黒画像28N1を白黒反転処理させた場合について説明した。しかし、本発明はこれに限らず、例えば昼夜判定結果で昼間であると判定された場合に、昼モード用白黒画像28D1を白黒反転処理させてもよい。このことは、第2、第3の実施形態についても同様である。
また、上述した第1の実施形態では、左側基準被写体24A(第1基準被写体)と右側基準被写体24B(第2基準被写体)との2個の基準被写体24を設けた場合を例に挙げて説明した。しかし、本発明はこれに限らず、例えば3個以上の基準被写体を設けてもよい。3個以上の基準被写体を設けた場合には、一番小さい値の画像情報(輝度平均値)、即ち複数の基準被写体の中で最も輝度平均値の低いものを選択して、昼夜の判定を行うことができる。このことは、第2、第3の実施形態についても同様である。
また、上述した実施形態では、監視装置11をダンプトラック2に搭載して、ダンプトラック2を駆動するための架線1と集電舟10とを監視した場合を例に挙げて説明した。しかし、本発明はこれに限らず、その他に監視装置11は、屋外で対象物を監視する監視装置として広く用いることができる。
1 架線(対象物)
2 ダンプトラック(車両)
3 車体
9 パンタグラフ
10 集電舟(対象物)
11 監視装置
21 撮像装置
23 照明装置
24,71,81 基準被写体
24A,62,71A 左側基準被写体(第1基準被写体)
24B,63,71B 右側基準被写体(第2基準被写体)
26 コントローラ
27 画像入力部
28D 昼画像
28N 夜画像
29 昼夜判定処理部
32 画像処理部
51 照明判定部
81A 上側基準被写体(第1基準被写体)
81B 下側基準被写体(第2基準被写体)
Lon 点灯用輝度閾値
Loff 消灯用輝度閾値

Claims (7)

  1. 対象物を撮像する撮像装置と、前記撮像装置で撮像した画像を処理するコントローラと、前記撮像装置と一体に固定して設けられ前記対象物とは撮像される画像領域中の異なる位置で前記撮像装置に撮像される複数の基準被写体と、
    が備えられ、
    前記コントローラは、
    前記画像の昼夜を判定する昼夜判定処理部と、
    前記昼夜判定処理部により判定された昼夜判定結果に基づいて昼間と夜間とで異なる画像処理を行うことにより前記画像内の前記対象物を認識するために画像処理パラメータを切換える画像処理部とを有してなり、
    前記コントローラの前記昼夜判定処理部は、前記複数の基準被写体の画像情報に基づき昼夜の判定を行い、
    前記コントローラの前記画像処理部は、前記昼夜判定処理部の昼夜判定結果に基づいて昼間と夜間とで異なる画像処理を行うことを特徴とする監視装置。
  2. 前記コントローラの前記昼夜判定処理部は、前記撮像装置で撮像した画像の異なる位置にそれぞれ表示されるように設けられた前記複数の基準被写体の中で最も輝度平均値の低いものを選択し、これを予め定めた輝度閾値と比較して昼夜の判定を行うことを特徴とする請求項1に記載の監視装置。
  3. 前記撮像装置で撮像される前記対象物および前記複数の基準被写体を照らす照明装置が備えられていることを特徴とする請求項1に記載の監視装置。
  4. 前記コントローラは、前記照明装置の点灯および消灯を判定する照明判定部を有し、
    前記コントローラの前記昼夜判定処理部は、前記照明判定部の判定結果が点灯の場合には点灯用輝度閾値に基づき昼夜の判定を行い、前記照明判定部の判定結果が消灯の場合には前記点灯用輝度閾値よりも小さい値の消灯用輝度閾値に基づき昼夜の判定を行うことを特徴とする請求項3に記載の監視装置。
  5. 前記コントローラは、前記昼夜判定処理部が夜であると判定した場合、入力された画像の輝度を反転出力する反転処理部をさらに含むことを特徴とする請求項1に記載の監視装置。
  6. 前記対象物は、ダンプトラックの走路上に張られた架線と、前記ダンプトラックを駆動するために前記架線に摺接して電力を取り入れる集電舟とからなり、
    前記撮像装置は、前記架線と前記集電舟とを撮像範囲に含むように撮像するカメラを備えて前記ダンプトラックに搭載されていることを特徴とする請求項1に記載の監視装置。
  7. 車体と、前記車体に設けられ昇降可能なパンタグラフと、前記パンタグラフに対向して張られた架線に摺接して電力を取り入れる集電舟とを有し、
    前記車体には、前記架線と前記集電舟とを撮像する撮像装置と、前記撮像装置で撮像した画像を処理するコントローラとからなる監視装置が備えられ、
    前記コントローラは、
    前記撮像装置で撮像した前記画像の昼夜を判定する昼夜判定処理部と、
    前記昼夜判定処理部により判定された昼夜判定結果に基づいて昼間と夜間とで異なる画像処理を行うことにより前記画像内の前記架線と前記集電舟とを認識するために画像処理パラメータを切換える画像処理部とを有してなるトロリー式車両において、
    前記車体には、前記架線と前記集電舟とは撮像される画像領域中の異なる位置で前記撮像装置に撮像される複数の基準被写体が設けられ、
    前記コントローラの前記昼夜判定処理部は、前記複数の基準被写体の画像情報に基づき昼夜の判定を行い、
    前記コントローラの前記画像処理部は、前記昼夜判定処理部の昼夜判定結果に基づいて昼間と夜間とで異なる画像処理を行うことを特徴とするトロリー式車両。
JP2018051295A 2018-03-19 2018-03-19 監視装置およびトロリー式車両 Active JP6935350B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018051295A JP6935350B2 (ja) 2018-03-19 2018-03-19 監視装置およびトロリー式車両
PCT/JP2019/009340 WO2019181563A1 (ja) 2018-03-19 2019-03-08 監視装置およびトロリー式車両
US16/646,403 US11468685B2 (en) 2018-03-19 2019-03-08 Monitor device and trolley type vehicle
EP19770645.0A EP3667614B1 (en) 2018-03-19 2019-03-08 Monitor device and trolley-type vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018051295A JP6935350B2 (ja) 2018-03-19 2018-03-19 監視装置およびトロリー式車両

Publications (2)

Publication Number Publication Date
JP2019164496A JP2019164496A (ja) 2019-09-26
JP6935350B2 true JP6935350B2 (ja) 2021-09-15

Family

ID=67986174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018051295A Active JP6935350B2 (ja) 2018-03-19 2018-03-19 監視装置およびトロリー式車両

Country Status (4)

Country Link
US (1) US11468685B2 (ja)
EP (1) EP3667614B1 (ja)
JP (1) JP6935350B2 (ja)
WO (1) WO2019181563A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11447931B2 (en) * 2019-05-15 2022-09-20 Caterpillar Inc. Ground engaging tool monitoring system
CN112351191B (zh) * 2020-09-14 2021-11-23 中标慧安信息技术股份有限公司 一种移动侦测处理方法及系统
CN113837992B (zh) * 2021-07-14 2023-06-02 福建电子口岸股份有限公司 基于实例分割的碳刷盒运行检测方法、装置及可读介质
CN113259597B (zh) * 2021-07-16 2021-11-02 上海豪承信息技术有限公司 图像处理方法、装置、设备、介质及程序产品
CN116582980B (zh) * 2023-07-06 2023-12-08 江苏省德懿翔宇光电科技有限公司 一种基于物联网的led车灯控制系统及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3629568B2 (ja) * 1995-10-26 2005-03-16 川崎重工業株式会社 架線検査方法および架線検査装置
JP3550874B2 (ja) 1996-04-12 2004-08-04 オムロン株式会社 監視装置
JP3435623B2 (ja) * 1996-05-15 2003-08-11 株式会社日立製作所 交通流監視装置
JP4424294B2 (ja) * 2005-09-30 2010-03-03 株式会社明電舎 トロリー線位置測定装置
JP4973108B2 (ja) * 2006-10-05 2012-07-11 株式会社明電舎 トロリ線の摩耗測定装置
CN101211407B (zh) 2006-12-29 2011-10-26 东软集团股份有限公司 昼夜图像识别方法和装置
JP5767852B2 (ja) * 2011-05-10 2015-08-19 株式会社小松製作所 集電装置付運搬車両
JP5303613B2 (ja) * 2011-07-05 2013-10-02 株式会社五星 移動基準点写真測量装置および方法
JP5585791B2 (ja) * 2011-09-27 2014-09-10 日立建機株式会社 電気駆動ダンプトラック
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
JP6420657B2 (ja) * 2014-12-17 2018-11-07 日立建機株式会社 作業機械およびその周囲監視装置
US20180013271A1 (en) * 2016-07-07 2018-01-11 Google Inc. Mounting Mechanism for Outdoor Power Converter

Also Published As

Publication number Publication date
EP3667614A4 (en) 2021-04-21
EP3667614A1 (en) 2020-06-17
US11468685B2 (en) 2022-10-11
WO2019181563A1 (ja) 2019-09-26
EP3667614B1 (en) 2023-08-02
US20200285861A1 (en) 2020-09-10
JP2019164496A (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
JP6935350B2 (ja) 監視装置およびトロリー式車両
JP5441462B2 (ja) 車両用撮像装置
US7415338B2 (en) Apparatus for controlling auxiliary equipment of vehicle
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
WO2006109398A1 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
CN109334557B (zh) 一种基于车载视觉的车辆大灯调节控制方法及控制系统
CN104718743A (zh) 状态监视装置
JP2010091816A (ja) 表示装置
JP5441450B2 (ja) 車両用撮像装置
JP2006298362A (ja) 暗い領域に到達したことを早期に検出する方法
CN110716636B (zh) 车内照明系统
JP5500442B2 (ja) 低照度対応カメラ
CN106915295A (zh) 车辆大灯状态的控制方法及装置
JP4731177B2 (ja) 車両の赤外線撮影表示装置及び赤外線撮影表示方法
JP2006290273A (ja) 車両周囲監視装置
KR101087741B1 (ko) 전조등 제어 장치 및 방법
US10525902B2 (en) Convertible roof opening detection for mirror camera
JP2014164426A (ja) 物体検出装置
JP4669445B2 (ja) 乗員検知装置
JP5436892B2 (ja) 車両用撮像装置
JP5414509B2 (ja) 道路照明設備点灯制御システム
CN115457535A (zh) 一种无眩光车牌识别方法及系统
JP2004189060A (ja) 車両用周辺視認装置
JPH05189694A (ja) 車両検出装置
JP7295645B2 (ja) 車両用道路標識認識支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210825

R150 Certificate of patent or registration of utility model

Ref document number: 6935350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150