JP7340413B2 - Train position determination device and train position determination method - Google Patents
Train position determination device and train position determination method Download PDFInfo
- Publication number
- JP7340413B2 JP7340413B2 JP2019194459A JP2019194459A JP7340413B2 JP 7340413 B2 JP7340413 B2 JP 7340413B2 JP 2019194459 A JP2019194459 A JP 2019194459A JP 2019194459 A JP2019194459 A JP 2019194459A JP 7340413 B2 JP7340413 B2 JP 7340413B2
- Authority
- JP
- Japan
- Prior art keywords
- train
- predetermined
- image
- camera
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- 238000012545 processing Methods 0.000 claims description 88
- 238000003384 imaging method Methods 0.000 claims description 86
- 238000012423 maintenance Methods 0.000 claims description 59
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 238000009434 installation Methods 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 48
- 239000003550 marker Substances 0.000 description 40
- 238000010586 diagram Methods 0.000 description 21
- 238000007689 inspection Methods 0.000 description 19
- 238000000605 extraction Methods 0.000 description 13
- 239000006185 dispersion Substances 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61B—RAILWAY SYSTEMS; EQUIPMENT THEREFOR NOT OTHERWISE PROVIDED FOR
- B61B1/00—General arrangement of stations, platforms, or sidings; Railway networks; Rail vehicle marshalling systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
- B61L25/02—Indicating or recording positions or identities of vehicles or trains
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
- G03B7/093—Digital circuits for control of exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Accessories Of Cameras (AREA)
- Exposure Control For Cameras (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
Description
本発明は、駅の定位置に対する列車の相対位置を判定する列車位置判定装置等に関する。 The present invention relates to a train position determining device and the like that determines the relative position of a train with respect to a station's fixed position.
従来より、列車が駅の定位置に停止する際の列車位置を、カメラで撮影した画像を用いて判定する技術が開発されている。例えば、特許文献1には、列車の側面に帯状テープを取り付け、この帯状テープを駅に設置されたカメラから撮影することで定位置に停止したか否かを判定する技術が開示されている。
BACKGROUND ART Conventionally, a technology has been developed that uses images taken by a camera to determine the position of a train when it stops at a fixed position at a station. For example,
撮影画像を用いて列車位置を判定する技術は、原理的に、現実世界の座標系と撮影画像中の座標系とを対応付けるキャリブレーション処理が必要となる。例えば、特許文献1の[0033]段落には、カメラの設置時に、チェスボードを用いてキャリブレーション処理を行うことが開示されている。
Techniques for determining train positions using captured images basically require a calibration process that associates the coordinate system in the real world with the coordinate system in the captured image. For example, paragraph [0033] of
しかしながら、チェスボードを用いたキャリブレーション処理は、帯状テープが取り付けられる列車側面と同じ位置に作業員が支持したチェスボードを撮影し、撮影画像中に撮像された格子状のチェスボードの撮像サイズを実寸サイズと比較することで画像1ピクセル当たりの寸法値を算出してシステムに初期設定する作業となる。この作業においては、チェスボードの撮影にあたって作業員の触車の危険性があるため、列車間合いに行ったり、営業列車が走行しない夜間に実施することが要求される。したがって、触車の危険性のないキャリブレーション処理の技術が望まれていた。 However, in the calibration process using a chessboard, the chessboard supported by a worker is photographed at the same position as the side of the train where the strip tape is attached, and the imaged size of the grid-shaped chessboard captured in the photographed image is By comparing the size with the actual size, the size value per pixel of the image is calculated and initialized in the system. In this work, there is a danger of workers touching cars when photographing the chess board, so it must be done in time for trains or at night when commercial trains are not running. Therefore, there has been a need for a technique for calibration processing that does not involve the danger of contact wheels.
また、キャリブレーション処理は、カメラの設置箇所を変更する度に必要となることは勿論、時間経過によってカメラの設置位置や設置向きにズレが発生し得るためにメンテナンスの一環として定期的に実施する運用も考えられる。したがって、メンテナンス性に優れたキャリブレーション処理の技術が望まれていた。 In addition, calibration processing is not only necessary every time the camera installation location is changed, but also periodically as part of maintenance because the camera installation position and orientation may shift over time. Operation can also be considered. Therefore, a calibration processing technique with excellent maintainability has been desired.
また、キャリブレーション処理に加えて、撮影画像の明るさ調整といった処理も含めた撮影用の設定に係る技術として、触車の危険性なく行うことが可能なメンテナンス性に優れた技術が望まれていた。 Additionally, in addition to calibration processing, there is a need for a technology that is easy to maintain and that can be performed without the risk of contact wheels, as it relates to shooting settings, including processing such as brightness adjustment of captured images. Ta.
本発明が解決しようとする課題は、カメラで撮影した画像を用いて駅の定位置に対する列車の相対位置を判定する場合のキャリブレーション等の撮影用の設定に係る技術として、触車の危険性がなく、メンテナンス性に優れた技術を提案すること、である。 The problem to be solved by the present invention is to solve the problem of the danger of treadmills as a technology related to photographic settings such as calibration when determining the relative position of a train with respect to the fixed position of a station using images taken with a camera. The goal is to propose a technology that is free of maintenance problems and has excellent maintainability.
上記課題を解決するための第1の発明は、
駅の定位置に停止する列車を側方から撮影するために当該駅に設置されたカメラが撮影した撮影画像について、歪み補正を含む当該列車を側面視した側面視画像に変換する画像処理を行う画像処理手段(例えば、図6の画像処理部242)と、
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理手段によって画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)とを比較して前記定位置に対する列車の相対位置を判定する判定手段(例えば、図6の列車位置判定部243)と、
を備え、
前記判定手段は、
前記画像処理手段によって画像処理された側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定する特定手段(例えば、図6の撮像物抽出部244)と、
前記特定手段により特定された撮像部分の画素数と前記所定サイズとの換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出する相対距離算出手段(例えば、図6の相対距離算出部246)と、
を有する、
列車位置判定装置である。
The first invention for solving the above problem is:
Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. An image processing means (for example, the
The position where a predetermined part of the train appears in the side view image when the train stopped at the fixed position is photographed (hereinafter referred to as "imaging reference position"), and the side view image processed by the image processing means. Determining means (for example, the train in FIG. 6 position determination unit 243);
Equipped with
The determining means is
Specification means for specifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is reflected in the side view image processed by the image processing means (for example, the imaged object extraction in FIG. 6). part 244) and
Based on a conversion coefficient between the number of pixels of the imaging portion specified by the specifying means and the predetermined size, the relative distance of the train to the fixed position is calculated from the number of pixels misaligned between the imaging reference position and the imaging position. a relative distance calculation means (for example, the relative
has,
This is a train position determination device.
第1の発明によれば、駅の定位置に停止する列車を側方から撮影するために当該駅に設置されたカメラが撮影した撮影画像について、歪み補正を含む当該列車を側面視した側面視画像に変換する画像処理を行う。そして、定位置に停止している列車を撮影した場合に当該列車の所定部位が側面視画像中に写る位置(撮像基準位置)と、側面視画像中に写っている所定部位の当該側面視画像中の位置(撮像位置)とを比較して定位置に対する列車の相対位置を判定する。 According to the first invention, for a captured image taken by a camera installed at a station in order to photograph a train stopped at a fixed position at a station from the side, a side view of the train including distortion correction is provided. Perform image processing to convert to image. Then, when a train stopped at a fixed position is photographed, the position where a predetermined part of the train appears in a side view image (imaging reference position), and the side view image of the predetermined part shown in the side view image. The relative position of the train with respect to the fixed position is determined by comparing the position in the middle (imaging position).
そして、定位置に対する列車の相対位置の判定にあたっては、側面視画像中に写っている当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定し、当該撮像部分の画素数と車体付属物の所定サイズとの換算係数に基づいて、撮像基準位置と撮像位置との位置ズレ画素数から、定位置に対する列車の相対距離を算出する。 Then, in determining the relative position of the train with respect to a fixed position, the imaged part of the vehicle body appendage of a predetermined size installed at a predetermined position of the train in the side view image is specified, and the number of pixels of the imaged part is determined. The relative distance of the train with respect to the fixed position is calculated from the number of misaligned pixels between the imaging reference position and the imaging position, based on the conversion coefficient between and the predetermined size of the vehicle body appendage.
したがって、カメラで撮影した画像を用いて駅の定位置に対する列車の相対位置を判定する場合のキャリブレーション等の撮影用の設定に係る技術として、触車の危険性がなく、メンテナンス性に優れた技術を実現することができる。 Therefore, when using images taken with a camera to determine the relative position of a train with respect to a station's fixed position, it is possible to use a technology that does not involve the danger of contact cars and is easy to maintain. technology can be realized.
第2の発明は、第1の発明において、
前記車体付属物は、前記列車の窓又は扉である、
列車位置判定装置である。
The second invention is, in the first invention,
The vehicle body accessory is a window or a door of the train,
This is a train position determination device.
第2の発明によれば、車体付属物を列車の窓又は扉とすることができる。 According to the second invention, the vehicle body accessory can be a window or a door of a train.
第3の発明は、第1又は第2の発明において、
前記撮像基準位置を記憶する記憶手段(例えば、図6の記憶部250)と、
第1の列車について前記特定手段が特定した撮像部分に係る第1の画素数と、第2の列車について前記特定手段が特定した撮像部分に係る第2の画素数との差異に基づいて、前記記憶手段に記憶された前記撮像基準位置のデータの修正、又は、前記カメラの設置位置及び設置向きの点検、に係るメンテナンスの要否を判定するメンテナンス要否判定手段(例えば、図6のメンテナンス要否判定部247)と、
を更に備えた列車位置判定装置である。
A third invention is, in the first or second invention,
a storage unit (for example, the
Based on the difference between the first number of pixels associated with the imaging portion identified by the identifying means for the first train and the second number of pixels associated with the imaging portion identified by the identifying means for the second train, Maintenance necessity determination means (for example, maintenance necessity determination means in FIG. 6 No judgment unit 247);
This is a train position determination device further comprising:
第3の発明によれば、異なる2つの列車について特定された撮像部分に係る画素数の差異に基づいてメンテナンスの要否が判定される。したがって、定期的なメンテナンスを要する従来のような運用ではなく、装置自身が判定するメンテナンスの要否に基づいてメンテナンスを実施すれば済むため、メンテナンスに係る時間的/人的なコストを削減することができる。 According to the third invention, the necessity of maintenance is determined based on the difference in the number of pixels related to the imaged portions identified for two different trains. Therefore, instead of conventional operations that require periodic maintenance, maintenance can be performed based on the necessity of maintenance determined by the device itself, reducing the time and human costs associated with maintenance. I can do it.
第4の発明は、第1~第3の何れかの発明において、
一部又は全部が単一色の所定物(以下、単一色の部分を「単一色部分」という)が前記駅に設置され、或いは、前記カメラに付随して設置されており、
前記カメラは、撮影画像の明るさが変化する所定のカメラ設定パラメータ(例えば、図6のカメラ設定パラメータ21)に基づいて撮影を行い、
前記所定物と前記カメラとの相対的な設置位置及び設置向きは、前記単一色部分が、前記カメラの撮影画像に写るように定められており、
前記撮影画像に写っている前記単一色部分(以下「単一色撮像部分」という)の輝度値に基づいて、前記カメラ設定パラメータのパラメータ値を自動調整するカメラ設定自動調整手段(例えば、図6の自動調整部241)、
を更に備えた列車位置判定装置である。
The fourth invention is any one of the first to third inventions,
A predetermined object whose part or all is a single color (hereinafter, a single color part is referred to as a "single color part") is installed at the station, or is installed accompanying the camera,
The camera performs photography based on a predetermined camera setting parameter (for example,
The relative installation position and installation direction of the predetermined object and the camera are determined so that the single color portion is captured in an image taken by the camera,
Camera setting automatic adjustment means (for example, in FIG. 6 automatic adjustment section 241),
This is a train position determination device further comprising:
第4の発明によれば、撮影画像に写っている所定物の単一色部分(単一色撮像部分)の輝度値に基づいて、カメラ設定パラメータのパラメータ値が自動調整される。したがって、自動調整されるカメラ設定パラメータに係るメンテナンスを不要とすることができる。 According to the fourth invention, the parameter values of the camera setting parameters are automatically adjusted based on the brightness value of a single-color portion (single-color imaged portion) of a predetermined object in a photographed image. Therefore, it is possible to eliminate the need for maintenance related to automatically adjusted camera setting parameters.
第5の発明は、第4の発明において、
前記カメラ設定自動調整手段は、前記単一色撮像部分について、輝度値のバラツキを示すバラツキ指標値を算出し、当該バラツキ指標値が、バラツキが少ないことを示す所定のバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定してゲイン又は露光時間に係るパラメータ値の自動調整を行う、
列車位置判定装置である。
A fifth invention is, in the fourth invention,
The camera setting automatic adjustment means calculates a dispersion index value indicating dispersion in brightness values for the single-color imaged portion, and when the dispersion index value satisfies a predetermined dispersion threshold condition indicating that dispersion is small. automatically adjusts parameter values related to gain or exposure time by determining that the dynamic range is exceeded.
This is a train position determination device.
第5の発明によれば、単一色撮像部分について、輝度値のバラツキを示すバラツキ指標値を算出し、このバラツキ指標値が、バラツキが少ないことを示す所定のバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定してゲイン又は露光時間に係るパラメータ値が自動調整される。 According to the fifth invention, a variation index value indicating variation in brightness values is calculated for a single-color imaged portion, and when this variation index value satisfies a predetermined variation threshold condition indicating that the variation is small, It is determined that the dynamic range is exceeded, and parameter values related to gain or exposure time are automatically adjusted.
第5の発明の原理を簡単に説明すると次のようになる。カメラには焦点や光の量を調整するためのレンズを搭載されており、原理的に周辺光量落ち又は周辺減光と呼ばれる現象が生じる。そのため、単一色撮像部分には、この周辺光量落ちの現象が現れ得る。この周辺光量落ちの現象を利用して、単一色撮像部分の輝度値のバラツキから、ダイナミックレンジオーバーが生じているかを判定し、ゲイン又は露光時間に係るパラメータ値を自動調整するのである。 The principle of the fifth invention is briefly explained as follows. Cameras are equipped with lenses to adjust the focus and amount of light, and a phenomenon called vignetting or vignetting occurs in principle. Therefore, this phenomenon of peripheral light falloff may appear in a single-color imaged portion. Utilizing this phenomenon of peripheral light falloff, it is determined whether dynamic range overflow has occurred based on variations in brightness values in single-color imaged areas, and parameter values related to gain or exposure time are automatically adjusted.
第6の発明は、第5の発明において、
前記カメラ設定自動調整手段は、前記撮影画像に基づく所定のフリッカーノイズ発生条件を満たした場合に、露光時間に係るパラメータ値の自動調整を行う、
列車位置判定装置である。
A sixth invention is, in the fifth invention,
The camera setting automatic adjustment means automatically adjusts a parameter value related to exposure time when a predetermined flicker noise generation condition based on the photographed image is satisfied.
This is a train position determination device.
第6の発明によれば、撮影画像に基づく所定のフリッカーノイズ発生条件を満たした場合に露光時間に係るパラメータ値の自動調整が行われる。フリッカーノイズの発生を自動的に判定して、適切な露光時間に自動調整することが可能となる。 According to the sixth invention, when a predetermined flicker noise generation condition based on a photographed image is satisfied, the parameter value related to the exposure time is automatically adjusted. It becomes possible to automatically determine the occurrence of flicker noise and automatically adjust the exposure time to an appropriate value.
第7の発明は、
駅の定位置に停止する列車を側方から撮影するために当該駅に設置されたカメラが撮影した撮影画像について、歪み補正を含む当該列車を側面視した側面視画像に変換する画像処理を行う画像処理ステップ(例えば、図11のステップS5)と、
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)と、を比較して前記定位置に対する列車の相対位置を判定する判定ステップ(例えば、図11のステップS7)と、
を含み、
前記判定ステップは、
前記画像処理された側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定することと(例えば、図11のステップS71)、
前記特定された撮像部分の画素数と前記所定サイズとの換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出することと(例えば、図11のステップS73~S75)、
を含む、
列車位置判定方法である。
The seventh invention is
Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. an image processing step (for example, step S5 in FIG. 11);
When a train stopped at the fixed position is photographed, the position where a predetermined part of the train appears in the side view image (hereinafter referred to as "imaging reference position"), and the position where the predetermined part of the train appears in the image processed side view image are determined. a determination step (for example, step S7 in FIG. 11) of determining the relative position of the train with respect to the fixed position by comparing the position of the predetermined part in the side view image (hereinafter referred to as "imaging position"); ,
including;
The determination step includes:
specifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is shown in the image-processed side view image (for example, step S71 in FIG. 11);
Calculating the relative distance of the train to the fixed position from the number of pixels misaligned between the imaging reference position and the imaging position based on a conversion coefficient between the number of pixels of the identified imaging portion and the predetermined size; (For example, steps S73 to S75 in FIG. 11),
including,
This is a train position determination method.
第7の発明によれば、第1の発明と同様の作用効果を発揮する列車位置判定方法を実現することができる。 According to the seventh invention, it is possible to realize a train position determination method that exhibits the same effects as the first invention.
以下、図面を参照して、本発明の好適な実施形態について説明する。なお、以下説明する実施形態によって本発明が限定されるものではなく、本発明を適用可能な形態が以下の実施形態に限定されるものでもない。また、図面の記載において、同一部分には同一の符号を付す。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. Note that the present invention is not limited to the embodiments described below, and the forms to which the present invention can be applied are not limited to the following embodiments. In addition, in the drawings, the same parts are denoted by the same reference numerals.
[全体構成]
図1は、本実施形態における列車位置判定装置2の全体構成例を示す図である。この列車位置判定装置2は、レールR上を走行する列車1の位置を判定するためのものであり、図1では、停止位置目標として定められた駅の定位置(図2を参照)に停止した状態の列車1を併せて示している。また、図2は、列車位置判定装置2が設置された駅を上から見た概略図であり、図3は、当該駅に停止した列車1の先頭車両11を進行方向前方側から見た概略図である。
[overall structure]
FIG. 1 is a diagram showing an example of the overall configuration of a train
本実施形態の列車位置判定装置2は、設置駅において対象のプラットホーム4(より詳細には番線)毎に設けられ、カメラ20と、カメラ20の撮影画像に基づいて列車1の位置を判定する処理装置200と、を具備する。また、プラットホーム4には、その軌道側端縁に配置されてプラットホーム4上を軌道側と仕切るためのホーム柵3が設けられており、処理装置200からの列車1の停止通知を受けて駆動制御部300がホームドア31の開閉を制御する構成となっている。
The train
カメラ20は、対象のプラットホーム4に設置され、停止した列車1を側方から撮影する。本実施形態では、カメラ20は、図2に示すように、プラットホーム4において列車1の進行方向前方側の端部上方に、その撮影範囲(撮影方向)を軌道側へ向けて設置され、停止した列車1の先頭車両11を側方から撮影する。カメラ20の設置態様は特に限定されないが、例えば、図3に示すように、プラットホーム4の天井部分に設けられた支柱部41に対し、設置位置及び設置向きを調整可能に取り付けられる。すなわち、カメラ20は、先頭車両11の前側(先端側)の部分(より詳細には、前側部分のプラットホーム4側の側面)を撮影範囲に含めて撮影し、撮影画像を処理装置200へ出力する。
The
そして、処理装置200は、カメラ20の撮影画像を画像処理することで、プラットホーム4に進入し、停止した列車1の停止位置の判定(停止位置判定)を行う。
Then, the
[停止位置判定について]
図4は、本実施形態における列車1の停止位置判定を説明するための図である。図4に示すように、処理装置200は、停止位置判定のため、カメラ20からの撮影画像の画像処理と、画像処理後の撮影画像(側面視画像)に基づく列車位置判定処理と、を行う。
[About stopping position determination]
FIG. 4 is a diagram for explaining the determination of the stop position of the
(1)画像処理
画像処理では、先ず、カメラ20のレンズ収差によって生じた歪みを補正する歪み補正を行う。そして、歪み補正後の撮影画像を透視投影変換し、列車1を側面視した側面視画像5を得る。
(1) Image Processing In image processing, first, distortion correction is performed to correct distortion caused by lens aberration of the
この側面視画像5には、停止した列車1の先頭車両11の前側部分や、プラットホーム4の一部が写る。具体的には、先頭車両11の前側部分においてプラットホーム4側の側面に設けられた窓13や車両ドア(扉)15が写り、プラットホーム4において進行方向前方側に設置されたホーム柵3のホームドア31や戸袋33等が写る。また、本実施形態の列車1の先頭車両11には、プラットホーム4側となる側面において前側部分の所定位置に基準マーカ17が設けられている。基準マーカ17は、例えば所定色の塗料を塗布したり、シールを貼付する等して設けられる。よって、側面視画像5には、この基準マーカ17も写る。
This
(2)列車位置判定処理
次に、列車位置判定処理では、撮像物抽出処理と、位置ズレ画素数算出処理と、相対距離算出処理と、を行う。図5は、列車位置判定処理を説明するための図であり、上段(1)は、図4の側面視画像5を対象とした撮像物抽出処理の結果を示す模式図である。また、図5の下段(2)は、位置ズレ画素数算出処理で用いる撮像基準位置を画像化した基準画像を示す模式図である。
(2) Train position determination process Next, in the train position determination process, an imaging object extraction process, a misaligned pixel count calculation process, and a relative distance calculation process are performed. FIG. 5 is a diagram for explaining the train position determination process, and the upper row (1) is a schematic diagram showing the result of the imaged object extraction process for the
ここで、撮像基準位置は、定位置に停止している列車1を撮影した場合に当該列車1の所定部位が側面視画像中に写る位置として予め定められる。本実施形態では、列車1に設けられた基準マーカ17を列車1の所定部位とし、事前に定位置に列車1が停止しているときの側面視画像から基準マーカ17を抽出して、当該抽出した基準マーカ17の側面視画像中の位置である撮像基準位置(以下「マーカ撮像基準位置」ともいう)を、撮像基準位置データ273(図6を参照)として設定しておく。
Here, the imaging reference position is predetermined as a position where a predetermined part of the
そして、側面視画像中に写っている基準マーカ17の当該側面視画像中の位置(撮像位置;以下「マーカ撮像位置」ともいう)をマーカ撮像基準位置と比較することで、定位置に対する列車1の相対位置を判定する。
Then, by comparing the position (imaging position; hereinafter also referred to as "marker imaging position") of the
(2-1)撮像物抽出処理
撮像物抽出処理では、側面視画像に写っている車体付属物の撮像部分(以下「付属物撮像部分」ともいう)を抽出するとともに、側面視画像に写っている基準マーカ17の撮像部分を抽出して、マーカ撮像位置を取得する。車体付属物は、列車1の所定位置に設けられる所定サイズのものであり、例えば、窓13や車両ドア15とすることができる。ここでの処理により、側面視画像から、そこに写っている窓13や車両ドア15の撮像部分が特定されるとともに、基準マーカ17の撮像部分が特定される。図5(1)の例では、図中に実線で示すように、側面視画像5中の窓13や車両ドア15の撮像部分が抽出されるとともに、基準マーカ17の側面視画像5中の位置であるマーカ撮像位置が取得される。
(2-1) Imaged object extraction process In the imaged object extraction process, the imaged part of the vehicle body appendage (hereinafter also referred to as the "appendage imaged part") that appears in the side view image is extracted, and the imaged part of the vehicle body appendage that appears in the side view image is extracted. The imaged portion of the
(2-2)位置ズレ画素数算出処理
位置ズレ画素数算出処理では、撮像物抽出処理で取得されたマーカ撮像位置と、マーカ撮像基準位置との位置ズレ画素数を算出する。図5の例でいえば、側面視画像5中の基準マーカ17の位置として取得されたマーカ撮像位置と、基準画像中の基準マーカ17Aの位置として図示している予め定められたマーカ撮像基準位置との間の画素数Δdを、位置ズレ画素数として求める。
(2-2) Misaligned pixel number calculation process In the misaligned pixel number calculation process, the number of misaligned pixels between the marker imaging position acquired in the imaging object extraction process and the marker imaging reference position is calculated. In the example of FIG. 5, the marker imaging position acquired as the position of the
(2-3)相対距離算出処理
相対距離算出処理では、先ず、撮像物抽出処理で抽出された付属物撮像部分の画素数と、その車体付属物の実際のサイズとから、換算係数Kを算出する。ここで、車体付属物である窓13や車両ドア15のサイズは仕様として既知である。したがって、側面視画像5中の付属物撮像部分である窓13の画素数(ここでは例えば幅方向の画素数)α1や、車両ドア15の画素数(同様に例えば幅方向の画素数)α2と、窓13や車両ドア15の実際のサイズ(例えば幅;以下「規定サイズ」という)との関係から、基準マーカ17の位置ズレ画素数Δdに対応する距離を求めることができる。この距離は、停止した列車1の定位置に対する相対距離(その先頭車両11の先端位置と定位置とのズレ量)に相当する。
(2-3) Relative distance calculation process In the relative distance calculation process, first, a conversion factor K is calculated from the number of pixels of the appendage imaged part extracted in the imaged object extraction process and the actual size of the vehicle body appendage. do. Here, the sizes of the
そこで、本実施形態では、車体付属物とする窓13や車両ドア15の規定サイズを規定サイズデータ275(図6を参照)として設定しておく。そして、次式(1)に従い、車体付属物の規定サイズを付属物撮像部分の画素数αで除して換算係数Kを求める。
換算係数K=規定サイズ/画素数α ・・・(1)
Therefore, in this embodiment, the specified sizes of the
Conversion coefficient K = specified size / number of pixels α ... (1)
より詳細には、車体付属物を窓13とする場合であれば、窓13の規定サイズを側面視画像5中の窓13の撮像部分の画素数α1で除して、換算係数Kを求める。一方、車体付属物を車両ドア15とする場合であれば、車両ドア15の規定サイズを側面視画像5中の車両ドア15の撮像部分の画素数α2で除して、換算係数Kを求める。図5の車両ドア15のように同種の付属物撮像部分が複数抽出されている場合には、それらの画素数の平均値を用い、換算係数Kを算出することとしてもよい。或いは、側面視画像5中の複数の車体付属物を含む範囲を利用してもよい。例えば、図5に示すように、窓13及び2つの車両ドア15の全体の撮像部分の画素数α3を用い、換算係数Kを求めることとしてもよい。その場合は、当該範囲に対応する車体部分の幅を規定サイズとして設定しておけばよい。換算係数Kを求める対象の長さ(付属物撮像部分の長さ)は、側面視画像5中で、できるだけ長くなるように定めることで、換算係数Kの算出誤差を小さく抑えることができる。
More specifically, when the vehicle body accessory is the
そして、換算係数Kを求めたならば、次式(2)に従い、相対距離算出処理で算出された位置ズレ画素数Δdに換算係数Kを乗じて相対距離ΔDを算出する。
相対距離ΔD=換算係数K×位置ズレ画素数Δd ・・・(2)
Once the conversion coefficient K has been determined, the relative distance ΔD is calculated by multiplying the number of misaligned pixels Δd calculated in the relative distance calculation process by the conversion coefficient K according to the following equation (2).
Relative distance ΔD = conversion coefficient K x number of positional deviation pixels Δd (2)
その後は、求めた相対距離ΔDをもとに、列車1が定位置に停止したか否かの判定を行う。本実施形態では、図2に示すように、例えば、定位置に対してオーバー位置(過走位置)と、ショート位置(未達位置)とのそれぞれについて、定位置に対する相対距離が所定値A11以内の範囲を、定位置停止範囲A1として予め定めておく。そして、式(2)で求めた相対距離ΔDが距離A11以下であれば、列車1は定位置に停止したと判定する。
Thereafter, it is determined whether the
[機能構成]
図6は、処理装置200の機能構成例を示すブロック図である。図6に示すように、処理装置200は、操作部210と、表示部220と、通信部230と、制御部240と、記憶部250とを備え、カメラ20が撮影した撮影画像を処理する一種のコンピュータとして構成することができる。
[Functional configuration]
FIG. 6 is a block diagram showing an example of the functional configuration of the
カメラ20は、上記したように、プラットホーム4に設置されて駅に停止した列車1を側方から撮影するものであり、それを変更すると撮影画像の明るさが変化する所定のカメラ設定パラメータ21に基づいて撮影を行う。本実施形態では、カメラ設定パラメータ21は、アナログゲイン、デジタルゲイン、及び露光時間を含む。
As described above, the
操作部210は、プッシュスイッチやダイヤル等を有して構成され、表示部220は、LEDや小型の液晶表示装置等を有して構成される。操作部210及び表示部220は、主に作業員によってメンテナンス時に利用されるものである。
The operation section 210 includes push switches, dials, and the like, and the
通信部230は、例えば無線通信モジュールやルータ、モデム、TA、有線用の通信ケーブルのジャックや制御回路等で実現される有線或いは無線の通信装置であり、外部装置(カメラ20や駆動制御部300等)との間で通信を行う。この通信部230を介してカメラ20からフレーム毎に入力される撮影画像が、進入側撮影画像データ255として記憶部250に格納される。
The communication unit 230 is a wired or wireless communication device realized by, for example, a wireless communication module, a router, a modem, a TA, a wired communication cable jack, a control circuit, etc. etc.). Photographed images input frame by frame from the
制御部240は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Processor)等のプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等の電子部品によって実現され、装置各部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、通信部230を介して入力されたデータ等に基づいて各種の演算処理を行い、処理装置200の動作を制御する。この制御部240は、自動調整部241と、画像処理部242と、列車位置判定部243と、メンテナンス要否判定部247とを含む。これらの機能部は、プログラムを実行することによりソフトウェアとして実現される処理ブロックであってもよいし、ASICやFPGA等のハードウェア回路によって実現される回路ブロックであってもよい。本実施形態では、制御部240が自動調整プログラム251及び停止位置判定プログラム253を実行することによりソフトウェアとして実現される処理ブロックとして説明する。
The
自動調整部241は、停止位置判定に先立ち、カメラ20からの撮影画像を用いて自動調整処理を行って、所定のカメラ設定パラメータのパラメータ値を自動的に調整する。本実施形態では、カメラ設定パラメータ21のアナログゲイン・デジタルゲイン・露光時間の各値を自動調整する。そして、自動調整処理を正常に終了したときの撮影画像を画像処理部242へ出力することで、停止位置判定の対象とする。これによれば、明るさ調整等が施された適切な画質の撮影画像を用いて停止位置判定を行うことが可能となり、停止位置判定の精度向上が図れる。
Prior to determining the stop position, the
ここで、自動調整処理について説明する。図7は、図3に示したカメラ20の設置部分の拡大図である。また、図8は、カメラ20の撮影画像6の模式図である。図7に示すように、本実施形態のカメラ20は、自動調整処理のために、カメラ20に向けられる表面の一部又は全部が撮影範囲と重なるように取り付けられた調整用ボード23を備える。例えば、表面の全部が単一色とされた板体を調整用ボード(所定物)23とし、カメラ20に取り付けることで実現できる。単一色であれば色は特に限定されないが、例えば、白色とすることができる。本実施形態では、図8中に破線で示すように、撮影画像6の下端部において全幅に亘って調整用ボード23の表面(単一色部分)が帯状の領域(単一色撮像部分)61として写るように、調整用ボード23とカメラ20との相対的な設置位置及び設置向きが定められる。
Here, automatic adjustment processing will be explained. FIG. 7 is an enlarged view of the installation part of the
なお、調整用ボード23は、表面の全体が単一色ではなく一部が単一色のものであってもよく、また光を透過するものでもよく、その単一色部分が撮影画像に写るようにカメラ20に取り付けられていればよい。また、単一色撮像部分は、図8の単一色撮像部分61のように全幅に亘る長さである必要はなく、少なくともカメラ20の輝度分布において輝度勾配を捉えることが可能な長さで写るように構成されていればよい。例えば、左右画角の1/3以上の長さで単一色画像部分が写れば輝度勾配を捉えることができるのであれば、その長さが写るように調整用ボード23の大きさや、調整用ボード23とカメラ20との相対位置・相対角度が設定されていればよい。
Note that the entire surface of the
また、撮影画像の下端部に限らず、左端部や右端部において上下に帯状の単一色撮像部分が写る構成でもよく、単一色撮像部分とする撮影画像中の領域に合わせて調整用ボード23とカメラ20との相対的な設置位置及び設置向きを定めておけばよい。またその場合も、少なくともカメラ20の輝度分布において輝度勾配を捉えることが可能な長さで単一色撮像部分が写るように構成されていればよい。
Furthermore, it is not limited to the bottom end of the photographed image, but may also be configured such that a vertically band-shaped single-color imaging portion is captured at the left end or right end. The installation position and installation direction relative to the
また、カメラ20にその単一色撮像部分が写るように調整用ボード23を取り付ける構成に限らず、カメラ20とは別個に駅に設置するのでもよい。例えば、プラットホーム4の屋根下に吊り下げるようにして、カメラ20の撮影範囲に写るように調整用ボードを設置することもできる。その場合は、当該調整用ボードの単一色部分がカメラ20の輝度分布において輝度勾配を捉えることが可能な長さで写るように、当該調整用ボードとカメラ20との相対的な設置位置及び設置向きが定められる。
Furthermore, the
或いは、調整用ボードを用いなくても、撮影範囲内となるホーム柵3の側面や、列車1のプラットホーム4側の側面に単一色部分があれば、その部分が写る撮影画像中の領域を単一色撮像部分として利用することもできる。これによれば、カメラ20に調整用ボード23を取り付けることなく自動調整処理を行うことが可能となる。
Alternatively, even without using an adjustment board, if there is a single color part on the side of the
そして、自動調整処理では、撮影画像に写っている単一色撮像部分61の輝度値を用いてダイナミックレンジオーバー判定、フリッカー発生判定、及び中心輝度判定を行い、判定結果に応じてカメラ設定パラメータ21のアナログゲイン・デジタルゲイン・露光時間の各値の自動調整を行う。本実施形態では、単一色撮像部分61の中心線を検査ラインL1とし、この検査ラインL1上の輝度値に基づいて各判定を行う。
In the automatic adjustment process, dynamic range over determination, flicker occurrence determination, and center brightness determination are performed using the brightness value of the single-color imaged
(1)ダイナミックレンジオーバー判定
図9および図10は、ダイナミックレンジオーバー判定を説明するための図であり、図9は、図8に示すセンターCを中心とした検査ラインL1上の各位置を横軸として、標準的な照度環境下での検査ラインL1上の輝度値分布をグラフ化した図である。また、図10は、当該標準的な照度環境下での輝度値分布(中段)とともに、日中の高照度環境下での検査ラインL1上の輝度値分布(上段)と、夜間の低照度環境下での検査ラインL1上の輝度値分布(下段)とを共通の横軸で示した図である。
(1) Dynamic range over determination FIGS. 9 and 10 are diagrams for explaining dynamic range over determination. FIG. 9 shows each position on the inspection line L1 centered on the center C shown in FIG. It is a graph in which the luminance value distribution on the inspection line L1 under a standard illumination environment is plotted as an axis. In addition, FIG. 10 shows the luminance value distribution under the standard illuminance environment (middle row), the luminance value distribution on the inspection line L1 under the high-illuminance environment during the day (upper row), and the low-illuminance environment at night. It is a diagram showing the luminance value distribution (lower stage) on the lower inspection line L1 along a common horizontal axis.
上記したように、カメラ20には、周辺光量落ちの現象が生じる。自動調整処理では、この周辺光量落ちによる輝度値分布の特徴を利用して、ダイナミックレンジオーバー判定を行う。具体的には、図9や図10の中段の検査ラインL1上の輝度値分布が示すように、標準的な照度環境下で撮影された単一色撮像部分61には、中央部分(センターCの付近)に比べて周辺部分(検査ラインL1上の端部)の輝度値が低下する現象が現れ得る。
As described above, the
これに対し、図10の上段に示す高照度環境下では、その端部を除く一点鎖線で示す部分の理想値が輝度値の上限を超えて(輝度値が飽和して)しまい、検査ラインL1上の輝度値分布は、当該端部を除く部分が平坦な分布となる(いわゆる白とびの状態)。同様に、図10の下段に示す低照度環境下では、その両側の一点鎖線で示す部分の理想値が輝度値の下限を下回り、検査ラインL1上の輝度値分布は、当該両側の部分が平坦な分布となる(いわゆる黒つぶれの状態)。このように、白とび状態のときは、中央部分(センターCの付近)で輝度勾配が平坦な分布となり、黒つぶれ状態のときは、両側の部分が平坦な分布となる。よって、輝度分布の差異を監視することによって、白とび状態と黒つぶれ状態の判定が可能となる。 On the other hand, under the high illuminance environment shown in the upper part of FIG. The luminance value distribution above has a flat distribution except for the edges (so-called blown-out highlight state). Similarly, under the low illuminance environment shown in the lower part of FIG. 10, the ideal value of the portion indicated by the dashed line on both sides is below the lower limit of the luminance value, and the luminance value distribution on the inspection line L1 is flat in the portion on both sides. distribution (so-called black-filled state). In this way, when there is a blown-out highlight state, the luminance gradient has a flat distribution in the central portion (near center C), and when there is a blown-out shadow state, the distribution is flat on both sides. Therefore, by monitoring the difference in brightness distribution, it is possible to determine whether the image is overexposed or underexposed.
また、カメラに搭載したイメージセンサの飽和は、図10のSSラインに示すように、輝度値の上限値と下限値範囲によらず、輝度値は正常範囲に出力されているにもかかわらず、中央部分(センターCの付近)で輝度勾配が平坦な分布が発生する。すなわち、輝度勾配を監視する本手法を取り入れることで、カメラに搭載したイメージセンサの内部の信号飽和も監視することができる。 In addition, saturation of the image sensor installed in the camera occurs regardless of the upper and lower limit ranges of the brightness value, as shown by the SS line in Figure 10, even though the brightness value is output within the normal range. A distribution with a flat luminance gradient occurs in the central portion (near center C). That is, by incorporating this method of monitoring the brightness gradient, it is also possible to monitor the signal saturation inside the image sensor mounted on the camera.
したがって、上段の高照度環境下での検査ラインL1上の各輝度値のバラツキSUおよびSSは、中段等に示す標準的な照度環境下での検査ラインL1上の各輝度値のバラツキTよりも小さくなる。同様に、下段の低照度環境下での検査ラインL1上の各輝度値のバラツキSLは、中段の標準的な照度環境下の場合のバラツキTよりも小さくなる(T>SU,SL,SS)。 Therefore, the variations SU and SS of each luminance value on the inspection line L1 under a high illuminance environment in the upper row are larger than the variations T of each luminance value on the inspection line L1 under a standard illuminance environment shown in the middle row, etc. becomes smaller. Similarly, the variation SL of each luminance value on the inspection line L1 under the low-light environment in the lower row is smaller than the variation T under the standard illuminance environment in the middle row (T>SU, SL, SS). .
そこで、ダイナミックレンジオーバー判定では、検査ラインL1上の輝度値のバラツキを示すバラツキ指標値を算出し、バラツキ指標値が、バラツキが少ないことを示す所定のバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定する。本実施形態では、検査ラインL1上の輝度値の標準偏差をバラツキ指標値とする。そして、バラツキ過小閾値条件は、「バラツキ指標値(標準偏差)が所定値以下であること」等として設定しておく。 Therefore, in the dynamic range over determination, a variation index value indicating the variation in luminance values on the inspection line L1 is calculated, and if the variation index value satisfies a predetermined variation under/under threshold condition indicating that the variation is small, the dynamic range is Determined as over. In this embodiment, the standard deviation of the luminance values on the inspection line L1 is used as the variation index value. The variation threshold condition is set as "the variation index value (standard deviation) is less than or equal to a predetermined value" or the like.
そして、求めたバラツキ指標値がバラツキ過小閾値条件を満たした場合に、ダイナミックレンジオーバーと判定する。つまり、白とびの状態又は黒つぶれ、もしくはイメージセンサ内部の信号飽和の状態であると判定する。 If the obtained variation index value satisfies the variation threshold condition, it is determined that the dynamic range is exceeded. In other words, it is determined that there is a blown-out highlight state, a blown-out shadow state, or a state of signal saturation inside the image sensor.
その後は、それが白とびの状態なのか黒つぶれの状態なのか、もしくはイメージセンサ内部の信号飽和なのかに応じてアナログゲインを調整し、場合によっては露光時間を調整する。白とびの状態なのか黒つぶれの状態なのかの判別は、検査ラインL1上の輝度値の高低から判別できる。 After that, the analog gain is adjusted depending on whether the problem is overexposure, underexposure, or signal saturation inside the image sensor, and in some cases, the exposure time is adjusted. Whether the image is in a blown-out highlight state or a blown-out shadow state can be determined based on the level of the luminance value on the inspection line L1.
(2)フリッカー発生判定
フリッカー発生判定では、フリッカーノイズの発生を判定する。例えば、ダイナミックレンジオーバー判定で求めたバラツキ指標値を用いて、フリッカーの発生を判定する。具体的には、撮影画像は毎フレーム単位等の所定の時間間隔で取得できるため、今回の撮影画像のバラツキ指標値と、前回の撮影画像のバラツキ指標値との差が、バラツキが多いことを示す所定のバラツキ過大閾値条件を満たした場合にフリッカーノイズ発生条件を満たしたと判定して、フリッカーノイズの発生と判定する。バラツキ過大閾値条件は、「バラツキ指標値(標準偏差)が所定値以上であること」等として設定しておく。そして、フリッカーノイズの発生と判定した場合には、露光時間を調整する。
(2) Flicker occurrence determination In flicker occurrence determination, occurrence of flicker noise is determined. For example, the occurrence of flicker is determined using the variation index value determined in the dynamic range over determination. Specifically, since captured images can be acquired at predetermined time intervals such as every frame, the difference between the dispersion index value of the currently captured image and the dispersion index value of the previous captured image indicates that there is a large amount of dispersion. When the predetermined excessive variation threshold condition shown in FIG. The excessive variation threshold condition is set as "the variation index value (standard deviation) is greater than or equal to a predetermined value". If it is determined that flicker noise has occurred, the exposure time is adjusted.
(3)中心輝度判定
中心輝度判定では、先ず、単一色撮像部分61の中心輝度を判定する。例えば、検査ラインL1の中心(センターC)の輝度値を中心輝度とする。検査ラインL1上の輝度値の最大値や平均値を中心輝度とすることもできる。そして、求めた中心輝度が、予め定められる許容範囲内か否かに応じて、デジタルゲインを調整する。例えば、許容範囲の上限と下限とを許容範囲データ271(図6を参照)として設定しておき、中心輝度が許容範囲の上限を超えている場合や下限未満の場合に、デジタルゲインを調整する。
(3) Center brightness determination In the center brightness determination, first, the center brightness of the single-
図6に戻って、画像処理部242は、画像処理を行う機能部であって、自動調整部241から入力された撮影画像について歪み補正を行い、歪み補正後の撮影画像を透視投影変換して、側面視画像を生成する。側面視画像は、側面から見た鳥瞰変換の画像ということもできる。
Returning to FIG. 6, the
列車位置判定部243は、列車位置判定処理を行う機能部であり、撮像物抽出部244と、位置ズレ画素数算出部245と、相対距離算出部246とを備える。
The train
撮像物抽出部244は、撮像物抽出処理を行う機能部であり、各種画像認識技術を用いて側面視画像に写っている付属物撮像部分を抽出するとともに、基準マーカの撮像部分を抽出してマーカ撮像位置を取得する。
The imaged
位置ズレ画素数算出部245は、位置ズレ画素数算出処理を行う機能部であり、予め設定されたマーカ撮像基準位置を撮像基準位置データ273から読み出し、マーカ撮像位置との位置ズレ画素数Δdを算出する。
The positional deviation pixel
相対距離算出部246は、相対距離算出処理を行う機能部であり、付属物撮像部分の画素数αと、その車体付属物の規定サイズとから換算係数Kを算出し、この換算係数Kと位置ズレ画素数Δdとをもとに、駅に停止した列車1の定位置に対する相対距離ΔDを算出する。また、定位置に対してオーバー位置なのかショート位置なのかも判定する。
The relative
メンテナンス要否判定部247は、列車1が定位置に停止したと判定した場合にメンテナンス要否判定処理を行う機能部であり、メンテナンス用履歴データ277を用いてメンテナンスの要否を判定する。ここでのメンテナンスは、撮像基準位置データ273の修正、又はカメラ20の設置位置及び設置向きの点検に係るメンテナンスのことをいう。
The maintenance
そのために、本実施形態では、停止位置判定で列車1が定位置に停止したと判定したときの付属物撮像部分の画素数及び換算係数Kの各値を、メンテナンス用履歴データ277として蓄積・保存しておく。すなわち、メンテナンス用履歴データ277には、列車1が定位置に停止したと判定されるたびに、そのときに抽出された付属物撮像部分の画素数と、そのときに算出された換算係数Kとが日時と対応付けて追加されていく。
To this end, in this embodiment, the number of pixels of the appendage imaged portion and the values of the conversion coefficient K when it is determined that the
そして、メンテナンス要否判定処理では、メンテナンス要否判定部247は先ず、メンテナンス用履歴データ277に保存されている過去の付属物撮像部分の画素数を第1の画素数とし、今回の停止位置判定に係る付属物撮像部分の画素数を第2の画素数として、それらの差異に基づいてメンテナンスの要否を判定する。列車1が定位置に停止したときの付属物撮像部分の画素数は、カメラ20の設置位置や設置向きにズレが生じなければ大きくは変動しないはずであり、それが大きく変動しているということは、停止位置判定の精度が低下している可能性がある。
In the maintenance necessity determination process, the maintenance
具体的には、例えば、第1の画素数と第2の画素数との差が予め定められる所定の閾値以下の場合に、メンテナンスを要すると判定する。第1の画素数は、直前の停止位置判定に係る付属物撮像部分の画素数を用いるのでもよいし、過去所定回数分の停止位置判定に係る付属物撮像部分の画素数の平均としてもよし、前回メンテナンスがされた直後の停止位置判定に係る付属物撮像部分の画素数としてもよい。 Specifically, for example, if the difference between the first number of pixels and the second number of pixels is less than or equal to a predetermined threshold, it is determined that maintenance is required. The first number of pixels may be the number of pixels of the appendage imaged portion related to the previous stop position determination, or may be the average number of pixels of the appendage imaged portion related to the stop position determination for a predetermined number of times in the past. , it may be the number of pixels of the appendage imaging portion related to the stop position determination immediately after the previous maintenance.
なお、付属物撮像部分の画素数にかえて、換算係数Kを用いてメンテナンスの要否を判定する構成としてもよい。その場合は、メンテナンス用履歴データ277に保存されている過去の換算係数Kを第1の換算係数Kとし、今回の停止位置判定に係る換算係数Kを第2の換算係数Kとして、それらの差異に基づいてメンテナンスの要否を判定する。
Note that a configuration may be adopted in which the necessity of maintenance is determined using a conversion coefficient K instead of the number of pixels of the appendage imaged portion. In that case, the past conversion coefficient K stored in the
続いて、メンテナンス要否判定部247は、メンテナンスが必要と判定したときには、その旨の通知制御を行う。例えば、駅構内の適所に設置された表示モニタに対し、駅係員等に向けてメンテナンスが必要である旨のメッセージを表示することで実現できる。具体的には、カメラ20の設置位置及び設置向きの調整と、撮像基準位置データ273の再設定とを促すメッセージを表示する。
Subsequently, when the maintenance
そして、メンテナンス要否判定部247は、今回の停止位置判定に係る付属物撮像部分の画素数及び換算係数Kを、メンテナンス用履歴データ277に追加する。
Then, the maintenance
記憶部250は、ICメモリやハードディスク、光学ディスク等の記憶媒体により実現される。この記憶部250には、処理装置200を動作させ、処理装置200が備える種々の機能を実現するためのプログラムや、当該プログラムの実行中に使用されるデータ等が予め記憶され、或いは処理の都度一時的に記憶される。例えば、記憶部250には、自動調整プログラム251と、停止位置判定プログラム253と、進入側撮影画像データ255と、パラメータ設定データ260と、許容範囲データ271と、撮像基準位置データ273と、規定サイズデータ275と、メンテナンス用履歴データ277とが格納される。
The
自動調整プログラム251は、制御部240を自動調整部241として機能させるためのプログラムである。また、停止位置判定プログラム253は、制御部240を画像処理部242、列車位置判定部243、及びメンテナンス要否判定部247として機能させるためのプログラムである。
The
パラメータ設定データ260は、カメラ設定パラメータ21のうちの少なくとも自動調整部241の調整対象であるアナログゲイン・デジタルゲイン・露光時間の初期値261と、それらアナログゲイン・デジタルゲイン・露光時間の現在値263を格納する。
The parameter setting data 260 includes at least the initial values 261 of analog gain, digital gain, and exposure time, which are the objects of adjustment by the
[処理の流れ]
図11は、処理装置200が行う処理の流れを示すフローチャートである。ここで説明する処理は、処理装置200において、制御部240が記憶部250から自動調整プログラム251及び停止位置判定プログラム253を読み出して実行することで実現できる。
[Processing flow]
FIG. 11 is a flowchart showing the flow of processing performed by the
先ず、自動調整部241が、自動調整処理を開始する(ステップS1)。図12は、自動調整処理の流れを示すフローチャートである。また、図13は、図12のステップS107でダイナミックレンジオーバー判定を否定判定した場合に続く処理の流れを示す図である。
First, the
図12に示すように、自動調整処理では、自動調整部241は先ず、パラメータ設定データ260から初期値261を読み出し、調整対象であるアナログゲイン・デジタルゲイン・露光時間の初期設定を行う(ステップS101)。ここでの処理により、アナログゲイン・デジタルゲイン・露光時間の各値がその初期値として自動設定される。
As shown in FIG. 12, in the automatic adjustment process, the
そして、カメラ20から撮影画像を取得したならば(ステップS103:YES)、自動調整部241は、検査ラインL1(図8を参照)上の各画素の輝度値を取得する(ステップS105)。
Then, if the photographed image is acquired from the camera 20 (step S103: YES), the
続いて、自動調整部241は、ダイナミックレンジオーバー判定を行い、否定判定した場合は(ステップS107:NO)、図13のステップS131に移行する。一方、ダイナミックレンジオーバーと判定(肯定判定)した場合には(ステップS107:YES)、それが白とびの状態なのか黒つぶれの状態なのかを判別して処理を分岐する(ステップS109)。
Subsequently, the
すなわち、自動調整部241は、白とびの状態と判別した場合には、現在値263を参照し、アナログゲインが最小ゲインでなければ(ステップS111:NO)、アナログゲインを1ステップ減らしてカメラ設定パラメータ21を更新する(ステップS113)。またその際、更新後の値で現在値263のアナログゲインについても書き換える。その後、ステップS103に戻る。
That is, when the
また、自動調整部241は、アナログゲインが最小の場合には(ステップS111:YES)、現在値263を参照し、露光時間が最小でなければ(ステップS115:NO)、露光時間を1ステップ短縮してカメラ設定パラメータ21を更新する(ステップS117)。またその際、更新後の値で現在値263の露光時間についても書き換える。その後、ステップS103に戻る。
Further, the
そして、自動調整部241は、露光時間が最小の場合には(ステップS115:YES)、アナログゲイン及び露光時間ともに調整することができないため、エラーを報知してメンテナンスが必要な旨を通知する制御を行う(ステップS119)。その後、ステップS103に戻る。
Then, if the exposure time is the minimum (step S115: YES), the
一方、自動調整部241は、ステップS109において黒つぶれの状態と判別した場合には、現在値263を参照し、アナログゲインが最大ゲインでなければ(ステップS121:NO)、アナログゲインを1ステップ増やしてカメラ設定パラメータ21を更新する(ステップS123)。またその際、更新後の値で現在値263のアナログゲインについても書き換える。その後、ステップS103に戻る。
On the other hand, if the
また、自動調整部241は、アナログゲインが最大の場合には(ステップS121:YES)、露光時間が最大でなければ(ステップS125:NO)、露光時間を1ステップ増長してカメラ設定パラメータ21を更新する(ステップS127)。またその際、更新後の値で現在値263の露光時間についても書き換える。その後、ステップS103に戻る。
Further, if the analog gain is the maximum (step S121: YES), and if the exposure time is not the maximum (step S125: NO), the
そして、自動調整部241は、露光時間が最大の場合には(ステップS125:YES)、アナログゲイン及び露光時間ともに調整することができないため、エラーを報知してメンテナンスが必要な旨を通知する制御を行う(ステップS129)。その後、ステップS103に戻る。
Then, when the exposure time is the maximum (step S125: YES), the
次に、図13のステップS131では、自動調整部241は、中心輝度判定を行う。そして、中心輝度が許容範囲データ271に設定される許容範囲の上限を超えているときにはステップS133に移行し、中心輝度が許容範囲の下限未満のときにはステップS139に移行し、許容範囲内の場合はステップS145に移行する。
Next, in step S131 in FIG. 13, the
先ず、ステップS133では、自動調整部241は、現在値263を参照し、デジタルゲインが最小でなければ(ステップS133:NO)、デジタルゲインを1ステップ減らしてカメラ設定パラメータ21を更新する(ステップS135)。またその際、更新後の値で現在値263のデジタルゲインについても書き換える。その後、図12のステップS103に戻る。
First, in step S133, the
一方、自動調整部241は、デジタルゲインが最小の場合には(ステップS133:YES)、デジタルゲインを調整することができないため、エラーを報知してメンテナンスが必要な旨を通知する制御を行う(ステップS137)。その後、図12のステップS103に戻る。
On the other hand, when the digital gain is the minimum (step S133: YES), the
次に、ステップS139では、自動調整部241は、現在値263を参照し、デジタルゲインが最大でなければ(ステップS139:NO)、デジタルゲインを1ステップ増やしてカメラ設定パラメータ21を更新する(ステップS141)。またその際、更新後の値で現在値263のデジタルゲインについても書き換える。その後、図12のステップS103に戻る。
Next, in step S139, the
一方、自動調整部241は、デジタルゲインが最大の場合には(ステップS139:YES)、デジタルゲインを調整することができないため、エラーを報知してメンテナンスが必要な旨を通知する制御を行う(ステップS143)。その後、図12のステップS103に戻る。
On the other hand, if the digital gain is the maximum (step S139: YES), the
次に、ステップS145では、自動調整部241は、フリッカー発生判定を行う。そして、フリッカーノイズの発生と判定したならば(ステップS145:YES)、現在値263を参照し、露光時間が最大でなければ(ステップS147:NO)、露光時間を1ステップ増長してカメラ設定パラメータ21を更新する(ステップS149)。またその際、更新後の値で現在値263の露光時間についても書き換える。その後、図12のステップS103に戻る。
Next, in step S145, the
一方、自動調整部241は、露光時間が最大の場合には(ステップS147:YES)、露光時間を調整することができないため、エラーを報知してメンテナンスが必要な旨を通知する制御を行う(ステップS151)。その後、図12のステップS103に戻る。
On the other hand, if the exposure time is the maximum (step S147: YES), the
そして、自動調整部241は、ステップS145でフリッカーノイズが発生していないと判定した場合には(ステップS145:NO)、図12のステップS103で取得した撮影画像についての自動調整処理を正常終了し、当該撮影画像を画像処理部242へ出力する(ステップS153)。その後、図12のステップS103に戻って上記した処理を繰り返す。
Then, if it is determined in step S145 that flicker noise has not occurred (step S145: NO), the
図11に戻る。自動調整処理を開始したならば、自動調整部241から画像処理部242へと撮影画像が出力されるまで待機状態となる。そして、撮影画像の出力があったとき、すなわち、図13のステップS151において自動調整部241が画像処理部242へと撮影画像を出力した場合に(ステップS3:YES)、画像処理部242は、画像処理を行って側面視画像を生成する(ステップS5)。
Return to FIG. 11. Once the automatic adjustment process is started, the
続いて、列車位置判定部243が、列車位置判定処理を行う(ステップS7)。すなわち先ず、撮像物抽出部244が、撮像物抽出処理を行い、側面視画像から付属物撮像部分を抽出するとともに、基準マーカ17の撮像部分を抽出してマーカ撮像位置を取得する(ステップS71)。次に、位置ズレ画素数算出部245が位置ズレ画素数算出処理を行い、マーカ撮像位置と、マーカ撮像基準位置との位置ズレ画素数を算出する(ステップS73)。次に、相対距離算出部246が、相対距離算出処理を行って換算係数Kを算出し、これを用いて相対距離ΔDを算出する(ステップS75)。
Subsequently, the train
続いて、列車位置判定部243は、ステップS75で算出された相対距離ΔDを監視して、列車1が停止したか否かの判定を行う(ステップS11)。具体的には、直近の過去所定回数分の相対距離算出処理で算出された相対距離ΔDを保持しておき、相対距離ΔDが変化しなくなった場合に列車1が停止したと判定する。例えば、前回値との変化量が所定の閾値以下の状態が所定回数続いた場合に、列車1が停止したと判定する。
Subsequently, the train
そして、列車1が停止したと判定したならば(ステップS13:YES)、列車位置判定部243は、その時の相対距離ΔDを用いて列車1が定位置に停止したか否かを判定する(ステップS15)。すなわち、相対距離ΔDが図2に示した所定値A11以下の場合(定位置停止範囲A1内の場合)には、列車1が定位置に停止したと判定する。一方、定位置停止範囲A1外の場合には、ショート(定位置に達していない)やオーバー(定位置を超えた過走)を判定する。また、定位置と停止位置間の距離を画像から算出することとしてもよい。その場合、カメラ20の設置位置と定位置との関係や、カメラ20の撮影画像に写る定位置と停止位置との間の画素数と1画素分の距離との関係等を利用することができる。
If it is determined that the
そして、列車1が定位置に停止したと判定したならば(ステップS17:YES)、駆動制御部300に停止通知を出力する(ステップS19)。
If it is determined that the
一方、列車1が定位置に停止していない場合には(ステップS17:NO)、その旨の通知制御を行った上で(ステップS21)、ステップS3に戻って上記した処理を繰り返す。ステップS21の通知制御は、例えば、運転士に向けた警告音の音出力やメッセージの表示出力を制御して、停止位置の修正が必要な旨を報知する。そして、再び列車1が停止したと判定し(ステップS13:YES)、その後定位置に停止したと判定した場合には(ステップS17:YES)、ステップS19に移行する。
On the other hand, if the
そして、ステップS19で停止通知の出力を行った後、メンテナンス要否判定部247が、メンテナンス要否判定処理を行う(ステップS23)。例えば、メンテナンス要否判定部247は、メンテナンス用履歴データ277から過去の付属物撮像部分の画素数を読み出して第1の画素数とし、ステップS7で最後に抽出された付属物撮像部分の画素数を第2の画素数として、両者の差をもとにメンテナンスの要否を判定する。そして、メンテナンス要否判定部247は、メンテナンスが必要と判定した場合には(ステップS25:YES)、その旨の通知制御を行って(ステップS27)、本処理を終える。
After outputting the stop notification in step S19, the maintenance
以上説明したように、本実施形態によれば、停止した列車1を側方から撮影するカメラ20の撮影画像について歪み補正を行い、歪み補正後の撮影画像を透視投影変換して、列車1を側面視した側面視画像を生成することができる。
As explained above, according to the present embodiment, distortion correction is performed on the captured image of the
一方、列車1が駅に停止した際にカメラ20の撮影範囲内となる列車1のプラットホーム4側の側面に基準マーカ17を設け、列車1が定位置に停止している場合の側面視画像中に写る当該基準マーカ17の位置(マーカ撮像基準位置)と、生成した側面視画像に写っている基準マーカ17の当該側面視画像中の位置(マーカ撮像位置)とから、定位置に対する列車1の相対距離を判定することができる。
On the other hand, a
具体的には、側面視画像中に写っている付属物撮像部分の画素数αとその既定サイズとの換算係数Kに基づいて、マーカ撮像基準位置とマーカ撮像位置との位置ズレ画素数Δdから、定位置に対する列車1の相対距離ΔDを判定することができる。
Specifically, based on the conversion coefficient K between the number of pixels α of the appendage imaged part shown in the side view image and its default size, the number of pixels Δd of the positional deviation between the marker imaging reference position and the marker imaging position is calculated. , the relative distance ΔD of the
したがって、カメラ20で撮影した画像を用いて駅の定位置に対する列車1の相対位置を判定する場合のキャリブレーション等の撮影用の設定に係る技術として、触車の危険性がなく、メンテナンス性に優れた技術を実現することができる。
Therefore, as a technology related to settings for shooting such as calibration when determining the relative position of the
また、本実施形態によれば、列車1が定位置に停止したと判定したときの側面視画像中の付属物撮像部分の画素数と換算係数Kとを履歴として保存しておくことができる。そして、新たに列車1が定位置に停止したと判定したときには、今回の付属物撮像部分の画素数や換算係数Kと、過去の付属物撮像部分の画素数や換算係数Kとの差異に基づいて、メンテナンスの要否を判定することができる。
Furthermore, according to the present embodiment, the number of pixels and the conversion coefficient K of the captured object portion in the side view image when it is determined that the
具体的には、両者の差異が大きい場合に、メンテナンスが必要と判定する。そして、その場合には、カメラ20の設置位置及び設置向きの調整と、撮像基準位置データ273(つまりマーカ撮像基準位置)の再設定を促すメッセージを表示する等して、メンテナンスが必要である旨の報知を行うことができる。したがって、時間経過等に起因してカメラ20の設置位置や設置向きにズレが発生した場合を自動的に検出することができるので、必要が生じたタイミングにおいて適切にメンテナンスを実施することが可能となる。
Specifically, if the difference between the two is large, it is determined that maintenance is necessary. In that case, a message is displayed prompting the user to adjust the installation position and orientation of the
また、メンテナンスとは別にカメラ20の設置位置を変更する必要が生じた場合であっても、メンテナンス時と同様にカメラ20の設置位置及び設置向きの調整を行い、撮像基準位置データ273を設定し直すことで、カメラ20の設置変更にも簡単に対応することができる。
Furthermore, even if it is necessary to change the installation position of the
また、本実施形態によれば、単一色部分を有する調整用ボード23を例えばカメラ20に付随して設置し、当該単一色部分を撮影範囲内に含めて撮影することができる。そして、撮影画像に写っている単一色撮像部分の輝度値に基づいて、アナログゲイン・デジタルゲイン・露光時間の各カメラ設定パラメータに係るパラメータ値を自動調整することができる。したがって、それらカメラ設定パラメータに係るメンテナンスを不要とすることができる。
Further, according to the present embodiment, the
例えば、調整用ボード23は、撮影画像の下端部の全域に単一色部分が帯状に写るように、カメラ20に取り付けられる。そして、その単一色撮像部分について求めた輝度値のバラツキ指標値がバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定し、その場合はアナログゲインを自動調整し、或いは露光時間を自動調整することができる。
For example, the
また、単一色撮像部分について求めたバラツキ指標値がバラツキ過大閾値条件を満たした場合はフリッカーノイズの発生と判定し、その場合は、露光時間を自動調整することができる。さらに、単一色撮像部分の中心輝度が許容範囲外か否かの中心輝度判定を行い、許容範囲外の場合にデジタルゲインを自動調整することができる。 Furthermore, if the variation index value obtained for the single-color imaging portion satisfies the excessive variation threshold condition, it is determined that flicker noise has occurred, and in that case, the exposure time can be automatically adjusted. Furthermore, it is possible to determine whether or not the center brightness of the single-color imaging portion is outside the allowable range, and to automatically adjust the digital gain if it is outside the allowable range.
したがって、撮影画像の明るさ調整といった処理も含めた撮影用の設定に係る技術として、触車の危険性がなく、メンテナンス性に優れた技術を実現することができる。 Therefore, it is possible to realize a technology related to settings for photographing including processing such as brightness adjustment of a photographed image, which is free from the danger of touch wheels and has excellent maintainability.
なお、上記実施形態では、列車1に設けられる窓13や車両ドア15といった車体付属物を利用して換算係数Kを算出する構成を例示したが、車体構造物以外にも、カメラ20の撮影範囲内となるものであって、サイズが既知のものであれば、換算係数Kの算出に利用が可能である。例えば、ホーム柵3のホームドア31や戸袋33(図4等を参照)を利用することとしてもよい。その場合は、ホームドア31や戸袋33の規定サイズを予め規定サイズデータとして設定しておけばよい。そして、側面視画像からホームドア31や戸袋33の撮像部分を抽出し、上記実施形態と同様の要領で換算係数Kを算出する。
In the above embodiment, the conversion coefficient K is calculated using car body accessories such as the
また、上記実施形態では、列車1に設けられた基準マーカ17を列車1の所定部位とし、列車1が定位置に停止しているか否かの判定に用いることとしたが、車体の特定物(例えばアンテナや乗務員扉等)を所定部位とすることもできる。その場合は、事前に定位置に列車1が停止しているときの側面視画像から所定部位とする特定物を抽出し、その側面視画像中の位置を撮像基準位置として設定しておく。そして、側面視画像中に写っている特定物の当該側面視画像中の位置(撮像位置)を撮像基準位置と比較することで、定位置に対する列車1の相対位置を判定する。
Further, in the above embodiment, the
1 列車、11 先頭車両、13 窓、15 車両ドア、17 基準マーカ、2 列車位置判定装置、20 カメラ、21 カメラ設定パラメータ、23 調整用ボード、200 処理装置、240 制御部、241 自動調整部、242 画像処理部、243 列車位置判定部、244 撮像物抽出部、245 位置ズレ画素数算出部、246 相対距離算出部、247 メンテナンス要否判定部、250 記憶部、251 自動調整プログラム、253 停止位置判定プログラム、255 進入側撮影画像データ、260 パラメータ設定データ、261 初期値、263 現在値、271 許容範囲データ、273 撮像基準位置データ、275 規定サイズデータ、277 メンテナンス用履歴データ、3 ホーム柵、31 ホームドア、33 戸袋、300 駆動制御部、4 プラットホーム、5 側面視画像、6 撮影画像 1 train, 11 lead vehicle, 13 window, 15 vehicle door, 17 reference marker, 2 train position determination device, 20 camera, 21 camera setting parameter, 23 adjustment board, 200 processing device, 240 control unit, 241 automatic adjustment unit, 242 image processing section, 243 train position determination section, 244 imaged object extraction section, 245 positional deviation pixel number calculation section, 246 relative distance calculation section, 247 maintenance necessity determination section, 250 storage section, 251 automatic adjustment program, 253 stop position Judgment program, 255 Approach side photographed image data, 260 Parameter setting data, 261 Initial value, 263 Current value, 271 Tolerance range data, 273 Imaging reference position data, 275 Regulation size data, 277 Maintenance history data, 3 Platform fence, 31 platform door, 33 door pocket, 300 drive control section, 4 platform, 5 side view image, 6 photographed image
Claims (7)
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理手段によって画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)とを比較して前記定位置に対する列車の相対位置を判定する判定手段と、
を備え、前記画像処理手段による画像処理と、前記判定手段による前記相対位置の判定とを繰り返し実行し、
前記判定手段は、前記繰り返しの実行において、
前記側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定することと、
前記特定された撮像部分の画素数と前記所定サイズとを換算する換算係数を算出することと、
前記換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出することと、
を実行し、前記相対距離が変化しなくなった時の相対距離である停止時相対距離を用いて、前記定位置に列車が停止したか否かを判定する、
列車位置判定装置。 Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. image processing means;
The position where a predetermined part of the train appears in the side view image when the train stopped at the fixed position is photographed (hereinafter referred to as "imaging reference position"), and the side view image processed by the image processing means. determining means for determining the relative position of the train with respect to the fixed position by comparing the position of the predetermined part shown in the image in the side view image (hereinafter referred to as "imaging position");
repeatedly performing image processing by the image processing means and determination of the relative position by the determination means,
In the repeated execution , the determination means:
identifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is shown in the side view image;
calculating a conversion coefficient for converting the number of pixels of the identified imaging portion and the predetermined size;
Calculating the relative distance of the train with respect to the fixed position from the number of positional deviation pixels between the imaging reference position and the imaging position based on the conversion coefficient ;
and determining whether the train has stopped at the fixed position using the relative distance at stop, which is the relative distance when the relative distance stops changing;
Train position determination device.
請求項1に記載の列車位置判定装置。 The vehicle body accessory is a window or a door of the train,
The train position determining device according to claim 1.
第1の列車について前記相対距離が変化しなくなった時に前記特定された撮像部分に係る第1の画素数と、第2の列車について前記相対距離が変化しなくなった時に前記特定された撮像部分に係る第2の画素数との差異に基づいて、前記記憶手段に記憶された前記撮像基準位置のデータの修正、又は、前記カメラの設置位置及び設置向きの点検、に係るメンテナンスの要否を判定するメンテナンス要否判定手段と、
を更に備えた請求項1又は2に記載の列車位置判定装置。 storage means for storing the imaging reference position;
a first number of pixels for the identified imaging portion when the relative distance for the first train stops changing; and a first number of pixels for the identified imaging portion when the relative distance for the second train stops changing; Based on the difference from the second number of pixels, it is determined whether or not maintenance is necessary for correcting the data of the imaging reference position stored in the storage means or inspecting the installation position and orientation of the camera. means for determining whether maintenance is necessary;
The train position determination device according to claim 1 or 2, further comprising:
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理手段によって画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)とを比較して前記定位置に対する列車の相対位置を判定する判定手段と、
を備え、
前記判定手段は、
前記画像処理手段によって画像処理された側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定する特定手段と、
前記特定手段により特定された撮像部分の画素数と前記所定サイズとの換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出する相対距離算出手段と、
を有し、
一部又は全部が単一色の所定物(以下、単一色の部分を「単一色部分」という)が前記駅に設置され、或いは、前記カメラに付随して設置されており、
前記カメラは、所定のカメラ設定パラメータに基づいて撮影を行い、
前記所定物と前記カメラとの相対的な設置位置及び設置向きは、前記単一色部分が、前記カメラの撮影画像に写るように定められており、
前記撮影画像に写っている前記単一色部分について、輝度値のバラツキを示すバラツキ指標値を算出し、当該バラツキ指標値が、バラツキが少ないことを示す所定のバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定してゲイン又は露光時間に係る前記カメラ設定パラメータのパラメータ値を自動調整するカメラ設定自動調整手段、
を更に備えた列車位置判定装置。 Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. image processing means;
The position where a predetermined part of the train appears in the side view image when the train stopped at the fixed position is photographed (hereinafter referred to as "imaging reference position"), and the side view image processed by the image processing means. determining means for determining the relative position of the train with respect to the fixed position by comparing the position of the predetermined part shown in the image in the side view image (hereinafter referred to as "imaging position");
Equipped with
The determining means is
identification means for identifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is shown in the side view image processed by the image processing means;
Based on a conversion coefficient between the number of pixels of the imaging portion specified by the specifying means and the predetermined size, the relative distance of the train to the fixed position is calculated from the number of pixels misaligned between the imaging reference position and the imaging position. relative distance calculation means for
has
A predetermined object whose part or all is a single color (hereinafter, a single color part is referred to as a "single color part") is installed at the station, or is installed accompanying the camera,
The camera performs photography based on predetermined camera setting parameters;
The relative installation position and installation direction of the predetermined object and the camera are determined so that the single color portion is captured in an image taken by the camera,
A variation index value indicating the variation in luminance value is calculated for the single color portion in the photographed image, and if the variation index value satisfies a predetermined variation threshold condition indicating that the variation is small, dynamic detection is performed. camera setting automatic adjustment means that determines that the range is over and automatically adjusts the parameter value of the camera setting parameter related to gain or exposure time;
A train position determination device further comprising :
請求項4に記載の列車位置判定装置。 The camera setting automatic adjustment means automatically adjusts a parameter value related to exposure time when a predetermined flicker noise generation condition based on the photographed image is satisfied.
The train position determination device according to claim 4 .
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)と、を比較して前記定位置に対する列車の相対位置を判定する判定ステップと、
を含み、前記画像処理ステップと前記判定ステップとが繰り返し実行され、
前記判定ステップは、前記繰り返しの実行において、
前記側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定することと、
前記特定された撮像部分の画素数と前記所定サイズとを換算する換算係数を算出することと、
前記換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出することと、
を実行し、前記相対距離が変化しなくなった時の相対距離である停止時相対距離を用いて、前記定位置に列車が停止したか否かを判定することを含む、
列車位置判定方法。 Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. an image processing step;
When a train stopped at the fixed position is photographed, the position where a predetermined part of the train appears in the side view image (hereinafter referred to as "imaging reference position"), and the position where the predetermined part of the train appears in the image processed side view image are determined. a determination step of determining the relative position of the train with respect to the predetermined position by comparing the position of the predetermined part in the side view image (hereinafter referred to as "imaging position");
The image processing step and the determination step are repeatedly executed,
The determination step includes, in the repeated execution,
identifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is shown in the side view image;
calculating a conversion coefficient for converting the number of pixels of the identified imaging portion and the predetermined size;
Calculating the relative distance of the train with respect to the fixed position from the number of positional deviation pixels between the imaging reference position and the imaging position based on the conversion coefficient ;
and determining whether the train has stopped at the fixed position using a relative distance at stop, which is a relative distance when the relative distance stops changing.
Train position determination method.
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)と、を比較して前記定位置に対する列車の相対位置を判定する判定ステップと、
を含み、
前記判定ステップは、
前記画像処理された側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定することと、
前記特定された撮像部分の画素数と前記所定サイズとの換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出することと、
を含み、
一部又は全部が単一色の所定物(以下、単一色の部分を「単一色部分」という)が前記駅に設置され、或いは、前記カメラに付随して設置されており、
前記カメラは、所定のカメラ設定パラメータに基づいて撮影を行い、
前記所定物と前記カメラとの相対的な設置位置及び設置向きは、前記単一色部分が、前記カメラの撮影画像に写るように定められており、
前記撮影画像に写っている前記単一色部分について、輝度値のバラツキを示すバラツキ指標値を算出し、当該バラツキ指標値が、バラツキが少ないことを示す所定のバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定してゲイン又は露光時間に係る前記カメラ設定パラメータのパラメータ値を自動調整すること、
を更に含む列車位置判定方法。 Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. an image processing step;
When a train stopped at the fixed position is photographed, the position where a predetermined part of the train appears in the side view image (hereinafter referred to as "imaging reference position"), and the position where the predetermined part of the train appears in the image processed side view image are determined. a determination step of determining the relative position of the train with respect to the predetermined position by comparing the position of the predetermined part in the side view image (hereinafter referred to as "imaging position");
including;
The determination step includes:
identifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is shown in the image-processed side view image;
Calculating the relative distance of the train to the fixed position from the number of pixels misaligned between the imaging reference position and the imaging position based on a conversion coefficient between the number of pixels of the identified imaging portion and the predetermined size; ,
including ;
A predetermined object whose part or all is a single color (hereinafter, a single color part is referred to as a "single color part") is installed at the station, or is installed accompanying the camera,
The camera performs photography based on predetermined camera setting parameters;
The relative installation position and installation direction of the predetermined object and the camera are determined so that the single color portion is captured in an image taken by the camera,
A variation index value indicating the variation in luminance value is calculated for the single color portion in the photographed image, and if the variation index value satisfies a predetermined variation threshold condition indicating that the variation is small, dynamic detection is performed. determining that the range is over and automatically adjusting parameter values of the camera setting parameters related to gain or exposure time;
A train position determination method further comprising :
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019194459A JP7340413B2 (en) | 2019-10-25 | 2019-10-25 | Train position determination device and train position determination method |
PCT/JP2020/039349 WO2021079865A1 (en) | 2019-10-25 | 2020-10-20 | Train position determination device and train position determination method |
TW109136654A TWI834003B (en) | 2019-10-25 | 2020-10-22 | Train position determination device and train position determination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019194459A JP7340413B2 (en) | 2019-10-25 | 2019-10-25 | Train position determination device and train position determination method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021066380A JP2021066380A (en) | 2021-04-30 |
JP7340413B2 true JP7340413B2 (en) | 2023-09-07 |
Family
ID=75620692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019194459A Active JP7340413B2 (en) | 2019-10-25 | 2019-10-25 | Train position determination device and train position determination method |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7340413B2 (en) |
TW (1) | TWI834003B (en) |
WO (1) | WO2021079865A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114715218B (en) * | 2022-05-17 | 2022-09-09 | 北京全路通信信号研究设计院集团有限公司 | Fiber grating sensor axis counting method, system and equipment |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004136754A (en) | 2002-10-17 | 2004-05-13 | Hitachi Ltd | Regular positional stop support device of train |
JP2010057141A (en) | 2008-08-29 | 2010-03-11 | Sharp Corp | Calibration device, calibration method, calibration program, computer-readable recording medium, sensor and display device |
JP2013011513A (en) | 2011-06-29 | 2013-01-17 | Kobe Steel Ltd | Method and device for detection stop position of travelling article |
JP2014054898A (en) | 2012-09-12 | 2014-03-27 | Saxa Inc | Monitoring system |
JP2018086872A (en) | 2016-11-28 | 2018-06-07 | 株式会社京三製作所 | Train information discrimination device |
-
2019
- 2019-10-25 JP JP2019194459A patent/JP7340413B2/en active Active
-
2020
- 2020-10-20 WO PCT/JP2020/039349 patent/WO2021079865A1/en active Application Filing
- 2020-10-22 TW TW109136654A patent/TWI834003B/en active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004136754A (en) | 2002-10-17 | 2004-05-13 | Hitachi Ltd | Regular positional stop support device of train |
JP2010057141A (en) | 2008-08-29 | 2010-03-11 | Sharp Corp | Calibration device, calibration method, calibration program, computer-readable recording medium, sensor and display device |
JP2013011513A (en) | 2011-06-29 | 2013-01-17 | Kobe Steel Ltd | Method and device for detection stop position of travelling article |
JP2014054898A (en) | 2012-09-12 | 2014-03-27 | Saxa Inc | Monitoring system |
JP2018086872A (en) | 2016-11-28 | 2018-06-07 | 株式会社京三製作所 | Train information discrimination device |
Also Published As
Publication number | Publication date |
---|---|
TW202137140A (en) | 2021-10-01 |
WO2021079865A1 (en) | 2021-04-29 |
JP2021066380A (en) | 2021-04-30 |
TWI834003B (en) | 2024-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101640875B1 (en) | Object detection device | |
US7940955B2 (en) | Vision-based method of determining cargo status by boundary detection | |
JP5435307B2 (en) | In-vehicle camera device | |
CN103297789B (en) | White balance correcting method and white balance correcting device | |
JP2013005234A5 (en) | ||
EP1531356A1 (en) | Exposure compensation method and system employing photometric matrix and flash | |
JP2009017474A (en) | Image processing unit and image processing method | |
CN102495511A (en) | Automatic exposure regulating method for camera | |
JP7340413B2 (en) | Train position determination device and train position determination method | |
JP5575567B2 (en) | Imaging signal processing circuit and imaging signal processing method | |
CN111225123B (en) | Method for reducing intensity variations in a stream of video images depicting a scene | |
US20170364765A1 (en) | Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method | |
JP6393091B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
KR101615381B1 (en) | Image acquisition method and digital camera system | |
CN107786815B (en) | Active night vision self-adaptive exposure method and system and vehicle | |
JP2009124309A (en) | Image device | |
JP7156224B2 (en) | Attached matter detection device and attached matter detection method | |
JP5587083B2 (en) | Imaging apparatus and control method thereof | |
JP2014216832A (en) | Imaging device | |
JP5520863B2 (en) | Image signal processing device | |
JP2010204180A (en) | Electronic camera | |
JP4231599B2 (en) | Imaging device | |
JP4973879B2 (en) | Camera optical axis adjustment method | |
JP6314667B2 (en) | Imaging apparatus, image correction program, and image processing apparatus | |
CN113452923B (en) | Processing method and system for adjusting image according to environmental conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7340413 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |