JP7340413B2 - Train position determination device and train position determination method - Google Patents

Train position determination device and train position determination method Download PDF

Info

Publication number
JP7340413B2
JP7340413B2 JP2019194459A JP2019194459A JP7340413B2 JP 7340413 B2 JP7340413 B2 JP 7340413B2 JP 2019194459 A JP2019194459 A JP 2019194459A JP 2019194459 A JP2019194459 A JP 2019194459A JP 7340413 B2 JP7340413 B2 JP 7340413B2
Authority
JP
Japan
Prior art keywords
train
predetermined
image
camera
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019194459A
Other languages
Japanese (ja)
Other versions
JP2021066380A (en
Inventor
亮 金子
洋一 村上
雄一郎 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyosan Electric Manufacturing Co Ltd
Original Assignee
Kyosan Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyosan Electric Manufacturing Co Ltd filed Critical Kyosan Electric Manufacturing Co Ltd
Priority to JP2019194459A priority Critical patent/JP7340413B2/en
Priority to PCT/JP2020/039349 priority patent/WO2021079865A1/en
Priority to TW109136654A priority patent/TWI834003B/en
Publication of JP2021066380A publication Critical patent/JP2021066380A/en
Application granted granted Critical
Publication of JP7340413B2 publication Critical patent/JP7340413B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61BRAILWAY SYSTEMS; EQUIPMENT THEREFOR NOT OTHERWISE PROVIDED FOR
    • B61B1/00General arrangement of stations, platforms, or sidings; Railway networks; Rail vehicle marshalling systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02Indicating or recording positions or identities of vehicles or trains
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Accessories Of Cameras (AREA)
  • Exposure Control For Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Description

本発明は、駅の定位置に対する列車の相対位置を判定する列車位置判定装置等に関する。 The present invention relates to a train position determining device and the like that determines the relative position of a train with respect to a station's fixed position.

従来より、列車が駅の定位置に停止する際の列車位置を、カメラで撮影した画像を用いて判定する技術が開発されている。例えば、特許文献1には、列車の側面に帯状テープを取り付け、この帯状テープを駅に設置されたカメラから撮影することで定位置に停止したか否かを判定する技術が開示されている。 BACKGROUND ART Conventionally, a technology has been developed that uses images taken by a camera to determine the position of a train when it stops at a fixed position at a station. For example, Patent Document 1 discloses a technique for attaching a band-shaped tape to the side of a train and photographing the band-shaped tape with a camera installed at a station to determine whether the train has stopped at a fixed position.

撮影画像を用いて列車位置を判定する技術は、原理的に、現実世界の座標系と撮影画像中の座標系とを対応付けるキャリブレーション処理が必要となる。例えば、特許文献1の[0033]段落には、カメラの設置時に、チェスボードを用いてキャリブレーション処理を行うことが開示されている。 Techniques for determining train positions using captured images basically require a calibration process that associates the coordinate system in the real world with the coordinate system in the captured image. For example, paragraph [0033] of Patent Document 1 discloses performing a calibration process using a chess board when installing a camera.

特開2018-86872号公報Japanese Patent Application Publication No. 2018-86872

しかしながら、チェスボードを用いたキャリブレーション処理は、帯状テープが取り付けられる列車側面と同じ位置に作業員が支持したチェスボードを撮影し、撮影画像中に撮像された格子状のチェスボードの撮像サイズを実寸サイズと比較することで画像1ピクセル当たりの寸法値を算出してシステムに初期設定する作業となる。この作業においては、チェスボードの撮影にあたって作業員の触車の危険性があるため、列車間合いに行ったり、営業列車が走行しない夜間に実施することが要求される。したがって、触車の危険性のないキャリブレーション処理の技術が望まれていた。 However, in the calibration process using a chessboard, the chessboard supported by a worker is photographed at the same position as the side of the train where the strip tape is attached, and the imaged size of the grid-shaped chessboard captured in the photographed image is By comparing the size with the actual size, the size value per pixel of the image is calculated and initialized in the system. In this work, there is a danger of workers touching cars when photographing the chess board, so it must be done in time for trains or at night when commercial trains are not running. Therefore, there has been a need for a technique for calibration processing that does not involve the danger of contact wheels.

また、キャリブレーション処理は、カメラの設置箇所を変更する度に必要となることは勿論、時間経過によってカメラの設置位置や設置向きにズレが発生し得るためにメンテナンスの一環として定期的に実施する運用も考えられる。したがって、メンテナンス性に優れたキャリブレーション処理の技術が望まれていた。 In addition, calibration processing is not only necessary every time the camera installation location is changed, but also periodically as part of maintenance because the camera installation position and orientation may shift over time. Operation can also be considered. Therefore, a calibration processing technique with excellent maintainability has been desired.

また、キャリブレーション処理に加えて、撮影画像の明るさ調整といった処理も含めた撮影用の設定に係る技術として、触車の危険性なく行うことが可能なメンテナンス性に優れた技術が望まれていた。 Additionally, in addition to calibration processing, there is a need for a technology that is easy to maintain and that can be performed without the risk of contact wheels, as it relates to shooting settings, including processing such as brightness adjustment of captured images. Ta.

本発明が解決しようとする課題は、カメラで撮影した画像を用いて駅の定位置に対する列車の相対位置を判定する場合のキャリブレーション等の撮影用の設定に係る技術として、触車の危険性がなく、メンテナンス性に優れた技術を提案すること、である。 The problem to be solved by the present invention is to solve the problem of the danger of treadmills as a technology related to photographic settings such as calibration when determining the relative position of a train with respect to the fixed position of a station using images taken with a camera. The goal is to propose a technology that is free of maintenance problems and has excellent maintainability.

上記課題を解決するための第1の発明は、
駅の定位置に停止する列車を側方から撮影するために当該駅に設置されたカメラが撮影した撮影画像について、歪み補正を含む当該列車を側面視した側面視画像に変換する画像処理を行う画像処理手段(例えば、図6の画像処理部242)と、
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理手段によって画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)とを比較して前記定位置に対する列車の相対位置を判定する判定手段(例えば、図6の列車位置判定部243)と、
を備え、
前記判定手段は、
前記画像処理手段によって画像処理された側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定する特定手段(例えば、図6の撮像物抽出部244)と、
前記特定手段により特定された撮像部分の画素数と前記所定サイズとの換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出する相対距離算出手段(例えば、図6の相対距離算出部246)と、
を有する、
列車位置判定装置である。
The first invention for solving the above problem is:
Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. An image processing means (for example, the image processing unit 242 in FIG. 6),
The position where a predetermined part of the train appears in the side view image when the train stopped at the fixed position is photographed (hereinafter referred to as "imaging reference position"), and the side view image processed by the image processing means. Determining means (for example, the train in FIG. 6 position determination unit 243);
Equipped with
The determining means is
Specification means for specifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is reflected in the side view image processed by the image processing means (for example, the imaged object extraction in FIG. 6). part 244) and
Based on a conversion coefficient between the number of pixels of the imaging portion specified by the specifying means and the predetermined size, the relative distance of the train to the fixed position is calculated from the number of pixels misaligned between the imaging reference position and the imaging position. a relative distance calculation means (for example, the relative distance calculation unit 246 in FIG. 6),
has,
This is a train position determination device.

第1の発明によれば、駅の定位置に停止する列車を側方から撮影するために当該駅に設置されたカメラが撮影した撮影画像について、歪み補正を含む当該列車を側面視した側面視画像に変換する画像処理を行う。そして、定位置に停止している列車を撮影した場合に当該列車の所定部位が側面視画像中に写る位置(撮像基準位置)と、側面視画像中に写っている所定部位の当該側面視画像中の位置(撮像位置)とを比較して定位置に対する列車の相対位置を判定する。 According to the first invention, for a captured image taken by a camera installed at a station in order to photograph a train stopped at a fixed position at a station from the side, a side view of the train including distortion correction is provided. Perform image processing to convert to image. Then, when a train stopped at a fixed position is photographed, the position where a predetermined part of the train appears in a side view image (imaging reference position), and the side view image of the predetermined part shown in the side view image. The relative position of the train with respect to the fixed position is determined by comparing the position in the middle (imaging position).

そして、定位置に対する列車の相対位置の判定にあたっては、側面視画像中に写っている当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定し、当該撮像部分の画素数と車体付属物の所定サイズとの換算係数に基づいて、撮像基準位置と撮像位置との位置ズレ画素数から、定位置に対する列車の相対距離を算出する。 Then, in determining the relative position of the train with respect to a fixed position, the imaged part of the vehicle body appendage of a predetermined size installed at a predetermined position of the train in the side view image is specified, and the number of pixels of the imaged part is determined. The relative distance of the train with respect to the fixed position is calculated from the number of misaligned pixels between the imaging reference position and the imaging position, based on the conversion coefficient between and the predetermined size of the vehicle body appendage.

したがって、カメラで撮影した画像を用いて駅の定位置に対する列車の相対位置を判定する場合のキャリブレーション等の撮影用の設定に係る技術として、触車の危険性がなく、メンテナンス性に優れた技術を実現することができる。 Therefore, when using images taken with a camera to determine the relative position of a train with respect to a station's fixed position, it is possible to use a technology that does not involve the danger of contact cars and is easy to maintain. technology can be realized.

第2の発明は、第1の発明において、
前記車体付属物は、前記列車の窓又は扉である、
列車位置判定装置である。
The second invention is, in the first invention,
The vehicle body accessory is a window or a door of the train,
This is a train position determination device.

第2の発明によれば、車体付属物を列車の窓又は扉とすることができる。 According to the second invention, the vehicle body accessory can be a window or a door of a train.

第3の発明は、第1又は第2の発明において、
前記撮像基準位置を記憶する記憶手段(例えば、図6の記憶部250)と、
第1の列車について前記特定手段が特定した撮像部分に係る第1の画素数と、第2の列車について前記特定手段が特定した撮像部分に係る第2の画素数との差異に基づいて、前記記憶手段に記憶された前記撮像基準位置のデータの修正、又は、前記カメラの設置位置及び設置向きの点検、に係るメンテナンスの要否を判定するメンテナンス要否判定手段(例えば、図6のメンテナンス要否判定部247)と、
を更に備えた列車位置判定装置である。
A third invention is, in the first or second invention,
a storage unit (for example, the storage unit 250 in FIG. 6) that stores the imaging reference position;
Based on the difference between the first number of pixels associated with the imaging portion identified by the identifying means for the first train and the second number of pixels associated with the imaging portion identified by the identifying means for the second train, Maintenance necessity determination means (for example, maintenance necessity determination means in FIG. 6 No judgment unit 247);
This is a train position determination device further comprising:

第3の発明によれば、異なる2つの列車について特定された撮像部分に係る画素数の差異に基づいてメンテナンスの要否が判定される。したがって、定期的なメンテナンスを要する従来のような運用ではなく、装置自身が判定するメンテナンスの要否に基づいてメンテナンスを実施すれば済むため、メンテナンスに係る時間的/人的なコストを削減することができる。 According to the third invention, the necessity of maintenance is determined based on the difference in the number of pixels related to the imaged portions identified for two different trains. Therefore, instead of conventional operations that require periodic maintenance, maintenance can be performed based on the necessity of maintenance determined by the device itself, reducing the time and human costs associated with maintenance. I can do it.

第4の発明は、第1~第3の何れかの発明において、
一部又は全部が単一色の所定物(以下、単一色の部分を「単一色部分」という)が前記駅に設置され、或いは、前記カメラに付随して設置されており、
前記カメラは、撮影画像の明るさが変化する所定のカメラ設定パラメータ(例えば、図6のカメラ設定パラメータ21)に基づいて撮影を行い、
前記所定物と前記カメラとの相対的な設置位置及び設置向きは、前記単一色部分が、前記カメラの撮影画像に写るように定められており、
前記撮影画像に写っている前記単一色部分(以下「単一色撮像部分」という)の輝度値に基づいて、前記カメラ設定パラメータのパラメータ値を自動調整するカメラ設定自動調整手段(例えば、図6の自動調整部241)、
を更に備えた列車位置判定装置である。
The fourth invention is any one of the first to third inventions,
A predetermined object whose part or all is a single color (hereinafter, a single color part is referred to as a "single color part") is installed at the station, or is installed accompanying the camera,
The camera performs photography based on a predetermined camera setting parameter (for example, camera setting parameter 21 in FIG. 6) that changes the brightness of the photographed image,
The relative installation position and installation direction of the predetermined object and the camera are determined so that the single color portion is captured in an image taken by the camera,
Camera setting automatic adjustment means (for example, in FIG. 6 automatic adjustment section 241),
This is a train position determination device further comprising:

第4の発明によれば、撮影画像に写っている所定物の単一色部分(単一色撮像部分)の輝度値に基づいて、カメラ設定パラメータのパラメータ値が自動調整される。したがって、自動調整されるカメラ設定パラメータに係るメンテナンスを不要とすることができる。 According to the fourth invention, the parameter values of the camera setting parameters are automatically adjusted based on the brightness value of a single-color portion (single-color imaged portion) of a predetermined object in a photographed image. Therefore, it is possible to eliminate the need for maintenance related to automatically adjusted camera setting parameters.

第5の発明は、第4の発明において、
前記カメラ設定自動調整手段は、前記単一色撮像部分について、輝度値のバラツキを示すバラツキ指標値を算出し、当該バラツキ指標値が、バラツキが少ないことを示す所定のバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定してゲイン又は露光時間に係るパラメータ値の自動調整を行う、
列車位置判定装置である。
A fifth invention is, in the fourth invention,
The camera setting automatic adjustment means calculates a dispersion index value indicating dispersion in brightness values for the single-color imaged portion, and when the dispersion index value satisfies a predetermined dispersion threshold condition indicating that dispersion is small. automatically adjusts parameter values related to gain or exposure time by determining that the dynamic range is exceeded.
This is a train position determination device.

第5の発明によれば、単一色撮像部分について、輝度値のバラツキを示すバラツキ指標値を算出し、このバラツキ指標値が、バラツキが少ないことを示す所定のバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定してゲイン又は露光時間に係るパラメータ値が自動調整される。 According to the fifth invention, a variation index value indicating variation in brightness values is calculated for a single-color imaged portion, and when this variation index value satisfies a predetermined variation threshold condition indicating that the variation is small, It is determined that the dynamic range is exceeded, and parameter values related to gain or exposure time are automatically adjusted.

第5の発明の原理を簡単に説明すると次のようになる。カメラには焦点や光の量を調整するためのレンズを搭載されており、原理的に周辺光量落ち又は周辺減光と呼ばれる現象が生じる。そのため、単一色撮像部分には、この周辺光量落ちの現象が現れ得る。この周辺光量落ちの現象を利用して、単一色撮像部分の輝度値のバラツキから、ダイナミックレンジオーバーが生じているかを判定し、ゲイン又は露光時間に係るパラメータ値を自動調整するのである。 The principle of the fifth invention is briefly explained as follows. Cameras are equipped with lenses to adjust the focus and amount of light, and a phenomenon called vignetting or vignetting occurs in principle. Therefore, this phenomenon of peripheral light falloff may appear in a single-color imaged portion. Utilizing this phenomenon of peripheral light falloff, it is determined whether dynamic range overflow has occurred based on variations in brightness values in single-color imaged areas, and parameter values related to gain or exposure time are automatically adjusted.

第6の発明は、第5の発明において、
前記カメラ設定自動調整手段は、前記撮影画像に基づく所定のフリッカーノイズ発生条件を満たした場合に、露光時間に係るパラメータ値の自動調整を行う、
列車位置判定装置である。
A sixth invention is, in the fifth invention,
The camera setting automatic adjustment means automatically adjusts a parameter value related to exposure time when a predetermined flicker noise generation condition based on the photographed image is satisfied.
This is a train position determination device.

第6の発明によれば、撮影画像に基づく所定のフリッカーノイズ発生条件を満たした場合に露光時間に係るパラメータ値の自動調整が行われる。フリッカーノイズの発生を自動的に判定して、適切な露光時間に自動調整することが可能となる。 According to the sixth invention, when a predetermined flicker noise generation condition based on a photographed image is satisfied, the parameter value related to the exposure time is automatically adjusted. It becomes possible to automatically determine the occurrence of flicker noise and automatically adjust the exposure time to an appropriate value.

第7の発明は、
駅の定位置に停止する列車を側方から撮影するために当該駅に設置されたカメラが撮影した撮影画像について、歪み補正を含む当該列車を側面視した側面視画像に変換する画像処理を行う画像処理ステップ(例えば、図11のステップS5)と、
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)と、を比較して前記定位置に対する列車の相対位置を判定する判定ステップ(例えば、図11のステップS7)と、
を含み、
前記判定ステップは、
前記画像処理された側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定することと(例えば、図11のステップS71)、
前記特定された撮像部分の画素数と前記所定サイズとの換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出することと(例えば、図11のステップS73~S75)、
を含む、
列車位置判定方法である。
The seventh invention is
Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. an image processing step (for example, step S5 in FIG. 11);
When a train stopped at the fixed position is photographed, the position where a predetermined part of the train appears in the side view image (hereinafter referred to as "imaging reference position"), and the position where the predetermined part of the train appears in the image processed side view image are determined. a determination step (for example, step S7 in FIG. 11) of determining the relative position of the train with respect to the fixed position by comparing the position of the predetermined part in the side view image (hereinafter referred to as "imaging position"); ,
including;
The determination step includes:
specifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is shown in the image-processed side view image (for example, step S71 in FIG. 11);
Calculating the relative distance of the train to the fixed position from the number of pixels misaligned between the imaging reference position and the imaging position based on a conversion coefficient between the number of pixels of the identified imaging portion and the predetermined size; (For example, steps S73 to S75 in FIG. 11),
including,
This is a train position determination method.

第7の発明によれば、第1の発明と同様の作用効果を発揮する列車位置判定方法を実現することができる。 According to the seventh invention, it is possible to realize a train position determination method that exhibits the same effects as the first invention.

列車位置判定装置の全体構成例を示す図。The figure which shows the example of the whole structure of a train position determination device. 列車位置判定装置が設置された駅を上から見た概略図。A schematic diagram viewed from above of a station where a train position determination device is installed. 駅に停止した列車の先頭車両を進行方向前方側から見た概略図。A schematic diagram of the lead car of a train stopped at a station, viewed from the front in the direction of travel. 列車の停止位置判定を説明するための図。FIG. 3 is a diagram for explaining train stop position determination. 列車位置判定処理を説明するための図。FIG. 3 is a diagram for explaining train position determination processing. 処理装置の機能構成例を示すブロック図。FIG. 2 is a block diagram showing an example of a functional configuration of a processing device. カメラ設置部分の拡大図。Enlarged view of the camera installation part. カメラの撮影画像の模式図。A schematic diagram of an image taken by a camera. ダイナミックレンジオーバー判定を説明するための図。FIG. 3 is a diagram for explaining dynamic range over determination. ダイナミックレンジオーバー判定を説明するための図。FIG. 3 is a diagram for explaining dynamic range over determination. 処理装置の処理の流れを示すフローチャート。5 is a flowchart showing the flow of processing by the processing device. 自動調整処理の流れを示すフローチャート。Flowchart showing the flow of automatic adjustment processing. 自動調整処理の流れを示すフローチャート。Flowchart showing the flow of automatic adjustment processing.

以下、図面を参照して、本発明の好適な実施形態について説明する。なお、以下説明する実施形態によって本発明が限定されるものではなく、本発明を適用可能な形態が以下の実施形態に限定されるものでもない。また、図面の記載において、同一部分には同一の符号を付す。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. Note that the present invention is not limited to the embodiments described below, and the forms to which the present invention can be applied are not limited to the following embodiments. In addition, in the drawings, the same parts are denoted by the same reference numerals.

[全体構成]
図1は、本実施形態における列車位置判定装置2の全体構成例を示す図である。この列車位置判定装置2は、レールR上を走行する列車1の位置を判定するためのものであり、図1では、停止位置目標として定められた駅の定位置(図2を参照)に停止した状態の列車1を併せて示している。また、図2は、列車位置判定装置2が設置された駅を上から見た概略図であり、図3は、当該駅に停止した列車1の先頭車両11を進行方向前方側から見た概略図である。
[overall structure]
FIG. 1 is a diagram showing an example of the overall configuration of a train position determination device 2 in this embodiment. This train position determination device 2 is for determining the position of the train 1 running on the rail R, and in FIG. Train 1 is also shown in the same state. Further, FIG. 2 is a schematic diagram of a station where the train position determining device 2 is installed, viewed from above, and FIG. 3 is a schematic diagram of the leading vehicle 11 of the train 1 stopped at the station, viewed from the front side in the direction of travel. It is a diagram.

本実施形態の列車位置判定装置2は、設置駅において対象のプラットホーム4(より詳細には番線)毎に設けられ、カメラ20と、カメラ20の撮影画像に基づいて列車1の位置を判定する処理装置200と、を具備する。また、プラットホーム4には、その軌道側端縁に配置されてプラットホーム4上を軌道側と仕切るためのホーム柵3が設けられており、処理装置200からの列車1の停止通知を受けて駆動制御部300がホームドア31の開閉を制御する構成となっている。 The train position determination device 2 of this embodiment is provided for each target platform 4 (more specifically, a track) at the installation station, and includes a camera 20 and a process for determining the position of the train 1 based on the photographed image of the camera 20. A device 200 is provided. The platform 4 is also provided with a platform fence 3 that is placed on the edge of the track side to separate the top of the platform 4 from the track side. The section 300 is configured to control opening and closing of the platform door 31.

カメラ20は、対象のプラットホーム4に設置され、停止した列車1を側方から撮影する。本実施形態では、カメラ20は、図2に示すように、プラットホーム4において列車1の進行方向前方側の端部上方に、その撮影範囲(撮影方向)を軌道側へ向けて設置され、停止した列車1の先頭車両11を側方から撮影する。カメラ20の設置態様は特に限定されないが、例えば、図3に示すように、プラットホーム4の天井部分に設けられた支柱部41に対し、設置位置及び設置向きを調整可能に取り付けられる。すなわち、カメラ20は、先頭車両11の前側(先端側)の部分(より詳細には、前側部分のプラットホーム4側の側面)を撮影範囲に含めて撮影し、撮影画像を処理装置200へ出力する。 The camera 20 is installed on the target platform 4 and photographs the stopped train 1 from the side. In this embodiment, as shown in FIG. 2, the camera 20 is installed above the front end of the platform 4 in the direction of travel of the train 1 with its photographing range (photographing direction) facing the track side, and when the camera 20 is stopped. The leading car 11 of a train 1 is photographed from the side. Although the manner in which the camera 20 is installed is not particularly limited, for example, as shown in FIG. 3, the camera 20 is attached to a support 41 provided on the ceiling of the platform 4 so that its installation position and orientation can be adjusted. That is, the camera 20 photographs the front (tip side) portion of the leading vehicle 11 (more specifically, the side surface of the front portion on the platform 4 side) within the photographing range, and outputs the photographed image to the processing device 200. .

そして、処理装置200は、カメラ20の撮影画像を画像処理することで、プラットホーム4に進入し、停止した列車1の停止位置の判定(停止位置判定)を行う。 Then, the processing device 200 performs image processing on the image taken by the camera 20 to determine the stop position of the train 1 that has entered the platform 4 and stopped (stop position determination).

[停止位置判定について]
図4は、本実施形態における列車1の停止位置判定を説明するための図である。図4に示すように、処理装置200は、停止位置判定のため、カメラ20からの撮影画像の画像処理と、画像処理後の撮影画像(側面視画像)に基づく列車位置判定処理と、を行う。
[About stopping position determination]
FIG. 4 is a diagram for explaining the determination of the stop position of the train 1 in this embodiment. As shown in FIG. 4, the processing device 200 performs image processing of the photographed image from the camera 20 and train position determination processing based on the photographed image (side view image) after the image processing in order to determine the stop position. .

(1)画像処理
画像処理では、先ず、カメラ20のレンズ収差によって生じた歪みを補正する歪み補正を行う。そして、歪み補正後の撮影画像を透視投影変換し、列車1を側面視した側面視画像5を得る。
(1) Image Processing In image processing, first, distortion correction is performed to correct distortion caused by lens aberration of the camera 20. Then, the photographed image after distortion correction is subjected to perspective projection transformation to obtain a side view image 5 in which the train 1 is viewed from the side.

この側面視画像5には、停止した列車1の先頭車両11の前側部分や、プラットホーム4の一部が写る。具体的には、先頭車両11の前側部分においてプラットホーム4側の側面に設けられた窓13や車両ドア(扉)15が写り、プラットホーム4において進行方向前方側に設置されたホーム柵3のホームドア31や戸袋33等が写る。また、本実施形態の列車1の先頭車両11には、プラットホーム4側となる側面において前側部分の所定位置に基準マーカ17が設けられている。基準マーカ17は、例えば所定色の塗料を塗布したり、シールを貼付する等して設けられる。よって、側面視画像5には、この基準マーカ17も写る。 This side view image 5 shows the front part of the leading car 11 of the stopped train 1 and a part of the platform 4. Specifically, the window 13 and vehicle door 15 provided on the side surface on the platform 4 side in the front part of the leading vehicle 11 are shown, and the platform door of the platform fence 3 installed on the forward side of the platform 4 in the direction of travel is shown. 31 and Tobukuro 33 are visible. Further, in the leading car 11 of the train 1 of this embodiment, a reference marker 17 is provided at a predetermined position on the front portion of the side surface facing the platform 4 . The reference marker 17 is provided, for example, by applying paint of a predetermined color or pasting a sticker. Therefore, this reference marker 17 also appears in the side view image 5.

(2)列車位置判定処理
次に、列車位置判定処理では、撮像物抽出処理と、位置ズレ画素数算出処理と、相対距離算出処理と、を行う。図5は、列車位置判定処理を説明するための図であり、上段(1)は、図4の側面視画像5を対象とした撮像物抽出処理の結果を示す模式図である。また、図5の下段(2)は、位置ズレ画素数算出処理で用いる撮像基準位置を画像化した基準画像を示す模式図である。
(2) Train position determination process Next, in the train position determination process, an imaging object extraction process, a misaligned pixel count calculation process, and a relative distance calculation process are performed. FIG. 5 is a diagram for explaining the train position determination process, and the upper row (1) is a schematic diagram showing the result of the imaged object extraction process for the side view image 5 of FIG. 4. Further, the lower part (2) of FIG. 5 is a schematic diagram showing a reference image obtained by converting the imaging reference position used in the process of calculating the number of misaligned pixels.

ここで、撮像基準位置は、定位置に停止している列車1を撮影した場合に当該列車1の所定部位が側面視画像中に写る位置として予め定められる。本実施形態では、列車1に設けられた基準マーカ17を列車1の所定部位とし、事前に定位置に列車1が停止しているときの側面視画像から基準マーカ17を抽出して、当該抽出した基準マーカ17の側面視画像中の位置である撮像基準位置(以下「マーカ撮像基準位置」ともいう)を、撮像基準位置データ273(図6を参照)として設定しておく。 Here, the imaging reference position is predetermined as a position where a predetermined part of the train 1 appears in a side view image when the train 1 stopped at a fixed position is photographed. In this embodiment, the reference marker 17 provided on the train 1 is set as a predetermined part of the train 1, and the reference marker 17 is extracted in advance from a side view image when the train 1 is stopped at a fixed position. An imaging reference position (hereinafter also referred to as "marker imaging reference position"), which is the position of the reference marker 17 in the side view image, is set as imaging reference position data 273 (see FIG. 6).

そして、側面視画像中に写っている基準マーカ17の当該側面視画像中の位置(撮像位置;以下「マーカ撮像位置」ともいう)をマーカ撮像基準位置と比較することで、定位置に対する列車1の相対位置を判定する。 Then, by comparing the position (imaging position; hereinafter also referred to as "marker imaging position") of the reference marker 17 shown in the side view image with the marker imaging reference position, the train 1 relative to the fixed position is Determine the relative position of.

(2-1)撮像物抽出処理
撮像物抽出処理では、側面視画像に写っている車体付属物の撮像部分(以下「付属物撮像部分」ともいう)を抽出するとともに、側面視画像に写っている基準マーカ17の撮像部分を抽出して、マーカ撮像位置を取得する。車体付属物は、列車1の所定位置に設けられる所定サイズのものであり、例えば、窓13や車両ドア15とすることができる。ここでの処理により、側面視画像から、そこに写っている窓13や車両ドア15の撮像部分が特定されるとともに、基準マーカ17の撮像部分が特定される。図5(1)の例では、図中に実線で示すように、側面視画像5中の窓13や車両ドア15の撮像部分が抽出されるとともに、基準マーカ17の側面視画像5中の位置であるマーカ撮像位置が取得される。
(2-1) Imaged object extraction process In the imaged object extraction process, the imaged part of the vehicle body appendage (hereinafter also referred to as the "appendage imaged part") that appears in the side view image is extracted, and the imaged part of the vehicle body appendage that appears in the side view image is extracted. The imaged portion of the reference marker 17 located therein is extracted, and the marker imaged position is obtained. The car body accessories are of a predetermined size and are provided at predetermined positions on the train 1, and can be, for example, windows 13 and vehicle doors 15. Through this process, the imaged portions of the window 13 and vehicle door 15 that are reflected in the side view image are specified, and the imaged portion of the reference marker 17 is specified. In the example of FIG. 5(1), as shown by solid lines in the figure, the imaged portions of the window 13 and vehicle door 15 in the side view image 5 are extracted, and the position of the reference marker 17 in the side view image 5 is extracted. A marker imaging position is obtained.

(2-2)位置ズレ画素数算出処理
位置ズレ画素数算出処理では、撮像物抽出処理で取得されたマーカ撮像位置と、マーカ撮像基準位置との位置ズレ画素数を算出する。図5の例でいえば、側面視画像5中の基準マーカ17の位置として取得されたマーカ撮像位置と、基準画像中の基準マーカ17Aの位置として図示している予め定められたマーカ撮像基準位置との間の画素数Δdを、位置ズレ画素数として求める。
(2-2) Misaligned pixel number calculation process In the misaligned pixel number calculation process, the number of misaligned pixels between the marker imaging position acquired in the imaging object extraction process and the marker imaging reference position is calculated. In the example of FIG. 5, the marker imaging position acquired as the position of the reference marker 17 in the side view image 5 and the predetermined marker imaging reference position illustrated as the position of the reference marker 17A in the reference image The number of pixels Δd between the two is determined as the number of misaligned pixels.

(2-3)相対距離算出処理
相対距離算出処理では、先ず、撮像物抽出処理で抽出された付属物撮像部分の画素数と、その車体付属物の実際のサイズとから、換算係数Kを算出する。ここで、車体付属物である窓13や車両ドア15のサイズは仕様として既知である。したがって、側面視画像5中の付属物撮像部分である窓13の画素数(ここでは例えば幅方向の画素数)α1や、車両ドア15の画素数(同様に例えば幅方向の画素数)α2と、窓13や車両ドア15の実際のサイズ(例えば幅;以下「規定サイズ」という)との関係から、基準マーカ17の位置ズレ画素数Δdに対応する距離を求めることができる。この距離は、停止した列車1の定位置に対する相対距離(その先頭車両11の先端位置と定位置とのズレ量)に相当する。
(2-3) Relative distance calculation process In the relative distance calculation process, first, a conversion factor K is calculated from the number of pixels of the appendage imaged part extracted in the imaged object extraction process and the actual size of the vehicle body appendage. do. Here, the sizes of the window 13 and the vehicle door 15, which are accessories to the vehicle body, are known as specifications. Therefore, the number of pixels α1 of the window 13 (here, for example, the number of pixels in the width direction), which is the appendage imaged portion in the side view image 5, and the number of pixels of the vehicle door 15 (similarly, the number of pixels in the width direction, for example) α2. , the distance corresponding to the number of misaligned pixels Δd of the reference marker 17 can be determined from the relationship with the actual size (for example, width; hereinafter referred to as "regular size") of the window 13 or vehicle door 15. This distance corresponds to the relative distance to the fixed position of the stopped train 1 (the amount of deviation between the leading end position of the leading vehicle 11 and the fixed position).

そこで、本実施形態では、車体付属物とする窓13や車両ドア15の規定サイズを規定サイズデータ275(図6を参照)として設定しておく。そして、次式(1)に従い、車体付属物の規定サイズを付属物撮像部分の画素数αで除して換算係数Kを求める。
換算係数K=規定サイズ/画素数α ・・・(1)
Therefore, in this embodiment, the specified sizes of the window 13 and the vehicle door 15, which are vehicle body accessories, are set as the specified size data 275 (see FIG. 6). Then, according to the following equation (1), a conversion coefficient K is obtained by dividing the specified size of the vehicle body appendage by the number of pixels α of the appendage imaged portion.
Conversion coefficient K = specified size / number of pixels α ... (1)

より詳細には、車体付属物を窓13とする場合であれば、窓13の規定サイズを側面視画像5中の窓13の撮像部分の画素数α1で除して、換算係数Kを求める。一方、車体付属物を車両ドア15とする場合であれば、車両ドア15の規定サイズを側面視画像5中の車両ドア15の撮像部分の画素数α2で除して、換算係数Kを求める。図5の車両ドア15のように同種の付属物撮像部分が複数抽出されている場合には、それらの画素数の平均値を用い、換算係数Kを算出することとしてもよい。或いは、側面視画像5中の複数の車体付属物を含む範囲を利用してもよい。例えば、図5に示すように、窓13及び2つの車両ドア15の全体の撮像部分の画素数α3を用い、換算係数Kを求めることとしてもよい。その場合は、当該範囲に対応する車体部分の幅を規定サイズとして設定しておけばよい。換算係数Kを求める対象の長さ(付属物撮像部分の長さ)は、側面視画像5中で、できるだけ長くなるように定めることで、換算係数Kの算出誤差を小さく抑えることができる。 More specifically, when the vehicle body accessory is the window 13, the conversion coefficient K is obtained by dividing the specified size of the window 13 by the number of pixels α1 of the imaged portion of the window 13 in the side view image 5. On the other hand, when the vehicle body accessory is the vehicle door 15, the conversion coefficient K is obtained by dividing the specified size of the vehicle door 15 by the number of pixels α2 of the imaged portion of the vehicle door 15 in the side view image 5. When a plurality of imaged parts of the same type of appendage are extracted like the vehicle door 15 in FIG. 5, the conversion coefficient K may be calculated using the average value of the number of pixels. Alternatively, a range including a plurality of vehicle body appendages in the side view image 5 may be used. For example, as shown in FIG. 5, the conversion coefficient K may be determined using the number of pixels α3 of the entire imaged portion of the window 13 and the two vehicle doors 15. In that case, the width of the vehicle body portion corresponding to the range may be set as the specified size. The length of the object for which the conversion coefficient K is calculated (the length of the appendage imaged portion) is determined to be as long as possible in the side view image 5, so that the calculation error of the conversion coefficient K can be suppressed to a small value.

そして、換算係数Kを求めたならば、次式(2)に従い、相対距離算出処理で算出された位置ズレ画素数Δdに換算係数Kを乗じて相対距離ΔDを算出する。
相対距離ΔD=換算係数K×位置ズレ画素数Δd ・・・(2)
Once the conversion coefficient K has been determined, the relative distance ΔD is calculated by multiplying the number of misaligned pixels Δd calculated in the relative distance calculation process by the conversion coefficient K according to the following equation (2).
Relative distance ΔD = conversion coefficient K x number of positional deviation pixels Δd (2)

その後は、求めた相対距離ΔDをもとに、列車1が定位置に停止したか否かの判定を行う。本実施形態では、図2に示すように、例えば、定位置に対してオーバー位置(過走位置)と、ショート位置(未達位置)とのそれぞれについて、定位置に対する相対距離が所定値A11以内の範囲を、定位置停止範囲A1として予め定めておく。そして、式(2)で求めた相対距離ΔDが距離A11以下であれば、列車1は定位置に停止したと判定する。 Thereafter, it is determined whether the train 1 has stopped at a fixed position based on the determined relative distance ΔD. In this embodiment, as shown in FIG. 2, for example, the relative distance from the home position is within a predetermined value A11 for each of the over position (overtravel position) and the short position (unreached position) with respect to the home position. The range is predetermined as the fixed position stop range A1. Then, if the relative distance ΔD calculated by equation (2) is less than or equal to the distance A11, it is determined that the train 1 has stopped at a fixed position.

[機能構成]
図6は、処理装置200の機能構成例を示すブロック図である。図6に示すように、処理装置200は、操作部210と、表示部220と、通信部230と、制御部240と、記憶部250とを備え、カメラ20が撮影した撮影画像を処理する一種のコンピュータとして構成することができる。
[Functional configuration]
FIG. 6 is a block diagram showing an example of the functional configuration of the processing device 200. As shown in FIG. 6, the processing device 200 includes an operation section 210, a display section 220, a communication section 230, a control section 240, and a storage section 250. can be configured as a computer.

カメラ20は、上記したように、プラットホーム4に設置されて駅に停止した列車1を側方から撮影するものであり、それを変更すると撮影画像の明るさが変化する所定のカメラ設定パラメータ21に基づいて撮影を行う。本実施形態では、カメラ設定パラメータ21は、アナログゲイン、デジタルゲイン、及び露光時間を含む。 As described above, the camera 20 is installed on the platform 4 to photograph the train 1 stopped at the station from the side, and is set to a predetermined camera setting parameter 21 that changes the brightness of the photographed image when changed. Shoot based on the following. In this embodiment, camera setting parameters 21 include analog gain, digital gain, and exposure time.

操作部210は、プッシュスイッチやダイヤル等を有して構成され、表示部220は、LEDや小型の液晶表示装置等を有して構成される。操作部210及び表示部220は、主に作業員によってメンテナンス時に利用されるものである。 The operation section 210 includes push switches, dials, and the like, and the display section 220 includes an LED, a small liquid crystal display, and the like. The operating section 210 and the display section 220 are mainly used by workers during maintenance.

通信部230は、例えば無線通信モジュールやルータ、モデム、TA、有線用の通信ケーブルのジャックや制御回路等で実現される有線或いは無線の通信装置であり、外部装置(カメラ20や駆動制御部300等)との間で通信を行う。この通信部230を介してカメラ20からフレーム毎に入力される撮影画像が、進入側撮影画像データ255として記憶部250に格納される。 The communication unit 230 is a wired or wireless communication device realized by, for example, a wireless communication module, a router, a modem, a TA, a wired communication cable jack, a control circuit, etc. etc.). Photographed images input frame by frame from the camera 20 via the communication section 230 are stored in the storage section 250 as entrance-side photographed image data 255.

制御部240は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Processor)等のプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等の電子部品によって実現され、装置各部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、通信部230を介して入力されたデータ等に基づいて各種の演算処理を行い、処理装置200の動作を制御する。この制御部240は、自動調整部241と、画像処理部242と、列車位置判定部243と、メンテナンス要否判定部247とを含む。これらの機能部は、プログラムを実行することによりソフトウェアとして実現される処理ブロックであってもよいし、ASICやFPGA等のハードウェア回路によって実現される回路ブロックであってもよい。本実施形態では、制御部240が自動調整プログラム251及び停止位置判定プログラム253を実行することによりソフトウェアとして実現される処理ブロックとして説明する。 The control unit 240 is realized by electronic components such as a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array), and is connected to each part of the device. Data input/output control is performed between. Then, it performs various arithmetic processing based on predetermined programs, data, data input via the communication unit 230, etc., and controls the operation of the processing device 200. This control section 240 includes an automatic adjustment section 241, an image processing section 242, a train position determination section 243, and a maintenance necessity determination section 247. These functional units may be processing blocks realized as software by executing a program, or may be circuit blocks realized by hardware circuits such as ASIC or FPGA. This embodiment will be described as a processing block realized as software when the control unit 240 executes the automatic adjustment program 251 and the stop position determination program 253.

自動調整部241は、停止位置判定に先立ち、カメラ20からの撮影画像を用いて自動調整処理を行って、所定のカメラ設定パラメータのパラメータ値を自動的に調整する。本実施形態では、カメラ設定パラメータ21のアナログゲイン・デジタルゲイン・露光時間の各値を自動調整する。そして、自動調整処理を正常に終了したときの撮影画像を画像処理部242へ出力することで、停止位置判定の対象とする。これによれば、明るさ調整等が施された適切な画質の撮影画像を用いて停止位置判定を行うことが可能となり、停止位置判定の精度向上が図れる。 Prior to determining the stop position, the automatic adjustment unit 241 performs automatic adjustment processing using the captured image from the camera 20 to automatically adjust parameter values of predetermined camera setting parameters. In this embodiment, the values of analog gain, digital gain, and exposure time of the camera setting parameters 21 are automatically adjusted. Then, by outputting the photographed image when the automatic adjustment processing is normally completed to the image processing unit 242, it is used as a target for stop position determination. According to this, it becomes possible to perform the stop position determination using a captured image of appropriate image quality that has been subjected to brightness adjustment, etc., and it is possible to improve the accuracy of the stop position determination.

ここで、自動調整処理について説明する。図7は、図3に示したカメラ20の設置部分の拡大図である。また、図8は、カメラ20の撮影画像6の模式図である。図7に示すように、本実施形態のカメラ20は、自動調整処理のために、カメラ20に向けられる表面の一部又は全部が撮影範囲と重なるように取り付けられた調整用ボード23を備える。例えば、表面の全部が単一色とされた板体を調整用ボード(所定物)23とし、カメラ20に取り付けることで実現できる。単一色であれば色は特に限定されないが、例えば、白色とすることができる。本実施形態では、図8中に破線で示すように、撮影画像6の下端部において全幅に亘って調整用ボード23の表面(単一色部分)が帯状の領域(単一色撮像部分)61として写るように、調整用ボード23とカメラ20との相対的な設置位置及び設置向きが定められる。 Here, automatic adjustment processing will be explained. FIG. 7 is an enlarged view of the installation part of the camera 20 shown in FIG. 3. Further, FIG. 8 is a schematic diagram of an image 6 taken by the camera 20. As shown in FIG. 7, the camera 20 of this embodiment includes an adjustment board 23 attached so that part or all of the surface facing the camera 20 overlaps with the photographing range for automatic adjustment processing. For example, this can be achieved by using a plate whose entire surface is a single color as the adjustment board (predetermined object) 23 and attaching it to the camera 20. Although the color is not particularly limited as long as it is a single color, it may be white, for example. In this embodiment, as shown by the broken line in FIG. 8, the surface (single color portion) of the adjustment board 23 is captured as a band-shaped area (single color imaged portion) 61 over the entire width at the bottom end of the photographed image 6. Thus, the relative installation position and installation orientation of the adjustment board 23 and camera 20 are determined.

なお、調整用ボード23は、表面の全体が単一色ではなく一部が単一色のものであってもよく、また光を透過するものでもよく、その単一色部分が撮影画像に写るようにカメラ20に取り付けられていればよい。また、単一色撮像部分は、図8の単一色撮像部分61のように全幅に亘る長さである必要はなく、少なくともカメラ20の輝度分布において輝度勾配を捉えることが可能な長さで写るように構成されていればよい。例えば、左右画角の1/3以上の長さで単一色画像部分が写れば輝度勾配を捉えることができるのであれば、その長さが写るように調整用ボード23の大きさや、調整用ボード23とカメラ20との相対位置・相対角度が設定されていればよい。 Note that the entire surface of the adjustment board 23 may not be of a single color, but a portion of the surface may be of a single color, or may be of a type that transmits light. It is sufficient if it is attached to 20. Furthermore, the single-color imaging portion does not need to be long enough to span the entire width like the single-color imaging portion 61 in FIG. It is sufficient if it is configured as follows. For example, if it is possible to capture the brightness gradient by capturing a single color image part with a length of 1/3 or more of the left and right angle of view, then the size of the adjustment board 23 and the adjustment board 23 should be adjusted so that that length can be captured. It is only necessary that the relative position and angle between the board 23 and the camera 20 be set.

また、撮影画像の下端部に限らず、左端部や右端部において上下に帯状の単一色撮像部分が写る構成でもよく、単一色撮像部分とする撮影画像中の領域に合わせて調整用ボード23とカメラ20との相対的な設置位置及び設置向きを定めておけばよい。またその場合も、少なくともカメラ20の輝度分布において輝度勾配を捉えることが可能な長さで単一色撮像部分が写るように構成されていればよい。 Furthermore, it is not limited to the bottom end of the photographed image, but may also be configured such that a vertically band-shaped single-color imaging portion is captured at the left end or right end. The installation position and installation direction relative to the camera 20 may be determined in advance. In that case as well, it is sufficient that the camera 20 is configured so that a single color imaged portion can be captured with a length that can capture at least the brightness gradient in the brightness distribution of the camera 20.

また、カメラ20にその単一色撮像部分が写るように調整用ボード23を取り付ける構成に限らず、カメラ20とは別個に駅に設置するのでもよい。例えば、プラットホーム4の屋根下に吊り下げるようにして、カメラ20の撮影範囲に写るように調整用ボードを設置することもできる。その場合は、当該調整用ボードの単一色部分がカメラ20の輝度分布において輝度勾配を捉えることが可能な長さで写るように、当該調整用ボードとカメラ20との相対的な設置位置及び設置向きが定められる。 Furthermore, the adjustment board 23 is not limited to the configuration in which the adjustment board 23 is attached so that the single-color imaged portion is captured on the camera 20, but may be installed separately from the camera 20 at the station. For example, it is also possible to install an adjustment board so that it is suspended under the roof of the platform 4 so that it is visible in the photographing range of the camera 20. In that case, the relative installation position of the adjustment board and the camera 20 should be determined so that the single color part of the adjustment board can be photographed with a length that can capture the brightness gradient in the brightness distribution of the camera 20. Direction is determined.

或いは、調整用ボードを用いなくても、撮影範囲内となるホーム柵3の側面や、列車1のプラットホーム4側の側面に単一色部分があれば、その部分が写る撮影画像中の領域を単一色撮像部分として利用することもできる。これによれば、カメラ20に調整用ボード23を取り付けることなく自動調整処理を行うことが可能となる。 Alternatively, even without using an adjustment board, if there is a single color part on the side of the platform fence 3 or the side of the platform 4 of the train 1 that is within the shooting range, you can simply select the area in the shot image where that part is captured. It can also be used as a one-color imaging area. According to this, it becomes possible to perform automatic adjustment processing without attaching the adjustment board 23 to the camera 20.

そして、自動調整処理では、撮影画像に写っている単一色撮像部分61の輝度値を用いてダイナミックレンジオーバー判定、フリッカー発生判定、及び中心輝度判定を行い、判定結果に応じてカメラ設定パラメータ21のアナログゲイン・デジタルゲイン・露光時間の各値の自動調整を行う。本実施形態では、単一色撮像部分61の中心線を検査ラインL1とし、この検査ラインL1上の輝度値に基づいて各判定を行う。 In the automatic adjustment process, dynamic range over determination, flicker occurrence determination, and center brightness determination are performed using the brightness value of the single-color imaged portion 61 in the photographed image, and the camera setting parameters 21 are adjusted according to the determination results. Automatically adjusts each value of analog gain, digital gain, and exposure time. In this embodiment, the center line of the single-color imaging portion 61 is defined as the inspection line L1, and each determination is made based on the luminance value on this inspection line L1.

(1)ダイナミックレンジオーバー判定
図9および図10は、ダイナミックレンジオーバー判定を説明するための図であり、図9は、図8に示すセンターCを中心とした検査ラインL1上の各位置を横軸として、標準的な照度環境下での検査ラインL1上の輝度値分布をグラフ化した図である。また、図10は、当該標準的な照度環境下での輝度値分布(中段)とともに、日中の高照度環境下での検査ラインL1上の輝度値分布(上段)と、夜間の低照度環境下での検査ラインL1上の輝度値分布(下段)とを共通の横軸で示した図である。
(1) Dynamic range over determination FIGS. 9 and 10 are diagrams for explaining dynamic range over determination. FIG. 9 shows each position on the inspection line L1 centered on the center C shown in FIG. It is a graph in which the luminance value distribution on the inspection line L1 under a standard illumination environment is plotted as an axis. In addition, FIG. 10 shows the luminance value distribution under the standard illuminance environment (middle row), the luminance value distribution on the inspection line L1 under the high-illuminance environment during the day (upper row), and the low-illuminance environment at night. It is a diagram showing the luminance value distribution (lower stage) on the lower inspection line L1 along a common horizontal axis.

上記したように、カメラ20には、周辺光量落ちの現象が生じる。自動調整処理では、この周辺光量落ちによる輝度値分布の特徴を利用して、ダイナミックレンジオーバー判定を行う。具体的には、図9や図10の中段の検査ラインL1上の輝度値分布が示すように、標準的な照度環境下で撮影された単一色撮像部分61には、中央部分(センターCの付近)に比べて周辺部分(検査ラインL1上の端部)の輝度値が低下する現象が現れ得る。 As described above, the camera 20 suffers from the phenomenon of peripheral light falloff. In the automatic adjustment process, a dynamic range over-determination is performed using the characteristics of the luminance value distribution due to this peripheral light falloff. Specifically, as shown in the luminance value distribution on the inspection line L1 in the middle of FIGS. A phenomenon may occur in which the luminance value of the peripheral portion (the end on the inspection line L1) is lower than that of the surrounding area.

これに対し、図10の上段に示す高照度環境下では、その端部を除く一点鎖線で示す部分の理想値が輝度値の上限を超えて(輝度値が飽和して)しまい、検査ラインL1上の輝度値分布は、当該端部を除く部分が平坦な分布となる(いわゆる白とびの状態)。同様に、図10の下段に示す低照度環境下では、その両側の一点鎖線で示す部分の理想値が輝度値の下限を下回り、検査ラインL1上の輝度値分布は、当該両側の部分が平坦な分布となる(いわゆる黒つぶれの状態)。このように、白とび状態のときは、中央部分(センターCの付近)で輝度勾配が平坦な分布となり、黒つぶれ状態のときは、両側の部分が平坦な分布となる。よって、輝度分布の差異を監視することによって、白とび状態と黒つぶれ状態の判定が可能となる。 On the other hand, under the high illuminance environment shown in the upper part of FIG. The luminance value distribution above has a flat distribution except for the edges (so-called blown-out highlight state). Similarly, under the low illuminance environment shown in the lower part of FIG. 10, the ideal value of the portion indicated by the dashed line on both sides is below the lower limit of the luminance value, and the luminance value distribution on the inspection line L1 is flat in the portion on both sides. distribution (so-called black-filled state). In this way, when there is a blown-out highlight state, the luminance gradient has a flat distribution in the central portion (near center C), and when there is a blown-out shadow state, the distribution is flat on both sides. Therefore, by monitoring the difference in brightness distribution, it is possible to determine whether the image is overexposed or underexposed.

また、カメラに搭載したイメージセンサの飽和は、図10のSSラインに示すように、輝度値の上限値と下限値範囲によらず、輝度値は正常範囲に出力されているにもかかわらず、中央部分(センターCの付近)で輝度勾配が平坦な分布が発生する。すなわち、輝度勾配を監視する本手法を取り入れることで、カメラに搭載したイメージセンサの内部の信号飽和も監視することができる。 In addition, saturation of the image sensor installed in the camera occurs regardless of the upper and lower limit ranges of the brightness value, as shown by the SS line in Figure 10, even though the brightness value is output within the normal range. A distribution with a flat luminance gradient occurs in the central portion (near center C). That is, by incorporating this method of monitoring the brightness gradient, it is also possible to monitor the signal saturation inside the image sensor mounted on the camera.

したがって、上段の高照度環境下での検査ラインL1上の各輝度値のバラツキSUおよびSSは、中段等に示す標準的な照度環境下での検査ラインL1上の各輝度値のバラツキTよりも小さくなる。同様に、下段の低照度環境下での検査ラインL1上の各輝度値のバラツキSLは、中段の標準的な照度環境下の場合のバラツキTよりも小さくなる(T>SU,SL,SS)。 Therefore, the variations SU and SS of each luminance value on the inspection line L1 under a high illuminance environment in the upper row are larger than the variations T of each luminance value on the inspection line L1 under a standard illuminance environment shown in the middle row, etc. becomes smaller. Similarly, the variation SL of each luminance value on the inspection line L1 under the low-light environment in the lower row is smaller than the variation T under the standard illuminance environment in the middle row (T>SU, SL, SS). .

そこで、ダイナミックレンジオーバー判定では、検査ラインL1上の輝度値のバラツキを示すバラツキ指標値を算出し、バラツキ指標値が、バラツキが少ないことを示す所定のバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定する。本実施形態では、検査ラインL1上の輝度値の標準偏差をバラツキ指標値とする。そして、バラツキ過小閾値条件は、「バラツキ指標値(標準偏差)が所定値以下であること」等として設定しておく。 Therefore, in the dynamic range over determination, a variation index value indicating the variation in luminance values on the inspection line L1 is calculated, and if the variation index value satisfies a predetermined variation under/under threshold condition indicating that the variation is small, the dynamic range is Determined as over. In this embodiment, the standard deviation of the luminance values on the inspection line L1 is used as the variation index value. The variation threshold condition is set as "the variation index value (standard deviation) is less than or equal to a predetermined value" or the like.

そして、求めたバラツキ指標値がバラツキ過小閾値条件を満たした場合に、ダイナミックレンジオーバーと判定する。つまり、白とびの状態又は黒つぶれ、もしくはイメージセンサ内部の信号飽和の状態であると判定する。 If the obtained variation index value satisfies the variation threshold condition, it is determined that the dynamic range is exceeded. In other words, it is determined that there is a blown-out highlight state, a blown-out shadow state, or a state of signal saturation inside the image sensor.

その後は、それが白とびの状態なのか黒つぶれの状態なのか、もしくはイメージセンサ内部の信号飽和なのかに応じてアナログゲインを調整し、場合によっては露光時間を調整する。白とびの状態なのか黒つぶれの状態なのかの判別は、検査ラインL1上の輝度値の高低から判別できる。 After that, the analog gain is adjusted depending on whether the problem is overexposure, underexposure, or signal saturation inside the image sensor, and in some cases, the exposure time is adjusted. Whether the image is in a blown-out highlight state or a blown-out shadow state can be determined based on the level of the luminance value on the inspection line L1.

(2)フリッカー発生判定
フリッカー発生判定では、フリッカーノイズの発生を判定する。例えば、ダイナミックレンジオーバー判定で求めたバラツキ指標値を用いて、フリッカーの発生を判定する。具体的には、撮影画像は毎フレーム単位等の所定の時間間隔で取得できるため、今回の撮影画像のバラツキ指標値と、前回の撮影画像のバラツキ指標値との差が、バラツキが多いことを示す所定のバラツキ過大閾値条件を満たした場合にフリッカーノイズ発生条件を満たしたと判定して、フリッカーノイズの発生と判定する。バラツキ過大閾値条件は、「バラツキ指標値(標準偏差)が所定値以上であること」等として設定しておく。そして、フリッカーノイズの発生と判定した場合には、露光時間を調整する。
(2) Flicker occurrence determination In flicker occurrence determination, occurrence of flicker noise is determined. For example, the occurrence of flicker is determined using the variation index value determined in the dynamic range over determination. Specifically, since captured images can be acquired at predetermined time intervals such as every frame, the difference between the dispersion index value of the currently captured image and the dispersion index value of the previous captured image indicates that there is a large amount of dispersion. When the predetermined excessive variation threshold condition shown in FIG. The excessive variation threshold condition is set as "the variation index value (standard deviation) is greater than or equal to a predetermined value". If it is determined that flicker noise has occurred, the exposure time is adjusted.

(3)中心輝度判定
中心輝度判定では、先ず、単一色撮像部分61の中心輝度を判定する。例えば、検査ラインL1の中心(センターC)の輝度値を中心輝度とする。検査ラインL1上の輝度値の最大値や平均値を中心輝度とすることもできる。そして、求めた中心輝度が、予め定められる許容範囲内か否かに応じて、デジタルゲインを調整する。例えば、許容範囲の上限と下限とを許容範囲データ271(図6を参照)として設定しておき、中心輝度が許容範囲の上限を超えている場合や下限未満の場合に、デジタルゲインを調整する。
(3) Center brightness determination In the center brightness determination, first, the center brightness of the single-color imaging portion 61 is determined. For example, the brightness value at the center (center C) of the inspection line L1 is set as the center brightness. The maximum value or average value of the brightness values on the inspection line L1 can also be set as the center brightness. Then, the digital gain is adjusted depending on whether the calculated center brightness is within a predetermined tolerance range. For example, the upper and lower limits of the allowable range are set as the allowable range data 271 (see Figure 6), and the digital gain is adjusted when the center luminance exceeds the upper limit or is less than the lower limit of the allowable range. .

図6に戻って、画像処理部242は、画像処理を行う機能部であって、自動調整部241から入力された撮影画像について歪み補正を行い、歪み補正後の撮影画像を透視投影変換して、側面視画像を生成する。側面視画像は、側面から見た鳥瞰変換の画像ということもできる。 Returning to FIG. 6, the image processing unit 242 is a functional unit that performs image processing, and performs distortion correction on the captured image input from the automatic adjustment unit 241, and performs perspective projection transformation on the captured image after distortion correction. , generate a side view image. The side view image can also be said to be a bird's-eye view conversion image viewed from the side.

列車位置判定部243は、列車位置判定処理を行う機能部であり、撮像物抽出部244と、位置ズレ画素数算出部245と、相対距離算出部246とを備える。 The train position determination unit 243 is a functional unit that performs train position determination processing, and includes an imaged object extraction unit 244, a misaligned pixel count calculation unit 245, and a relative distance calculation unit 246.

撮像物抽出部244は、撮像物抽出処理を行う機能部であり、各種画像認識技術を用いて側面視画像に写っている付属物撮像部分を抽出するとともに、基準マーカの撮像部分を抽出してマーカ撮像位置を取得する。 The imaged object extraction unit 244 is a functional unit that performs imaged object extraction processing, and uses various image recognition techniques to extract the imaged part of an appendage appearing in the side view image, and also extracts the imaged part of the reference marker. Obtain the marker imaging position.

位置ズレ画素数算出部245は、位置ズレ画素数算出処理を行う機能部であり、予め設定されたマーカ撮像基準位置を撮像基準位置データ273から読み出し、マーカ撮像位置との位置ズレ画素数Δdを算出する。 The positional deviation pixel number calculation unit 245 is a functional unit that performs positional deviation pixel number calculation processing, reads a preset marker imaging reference position from the imaging reference position data 273, and calculates the positional deviation pixel number Δd with respect to the marker imaging position. calculate.

相対距離算出部246は、相対距離算出処理を行う機能部であり、付属物撮像部分の画素数αと、その車体付属物の規定サイズとから換算係数Kを算出し、この換算係数Kと位置ズレ画素数Δdとをもとに、駅に停止した列車1の定位置に対する相対距離ΔDを算出する。また、定位置に対してオーバー位置なのかショート位置なのかも判定する。 The relative distance calculation unit 246 is a functional unit that performs relative distance calculation processing, and calculates a conversion coefficient K from the number of pixels α of the appendage imaging area and the specified size of the vehicle body appendage, and calculates the conversion coefficient K and the position. Based on the number of misaligned pixels Δd, the relative distance ΔD of the train 1 stopped at the station from the fixed position is calculated. It is also determined whether the position is over the normal position or the position is short.

メンテナンス要否判定部247は、列車1が定位置に停止したと判定した場合にメンテナンス要否判定処理を行う機能部であり、メンテナンス用履歴データ277を用いてメンテナンスの要否を判定する。ここでのメンテナンスは、撮像基準位置データ273の修正、又はカメラ20の設置位置及び設置向きの点検に係るメンテナンスのことをいう。 The maintenance necessity determination unit 247 is a functional unit that performs maintenance necessity determination processing when it is determined that the train 1 has stopped at a fixed position, and determines the necessity of maintenance using the maintenance history data 277. The maintenance here refers to maintenance related to correction of the imaging reference position data 273 or inspection of the installation position and installation orientation of the camera 20.

そのために、本実施形態では、停止位置判定で列車1が定位置に停止したと判定したときの付属物撮像部分の画素数及び換算係数Kの各値を、メンテナンス用履歴データ277として蓄積・保存しておく。すなわち、メンテナンス用履歴データ277には、列車1が定位置に停止したと判定されるたびに、そのときに抽出された付属物撮像部分の画素数と、そのときに算出された換算係数Kとが日時と対応付けて追加されていく。 To this end, in this embodiment, the number of pixels of the appendage imaged portion and the values of the conversion coefficient K when it is determined that the train 1 has stopped at a fixed position in the stop position determination are accumulated and saved as maintenance history data 277. I'll keep it. That is, each time it is determined that the train 1 has stopped at a fixed position, the maintenance history data 277 includes the number of pixels of the appendage imaged portion extracted at that time and the conversion coefficient K calculated at that time. are added in association with the date and time.

そして、メンテナンス要否判定処理では、メンテナンス要否判定部247は先ず、メンテナンス用履歴データ277に保存されている過去の付属物撮像部分の画素数を第1の画素数とし、今回の停止位置判定に係る付属物撮像部分の画素数を第2の画素数として、それらの差異に基づいてメンテナンスの要否を判定する。列車1が定位置に停止したときの付属物撮像部分の画素数は、カメラ20の設置位置や設置向きにズレが生じなければ大きくは変動しないはずであり、それが大きく変動しているということは、停止位置判定の精度が低下している可能性がある。 In the maintenance necessity determination process, the maintenance necessity determination unit 247 first sets the number of pixels of the past appendage imaged portion stored in the maintenance history data 277 as the first pixel number, and determines the current stop position. The number of pixels of the imaged part of the appendage is set as the second number of pixels, and the necessity of maintenance is determined based on the difference therebetween. The number of pixels in the attached object imaging area when the train 1 stops at a fixed position should not change significantly unless there is a deviation in the installation position or orientation of the camera 20, which is why it has changed significantly. In this case, the accuracy of stopping position determination may be reduced.

具体的には、例えば、第1の画素数と第2の画素数との差が予め定められる所定の閾値以下の場合に、メンテナンスを要すると判定する。第1の画素数は、直前の停止位置判定に係る付属物撮像部分の画素数を用いるのでもよいし、過去所定回数分の停止位置判定に係る付属物撮像部分の画素数の平均としてもよし、前回メンテナンスがされた直後の停止位置判定に係る付属物撮像部分の画素数としてもよい。 Specifically, for example, if the difference between the first number of pixels and the second number of pixels is less than or equal to a predetermined threshold, it is determined that maintenance is required. The first number of pixels may be the number of pixels of the appendage imaged portion related to the previous stop position determination, or may be the average number of pixels of the appendage imaged portion related to the stop position determination for a predetermined number of times in the past. , it may be the number of pixels of the appendage imaging portion related to the stop position determination immediately after the previous maintenance.

なお、付属物撮像部分の画素数にかえて、換算係数Kを用いてメンテナンスの要否を判定する構成としてもよい。その場合は、メンテナンス用履歴データ277に保存されている過去の換算係数Kを第1の換算係数Kとし、今回の停止位置判定に係る換算係数Kを第2の換算係数Kとして、それらの差異に基づいてメンテナンスの要否を判定する。 Note that a configuration may be adopted in which the necessity of maintenance is determined using a conversion coefficient K instead of the number of pixels of the appendage imaged portion. In that case, the past conversion coefficient K stored in the maintenance history data 277 is set as the first conversion coefficient K, the conversion coefficient K related to the current stop position determination is set as the second conversion coefficient K, and the difference between them is set as the first conversion coefficient K. The necessity of maintenance is determined based on the following.

続いて、メンテナンス要否判定部247は、メンテナンスが必要と判定したときには、その旨の通知制御を行う。例えば、駅構内の適所に設置された表示モニタに対し、駅係員等に向けてメンテナンスが必要である旨のメッセージを表示することで実現できる。具体的には、カメラ20の設置位置及び設置向きの調整と、撮像基準位置データ273の再設定とを促すメッセージを表示する。 Subsequently, when the maintenance necessity determining unit 247 determines that maintenance is necessary, it performs notification control to that effect. For example, this can be achieved by displaying a message to the station staff or the like to the effect that maintenance is required on a display monitor installed at a suitable location within the station premises. Specifically, a message prompting the user to adjust the installation position and orientation of the camera 20 and to reset the imaging reference position data 273 is displayed.

そして、メンテナンス要否判定部247は、今回の停止位置判定に係る付属物撮像部分の画素数及び換算係数Kを、メンテナンス用履歴データ277に追加する。 Then, the maintenance necessity determining unit 247 adds the number of pixels and the conversion coefficient K of the appendage imaged portion related to the current stop position determination to the maintenance history data 277.

記憶部250は、ICメモリやハードディスク、光学ディスク等の記憶媒体により実現される。この記憶部250には、処理装置200を動作させ、処理装置200が備える種々の機能を実現するためのプログラムや、当該プログラムの実行中に使用されるデータ等が予め記憶され、或いは処理の都度一時的に記憶される。例えば、記憶部250には、自動調整プログラム251と、停止位置判定プログラム253と、進入側撮影画像データ255と、パラメータ設定データ260と、許容範囲データ271と、撮像基準位置データ273と、規定サイズデータ275と、メンテナンス用履歴データ277とが格納される。 The storage unit 250 is realized by a storage medium such as an IC memory, a hard disk, or an optical disk. In this storage unit 250, programs for operating the processing device 200 and realizing various functions of the processing device 200, data used during the execution of the program, etc. are stored in advance, or are stored each time processing is performed. Memorized temporarily. For example, the storage unit 250 stores an automatic adjustment program 251, a stop position determination program 253, approach side photographed image data 255, parameter setting data 260, permissible range data 271, imaging reference position data 273, and a specified size. Data 275 and maintenance history data 277 are stored.

自動調整プログラム251は、制御部240を自動調整部241として機能させるためのプログラムである。また、停止位置判定プログラム253は、制御部240を画像処理部242、列車位置判定部243、及びメンテナンス要否判定部247として機能させるためのプログラムである。 The automatic adjustment program 251 is a program for causing the control section 240 to function as the automatic adjustment section 241. Further, the stop position determination program 253 is a program for causing the control unit 240 to function as the image processing unit 242, the train position determination unit 243, and the maintenance necessity determination unit 247.

パラメータ設定データ260は、カメラ設定パラメータ21のうちの少なくとも自動調整部241の調整対象であるアナログゲイン・デジタルゲイン・露光時間の初期値261と、それらアナログゲイン・デジタルゲイン・露光時間の現在値263を格納する。 The parameter setting data 260 includes at least the initial values 261 of analog gain, digital gain, and exposure time, which are the objects of adjustment by the automatic adjustment unit 241, among the camera setting parameters 21, and the current values 263 of these analog gain, digital gain, and exposure time. Store.

[処理の流れ]
図11は、処理装置200が行う処理の流れを示すフローチャートである。ここで説明する処理は、処理装置200において、制御部240が記憶部250から自動調整プログラム251及び停止位置判定プログラム253を読み出して実行することで実現できる。
[Processing flow]
FIG. 11 is a flowchart showing the flow of processing performed by the processing device 200. The processing described here can be realized in the processing device 200 by the control unit 240 reading out the automatic adjustment program 251 and the stop position determination program 253 from the storage unit 250 and executing them.

先ず、自動調整部241が、自動調整処理を開始する(ステップS1)。図12は、自動調整処理の流れを示すフローチャートである。また、図13は、図12のステップS107でダイナミックレンジオーバー判定を否定判定した場合に続く処理の流れを示す図である。 First, the automatic adjustment unit 241 starts automatic adjustment processing (step S1). FIG. 12 is a flowchart showing the flow of automatic adjustment processing. Further, FIG. 13 is a diagram showing the flow of processing that follows when the dynamic range over determination is negative in step S107 of FIG. 12.

図12に示すように、自動調整処理では、自動調整部241は先ず、パラメータ設定データ260から初期値261を読み出し、調整対象であるアナログゲイン・デジタルゲイン・露光時間の初期設定を行う(ステップS101)。ここでの処理により、アナログゲイン・デジタルゲイン・露光時間の各値がその初期値として自動設定される。 As shown in FIG. 12, in the automatic adjustment process, the automatic adjustment unit 241 first reads an initial value 261 from the parameter setting data 260, and initializes the analog gain, digital gain, and exposure time that are to be adjusted (step S101). ). Through this process, the values of analog gain, digital gain, and exposure time are automatically set as their initial values.

そして、カメラ20から撮影画像を取得したならば(ステップS103:YES)、自動調整部241は、検査ラインL1(図8を参照)上の各画素の輝度値を取得する(ステップS105)。 Then, if the photographed image is acquired from the camera 20 (step S103: YES), the automatic adjustment unit 241 acquires the luminance value of each pixel on the inspection line L1 (see FIG. 8) (step S105).

続いて、自動調整部241は、ダイナミックレンジオーバー判定を行い、否定判定した場合は(ステップS107:NO)、図13のステップS131に移行する。一方、ダイナミックレンジオーバーと判定(肯定判定)した場合には(ステップS107:YES)、それが白とびの状態なのか黒つぶれの状態なのかを判別して処理を分岐する(ステップS109)。 Subsequently, the automatic adjustment unit 241 performs a dynamic range over determination, and if the determination is negative (step S107: NO), the process moves to step S131 in FIG. 13. On the other hand, if it is determined that the dynamic range has exceeded (affirmative determination) (step S107: YES), it is determined whether it is a blown-out highlight state or a blown-up shadow state, and the process branches (step S109).

すなわち、自動調整部241は、白とびの状態と判別した場合には、現在値263を参照し、アナログゲインが最小ゲインでなければ(ステップS111:NO)、アナログゲインを1ステップ減らしてカメラ設定パラメータ21を更新する(ステップS113)。またその際、更新後の値で現在値263のアナログゲインについても書き換える。その後、ステップS103に戻る。 That is, when the automatic adjustment unit 241 determines that the overexposure state is present, the automatic adjustment unit 241 refers to the current value 263, and if the analog gain is not the minimum gain (step S111: NO), decreases the analog gain by one step and changes the camera settings. The parameters 21 are updated (step S113). At that time, the analog gain of the current value 263 is also rewritten with the updated value. After that, the process returns to step S103.

また、自動調整部241は、アナログゲインが最小の場合には(ステップS111:YES)、現在値263を参照し、露光時間が最小でなければ(ステップS115:NO)、露光時間を1ステップ短縮してカメラ設定パラメータ21を更新する(ステップS117)。またその際、更新後の値で現在値263の露光時間についても書き換える。その後、ステップS103に戻る。 Further, the automatic adjustment unit 241 refers to the current value 263 when the analog gain is the minimum (step S111: YES), and shortens the exposure time by one step when the exposure time is not the minimum (step S115: NO). The camera setting parameters 21 are updated (step S117). At that time, the current value 263 of exposure time is also rewritten with the updated value. After that, the process returns to step S103.

そして、自動調整部241は、露光時間が最小の場合には(ステップS115:YES)、アナログゲイン及び露光時間ともに調整することができないため、エラーを報知してメンテナンスが必要な旨を通知する制御を行う(ステップS119)。その後、ステップS103に戻る。 Then, if the exposure time is the minimum (step S115: YES), the automatic adjustment unit 241 performs control to notify an error and notify that maintenance is required, since both the analog gain and the exposure time cannot be adjusted. (Step S119). After that, the process returns to step S103.

一方、自動調整部241は、ステップS109において黒つぶれの状態と判別した場合には、現在値263を参照し、アナログゲインが最大ゲインでなければ(ステップS121:NO)、アナログゲインを1ステップ増やしてカメラ設定パラメータ21を更新する(ステップS123)。またその際、更新後の値で現在値263のアナログゲインについても書き換える。その後、ステップS103に戻る。 On the other hand, if the automatic adjustment unit 241 determines in step S109 that the blackout condition is present, the automatic adjustment unit 241 refers to the current value 263, and increases the analog gain by one step if the analog gain is not the maximum gain (step S121: NO). The camera setting parameters 21 are updated (step S123). At that time, the analog gain of the current value 263 is also rewritten with the updated value. After that, the process returns to step S103.

また、自動調整部241は、アナログゲインが最大の場合には(ステップS121:YES)、露光時間が最大でなければ(ステップS125:NO)、露光時間を1ステップ増長してカメラ設定パラメータ21を更新する(ステップS127)。またその際、更新後の値で現在値263の露光時間についても書き換える。その後、ステップS103に戻る。 Further, if the analog gain is the maximum (step S121: YES), and if the exposure time is not the maximum (step S125: NO), the automatic adjustment unit 241 increases the exposure time by one step and sets the camera setting parameter 21. Update (step S127). At that time, the current value 263 of exposure time is also rewritten with the updated value. After that, the process returns to step S103.

そして、自動調整部241は、露光時間が最大の場合には(ステップS125:YES)、アナログゲイン及び露光時間ともに調整することができないため、エラーを報知してメンテナンスが必要な旨を通知する制御を行う(ステップS129)。その後、ステップS103に戻る。 Then, when the exposure time is the maximum (step S125: YES), the automatic adjustment unit 241 controls to notify an error and notify that maintenance is required, since both the analog gain and the exposure time cannot be adjusted. (Step S129). After that, the process returns to step S103.

次に、図13のステップS131では、自動調整部241は、中心輝度判定を行う。そして、中心輝度が許容範囲データ271に設定される許容範囲の上限を超えているときにはステップS133に移行し、中心輝度が許容範囲の下限未満のときにはステップS139に移行し、許容範囲内の場合はステップS145に移行する。 Next, in step S131 in FIG. 13, the automatic adjustment unit 241 performs center brightness determination. When the center brightness exceeds the upper limit of the allowable range set in the allowable range data 271, the process moves to step S133; when the center brightness is less than the lower limit of the allowable range, the process moves to step S139; and when it is within the allowable range, the process moves to step S139. The process moves to step S145.

先ず、ステップS133では、自動調整部241は、現在値263を参照し、デジタルゲインが最小でなければ(ステップS133:NO)、デジタルゲインを1ステップ減らしてカメラ設定パラメータ21を更新する(ステップS135)。またその際、更新後の値で現在値263のデジタルゲインについても書き換える。その後、図12のステップS103に戻る。 First, in step S133, the automatic adjustment unit 241 refers to the current value 263, and if the digital gain is not the minimum (step S133: NO), decreases the digital gain by one step and updates the camera setting parameter 21 (step S135). ). At that time, the digital gain of the current value 263 is also rewritten with the updated value. After that, the process returns to step S103 in FIG. 12.

一方、自動調整部241は、デジタルゲインが最小の場合には(ステップS133:YES)、デジタルゲインを調整することができないため、エラーを報知してメンテナンスが必要な旨を通知する制御を行う(ステップS137)。その後、図12のステップS103に戻る。 On the other hand, when the digital gain is the minimum (step S133: YES), the automatic adjustment unit 241 performs control to notify an error and notify that maintenance is required (step S133: YES). Step S137). After that, the process returns to step S103 in FIG. 12.

次に、ステップS139では、自動調整部241は、現在値263を参照し、デジタルゲインが最大でなければ(ステップS139:NO)、デジタルゲインを1ステップ増やしてカメラ設定パラメータ21を更新する(ステップS141)。またその際、更新後の値で現在値263のデジタルゲインについても書き換える。その後、図12のステップS103に戻る。 Next, in step S139, the automatic adjustment unit 241 refers to the current value 263, and if the digital gain is not the maximum (step S139: NO), increases the digital gain by one step and updates the camera setting parameter 21 (step S141). At that time, the digital gain of the current value 263 is also rewritten with the updated value. After that, the process returns to step S103 in FIG. 12.

一方、自動調整部241は、デジタルゲインが最大の場合には(ステップS139:YES)、デジタルゲインを調整することができないため、エラーを報知してメンテナンスが必要な旨を通知する制御を行う(ステップS143)。その後、図12のステップS103に戻る。 On the other hand, if the digital gain is the maximum (step S139: YES), the automatic adjustment unit 241 performs control to notify an error and notify that maintenance is required (step S139: YES). Step S143). After that, the process returns to step S103 in FIG. 12.

次に、ステップS145では、自動調整部241は、フリッカー発生判定を行う。そして、フリッカーノイズの発生と判定したならば(ステップS145:YES)、現在値263を参照し、露光時間が最大でなければ(ステップS147:NO)、露光時間を1ステップ増長してカメラ設定パラメータ21を更新する(ステップS149)。またその際、更新後の値で現在値263の露光時間についても書き換える。その後、図12のステップS103に戻る。 Next, in step S145, the automatic adjustment unit 241 performs flicker occurrence determination. If it is determined that flicker noise has occurred (step S145: YES), the current value 263 is referred to, and if the exposure time is not the maximum (step S147: NO), the exposure time is increased by one step and the camera setting parameter is 21 (step S149). At that time, the current value 263 of exposure time is also rewritten with the updated value. After that, the process returns to step S103 in FIG. 12.

一方、自動調整部241は、露光時間が最大の場合には(ステップS147:YES)、露光時間を調整することができないため、エラーを報知してメンテナンスが必要な旨を通知する制御を行う(ステップS151)。その後、図12のステップS103に戻る。 On the other hand, if the exposure time is the maximum (step S147: YES), the automatic adjustment unit 241 performs control to notify an error and notify that maintenance is required (step S147: YES). Step S151). After that, the process returns to step S103 in FIG. 12.

そして、自動調整部241は、ステップS145でフリッカーノイズが発生していないと判定した場合には(ステップS145:NO)、図12のステップS103で取得した撮影画像についての自動調整処理を正常終了し、当該撮影画像を画像処理部242へ出力する(ステップS153)。その後、図12のステップS103に戻って上記した処理を繰り返す。 Then, if it is determined in step S145 that flicker noise has not occurred (step S145: NO), the automatic adjustment unit 241 normally ends the automatic adjustment process for the captured image acquired in step S103 of FIG. , outputs the photographed image to the image processing section 242 (step S153). Thereafter, the process returns to step S103 in FIG. 12 and the above-described process is repeated.

図11に戻る。自動調整処理を開始したならば、自動調整部241から画像処理部242へと撮影画像が出力されるまで待機状態となる。そして、撮影画像の出力があったとき、すなわち、図13のステップS151において自動調整部241が画像処理部242へと撮影画像を出力した場合に(ステップS3:YES)、画像処理部242は、画像処理を行って側面視画像を生成する(ステップS5)。 Return to FIG. 11. Once the automatic adjustment process is started, the automatic adjustment section 241 enters a standby state until the photographed image is outputted to the image processing section 242. Then, when the photographed image is output, that is, when the automatic adjustment section 241 outputs the photographed image to the image processing section 242 in step S151 of FIG. 13 (step S3: YES), the image processing section 242 Image processing is performed to generate a side view image (step S5).

続いて、列車位置判定部243が、列車位置判定処理を行う(ステップS7)。すなわち先ず、撮像物抽出部244が、撮像物抽出処理を行い、側面視画像から付属物撮像部分を抽出するとともに、基準マーカ17の撮像部分を抽出してマーカ撮像位置を取得する(ステップS71)。次に、位置ズレ画素数算出部245が位置ズレ画素数算出処理を行い、マーカ撮像位置と、マーカ撮像基準位置との位置ズレ画素数を算出する(ステップS73)。次に、相対距離算出部246が、相対距離算出処理を行って換算係数Kを算出し、これを用いて相対距離ΔDを算出する(ステップS75)。 Subsequently, the train position determination unit 243 performs train position determination processing (step S7). That is, first, the imaged object extraction unit 244 performs imaged object extraction processing, extracts the appendage imaged portion from the side view image, and extracts the imaged portion of the reference marker 17 to obtain the marker imaged position (step S71). . Next, the positional deviation pixel number calculation unit 245 performs positional deviation pixel number calculation processing and calculates the number of positional deviation pixels between the marker imaging position and the marker imaging reference position (step S73). Next, the relative distance calculation unit 246 performs relative distance calculation processing to calculate the conversion coefficient K, and uses this to calculate the relative distance ΔD (step S75).

続いて、列車位置判定部243は、ステップS75で算出された相対距離ΔDを監視して、列車1が停止したか否かの判定を行う(ステップS11)。具体的には、直近の過去所定回数分の相対距離算出処理で算出された相対距離ΔDを保持しておき、相対距離ΔDが変化しなくなった場合に列車1が停止したと判定する。例えば、前回値との変化量が所定の閾値以下の状態が所定回数続いた場合に、列車1が停止したと判定する。 Subsequently, the train position determination unit 243 monitors the relative distance ΔD calculated in step S75, and determines whether the train 1 has stopped (step S11). Specifically, the relative distance ΔD calculated by the relative distance calculation process a predetermined number of times in the recent past is held, and when the relative distance ΔD does not change, it is determined that the train 1 has stopped. For example, if the amount of change from the previous value remains below a predetermined threshold a predetermined number of times, it is determined that the train 1 has stopped.

そして、列車1が停止したと判定したならば(ステップS13:YES)、列車位置判定部243は、その時の相対距離ΔDを用いて列車1が定位置に停止したか否かを判定する(ステップS15)。すなわち、相対距離ΔDが図2に示した所定値A11以下の場合(定位置停止範囲A1内の場合)には、列車1が定位置に停止したと判定する。一方、定位置停止範囲A1外の場合には、ショート(定位置に達していない)やオーバー(定位置を超えた過走)を判定する。また、定位置と停止位置間の距離を画像から算出することとしてもよい。その場合、カメラ20の設置位置と定位置との関係や、カメラ20の撮影画像に写る定位置と停止位置との間の画素数と1画素分の距離との関係等を利用することができる。 If it is determined that the train 1 has stopped (step S13: YES), the train position determining unit 243 determines whether the train 1 has stopped at a fixed position using the relative distance ΔD at that time (step S13: YES). S15). That is, when the relative distance ΔD is less than or equal to the predetermined value A11 shown in FIG. 2 (within the fixed position stopping range A1), it is determined that the train 1 has stopped at the fixed position. On the other hand, if it is outside the home position stop range A1, a short circuit (the home position has not been reached) or an overrun (overrun beyond the home position) is determined. Alternatively, the distance between the home position and the stop position may be calculated from the image. In that case, the relationship between the installation position of the camera 20 and the fixed position, the relationship between the number of pixels and the distance of one pixel between the fixed position and the stop position in the captured image of the camera 20, etc. can be used. .

そして、列車1が定位置に停止したと判定したならば(ステップS17:YES)、駆動制御部300に停止通知を出力する(ステップS19)。 If it is determined that the train 1 has stopped at a fixed position (step S17: YES), a stop notification is output to the drive control unit 300 (step S19).

一方、列車1が定位置に停止していない場合には(ステップS17:NO)、その旨の通知制御を行った上で(ステップS21)、ステップS3に戻って上記した処理を繰り返す。ステップS21の通知制御は、例えば、運転士に向けた警告音の音出力やメッセージの表示出力を制御して、停止位置の修正が必要な旨を報知する。そして、再び列車1が停止したと判定し(ステップS13:YES)、その後定位置に停止したと判定した場合には(ステップS17:YES)、ステップS19に移行する。 On the other hand, if the train 1 has not stopped at the regular position (step S17: NO), a notification control to that effect is performed (step S21), and then the process returns to step S3 to repeat the above-described process. The notification control in step S21, for example, controls the output of a warning sound and the display output of a message to notify the driver that the stop position needs to be corrected. Then, if it is determined that the train 1 has stopped again (step S13: YES), and then it is determined that the train 1 has stopped at a fixed position (step S17: YES), the process moves to step S19.

そして、ステップS19で停止通知の出力を行った後、メンテナンス要否判定部247が、メンテナンス要否判定処理を行う(ステップS23)。例えば、メンテナンス要否判定部247は、メンテナンス用履歴データ277から過去の付属物撮像部分の画素数を読み出して第1の画素数とし、ステップS7で最後に抽出された付属物撮像部分の画素数を第2の画素数として、両者の差をもとにメンテナンスの要否を判定する。そして、メンテナンス要否判定部247は、メンテナンスが必要と判定した場合には(ステップS25:YES)、その旨の通知制御を行って(ステップS27)、本処理を終える。 After outputting the stop notification in step S19, the maintenance necessity determination unit 247 performs maintenance necessity determination processing (step S23). For example, the maintenance necessity determination unit 247 reads the number of pixels of the past appendage imaged portion from the maintenance history data 277, sets it as the first pixel number, and in step S7, the number of pixels of the appendage imaged portion extracted last. is the second number of pixels, and the necessity of maintenance is determined based on the difference between the two. When the maintenance necessity determining unit 247 determines that maintenance is necessary (step S25: YES), it performs notification control to that effect (step S27), and ends this process.

以上説明したように、本実施形態によれば、停止した列車1を側方から撮影するカメラ20の撮影画像について歪み補正を行い、歪み補正後の撮影画像を透視投影変換して、列車1を側面視した側面視画像を生成することができる。 As explained above, according to the present embodiment, distortion correction is performed on the captured image of the camera 20 that captures the stopped train 1 from the side, and the captured image after the distortion correction is subjected to perspective projection transformation to display the train 1. A side view image viewed from the side can be generated.

一方、列車1が駅に停止した際にカメラ20の撮影範囲内となる列車1のプラットホーム4側の側面に基準マーカ17を設け、列車1が定位置に停止している場合の側面視画像中に写る当該基準マーカ17の位置(マーカ撮像基準位置)と、生成した側面視画像に写っている基準マーカ17の当該側面視画像中の位置(マーカ撮像位置)とから、定位置に対する列車1の相対距離を判定することができる。 On the other hand, a reference marker 17 is provided on the side surface of the platform 4 of the train 1 that is within the shooting range of the camera 20 when the train 1 stops at a station, and a side view image of the train 1 when it stops at a fixed position is provided. The position of the reference marker 17 in the side view image (marker imaging reference position) and the position of the reference marker 17 in the generated side view image (marker imaging position) are used to determine the position of the train 1 relative to the fixed position. Relative distances can be determined.

具体的には、側面視画像中に写っている付属物撮像部分の画素数αとその既定サイズとの換算係数Kに基づいて、マーカ撮像基準位置とマーカ撮像位置との位置ズレ画素数Δdから、定位置に対する列車1の相対距離ΔDを判定することができる。 Specifically, based on the conversion coefficient K between the number of pixels α of the appendage imaged part shown in the side view image and its default size, the number of pixels Δd of the positional deviation between the marker imaging reference position and the marker imaging position is calculated. , the relative distance ΔD of the train 1 with respect to the fixed position can be determined.

したがって、カメラ20で撮影した画像を用いて駅の定位置に対する列車1の相対位置を判定する場合のキャリブレーション等の撮影用の設定に係る技術として、触車の危険性がなく、メンテナンス性に優れた技術を実現することができる。 Therefore, as a technology related to settings for shooting such as calibration when determining the relative position of the train 1 with respect to the fixed position of the station using images taken with the camera 20, there is no danger of contact cars and it is easy to maintain. Excellent technology can be realized.

また、本実施形態によれば、列車1が定位置に停止したと判定したときの側面視画像中の付属物撮像部分の画素数と換算係数Kとを履歴として保存しておくことができる。そして、新たに列車1が定位置に停止したと判定したときには、今回の付属物撮像部分の画素数や換算係数Kと、過去の付属物撮像部分の画素数や換算係数Kとの差異に基づいて、メンテナンスの要否を判定することができる。 Furthermore, according to the present embodiment, the number of pixels and the conversion coefficient K of the captured object portion in the side view image when it is determined that the train 1 has stopped at a fixed position can be stored as a history. Then, when it is determined that train 1 has newly stopped at the fixed position, it is determined based on the difference between the number of pixels and conversion coefficient K of the current appendage imaged part and the number of pixels and conversion coefficient K of the past appendage imaged part. It is possible to determine whether maintenance is necessary.

具体的には、両者の差異が大きい場合に、メンテナンスが必要と判定する。そして、その場合には、カメラ20の設置位置及び設置向きの調整と、撮像基準位置データ273(つまりマーカ撮像基準位置)の再設定を促すメッセージを表示する等して、メンテナンスが必要である旨の報知を行うことができる。したがって、時間経過等に起因してカメラ20の設置位置や設置向きにズレが発生した場合を自動的に検出することができるので、必要が生じたタイミングにおいて適切にメンテナンスを実施することが可能となる。 Specifically, if the difference between the two is large, it is determined that maintenance is necessary. In that case, a message is displayed prompting the user to adjust the installation position and orientation of the camera 20 and to reset the imaging reference position data 273 (that is, the marker imaging reference position), indicating that maintenance is necessary. can be notified. Therefore, it is possible to automatically detect a shift in the installation position or orientation of the camera 20 due to the passage of time, etc., so maintenance can be performed appropriately when the need arises. Become.

また、メンテナンスとは別にカメラ20の設置位置を変更する必要が生じた場合であっても、メンテナンス時と同様にカメラ20の設置位置及び設置向きの調整を行い、撮像基準位置データ273を設定し直すことで、カメラ20の設置変更にも簡単に対応することができる。 Furthermore, even if it is necessary to change the installation position of the camera 20 apart from maintenance, the installation position and orientation of the camera 20 can be adjusted in the same way as during maintenance, and the imaging reference position data 273 can be set. By repairing it, changes in the installation of the camera 20 can be easily accommodated.

また、本実施形態によれば、単一色部分を有する調整用ボード23を例えばカメラ20に付随して設置し、当該単一色部分を撮影範囲内に含めて撮影することができる。そして、撮影画像に写っている単一色撮像部分の輝度値に基づいて、アナログゲイン・デジタルゲイン・露光時間の各カメラ設定パラメータに係るパラメータ値を自動調整することができる。したがって、それらカメラ設定パラメータに係るメンテナンスを不要とすることができる。 Further, according to the present embodiment, the adjustment board 23 having a single color portion can be installed, for example, in association with the camera 20, and the single color portion can be photographed with the single color portion within the photographing range. Then, based on the brightness value of the single-color imaged portion in the photographed image, parameter values related to each camera setting parameter of analog gain, digital gain, and exposure time can be automatically adjusted. Therefore, maintenance related to these camera setting parameters can be made unnecessary.

例えば、調整用ボード23は、撮影画像の下端部の全域に単一色部分が帯状に写るように、カメラ20に取り付けられる。そして、その単一色撮像部分について求めた輝度値のバラツキ指標値がバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定し、その場合はアナログゲインを自動調整し、或いは露光時間を自動調整することができる。 For example, the adjustment board 23 is attached to the camera 20 so that a single color portion appears in a band shape over the entire lower end of the photographed image. Then, if the luminance dispersion index value obtained for the single-color imaged portion satisfies the dispersion under-dispersion threshold condition, it is determined that the dynamic range has been exceeded, and in that case, the analog gain is automatically adjusted or the exposure time is automatically adjusted. be able to.

また、単一色撮像部分について求めたバラツキ指標値がバラツキ過大閾値条件を満たした場合はフリッカーノイズの発生と判定し、その場合は、露光時間を自動調整することができる。さらに、単一色撮像部分の中心輝度が許容範囲外か否かの中心輝度判定を行い、許容範囲外の場合にデジタルゲインを自動調整することができる。 Furthermore, if the variation index value obtained for the single-color imaging portion satisfies the excessive variation threshold condition, it is determined that flicker noise has occurred, and in that case, the exposure time can be automatically adjusted. Furthermore, it is possible to determine whether or not the center brightness of the single-color imaging portion is outside the allowable range, and to automatically adjust the digital gain if it is outside the allowable range.

したがって、撮影画像の明るさ調整といった処理も含めた撮影用の設定に係る技術として、触車の危険性がなく、メンテナンス性に優れた技術を実現することができる。 Therefore, it is possible to realize a technology related to settings for photographing including processing such as brightness adjustment of a photographed image, which is free from the danger of touch wheels and has excellent maintainability.

なお、上記実施形態では、列車1に設けられる窓13や車両ドア15といった車体付属物を利用して換算係数Kを算出する構成を例示したが、車体構造物以外にも、カメラ20の撮影範囲内となるものであって、サイズが既知のものであれば、換算係数Kの算出に利用が可能である。例えば、ホーム柵3のホームドア31や戸袋33(図4等を参照)を利用することとしてもよい。その場合は、ホームドア31や戸袋33の規定サイズを予め規定サイズデータとして設定しておけばよい。そして、側面視画像からホームドア31や戸袋33の撮像部分を抽出し、上記実施形態と同様の要領で換算係数Kを算出する。 In the above embodiment, the conversion coefficient K is calculated using car body accessories such as the window 13 and the vehicle door 15 provided on the train 1. If the size is within the range and the size is known, it can be used to calculate the conversion coefficient K. For example, the platform door 31 or door pocket 33 (see FIG. 4, etc.) of the platform fence 3 may be used. In that case, the specified size of the platform door 31 and door pocket 33 may be set in advance as specified size data. Then, the imaged portions of the platform door 31 and the door pocket 33 are extracted from the side view image, and the conversion coefficient K is calculated in the same manner as in the above embodiment.

また、上記実施形態では、列車1に設けられた基準マーカ17を列車1の所定部位とし、列車1が定位置に停止しているか否かの判定に用いることとしたが、車体の特定物(例えばアンテナや乗務員扉等)を所定部位とすることもできる。その場合は、事前に定位置に列車1が停止しているときの側面視画像から所定部位とする特定物を抽出し、その側面視画像中の位置を撮像基準位置として設定しておく。そして、側面視画像中に写っている特定物の当該側面視画像中の位置(撮像位置)を撮像基準位置と比較することで、定位置に対する列車1の相対位置を判定する。 Further, in the above embodiment, the reference marker 17 provided on the train 1 is used as a predetermined part of the train 1, and is used to determine whether the train 1 is stopped at a fixed position. For example, an antenna, a passenger door, etc.) can also be used as a predetermined part. In that case, a specific object to be used as a predetermined region is extracted in advance from a side view image when the train 1 is stopped at a fixed position, and the position in the side view image is set as an imaging reference position. Then, the relative position of the train 1 with respect to the fixed position is determined by comparing the position (imaging position) of the specific object in the side view image with the imaging reference position.

1 列車、11 先頭車両、13 窓、15 車両ドア、17 基準マーカ、2 列車位置判定装置、20 カメラ、21 カメラ設定パラメータ、23 調整用ボード、200 処理装置、240 制御部、241 自動調整部、242 画像処理部、243 列車位置判定部、244 撮像物抽出部、245 位置ズレ画素数算出部、246 相対距離算出部、247 メンテナンス要否判定部、250 記憶部、251 自動調整プログラム、253 停止位置判定プログラム、255 進入側撮影画像データ、260 パラメータ設定データ、261 初期値、263 現在値、271 許容範囲データ、273 撮像基準位置データ、275 規定サイズデータ、277 メンテナンス用履歴データ、3 ホーム柵、31 ホームドア、33 戸袋、300 駆動制御部、4 プラットホーム、5 側面視画像、6 撮影画像 1 train, 11 lead vehicle, 13 window, 15 vehicle door, 17 reference marker, 2 train position determination device, 20 camera, 21 camera setting parameter, 23 adjustment board, 200 processing device, 240 control unit, 241 automatic adjustment unit, 242 image processing section, 243 train position determination section, 244 imaged object extraction section, 245 positional deviation pixel number calculation section, 246 relative distance calculation section, 247 maintenance necessity determination section, 250 storage section, 251 automatic adjustment program, 253 stop position Judgment program, 255 Approach side photographed image data, 260 Parameter setting data, 261 Initial value, 263 Current value, 271 Tolerance range data, 273 Imaging reference position data, 275 Regulation size data, 277 Maintenance history data, 3 Platform fence, 31 platform door, 33 door pocket, 300 drive control section, 4 platform, 5 side view image, 6 photographed image

Claims (7)

駅の定位置に停止する列車を側方から撮影するために当該駅に設置されたカメラが撮影した撮影画像について、歪み補正を含む当該列車を側面視した側面視画像に変換する画像処理を行う画像処理手段と、
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理手段によって画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)とを比較して前記定位置に対する列車の相対位置を判定する判定手段と、
を備え、前記画像処理手段による画像処理と、前記判定手段による前記相対位置の判定とを繰り返し実行し、
前記判定手段は、前記繰り返しの実行において、
前記側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定することと、
前記特定された撮像部分の画素数と前記所定サイズとを換算する換算係数を算出することと、
前記換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出することと
を実行し、前記相対距離が変化しなくなった時の相対距離である停止時相対距離を用いて、前記定位置に列車が停止したか否かを判定する、
列車位置判定装置。
Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. image processing means;
The position where a predetermined part of the train appears in the side view image when the train stopped at the fixed position is photographed (hereinafter referred to as "imaging reference position"), and the side view image processed by the image processing means. determining means for determining the relative position of the train with respect to the fixed position by comparing the position of the predetermined part shown in the image in the side view image (hereinafter referred to as "imaging position");
repeatedly performing image processing by the image processing means and determination of the relative position by the determination means,
In the repeated execution , the determination means:
identifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is shown in the side view image;
calculating a conversion coefficient for converting the number of pixels of the identified imaging portion and the predetermined size;
Calculating the relative distance of the train with respect to the fixed position from the number of positional deviation pixels between the imaging reference position and the imaging position based on the conversion coefficient ;
and determining whether the train has stopped at the fixed position using the relative distance at stop, which is the relative distance when the relative distance stops changing;
Train position determination device.
前記車体付属物は、前記列車の窓又は扉である、
請求項1に記載の列車位置判定装置。
The vehicle body accessory is a window or a door of the train,
The train position determining device according to claim 1.
前記撮像基準位置を記憶する記憶手段と、
第1の列車について前記相対距離が変化しなくなった時に前記特定された撮像部分に係る第1の画素数と、第2の列車について前記相対距離が変化しなくなった時に前記特定された撮像部分に係る第2の画素数との差異に基づいて、前記記憶手段に記憶された前記撮像基準位置のデータの修正、又は、前記カメラの設置位置及び設置向きの点検、に係るメンテナンスの要否を判定するメンテナンス要否判定手段と、
を更に備えた請求項1又は2に記載の列車位置判定装置。
storage means for storing the imaging reference position;
a first number of pixels for the identified imaging portion when the relative distance for the first train stops changing; and a first number of pixels for the identified imaging portion when the relative distance for the second train stops changing; Based on the difference from the second number of pixels, it is determined whether or not maintenance is necessary for correcting the data of the imaging reference position stored in the storage means or inspecting the installation position and orientation of the camera. means for determining whether maintenance is necessary;
The train position determination device according to claim 1 or 2, further comprising:
駅の定位置に停止する列車を側方から撮影するために当該駅に設置されたカメラが撮影した撮影画像について、歪み補正を含む当該列車を側面視した側面視画像に変換する画像処理を行う画像処理手段と、
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理手段によって画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)とを比較して前記定位置に対する列車の相対位置を判定する判定手段と、
を備え、
前記判定手段は、
前記画像処理手段によって画像処理された側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定する特定手段と、
前記特定手段により特定された撮像部分の画素数と前記所定サイズとの換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出する相対距離算出手段と、
を有
一部又は全部が単一色の所定物(以下、単一色の部分を「単一色部分」という)が前記駅に設置され、或いは、前記カメラに付随して設置されており、
前記カメラは、所定のカメラ設定パラメータに基づいて撮影を行い、
前記所定物と前記カメラとの相対的な設置位置及び設置向きは、前記単一色部分が、前記カメラの撮影画像に写るように定められており、
前記撮影画像に写っている前記単一色部分について、輝度値のバラツキを示すバラツキ指標値を算出し、当該バラツキ指標値が、バラツキが少ないことを示す所定のバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定してゲイン又は露光時間に係る前記カメラ設定パラメータのパラメータ値を自動調整するカメラ設定自動調整手段、
を更に備えた列車位置判定装置。
Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. image processing means;
The position where a predetermined part of the train appears in the side view image when the train stopped at the fixed position is photographed (hereinafter referred to as "imaging reference position"), and the side view image processed by the image processing means. determining means for determining the relative position of the train with respect to the fixed position by comparing the position of the predetermined part shown in the image in the side view image (hereinafter referred to as "imaging position");
Equipped with
The determining means is
identification means for identifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is shown in the side view image processed by the image processing means;
Based on a conversion coefficient between the number of pixels of the imaging portion specified by the specifying means and the predetermined size, the relative distance of the train to the fixed position is calculated from the number of pixels misaligned between the imaging reference position and the imaging position. relative distance calculation means for
has
A predetermined object whose part or all is a single color (hereinafter, a single color part is referred to as a "single color part") is installed at the station, or is installed accompanying the camera,
The camera performs photography based on predetermined camera setting parameters;
The relative installation position and installation direction of the predetermined object and the camera are determined so that the single color portion is captured in an image taken by the camera,
A variation index value indicating the variation in luminance value is calculated for the single color portion in the photographed image, and if the variation index value satisfies a predetermined variation threshold condition indicating that the variation is small, dynamic detection is performed. camera setting automatic adjustment means that determines that the range is over and automatically adjusts the parameter value of the camera setting parameter related to gain or exposure time;
A train position determination device further comprising :
前記カメラ設定自動調整手段は、前記撮影画像に基づく所定のフリッカーノイズ発生条件を満たした場合に、露光時間に係るパラメータ値の自動調整を行う、
請求項に記載の列車位置判定装置。
The camera setting automatic adjustment means automatically adjusts a parameter value related to exposure time when a predetermined flicker noise generation condition based on the photographed image is satisfied.
The train position determination device according to claim 4 .
駅の定位置に停止する列車を側方から撮影するために当該駅に設置されたカメラが撮影した撮影画像について、歪み補正を含む当該列車を側面視した側面視画像に変換する画像処理を行う画像処理ステップと、
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)と、を比較して前記定位置に対する列車の相対位置を判定する判定ステップと、
を含み、前記画像処理ステップと前記判定ステップとが繰り返し実行され、
前記判定ステップは、前記繰り返しの実行において、
前記側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定することと、
前記特定された撮像部分の画素数と前記所定サイズとを換算する換算係数を算出することと、
前記換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出することと、
を実行し、前記相対距離が変化しなくなった時の相対距離である停止時相対距離を用いて、前記定位置に列車が停止したか否かを判定することを含む、
列車位置判定方法。
Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. an image processing step;
When a train stopped at the fixed position is photographed, the position where a predetermined part of the train appears in the side view image (hereinafter referred to as "imaging reference position"), and the position where the predetermined part of the train appears in the image processed side view image are determined. a determination step of determining the relative position of the train with respect to the predetermined position by comparing the position of the predetermined part in the side view image (hereinafter referred to as "imaging position");
The image processing step and the determination step are repeatedly executed,
The determination step includes, in the repeated execution,
identifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is shown in the side view image;
calculating a conversion coefficient for converting the number of pixels of the identified imaging portion and the predetermined size;
Calculating the relative distance of the train with respect to the fixed position from the number of positional deviation pixels between the imaging reference position and the imaging position based on the conversion coefficient ;
and determining whether the train has stopped at the fixed position using a relative distance at stop, which is a relative distance when the relative distance stops changing.
Train position determination method.
駅の定位置に停止する列車を側方から撮影するために当該駅に設置されたカメラが撮影した撮影画像について、歪み補正を含む当該列車を側面視した側面視画像に変換する画像処理を行う画像処理ステップと、
前記定位置に停止している列車を撮影した場合に当該列車の所定部位が前記側面視画像中に写る位置(以下「撮像基準位置」という)と、前記画像処理された側面視画像中に写っている前記所定部位の当該側面視画像中の位置(以下「撮像位置」という)と、を比較して前記定位置に対する列車の相対位置を判定する判定ステップと、
を含み、
前記判定ステップは、
前記画像処理された側面視画像中に写っている、当該列車の所定位置に設けられた所定サイズの車体付属物の撮像部分を特定することと、
前記特定された撮像部分の画素数と前記所定サイズとの換算係数に基づいて、前記撮像基準位置と前記撮像位置との位置ズレ画素数から、前記定位置に対する列車の相対距離を算出することと、
を含
一部又は全部が単一色の所定物(以下、単一色の部分を「単一色部分」という)が前記駅に設置され、或いは、前記カメラに付随して設置されており、
前記カメラは、所定のカメラ設定パラメータに基づいて撮影を行い、
前記所定物と前記カメラとの相対的な設置位置及び設置向きは、前記単一色部分が、前記カメラの撮影画像に写るように定められており、
前記撮影画像に写っている前記単一色部分について、輝度値のバラツキを示すバラツキ指標値を算出し、当該バラツキ指標値が、バラツキが少ないことを示す所定のバラツキ過小閾値条件を満たした場合にダイナミックレンジオーバーと判定してゲイン又は露光時間に係る前記カメラ設定パラメータのパラメータ値を自動調整すること、
を更に含む列車位置判定方法。
Image processing is performed to convert images taken by a camera installed at a station to a side-view image of the train, including distortion correction, to take a side view of a train stopped at a fixed position at the station. an image processing step;
When a train stopped at the fixed position is photographed, the position where a predetermined part of the train appears in the side view image (hereinafter referred to as "imaging reference position"), and the position where the predetermined part of the train appears in the image processed side view image are determined. a determination step of determining the relative position of the train with respect to the predetermined position by comparing the position of the predetermined part in the side view image (hereinafter referred to as "imaging position");
including;
The determination step includes:
identifying an imaged portion of a vehicle body appendage of a predetermined size provided at a predetermined position of the train, which is shown in the image-processed side view image;
Calculating the relative distance of the train to the fixed position from the number of pixels misaligned between the imaging reference position and the imaging position based on a conversion coefficient between the number of pixels of the identified imaging portion and the predetermined size; ,
including ;
A predetermined object whose part or all is a single color (hereinafter, a single color part is referred to as a "single color part") is installed at the station, or is installed accompanying the camera,
The camera performs photography based on predetermined camera setting parameters;
The relative installation position and installation direction of the predetermined object and the camera are determined so that the single color portion is captured in an image taken by the camera,
A variation index value indicating the variation in luminance value is calculated for the single color portion in the photographed image, and if the variation index value satisfies a predetermined variation threshold condition indicating that the variation is small, dynamic detection is performed. determining that the range is over and automatically adjusting parameter values of the camera setting parameters related to gain or exposure time;
A train position determination method further comprising :
JP2019194459A 2019-10-25 2019-10-25 Train position determination device and train position determination method Active JP7340413B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019194459A JP7340413B2 (en) 2019-10-25 2019-10-25 Train position determination device and train position determination method
PCT/JP2020/039349 WO2021079865A1 (en) 2019-10-25 2020-10-20 Train position determination device and train position determination method
TW109136654A TWI834003B (en) 2019-10-25 2020-10-22 Train position determination device and train position determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019194459A JP7340413B2 (en) 2019-10-25 2019-10-25 Train position determination device and train position determination method

Publications (2)

Publication Number Publication Date
JP2021066380A JP2021066380A (en) 2021-04-30
JP7340413B2 true JP7340413B2 (en) 2023-09-07

Family

ID=75620692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019194459A Active JP7340413B2 (en) 2019-10-25 2019-10-25 Train position determination device and train position determination method

Country Status (3)

Country Link
JP (1) JP7340413B2 (en)
TW (1) TWI834003B (en)
WO (1) WO2021079865A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114715218B (en) * 2022-05-17 2022-09-09 北京全路通信信号研究设计院集团有限公司 Fiber grating sensor axis counting method, system and equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004136754A (en) 2002-10-17 2004-05-13 Hitachi Ltd Regular positional stop support device of train
JP2010057141A (en) 2008-08-29 2010-03-11 Sharp Corp Calibration device, calibration method, calibration program, computer-readable recording medium, sensor and display device
JP2013011513A (en) 2011-06-29 2013-01-17 Kobe Steel Ltd Method and device for detection stop position of travelling article
JP2014054898A (en) 2012-09-12 2014-03-27 Saxa Inc Monitoring system
JP2018086872A (en) 2016-11-28 2018-06-07 株式会社京三製作所 Train information discrimination device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004136754A (en) 2002-10-17 2004-05-13 Hitachi Ltd Regular positional stop support device of train
JP2010057141A (en) 2008-08-29 2010-03-11 Sharp Corp Calibration device, calibration method, calibration program, computer-readable recording medium, sensor and display device
JP2013011513A (en) 2011-06-29 2013-01-17 Kobe Steel Ltd Method and device for detection stop position of travelling article
JP2014054898A (en) 2012-09-12 2014-03-27 Saxa Inc Monitoring system
JP2018086872A (en) 2016-11-28 2018-06-07 株式会社京三製作所 Train information discrimination device

Also Published As

Publication number Publication date
TW202137140A (en) 2021-10-01
WO2021079865A1 (en) 2021-04-29
JP2021066380A (en) 2021-04-30
TWI834003B (en) 2024-03-01

Similar Documents

Publication Publication Date Title
KR101640875B1 (en) Object detection device
US7940955B2 (en) Vision-based method of determining cargo status by boundary detection
JP5435307B2 (en) In-vehicle camera device
CN103297789B (en) White balance correcting method and white balance correcting device
JP2013005234A5 (en)
EP1531356A1 (en) Exposure compensation method and system employing photometric matrix and flash
JP2009017474A (en) Image processing unit and image processing method
CN102495511A (en) Automatic exposure regulating method for camera
JP7340413B2 (en) Train position determination device and train position determination method
JP5575567B2 (en) Imaging signal processing circuit and imaging signal processing method
CN111225123B (en) Method for reducing intensity variations in a stream of video images depicting a scene
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
JP6393091B2 (en) Imaging apparatus, control method therefor, program, and storage medium
KR101615381B1 (en) Image acquisition method and digital camera system
CN107786815B (en) Active night vision self-adaptive exposure method and system and vehicle
JP2009124309A (en) Image device
JP7156224B2 (en) Attached matter detection device and attached matter detection method
JP5587083B2 (en) Imaging apparatus and control method thereof
JP2014216832A (en) Imaging device
JP5520863B2 (en) Image signal processing device
JP2010204180A (en) Electronic camera
JP4231599B2 (en) Imaging device
JP4973879B2 (en) Camera optical axis adjustment method
JP6314667B2 (en) Imaging apparatus, image correction program, and image processing apparatus
CN113452923B (en) Processing method and system for adjusting image according to environmental conditions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230828

R150 Certificate of patent or registration of utility model

Ref document number: 7340413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150