WO2025263103A1 - 障害物検知システム - Google Patents

障害物検知システム

Info

Publication number
WO2025263103A1
WO2025263103A1 PCT/JP2025/015249 JP2025015249W WO2025263103A1 WO 2025263103 A1 WO2025263103 A1 WO 2025263103A1 JP 2025015249 W JP2025015249 W JP 2025015249W WO 2025263103 A1 WO2025263103 A1 WO 2025263103A1
Authority
WO
WIPO (PCT)
Prior art keywords
track
roi
region
interest
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/015249
Other languages
English (en)
French (fr)
Inventor
篤史 小田
史哲 宇梶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of WO2025263103A1 publication Critical patent/WO2025263103A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present invention relates to an obstacle detection system installed in a rail transportation system that travels on a fixed track.
  • General object recognition technology has difficulty detecting objects with a small number of pixels in the image. Due to the computational cost constraints of real-time processing, the input image size for general object recognition technology is limited to a certain size, such as 608 x 608 or 416 x 416. Therefore, even if a high-resolution image is captured, it will be reduced in size when input into general object recognition technology.
  • the image When the image is reduced, it becomes difficult to detect objects with a small number of pixels, such as distant obstacles.
  • the ROI Region of Interest
  • one possible solution is to set a specific area within the image as the ROI (Region of Interest) and process only the ROI.
  • the extracted ROI is enlarged or reduced to the input image size of 608 x 608, 416 x 416, etc.
  • the area outside the ROI since the area outside the ROI is not processed, it is necessary to select the coordinates and size of the ROI appropriately to achieve the goal of obstacle detection.
  • Patent Document 1 discloses the following technology with the aim of providing a system for detecting objects in images quickly and accurately: "In the structure gauge obstacle detection system 10, the auxiliary storage device 113 includes an image acquisition unit 101 that acquires images captured from a moving object moving on a track; a track detection unit 103 that detects the track in the image; an ROI processing unit 106 that determines the track width at a reference ordinate value selected in the image, determines the size of a region of interest in the image based on the track width and a coefficient, and determines the position coordinates of the region of interest in the image based on the selected ordinate value and the detected track; and an obstacle detection unit 107 that performs object detection processing in the region of interest at the determined position coordinates.”
  • An obstacle detection system detects obstacles on the track and outputs a brake operation request to avoid collisions. Therefore, the shorter the processing time required for obstacle detection, the more likely it is that the running speed will be improved to avoid collisions with obstacles. As a result, the time required to travel between stations can be reduced, achieving both safety and convenience.
  • the technology described in Patent Document 1 selects an ROI based on track information, obstacle detection through image processing cannot begin until track detection processing, which identifies the track position on the image, is complete. It is generally known that track detection processing through image processing imposes a high computational load. This poses the issue of extending the time required for obstacle detection processing through image processing.
  • the present invention aims to reduce the time required for obstacle detection processing using image processing in an obstacle detection system installed in a rail transportation system, while selecting an appropriate ROI to improve obstacle detection performance.
  • one representative obstacle detection system of the present invention is an obstacle detection system that includes a track detection unit that detects track information from data from external sensors that recognize the environment around the train, an ROI processing unit that extracts a region of interest to be processed for object detection from the track information, and an object detection unit that detects objects.
  • the system also includes a track information recording unit that records the track information detected by the track detection unit, and the ROI processing unit changes the track information used to extract the region of interest based on information on either the size of the region of interest or the shape of the track ahead of the train.
  • an obstacle detection system installed in a rail transportation system, it is possible to select an appropriate ROI to improve obstacle detection performance while reducing the time required for obstacle detection processing using image processing.
  • FIG. 1 is a diagram showing the configuration of an obstacle detection system according to a first embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating an example of an input image.
  • FIG. 3 is a flowchart showing the processing executed by the ROI processing unit in the first embodiment of the present invention.
  • FIG. 4 is a diagram showing the relationship between an input image from an external sensor and an ROI cut-out image.
  • FIG. 5 is a diagram showing how the track appears for each calculation cycle when a train is running on a curved section.
  • FIG. 6 is a flowchart showing the process executed by the ROI processing unit in the second embodiment of the present invention.
  • FIG. 7 is a diagram showing a schematic diagram of a method for determining whether a section is a straight line section or a curved line section in the second embodiment of the present invention.
  • Example 1 of the present invention The configuration of the obstacle detection system in Example 1 of the present invention will be described with reference to Figures 1 and 2.
  • FIG. 1 shows the configuration of the obstacle detection system.
  • the obstacle detection system consists of an external sensor 110 mounted on a train 100 that can sense the external environment, and an obstacle detection device 120 that can detect obstacles ahead of the train 100.
  • the obstacle detection device 120 consists of a track detection unit 121 that can detect information about the track (track information) on which the train 100 is traveling based on sensor information from the external sensor 110, a track information recording unit 122 that can record the track information detected by the track detection unit 121 in chronological order, an ROI processing unit 123 that can determine an ROI based on the track information from the track detection unit 121 and past track information from the track information recording unit 122 and generate an image in which one or more ROI regions are cut out from an input image, and an object detection unit 124 that can detect objects based on the ROI region cut-out image from the ROI processing unit 123.
  • An object detected by the object detection unit 124 is determined to be an obstacle if its three-dimensional position is near the track detected by the track detection unit 121.
  • the obstacle detection device 120 detects an obstacle near the track, it determines whether or not it is necessary to immediately output a brake operation request based on the current train speed.
  • the obstacle detection device 120 outputs a brake operation request to a safety device (not shown) or the driver (not shown).
  • the external sensor 110 senses the conditions around the train 100 (particularly ahead) and transmits the sensing data to the track detection unit 121 and ROI processing unit 123.
  • the external sensor 110 includes a camera, LIDAR (laser range finder), millimeter-wave radar, etc. Cameras include monocular cameras, stereo cameras, infrared cameras, etc. It is common for multiple sensors to be installed for redundancy.
  • LIDAR laser range finder
  • millimeter-wave radar etc.
  • Cameras include monocular cameras, stereo cameras, infrared cameras, etc. It is common for multiple sensors to be installed for redundancy.
  • the external sensor installed in the leading car on the side facing the direction of travel is used. In this example, a case will be explained in which a camera is used as the external sensor.
  • FIG. 2 is a schematic diagram of an example of an input image.
  • the input image 200 includes a track 210 extending forward from the train 100.
  • the track 210 includes a left rail 211 and a right rail 212, which define the width of the track 210.
  • the upper left corner of the input image 200 is the origin, with the vertical direction being the v coordinate and the horizontal direction being the u coordinate.
  • the track detection unit 121 detects the track along which the train 100 is traveling from the input image.
  • Track detection can be performed using image processing, or the coordinates of the track within the input image can be calculated from GNSS (Global Navigation Satellite System) or map data.
  • GNSS Global Navigation Satellite System
  • long-distance tracks that cannot be detected by a camera can be calculated from GNSS or map data.
  • Specific methods for detecting rails using image processing include searching for rails using brightness gradient information within an image and detecting rails using semantic segmentation using DNN. The present invention is not limited to the method as long as the rails can be detected. Because the track extends from the front of the train 100, it can be easily detected by comparing it with obstacles, etc. Track coordinates indicate, for example, the center line between the left and right rails.
  • the upper left corner of the input image is the origin, and the vertical direction is the v coordinate and the horizontal direction is the u coordinate.
  • the track coordinates indicate the u coordinate and v coordinate of each point on the center line. For example, the v coordinate value increases from top to bottom of the image, and the u coordinate value increases from left to right.
  • the trajectory information recording unit 122 records the trajectory information detected by the trajectory detection unit 121.
  • the trajectory information recording unit 122 transmits the trajectory information detected by the trajectory detection unit 121 one cycle before the current calculation cycle to the ROI processing unit 123.
  • the ROI processing unit 123 generates one or more ROI cropped images, which serve as input images for object detection processing using image processing, from the track information for the current calculation cycle received from the track detection unit 121, the track information for the previous calculation cycle received from the track information recording unit 122, and the input image from the external sensor 110.
  • the generated ROI cropped images are sent to the object detection unit 124.
  • a single ROI region may also be used. For example, if the speed of the train 100 is slow, an ROI region may be defined only for the short distance. The number of ROI regions defined is not important, as it is sufficient to define them according to the region in which you want to detect (focus on) an object.
  • the object detection unit 124 performs object detection using the ROI cropped image received from the ROI processing unit 123.
  • Object detection processing using image processing includes methods such as creating parallax images using a stereo camera and detecting objects in front from the parallax images, and methods using DNN to detect objects within an image.
  • DNN is one of the methods used in machine learning, and detects various objects by extracting and learning the features of the objects. Methods other than those described above can also be used for object detection processing using image processing, and the present invention does not consider these methods.
  • Example 1 will be described using an example in which there are two ROI regions, one for long distances and one for short distances, but as mentioned above, the number of ROI regions is not important.
  • FIG. 3 is a flowchart showing the processing executed by the ROI processing unit 123.
  • Step 301 An image is received as sensor information from the external sensor 110.
  • the input image is, for example, an image as shown in FIG.
  • Step 302 Determining the ROI region.
  • Figure 4 shows the relationship between the entire input image 400 from the external sensor and the ROI cropped image.
  • the detection target occupies a larger proportion of the image.
  • the deviation (number of pixels) from the center of trajectory is greater at close range than at long range. Therefore, a larger ROI region 401 must be defined to detect close-range objects.
  • the number of pixels is smaller at long range than at close range.
  • step 302 it is determined whether the ROI to be extracted is for a short distance (large ROI) or a long distance (small ROI).
  • Step 303 If the ROI region to be extracted is for a short distance, the process proceeds to step 304; if the ROI region to be extracted is for a long distance, the process proceeds to step 305.
  • Step 304 When the ROI region is for short distances, track information from one cycle before the current calculation cycle is obtained from the track information recording unit 122 as track information used in the ROI determination process.
  • Figure 5 shows how the track appears for each calculation cycle when the train 100 is traveling on a curved section. Compared to track 510 from one cycle before the current calculation cycle, track 520 in the current calculation cycle is observed such that the distant track 520 is further away from the center of the input screen 500 as the train approaches the curved section.
  • ROI 512 is for short distances and ROI 513 is for long distances, selected based on information about track 510 from one cycle before the current calculation cycle.
  • ROI 522 is for short distances and ROI 523 is for long distances, selected based on information about track 520 in the current calculation cycle. There is no significant change in the positions of ROIs 512 and 522 for short distances. On the other hand, the positions of ROIs 513 and 523 for long distances change significantly.
  • the change in the positions (u, v coordinates) of the trajectory centers 511, 521 on the image for each calculation cycle is small, and the ROI area is large, so even if the ROI is determined based on trajectory information from one calculation cycle before the current one, the trajectory will be included in the ROI cropped image. Therefore, even if the ROI cropped image is generated using trajectory information from one calculation cycle before the current one, it is possible to detect objects near the trajectory. Furthermore, because trajectory information from one calculation cycle before the current one is used, there is no need to wait for trajectory information from the trajectory detection unit 121 in the current calculation cycle, and object detection processing using image processing for short distances can begin at the start of the current calculation cycle. This makes it possible to shorten the processing time for object detection processing using image processing. Proceed to step 306.
  • Step 305 If the ROI region is for long distances, the orbit information for the current calculation cycle is obtained from the orbit detection unit 121 as the orbit information to be used in the ROI determination process. As shown in FIG. 5, at long distances, the positions (u, v coordinates) of the orbit centers 511 and 521 on the image change significantly for each calculation cycle. Furthermore, since the ROI region is small, if the ROI is determined based on the orbit information for the previous calculation cycle (long distance ROI 513), the orbit will not be included in the ROI cropped image. Therefore, it is necessary to generate an ROI cropped image corresponding to the ROI (long distance ROI 523) determined using the orbit information for the current calculation cycle. Proceed to step 306.
  • Step 306 The ROI is determined based on the trajectory information.
  • the trajectory information received is the trajectory information from one calculation cycle before the current calculation cycle, and when determining an ROI for a long distance, the trajectory information for the current calculation cycle is received.
  • the v coordinate of the detection start point in the input image (the point on the detected trajectory that is farthest from the vehicle) is determined.
  • the v coordinate of the point farthest from the vehicle in the coordinates of the detected trajectory (coordinates of the trajectory centerline) is set to v1
  • the u coordinate of the trajectory corresponding to v1 is set to u1.
  • a predetermined range in the u and v directions is determined as the long distance ROI.
  • the v coordinate of the bottom edge point on the image in the coordinates of the detected trajectory (coordinates of the trajectory centerline) is set to v2
  • the u coordinate of the trajectory corresponding to v2 is set to u2.
  • a predetermined range in the u and v directions is determined as the short distance ROI.
  • the ROI required for object detection may depend on the required detection accuracy for the object detection model and the clarity of the input image.
  • the clarity of the input image may change depending on the surrounding environment, such as weather or time of day.
  • the ROI may be dynamically changed (made larger or smaller) depending on these conditions.
  • the v coordinate that serves as the reference for the ROI may be defined by a method other than that based on detected trajectory information.
  • the v coordinate may be fixed for short, medium, and long distances.
  • the u coordinate that serves as the reference for the ROI is defined based on trajectory information, and the method of defining the reference v coordinate is not important.
  • Step 307 The input image from the external sensor is extracted based on the determined ROI, and an ROI extracted image is generated.
  • Step 308 It is determined whether ROI cutout images have been generated for all of the target ROI regions. If ROI cutout images have been generated for all ROI regions, the process proceeds to step 309. If there are ROI regions for which ROI cutout images have not been generated, the process proceeds to step 302.
  • Step 309 The generated ROI cut-out image is sent to the object detection unit 124 .
  • trajectory information from one calculation cycle before the current one is used to generate a short-distance ROI cutout image. Therefore, there is no need to wait for trajectory information from the trajectory detection unit 121 in the current calculation cycle, and object detection processing using image processing for short distances can begin at the same time as the current calculation cycle begins. This makes it possible to shorten the processing time for object detection processing using image processing.
  • the number of ROI regions is not important.
  • object detection processing using image processing for short distances and medium distances can be performed in parallel with the trajectory detection processing by the trajectory detection unit 121 in the current calculation cycle, and the processing time for object detection processing using image processing can be shortened even when the number of ROI cut-out images to be processed increases.
  • FIG. 6 is a flowchart showing the processing executed by the ROI processing unit 123.
  • the size of the ROI region was used as a criterion for selecting the trajectory information to be used for determining the ROI, but in this example, an example will be described in which the trajectory information to be used for determining the ROI is selected according to the trajectory shape.
  • Step 601 An image is received as sensor information from the external sensor 110.
  • the input image is, for example, an image as shown in FIG.
  • Step 602 The track shape ahead of the train 100 is determined. The method for determining the track shape will be described later. The process proceeds to step 603.
  • Step 603 If the track shape ahead of the train 100 is straight, the process proceeds to step 604, and if the track shape ahead of the train 100 is curved, the process proceeds to step 605.
  • Step 604 When the track shape ahead of the train is straight, the amount of change in track coordinates on the image over time (particularly in the u-coordinate direction) is small. Therefore, the difference between the ROI determined based on the track position on the image in the current calculation cycle and the ROI determined based on the track position on the image in the calculation cycle one cycle before the current calculation cycle is also small. Therefore, the ROI cropped image, which is cropped based on the ROI determined based on the track position on the image in the calculation cycle one cycle before the current calculation cycle, includes the area where object detection is desired (near the track).
  • the processing time can be further reduced by using track information from the calculation cycle one cycle before the current calculation cycle to determine the ROIs for short and long distances. Using the reduced time to generate new ROI cropped images and perform image processing can also improve object detection performance through image processing.
  • track information from the calculation cycle one cycle before the current calculation cycle is obtained from the track information recording unit 122. Proceed to step 607.
  • Step 605 When the track shape ahead of the train is curved, the amount of change in track coordinates on the image over time (especially in the u-coordinate direction) is large, even for short distances. Therefore, there is a large difference between the ROI determined based on the track position on the image in the current calculation cycle and the ROI determined based on the track position on the image in the calculation cycle one cycle before the current calculation cycle. Even for short distances, the ROI cropped based on the ROI determined based on the track position on the image in the calculation cycle one cycle before the current calculation cycle may not include the area where object detection is desired (near the track).
  • step 605 track information for the current calculation cycle is obtained from the track detection unit 121. Proceed to step 606.
  • Step 606 If the track shape ahead of the train is curved, the image processing-based object detection process takes a long time because track information from the current calculation cycle is used. In curved sections, the influence of trackside structures often makes it impossible to see the track area in the distant vicinity on the image. Therefore, by skipping the long-distance object detection process and using track information from the current calculation cycle for the short- and medium-distance ROI determination process, it is possible to shorten the image processing-based object detection process while maintaining object detection performance in curved sections. In step 606, an ROI region for object detection processing is selected. Specifically, the long-distance ROI determination process, which is thought to be unable to provide visibility in curved sections, is skipped, and only the short- and medium-distance ROI determination process is performed. Proceed to step 607.
  • Step 607 The ROI is determined based on the ROI area information that was selected as the processing target in step 606 and the trajectory information acquired in steps 604 and 605. The process proceeds to step 608.
  • Step 608 The input image from the external sensor is extracted based on the determined ROI, and an ROI extracted image is generated. The process proceeds to step 609.
  • Step 609 It is determined whether ROI cutout images have been generated for all of the target ROI regions. If ROI cutout images have been generated for all ROI regions, the process proceeds to step 610. If there are ROI regions for which ROI cutout images have not been generated, the process proceeds to step 602.
  • Step 610 The generated ROI cut-out image is sent to the object detection unit 124 .
  • the left diagram in Figure 7(a) shows an example of a straight section.
  • the actual trajectory is represented by a dotted line 700
  • the trajectory detection result detected by image processing is represented by trajectory detection result 710
  • the relationship between the ordinate (v) of trajectory detection result 710 on the image and trajectory center position 720 is expressed by a linear function 730, as shown in the right diagram in Figure 7(a). In such a case, it is determined to be a straight section.
  • the section may be recognized as a curved section. This makes it possible to determine whether the section is straight or curved with a simpler calculation.
  • processing time can be shortened by using trajectory information from the calculation cycle one cycle before the current calculation cycle to determine ROIs for short and long distances in straight sections.
  • the time saved is used to generate a new ROI cropped image and perform image processing, which can also improve object detection performance through image processing.
  • an obstacle detection system installed in a rail transportation system, it is possible to select an appropriate ROI to improve obstacle detection performance, while reducing the time required for obstacle detection processing using image processing.
  • the present invention is not limited to the above-described embodiments and includes various modifications.
  • the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those including all of the described configurations.
  • the above-described configurations, functions, processing units, processing means, etc. may be implemented in hardware, in part or in whole, by designing, for example, an integrated circuit.
  • a processor interprets and executes a program that realizes each function.
  • Information such as programs, tables, and files that realize each function can be stored in memory, a storage device such as a hard disk or SSD (Solid State Drive), or a storage medium such as an IC card, SD card, or DVD.
  • SSD Solid State Drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

軌道輸送システムに搭載された障害物検知システムにおいて、障害物検知性能を向上させるため適切なＲＯＩを選択しつつ、画像処理による障害物検知処理に必要な時間を低減することを目的とする。障害物検知システムは、列車周辺の環境を認識するための外界センサのデータから軌道情報を検出する軌道検出部と、軌道情報から物体検知処理すべき関心領域を切り出すＲＯＩ処理部と、物体を検知する物体検知部と、を備える障害物検知システムであって、軌道検出部が検知した軌道情報を記録する軌道情報記録部を備え、ＲＯＩ処理部は、関心領域の大きさ、または、列車前方の軌道形状のいずれかの情報に基づいて関心領域の切り出しに使用する軌道情報を変更することを特徴とするものである。

Description

障害物検知システム
　本発明は、定められた軌道上を走行する軌道輸送システムに搭載された障害物検知システムに関する。
　軌道上を輸送用車両が走行する軌道輸送システムでは、軌道上に障害物があった場合、操舵による回避が出来ないため、軌道上の障害物を検知することは軌道輸送システムの安全性や運用性を向上させるために重要である。近年、ミリ波レーダー、レーザーレーダー、カメラなど外界センサを用いて軌道上の障害物を検知し、検知した結果を運転士に報知することで運転士の運転を支援する障害物検知支援システムの研究がおこなわれている。外界センサを用いて軌道上の障害物を検知する例としては、カメラと画像処理によって障害物検出検知を行うことが考えられる。画像処理によって物体を認識、検知する技術として、近年深層学習によって急速に精度が高まった一般物体認識技術がある。ただし一般物体認識技術では画像内でのピクセル数が少ない物体の検知精度は低下する傾向がある。
　一般物体認識技術では画像内のピクセル数が少ない物体は検出しづらい。リアルタイム処理を行う上での計算コストの制限により、一般物体認識技術において入力画像サイズは６０８×６０８、４１６×４１６など、一定の大きさに制限される。よって高解像度の画像を撮影しても一般物体認識技術に入力する際には縮小されてしまう。
　縮小されると遠距離の障害物などピクセル数が少ない物体は検出しづらくなる。ピクセル数が少ない物体を検出するためには、画像内の特定領域をＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ：関心領域）として設定し、ＲＯＩのみを処理対象とする対策が考えられる。すなわち、切り出したＲＯＩを６０８×６０８、４１６×４１６などの入力画像サイズに拡大・縮小する。ただしＲＯＩの外側は処理対象から外れるので、障害物検知の目的を達成するためには適切にＲＯＩの座標と大きさを選択する必要がある。
　特許文献１には、高速、高精度に画像内の対象物を検出するシステムを提供することを目的として、以下の技術が開示されている。「建築限界内障害物検出システム１０において、補助記憶装置１１３は、軌道上を移動する移動体から撮像された画像を取得する画像取得部１０１と、軌道を画像において検出する軌道検出部１０３と、画像において選択されている基準縦座標値における軌道の幅を決定し、軌道の幅及び係数に基づいて、画像における関心領域のサイズを決定し、選択された縦座標値及び検出された軌道に基づいて、関心領域の画像における位置座標を決定するＲＯＩ処理部１０６と、決定された位置座標での関心領域において、対象物検出処理を実行する障害物検出部１０７と、を含む。」
特開２０２３－３４９１７号公報
　障害物検知システムでは軌道上の障害物を検知して衝突回避のためのブレーキ操作依頼を出力する。そのため、障害物検知に要する処理時間が短ければ短いほど障害物との衝突を回避できる走行速度を向上させることが可能となる。その結果、駅間の走行にかかる時間を短縮できることになり、安全性と利便性を両立させることができる。しかし、特許文献１に記載の技術は、軌道情報に基づいてＲＯＩを選択するため、画像上の軌道位置を特定する軌道検出処理が完了するまで画像処理による障害物検知を開始できない。一般的に画像処理による軌道検出処理の計算負荷は高いことが知られている。そのため、画像処理による障害物検知処理に必要な時間が伸びてしまうという課題があった。
　本発明は上記課題に対応すべく、軌道輸送システムに搭載された障害物検知システムにおいて、障害物検知性能を向上させるため適切なＲＯＩを選択しつつ、画像処理による障害物検知処理に必要な時間を低減することを目的とする。
　上記課題を解決するために、代表的な本発明の障害物検知システムの一つは、列車周辺の環境を認識するための外界センサのデータから軌道情報を検出する軌道検出部と、軌道情報から物体検知処理すべき関心領域を切り出すＲＯＩ処理部と、物体を検知する物体検知部と、を備える障害物検知システムであって、軌道検出部が検知した軌道情報を記録する軌道情報記録部を備え、ＲＯＩ処理部は、関心領域の大きさ、または、列車前方の軌道形状のいずれかの情報に基づいて関心領域の切り出しに使用する軌道情報を変更することを特徴とするものである。
　本発明によれば、軌道輸送システムに搭載された障害物検知システムにおいて、障害物検知性能を向上させるため適切なＲＯＩを選択しつつ、画像処理による障害物検知処理に必要な時間を低減させることが可能となる。
　上記した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。
図１は、本発明の実施例１における障害物検知システムの構成を示す図である。 図２は、入力画像の例を模式的に示した図である。 図３は、本発明の実施例１におけるＲＯＩ処理部によって実行される処理を示すフローチャートである。 図４は、外界センサからの入力画像と、ＲＯＩ切出し画像の関係を示す図である。 図５は、列車が曲線区間を走行している場合の演算周期ごとの軌道の見え方を示す図である。 図６は、本発明の実施例２におけるＲＯＩ処理部によって実行される処理を示すフローチャートである。 図７は、本発明の実施例２における直線区間、曲線区間の判定方法を模式的に示した図である。
　以下、実施例を図面を用いて説明する。
　図１及び図２を参照して、本発明の実施例１における障害物検知システムの構成について説明する。
　図１は障害物検知システムの構成を示す図である。障害物検知システムは列車１００に搭載された外界の状況をセンシングすることができる外界センサ１１０と、列車１００前方の障害物を検知することができる障害物検知装置１２０からなる。障害物検知装置１２０は、外界センサ１１０からのセンサ情報をもとに列車１００が進行する軌道の情報（軌道情報）を検出することができる軌道検出部１２１、軌道検出部１２１が検出した軌道情報を時系列に記録することができる軌道情報記録部１２２、軌道検出部１２１からの軌道情報と軌道情報記録部１２２からの過去の軌道情報からＲＯＩを決定し、入力画像から一個または複数個のＲＯＩ領域を切り出した画像を生成することができるＲＯＩ処理部１２３、ＲＯＩ処理部１２３からのＲＯＩ領域切り出し画像をもとに物体を検知することができる物体検知部１２４からなる。
　物体検知部１２４によって検知された物体は物体の３次元位置が前記軌道検出部１２１の検出した軌道付近である場合に障害物と判断される。障害物検知装置１２０は軌道付近に障害物を検知した場合、現時点での列車速度に基づいて直ちにブレーキ操作依頼を出力する必要があるか否かを判断する。障害物検知装置１２０は列車前方に障害物があり直ちにブレーキ操作が必要な場合に、保安装置（図示せず）や運転士（図示せず）にブレーキ操作依頼を出力する。
　外界センサ１１０は、列車１００の周囲（特に前方）の状態をセンシングし、センシングデータを軌道検出部１２１、ＲＯＩ処理部１２３に送信する。外界センサ１１０には、カメラ、ＬＩＤＡＲ（レーザーレンジファインダー）、ミリ波レーダーなどがある。カメラは、単眼カメラ、ステレオカメラ、赤外線カメラなどがある。各センサは、冗長化のために複数搭載されることが一般的である。列車１００が進行方向に進む場合は、進行方向側の先頭車両に設置された外界センサが使用される。本実施例では外界センサとしてカメラを使用したケースで説明する。
　図２は入力画像の例を模式的に示した図である。入力画像２００は、列車１００から前方に延びる軌道２１０を含む。軌道２１０は、左側レール２１１と右側レール２１２とを含み、これらが軌道２１０の幅を画定する。入力画像２００画像の左上の角を原点とし、縦方向をｖ座標、横方向をｕ座標とする。
　軌道検出部１２１は、入力画像の中から当該の列車１００が進行する軌道を検出する。軌道の検出は画像処理で行ってもよいし、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）や地図データから入力画像内の軌道の座標を算出してもよい。例えば、カメラでは検出できないような遠距離の軌道をＧＮＳＳや地図データから算出する。画像処理によりレールを検知する方法は、具体的には画像内の輝度勾配情報を用いてレールを探索する方法や、ＤＮＮを用いたセマンテックセグメンテーションを用いてレールを検知する方法などがある。本発明ではレールが検知できればよく、その方法は問わない。軌道は、列車１００の先端から延びているため、障害物等と比較して容易に検出することが可能である。軌道の座標は、例えば、左右レール間の中心線を示す。入力画像の左上の角を原点とし、縦方向をｖ座標、横方向をｕ座標とし軌道の座標は、中心線の各点のｕ座標及びｖ座標を示す。例えば、画像の上から下にｖ座標の値が増加し、左から右にｕ座標の値が増加する。
　軌道情報記録部１２２は軌道検出部１２１が検出した軌道情報を記録する。軌道情報記録部１２２は現在の演算周期の一周期前に軌道検出部１２１が検出した軌道情報をＲＯＩ処理部１２３に送信する。
　ＲＯＩ処理部１２３は軌道検出部１２１から受信した現在の演算周期における軌道情報と、軌道情報記録部１２２から受信した現在の演算周期の一周期前の軌道情報と、外界センサ１１０からの入力画像から、画像処理による物体検知処理の入力画像となるＲＯＩ切出し画像を一個または複数個生成する。生成したＲＯＩ切出し画像を物体検知部１２４に送信する。なお、本実施例では複数個のＲＯＩ領域を定義する例で説明するが、ＲＯＩ領域は１つでもよい。例えば、列車１００の速度が遅い場合、近距離のみＲＯＩ領域を定義することもある。物体を検知したい（注視したい）領域に応じてＲＯＩ領域を定義すればよく、その数は問わない。
　物体検知部１２４はＲＯＩ処理部１２３から受信したＲＯＩ切出し画像を用いて物体検知を行う。画像処理による物体検知処理は、ステレオカメラを用いて視差画像を作成し、視差画像から前方の物体を検知する方法やＤＮＮを使用して画像内の物体を検知する方法などがある。ＤＮＮとは、機械学習に用いられる手段の１つであり、対象物の特徴を抽出して学習することで、様々な対象物を検知する。画像処理による物体検知処理は前述以外の方法でもよく、本発明ではその方法を問わない。
　次に、図３ないし図５を参照して、本発明の実施例１に係るＲＯＩ処理部１２３の処理について説明する。実施例１ではＲＯＩ領域が遠距離向け、近距離向け２つの例で説明するが、前述のようにＲＯＩ領域の数は問わない。
　図３は、ＲＯＩ処理部１２３によって実行される処理を示すフローチャートである。
ステップ３０１：
　外界センサ１１０からセンサ情報として画像を受信する。入力画像は、例えば、図２に示すような画像である。ステップ３０２へ進む。
ステップ３０２：
　ＲＯＩ領域を判定する。図４に外界センサからの入力画像４００の全体と、ＲＯＩ切出し画像の関係を示す。近距離から遠距離まですべての領域で画像処理による物体検知を行うためには、様々な大きさのＲＯＩ領域を定義する必要がある。例えば、近距離の物体を検知したい場合、検知対象が画像内に占める割合が大きくなる。また、実世界での軌道中心からの距離が同じ位置の物体でも、遠距離の場合よりも近距離のほうが軌道中心からのずれ（ｐｉｘｅｌ数）が大きくなる。そのため、近距離の物体を検知するためには大きめのＲＯＩ領域４０１を定義する必要がある。一方、実世界での大きさが同じ物体でも遠距離の場合は近距離の場合よりもピクセル数が少なくなる。このような場合、検知対象付近の領域を切り出し、疑似的な遠望画像を生成する（ピクセル数を増やす）ことで物体検知性能を向上させることが可能となる。そのため遠距離の物体を検知するためには小さめのＲＯＩ領域４０２を定義する必要がある。ステップ３０２では切出そうとしているＲＯＩ領域が近距離向け（ＲＯＩ領域が大きいか）か遠距離向け（ＲＯＩ領域が小さいか）か、を判定する。
ステップ３０３：
　切出そうとしているＲＯＩ領域が近距離向けの場合はステップ３０４へ、切出そうとしているＲＯＩ領域が遠距離向けの場合はステップ３０５へ進む。
ステップ３０４：
　ＲＯＩ領域が近距離向けの場合はＲＯＩ決定処理に使用する軌道情報として軌道情報記録部１２２から現在の演算周期の一周期前の軌道情報を取得する。図５は列車１００が曲線区間を走行している場合の演算周期ごとの軌道の見え方を示している。現在の演算周期の一周期前の軌道５１０に対し、現在の演算周期の軌道５２０は、列車が曲線区間に近づくことによって遠方の軌道５２０がより入力画面５００の中心から外れる方向に観測される。現在の演算周期の一周期前の軌道５１０の情報をもとに選択した近距離向けのＲＯＩが５１２、遠距離向けのＲＯＩが５１３である。現在の演算周期の軌道５２０の情報をもとに選択した近距離向けのＲＯＩが５２２、遠距離向けのＲＯＩが５２３である。近距離向けのＲＯＩ５１２，５２２の位置に大きな変化はない。一方、遠距離向けのＲＯＩ５１３，５２３の位置は大きく変化する。
　このように近距離では演算周期ごとの軌道中心５１１，５２１の画像上の位置（ｕ，ｖ座標）の変化が小さく、ＲＯＩ領域も大きいため現在の演算周期の一周期前の軌道情報をもとにＲＯＩを決定してもＲＯＩ切出し画像に軌道が含まれることとなる。そのため、現在の演算周期の一周期前の軌道情報を使用してＲＯＩ切出し画像を生成しても軌道付近の物体を検知することが可能となる。また、現在の演算周期の一周期前の軌道情報を使用するため、現在の演算周期における軌道検出部１２１からの軌道情報を待つ必要がなく、現在の演算周期開始とともに、近距離向けの画像処理による物体検知処理が開始できる。そのため、画像処理による物体検知処理の処理時間を短縮することが可能となる。ステップ３０６に進む。
　なお、図５では、現在の演算周期の軌道５２０に、近距離向けのＲＯＩ５２２、遠距離向けのＲＯＩ５２３のいずれにも含まれない部分が生じるが、これは、列車が曲線区間に近づくことによって遠距離向けのＲＯＩ５１３，５２３の位置が大きく変化することを誇張して表現したことによるものである。
ステップ３０５：
　ＲＯＩ領域が遠距離向けの場合はＲＯＩ決定処理に使用する軌道情報として軌道検出部１２１から現在の演算周期の軌道情報を取得する。図５に示すように遠距離では演算周期ごとの軌道中心５１１，５２１の画像上の位置（ｕ，ｖ座標）の変化が大きい。また、ＲＯＩ領域も小さいため現在の演算周期の一周期前の軌道情報をもとにＲＯＩを決定（遠距離向けＲＯＩ５１３）してしまうとＲＯＩ切出し画像に軌道が含まれなくなる。そのため、現在の演算周期の軌道情報を使用して決定したＲＯＩ（遠距離向けＲＯＩ５２３）に対応したＲＯＩ切出し画像を生成する必要がある。ステップ３０６に進む。
ステップ３０６：
　軌道情報をもとにＲＯＩを決定する。受信する軌道情報は前述のとおり、近距離向けのＲＯＩ決定を行う場合は現在の演算周期の一周期前の軌道情報を、遠距離向けのＲＯＩ決定を行う場合は現在の演算周期の軌道情報を受信する。ＲＯＩ決定処理では、入力画像における検出開始地点（検出された軌道において、車両から最も遠い地点）のｖ座標を決定する。ｖ座標は、切出し対象のＲＯＩ領域が遠距離向けの場合は検出された軌道の座標（軌道中心線の座標）において、車両から最も遠い地点のｖ座標をｖ１とし、そのｖ１に対応する軌道のｕ座標をｕ１とする。ｕ１，ｖ１を基準とし、ｕ，ｖ方向に所定の範囲を遠距離向けＲＯＩとして決定する。切出し対象のＲＯＩ領域が近距離向けの場合は検出された軌道の座標（軌道中心線の座標）において、画像上の最下辺地点のｖ座標をｖ２とし、そのｖ２に対応する軌道のｕ座標をｕ２とする。ｕ２，ｖ２を基準とし、ｕ，ｖ方向に所定の範囲を近距離向けＲＯＩとして決定する。
　基準となるｕ，ｖ座標から固定の範囲（ｐｉｘｅｌ数）でＲＯＩを決定する例を説明したが、範囲を動的に変更してもよい。例えば、物体検出に必要なＲＯＩは物体検出モデルに対する要求検出精度や入力画像の鮮明度に依存し得る。入力画像の鮮明度は、周囲環境、例えば天候や時間帯により変化し得る。これらの条件に応じてＲＯＩを動的に変化（大きくしたり小さくしたり）させてもよい。また、ＲＯＩの基準となるｖ座標は検出された軌道情報をもとに定義する方法以外で定義してもよい。例えば、近距離用、中距離用、遠距離用でｖ座標を固定的に有していてもよい。本発明ではＲＯＩの基準となるｕ座標が軌道情報に基づいて定義されればよく、基準となるｖ座標の定義方法は問わない。
ステップ３０７：
　決定されたＲＯＩをもとに外界センサからの入力画像を切り出し、ＲＯＩ切出し画像を生成する。ステップ３０８に進む。
ステップ３０８：
　対象とするＲＯＩ領域のすべてについてＲＯＩ切出し画像を生成したかを判定する。すべてのＲＯＩ領域でＲＯＩ切出し画像を生成済みの場合はステップ３０９へ、ＲＯＩ切出し画像を生成していないＲＯＩ領域がある場合はステップ３０２へ進む。
ステップ３０９：
　生成したＲＯＩ切出し画像を物体検知部１２４に送信する。
　本実施例では近距離向けのＲＯＩ切り出し画像の生成に、現在の演算周期の一周期前の軌道情報を使用するため、現在の演算周期における軌道検出部１２１からの軌道情報を待つ必要がなく、現在の演算周期開始とともに、近距離向けの画像処理による物体検知処理が開始できる。そのため、画像処理による物体検知処理の処理時間を短縮することが可能となる。
　本実施例ではＲＯＩ領域が遠距離向け、近距離向け２つの例で説明したが、前述のようにＲＯＩ領域の数は問わない。例えばＲＯＩ領域を３つとし、遠距離向け、中距離向け、近距離向けとしてもよい。この場合、現在の演算周期と現在の演算周期の一周期前の演算周期における画像上の軌道位置のずれが比較的小さいと考えられる近距離向けと中距離向けのＲＯＩ決定処理に使用する軌道情報として軌道情報記録部１２２から現在の演算周期の一周期前の軌道情報を使用するようにするのが良い。このようにすることで、現在の演算周期における軌道検出部１２１の軌道検出処理と並行して近距離向けと中距離向けの画像処理による物体検知処理が実行可能となり、処理すべきＲＯＩ切出し画像が増えた場合においても、画像処理による物体検知処理の処理時間を短縮することが可能となる。
　図６を参照して、本発明の実施例２に係るＲＯＩ処理部１２３の処理について説明する。図６は、ＲＯＩ処理部１２３によって実行される処理を示すフローチャートである。実施例１では、ＲＯＩ領域の大きさを判定基準として、ＲＯＩ決定に使用する軌道情報を選択していたが、本実施例では、軌道形状に応じてＲＯＩ決定に使用する軌道情報を選択する例を説明する。
ステップ６０１：
　外界センサ１１０からセンサ情報として画像を受信する。入力画像は、例えば、図２に示すような画像である。ステップ６０２へ進む。
ステップ６０２：
　列車１００前方の軌道形状を判定する。軌道形状の判定方法は後述する。ステップ６０３へ進む。
ステップ６０３：
　列車１００前方の軌道形状が直線の場合はステップ６０４へ、列車１００前方の軌道形状が曲線の場合はステップ６０５へ進む。
ステップ６０４：
　列車前方の軌道形状が直線である場合、時間経過に伴う画像上の軌道座標の変化量（特にｕ座標方向）のずれが小さい。そのため、現在の演算周期における画像上の軌道位置に基づいて決定されたＲＯＩと、現在の演算周期の一周期前の演算周期における画像上の軌道位置に基づいて決定されたＲＯＩとの変化も小さくなり、現在の演算周期の一周期前の演算周期における画像上の軌道位置に基づいて決定されたＲＯＩに基づいて切出したＲＯＩ切出し画像に物体を検知したい領域（軌道付近）が含まれることとなる。直線区間では近距離向け、遠距離向けのＲＯＩ決定に現在の演算周期の一周期前の演算周期における軌道情報を用いることでさらに処理時間を短縮することが可能となる。短縮された時間を使用して新たなＲＯＩ切出し画像を生成し、画像処理を行うことで画像処理による物体検知性能向上も図ることが可能となる。ステップ６０４では軌道情報記録部１２２から現在の演算周期の一周期前の軌道情報を取得する。ステップ６０７へ進む。
ステップ６０５：
　列車前方の軌道形状が曲線である場合、時間経過に伴う画像上の軌道座標の変化量（特にｕ座標方向）は近距離であってもずれが大きい。そのため、現在の演算周期における画像上の軌道位置に基づいて決定されたＲＯＩと、現在の演算周期の一周期前の演算周期における画像上の軌道位置に基づいて決定されたＲＯＩとの変化が大きくなり、近距離向けであっても現在の演算周期の一周期前の演算周期における画像上の軌道位置に基づいて決定されたＲＯＩに基づいて切出したＲＯＩ切出し画像に物体を検知したい領域（軌道付近）が含まれない可能性がある。そのため、曲線区間では近距離、中距離向けのＲＯＩ決定処理に現在の演算周期における軌道情報を用いることで確実にＲＯＩ切出し画像に物体を検知したい領域（軌道付近）を含ませることが可能となる。ステップ６０５では軌道検出部１２１から現在の演算周期の軌道情報を取得する。ステップ６０６へ進む。
ステップ６０６：
　列車前方の軌道形状が曲線である場合、現在の演算周期における軌道情報を用いるため画像処理による物体検知処理の処理時間が長くなってしまう。曲線区間では沿線構造物の影響で、そもそも遠距離の軌道付近が画像上で確認できないことが多い。そのため、遠距離向けの物体検知処理をスキップし、近距離、中距離向けのＲＯＩ決定処理に現在の演算周期における軌道情報を用いることで、曲線区間における物体検知性能を維持したまま、画像処理による物体検知処理の処理時間を短縮することが可能となる。ステップ６０６では物体検知処理を実施するＲＯＩ領域を選択する。具体的には曲線区間での見通しが得られないと考えられる遠距離向けのＲＯＩ決定処理をスキップし、近距離向け・中距離向けのＲＯＩ決定処理だけを行うことを決定する。ステップ６０７へ進む。
ステップ６０７：
　ステップ６０６で処理対象とされたＲＯＩ領域情報と、ステップ６０４、６０５で取得した軌道情報をもとにＲＯＩを決定する。ステップ６０８へ進む。
ステップ６０８：
　決定されたＲＯＩをもとに外界センサからの入力画像を切り出し、ＲＯＩ切出し画像を生成する。ステップ６０９に進む。
ステップ６０９：
　対象とするＲＯＩ領域のすべてについてＲＯＩ切出し画像を生成したかを判定する。すべてのＲＯＩ領域でＲＯＩ切出し画像を生成済みの場合はステップ６１０へ、ＲＯＩ切出し画像を生成していないＲＯＩ領域がある場合はステップ６０２へ進む。
ステップ６１０：
　生成したＲＯＩ切出し画像を物体検知部１２４に送信する。
　次にステップ６０２における直線区間、曲線区間の判定方法を図７を参照して説明する。
　図７（ａ）左図は直線部における例を示している。図７（ａ）左図において実際の軌道を点線７００とし、画像処理により検出された軌道の検知結果を軌道検知結果７１０、軌道検知結果７１０の左右の軌道座標（ｕ）の軌道中心位置７２０とする。このとき、画像上の軌道検知結果７１０の縦座標（ｖ）と軌道中心位置７２０の関係は図７（ａ）右図のように一次関数７３０で表現される。このような場合は直線区間と判定する。
　次に曲線部が存在する区間の例を説明する。図７（ｂ）左図において実際の軌道を点線７０１とし、画像処理により検出された軌道の検知結果を軌道検知結果７１１、軌道検知結果７１１の左右の軌道座標（ｕ）の軌道中心位置７２１とする。このとき、画像上の軌道検知結果７１１の縦座標（ｖ）と軌道中心位置７２１の関係は図７（ｂ）右図のように曲線（２次以上の関数）７４１で表現される。
　軌道検知結果７１１の縦座標（ｖ）と軌道中心位置７２１の関係が図７（ｂ）右図のように曲線（２次以上の関数）７４１となる場合は、曲線区間と判定する。
　軌道検知結果７１１の縦座標（ｖ）と軌道中心位置７２１の関係が２次以上の関数となる以外に、軌道検知結果７１１のうち縦座標（ｖ）の値が最も小さい（軌道検知結果の最遠部）地点の軌道中心位置である最遠部軌道中心位置７５１と、直線部における軌道中心位置７３０のうち、最遠部軌道中心位置７５１と同じｖ座標である直線部軌道中心位置７６１との差分が、所定の閾値以上であれば曲線区間と認識するようにしてもよい。このようにすることでより簡易な計算で直線区間か曲線区間かを判定できるようになる。
　本実施例では直線区間での近距離向け、遠距離向けのＲＯＩ決定に現在の演算周期の一周期前の演算周期における軌道情報を用いることで処理時間を短縮することが可能となる。短縮された時間を使用して新たなＲＯＩ切出し画像を生成し、画像処理を行うことで画像処理による物体検知性能向上も図ることが可能となる。
　また、曲線区間での遠距離向けの物体検知処理をスキップし、近距離、中距離向けのＲＯＩ決定処理に現在の演算周期における軌道情報を用いることで、曲線区間における物体検知性能を維持したまま、画像処理による物体検知処理の処理時間を短縮することが可能となる。
　以上、述べた実施例によれば、軌道輸送システムに搭載された障害物検知システムにおいて、障害物検知性能を向上させるため適切なＲＯＩを選択しつつ、画像処理による障害物検知処理に必要な時間を低減することが可能となる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　１００：列車、１１０：外界センサ、１２０：実施例１における障害物検知装置、１２１：実施例１における軌道検出部、１２２：実施例１における軌道情報記録部、１２３：実施例１におけるＲＯＩ処理部、１２４：実施例１における物体検知部。

Claims (10)

  1. 　列車周辺の環境を認識するための外界センサのデータから軌道情報を検出する軌道検出部と、
    　軌道情報から物体検知処理すべき関心領域を切り出すＲＯＩ処理部と、
    　物体を検知する物体検知部と、
    　を備える障害物検知システムであって、
    　前記軌道検出部が検出した軌道情報を記録する軌道情報記録部を備え、
    　前記ＲＯＩ処理部は、関心領域の大きさ、または、列車前方の軌道形状のいずれかの情報に基づいて関心領域の切り出しに使用する軌道情報を変更することを特徴とする障害物検知システム。
  2. 　請求項１に記載の障害物検知システムであって、
    　前記ＲＯＩ処理部は、関心領域が大きい場合は前記軌道情報記録部からの軌道情報から関心領域を切り出し、関心領域が小さい場合は前記軌道検出部からの軌道情報から関心領域を切り出すことを特徴とする障害物検知システム。
  3. 　請求項１に記載の障害物検知システムであって、
    　前記ＲＯＩ処理部は、列車前方の軌道形状が直線の場合は前記軌道情報記録部からの軌道情報から関心領域を切り出し、列車前方の軌道形状が曲線の場合は前記軌道検出部からの軌道情報から関心領域を切り出すことを特徴とする障害物検知システム。
  4. 　請求項３に記載の障害物検知システムであって、
    　前記ＲＯＩ処理部は、列車前方の軌道形状が曲線の場合は最も小さい関心領域を切り出す処理を実施しないことを特徴とする障害物検知システム。
  5. 　請求項１ないし請求項４のいずれか一項に記載の障害物検知システムであって、
    　外界センサを備える障害物検知システム。
  6. 　請求項１ないし請求項５のいずれか一項に記載の障害物検知システムであって、
    　外界センサがカメラである障害物検知システム。
  7. 　軌道検出部が、列車周辺の環境を認識するための外界センサのデータから軌道情報を検出し、
    　ＲＯＩ処理部が、軌道情報から物体検知処理すべき関心領域を切り出し、
    　物体検知部が、物体を検知する、
    　障害物検知方法であって、
    　軌道情報記録部が、前記軌道検出部が検出した軌道情報を記録し、
    　前記ＲＯＩ処理部が、関心領域の大きさ、または、列車前方の軌道形状のいずれかの情報に基づいて関心領域の切り出しに使用する軌道情報を変更することを特徴とする障害物検知方法。
  8. 　請求項７に記載の障害物検知方法であって、
    　前記ＲＯＩ処理部が、関心領域が大きい場合は前記軌道情報記録部からの軌道情報から関心領域を切り出し、関心領域が小さい場合は前記軌道検出部からの軌道情報から関心領域を切り出すことを特徴とする障害物検知方法。
  9. 　請求項７に記載の障害物検知方法であって、
    　前記ＲＯＩ処理部が、列車前方の軌道形状が直線の場合は前記軌道情報記録部からの軌道情報から関心領域を切り出し、列車前方の軌道形状が曲線の場合は前記軌道検出部からの軌道情報から関心領域を切り出すことを特徴とする障害物検知方法。
  10. 　請求項９に記載の障害物検知方法であって、
    　前記ＲＯＩ処理部が、列車前方の軌道形状が曲線の場合は最も小さい関心領域を切り出す処理を実施しないことを特徴とする障害物検知方法。
PCT/JP2025/015249 2024-06-21 2025-04-18 障害物検知システム Pending WO2025263103A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024100758A JP2026002633A (ja) 2024-06-21 2024-06-21 障害物検知システム
JP2024-100758 2024-06-21

Publications (1)

Publication Number Publication Date
WO2025263103A1 true WO2025263103A1 (ja) 2025-12-26

Family

ID=98212709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/015249 Pending WO2025263103A1 (ja) 2024-06-21 2025-04-18 障害物検知システム

Country Status (2)

Country Link
JP (1) JP2026002633A (ja)
WO (1) WO2025263103A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016088183A (ja) * 2014-10-31 2016-05-23 株式会社Ihi 支障物検知システムおよび鉄道車両
JP2022077655A (ja) * 2020-11-12 2022-05-24 株式会社日立製作所 障害物検知システム
JP2023034917A (ja) * 2021-08-31 2023-03-13 株式会社日立製作所 対象物を検出するシステム及び対象物を検出する方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016088183A (ja) * 2014-10-31 2016-05-23 株式会社Ihi 支障物検知システムおよび鉄道車両
JP2022077655A (ja) * 2020-11-12 2022-05-24 株式会社日立製作所 障害物検知システム
JP2023034917A (ja) * 2021-08-31 2023-03-13 株式会社日立製作所 対象物を検出するシステム及び対象物を検出する方法

Also Published As

Publication number Publication date
JP2026002633A (ja) 2026-01-08

Similar Documents

Publication Publication Date Title
US11620837B2 (en) Systems and methods for augmenting upright object detection
EP3245614B1 (en) Object detection using location data and scale space representations of image data
KR102569900B1 (ko) 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
US20200117917A1 (en) Apparatus and Method for Distinguishing False Target in Vehicle and Vehicle Including the Same
JP5690688B2 (ja) 外界認識方法，装置，および車両システム
Llorca et al. Stereo regions-of-interest selection for pedestrian protection: A survey
US20180330509A1 (en) Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product
US10579888B2 (en) Method and system for improving object detection and object classification
US11436815B2 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
US20170124725A1 (en) Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium
JP4940177B2 (ja) 交通流計測装置
US12243321B2 (en) Method for determining a semantic free space
US20230114781A1 (en) Vehicle control device, vehicle control method, and storage medium
US12227178B2 (en) Vehicle control device, vehicle control method, and storage medium
CN117734702A (zh) 一种基于侧边超声波雷达的车位搜索方法、模块、车辆
US11884303B2 (en) Apparatus and method for determining lane change of surrounding objects
JP7323356B2 (ja) 駐車支援装置及び駐車支援方法
US11767033B2 (en) System and method for avoiding collision based on vision
JP2026002633A (ja) 障害物検知システム
JP5125214B2 (ja) 障害物検出方法および障害物検出装置
US12286100B2 (en) Vehicle control device, vehicle control method, and storage medium
JP7765974B2 (ja) 車載カメラ装置、車載カメラシステム、および、画像保存方法
CN115597577A (zh) 车辆在停车设施中的自定位
KR101963352B1 (ko) 비전 기반 적응형 순항 제어 시스템 및 방법
US12497035B2 (en) Vehicle traveling control apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25830230

Country of ref document: EP

Kind code of ref document: A1