WO2023171042A1 - 状態判定装置、状態判定方法および移動体支援システム - Google Patents

状態判定装置、状態判定方法および移動体支援システム Download PDF

Info

Publication number
WO2023171042A1
WO2023171042A1 PCT/JP2022/042092 JP2022042092W WO2023171042A1 WO 2023171042 A1 WO2023171042 A1 WO 2023171042A1 JP 2022042092 W JP2022042092 W JP 2022042092W WO 2023171042 A1 WO2023171042 A1 WO 2023171042A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
determination
determination target
unit
uncertainty
Prior art date
Application number
PCT/JP2022/042092
Other languages
English (en)
French (fr)
Inventor
章悟 喜多村
桂一 廣木
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2023171042A1 publication Critical patent/WO2023171042A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a state determination device, a state determination method, and a mobile support system.
  • a linear object abnormality detection device as disclosed in Patent Document 1 is known.
  • a main application of the condition determination device is, for example, a railway driving support system that supports visual confirmation of the track condition in front of a running railway vehicle.
  • visual confirmation work in order to replace part or all of the crew's visual judgment of normal or abnormal conditions with machines, we install cameras on railway vehicles and use analysis equipment inside or outside the vehicle. A method of determining the state is useful.
  • Patent Document 1 states, ⁇ A learning model 43 that is deep learned using a learning image related to a linear object and a correct value for determining whether or not each pixel in the learning image corresponds to an abnormality as learning data.
  • the image is input as an input image to the learning model 43, and it is inferred for each pixel in the input image whether or not the pixel corresponds to an abnormality.
  • Patent Document 1 when the method described in Patent Document 1 is used in the above-mentioned driving support system, only known abnormal states defined in advance as learning data can be detected, so there is no improvement in detecting unknown abnormal states. There is room for
  • a state determination device includes an imaging device that images a relatively moving determination target, detects determination target information from a captured image of the imaging device, and calculates the detected determination target information and the detection uncertainty.
  • the apparatus includes a determination target detection unit that outputs an output, and a target determination unit that determines the state of the determination target to be abnormal when the degree of uncertainty is larger than a predetermined threshold.
  • a mobile support system includes an information control unit provided independently from the mobile body, and a position information acquisition unit mounted on the mobile body to acquire the current time and current position of the mobile body.
  • the information control unit includes an information storage unit that stores the reference information received from a plurality of mobile bodies supported by the mobile support system, and receives the reference information transmitted from the information transmission/reception unit. Then, from a plurality of pieces of reference information stored in the information storage section, reference information in which the current position is linked to a time within a predetermined time from the time of reception is searched, and the searched reference information is searched.
  • the determination target detection unit detects the uncertainty based on the detected determination target information and the retrieved reference information. Calculate degree.
  • a state determination method is a state determination method that determines the state of a determination target based on a captured image of the determination target moving relative to an imaging device, the method determining the state of the determination target from the captured image.
  • the detected determination target information and the degree of uncertainty of the detection are output, and when the degree of uncertainty is greater than a predetermined threshold, the state of the determination target is determined to be abnormal.
  • unknown abnormalities that may occur can be detected.
  • FIG. 1 is a block diagram showing the configuration of a state determination device in a first embodiment.
  • FIG. 2 is a flowchart illustrating an example of the state determination process in the first embodiment.
  • FIG. 3 is a diagram showing the internal structure of the trajectory detection section in the second embodiment.
  • FIG. 4 is a schematic diagram illustrating the status of orbit parameters.
  • FIG. 5 is a flowchart showing an example of the internal processing flow of step S203 in FIG.
  • FIG. 6 is a diagram showing the configuration of a state determination device according to the third embodiment.
  • FIG. 7 is a schematic diagram illustrating calculation of the degree of uncertainty according to the third embodiment.
  • FIG. 8 is a diagram showing a trajectory detection section in the fourth embodiment.
  • FIG. 9 is a diagram showing the configuration of a state determination device according to the fifth embodiment.
  • FIG. 10 is a diagram showing an example of an abnormality occurrence pattern.
  • FIG. 11 is a diagram showing the configuration of a state determination device according to the sixth embodiment.
  • FIG. 12 is a diagram showing the configuration of a state determination device according to the seventh embodiment.
  • FIG. 13 is a diagram showing a schematic configuration of a railway driving support system in the eighth embodiment.
  • FIG. 14 is a diagram showing the configuration of a state determination device according to the ninth embodiment.
  • FIG. 1 is a block diagram showing an example of a state determination device 100.
  • the state determination device 100 constitutes a part of a railway driving support system.
  • the condition determination device 100 uses a captured image of the front of the railroad vehicle taken by the camera 1 to detect an abnormal condition that may impede the running of the railroad vehicle.
  • the railway driving support system issues an alert to the crew when an abnormal state is detected by the state determination device 100.
  • unknown abnormalities that may occur within the trajectory are detected by utilizing knowledge about the trajectory acquired through detection of the trajectory in the photographed image.
  • the state determination device 100 includes a camera 1, a trajectory detection section 2, and a determination section 3.
  • the state determination device 100 is mounted on a railway vehicle T.
  • the camera 1 is equipped with an image sensor such as a CMOS image sensor, and captures images of the running space, mainly in front of the railway vehicle T. Imaging data, which is an image taken by the camera 1, is input to the trajectory detection section 2.
  • the state determination device 100 includes a microcomputer, a processor, and a similar arithmetic device, and a ROM, a RAM, a flash memory, a hard disk, an SSD, a memory card, an optical disk, and a similar storage device, and is stored in the storage device.
  • the functions of the trajectory detection section 2 and determination section 3 are realized by executing the program.
  • Imaging data from the camera 1 is input to the trajectory detection section 2.
  • the trajectory detection unit 2 applies image processing to the imaging data to detect trajectory information, which is information to be determined, and outputs the detected trajectory information.
  • the objects to be determined here are rails, sleepers, ballast, etc. that are the constituent elements of the track.
  • the track information to be output includes, for example, information that uses semantic segmentation to detect the track and indicates whether or not each pixel of the captured image corresponds to a track component such as a rail, sleeper, or ballast. can give. Note that trajectory detection learning using normal images is performed in advance.
  • the trajectory detection unit 2 detects trajectory information from the photographed image, and outputs the detected trajectory information and the degree of uncertainty in detecting the trajectory information.
  • classes orbit information
  • classes such as rail, sleeper, and ballast and prediction scores for the classes are obtained. Therefore, a quantity that has a negative correlation with this prediction score may be introduced and used as the degree of uncertainty. For example, if a prediction score of 0 to 1 is defined, and the ballast is 0.8, the sleeper is 0.1, and the rail is 0.1, the class ballast and the prediction score 0.8. is obtained by semantic segmentation. In this case, the amount "1-prediction score" or "1-(prediction score) 2 " may be used as the degree of uncertainty. The larger these values, the higher the uncertainty.
  • the determination unit 3 determines the state of the track (rails, sleepers, ballast, etc.) based on the degree of uncertainty input from the track detection unit 2. Specifically, when the above-mentioned uncertainty value is larger than a preset threshold value, the state of the orbit is determined to be abnormal, and the determination result is output.
  • a method for setting the threshold value for example, trajectory detection is performed on captured images of various normal trajectories to obtain the distribution of uncertainty. Then, a value exceeding the upper limit of the obtained distribution is set as a threshold value.
  • FIG. 2 is a flowchart illustrating an example of a state determination process executed by the state determination device 100.
  • the processing operation shown in FIG. 2 is started.
  • step S201 it is determined whether there is an operation end command to end the state determination process.
  • the state determination processing operation shown in FIG. 2 is ended.
  • the process advances from step S201 to step S202.
  • step S202 a video frame shot by the camera 1 is acquired and input to the trajectory detection unit 2.
  • step S203 the trajectory detection unit 2 detects a trajectory from the acquired video frame and simultaneously calculates the detection uncertainty.
  • the trajectory detection unit 2 outputs trajectory information and uncertainty that are trajectory detection results.
  • step S204 the determination unit 3 compares the above-mentioned threshold value with the obtained degree of uncertainty, and determines whether the degree of uncertainty is greater than or equal to the threshold value. If it is determined in step S204 that the degree of uncertainty is greater than or equal to the threshold value, the process proceeds to step S205 to output an abnormality determination result indicating that there is an abnormality in the trajectory, and then returns to step S201. On the other hand, if it is determined in step S204 that the degree of uncertainty is smaller than the threshold, the process returns to step S201.
  • the entire state determination device 100 is mounted on a moving object.
  • the camera 1 is mounted on the railway vehicle T, which is a moving object, and the processing of the track detection section 2 and determination section 3 is performed by a processing section provided other than the moving object, for example, a server such as a cloud server. You can do it like this.
  • the configuration is such that the degree of uncertainty in trajectory detection is output based on the dispersion of a series of trajectory information detected from successive captured images.
  • the camera 1 and determination unit 3 are the same as those described above, but the internal structure of the trajectory detection unit 2 is configured as shown in FIG. There is.
  • the explanation of the camera 1 and the determination section 3, which have the same configuration, will be omitted, and the trajectory detection section 2 will be mainly explained.
  • the trajectory detection section 2 includes a detection section 21, a trajectory information buffer 22, and an uncertainty calculation section 23.
  • the detection unit 21 includes, for example, a BNN (Bayesian neural network), applies the BNN for detecting a trajectory region to an image captured by the camera 1, and outputs trajectory information as a detection result.
  • the trajectory information to be output includes, for example, trajectory parameters such as curvature indicating the traveling direction of the trajectory.
  • one or more trajectory parameters may be detected for the photographed image.
  • a plurality of trajectory parameters they may not be composed of one type of trajectory parameter (for example, curvature) but may be composed of a plurality of types of trajectory parameters.
  • a case where one trajectory parameter is output will be explained as an example.
  • the trajectory information output from the detection unit 21 is output from the trajectory detection unit 2 and is also stored in the trajectory information buffer 22.
  • the trajectory information buffer 22 has the ability to store trajectory information for past M (1 ⁇ M) frames including the latest trajectory information. That is, when a new trajectory is detected with M frames of trajectory information stored, the oldest trajectory information is discarded and the latest trajectory information is stored.
  • the uncertainty calculation unit 23 extracts the latest, that is, the latest N (1 ⁇ N ⁇ M) frames of trajectory information from the trajectory information buffer 22, and calculates the detection based on the dispersion of the trajectory information for these N frames. Calculate uncertainty.
  • the degree of uncertainty to be calculated for example, the variance itself may be used as the degree of uncertainty, or a bias may be added or subtracted from the variance, or a weight may be multiplied.
  • the internal model parameters of a BNN are defined as a probability distribution, and the model parameters used during inference are sampled from that probability distribution. Therefore, the output trajectory parameters have different values for each inference. Therefore, the expected value and variance can be defined for a series of trajectory parameters output by performing inference N times on the same captured image.
  • BNN learning is performed using photographed images of normal trajectories with no abnormalities so that the expected values of the output trajectory parameters approach the true values.
  • the variance of trajectory parameters output for captured images of normal trajectories becomes smaller.
  • the variance of the output trajectory parameters becomes large.
  • FIG. 4 is a schematic diagram illustrating the state of trajectory parameters detected by the detection unit 21.
  • the photographed image F401 shows a rail F402, and the detection unit 21 identifies the running space of the railway vehicle by detecting track parameters F404 such as curvature indicating the traveling direction of the rail F402.
  • track parameters F404 such as curvature indicating the traveling direction of the rail F402.
  • the trajectory parameter F404 is the curvature of the rail F402
  • the rail F402 gradually approaches a straight line from a left curve as time passes.
  • Anomaly F403 (obstruction on the track) occurs on the way from the left curve to the straight line.
  • the variance F405 is calculated using the values for the latest N frames.
  • two broken lines drawn to sandwich the trajectory parameter F404 shown by the solid line indicate the dispersion F405.
  • the value of the output trajectory parameter F404 changes as the rail F402 in the captured image F401 changes, and the variance F405 at that time maintains a small value.
  • the trajectory parameter F404 becomes unstable and the variance F405 increases. Therefore, it is possible to calculate the detection uncertainty based on the variance F405 and determine the state of the trajectory based on the uncertainty.
  • step S203 is replaced with a series of processes shown in FIG.
  • FIG. 5 is a flowchart showing an example of the internal processing flow of step S203 in FIG.
  • step S2031 in FIG. 5 the detection unit 21 detects a trajectory from the captured image and outputs trajectory information.
  • the trajectory information is stored in the trajectory information buffer 22.
  • step S2033 it is determined whether the number of trajectory information stored in the trajectory information buffer 22 is N or more, and if it is N or more, the process advances to step S2034.
  • step S2034 the uncertainty calculation unit 23 calculates the uncertainty of trajectory detection from the latest N frames of trajectory information. On the other hand, if it is determined in step S2033 that the number of trajectory information is less than N, the series of processing ends. When the series of processes in FIG. 5 is completed, that is, when the process in step S203 in FIG. 2 is completed, the process advances to step S204 in FIG. 2.
  • the uncertainty of trajectory detection is output based on the dispersion of a series of trajectory information detected from successive captured images, so the state of the trajectory can be determined based on the certainty. I can do it.
  • inference is performed N times on the same image to obtain N trajectory parameters, but in this embodiment, by using images of N consecutive frames with high similarity, The same number of N trajectory parameters as in the case of N times of inference are obtained. Then, for each frame image, that is, for each cycle time of image capture, the degree of uncertainty is calculated based on the variance of the trajectory information for N frames read from the trajectory information buffer 22. Compared to the case of performing inference, it is possible to shorten the time from imaging to determination.
  • a third embodiment will be described with reference to FIGS. 6 and 7.
  • continuous photographed images and speed information of a railway vehicle are used to calculate the uncertainty of track detection and determine the track state for each pixel of the photographed image.
  • this embodiment has a configuration in which a speed information acquisition section 4 is added to the state determination device 100 in the configuration shown in FIG.
  • the speed information acquisition unit 4 may, for example, acquire the detected value of a speedometer mounted on a railway vehicle, or may be configured to calculate the speed by time-differentiating position information acquired by a GPS (Global Positioning System). good.
  • GPS Global Positioning System
  • the detection unit 21 includes, for example, a BNN that performs semantic segmentation.
  • the detection unit 21 applies a BNN for detecting a trajectory area to the captured image from the camera 1, and outputs trajectory information in pixel units.
  • the track information to be output may be, for example, information indicating which of track components such as rails, sleepers, and ballasts each pixel of the photographed image corresponds to or does not correspond to.
  • the trajectory information in pixel units detected by the detection unit 21 is output from the trajectory detection unit 2 and stored in the trajectory information buffer 22.
  • the trajectory information buffer 22 has the ability to store trajectory information in units of pixels for the past M (1 ⁇ M) frames including the latest trajectory information in units of pixels.
  • the speed information acquisition unit 4 measures the current speed of the railway vehicle and outputs the speed information to the uncertainty calculation unit 23.
  • the uncertainty calculation unit 23 extracts the latest N (1 ⁇ N ⁇ M) frames worth of pixel-by-pixel trajectory information from the trajectory information buffer 22, and indicates the same point based on the speed information from the speed information acquisition unit 4. Track pixels between successive frames. Then, the uncertainty calculation unit 23 calculates the variance of trajectory information of pixels indicating the same point, and calculates the detection uncertainty for each pixel based on the calculated variance.
  • FIG. 7 is a schematic diagram showing calculation of detection uncertainty on a pixel-by-pixel basis.
  • a plurality of pixel sets F701 are set in the captured image F401 along the area of the rail F402.
  • the pixel sets F701a and F701b shown in the captured images F401(t1) and F401(t2) represent one of the plurality of pixel sets F701, and represent the same pixel set. That is, during the elapse of the predetermined time ⁇ t, the same pixel set moves from the position of the pixel set F701a to the position of the pixel set F701b within the captured image F401.
  • FIG. 8 is a diagram showing the trajectory detection section 2 in this embodiment.
  • the other configurations are the same as those of the first embodiment shown in FIG. 1, and the description thereof will be omitted below.
  • the trajectory detection section 2 includes a detection section 21 and an uncertainty calculation section 23.
  • the detection unit 21 includes, for example, a DNN (Deep Neural Network) that performs semantic segmentation.
  • the detection unit 21 applies a DNN for detecting a trajectory area to the captured image from the camera 1, and outputs trajectory information in pixel units.
  • an example of the track information to be output is information indicating whether or not each pixel of the captured image corresponds to a track component such as a rail, sleeper, or ballast.
  • the captured image and the pixel-by-pixel trajectory information output from the detection unit 21 are input to the uncertainty calculation unit 23.
  • the uncertainty calculation unit 23 applies prior knowledge of a trajectory corresponding to trajectory information in pixel units to a small region including the pixel or the vicinity of the pixel of the photographed image.
  • Prior knowledge about the track is, for example, knowledge such as ⁇ the rails extend far away'' and ⁇ the sleepers exist at regular intervals.''
  • the uncertainty calculation unit 23 performs a predetermined calculation regarding the prior knowledge, and calculates the uncertainty based on the discrepancy between the calculation result and the prior knowledge. For example, when the detection unit 21 has successfully detected the trajectory, when edge detection is performed on a small area including the vicinity of the pixel that the detection unit 21 has determined corresponds to the rail, an edge extending in the traveling direction is detected. It should be. On the other hand, if there is an abnormality such as damage or obstruction on the rail, edge detection in a small area may result in an edge in the traveling direction not being detected or an edge in a direction different from the traveling direction being detected.
  • FIG. 9 is a diagram showing the configuration of state determination device 100 in the fifth embodiment. The configuration shown in FIG. 9 is obtained by adding an abnormal event estimating section 5 to the configuration shown in FIG.
  • the trajectory detection unit 2 uses, for example, semantic segmentation for trajectory detection, and outputs trajectory information on a pixel basis and uncertainty on a pixel basis.
  • the output pixel-by-pixel track information includes, for example, information indicating which of track components such as rails, sleepers, and ballasts corresponds to or does not correspond to the track information.
  • the determination unit 3 outputs a determination result for each pixel based on the uncertainty level for each pixel input from the trajectory detection unit 2.
  • the abnormal event estimation unit 5 collates the pixel-by-pixel trajectory information from the trajectory detection unit 2 and the pixel-by-pixel determination result from the determination unit 3, and identifies the component where the abnormality has occurred, that is, the location where the abnormality has occurred. . Then, the abnormal event estimation unit 5 estimates an abnormal event that is likely to have occurred based on the abnormal occurrence pattern at the abnormal occurrence location.
  • FIG. 10 is a diagram showing an example of an abnormality occurrence location F1001, an abnormal event F1002, and an abnormality occurrence pattern F1003.
  • the trajectory information for each pixel is information indicating whether each pixel corresponds to a rail, a sleeper, a ballast, or not.
  • the estimated abnormal events F1002 are of five types: rail damage, sleeper damage, ballast collapse, overgrowth of weeds, and landslide.
  • the abnormality occurrence pattern F1003 associates an abnormality occurrence location with an abnormal event, and is defined in advance. For example, if there is no abnormality in the rails or sleepers, but only in the ballast, there is a possibility that the ballast has caved in. Alternatively, if an abnormality occurs in any of the rails, sleepers, or ballast, there is a possibility that a major abnormality involving the entire track, such as a landslide, has occurred.
  • abnormality occurrence location F1001, abnormal event F1002, and abnormality occurrence pattern F1003 shown in FIG. 10 are merely examples, and each item may be increased or decreased, or the pattern itself may be changed.
  • FIG. 11 is a diagram showing the configuration of a state determination device 100 in the sixth embodiment.
  • the configuration shown in FIG. 11 is obtained by adding a determination result buffer 6 and a camera state determination section 7 to the configuration shown in FIG.
  • the determination result buffer 6 has the ability to store determination results for past L (1 ⁇ L) frames including the latest determination result output by the determination unit 3. If a new determination is made with determination results for L frames stored, the oldest determination result is rejected and the latest determination result is stored.
  • the camera state determination unit 7 checks a series of determination results stored in the determination result buffer 6, and if the determination results determined to be abnormal exceed the number of frames for a predefined residence time, the camera state determination unit 7 determines that the determination results are abnormal. It is determined that this occurs not in the orbit but in camera 1. Then, the determination result is output as a camera state determination result. Note that when the determination result is for each pixel, the residence time may be determined for each pixel. Alternatively, if an abnormality occurs in a predetermined number of pixels or more, it may be determined that an abnormality exists in each image, and the residence time may be determined in each image.
  • Examples of abnormalities occurring in the camera 1 include dirt and snow adhering to the lens. Since the railway vehicle is running, if an abnormality occurs on the track, the abnormality will eventually disappear from the angle of view of the camera 1, and the abnormality will not remain for a long time. On the other hand, if an abnormality occurs in the camera 1, the abnormality determination result can continue to be output as long as dirt or snow remains on the lens.
  • FIG. 12 is a diagram showing the configuration of state determination device 100 in the seventh embodiment.
  • the configuration shown in FIG. 12 is obtained by adding a motion component detection section 8 and a camera state determination section 7 to the configuration shown in FIG.
  • the motion component detection unit 8 detects a motion component in a pixel unit or a small area unit in a photographed image, for example, by calculating an optical flow from the photographed image.
  • the detected motion component information is output to the camera state determination section 7.
  • the camera state determination unit 7 checks the motion component of the pixel position where the abnormality has occurred based on the motion component information. When the motion component is less than a predetermined threshold value and can be considered to be stationary, the camera state determination unit 7 determines that an abnormality has occurred in the camera 1 rather than the orbit, and outputs this as a camera state determination result.
  • Examples of abnormalities occurring in the camera 1 include dirt and snow adhering to the lens. Since the railway vehicle is running, if an abnormality occurs on the track, the abnormality moves within the photographed image as the railway vehicle travels. On the other hand, if an abnormality occurs in the camera 1, dirt or snow will not move within the photographed image as long as it is attached to the lens. Therefore, based on the motion component of the abnormality, it can be determined that the abnormality is occurring in the camera 1 rather than in the orbit.
  • FIG. 13 is a diagram showing a schematic configuration of a railway driving support system 1000 in the eighth embodiment.
  • the railway driving support system 1000 is provided with each state determination device 100 mounted on each of the plurality of railway vehicles T1, T2, . . . and in a separate location from the plurality of railway vehicles T1, T2, . and a server 200.
  • processing operations will be explained using the railway vehicle T1 as an example, but similar processing is performed for other railway vehicles T2, . . . .
  • the state determination device 100 includes a camera 1, a trajectory detection section 2, a determination section 3, and a position information acquisition section 9.
  • the trajectory detection section 2 includes the detection section 21 and the uncertainty calculation section 23 of the trajectory detection section 2 shown in FIG.
  • the orbit detection section 2 further includes an orbit information transmitting/receiving section 24.
  • the server 200 includes an orbit information transmitting/receiving section 10, an orbit information control section 11, and an orbit information buffer 12.
  • the position information acquisition unit 9 acquires information regarding the current time and current position of the railway vehicle T1, and outputs time and position information.
  • a method for acquiring the current position for example, a GPS mounted on the railway vehicle T1 may be used.
  • the position may be calculated by acquiring speed information from a speedometer included in the railway vehicle T1 and integrating the speed over time.
  • the orbit information transmitting/receiving unit 24 links the time/position information output by the position information acquisition unit 9 with the orbit information output by the detection unit 21 to obtain time/position/orbit information, and transmits the time/position/orbit information to the server. Send to 200.
  • time, position, and track information is transmitted to the server 200 not only from the railway vehicle T1 but also from other railway vehicles T2, . . . equipped with the state determination device 100.
  • the track information control unit 11 When the track information transmitting/receiving unit 10 of the server 200 receives the time, position, and track information from the railway vehicle T1, the track information control unit 11 stores the received time, position, and track information in the track information buffer 12. Furthermore, the track information control unit 11 determines the time received from other railway vehicles T2, . ⁇ Search for position/orbit information group. Then, the track information control unit 11 transmits the time, position, and track information group extracted by the search to the railway vehicle T1.
  • the track information transmitting/receiving unit 24 of the railway vehicle T1 running at the position receives the time, position, and track information group from the server 200, and combines the received time, position, and track information group with the latest information output by the detection unit 21. It is output to the uncertainty calculation unit 23 together with the trajectory information.
  • the uncertainty calculation unit 23 calculates the uncertainty using the time/position/orbit information group and the latest orbit information.
  • the track information buffer 12 is provided only in the server 200, and the time, position, and track information detected by a plurality of railway vehicles is centrally managed.
  • a method may also be adopted in which an orbit information buffer is installed and these are used together.
  • FIG. 14 is a diagram showing a schematic configuration of a state determination device 100 in the ninth embodiment.
  • the configuration of the state determination device 100 shown in FIG. 14 is a configuration in which a mobile object control section 14 is added to the configuration shown in FIG.
  • the mobile body control unit 14 controls the speed of the railway vehicle T, which is a mobile body, based on the trajectory information output by the trajectory detection unit 2 and the determination result output by the determination unit 3.
  • the trajectory information output from the trajectory detection section 2 indicates the shape of the trajectory. Therefore, for example, it is possible to control the speed of the railway vehicle T to be lowered on a curved track compared to a straight track.
  • the determination result of the determination unit 3 indicates the presence or absence of an abnormality in the trajectory. Therefore, for example, if an abnormality occurs in the orbit, it is possible to immediately apply the brakes. These controls make it possible to semi-automatize or automate the operation while maintaining the safety of the operation of the railway vehicle T.
  • the railway driving support system 1000 including the state determination device 100 was explained as an example.
  • the state determination device 100 is applied to a production line inspection system.
  • the production line inspection system of this embodiment uses captured images of production lines such as belt conveyors and articles moving on the production lines to detect abnormal conditions of production lines and articles, and issues alerts to workers. etc.
  • the state determination device 100 in the production line inspection system of this embodiment has the same configuration as that shown in FIG. 1 of the first embodiment, and will be described with reference to FIG. 1.
  • each processing section is not placed in a moving body such as the railway vehicle T, but is placed near the production line.
  • the camera 1 is mounted near a production line and captures images of a production line such as a belt conveyor or articles moving on the production line.
  • the trajectory detection unit 2 applies image processing to detect the production line area to the captured image in order to specify the moving space of the production line from the captured image, and outputs trajectory information that is information to be determined.
  • the trajectory information to be output uses, for example, semantic segmentation to detect the trajectory, and indicates whether or not each pixel of the captured image corresponds to a component of the production line, such as a belt or a drive roller. It may be information.
  • the trajectory detection unit 2 detects the production line area and outputs trajectory information, and at the same time outputs the degree of detection uncertainty. As in the case of the first embodiment, for example, when using semantic segmentation for trajectory detection, a value that is negatively correlated with the predicted score regarding the output class is calculated, and this is calculated as the uncertainty level. It's good as well.
  • the determination unit 3 determines the state of the production line to be determined based on the degree of uncertainty output from the trajectory detection unit 2. Specifically, when the degree of uncertainty is larger than a predetermined threshold value, the state to be determined is determined to be abnormal, and the determination result is output.
  • a method for determining the threshold value for example, trajectory detection may be performed on captured images of various normal production lines, a distribution of uncertainty may be determined, and a value exceeding the upper limit of the distribution may be set as the threshold value.
  • the railway operation support system described in the first to ninth embodiments has a configuration in which each processing unit is mounted on a moving body
  • the production line inspection system of this embodiment has a configuration in which each processing unit is mounted on a moving body.
  • the processing unit is installed near the production line rather than the moving body, both configurations have in common that the object to be determined moves relative to the camera 1. Therefore, the present invention is applicable under conditions where the determination target moves within the photographed image.
  • the production line area is detected from the photographed image and the trajectory information is output, and at the same time the detection uncertainty is output, and when the uncertainty is large, the state of the production line or the article is detected.
  • a production line inspection system can be implemented by configuring the configuration to determine that the error is abnormal.
  • the present invention is mainly applied to a railway driving support system for detecting abnormal conditions that may impede the running of a railway vehicle and issuing alerts to train crew members.
  • the present invention may also be applied to other uses.
  • the present invention may be applied to a driving support system or a maintenance support system for automobiles traveling on expressways, aircraft traveling on runways, drones flying along electric wires, etc.
  • the state determination device 100 uses a camera 1 as an imaging device that images a relatively moving trajectory that is a determination target, and detects trajectory information that is determination target information from an image taken by the camera 1.
  • a trajectory detection unit 2 as a determination target detection unit that outputs detected trajectory information and detection uncertainty, and a determination unit 3 that determines the state of the trajectory to be abnormal when the degree of uncertainty is greater than a predetermined threshold. , is provided.
  • a predetermined threshold a predetermined threshold
  • the trajectory detection unit 2 collects, for example, the trajectory information from the trajectory information buffer 22 from the trajectory information for multiple frames detected from the captured images for the most recent frames.
  • the latest N frames of trajectory information are read from , and the detection uncertainty is calculated based on the variance of the N frames of trajectory information.
  • the trajectory detection unit 2 detects trajectory information in units of pixels from the photographed image by semantic segmentation, and detects the trajectory to be determined corresponding to the trajectory information in units of pixels.
  • the prior knowledge of is applied to the corresponding pixel of the photographed image or a neighboring region including the corresponding pixel, the deviation from the prior knowledge is calculated, and the degree of detection uncertainty is calculated based on the deviation. The uncertainty calculated in this way makes it possible to determine the state of the orbit.
  • the state determination device 100 further includes an abnormal event estimation unit 5 that identifies the abnormality occurrence location and estimates an abnormal event that is likely to occur.
  • the trajectory detection unit 2 detects trajectory information in pixel units from the captured image and outputs the detected trajectory information and the detection uncertainty in pixel units, and the determination unit 3 detects the trajectory information in pixel units based on the uncertainty level in pixel units. Outputs the unit judgment result.
  • the abnormal event estimating unit 5 identifies the abnormal event location F1001 based on the trajectory information in pixel units and the determination result in pixel units, and estimates an abnormal event that is likely to occur. For example, if there is no abnormality in the rails or sleepers, but only in the ballast, there is a possibility that the ballast has caved in.
  • the state determining device 100 further includes a camera state determining section 7 that determines whether the camera 1 is abnormal, and the trajectory detecting section 2 Elephant trajectory information is detected from each captured image, and the degree of uncertainty for the most recent frames is output, and the determination unit 3 outputs a plurality of determination results regarding the trajectory information for the most recent frames.
  • the camera state determination unit 7 determines that the camera 1 is abnormal when the number of abnormality determinations included in the plurality of determination results exceeds a predetermined number (the number of frames for a predefined residence time). In this way, it can be determined whether the abnormality is caused by the orbit or the camera.
  • the trajectory detection unit 2 detects trajectory information in pixel units from the captured image and outputs the detected trajectory information and the detection uncertainty in pixel units, and the determination unit 3 detects the trajectory information in pixel units based on the uncertainty level in pixel units. Outputs the unit judgment result. Then, based on the motion component information, the camera state determination unit 7 extracts a motion component at a pixel position of the photographed image corresponding to the pixel determined to be abnormal by the determination unit 3, and the extracted motion component exceeds a predetermined threshold value. If it is less than that, it is determined that the camera 1 is abnormal.
  • the camera 1 is mounted on a railway vehicle T, which is a moving body, and the camera 1 covers the movement area of the railway vehicle T, which includes the tracks. It may be configured to take an image.
  • the state determination device 100 further includes a speed information acquisition unit 4 that acquires speed information of the railway vehicle T.
  • the trajectory detection unit 2 detects trajectory information in pixel units from each of the most recent frames of captured images by semantic segmentation, and detects the same point based on the speed information acquired by the speed information acquisition unit 4.
  • the pixels indicating the same point are tracked between consecutive frames, the variance of the determination target information of the pixels indicating the same point is calculated, and the degree of detection uncertainty is calculated for each pixel based on the variance. In this way, by tracking pixels indicating the same point between successive frames based on the speed information of the railway vehicle T, it becomes possible to continue tracking the same point, whether normal or abnormal.
  • the vehicle further includes a moving body control section 14 that controls the speed of the vehicle.
  • a mobile body control unit 14 By providing such a mobile body control unit 14, it is possible to semi-automatize or automate the operation while maintaining the safety of the operation of the railway vehicle T.
  • the moving object may be a railway vehicle T, as shown in FIG.
  • the railway driving support system 1000 is a mobile support system that supports railway vehicles T1, T2, . . . equipped with the state determination device 100 described in (C1) above.
  • the railway driving support system 1000 includes a track information control unit 11 provided in the server 200 separately from the railway vehicles T1, T2, . . .
  • a position information acquisition unit 9 that acquires the current position and current time of T1, T2, .
  • an orbit information transmitting/receiving unit 24 that transmits time, position, and target information (reference information) linked to the information to the orbit information control unit 11.
  • the track information control unit 11 includes a track information buffer 12 that stores time, position, and target information received from a plurality of moving objects T1, T2, . . .
  • the current position is linked to a time within a predetermined time from the time of reception from multiple pieces of time/position/target information stored in the orbit information buffer 12. It searches for the time, position, and target information attached, and transmits the retrieved time, position, and target information to the orbit information transmitting/receiving section 24. Then, when the orbit information transmitting/receiving unit 24 receives the searched time, position, and target information, the orbit detection unit 2 calculates the degree of uncertainty based on the detected orbit information and the searched time, position, and target information. do. In this way, by using the time, position, and target information stored in the orbit information buffer 12, the number of samples used to calculate the variance of orbit information can be increased, and the accuracy of uncertainty calculation and state determination can be improved. can be achieved.
  • the detection uncertainty when detecting a trajectory from a captured image, it is possible to detect unknown anomalies that may occur within a trajectory, even without prior knowledge or learning data regarding the status anomaly of the trajectory to be determined. It becomes possible to do so.
  • the present invention is not limited to the embodiments described above, and includes various modifications.
  • the embodiments described above are described in detail to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to having all the configurations described.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. .
  • each of the above configurations may be partially or entirely configured by hardware, or may be configured to be realized by executing a program on a processor.
  • control lines and information lines are shown to be necessary for explanation purposes, and not all control lines and information lines are necessarily shown in the product. In reality, almost all components may be considered to be interconnected.

Abstract

状態判定装置は、相対移動する判定対象を撮像する撮像装置と、前記撮像装置の撮像画像から判定対象情報を検出し、検出した前記判定対象情報および前記検出の不確実度を出力する判定対象検出部と、前記不確実度が所定閾値より大きい場合に、前記判定対象の状態を異常と判定する対象判定部と、を備える。

Description

状態判定装置、状態判定方法および移動体支援システム
　本発明は、状態判定装置、状態判定方法および移動体支援システムに関する。
　従来の状態判定装置としては、例えば、特許文献１に開示されているような線状体の異常検出装置が知られている。状態判定装置の主な用途としては、例えば、走行中の鉄道車両において前方の軌道状態の目視確認業務を支援する鉄道運転支援システムがある。目視確認業務の支援においては、乗務員の目視による正常または異常の状態判定の一部または全部を機械に代替するために、鉄道車両にカメラを搭載し、移動体内もしくは移動体外における解析装置を用いて状態判定を行う手法が有用である。
　特許文献１には、「線状体に関する学習画像と、当該学習画像内の各画素に対する、当該画素が異常に該当するか否かの正解値とを、学習データとして深層学習された学習モデル４３を備え、当該学習モデル４３に対し、前記画像を入力画像として入力し、当該入力画像内の各画素に対して、当該画素が異常に該当するか否かを推論する」と記載されている。
日本国特開２０２０－１２８８７７号公報
　しかしながら、上述のような運転支援システムに特許文献１に記載の手法を用いた場合、学習データとして事前に定義した既知の異常状態しか検知することができないため、未知の異常状態の検知においては改善の余地がある。
　本発明の態様による状態判定装置は、相対移動する判定対象を撮像する撮像装置と、前記撮像装置の撮像画像から判定対象情報を検出し、検出した前記判定対象情報および前記検出の不確実度を出力する判定対象検出部と、前記不確実度が所定閾値より大きい場合に、前記判定対象の状態を異常と判定する対象判定部と、を備える。
　本発明の態様による移動体支援システムは、前記移動体とは別に独立して設けられた情報制御部と、前記移動体に搭載され、該移動体の現在時刻および現在位置を取得する位置情報取得部と、前記移動体に搭載され、前記現在時刻および前記現在位置と前記判定対象検出部が検出した前記判定対象情報とを紐づけした参照情報を前記情報制御部に送信する情報送受信部と、を備え、前記情報制御部は、前記移動体支援システムが支援する複数の移動体から受信した前記参照情報を格納する情報記憶部を備えて、前記情報送受信部から送信された前記参照情報を受信すると、前記情報記憶部に格納されている複数の参照情報から、受信時から遡った所定時間以内の時刻と前記現在位置とが紐づけされた参照情報を検索して、検索された参照情報を前記情報送受信部に送信し、前記判定対象検出部は、前記検索された参照情報を前記情報送受信部が受信すると、検出した前記判定対象情報と前記検索された参照情報とに基づいて前記不確実度を算出する。
　本発明の態様による状態判定方法は、撮像装置に対して相対移動する判定対象の撮像画像に基づいて、前記判定対象の状態を判定する状態判定方法であって、前記撮像画像から判定対象情報を検出し、検出した前記判定対象情報および前記検出の不確実度を出力し、前記不確実度が所定閾値より大きい場合に、前記判定対象の状態を異常と判定する。
　本発明によれば、発生し得る未知の異常を検知することができる。
図１は、第１の実施の形態における状態判定装置の構成を示すブロック図である。 図２は、第１の実施の形態における状態判定処理の一例を示すフローチャートである。 図３は、第２の実施の形態における軌道検出部の内部構造を示す図である。 図４は、軌道パラメータの状況を説明する模式図である。 図５は、図２のステップＳ２０３の内部処理フローの一例を示すフローチャートである。 図６は、第３の実施の形態の状態判定装置の構成を示す図である。 図７は、第３の実施の形態の不確実度の算出を説明する模式図である。 図８は、第４の実施の形態における軌道検出部を示す図である。 図９は、第５の実施の形態の状態判定装置の構成を示す図である。 図１０は、異常発生パターンの一例を示す図である。 図１１は、第６の実施の形態の状態判定装置の構成を示す図である。 図１２は、第７の実施の形態の状態判定装置の構成を示す図である。 図１３は、第８の実施の形態における鉄道運転支援システムの概略構成を示す図である。 図１４は、第９の実施の形態の状態判定装置の構成を示す図である。
　以下、図面を参照して本発明に係る状態判定装置の実施の形態について説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。また、以下の説明では、同一または類似の要素および処理には同一の符号を付し、重複説明を省略する場合がある。なお、以下に記載する内容はあくまでも本発明の実施の形態の一例を示すものであって、本発明は下記の実施の形態に限定されるものではなく、他の種々の形態でも実施する事が可能である。
（第１の実施の形態）
　本実施の形態では、本発明の状態判定装置及び状態判定方法の主な用途である鉄道運転支援システムを例に説明する。図１は、状態判定装置１００の一例を示すブロック図である。状態判定装置１００は鉄道運転支援システムの一部を構成する。状態判定装置１００は、カメラ１で撮影された鉄道車両前方の撮影映像を用いて、鉄道車両の走行に支障となる状態異常を検知する。鉄道運転支援システムは、状態判定装置１００により状態異常が検知されると、乗務員へのアラート発報等を行う。本実施の形態では、撮影画像内の軌道の検出を通じて獲得した軌道に関する知識を活用し、軌道内で発生し得る未知の異常を検知するようにした。
　図１に示すように、状態判定装置１００は、カメラ１、軌道検出部２および判定部３を備えている。状態判定装置１００は鉄道車両Ｔに搭載されている。カメラ１はＣＭＯＳイメージセンサ等の撮像素子を備え、鉄道車両Ｔの前方を主とした走行空間の撮影画像を取得する。カメラ１の撮影画像である撮像データは、軌道検出部２に入力される。
　なお、状態判定装置１００は、マイコン、プロセッサおよびこれらに類する演算装置と、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＳＤ、メモリカード、光ディスク及びこれらに類する記憶装置とを備え、記憶装置に格納されるプログラムを実行することにより軌道検出部２および判定部３の機能を実現している。
　カメラ１からの撮像データは、軌道検出部２に入力される。軌道検出部２は、撮像データに対して判定対象の情報である軌道情報を検出するための画像処理を適用し、検出された軌道情報を出力する。ここでの判定対象は、軌道の構成要素であるレール、枕木、バラスト等である。出力する軌道情報としては、例えば、軌道検出にセマンティックセグメンテーションを用い、撮影画像の各画素について、レール、枕木、バラスト等の軌道の構成要素のどれに該当するか、あるいは該当しないかを示す情報があげられる。なお、正常画像による軌道検出の学習を予めさせておく。
　軌道検出部２は、撮影画像から軌道情報を検出し、検出した軌道情報および軌道情報検出の不確実度を出力する。軌道検出にセマンティックセグメンテーションを用いる場合、レール、枕木、バラストというクラス（軌道情報）と、クラスに関する予測スコアが得られる。そのため、この予測スコアと負の相関となる量を導入して、それを不確実度としても良い。例えば、０～１という予測スコアが定義されていて、バラストが０．８で、枕木が０．１で、レールが０．１のような状態では、バラストというクラスと、０．８という予測スコアがセマンティックセグメンテーションにより得られる。この場合、「１－予測スコア」や「１－（予測スコア）２」という量を不確実度とすれば良い。これらの値が大きくなるほど、不確実度が高くなる。
　判定部３は、軌道検出部２から入力された不確実度に基づき、軌道（レール、枕木、バラスト等）の状態を判定する。具体的には、上述した不確実度の値が予め設定した閾値より大きい場合に軌道の状態を異常と判定し、その判定結果を出力する。ここで、閾値の設定方法としては、例えば、様々な正常な軌道の撮影画像に対して軌道検出を行い、不確実度の分布を求める。そして、得られた分布の上限を上回る値を、閾値として設定する。
　［動作シーケンス］
　図２は、状態判定装置１００で実行される状態判定処理の一例を示すフローチャートである。状態判定装置１００が起動されると、図２の処理動作が開始される。ステップＳ２０１では、状態判定処理を終了する動作終了命令の有無を判定する。動作終了命令を受信した場合には、図２の状態判定処理動作を終了する。一方、動作終了命令を受信しない場合には、ステップＳ２０１からステップＳ２０２へ進む。
　ステップＳ２０２では、カメラ１が撮影した映像フレームを取得して軌道検出部２に入力する。次いで、ステップＳ２０３では、軌道検出部２において、取得した映像フレームから軌道を検出すると同時に検出の不確実度を算出する。軌道検出部２は、軌道検出結果である軌道情報および不確実度を出力する。
　ステップＳ２０４では、判定部３において、上述した閾値と得られた不確実度とを比較し、不確実度が閾値以上であるか否かを判定する。ステップＳ２０４で不確実度が閾値以上であると判定されると、ステップＳ２０５に進んで軌道に異常があるという異常判定結果を出力し、その後、ステップＳ２０１へ戻る。一方、ステップＳ２０４で不確実度が閾値よりも小さいと判定されると、ステップＳ２０１へ戻る。
　上述のように、本実施の形態では、撮影画像内の軌道情報の検出に伴って得られる不確実度を利用することで、判定対象である軌道の状態異常に関する事前知識や学習用データがなくても、軌道内で発生し得る未知の異常を検知することが可能となる。また、上述の不確実度は軌道情報の検出の際に得られるので、軌道情報の検出と状態判定に用いる状態情報の検出とを個別に行う場合に比べ、演算量の低減を図ることができる。
　なお、上述した実施の形態では、状態判定装置１００の全体を移動体に搭載する構成とした。しかしながら、カメラ１のみを移動体である鉄道車両Ｔに搭載し、軌道検出部２および判定部３の処理については、移動体以外に設けられた処理部、例えば、クラウドサーバ等のサーバに行わせるようにしても良い。
（第２の実施の形態）
　図３～５を参照して第２の実施の形態を説明する。第２の実施の形態では、連続する撮影画像から検出した一連の軌道情報の分散に基づいて、軌道検出の不確実度を出力するような構成とした。本実施の形態では、図１に示した構成の内、カメラ１および判定部３については上述した構成と同じであるが、軌道検出部２の内部構造は図３に示すような構成となっている。以下では、同一構成であるカメラ１，判定部３の説明は省略し、主に軌道検出部２について説明する。
　図３に示すように、軌道検出部２は、検出部２１、軌道情報バッファ２２および不確実度算出部２３を備えている。検出部２１は、例えば、ＢＮＮ（Bayesian neural network）を備え、カメラ１からの撮影画像に対して、軌道領域を検出するためのＢＮＮを適用し、検出結果である軌道情報を出力する。ここで、出力する軌道情報としては、例えば、軌道の進行方向を示す曲率等の軌道パラメータがある。また、撮影画像に対して検出される軌道パラメータは一つまたは複数のいずれであっても良い。複数の軌道パラメータの場合、それらを一種類の軌道パラメータ（例えば、曲率）で構成せず、複数の種類の軌道パラメータで構成しても良い。以下では、一つの軌道パラメータが出力される場合を例に説明する。
　検出部２１から出力された軌道情報は、軌道検出部２から出力されると共に、軌道情報バッファ２２に格納される。軌道情報バッファ２２は、最新の軌道情報を含む過去Ｍ（１＜Ｍ）フレーム分の軌道情報を格納する性能を有する。すなわち、Ｍフレーム分の軌道情報を格納した状態で、新たに軌道検出が行われた場合は、最も古い軌道情報を棄却した上で、最新の軌道情報を格納する。
　不確実度算出部２３は、軌道情報バッファ２２から最新の、すなわち、直近のＮ（１＜Ｎ≦Ｍ）フレーム分の軌道情報を取り出し、それらＮフレーム分の軌道情報の分散に基づいて検出の不確実度を算出する。算出される不確実度としては、例えば、分散自体を不確実度としても良いし、また、分散に対してバイアスの加減算や、重みづけの乗算等を行っても良い。
　一般に、ＢＮＮは内部のモデルパラメータが確率分布として定義され、推論時に使用するモデルパラメータはその確率分布からサンプリングされる。そのため、出力される軌道パラメータは推論毎に異なる値となる。したがって、同一の撮影画像に対してＮ回の推論を行うことで出力される一連の軌道パラメータに関し、期待値と分散を定義することができる。
　ＢＮＮの学習は、異常を有さない正常な軌道の撮影画像を用い、出力する軌道パラメータの期待値が真値に近づくように行われる。結果として、正常な軌道の撮影画像に対して出力される軌道パラメータの分散は小さくなる。一方で、学習時に見たことのない未知の異常が生じた軌道の撮影画像に対しては、出力される軌道パラメータの分散は大きくなる。
　ところで、ＢＮＮが出力する軌道パラメータに対して期待値と分散を定義するためには、本来は同一の撮影画像に対してＮ回の推論を行う必要があるため、撮影から判定までのスループットが低下してしまう。しかしながら、鉄道の軌道は急激な変化がなく、連続撮影画像間の画像情報の類似性が高いという性質がある。本実施の形態では、この性質を利用し、最新の連続するＮフレーム分の軌道パラメータから分散を算出し、その分散に基づいて検出の不確実度を算出することで、撮影から判定までのスループットの向上を図るようにした。
　図４は、検出部２１で検出される軌道パラメータの状況を説明する模式図である。撮影画像Ｆ４０１にはレールＦ４０２が写っており、検出部２１は、レールＦ４０２の進行方向を示す曲率等の軌道パラメータＦ４０４を検出することで、鉄道車両の走行空間を特定する。図４に示す例では、軌道パラメータＦ４０４はレールＦ４０２の曲率であり、レールＦ４０２は、時間の経過に伴い左カーブから徐々に直線に近づく。その左カーブから直線に近づく途中において、異常Ｆ４０３（軌道上の障害物）が生じている。
　前述したように、軌道パラメータＦ４０４に関しては、最新のＮフレーム分の値を用いて分散Ｆ４０５が算出される。図４では、実線で示す軌道パラメータＦ４０４を挟むように描かれた２つの破線が分散Ｆ４０５を示している。異常Ｆ４０３の発生前後の正常な軌道においては、撮影画像Ｆ４０１内のレールＦ４０２の変化に伴って出力される軌道パラメータＦ４０４の値も変化し、その際の分散Ｆ４０５は小さい値を維持する。一方、異常Ｆ４０３が発生すると、軌道パラメータＦ４０４は安定せず分散Ｆ４０５が増加する。したがって、分散Ｆ４０５に基づいて検出の不確実度を算出し、その不確実度に基づいて軌道の状態を判定することが可能となる。
　［動作シーケンス］
　状態判定装置１００の状態判定処理に関する基本的なフローは図２に示したフローチャートと同様であるが、上述した軌道検出部２の動作に対応して、ステップＳ２０３の処理内容が異なる。本実施の形態では、図２のステップＳ２０３の内部処理は図５に示す一連の処理で置き換える。図５は、図２のステップＳ２０３の内部処理フローの一例を示すフローチャートである。
　図５のステップＳ２０３１では、検出部２１において撮影画像から軌道を検出し、軌道情報を出力する。ステップＳ２０３２では、軌道情報を軌道情報バッファ２２に格納する。ステップＳ２０３３では、軌道情報バッファ２２に格納された軌道情報の数がＮ以上であるかどうか判定し、Ｎ以上の場合にはステップＳ２０３４へ進む。ステップＳ２０３４では、不確実度算出部２３において、最新のＮフレーム分の軌道情報から軌道検出の不確実度を算出する。一方、ステップＳ２０３３において軌道情報の数がＮよりも少ないと判定された場合には、一連の処理を終了する。図５の一連の処理が終了すると、すなわち、図２のステップＳ２０３の処理が終了すると、図２のステップＳ２０４へ進む。
　上述のように、本実施の形態では、連続する撮影画像から検出した一連の軌道情報の分散に基づき軌道検出の不確実度を出力するので、その確実度に基づいて軌道の状態を判定することができる。さらに、一般的なＢＮＮでは同一画像に対してＮ回の推論を行いＮ個の軌道パラメータを取得しているが、本実施の形態では、類似性の高い連続Ｎフレームの画像を用いることで、Ｎ回の推論の場合と同様のＮ個の軌道パラメータを取得するようにしている。そして、１フレーム撮影ごとに、すなわち撮影のサイクルタイムごとに、軌道情報バッファ２２から読みだしたＮフレーム分の軌道情報の分散に基づく不確実度が算出されるので、１フレーム画像にＮ回の推論を行う場合に比べて、撮影から判定までの時間短縮を図ることができる。
（第３の実施の形態）
　図６，７を参照して第３の実施の形態を説明する。第３の実施の形態では、連続する撮影画像及び鉄道車両の速度情報を用い、撮影画像の画素単位で、軌道検出の不確実度の算出および軌道の状態の判定を行うようにした。
　本実施の形態は、図６に示すように、図３に示す構成において状態判定装置１００に速度情報取得部４を追加した構成になっている。速度情報取得部４は、例えば、鉄道車両に搭載した速度計の検出値を取得しても良いし、ＧＰＳ（Global Positioning System）が取得する位置情報を時間微分することで速度を算出する構成でも良い。図６に示す以外の構成については、上述した第１の実施の形態と同様であり、以下では説明を省略する。
　軌道検出部２の詳細構成について、図６を用いて説明する。検出部２１は、例えばセマンティックセグメンテーションを行うＢＮＮを備える。検出部２１は、カメラ１からの撮影画像に対して軌道領域を検出するためのＢＮＮを適用し、画素単位の軌道情報を出力する。ここで、出力する軌道情報は、例えば、撮影画像の各画素について、レール、枕木、バラスト等の軌道の構成要素のどれに該当するか、あるいは該当しないかを示す情報であっても良い。
　検出部２１で検出された画素単位の軌道情報は、軌道検出部２から出力されると共に軌道情報バッファ２２に格納される。軌道情報バッファ２２は、最新の画素単位の軌道情報を含む過去Ｍ（１＜Ｍ）フレーム分の画素単位の軌道情報を格納する性能を有する。速度情報取得部４は、現在の鉄道車両の速度を計測し、速度情報を不確実度算出部２３へ出力する。
　不確実度算出部２３は、軌道情報バッファ２２から最新のＮ（１＜Ｎ≦Ｍ）フレーム分の画素単位の軌道情報を取り出し、速度情報取得部４からの速度情報に基づいて同一地点を示す画素を連続フレーム間で追跡する。そして、不確実度算出部２３は、同一地点を示す画素の軌道情報の分散を算出し、算出した分散に基づいて検出の不確実度を画素単位で算出する。
　図７は、検出の不確実度の画素単位の算出を示す模式図である。図７は時刻ｔ１に撮影された撮影画像Ｆ４０１（ｔ１）と、時刻ｔ２＝ｔ１＋Δｔに撮影された撮影画像Ｆ４０１（ｔ２）とを示す図である。撮影画像Ｆ４０１には、レールＦ４０２の領域に沿って複数の画素集合Ｆ７０１が設定される。撮影画像Ｆ４０１（ｔ１），Ｆ４０１（ｔ２）に示す画素集合Ｆ７０１ａ，Ｆ７０１ｂは、複数の画素集合Ｆ７０１の内の一つを示したものであり、同一の画素集合を示している。すなわち、所定時間Δｔが経過する間に、同一画素集合が、撮影画像Ｆ４０１内において画素集合Ｆ７０１ａの位置から画素集合Ｆ７０１ｂの位置へ移動する。
　このように、鉄道車両の速度情報に基づいて、同一地点を示す画素を連続フレーム間で追跡すると、正常あるいは異常の同一地点を追跡し続けることが可能になる。そして、同一地点の軌道の状態が正常であれば、同一地点を示す画素の軌道情報の分散は小さくなる。一方で、図７に示すように同一地点の軌道の状態が異常であれば、同一地点を示す画素の軌道情報の分散は大きくなる。したがって、画素単位の軌道情報の分散に基づき、軌道検出の不確実度を画素単位で算出し、軌道の状態を画素単位で判定することが可能となる。以上のように、本実施の形態では、連続する撮影画像および移動体の速度情報を用い、撮影画像の画素単位で、軌道検出の不確実度の算出および軌道の状態の判定を行うことができる。
（第４の実施の形態）
　図８を参照して第４の実施の形態を説明する。第４の実施の形態では、軌道に関する事前知識を活用し、事前知識との乖離に基づいて不確実度を算出するようにした。図８は、本実施の形態における軌道検出部２を示す図である。その他の構成については、図１に示した第１の実施の形態と同様であり、以下では説明を省略する。
　図８に示すように、軌道検出部２は、検出部２１、不確実度算出部２３を備えている。検出部２１は、例えば、セマンティックセグメンテーションを行うＤＮＮ（Deep Neural Network）を備える。検出部２１は、カメラ１からの撮影画像に対して、軌道領域を検出するためのＤＮＮを適用し、画素単位の軌道情報を出力する。ここで、出力する軌道情報としては、例えば、撮影画像の各画素について、レール、枕木、バラスト等の軌道の構成要素のどれに該当するか、あるいは該当しないかを示す情報が一例として挙げられる。
　不確実度算出部２３には、撮影画像と、検出部２１から出力された画素単位の軌道情報とが入力される。不確実度算出部２３は、画素単位の軌道情報に対応する軌道の事前知識を、撮影画像の当該画素または当該画素近傍を含む小領域にあてはめる。軌道の事前知識とは、例えば、「レールは遠方に延びる」、「枕木は一定間隔に存在する」といった知識である。
　不確実度算出部２３は、事前知識に関する所定の計算を行い、その計算結果と事前知識との乖離に基づいて不確実度を算出する。例えば、検出部２１が好適に軌道を検出できている場合、検出部２１がレールに該当すると判断した画素の近傍を含む小領域に対してエッジ検出を行うと、進行方向に延びるエッジが検出されるはずである。一方で、レールに破損や支障物といった異常が生じている場合、小領域におけるエッジ検出の結果、進行方向のエッジが検出できなかったり、進行方向とは異なる方向のエッジが検出されたりする。
　したがって、検出されたエッジの方向と進行方向の角度の差分を算出することで、レールは遠方に延びるという軌道の事前知識との乖離を評価することができる。そして、乖離に基づいて不確実度を算出することで、軌道の状態を判定することが可能となる。なお、乖離の評価においては、エッジの方向だけでなく、エッジの強度も考慮して算出しても良い。また、画像のテクスチャや周波数成分など、エッジ以外の画像情報を使用しても良い。また、乖離に基づいて不確実度を算出するにあたり、例えば、乖離自体を不確実度としても良い。または、乖離に対してバイアスの加減算や、重みづけの乗算等を行っても良い。
（第５の実施の形態）
　図９，１０を参照して第５の実施の形態を説明する。第５の実施の形態では、異常発生パターンに基づき、発生している可能性の高い異常事象を推定するようにした。図９は、第５の実施の形態における状態判定装置１００の構成を示す図である。図９に示す構成は、図１に示す構成に異常事象推定部５を加えたものである。
　軌道検出部２は、例えば、軌道検出にセマンティックセグメンテーションを用い、画素単位の軌道情報と、画素単位の不確実度とを出力する。ここで、出力する画素単位の軌道情報は、例えば、レール、枕木、バラスト等の軌道の構成要素のどれに該当するか、あるいは該当しないかを示す情報が一例として挙げられる。
　判定部３は、軌道検出部２から入力された画素単位の不確実度に基づき、画素単位の判定結果を出力する。異常事象推定部５は、軌道検出部２からの画素単位の軌道情報と判定部３からの画素単位の判定結果とを照合し、異常が発生している構成要素、すなわち異常発生箇所を特定する。そして、異常事象推定部５は、異常発生箇所における異常発生パターンに基づき、発生している可能性の高い異常事象を推定する。
　図１０は、異常発生箇所Ｆ１００１、異常事象Ｆ１００２および異常発生パターンＦ１００３の一例を示す図である。図１０に示す例では、画素単位の軌道情報は、各画素がレール、枕木、バラストのどれに該当するか、あるいは該当しないかを示す情報とする。そして、画素単位の軌道情報と画素単位の判定結果とを照合することで特定する異常発生箇所Ｆ１００１は、レール、枕木、バラストの３種類とする。また、推定する異常事象Ｆ１００２は、レールの破損、枕木の破損、バラストの陥没、雑草の繁茂、土砂崩れの５種類とする。
　異常発生パターンＦ１００３は、異常発生箇所と異常事象を関連付けるものであり、予め定義しておく。例えば、レールや枕木に異常が発生せず、バラストのみに異常が発生している場合、バラストの陥没が発生している可能性が考えられる。あるいは、レール、枕木、バラストのいずれにも異常が発生している場合、土砂崩れのような軌道全体に関わる大きな異常が発生している可能性がある。
　このように、第５の実施の形態では、異常発生パターンに基づき、発生している可能性の高い異常事象を推定することが可能となる。なお、図１０に示す異常発生箇所Ｆ１００１、異常事象Ｆ１００２、異常発生パターンＦ１００３は、あくまで一例であり、各項目を増減したり、パターン自体を変更したりしても良い。
（第６の実施の形態）
　図１１を参照して第６の実施の形態を説明する。第６の実施の形態では、異常の滞留時間に基づくことで、異常が軌道ではなくカメラに発生していることが判定可能になるようにした。図１１は、第６の実施の形態における状態判定装置１００の構成を示す図である。図１１に示す構成は、図１に示す構成に判定結果バッファ６およびカメラ状態判定部７を加えたものである。
　判定結果バッファ６は、判定部３が出力した最新の判定結果を含む過去Ｌ（１＜Ｌ）フレーム分の判定結果を格納する性能を有する。Ｌフレーム分の判定結果を格納した状態で、新たに判定を行った場合は、最も古い判定結果を棄却した上で、最新の判定結果を格納する。
　カメラ状態判定部７は、判定結果バッファ６が格納している一連の判定結果を確認し、異常と判定された判定結果が予め定義した滞留時間分のフレーム数を超えている場合には、異常が軌道ではなくカメラ１に発生していると判定する。そして、その判定結果を、カメラ状態判定結果として出力する。なお、判定結果が画素単位である場合には、画素単位で滞留時間の判定を行っても良い。あるいは、所定の画素数以上で異常が発生している場合に、画像単位で異常有りと見なし、画像単位で滞留時間の判定を行っても良い。
　カメラ１に発生する異常としては、例えば、レンズに付着する汚れや雪などがある。鉄道車両は走行しているため、異常が軌道に発生している場合には、異常はやがてカメラ１の画角から外れ、長時間に渡って異常が滞留することはない。一方、異常がカメラ１に発生している場合は、汚れや雪であれば、これらがレンズに付着している限り、異常の判定結果を出力し続け得る。
　したがって、異常の滞留時間に基づき、異常が軌道ではなくカメラ１に発生していることが判定可能となる。このように、本実施の形態では、異常の滞留時間に基づき、異常が軌道ではなくカメラに発生していることを判定することができる。
（第７の実施の形態）
　図１２を参照して第７の実施の形態を説明する。第７の実施の形態では、異常の動き成分に基づき、異常が軌道ではなくカメラに発生していることを判定するようにした。図１２は、第７の実施の形態における状態判定装置１００の構成を示す図である。図１２に示す構成は、図１に示す構成に動き成分検出部８およびカメラ状態判定部７を加えたものである。
　動き成分検出部８は、例えば、撮影画像からオプティカルフローを算出することで、撮影画像における画素単位あるいは小領域単位の動き成分を検出する。検出された動き成分情報はカメラ状態判定部７へ出力される。
　カメラ状態判定部７は、例えば、判定部３が出力する判定結果が画素単位である場合には、動き成分情報に基づいて異常が発生している画素位置の動き成分を確認する。動き成分が所定の閾値を下回り、静止していると見なせる場合、カメラ状態判定部７は、異常が軌道ではなくカメラ１に発生していると判定し、これをカメラ状態判定結果として出力する。
　カメラ１に発生する異常としては、例えば、レンズに付着する汚れや雪などがある。鉄道車両は走行しているため、異常が軌道に発生している場合は、異常は鉄道車両の走行に伴い、撮影画像内で移動する。一方、異常がカメラ１に発生している場合は、汚れや雪であれば、これらがレンズに付着している限り、撮影画像内で移動することはない。したがって、異常の動き成分に基づき、異常が軌道ではなくカメラ１に発生していることを判定することができる。
（第８の実施の形態）
　図１３を参照して第８の実施の形態を説明する。第８の実施の形態では、複数編成で検出した軌道情報を統合利用することで、不確実度の算出に使用する軌道情報のサンプル数を増強し、不確実度の算出および状態判定の精度を向上させるようにした。図１３は、第８の実施の形態における鉄道運転支援システム１０００の概略構成を示す図である。鉄道運転支援システム１０００は、複数の鉄道車両Ｔ１，Ｔ２，・・・のそれぞれに搭載された各状態判定装置１００と、複数の鉄道車両Ｔ１，Ｔ２，・・・とは別の場所に設けられたサーバ２００とを備える。以下では、鉄道車両Ｔ１を例に処理動作を説明するが、他の鉄道車両Ｔ２，・・・に関しても同様の処理が行われる。
　状態判定装置１００は、カメラ１、軌道検出部２、判定部３および位置情報取得部９を備えている。軌道検出部２は、図３に示した軌道検出部２の検出部２１および不確実度算出部２３を備えている。軌道検出部２は、さらに、軌道情報送受信部２４を備えている。サーバ２００は、軌道情報送受信部１０、軌道情報制御部１１および軌道情報バッファ１２を備えている。
　位置情報取得部９は、鉄道車両Ｔ１の現在時刻および現在位置に関する情報を取得し、時刻・位置情報を出力する。現在位置の取得方法としては、例えば、鉄道車両Ｔ１に搭載したＧＰＳを用いても良い。または、鉄道車両Ｔ１が備える速度計から速度情報を取得し、速度を時間積分することで位置を算出しても良い。軌道情報送受信部２４は、位置情報取得部９が出力した時刻・位置情報と検出部２１が出力した軌道情報とを紐づけて時刻・位置・軌道情報とし、その時刻・位置・軌道情報をサーバ２００に送信する。なお、図１３に示すように、サーバ２００には、鉄道車両Ｔ１だけでなく状態判定装置１００を備える他の鉄道車両Ｔ２，・・・からも時刻・位置・軌道情報が送信される。
　サーバ２００の軌道情報送受信部１０が鉄道車両Ｔ１からの時刻・位置・軌道情報を受信すると、軌道情報制御部１１は、受信した時刻・位置・軌道情報を軌道情報バッファ１２に格納する。さらに、軌道情報制御部１１は、時刻・位置・軌道情報に含まれる位置情報が示す当該位置に関して、受信時から所定時間以内の過去に走行した他の鉄道車両Ｔ２，・・・から受信した時刻・位置・軌道情報群を検索する。そして、軌道情報制御部１１は、検索により抽出した時刻・位置・軌道情報群を鉄道車両Ｔ１に送信する。
　当該位置を走行中の鉄道車両Ｔ１の軌道情報送受信部２４は、サーバ２００からの時刻・位置・軌道情報群を受信し、受信した時刻・位置・軌道情報群と検出部２１が出力した最新の軌道情報と併せて不確実度算出部２３に出力する。不確実度算出部２３は、時刻・位置・軌道情報群および最新の軌道情報を用いて不確実度を算出する。
　鉄道車両は敷設された軌道上のみを走行するため、同一位置を走行する他の複数の鉄道車両からの撮影画像は、類似性が高いという性質がある。この性質を利用し、現在から所定時間以内の過去に走行した他の鉄道車両から受信した時刻・位置・軌道情報群を用いることで、軌道情報の分散の算出に用いるサンプル数を増強し、不確実度の算出および状態判定の精度向上を図ることができる。
　なお、図１３に示す構成では、軌道情報バッファ１２はサーバ２００のみに備えられ、複数の鉄道車両で検出された時刻・位置・軌道情報を集中管理する方式としたが、例えば、鉄道車両にも軌道情報バッファを搭載し、これらを併用する方式としても良い。
（第９の実施の形態）
　図１４を参照して第９の実施の形態を説明する。第９の実施の形態では、撮影画像に対して軌道の検出と状態の判定を行い、得られた軌道情報と判定結果に基づいて鉄道車両の速度の制御を行うようにした。図１４は、第９の実施の形態における状態判定装置１００の概略構成を示す図である。
　図１４に示す状態判定装置１００の構成は、図１に示す構成に移動体制御部１４を加えた構成である。移動体制御部１４は、軌道検出部２が出力した軌道情報と、判定部３が出力した判定結果に基づき、移動体である鉄道車両Ｔの速度の制御を行う。軌道検出部２から出力される軌道情報は、軌道の形状を示すものである。そのため、例えば、直線の軌道と比べて、曲線の軌道では鉄道車両Ｔの速度を下げるといった制御が可能である。
　また、判定部３の判定結果は、軌道における異常の有無を示す。そのため、例えば、軌道に異常が発生している場合は、直ちにブレーキをかけるといった制御が可能である。これらの制御により、鉄道車両Ｔの運行の安全性を維持しつつ、運行の半自動化や自動化が可能となる。
（第１０の実施の形態）
　上述した第１～９の実施の形態では、状態判定装置１００を備える鉄道運転支援システム１０００を例に説明した。一方、第１０の実施の形態では、状態判定装置１００を生産ライン検査システムに適用した例について説明する。本実施の形態の生産ライン検査システムでは、ベルトコンベア等の生産ラインや生産ライン上を移動する物品の撮影画像を用いて、生産ラインや物品の状態異常を検知し、作業員へのアラート発報等を行う。
　本実施の形態の生産ライン検査システムにおける状態判定装置１００は、第１の実施の形態の図１に示す構成と同一であり、図１を参照して説明する。ただし、各処理部は、鉄道車両Ｔのような移動体ではなく生産ライン付近に定置される。カメラ１は、生産ライン付近に搭載され、ベルトコンベア等の生産ライン乃至生産ライン上を移動する物品の撮影画像を取得する。軌道検出部２は、撮影画像から生産ラインの移動空間を特定するために、撮影画像に対して生産ライン領域を検出するための画像処理を適用し、判定対象の情報である軌道情報を出力する。ここで、出力する軌道情報は、例えば、軌道検出にセマンティックセグメンテーションを用い、撮影画像の各画素について、ベルト、駆動ローラー等の生産ラインの構成要素のどれに該当するか、あるいは該当しないかを示す情報であっても良い。
　軌道検出部２は、生産ライン領域を検出して軌道情報を出力すると同時に、検出の不確実度を出力する。第１の実施の形態の場合と同様に、不確実度には、例えば、軌道検出にセマンティックセグメンテーションを用いる場合、出力したクラスに関する予測スコアと負の相関となる値を求め、これを不確実度としても良い。
　判定部３は、軌道検出部２から出力された不確実度に基づき、生産ラインの判定対象の状態を判定する。具体的には、不確実度が、所定の閾値より大きい場合に、判定対象の状態を異常と判定し、判定結果を出力する。閾値の決定方法は、例えば、様々な正常な生産ラインの撮影画像に対して軌道検出を行い、不確実度の分布を求め、その分布の上限を上回る値を閾値と設定しても良い。
　上述した第１の実施の形態から第９の実施の形態までで説明した鉄道運転支援システムは、各処理部を移動体に搭載した構成であり、本実施の形態の生産ライン検査システムは、各処理部を移動体ではなく生産ライン付近に定置する構成であるが、いずれの構成の場合も、カメラ１に対して判定対象が相対移動するという点で共通している。したがって、撮影画像内で判定対象が移動する条件下であれば、本発明を適用可能である。
　以上説明したように、本実施の形態では、撮影画像から生産ライン領域を検出して軌道情報を出力すると同時に検出の不確実度を出力し、不確実度が大きい場合に生産ライン乃至物品の状態を異常と判定する構成とすることで、生産ライン検査システムを実現可能である。
　また、上述した実施の形態では、主に本発明を鉄道車両の走行を支障し得る状態異常を検知し、乗務員へのアラート発報等を行うための鉄道運転支援システムに適用した場合について説明したが、他の用途に適用しても良い。例えば、高速道路を走行する自動車、滑走路を走行する航空機、電線沿いを飛行するドローンなどを対象とした運転支援システム、あるいは保守支援システム等に適用しても良い。
　以上説明した本発明の実施形態によれば、以下の作用効果を奏する。
（Ｃ１）図１に示すように、状態判定装置１００は、相対移動する判定対象である軌道を撮像する撮像装置としてのカメラ１と、カメラ１の撮影画像から判定対象情報である軌道情報を検出し、検出した軌道情報および検出の不確実度を出力する判定対象検出部としての軌道検出部２と、不確実度が所定閾値より大きい場合に、軌道の状態を異常と判定する判定部３と、を備える。このように、撮影画像内の軌道情報の検出に伴って得られる不確実度を利用することで、軌道の状態異常に関する事前知識や学習用データがなくても、軌道内で発生し得る未知の異常を検知することが可能となる。
（Ｃ２）上記（Ｃ１）において、図３，４に示すように、軌道検出部２は、直近の複数フレーム分の撮影画像から検出された複数フレーム分の軌道情報から、例えば、軌道情報バッファ２２にから最新のＮフレーム分の軌道情報から読み込み、Ｎフレーム分の軌道情報の分散に基づいて検出の不確実度を算出する。このように、連続する撮影画像から検出した一連の軌道情報の分散に基づき軌道検出の不確実度を算出することができ、１フレーム画像にＮ回の推論を行う場合に比べて、撮影から判定までの時間短縮を図ることができる。
（Ｃ３）上記（Ｃ１）において、図８に示すように、軌道検出部２は、セマンティックセグメンテーションによって撮影画像から画素単位の軌道情報を検出し、画素単位の軌道情報に対応する判定対象である軌道の事前知識を、撮影画像の対応する画素または対応する画素を含む近傍領域にあてはめ、事前知識との乖離を計算し、乖離に基づいて検出の不確実度を算出する。このように算出された不確実度により、軌道の状態を判定することが可能になる。
（Ｃ４）上記（Ｃ１）において、図９，１０に示すように、状態判定装置１００は、異常発生箇所を特定して発生可能性の高い異常事象を推定する異常事象推定部５をさらに備え、軌道検出部２は、撮影画像から画素単位の軌道情報を検出して、検出した軌道情報および画素単位の検出の不確実度を出力し、判定部３は、画素単位の不確実度に基づき画素単位の判定結果を出力する。異常事象推定部５は、図１０に示すように、画素単位の軌道情報と画素単位の判定結果とに基づいて異常発生箇所Ｆ１００１を特定し、発生可能性の高い異常事象を推定する。例えば、レールや枕木に異常が発生せず、バラストのみに異常が発生している場合、バラストの陥没が発生している可能性が考えられる。
（Ｃ５）上記（Ｃ１）において、図１１に示すように、状態判定装置１００は、カメラ１の異常を判定するカメラ状態判定部７をさらに備え、軌道検出部２は、直近の複数フレーム分の撮像画像からそれぞれ象軌道情報を検出し、直近の複数フレーム分の不確実度を出力し、判定部３は、直近の複数フレーム分の軌道情報に関する複数の判定結果を出力する。カメラ状態判定部７は、複数の判定結果に含まれる異常判定の数が所定数（予め定義した滞留時間分のフレーム数）を上回る場合に、カメラ１が異常であると判定する。このように、異常が軌道に起因するものか、カメラに起因するものか、を判定することができる。
（Ｃ６）上記（Ｃ１）において、図１２に示すように、状態判定装置１００は、撮影画像における画素単位あるいは小領域単位の動き成分情報を検出する動き成分検出部８と、カメラ１の異常を判定するカメラ状態判定部７と、をさらに備える。軌道検出部２は、撮影画像から画素単位の軌道情報を検出して、検出した軌道情報および画素単位の検出の不確実度を出力し、判定部３は、画素単位の不確実度に基づき画素単位の判定結果を出力する。そして、カメラ状態判定部７は、動き成分情報に基づいて、判定部３により異常と判定された画素に対応する撮影画像の画素位置の動き成分を抽出し、抽出した動き成分が所定の閾値を下回る場合にはカメラ１が異常であると判定する。
（Ｃ７）上記（Ｃ１）において、図１に示すように、カメラ１は移動体である鉄道車両Ｔに搭載され、カメラ１は、鉄道車両Ｔの移動領域であって軌道が含まれる移動領域を撮像するように構成しても良い。
（Ｃ８）上記（Ｃ７）において、図６，７に示すように、状態判定装置１００は、鉄道車両Ｔの速度情報を取得する速度情報取得部４をさらに備える。軌道検出部２は、直近の複数フレーム分の撮影画像のそれぞれに関して、セマンティックセグメンテーションにより撮影画像から画素単位の軌道情報をそれぞれ検出し、速度情報取得部４で取得した速度情報に基づいて同一地点を示す画素を連続フレーム間で追跡して、同一地点を示す画素の判定対象情報の分散を算出し、分散に基づいて検出の不確実度を画素単位で算出する。このように、鉄道車両Ｔの速度情報に基づいて、同一地点を示す画素を連続フレーム間で追跡することで、正常あるいは異常の同一地点を追跡し続けることが可能になる。
（Ｃ９）上記（Ｃ７）において、図１４に示すように、状態判定装置１００は、軌道検出部で検出された軌道情報と判定部３の判定結果とに基づいて、移動体である鉄道車両Ｔの速度の制御を行う移動体制御部１４をさらに備える。このような移動体制御部１４を備えることで、鉄道車両Ｔの運行の安全性を維持しつつ、運行の半自動化や自動化が可能となる。
（Ｃ１０）上記（Ｃ７）において、図１に示すように、移動体は鉄道車両Ｔであっても良い。
（Ｃ１１）図１３に示すように、鉄道運転支援システム１０００は、上記（Ｃ１）に記載の状態判定装置１００を搭載する鉄道車両Ｔ１，Ｔ２，・・・を支援する移動体支援システムである。鉄道運転支援システム１０００は、鉄道車両Ｔ１，Ｔ２，・・・とは別に独立してサーバ２００に設けられた軌道情報制御部１１と、鉄道車両Ｔ１，Ｔ２，・・・に搭載され、鉄道車両Ｔ１，Ｔ２，・・・の現在位置および現在時刻を取得する位置情報取得部９と、鉄道車両Ｔ１，Ｔ２，・・・に搭載され、現在時刻および現在位置と軌道検出部２が検出した軌道情報とを紐づけした時刻・位置・対象情報（参照情報）を軌道情報制御部１１に送信する軌道情報送受信部２４と、を備える。軌道情報制御部１１は、鉄道運転支援システム１０００が支援する複数の移動体Ｔ１，Ｔ２，・・・から受信した時刻・位置・対象情報を格納する軌道情報バッファ１２を備えて、軌道情報送受信部２４から送信された時刻・位置・対象情報を受信すると、軌道情報バッファ１２に格納されている複数の時刻・位置・対象情報から、受信時から遡った所定時間以内の時刻と現在位置とが紐づけされた時刻・位置・対象情報を検索して、検索された時刻・位置・対象情報を軌道情報送受信部２４に送信する。そして、軌道検出部２は、検索された時刻・位置・対象情報を軌道情報送受信部２４が受信すると、検出した軌道情報と検索された時刻・位置・対象情報とに基づいて不確実度を算出する。このように、軌道情報バッファ１２に格納されている時刻・位置・対象情報を用いることで、軌道情報の分散の算出に用いるサンプル数を増強し、不確実度の算出および状態判定の精度向上を図ることができる。
（Ｃ１２）図１に示すように、カメラ１に対して相対移動する判定対象である軌道の撮像画像に基づいて、軌道の状態を判定する状態判定方法であって、撮像画像から軌道情報を検出し、検出した軌道情報および検出の不確実度を出力し、不確実度が所定閾値より大きい場合に、軌道の状態を異常と判定する。撮像画像から軌道を検出したときの検出の不確実度を用いることにより、判定対象である軌道の状態異常に関する事前知識や学習用データがなくても、軌道内で発生し得る未知の異常を検知することが可能となる。
　なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１…カメラ、２…軌道検出部、３…判定部、４…速度情報取得部、５…異常事象推定部、６…判定結果バッファ、７…カメラ状態判定部、８…動き成分検出部、９…位置情報取得部、１０，２４…軌道情報送受信部、１１…軌道情報制御部、１２，２２…軌道情報バッファ、１４…移動体制御部、２１…検出部、２３…不確実度算出部、１００…状態判定装置、１０００…鉄道運転支援システム、Ｔ，Ｔ１，Ｔ２…鉄道車両     

Claims (12)

  1. 　相対移動する判定対象を撮像する撮像装置と、
    　前記撮像装置の撮像画像から判定対象情報を検出し、検出した前記判定対象情報および前記検出の不確実度を出力する判定対象検出部と、
    　前記不確実度が所定閾値より大きい場合に、前記判定対象の状態を異常と判定する対象判定部と、を備える状態判定装置。
  2. 　請求項１に記載の状態判定装置において、
    　前記判定対象検出部は、直近の複数フレーム分の前記撮像画像から検出された複数フレーム分の前記判定対象情報の分散に基づいて、前記不確実度を算出する、状態判定装置。
  3. 　請求項１に記載の状態判定装置において、
    　前記判定対象検出部は、
    　セマンティックセグメンテーションによって前記撮像画像から画素単位の前記判定対象情報を検出し、
    　前記画素単位の判定対象情報に対応する判定対象の事前知識を、前記撮像画像の対応する画素または対応する画素を含む近傍領域にあてはめ、前記事前知識との乖離を計算し、
    　前記乖離に基づいて前記不確実度を算出する、状態判定装置。
  4. 　請求項１に記載の状態判定装置において、
    　異常発生箇所を特定して発生可能性の高い異常事象を推定する異常事象推定部をさらに備え、
    　前記判定対象検出部は、前記撮像画像から画素単位の前記判定対象情報を検出して、検出した前記判定対象情報および画素単位の前記検出の不確実度を出力し、
    　前記対象判定部は、前記画素単位の前記不確実度に基づき画素単位の判定結果を出力し、
    　前記異常事象推定部は、前記画素単位の判定対象情報と前記画素単位の判定結果とに基づいて前記異常発生箇所を特定し、発生可能性の高い異常事象を推定する、状態判定装置。
  5. 　請求項１に記載の状態判定装置において、
    　前記撮像装置の異常を判定する撮像装置判定部をさらに備え、
    　前記判定対象検出部は、直近の複数フレーム分の前記撮像画像からそれぞれ前記判定対象情報を検出し、前記直近の複数フレーム分の前記不確実度を出力し、
    　前記対象判定部は、前記直近の複数フレーム分の前記判定対象情報に関する複数の判定結果を出力し、
    　前記撮像装置判定部は、前記複数の判定結果に含まれる異常判定の数が所定数を上回る場合に前記撮像装置が異常であると判定する、状態判定装置。
  6. 　請求項１に記載の状態判定装置において、
    　前記撮像画像における画素単位あるいは小領域単位の動き成分情報を検出する動き成分検出部と、
    　前記撮像装置の異常を判定する撮像装置判定部と、をさらに備え、
    　前記判定対象検出部は、前記撮像画像から画素単位の前記判定対象情報を検出して、検出した前記判定対象情報および画素単位の前記検出の不確実度を出力し、
    　前記対象判定部は、前記画素単位の前記不確実度に基づき画素単位の判定結果を出力し、
    　前記撮像装置判定部は、前記動き成分情報に基づいて、前記対象判定部により異常と判定された画素に対応する前記撮像画像の画素位置の動き成分を抽出し、抽出した動き成分が所定の閾値を下回る場合には前記撮像装置が異常であると判定する、状態判定装置。
  7. 　請求項１に記載の状態判定装置において、
    　前記撮像装置は移動体に搭載され、
    　前記撮像装置は、前記移動体の移動領域であって前記判定対象が含まれる前記移動領域を撮像する、状態判定装置。
  8. 　請求項７に記載の状態判定装置において、
    　前記移動体の速度情報を取得する速度情報取得部をさらに備え、
    　前記判定対象検出部は、
    　直近の複数フレーム分の前記撮像画像のそれぞれに関して、セマンティックセグメンテーションにより撮像画像から画素単位の前記判定対象情報をそれぞれ検出し、
    　前記速度情報に基づいて同一地点を示す画素を連続フレーム間で追跡して、同一地点を示す画素の判定対象情報の分散を算出し、
    　前記分散に基づいて検出の不確実度を画素単位で算出する、状態判定装置。
  9. 　請求項７に記載の状態判定装置において、
    　前記判定対象検出部で検出された前記判定対象情報と前記対象判定部の判定結果とに基づいて、前記移動体の速度の制御を行う移動体制御部をさらに備える、状態判定装置。
  10. 　請求項７に記載の状態判定装置において、
    　前記移動体は鉄道車両である、状態判定装置。
  11. 　請求項１に記載の状態判定装置を搭載する移動体を支援する移動体支援システムであって、
    　前記移動体とは別に独立して設けられた情報制御部と、
    　前記移動体に搭載され、該移動体の現在時刻および現在位置を取得する位置情報取得部と、
    　前記移動体に搭載され、前記現在時刻および前記現在位置と前記判定対象検出部が検出した前記判定対象情報とを紐づけした参照情報を前記情報制御部に送信する情報送受信部と、を備え、
    　前記情報制御部は、
    　前記移動体支援システムが支援する複数の移動体から受信した前記参照情報を格納する情報記憶部を備えて、
    　前記情報送受信部から送信された前記参照情報を受信すると、前記情報記憶部に格納されている複数の参照情報から、受信時から遡った所定時間以内の時刻と前記現在位置とが紐づけされた参照情報を検索して、検索された参照情報を前記情報送受信部に送信し、
    　前記判定対象検出部は、前記検索された参照情報を前記情報送受信部が受信すると、検出した前記判定対象情報と前記検索された参照情報とに基づいて前記不確実度を算出する、移動体支援システム。
  12. 　撮像装置に対して相対移動する判定対象の撮像画像に基づいて、前記判定対象の状態を判定する状態判定方法であって、
    　前記撮像画像から判定対象情報を検出し、検出した前記判定対象情報および前記検出の不確実度を出力し、
    　前記不確実度が所定閾値より大きい場合に、前記判定対象の状態を異常と判定する、状態判定方法。
PCT/JP2022/042092 2022-03-10 2022-11-11 状態判定装置、状態判定方法および移動体支援システム WO2023171042A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-036985 2022-03-10
JP2022036985A JP2023131956A (ja) 2022-03-10 2022-03-10 状態判定装置、状態判定方法および移動体支援システム

Publications (1)

Publication Number Publication Date
WO2023171042A1 true WO2023171042A1 (ja) 2023-09-14

Family

ID=87936596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042092 WO2023171042A1 (ja) 2022-03-10 2022-11-11 状態判定装置、状態判定方法および移動体支援システム

Country Status (2)

Country Link
JP (1) JP2023131956A (ja)
WO (1) WO2023171042A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171159A (ja) * 2002-11-18 2004-06-17 Nec Corp 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
JP2019133306A (ja) * 2018-01-30 2019-08-08 株式会社日立製作所 画像処理装置及び画像処理方法
JP2019191806A (ja) * 2018-04-23 2019-10-31 株式会社デンソーテン 異常検出装置および異常検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171159A (ja) * 2002-11-18 2004-06-17 Nec Corp 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
JP2019133306A (ja) * 2018-01-30 2019-08-08 株式会社日立製作所 画像処理装置及び画像処理方法
JP2019191806A (ja) * 2018-04-23 2019-10-31 株式会社デンソーテン 異常検出装置および異常検出方法

Also Published As

Publication number Publication date
JP2023131956A (ja) 2023-09-22

Similar Documents

Publication Publication Date Title
CN104793202B (zh) 多雷达成像传感器的对象融合系统
CN107000749B (zh) 车辆的行驶控制装置以及行驶控制方法
US11380105B2 (en) Identification and classification of traffic conflicts
Rathinam et al. Vision based following of locally linear structures using an unmanned aerial vehicle
EP3048559A1 (en) Method and system for detecting a rail track
CN110736999B (zh) 基于激光雷达的铁路道岔检测方法
US20220410949A1 (en) Method for in-situ and real-time collection and processing of geometric parameters of railway lines
US20220264081A1 (en) Sensing performance evaluation and diagnosis system and sensing performance evaluation and diagnosis method for external-environment recognition sensor
WO2010109831A1 (ja) ドライブレコーダ
CN106339692A (zh) 一种基于路线偏移检测的疲劳驾驶状态信息确定方法及系统
US20210253149A1 (en) Methods and systems for monitoring a transportation path with acoustic or vibration sensing
US11753002B2 (en) Vehicular control system
US11884311B2 (en) Route inspection system
JP2001357402A (ja) 車両検出方法及び車両検出装置
CN115909223A (zh) 一种wim系统信息与监控视频数据匹配的方法和系统
WO2023171042A1 (ja) 状態判定装置、状態判定方法および移動体支援システム
JP2002197445A (ja) オプティカルフローを利用した列車前方異常検出装置
Capece et al. PANTOBOT-3D: An automatic vision-based inspection system for locomotive pantographs
JPH08279093A (ja) 交通流計測装置
CN113548094B (zh) 基于多传感器的列车定位、联挂方法及系统
JP2022151740A (ja) フォールスネガティブ物体検出を有する可能性があるイメージを決定するための方法
Di Summa et al. A review on deep learning techniques for railway infrastructure monitoring
CN105242060A (zh) 一种列车车轮空转及滑行的实时监测方法
Riera et al. Detecting and tracking unsafe lane departure events for predicting driver safety in challenging naturalistic driving data
CN117360589B (zh) 一种基于站内轨道铁路的正线电码化监控系统及检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22931014

Country of ref document: EP

Kind code of ref document: A1