WO2022097426A1 - 状態判定装置、状態判定システム及び状態判定方法 - Google Patents

状態判定装置、状態判定システム及び状態判定方法 Download PDF

Info

Publication number
WO2022097426A1
WO2022097426A1 PCT/JP2021/037487 JP2021037487W WO2022097426A1 WO 2022097426 A1 WO2022097426 A1 WO 2022097426A1 JP 2021037487 W JP2021037487 W JP 2021037487W WO 2022097426 A1 WO2022097426 A1 WO 2022097426A1
Authority
WO
WIPO (PCT)
Prior art keywords
equipment
unit
object detection
dimensional data
state determination
Prior art date
Application number
PCT/JP2021/037487
Other languages
English (en)
French (fr)
Inventor
章悟 喜多村
大輔 吉田
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to EP21888979.8A priority Critical patent/EP4242996A1/en
Publication of WO2022097426A1 publication Critical patent/WO2022097426A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Definitions

  • the present invention relates to a state determination device.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2020-107174
  • the pallet is a transport target by the transport device and has a specific part.
  • the marker is attached to a predetermined position of the pallet at the time of learning.
  • the computer includes a processor, and the processor includes the learning. At times, the position of the marker is detected from the second image data based on the first image data, the part including the specific part of the palette is cut out as the teacher data from the second image data, and the machine using the teacher data. It learns and generates the necessary information for the classifier.
  • the main use of the state determination device and method is, for example, an equipment inspection system that is mounted on a moving body and inspects equipment such as signs using images taken from the surroundings.
  • an equipment inspection system that is mounted on a moving body and inspects equipment such as signs using images taken from the surroundings.
  • machine learning technology such as Deep Learning
  • the pallet is a transport target by a transport device and has a specific portion.
  • the marker is attached to a predetermined position on the pallet during learning.
  • the computer includes a processor, and the processor detects the position of the marker from the second image data based on the first image data at the time of learning, and the portion including the specific part of the palette from the second image data. Is cut out as teacher data, machine learning is performed using the teacher data, and the information required for the classifier is generated.
  • a huge amount of man-hours are required to attach a marker to a wide range of existing equipment, and there is room for improvement.
  • An object of the present invention is to provide a state determination device and a state determination method for identifying an area matching the dimensional data of equipment from three-dimensional data around a traveling space and automatically creating teacher information used for object detection. And.
  • a typical example of the invention disclosed in the present application is as follows. That is, it is a state determination device, the first sensor mounted on the moving body and taking an image of the surroundings of the traveling space, and the second sensor mounted on the moving body and acquiring three-dimensional data around the traveling space. Sensor, an equipment database that stores dimensional data of one or more types of equipment to be inspected, a teacher information creation unit that identifies an area that matches the dimensional data from the three-dimensional data and creates teacher information, and the shooting.
  • the output result of the object detection unit approaches the teacher information by inputting the generated image into the object detection model and using the object detection unit that outputs the name and area of the equipment to be inspected and at least the three-dimensional data.
  • it is characterized by including a learning unit for learning the internal parameters of the object detection model.
  • teacher information used for object detection can be automatically created. Issues, configurations and effects other than those mentioned above will be clarified by the description of the following examples.
  • Example 1 In this embodiment, the equipment inspection system which is the main use of the state determination device, the state determination system and the state determination method of the present invention will be described.
  • the purpose of the equipment inspection system is to inspect the equipment such as signs for dirt or damage by using images taken around the moving object.
  • FIGS. 1 (a) to 1 (b) are diagrams showing the overall configuration of the equipment inspection system of the first embodiment of the present invention
  • FIGS. 2 (a) to 4 (b) are FIGS. 1 of the present invention.
  • the object detection is used for object detection by acquiring the three-dimensional data around the traveling space at the same time as taking the learning image of the object detection and identifying the area matching the dimensional data of the equipment from the three-dimensional data.
  • the traveling space is a range in which a moving body (for example, a train or an automobile) can travel, and the equipment to be inspected is installed around the outside of the traveling space.
  • the equipment inspection system of this embodiment is composed of a first sensor 1, a second sensor 2, an object detection unit 3, a teacher information creation unit 4, an equipment database 5, and a learning unit 6.
  • the first sensor 1 is a device such as a camera that acquires an image.
  • the second sensor 2 is a device such as a lidar, a millimeter wave radar, or a stereo camera that acquires three-dimensional data of space. Lidar can acquire high-precision point cloud data, millimeter-wave radar can acquire low-resolution point cloud data regardless of the surrounding environment, and stereo cameras have the characteristics of being able to obtain range images at low cost.
  • the first sensor 1 and the second sensor 2 are synchronized, and data is acquired at the same timing.
  • the equipment database 5 stores the actual dimensional data of the equipment to be inspected.
  • the equipment database 5 may store data on the position and height at which the equipment to be inspected is installed.
  • the equipment to be inspected is not limited to one type, but may be multiple types. It may be the dimensional data stored in the equipment database 5, the upper and lower limits of the dimensions of the equipment to be inspected, or the error range that may occur in the design value and recognition of the equipment to be inspected. This error range may hold different values for each sensor.
  • the first sensor 1 photographs the state around the moving body and acquires an image.
  • the second sensor 2 acquires three-dimensional data around the moving object.
  • the three-dimensional data is point cloud data, for example, it may be appropriately converted into a distance image in which the shooting direction and the angle of view match the image.
  • the three-dimensional data is prepared so that the subject in the image and the three-dimensional data can correspond to each other.
  • the teacher information creation unit 4 reads the equipment database 5 and identifies an area matching the dimensional data of the equipment from the three-dimensional data. Then, the specified area is converted into the coordinate system in the captured image.
  • the object detection unit 3 has an object detection model such as DNN (Deep Natural Network) inside, inputs the captured image and the three-dimensional data, and outputs the name and area of the equipment to be inspected as the detection result. ..
  • the learning unit 6 detects an object so that the difference between the output teacher information and the detection result becomes small, that is, the detection accuracy of the object detection unit 3 (identification accuracy of equipment name and identification accuracy of area) is improved. Update the internal parameters of the model.
  • the accuracy of specifying the region can be calculated using, for example, IoU (Intersection over Union).
  • the object detection unit 3 may update the internal parameters using a pair of images and teacher information. Alternatively, the object detection unit 3 may update the internal parameters using a predetermined number of teacher information stored in the teacher information buffer and a predetermined number of captured images stored in the image buffer. By learning using a plurality of images, more general-purpose image features can be learned.
  • FIG. 2A the traffic light F202 to be inspected is shown in the image F201 taken by the first sensor 1.
  • the three-dimensional data (distance image) F203 acquired at the same timing has a region F204 that matches the dimensions of the traffic light read from the equipment database 5.
  • the teacher information F205 see FIG. 2C of the object detection unit 3 is created.
  • the equipment candidate area group F206 having a predetermined size at a position above the ground surface is calculated. Then, by extracting the area satisfying the lower limit and the upper limit of the size of the equipment to be searched read from the equipment database 5 from the equipment candidate area group F206, the area F204 matching the size of the traffic light can be specified.
  • the conditions related to the set position such as the height at which the equipment to be searched are installed are recorded in the equipment database 5, at the stage of calculating the equipment candidate area group F206 or at a specific stage of the area F204 matching the dimensions of the traffic light. , Misidentification can be reduced by filtering processing according to the conditions of the installation position.
  • FIGS. 2 (b) to 2 (c) show the state of the search for the traffic light in the distance image, but after the search is performed in the state of the point cloud and a region matching the dimensions of the traffic light is found, the first sensor is used. It may be converted into the coordinate system in the image of 1.
  • FIG. 3 is a schematic diagram of the operation when creating teacher information of the equipment to be inspected installed on the curve. Since a large cant is provided on a sharp curve, images and 3D data are acquired in a tilted state. Therefore, teacher information is created in consideration of the influence of inclination.
  • a tilt information for example, a gyro sensor mounted on a moving body or a design value of a track to be laid can be used. Then, when searching for a region that matches the dimensions of the traffic light, for example, the lower and upper limits of the search dimensions are adjusted in consideration of the influence of inclination (horizontal dimensions are increased, vertical dimensions are decreased). ), Search.
  • the search may be performed after correcting the inclination of the entire three-dimensional data so as to match the actual installation condition of the traffic light F302.
  • the teacher information F303 is created so as to include the traffic light F302 in the captured image F301 by the first sensor 1 based on the search result and the inclination information.
  • the traveling space of the tram may be adjacent to or overlap with the traveling space of the automobile, so that the first sensor 1 and the second sensor 2 may be various such as an automobile or a two-wheeled vehicle.
  • An object is reflected. Therefore, when searching for equipment to be inspected using dimensional data, for example, a detection unit that detects automobiles and two-wheeled vehicles from the image is separately provided, and three-dimensional data is used to exclude the position where the automobile or two-wheeled vehicle is detected from the search range. By filtering for these objects, it is possible to reduce erroneous determinations that identify these objects as equipment to be inspected.
  • FIG. 4 (a) shows the object detection result in the state immediately after the learning of the object detection unit 3 starts
  • FIG. 4 (b) shows the object detection result in the state after the learning of the object detection unit 3 has progressed.
  • FIG. 4A immediately after the start of learning of the object detection unit 3, the image feature of the traffic light cannot be suitably captured. Therefore, the detection result F401 immediately after the start of learning indicates a place where the traffic light does not exist. This includes false detections and undetected traffic lights.
  • the detection result F402 after the learning progresses can suitably estimate the position and size of the traffic light.
  • the object detection performance can be improved by using the three-dimensional data acquired by the second sensor 2 together.
  • the first example of the learning method is a method in which both the image and the three-dimensional data are treated as input data and the teacher information associated with them is learned. That is, the object detection task for estimating the name and area of the equipment to be inspected is learned for each of the three-dimensional data and the image, and the knowledge acquired through the object detection task from the three-dimensional data is utilized for object detection from the image. ..
  • the object detection accuracy from the image can be improved by embedding the knowledge that cannot be known only from the image in the object detection model.
  • the second example of the learning method is a method of learning by treating an image as input data and three-dimensional data as teacher information different from object detection. That is, the object detection task from the image and the distance estimation task to estimate the distance information from the image to the object are learned at the same time.
  • the accuracy of the object detection task itself can be improved by solving a plurality of different tasks at the same time and promoting the acquisition of potential knowledge common to the plurality of tasks.
  • the operation phase will be described with reference to FIG. 1 (b).
  • the first sensor 1 photographs the state around the moving body and acquires an image.
  • the image acquired by the first sensor 1 is input to the learned object detection unit 3, and the name and area of the equipment to be inspected are output as the detection result.
  • a process for visualizing the detection basis of the object detection model possessed by the object detection unit 3 may be added to the object detection unit 3.
  • a method of visualizing the detection basis for example, there is a method of highlighting the internal signal of DNN that greatly contributes to the output of the detection result (for example, highlighting in a heat map showing the degree of reaction). For example, when an object other than the equipment to be inspected is erroneously detected in the operation phase, erroneous detection of the same object can be detected by additionally learning a scene similar to the erroneously detected scene by visualizing the judgment basis of the erroneous detection. Can be reduced.
  • An extraction processing unit that extracts and stores the equipment area detected from the image may be provided after the object detection unit 3 so that subsequent inspections can be easily performed, and it is automatically determined whether or not there is dirt or damage.
  • An abnormality determination unit may be provided.
  • Both the first sensor 1 and the second sensor 2 are mounted on a moving body to acquire the surrounding state.
  • the moving object is a railway vehicle.
  • the teacher information creation unit 4 the equipment database 5, and the learning unit 6 are mounted on the moving body, learning can be performed under suitable conditions where the influence of communication delay is small.
  • some configurations for example, object detection unit 3, teacher information creation unit 4, equipment database 5, learning unit 6) may be provided in a ground facility such as a data center outside the mobile body for communication. You may learn while doing it.
  • FIG. 5 shows an example of the processing flow of this embodiment.
  • the system shifts to the processing loop, and in step S501, the presence or absence of the operation end command of the equipment inspection system of the present embodiment is monitored in the processing loop.
  • the process is terminated.
  • step S502 three-dimensional data around the moving body is acquired from the second sensor 2.
  • step S503 the area matching the dimensional data of the equipment is searched from the three-dimensional data with reference to the equipment database 5.
  • step S505 teacher information for performing object detection on the image of the first sensor 1 is created. Then, in step S506, an image of the periphery of the moving body is acquired from the first sensor 1. In step S507, the acquired image is input to the object detection model, and the detection result is output. In step S508, the internal parameters of the object detection model are updated so that the difference between the created teacher information and the output detection result becomes small, that is, the detection accuracy of the object detection model is improved.
  • the processing flow shown in FIG. 5 illustrates a method of learning an object detection model every time an image is acquired from the first sensor 1.
  • a teacher information buffer and an image buffer are provided in the teacher information buffer.
  • the internal parameters may be updated using a predetermined number of stored teacher information and a predetermined number of captured images stored in the image buffer.
  • the equipment inspection system can automatically create the teacher information used for object detection.
  • FIG. 6 is a diagram showing an overall configuration of the equipment inspection system according to the second embodiment of the present invention.
  • equipment inspection that automatically creates teacher information used for object detection by acquiring the position information of the moving object and identifying the area that matches the dimensional data of the equipment at the current point of the moving object. The purpose is to provide the system.
  • the equipment inspection system of this embodiment is configured by adding the position information acquisition unit 7 and the teacher creation method control unit 8 to the configuration shown in FIG. 1 (a) of the first embodiment.
  • the position information acquisition unit 7 for example, a GNSS receiver such as GPS is used.
  • the position information acquisition unit 7 acquires the current position information of the moving body.
  • the teacher creation method control unit 8 acquires the dimensional data and the installation point information of the equipment to be inspected from the equipment database 5, collates it with the current position information of the moving body acquired by the position information acquisition unit 7, and the equipment exists.
  • the teacher information creation unit 4 is activated at the timing when the moving object approaches the point, and the name and dimension data of the equipment to be inspected acquired from the equipment database 5 are supplied to the teacher information creation unit 4.
  • the teacher information creation unit 4 creates teacher information based on the name and dimensional data of the supplied equipment to be inspected at the timing when the name and dimensional data of the equipment to be inspected are supplied.
  • the learning unit 6 updates the internal parameters of the object detection unit 3 at the timing when the teacher information is supplied.
  • the equipment database 5 has the installation point information of the equipment to be inspected, it is possible to reduce the creation of erroneous teacher information by creating the teacher information only at the timing when the moving object approaches the point where the equipment exists. In particular, when there are a plurality of types of equipment to be inspected and the dimensional data of each is similar, erroneous detection of the equipment can be reduced.
  • the current position information of the moving body acquired by the position information acquisition unit 7 is supplied only to the teacher creation method control unit 8, but for example, the moving body acquired by the position information acquisition unit 7
  • the current position information may be supplied to the first sensor 1 and the second sensor 2, and data may be acquired from each sensor only at the timing when the moving object approaches the point where the equipment exists. Power consumption can be reduced by acquiring sensor data only at the required timing.
  • the teacher information creation unit 4 tries to create teacher information at the timing when the moving object approaches the point where the equipment exists, but the area matching the dimensional data of the equipment cannot be specified from the three-dimensional data. , The specific failure of the area may be saved as a log. In this situation, the equipment may deviate significantly from the normal installation situation, and even in the process of the learning phase of this system where learning is performed while creating the teacher information of the object detection unit 3, there are remarkable installation defects, etc. It is possible to determine the presence or absence of an abnormality in.
  • the equipment inspection system detects an object by acquiring the position information of the moving body and identifying the area matching the dimensional data of the equipment at the current position of the moving body. It is possible to reduce the power consumption when automatically creating the teacher information used for the system, and it is possible to reduce the creation of erroneous teacher information.
  • FIG. 7 is a diagram showing an overall configuration of the equipment inspection system according to the third embodiment of the present invention.
  • the spatial measurement resolution around the moving body is improved by interpolating the 3D data acquired at the present time using the 3D data acquired in the past at the same point, and the teacher information used for object detection.
  • the purpose is to provide an equipment inspection system that automatically creates.
  • the equipment inspection system of this embodiment is configured by adding the position information acquisition unit 7, the second sensor database 9, and the interpolation unit 10 to the configuration shown in FIG. 1 (a) of the first embodiment. ..
  • the second sensor database 9 stores the three-dimensional data acquired by the second sensor 2 while traveling in association with the position information of the moving body, and also stores the three-dimensional data acquired in the past at the same point in the interpolation unit 10. Supply.
  • the interpolation unit 10 interpolates the three-dimensional data at the present time using the three-dimensional data acquired in the past at the same point, and outputs the interpolated three-dimensional data.
  • the part where the point cloud does not exist cannot be measured.
  • the density of the point cloud that can be acquired decreases, so that the measurement resolution of the space decreases. Therefore, by using the three-dimensional data acquired in the past at the same point and interpolating the part where the point cloud does not exist, the density of the point cloud can be increased and the spatial measurement resolution can be improved.
  • the past three-dimensional data used for interpolation may be one or more. Further, the past three-dimensional data used for interpolation may be data at the same time or data at different times.
  • the current point cloud and the past point cloud are matched with each other, or one or both point clouds are converted into a mesh and then matched, and the spatial structure shown by both point clouds is obtained.
  • Three-dimensional data can be interpolated by calculating matching alignment parameters.
  • the traveling of the railroad vehicle is limited to the railroad track, so that the three-dimensional data can be repeatedly acquired under similar conditions, and a large amount of three-dimensional data is retained for use in interpolation.
  • Spatial measurement resolution can be improved efficiently. As a result, it is possible to improve the accuracy of identifying the area that matches the dimensional data of the equipment at the current position of the moving object, and reduce the omission of creation of teacher information and the creation error.
  • the teacher information used for object detection is automatically obtained by interpolating the three-dimensional data acquired at the present time using the three-dimensional data acquired in the past at the same point. It is possible to improve the spatial measurement resolution around the moving object when creating the object.
  • FIG. 8 is a diagram showing an overall configuration of the equipment inspection system according to the fourth embodiment of the present invention.
  • the traveling space of a moving object is recognized from an image
  • the area where the equipment to be inspected can exist in the three-dimensional data is limited based on the recognized traveling space, and the teacher information used for object detection is automatically performed.
  • the purpose is to provide an equipment inspection system to be created.
  • the equipment inspection system of this embodiment is configured by adding the traveling space recognition unit 11 to the configuration shown in FIG. 1 (a) of the first embodiment.
  • the traveling space recognition unit 11 recognizes the traveling space of the moving body from the image acquired by the first sensor 1, and calculates and calculates the area around the recognized traveling space where the equipment to be inspected may exist.
  • the information of the area is supplied to the teacher information creation unit 4.
  • the area where the equipment to be inspected can exist is the area to be inspected regardless of whether the outer circumference of the traveling space is set as one area, different ranges are set in the vertical and horizontal directions of the traveling space, or different ranges are set for each traveling section. A different range may be set for each facility.
  • the teacher information creation unit 4 reads the equipment database 5 and identifies an area of the three-dimensional data acquired by the second sensor 2 that matches the dimensional data of the equipment in the area where the equipment to be inspected may exist.
  • the traveling space recognized by the traveling space recognition unit 11 is estimated to be between the white lines detected on the left and right based on the white lines detected in the image (lane dividing line, etc.). can.
  • the moving body is a railroad vehicle, it can be estimated that the track in the image is detected and the area is a predetermined area in the upward direction and the left-right direction from the position of the track based on the detected track.
  • the equipment to be inspected is installed outside the traveling space, not the traveling space in which the moving object travels. Therefore, when the teacher information creation unit 4 identifies an area that matches the dimensional data of the equipment from the three-dimensional data, by limiting the search range to the outside of the traveling space, the processing time required for the search can be shortened and the traveling can be performed. It is possible to reduce erroneous detection of equipment to be inspected inside the space.
  • the traveling space of the moving body is recognized from the image, and based on the traveling space, the area where the equipment to be inspected can exist is limited in the three-dimensional data, and the object is detected. It is possible to shorten the processing time when automatically creating the teacher information used for, and reduce the creation of erroneous teacher information.
  • FIG. 9 is a diagram showing an overall configuration of an equipment inspection system according to an embodiment of the present invention.
  • a plurality of moving objects and a data center are connected in an edge cloud configuration, a common object detection model is distributed to a plurality of moving objects for learning, and learning results are aggregated to form a common object detection model.
  • the purpose is to provide an updated equipment inspection system.
  • the equipment inspection system of this embodiment is configured by adding the model distribution unit 12, the model aggregation unit 13, and the model update unit 14 to the configuration shown in FIG. 1 (a) of the first embodiment.
  • the model distribution unit 12 distributes the commonly used object detection model to the object detection unit 3 of a plurality of moving objects.
  • Each moving object has any of the configurations shown in Examples 1 to 4, and creates teacher information of the object detection unit 3, learns the object detection model, and updates the object detection unit 13. Aggregate the model into the data center.
  • the object detection model to be aggregated may be the entire object detection model or only the updated differences. By aggregating only the differences, the amount of data to be transferred can be reduced.
  • the model update unit 14 updates the commonly used object detection model based on the aggregated object detection model. By repeating the above processing, it is possible to learn a commonly used object detection model.
  • the configuration of this embodiment when the configuration of this embodiment is used for an obstacle detection system in front of a moving body, a photographed image of a person as a main learning target of the object detection unit 3 moves via a network line from the viewpoint of privacy protection. Transfer to the outside of the body is not preferred. According to the configuration of this embodiment, since the data is not transmitted to the outside of the moving body, it is possible to learn the object detection model commonly used while protecting the privacy of the person used for learning.
  • the model distribution unit 12, the model aggregation unit 13, and the model update unit 14 are provided in a data center installed in a place different from the mobile body, but they are included in one of the plurality of mobile bodies.
  • the processing unit may be provided to share a common object detection model.
  • a plurality of moving objects and a data center are connected in an edge cloud configuration, a common object detection model is distributed to the plurality of moving objects for learning, and the learning results are aggregated. It is possible to realize an equipment inspection system that updates a common object detection model.
  • the present invention is applied to an equipment inspection system for inspecting equipment such as signs has been mainly described, but it may be applied to other uses.
  • it may be applied to the obstacle detection system in front of the moving body described in the fifth embodiment.
  • the moving body may be a car, a railroad vehicle, a tram, a drone, or the like.
  • the equipment inspection system of the embodiment of the present invention is mounted on the moving body and is mounted on the first sensor 1 that captures an image of the surroundings of the traveling space, and is mounted on the moving body and is mounted on the surroundings of the traveling space.
  • the second sensor 2 that acquires the three-dimensional data of the above, the equipment database 5 that stores the dimensional data of one or more types of equipment to be inspected, and the area that matches the dimensional data are specified from the three-dimensional data to create teacher information.
  • the area that matches the dimensional data of the equipment is specified from the three-dimensional data of the traveling space and used for the object detection.
  • Teacher information can be created automatically.
  • the equipment to be inspected is detected from the image taken by the first sensor 1. Therefore, in the operation phase, only the first sensor 1 is used to check the surrounding state of the moving body. By grasping and controlling the cost, this system after learning is completed will be installed in many moving objects, and it will be possible to inspect equipment over a wide area.
  • a position information acquisition unit 7 for acquiring the current position information of the moving body and a teacher creation method control unit 8 for supplying information on the equipment to be inspected to the teacher information creation unit 4 are provided, and the teacher creation method control unit 8 is provided.
  • the dimensional data of the equipment to be inspected and the installation point information are acquired from the equipment database 5, and the acquired installation point information is collated with the current position information of the moving body, and at the timing when the point where the equipment to be inspected exists is approached. Since the information of the equipment to be inspected is supplied to the teacher information creation unit 4, the operation of the teacher information creation unit 4 in a position where the equipment does not exist can be suppressed, and the power consumption when creating the teacher information can be reduced, which is incorrect. Creation of teacher information can be reduced.
  • a position information acquisition unit 7 that acquires the current position information of the moving body
  • a second sensor database 9 that stores the three-dimensional data acquired by the second sensor 2 in association with the position information of the moving body
  • a second sensor database 9 that stores the three-dimensional data acquired by the second sensor 2 in association with the position information of the moving body
  • Interpolator unit that reads the 3D data acquired in the past from the second sensor database 9, interpolates the current 3D data using the 3D data acquired in the past at the same point, and outputs the interpolated 3D data. Since it is provided with 10, the spatial measurement resolution of the 3D data used when creating teacher information by interpolating the 3D data acquired at the present time using the 3D data acquired in the past at the same point can be obtained. Can be improved.
  • the first sensor 1 is provided with a traveling space recognition unit 11 that recognizes the traveling space of the moving body from the image taken and calculates the area where the equipment to be inspected may exist based on the recognized traveling space, and provides teacher information.
  • the creating unit 4 reads the data from the equipment database 5, and among the three-dimensional data acquired by the second sensor 2, the dimensions of the equipment to be inspected in the area where the equipment to be inspected calculated by the traveling space recognition unit 11 can exist. Since teacher information is created by identifying the area that matches the data, the traveling space of the moving object is recognized from the image, and the area where the equipment to be inspected can exist in the three-dimensional data is limited based on the traveling space. Therefore, the processing time when creating teacher information can be shortened, and the creation of erroneous teacher information can be reduced.
  • the moving object is a railroad vehicle, it travels in the same position every day, so it is possible to repeatedly acquire the data of the same scene and create high-quality teacher information.
  • the moving body is a railroad vehicle
  • the traveling space recognition unit 11 detects the railroad track from the image taken by the first sensor 1 and recognizes the traveling space of the moving object, so that the traveling space can be reliably recognized. , Creation of incorrect teacher information can be reduced.
  • a state determination system including a state determination device (moving body) and a center device (data center), and the center device is an object detection model commonly used in an object detection unit of a plurality of moving bodies.
  • a model distribution unit 12 that distributes to the object detection unit of each moving object, a model aggregation unit 13 that aggregates the entire object detection model learned by a plurality of moving objects or the difference updated by learning, and an aggregated object detection model.
  • the object detection unit 3 of the moving body has a model update unit 14 that updates the commonly used object detection model, and the object detection unit 3 of the moving object is to be inspected by using the object detection model distributed by the model distribution unit 12. Since the name and area of the equipment are output, the learning results of each moving object can be aggregated to update the common object detection model, and the equipment to be inspected over a wide area can be efficiently learned.
  • the present invention is not limited to the above-mentioned embodiment, but includes various modifications and equivalent configurations within the scope of the attached claims.
  • the above-described examples have been described in detail in order to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those having all the described configurations.
  • a part of the configuration of one embodiment may be replaced with the configuration of another embodiment.
  • the configuration of another embodiment may be added to the configuration of one embodiment.
  • other configurations may be added / deleted / replaced with respect to a part of the configurations of each embodiment.
  • each configuration, function, processing unit, processing means, etc. described above may be realized by hardware by designing a part or all of them by, for example, an integrated circuit, and the processor realizes each function. It may be realized by software by interpreting and executing the program to be executed.
  • Information such as programs, tables, and files that realize each function can be stored in a storage device such as a memory, a hard disk, SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.
  • a storage device such as a memory, a hard disk, SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.
  • control lines and information lines show what is considered necessary for explanation, and do not necessarily show all the control lines and information lines necessary for implementation. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

状態判定装置であって、移動体に搭載され、走行空間の周囲の画像を撮影する第一のセンサーと、前記移動体に搭載され、走行空間の周囲の三次元データを取得する第二のセンサーと、一種類以上の点検対象設備の寸法データを格納する設備データベースと、前記三次元データから前記寸法データに合致する領域を特定して教師情報を作成する教師情報作成部と、前記撮影された画像を物体検出モデルに入力して、前記点検対象設備の名称及び領域を出力する物体検出部と、少なくとも前記三次元データを用いて、前記物体検出部の出力結果が前記教師情報に近づくように前記物体検出モデルの内部パラメータを学習する学習部と、を備える。

Description

状態判定装置、状態判定システム及び状態判定方法 参照による取り込み
　本出願は、令和２年（２０２０年）１１月４日に出願された日本出願である特願２０２０－１８４２８２の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、状態判定装置に関する。
　本技術分野の背景技術として、特開２０２０－１０７１７４号（特許文献１）がある。該公報には、「パレットは、搬送装置による搬送対象であり、特定部位を有する。マーカは、学習時において、パレットの所定位置に取り付けられる。」「計算機は、プロセッサを含み、プロセッサは、学習時において、第１画像データにもとづいて第２画像データの中からマーカの位置を検出し、第２画像データから、パレットの特定部位を含む部分を教師データとして切り出し、教師データを使用して機械学習を行い、識別器に必要な情報を生成する。」と記載されている。
　状態判定装置及び方法の主な用途として、例えば、移動体に搭載され、周囲の撮影画像を用いて標識等の設備の点検を行う設備点検システムがある。Ｄｅｅｐ　Ｌｅａｒｎｉｎｇなどの機械学習技術による物体検出を用いて本システムを構築するために、教師情報の作成に膨大な工数が必要であるという課題がある。
　特開２０２０－１０７１７４号に記載された技術では、パレットは、搬送装置による搬送対象であり、特定部位を有する。マーカは、学習時において、パレットの所定位置に取り付けられる。また、計算機は、プロセッサを含み、プロセッサは、学習時において、第１画像データにもとづいて第２画像データの中からマーカの位置を検出し、第２画像データから、パレットの特定部位を含む部分を教師データとして切り出し、教師データを使用して機械学習を行い、識別器に必要な情報を生成する。しかしながら、公知の設備点検システムに特開２０２０－１０７１７４号に記載された技術を適用しても、既設の広範囲の設備にマーカを取り付ける膨大な工数が必要であり、改善の余地がある。
　本発明は、走行空間の周囲の三次元データから設備の寸法データに合致する領域を特定して、物体検出に使用する教師情報を自動的に作成する状態判定装置及び状態判定方法の提供を目的とする。
　本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、状態判定装置であって、移動体に搭載され、走行空間の周囲の画像を撮影する第一のセンサーと、前記移動体に搭載され、走行空間の周囲の三次元データを取得する第二のセンサーと、一種類以上の点検対象設備の寸法データを格納する設備データベースと、前記三次元データから前記寸法データに合致する領域を特定して教師情報を作成する教師情報作成部と、前記撮影された画像を物体検出モデルに入力して、前記点検対象設備の名称及び領域を出力する物体検出部と、少なくとも前記三次元データを用いて、前記物体検出部の出力結果が前記教師情報に近づくように前記物体検出モデルの内部パラメータを学習する学習部と、を備えることを特徴とする。
　本発明の一態様によれば、物体検出に使用する教師情報を自動的に作成できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
本発明の実施例１の設備点検システムの学習フェーズにおける全体構成を示す図である。 本発明の実施例１の設備点検システムの運用フェーズにおける全体構成を示す図である。 本発明の実施例１の設備点検システムの、学習フェーズで取得した画像を示す図である。 本発明の実施例１の設備点検システムの、学習フェーズで取得した三次元データを示す図である。 本発明の実施例１の設備点検システムの、学習フェーズで作成した教師情報を示す図である。 本発明の実施例１の設備点検システムの、カーブに設置された点検対象設備に関して教師情報を作成する際の動作を示す図である。 本発明の実施例１の設備点検システムの、物体検出部の学習開始直後の状態における物体検出結果を示す図である。 本発明の実施例１の設備点検システムの、物体検出部の学習が進んだ後の状態における物体検出結果を示す図である。 本発明の実施例１の設備点検システムにおける内部処理の一例を示すフローチャートである。 本発明の実施例２の設備点検システムの全体構成を示す図である。 本発明の実施例３の設備点検システムの全体構成を示す図である。 本発明の実施例４の設備点検システムの全体構成を示す図である。 本発明の実施例５の設備点検システムの全体構成を示す図である。
　以下、本発明の実施形態の例を、図面を用いて説明する。
　＜実施例１＞
　本実施例では、本発明の状態判定装置、状態判定システム及び状態判定方法の主な用途である設備点検システムについて説明する。設備点検システムは、移動体の周囲を撮影した画像を用いて、標識等の設備における汚れや破損等の有無の点検を行うことを目的とする。
　図１（ａ）乃至図１（ｂ）は本発明の実施例１の設備点検システムの全体構成を示す図であり、図２（ａ）乃至図４（ｂ）は、本発明の実施例１の設備点検システムの動作を説明する模式図である。本実施例では、物体検出の学習用画像の撮影と同時に、走行空間の周囲の三次元データを取得し、三次元データから設備の寸法データに合致する領域を特定することによって、物体検出に使用する教師情報を自動的に作成する設備点検システムについて説明する。本実施例において、走行空間は、移動体（例えば、列車、自動車）が走行しうる範囲であり、点検対象の設備は走行空間の外側周囲に設置される。
　［システム構成］
　本発明の実施例１の設備点検システムの構成と動作について説明する。本実施例の設備点検システムは、図１（ａ）に示す通り、第一のセンサー１、第二のセンサー２、物体検出部３、教師情報作成部４、設備データベース５及び学習部６から構成されている。第一のセンサー１は、画像を取得するカメラ等のデバイスである。第二のセンサー２は、空間の三次元データを取得するＬｉｄａｒ、ミリ波レーダー、ステレオカメラ等のデバイスである。Ｌｉｄａｒは高精度の点群データを取得でき、ミリ波レーダーは周囲環境によらず低分解能の点群データを取得でき、ステレオカメラは安価で距離画像が得られる特徴がある。第一のセンサー１と第二のセンサー２は、同期しており、同一のタイミングでデータを取得する。設備データベース５は、点検対象設備の実際の寸法データを格納する。設備データベース５は、点検対象設備が設置される位置や高さのデータを格納してもよい。点検対象設備は、一種類に限らず、複数種類でもよい。設備データベース５に格納される寸法データ、点検対象設備の寸法の上限値及び下限値でも、点検対象設備の設計値及び認識において生じ得る誤差範囲でもよい。この誤差範囲はセンサー毎に異なる値を保持してもよい。
　設備点検システムは、学習フェーズでは、図１（ａ）に示すように、全構成要素がアクティブとなり、学習完了後の運用フェーズでは、図１（ｂ）に示すように、第一のセンサー１と物体検出部３がアクティブとなる。運用フェーズにおいて、第一のセンサー１のみを使用して移動体の周囲の状態の把握することによって、コストを抑えながら学習完了後の本システムを多くの移動体に搭載し、広域の設備点検が可能となる。
　図１（ａ）を参照して、学習フェーズの動作について説明する。まず、第一のセンサー１は、移動体の周囲の状態を撮影し、画像を取得する。第二のセンサー２は、移動体の周囲の三次元データを取得する。このとき、前記三次元データが点群データの場合は、例えば、前記画像と撮影方向及び画角が一致した距離画像に適宜変換するとよい。また、前記三次元データは、前記画像内の被写体と三次元データとの対応が取れるようにしておく。教師情報作成部４は、設備データベース５を読み込み、前記三次元データから設備の寸法データに合致する領域を特定する。そして、特定された領域を撮影された画像内の座標系に変換する。そして、設備の名称と特定された領域の情報を、撮影された画像における物体検出の教師情報として出力する。物体検出部３は、内部にＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）等の物体検出モデルを有し、前記撮影された画像と前記三次元データを入力し、検出結果として点検対象設備の名称及び領域を出力する。学習部６は、前記出力された教師情報と前記検出結果の差分が小さくなるように、すなわち物体検出部３の検出精度（設備名称の識別精度及び領域の特定精度）を高めるように、物体検出モデルの内部パラメータを更新する。領域の特定精度は、例えばＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｏｎ）を用いて計算できる。
　物体検出部３は、一対の画像と教師情報を用いて内部パラメータを更新してもよい。又は、物体検出部３は、教師情報バッファーに格納された所定数の教師情報と画像バッファーに格納された所定数の撮影画像を用いて内部パラメータを更新してもよい。複数枚の画像を用いた学習によって、より汎用的な画像特徴を学習できる。
　図２（ａ）乃至図２（ｃ）は、本発明の一実施例である設備点検システムの学習フェーズの動作を説明する模式図である。第一のセンサー１が撮影した画像Ｆ２０１には、図２（ａ）に示すように、点検対象の信号機Ｆ２０２が写っている。このとき、同一タイミングで取得した三次元データ（距離画像）Ｆ２０３には、図２（ｂ）に示すように、設備データベース５より読み出した信号機の寸法と合致する領域Ｆ２０４が存在する。この信号機の寸法と合致する領域Ｆ２０４を探索によって見付け出すことによって、物体検出部３の教師情報Ｆ２０５（図２（ｃ）参照）を作成する。
　信号機の寸法と合致する領域Ｆ２０４の探索方法の一例について説明する。まず、三次元データ（距離画像）Ｆ２０３において、地表より上の位置で所定の大きさを有する設備候補領域群Ｆ２０６を算出する。そして、設備データベース５より読み出した探索する設備の寸法の下限と上限満たす領域を、設備候補領域群Ｆ２０６の中から抽出すると、信号機の寸法と合致する領域Ｆ２０４が特定できる。探索される設備が設置される高さ等の設定位置に関する条件が設備データベース５に記録されている場合、設備候補領域群Ｆ２０６の算出の段階又は信号機の寸法と合致する領域Ｆ２０４の特定の段階において、設置位置の条件によるフィルタリング処理によって、誤特定を低減できる。
　第二のセンサー２としてステレオカメラを使用する場合、左右の撮影画像の各画素位置における視差を算出することによって、三次元データとして距離画像が得られる。一方、第二のセンサー２としてＬｉｄａｒ及びミリ波レーダーを使用する場合、三次元データとして空間を構成する離散的な点群データが得られる。図２（ｂ）乃至図２（ｃ）では、距離画像における信号機の探索の様子を示すが、点群の状態で探索を行い、信号機の寸法と合致する領域を見つけた後に、第一のセンサー１の画像における座標系に変換してもよい。
　図３は、カーブに設置された点検対象設備の教師情報を作成する際の動作の模式図である。急なカーブには大きなカントが設けられているため、画像や三次元データは傾いた状態で取得される。従って、傾きの影響を考慮して教師情報を作成する。傾きの情報は、例えば、移動体に搭載したジャイロセンサーや、敷設される線路の設計値を使用できる。そして、信号機の寸法と合致する領域を探索する際は、例えば、傾きの影響を考慮して探索の寸法の下限と上限を調整して（水平方向の寸法を大きくし、垂直方向の寸法を小さくする）、探索を行う。又は、信号機Ｆ３０２の実際の設置状況と一致するように三次元データ全体の傾きを補正した後、探索を行ってもよい。探索の後、探索結果と傾き情報に基づいて、第一のセンサー１による撮影画像Ｆ３０１内における信号機Ｆ３０２を包含するように、教師情報Ｆ３０３を作成する。
　例えば、移動体が路面電車である場合、路面電車の走行空間は自動車の走行空間と隣接したり重複することがあるため、第一のセンサー１及び第二のセンサー２には自動車や二輪車といった様々な物体が写り込む。そこで、寸法データを用いて点検対象設備の探索を行う際、例えば、画像から自動車や二輪車を検出する検出部を別途設け、自動車や二輪車を検出した位置を探索範囲から除外するように三次元データに対してフィルタリングを行うことで、これらの物体の点検対象設備であると特定する誤判定を低減できる。
　図４（ａ）は、物体検出部３の学習開始直後の状態における物体検出結果を示し、図４（ｂ）は、物体検出部３の学習が進んだ後の状態における物体検出結果を示す模式図である。図４（ａ）に示すように、物体検出部３の学習開始直後は、信号機の画像特徴を好適に捉えることはできないため、学習開始直後の検知結果Ｆ４０１には、信号機の存在しない場所を示す誤検出や、信号機を見逃す未検出が含まれる。やがて、信号機の画像特徴の学習が進み、図４（ｂ）に示すように、学習が進んだ後の検知結果Ｆ４０２は、信号機の位置や大きさを好適に推定できるようになる。本発明の設備点検システムでは、移動体が走行する過程で、教師情報の作成及び物体検出部３の学習を自動的に行うことが可能である。
　第一のセンサー１が取得した画像から点検対象設備を検出する物体検出モデルを学習するにあたり、第二のセンサー２が取得した三次元データを併せて使用することで、物体検出性能を向上できる。学習方法の第一の例は、画像と三次元データを共に入力データとして扱い、これらに対応付けられた教師情報を学習する方法である。すなわち、点検対象設備の名称及び領域を推定する物体検出タスクを、三次元データと画像のそれぞれについて学習し、三次元データからの物体検出タスクを通じて獲得した知識を、画像からの物体検出に活用する。第１の例では、画像のみからでは知りえない知識を物体検出モデルに埋め込むことで、画像からの物体検出精度を向上できる。学習方法の第二の例は、画像を入力データ、三次元データを物体検出とは別の教師情報として扱い、学習する方法である。すなわち、画像からの物体検出タスクと、画像から物体までの距離情報を推定する距離推定タスクを同時に学習する。第２の例では、異なる複数のタスクを同時に解かせ、複数のタスクに共通する潜在的な知識の獲得を促すことによって、物体検出タスク自体の精度を向上できる。
　運用フェーズの動作について、図１（ｂ）を用いて説明する。まず、第一のセンサー１は、移動体の周囲の状態を撮影し、画像を取得する。そして、学習済みの物体検出部３には、第一のセンサー１が取得した画像が入力され、点検対象設備の名称及び領域を検出結果として出力する。
　物体検出部３の動作の信頼性を確認する方法の一例として、物体検出部３が有する物体検出モデルの検出根拠を可視化する処理を物体検出部３に加えてもよい。検出根拠を可視化する方法としては、例えば、検出結果の出力に大きく寄与するＤＮＮの内部信号を強調表示する方法（例えば、反応の程度を表すヒートマップにおける強調表示）がある。例えば、運用フェーズにおいて点検対象設備以外の物体を誤検出した場合、誤検出した判断根拠を可視化することによって、誤検出したシーンと類似するシーンを追加学習することによって、同様の物体の誤検出を低減できる。
　物体検出部３の後段に、その後の点検を行いやすいように画像から検出した設備領域を抽出して保存する抽出処理部を設けてもよいし、汚れや破損等の有無を自動的に判定する異常判定部を設けてもよい。
　第一のセンサー１及び第二のセンサー２は、いずれも移動体に搭載し、周囲の状態を取得する。設備点検システムを鉄道標識等の点検に使用する場合には、移動体は鉄道車両である。物体検出部３、教師情報作成部４、設備データベース５及び学習部６の全てを移動体に搭載する場合、通信遅延の影響が少ない好適な条件下で学習ができる。ハードウェア搭載の都合によっては、一部の構成（例えば、物体検出部３、教師情報作成部４、設備データベース５、学習部６）を移動体外のデータセンター等の地上の施設に設け、通信を行いながら学習してもよい。
　［動作シーケンス］
　図５に、本実施例の処理フローの一例を示す。設備点検システムは、起動後、処理ループ内に移行し、ステップＳ５０１では処理ループ内において本実施例の設備点検システムの動作終了命令の有無を監視する。動作終了命令が検出された場合、処理を終了する。一方、動作終了命令が検出できず、動作を継続する場合、ステップＳ５０２において、第二のセンサー２より、移動体の周囲の三次元データを取得する。ステップＳ５０３において、設備データベース５を参照して、三次元データから設備の寸法データに合致する領域を探索する。ステップＳ５０４において、点検対象設備の有無、すなわち探索によって点検対象設備が検出されたかを判定する。点検対象設備が検出された場合、ステップＳ５０５において、第一のセンサー１の画像で物体検出を行うための教師情報を作成する。そして、ステップＳ５０６において、第一のセンサー１より移動体の周辺を撮影した画像を取得する。ステップＳ５０７において、取得した画像を物体検出モデルに入力し、検出結果を出力する。ステップＳ５０８において、作成された教師情報と出力された検出結果の差分が小さくなるよう、すなわち物体検出モデルの検出精度を高めるように、物体検出モデルの内部パラメータを更新する。
　なお、図５に示す処理フローは、第一のセンサー１より画像を取得する毎に物体検出モデルの学習を行う方法を例示しているが、教師情報バッファーと画像バッファーを設け、教師情報バッファーに格納された所定数の教師情報と画像バッファーに格納された所定数の撮影画像を用いて内部パラメータを更新してもよい。複数枚の画像を用いた学習によって、より汎用的な画像特徴を学習できる。
　以上の処理フローによって、本実施例の内部処理を連続的に行う設備点検システムを実現可能である。
　以上説明したように、本発明の実施例１では、物体検出の学習用画像の撮影と同時に、走行空間の周囲の三次元データを取得し、三次元データから設備の寸法データに合致する領域を特定することによって、設備点検システムが物体検出に使用する教師情報を自動的に作成できる。
　＜実施例２＞
　図６は、本発明の実施例２の設備点検システムの全体構成を示す図である。本実施例は、移動体の位置情報を取得し、移動体の現在の地点における設備の寸法データに合致する領域を特定することで、物体検出に使用する教師情報を自動的に作成する設備点検システムの提供を目的とする。
　［システム構成］
　本発明の実施例２の設備点検システムの構成と動作について説明する。図６に示す通り、本実施例の設備点検システムは、実施例１の図１（ａ）に示す構成に位置情報取得部７及び教師作成方法制御部８を加えて構成される。
　位置情報取得部７としては、例えばＧＰＳなどのＧＮＳＳ受信機を用いる。位置情報取得部７は、移動体の現在の位置情報を取得する。教師作成方法制御部８は、設備データベース５から点検対象設備の寸法データと設置地点情報を取得し、位置情報取得部７が取得した移動体の現在の位置情報と照合して、設備が存在する地点に移動体が近づいたタイミングで教師情報作成部４を起動し、設備データベース５から取得した点検対象設備の名称及び寸法データを教師情報作成部４に供給する。教師情報作成部４は、点検対象設備の名称及び寸法データが供給されたタイミングにおいて、供給された点検対象設備の名称及び寸法データに基づいて教師情報を作成する。学習部６は、教師情報が供給されたタイミングで、物体検出部３の内部パラメータを更新する。
　設備データベース５が点検対象設備の設置地点情報を有する場合、設備が存在する地点に移動体が近づいたタイミングでのみ教師情報を作成することによって、誤った教師情報の作成を低減できる。特に、点検対象設備が複数種類あり、各々の寸法データが類似する場合に、設備の誤検出を低減できる。
　図６に示す構成では、位置情報取得部７が取得した移動体の現在の位置情報は、教師作成方法制御部８のみに供給されるが、例えば、位置情報取得部７が取得した移動体の現在の位置情報を第一のセンサー１及び第二のセンサー２にも供給し、設備の存在する地点に移動体が近づいたタイミングでのみ各センサーからデータを取得してもよい。必要なタイミングのみでセンサーデータを取得することによって、消費電力を低減できる。
　あるいは、設備の存在する地点に移動体が近づいたタイミングにおいて、教師情報作成部４が教師情報の作成を試みたものの、三次元データから設備の寸法データに合致する領域を特定することができない場合、領域の特定の失敗をログとして保存してもよい。この状況では、設備が正常な設置状況から著しく逸脱している可能性があり、物体検出部３の教師情報を作成しつつ学習を行う本システムの学習フェーズの過程においても、顕著な設置不備等の異常の有無を判定できる。
　以上説明したように、本発明の実施例２では、移動体の位置情報を取得し、移動体の現在の地点における設備の寸法データに合致する領域を特定することによって、設備点検システムが物体検出に使用する教師情報を自動的に作成する際の消費電力を低減でき、誤った教師情報の作成を低減できる。
　＜実施例３＞
　図７は、本発明の実施例３の設備点検システムの全体構成を示す図である。本実施例は、同一地点において過去に取得した三次元データを用いて、現時点で取得した三次元データを補間することによって、移動体周囲の空間計測分解能を向上させ、物体検出に使用する教師情報を自動的に作成する設備点検システムの提供を目的とする。
　［システム構成］
　本発明の実施例３の設備点検システムの構成と動作について説明する。図７に示す通り、本実施例の設備点検システムは、実施例１の図１（ａ）に示す構成に位置情報取得部７、第二のセンサーデータベース９及び補間部１０を加えて構成される。
　第二のセンサーデータベース９は、走行中に第二のセンサー２が取得した三次元データと移動体の位置情報を関連付けて保存すると共に、同一地点で過去に取得した三次元データを補間部１０に供給する。補間部１０は、同一地点で過去に取得した三次元データを用いて、現時点で三次元データを補間し、補間された三次元データを出力する。
　第二のセンサー２として、例えばＬｉｄａｒやミリ波レーダーなどを使用し、空間を構成する離散的な点群として三次元データを取得する場合、点群の存在しない部分は計測できない。特に、移動体の速度が大きければ取得できる点群の密度が低下するため、空間の計測分解能が低下する。そこで、同一地点で過去に取得した三次元データを用い、点群の存在しない部分を補間することによって、点群の密度を高め、空間計測分解能を向上できる。補間に使用する過去の三次元データは、一つでも複数でもよい。また、補間に使用する過去の三次元データは、同一時刻のデータでも、異なる時刻のデータでもよい。
　三次元データの補間において、例えば現在の点群と過去の点群同士をマッチングしたり、若しくは、一方又は両方の点群をメッシュに変換した後にマッチングして、両者の点群が示す空間構造が一致する位置合わせパラメータの算出によって、三次元データを補間できる。特に、移動体が鉄道車両である場合、鉄道車両の走行は線路上に限定されるため、近似した条件下における三次元データを繰り返し取得でき、補間に使用するために多量の三次元データ保持し、空間計測分解能を効率的に向上できる。これによって、移動体の現在の地点における設備の寸法データに合致する領域の特定精度を高め、教師情報の作成洩れや作成ミスを低減できる。
　以上に説明したように、本発明の実施例３では現時点で取得した三次元データを、同一地点において過去に取得した三次元データを用いて補間することによって、物体検出に使用する教師情報を自動的に作成する際に、移動体周囲の空間計測分解能を向上できる。
　＜実施例４＞
　図８は、本発明の実施例４の設備点検システムの全体構成を示す図である。本実施例は、画像から移動体の走行空間を認識し、認識された走行空間に基づいて、三次元データにおいて点検対象設備が存在し得る領域を限定し、物体検出に使用する教師情報を自動的に作成する設備点検システムの提供を目的とする。
　［システム構成］
　本発明の実施例４の設備点検システムの構成と動作について説明する。図８に示す通り、本実施例の設備点検システムは、実施例１の図１（ａ）に示す構成に、走行空間認識部１１を加えて構成される。
　走行空間認識部１１は、第一のセンサー１が取得した画像から、移動体の走行空間を認識し、認識された走行空間の周囲の点検対象設備が存在し得る領域を算出し、算出された領域の情報を教師情報作成部４に供給する。点検対象設備が存在し得る領域は、走行空間の外側周囲を一つの領域としても、走行空間の上下左右に異なる範囲を設定しても、走行区間毎に異なる範囲を設定しても、点検対象設備ごとに異なる範囲を設定してもよい。教師情報作成部４は、設備データベース５を読み込み、第二のセンサー２が取得した三次元データのうち、点検対象設備が存在し得る領域において、設備の寸法データに合致する領域を特定する。
　走行空間認識部１１が認識する走行空間は、例えば移動体が自動車であれば、画像内で検出された白線（車線区分線など）に基づいて、左右に検出された白線の間であると推定できる。又は、例えば、移動体が鉄道車両であれば、画像内の線路を検出し、検出された線路に基づいて、当該線路の位置から上方向及び左右方向の所定の領域であると推定できる。
　点検対象設備は、移動体が走行する走行空間ではなく、走行空間の外部に設置される。従って、教師情報作成部４において、三次元データから設備の寸法データに合致する領域を特定する際、探索を行う範囲を走行空間外部に限定することで、探索に要する処理時間を短縮でき、走行空間内部での点検対象設備の誤検出を低減できる。
　以上説明したように、本発明の実施例４では、画像から移動体の走行空間を認識し、前記走行空間に基づいて、三次元データにおいて点検対象設備が存在し得る領域を限定し、物体検出に使用する教師情報を自動的に作成する際の処理時間を短縮でき、誤った教師情報の作成を低減できる。
　＜実施例５＞
　図９は、本発明の一実施例である設備点検システムの全体構成を示す図である。本実施例は、複数の移動体とデータセンターをエッジクラウド構成で接続し、共通の物体検出モデルを複数の移動体に分配して学習を行い、学習結果を集約して共通の物体検出モデルを更新する設備点検システムの提供を目的とする。
　［システム構成］
　本発明の実施例５の設備点検システムの構成と動作について説明する。図９に示す通り、本実施例の設備点検システムは、実施例１の図１（ａ）に示す構成にモデル分配部１２、モデル集約部１３及びモデル更新部１４を加えて構成される。
　モデル分配部１２は、共通で使用される物体検出モデルを、複数の移動体の物体検出部３に分配する。各移動体は、実施例１乃至実施例４に示したいずれかの構成で、物体検出部３の教師情報を作成し、物体検出モデルを学習して、モデル集約部１３が更新された物体検出モデルをデータセンターに集約する。集約される物体検出モデルは、物体検出モデル全体でもよいし、更新された差分のみでもよい。差分のみを集約することによって、転送するデータ量を削減できる。モデル更新部１４は、集約された物体検出モデルに基づいて、共通して使用される物体検出モデルを更新する。以上の処理を繰り返し行うことによって、共通して使用される物体検出モデルを学習できる。
　図９に示す構成によって、複数の移動体からデータを収集して、広域に存在する点検対象設備を効率的に学習できる。また、本構成では、画像や三次元データなどのデータ自体を移動体からデータセンターに転送しないため、データの秘匿性を保ったまま、共通で使用する物体検出モデルを学習できる。
　例えば、本実施例の構成を移動体前方の障害物検知システムに使用する場合、物体検出部３の主要な学習対象としての人物の撮影画像は、プライバシー保護の観点から、ネットワーク回線を介して移動体の外部への転送は好ましくない。本実施例の構成によれば、データは移動体の外部に送信されないため、学習に用いられる人物のプライバシーを保護したまま、共通で使用する物体検出モデルを学習できる。
　図９に示す構成では、モデル分配部１２、モデル集約部１３及びモデル更新部１４は、移動体とは異なる場所に設置したデータセンター内に設けているが、複数の移動体の一つにこれらの処理部を設け、共通の物体検出モデルを共有するように構成してもよい。
　以上説明したように、本発明の実施例５では複数の移動体とデータセンターをエッジクラウド構成で接続し、共通の物体検出モデルを複数の移動体に分配して学習を行い、学習結果を集約して共通の物体検出モデルを更新する設備点検システムを実現可能である。
　前述した実施例では、本発明を標識等の設備の点検を行うための設備点検システムに適用した場合について主に説明したが、他の用途に適用してもよい。例えば、実施例５で説明した、移動体前方の障害物検知システムに適用してもよい。移動体は、自動車、鉄道車両、路面電車、ドローンなどでもよい。
　以上に説明したように、本発明の実施例の設備点検システムは、移動体に搭載され、走行空間の周囲の画像を撮影する第一のセンサー１と、移動体に搭載され、走行空間の周囲の三次元データを取得する第二のセンサー２と、一種類以上の点検対象設備の寸法データを格納する設備データベース５と、三次元データから寸法データに合致する領域を特定して教師情報を作成する教師情報作成部４と、撮影された画像を物体検出モデルに入力して、点検対象設備の名称及び領域を出力する物体検出部３と、少なくとも三次元データを用いて、物体検出部の出力結果が教師情報に近づくように物体検出モデルの内部パラメータを学習する学習部６とを備えるので、走行空間の三次元データから設備の寸法データに合致する領域を特定して、物体検出に使用する教師情報を自動的に作成できる。
　また、学習部６の学習完了後は、第一のセンサー１が撮影した画像から点検対象設備を検出するので、運用フェーズにおいて、第一のセンサー１のみを使用して移動体の周囲の状態を把握して、コストを抑えながら学習完了後の本システムを多くの移動体に搭載し、広域の設備点検が可能となる。
　また、移動体の現在の位置情報を取得する位置情報取得部７と、点検対象設備の情報を教師情報作成部４に供給する教師作成方法制御部８とを備え、教師作成方法制御部８は、設備データベース５から点検対象設備の寸法データと設置地点情報を取得し、取得した設置地点情報と移動体の現在の位置情報とを照合して、点検対象設備が存在する地点に近づいたタイミングで、点検対象設備の情報を教師情報作成部４に供給するので、設備が存在しない位置での教師情報作成部４の動作を抑制し、教師情報を作成する際の消費電力を低減でき、誤った教師情報の作成を低減できる。
　また、移動体の現在の位置情報を取得する位置情報取得部７と、第二のセンサー２が取得した三次元データと移動体の位置情報とを関連付けて保存する第二のセンサーデータベース９と、第二のセンサーデータベース９から過去に取得した三次元データを読み出し、同一地点で過去に取得した三次元データを用いて現在の三次元データを補間し、補間された三次元データを出力する補間部１０とを備えるので、現時点で取得した三次元データを、同一地点において過去に取得した三次元データを用いて補間して、教師情報を作成する際に使用される三次元データの空間計測分解能を向上できる。
　また、第一のセンサー１が撮影した画像から移動体の走行空間を認識し、認識された走行空間に基づいて点検対象設備が存在し得る領域を算出する走行空間認識部１１を備え、教師情報作成部４は、設備データベース５からデータを読み込み、第二のセンサー２が取得した三次元データのうち、走行空間認識部１１が算出した点検対象設備が存在し得る領域において、点検対象設備の寸法データに合致する領域を特定することによって、教師情報を作成するので、画像から移動体の走行空間を認識し、走行空間に基づいて、三次元データにおいて点検対象設備が存在し得る領域を限定して、教師情報を作成する際の処理時間を短縮でき、誤った教師情報の作成を低減できる。
　また、移動体は鉄道車両であるので、同じ位置を毎日走行するので、同じシーンのデータを繰り返し取得でき、高品質な教師情報を作成できる。
　また、移動体は鉄道車両であって、走行空間認識部１１は、第一のセンサー１が撮影した画像から線路を検出し、移動体の走行空間を認識するので、走行空間を確実に認識でき、誤った教師情報の作成を低減できる。
　また、状態判定装置（移動体）と、センタ装置（データセンタ）とを備える状態判定システムであって、センタ装置は、複数の移動体の物体検出部において共通に使用される物体検出モデルを、各移動体の物体検出部に分配するモデル分配部１２と、複数の移動体で学習した物体検出モデルの全体又は学習によって更新された差分を集約するモデル集約部１３と、集約された物体検出モデルに基づいて、共通で使用される物体検出モデルを更新するモデル更新部１４とを有し、移動体の物体検出部３は、モデル分配部１２によって分配された物体検出モデルを用いて、点検対象設備の名称及び領域を出力するので、各移動体の学習結果を集約して共通の物体検出モデルを更新でき、広域に存在する点検対象設備を効率的に学習できる。
　なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
　また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
　各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (9)

  1. 　状態判定装置であって、
    　移動体に搭載され、走行空間の周囲の画像を撮影する第一のセンサーと、
    　前記移動体に搭載され、走行空間の周囲の三次元データを取得する第二のセンサーと、
    　一種類以上の点検対象設備の寸法データを格納する設備データベースと、
    　前記三次元データから前記寸法データに合致する領域を特定して教師情報を作成する教師情報作成部と、
    　前記撮影された画像を物体検出モデルに入力して、前記点検対象設備の名称及び領域を出力する物体検出部と、
    　少なくとも前記三次元データを用いて、前記物体検出部の出力結果が前記教師情報に近づくように前記物体検出モデルの内部パラメータを学習する学習部と、を備えることを特徴とする状態判定装置。
  2. 　請求項１に記載の状態判定装置であって、
    　前記学習部の学習完了後は、前記第一のセンサーが撮影した画像から点検対象設備を検出することを特徴とする状態判定装置。
  3. 　請求項１に記載の状態判定装置であって、
    　前記移動体の現在の位置情報を取得する位置情報取得部と、
    　前記点検対象設備の情報を前記教師情報作成部に供給する教師作成方法制御部と、を備え、
    　前記教師作成方法制御部は、前記設備データベースから前記点検対象設備の寸法データと設置地点情報を取得し、前記取得した設置地点情報と前記移動体の現在の位置情報とを照合して、前記点検対象設備が存在する地点に近づいたタイミングで、前記点検対象設備の情報を前記教師情報作成部に供給することを特徴とする状態判定装置。
  4. 　請求項１に記載の状態判定装置であって、
    　移動体の現在の位置情報を取得する位置情報取得部と、
    　前記第二のセンサーが取得した三次元データと前記移動体の位置情報とを関連付けて保存する第二のセンサーデータベースと、
    　前記第二のセンサーデータベースから過去に取得した三次元データを読み出し、同一地点で過去に取得した三次元データを用いて現在の三次元データを補間し、前記補間された三次元データを出力する補間部と、を備えることを特徴とする状態判定装置。
  5. 　請求項１に記載の状態判定装置であって、
    　前記第一のセンサーが撮影した画像から移動体の走行空間を認識し、前記認識された走行空間に基づいて前記点検対象設備が存在し得る領域を算出する走行空間認識部を備え、
    　前記教師情報作成部は、前記設備データベースからデータを読み込み、前記第二のセンサーが取得した三次元データのうち、前記走行空間認識部が算出した点検対象設備が存在し得る領域において、前記点検対象設備の寸法データに合致する領域を特定することによって、前記教師情報を作成することを特徴とする状態判定装置。
  6. 　請求項１に記載の状態判定装置であって、
    　前記移動体は、鉄道車両であることを特徴とする状態判定装置。
  7. 　請求項５に記載の状態判定装置であって、
    　前記移動体は、鉄道車両であって、
    　前記走行空間認識部は、前記第一のセンサーが撮影した画像から線路を検出し、移動体の走行空間を認識することを特徴とする状態判定装置。
  8. 　状態判定システムであって、
    　請求項１から７のいずれか一つに記載の状態判定装置と、
    　前記状態判定装置と通信可能に接続されたセンタ装置と、を備え、
    　前記センタ装置は、
    　複数の移動体の物体検出部において共通に使用される物体検出モデルを、各移動体の物体検出部に分配するモデル分配部と、
    　前記複数の移動体で学習した物体検出モデルの全体又は学習によって更新された差分を集約するモデル集約部と、
    　前記集約された物体検出モデルに基づいて、共通で使用される物体検出モデルを更新するモデル更新部と、を有し、
    　前記状態判定装置の物体検出部は、前記モデル分配部によって分配された物体検出モデルを用いて、前記点検対象設備の名称及び領域を出力することを特徴とする状態判定システム。
  9. 　計算機が実行する状態判定方法であって、
    　前記計算機は、所定の処理を実行する演算装置と、前記演算装置に接続された記憶デバイスと、一種類以上の点検対象設備の寸法データを格納する設備データベースと、を有し、
    　前記状態判定方法は、
    　前記演算装置が、移動体に搭載され、走行空間の周囲の画像を撮影する第一のセンサーデータ取得ステップと、
    　前記演算装置が、前記移動体に搭載され、走行空間の周囲の三次元データを取得する第二のセンサーデータ取得ステップと、
    　前記演算装置が、前記三次元データから前記寸法データに合致する領域を特定して教師情報を作成する教師情報作成ステップと、
    　前記演算装置が、前記撮影された画像を物体検出モデルに入力して、前記点検対象設備の名称及び領域を出力する物体検出ステップと、
    　前記演算装置が、少なくとも前記三次元データを用いて、前記物体検出ステップの出力結果が前記教師情報に近づくように前記物体検出モデルの内部パラメータを学習する学習ステップと、を備えることを特徴とする状態判定方法。
PCT/JP2021/037487 2020-11-04 2021-10-08 状態判定装置、状態判定システム及び状態判定方法 WO2022097426A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP21888979.8A EP4242996A1 (en) 2020-11-04 2021-10-08 Status determination device, status determination system, and status determination method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-184282 2020-11-04
JP2020184282A JP7427569B2 (ja) 2020-11-04 2020-11-04 状態判定装置、状態判定システム及び状態判定方法

Publications (1)

Publication Number Publication Date
WO2022097426A1 true WO2022097426A1 (ja) 2022-05-12

Family

ID=81457105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037487 WO2022097426A1 (ja) 2020-11-04 2021-10-08 状態判定装置、状態判定システム及び状態判定方法

Country Status (3)

Country Link
EP (1) EP4242996A1 (ja)
JP (1) JP7427569B2 (ja)
WO (1) WO2022097426A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992780A (zh) * 2023-09-25 2023-11-03 中南大学 数字化电解槽的温度传感器布置方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102838A (ja) * 2015-12-04 2017-06-08 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP2019211900A (ja) * 2018-06-01 2019-12-12 株式会社デンソー 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
JP2020021326A (ja) * 2018-08-01 2020-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置およびプログラム
JP2020107174A (ja) 2018-12-28 2020-07-09 住友ナコ フォ−クリフト株式会社 搬送システム、搬送装置、計算機、学習方法
JP2020184282A (ja) 2019-05-04 2020-11-12 五十嵐　敬一 著作権管理システム
JP2021047120A (ja) * 2019-09-19 2021-03-25 本田技研工業株式会社 認識装置、制御システム、認識方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102838A (ja) * 2015-12-04 2017-06-08 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP2019211900A (ja) * 2018-06-01 2019-12-12 株式会社デンソー 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
JP2020021326A (ja) * 2018-08-01 2020-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置およびプログラム
JP2020107174A (ja) 2018-12-28 2020-07-09 住友ナコ フォ−クリフト株式会社 搬送システム、搬送装置、計算機、学習方法
JP2020184282A (ja) 2019-05-04 2020-11-12 五十嵐　敬一 著作権管理システム
JP2021047120A (ja) * 2019-09-19 2021-03-25 本田技研工業株式会社 認識装置、制御システム、認識方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992780A (zh) * 2023-09-25 2023-11-03 中南大学 数字化电解槽的温度传感器布置方法
CN116992780B (zh) * 2023-09-25 2024-01-02 中南大学 数字化电解槽的温度传感器布置方法

Also Published As

Publication number Publication date
JP7427569B2 (ja) 2024-02-05
EP4242996A1 (en) 2023-09-13
JP2022074331A (ja) 2022-05-18

Similar Documents

Publication Publication Date Title
JP6826421B2 (ja) 設備巡視システム及び設備巡視方法
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US11280630B2 (en) Updating map data
WO2005029440A1 (ja) 路面走行レーン検出装置
US10936920B2 (en) Determining geographical map features with multi-sensor input
CN111105695B (zh) 地图制作方法、装置、电子设备及计算机可读存储介质
US11403947B2 (en) Systems and methods for identifying available parking spaces using connected vehicles
CN111652072A (zh) 轨迹获取方法、轨迹获取装置、存储介质和电子设备
WO2016031229A1 (ja) 道路地図作成システム、データ処理装置および車載装置
WO2022097426A1 (ja) 状態判定装置、状態判定システム及び状態判定方法
CN112639803B (zh) 用于识别设施处的物体的方法和组件
US20210304518A1 (en) Method and system for generating an environment model for positioning
Hu et al. A high-resolution surface image capture and mapping system for public roads
US20190354781A1 (en) Method and system for determining an object location by using map information
JP4462533B2 (ja) 路面走行レーン検出装置
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
JPH07271978A (ja) 画像処理装置
JP7229111B2 (ja) 地図更新データ生成装置及び地図更新データ生成方法
JP2022074331A5 (ja)
Horani et al. A framework for vision-based lane line detection in adverse weather conditions using vehicle-to-infrastructure (V2I) communication
Pradeep et al. Automatic railway detection and tracking inspecting system
US12033400B2 (en) Overhead-view image generation device, overhead-view image generation system, and automatic parking device
WO2024004325A1 (ja) 外界認識装置及び外界認識方法
EP3789907A1 (en) A system, a method for training a machine learning based processor circuitry suitable for characterizing an envi-ronment of a vehicle
Li et al. Automatic Surround Camera Calibration Method in Road Scene for Self-driving Car

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21888979

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021888979

Country of ref document: EP

Effective date: 20230605