KR102557637B1 - Railway asset management server, system, and method based on artificial intelligence - Google Patents
Railway asset management server, system, and method based on artificial intelligence Download PDFInfo
- Publication number
- KR102557637B1 KR102557637B1 KR1020210192120A KR20210192120A KR102557637B1 KR 102557637 B1 KR102557637 B1 KR 102557637B1 KR 1020210192120 A KR1020210192120 A KR 1020210192120A KR 20210192120 A KR20210192120 A KR 20210192120A KR 102557637 B1 KR102557637 B1 KR 102557637B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- asset
- railway
- railroad
- learning data
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 50
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 3
- 238000005299 abrasion Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
- G01S13/426—Scanning radar, e.g. 3D radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Traffic Control Systems (AREA)
Abstract
철도 자산 관리 서버가 개시된다. 철도 자산 관리 서버는, 스피커 및 디스플레이 중 적어도 하나를 포함하는 출력부, 적어도 하나의 카메라, 레이더 센서, 라이다 센서 및 초음파 센서를 포함하는 정보 획득부 및 상기 정보 획득부에서 획득된 데이터에 기초하여 적어도 하나의 철도 자산 상태 정보를 결정하고, 철도 자산 상태 정보가 출력되도록 출력부를 제어하는 자산 관리부를 포함하고, 자산 관리부는, 정보 획득부로부터 획득된 데이터를 저장하는 메모리; 데이터 및 상기 데이터를 이용하여 생성된 상기 학습 데이터에 기초하여, 적어도 하나의 철도 자산 클래스를 식별하도록 학습된 인공 지능 모델 및 식별된 철도 자산 클래스에 기초하여, 적어도 하나의 철도 자산 각각의 데이터의 획득 주기를 결정하고, 결정된 획득 주기마다 획득된 데이터에 기초하여, 적어도 하나의 철도 자산을 모니터링하도록 구성된 하나 이상의 프로세서를 포함할 수 있다.A railroad asset management server is started. The railway asset management server includes an output unit including at least one of a speaker and a display, an information acquisition unit including at least one camera, a radar sensor, a lidar sensor, and an ultrasonic sensor, and an asset management unit that determines at least one railway asset status information based on data obtained from the information acquisition unit and controls the output unit to output the railway asset status information, and the asset management unit includes a memory that stores the data obtained from the information acquisition unit; and one or more processors configured to determine an acquisition period of the data of each of the at least one railway asset based on the data and the learning data generated using the data, based on an artificial intelligence model learned to identify at least one railway asset class and the identified railway asset class, and to monitor the at least one railway asset based on the data obtained at each determined acquisition period.
Description
본 개시는 인공 지능 기반의 철도 자산 관리 서버, 시스템 및 방법에 관한 것이다. The present disclosure relates to an AI-based railway asset management server, system, and method.
철도(railway)는 열차의 운행에 필요한 일체의 설비를 포함하는 개념이다. 철도가 최적의 상태로 관리/유지되는 것은 열차 운행의 정시성 및 안정성을 확보하는데 필수적이다. 따라서, 철도에 대한 품질 감시 및 유지 보수는 주기적/효율적으로 이루어져야 한다.A railway is a concept that includes all facilities necessary for the operation of trains. It is essential to ensure the punctuality and stability of train operation that railroads are managed/maintained in optimal conditions. Therefore, quality monitoring and maintenance for railways must be performed periodically/efficiently.
종래에는 접촉식 센서(예로, 선형 가변 변위 변환기) 등과 같은 고가의 정밀 센서를 이용하여 철도의 상태를 감시하는 것이 일반적이었다. 다만, 이러한 접촉식 센서를 통해 철도의 상태를 감시하는 경우, 철로 표면의 접촉으로 인해 2차 마모가 발생할 수 있다. 또한, 이러한 방식으로 철도의 상태를 감시하는 것은 많은 인력, 시간 및 비용을 필요로 한다는 문제점이 존재하였다.Conventionally, it has been common to monitor railroad conditions using expensive precision sensors such as contact sensors (eg, linear variable displacement transducers). However, in the case of monitoring the condition of the railroad through such a contact sensor, secondary wear may occur due to contact with the railroad surface. In addition, there was a problem that monitoring the condition of the railroad in this way required a lot of manpower, time and cost.
본 개시는 상술된 문제점을 해결하기 위해 안출된 것으로서, 본 개시의 목적은 인공 지능 기반의 철도 자산 관리 서버, 시스템 및 방법을 제공함에 있다.The present disclosure has been made to solve the above-described problems, and an object of the present disclosure is to provide an artificial intelligence-based railway asset management server, system, and method.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present disclosure are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.
본 개시의 일 실시예로, 철도 자산 관리 서버는, 스피커 및 디스플레이 중 적어도 하나를 포함하는 출력부, 적어도 하나의 카메라, 레이더 센서, 라이다 센서 및 초음파 센서를 포함하는 정보 획득부 및 상기 정보 획득부에서 획득된 데이터에 기초하여 적어도 하나의 철도 자산 상태 정보를 결정하고, 상기 철도 자산 상태 정보가 출력되도록 상기 출력부를 제어하는 자산 관리부를 포함하고, 상기 자산 관리부는, 상기 정보 획득부로부터 획득된 상기 데이터를 저장하는 메모리, 상기 데이터 및 상기 데이터를 이용하여 생성된 상기 학습 데이터에 기초하여, 상기 적어도 하나의 철도 자산 클래스를 식별하도록 학습된 인공 지능 모델 및 상기 식별된 철도 자산 클래스에 기초하여, 상기 적어도 하나의 철도 자산 각각의 상기 데이터의 획득 주기를 결정하고, 상기 결정된 획득 주기마다 획득된 상기 데이터에 기초하여, 상기 적어도 하나의 철도 자산을 모니터링하도록 구성된 하나 이상의 프로세서를 포함할 수 있다.As an embodiment of the present disclosure, a railway asset management server includes an output unit including at least one of a speaker and a display, an information acquisition unit including at least one camera, a radar sensor, a lidar sensor, and an ultrasonic sensor, and an asset management unit that determines at least one railway asset status information based on data obtained from the information acquisition unit and controls the output unit to output the railway asset status information, wherein the asset management unit includes a memory for storing the data obtained from the information acquisition unit and the learning data generated using the data and the data and one or more processors configured to determine an acquisition period of the data of each of the at least one railway asset based on the identified railway asset class and an artificial intelligence model learned to identify the at least one railway asset class, and to monitor the at least one railway asset based on the data obtained at each determined acquisition period.
그리고, 상기 하나 이상의 프로세서는, 상기 결정된 획득 주기마다 획득된 상기 데이터에 기초하여, 상기 적어도 하나의 철도 자산 각각의 데이터의 유사도를 결정하고, 상기 적어도 하나의 철도 자산 각각의 데이터의 유사도가 미리 결정된 값 미만인 경우, 경고 신호를 포함한 상기 철도 자산 상태 정보가 출력되도록 상기 출력부를 제어할 수 있다.The one or more processors may determine a similarity of the data of each of the at least one railway asset based on the data acquired for each of the determined acquisition periods, and control the output unit to output the railway asset state information including a warning signal when the similarity of the data of each of the at least one railway asset is less than a predetermined value.
또한, 상기 학습 데이터 중 제1 학습 데이터는, 상기 적어도 하나의 카메라를 통해 획득된 이미지 및 상기 이미지 상의 적어도 일부에 대해 라벨링(labeling)이 수행된 전처리 데이터에 기초하여 생성될 수 있다.Also, the first learning data among the learning data may be generated based on an image acquired through the at least one camera and preprocessing data in which labeling is performed on at least a part of the image.
그리고, 상기 하나 이상의 프로세서는, 상기 적어도 하나의 철도 자산 클래스에 가중치 정보를 매칭하고, 상기 가중치 정보는, 상기 레이더 센서, 상기 라이다 센서 및 상기 초음파 센서 각각에 대응되는 상기 데이터의 비율이 포함된 정보일 수 있다.The one or more processors may match weight information to the at least one railway asset class, and the weight information may include a ratio of the data corresponding to each of the radar sensor, the lidar sensor, and the ultrasonic sensor.
그리고, 상기 메모리는, 상기 레이더, 상기 라이다 및 상기 초음파 센서를 통해 획득되는 상기 데이터를 필터링하는 복수의 필터를 포함하고, 상기 학습 데이터 중 제2 학습 데이터는, 상기 데이터에서 상기 철도 자산의 존재 여부를 식별하기 위해 라벨링된 전처리 데이터에 기초하여 생성될 수 있다.And, the memory includes a plurality of filters for filtering the data obtained through the radar, the LIDAR, and the ultrasonic sensor, and the second learning data among the learning data is the presence or absence of the railway asset in the data. It can be generated based on labeled preprocessing data to identify.
그리고, 상기 하나 이상의 프로세서는, 상기 제2 학습 데이터에 기초하여 학습된 상기 인공 지능 모델을 통해 상기 복수의 필터의 대역폭을 결정할 수 있다.The one or more processors may determine bandwidths of the plurality of filters through the artificial intelligence model learned based on the second training data.
그리고, 상기 학습 데이터 중 제3 학습 데이터는, 상기 적어도 하나의 철도 자산 클래스와 상기 유사도가 대응된 전처리 데이터에 기초하여 생성되고, 상기 하나 이상의 프로세서는, 상기 제3 학습 데이터에 기초하여 학습된 상기 인공 지능 모델을 통해 상기 데이터의 획득 주기를 결정할 수 있다.In addition, third learning data among the learning data is generated based on preprocessed data corresponding to the at least one railroad asset class and the similarity, and the one or more processors are based on the third learning data. An acquisition period of the data may be determined through the learned artificial intelligence model.
그리고, 상기 하나 이상의 프로세서는, 상기 적어도 하나의 카메라가 획득한 이미지에 포함된 철도 자산에 대응되는 자산 영역을 결정하고, 상기 자산 영역의 컨트라스트(contrast) 정보에 기초하여 상기 자산 영역에 대응되는 윤곽 벡터를 결정할 수 있다. The one or more processors may determine an asset area corresponding to a railway asset included in an image obtained by the at least one camera, and determine a contour vector corresponding to the asset area based on contrast information of the asset area.
그리고, 상기 하나 이상의 프로세서는, 상기 윤곽 벡터가 포함된 상기 철도 자산의 데이터를 형성하고, 상기 윤곽 벡터를 이용하여 상기 철도 자산의 데이터의 유사도를 결정할 수 있다.The one or more processors may form data of the railway asset including the contour vector, and determine a similarity of the data of the railway asset using the contour vector.
본 개시의 또 다른 실시예로, 철도 자산 관리 서버를 통해 철도 자산을 관리하는 방법은, 적어도 하나의 카메라, 레이더, 라이다 및 초음파 센서를 포함하는 정보 획득부를 통해 데이터를 획득하는 단계; 상기 데이터 및 상기 데이터를 이용하여 생성된 상기 학습 데이터에 기초하여 학습된 인공 지능 모델을 이용하여, 상기 적어도 하나의 철도 자산 클래스를 식별하는 단계; 상기 식별된 철도 자산 클래스에 기초하여, 상기 적어도 하나의 철도 자산 각각의 상기 데이터의 획득 주기를 결정하는 단계; 및 상기 획득 주기마다 획득된 상기 데이터에 기초하여, 상기 적어도 하나의 철도 자산을 모니터링하는 단계를 포함할 수 있다.As another embodiment of the present disclosure, a method for managing railroad assets through a railroad asset management server includes acquiring data through an information obtaining unit including at least one camera, radar, LIDAR, and ultrasonic sensor; identifying the at least one railroad asset class using the data and an artificial intelligence model learned based on the learning data generated using the data; based on the identified railroad asset class, determining an acquisition period of the data of each of the at least one railroad asset; and based on the data acquired per the acquisition period, monitoring the at least one railroad asset.
이 외에도, 본 개시를 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present disclosure, another system, and a computer readable recording medium recording a computer program for executing the method may be further provided.
본 개시의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the disclosure are included in the detailed description and drawings.
본 개시의 다양한 실시예를 통해, 인공 지능 기반의 철도 자산 관리 서버, 시스템 및 방법이 제공될 수 있다.Through various embodiments of the present disclosure, an artificial intelligence-based railroad asset management server, system, and method may be provided.
본 개시의 또 다른 실시예를 통해, 다양한 센서를 통해 획득된 데이터 및 인공 지능 모델을 통해 철도 자산의 상태를 효율적으로 모니터링할 수 있다.Through another embodiment of the present disclosure, the state of railway assets can be efficiently monitored through data and artificial intelligence models acquired through various sensors.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present disclosure are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 개시의 일 실시예에 따른, 철도 자산 관리 방법이 구현되는 시스템을 설명하기 위한 개략도이다.
도 2는 본 개시의 일 실시예에 따른, 철도 자산 관리 서버의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른, 철도 자산 관리 방법을 설명하기 위한 순서도이다.
도 4는 본 개시의 일 실시예에 따른, 철도 자산에 대한 상태 정보 및 측정 주기를 제어하는 방법을 설명하기 위한 순서도이다.1 is a schematic diagram illustrating a system in which a railway asset management method is implemented according to an embodiment of the present disclosure.
2 is a block diagram illustrating the configuration of a railway asset management server according to an embodiment of the present disclosure.
3 is a flowchart illustrating a railway asset management method according to an embodiment of the present disclosure.
4 is a flowchart illustrating a method of controlling state information and a measurement period for railroad assets according to an embodiment of the present disclosure.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다. Like reference numbers designate like elements throughout the specification. This specification does not describe all elements of the embodiments, and general content or overlapping content between the embodiments in the technical field to which the present disclosure belongs is omitted. The term 'unit, module, member, or block' used in the specification may be implemented in software or hardware, and according to embodiments, a plurality of 'units, modules, members, or blocks' may be implemented as a single component, or a single 'unit, module, member, or block' may include a plurality of components.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우 뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case of being directly connected but also the case of being indirectly connected, and the indirect connection includes being connected through a wireless communication network.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, when a certain component is said to "include", this means that it may further include other components without excluding other components unless otherwise stated.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout the specification, when a member is said to be located “on” another member, this includes not only a case where a member is in contact with another member, but also a case where another member exists between the two members.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. Terms such as first and second are used to distinguish one component from another, and the components are not limited by the aforementioned terms.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.Expressions in the singular number include plural expressions unless the context clearly dictates otherwise.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. In each step, the identification code is used for convenience of explanation, and the identification code does not describe the order of each step, and each step may be performed in a different order from the specified order unless a specific order is clearly described in context.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.Hereinafter, the working principle and embodiments of the present disclosure will be described with reference to the accompanying drawings.
도 1은 본 개시의 일 실시예에 따른, 철도 자산 관리 방법이 구현되는 시스템을 설명하기 위한 개략도이다.1 is a schematic diagram illustrating a system in which a railway asset management method is implemented according to an embodiment of the present disclosure.
본 개시를 설명함에 있어서, 철도 자산은 열차 운행에 필요한 각종 설비 자산을 의미할 수 있다. 예를 들어, 철도 자산은, 트랙(또는, 레일), 신호등, 터널 라이닝, 철도의 도상 위에 레일을 직접 지지하는 침목, 레일을 침목에 고정시키는 개못, 궤도를 지지하는 기반인 노반, 선로의 레이로가 침목 사이에 끼우는 타이플레이트 등을 포함할 수 있으며, 이에 한정되는 것은 아니다.In describing the present disclosure, railroad assets may mean various facility assets required for train operation. For example, railroad assets may include, but are not limited to, tracks (or rails), traffic lights, tunnel linings, sleepers that directly support rails on a railroad bed, pegs that secure rails to sleepers, roadbeds that support tracks, and tie plates that are sandwiched between sleepers by rail tracks.
도 1에 도시된 바와 같이, 본 개시의 일 실시예에 따른, 철도 자산 관리 방법이 구현되는 시스템(1000)은, 철도 자산 관리 서버(100), 카메라(200-1), 라이다(light detection and ranging, LiDAR) 센서(200-2), 레이더(radio detection and ranging, Radar) 센서(200-3), 초음파 센서(200-4), 데이터 베이스(300) 및 철도 자산 관리 서버(100)를 관리하는 관리 장치(400)를 포함할 수 있다.As shown in FIG. 1, a
도 1에서는 카메라(200-1), 라이다 센서(200-2), 레이더 센서(200-3), 초음파 센서(200-4), 및 데이터 베이스(300)가 철도 자산 관리 서버(100)의 외부에 구비된 경우를 도시하고 있으나, 이는 일 실시예에 불과하며, 철도 자산 관리 서버(100) 내부에 구비될 수 있다. 이는 도 2를 참조하여 구체적으로 설명하도록 한다.1 shows a case where the camera 200-1, lidar sensor 200-2, radar sensor 200-3, ultrasonic sensor 200-4, and
시스템(1000)에 포함된 각 장치 및 센서는 네트워크(W)를 통해 통신을 수행할 수 있다. 여기서, 네트워크(W)는 유선 네트워크와 무선 네트워크를 포함할 수 있다. 예를 들어, 네트워크는 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등의 다양한 네트워크를 포함할 수 있다.Each device and sensor included in the
또한, 네트워크(W)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 개시의 실시예에 따른 네트워크(W)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 전화 네트워크, 공지의 유무선 텔레비전 네트워크를 적어도 일부로 포함할 수도 있다.Also, the network W may include the well-known World Wide Web (WWW). However, the network W according to an embodiment of the present disclosure is not limited to the above-listed networks, and may include at least a part of a known wireless data network, a known telephone network, and a known wired/wireless television network.
카메라(200-1), 라이다 센서(200-2), 레이더 센서(200-3) 및 초음파 센서(200-4)는 지리적으로 분산(geographically distributed)될 수 있으며, 서로 다른 유형의 데이터를 센싱 또는 획득할 수 있다. The camera 200-1, lidar sensor 200-2, radar sensor 200-3, and ultrasonic sensor 200-4 may be geographically distributed and may sense or acquire different types of data.
구체적으로, 카메라(200-1)는 특정 영역에 대한 이미지 데이터(예로, 철도 자산이 위치한 영역의 이미지 데이터) 등 종합적인 데이터를 획득할 수 있다. 라이다 센서(200-2)는 전방향으로 레이저 빔을 발사하여 되돌아오는 시간을 측정하여 철도 자산이 위치한 영역을 스캔할 수 있다. 레이더 센서(200-3)는 단방향으로 레이저 빔을 발사하여 되돌아오는 시간에 기초하여 철도 자산의 형태, 거리 등을 획득할 수 있다. 레이더 센서(200-3)는 라이다 센서(200-2)보다 장거리를 스캔할 수 있으나, 이에 한정되는 것은 아니며 각 센서의 스펙(spec)에 따라 다를 수 있다. 초음파 센서(200-3)는 가청 주파수보다 높은 주파수를 가지는 파동을 이용하여 근접 영역을 스캔할 수 있다. Specifically, the camera 200-1 may acquire comprehensive data such as image data (eg, image data of an area where railroad assets are located) for a specific area. The lidar sensor 200-2 can scan the area where the railroad asset is located by measuring the return time by emitting a laser beam in all directions. The radar sensor 200-3 may emit a laser beam in one direction and acquire the shape, distance, etc. of a railroad asset based on the return time. The radar sensor 200-3 may scan a longer distance than the lidar sensor 200-2, but is not limited thereto and may vary depending on the specifications of each sensor. The ultrasonic sensor 200-3 may scan a nearby area using a wave having a frequency higher than an audible frequency.
도 1에는 각 센서가 유형 별로 하나씩 존재하는 것으로 도시되어 있으나, 이에 국한되는 것은 아니며, 각 센서의 개수는 시스템(1000)의 설계에 따라 다양하게 구현될 수 있다.1 shows that each sensor exists one by one type, but is not limited thereto, and the number of each sensor may be implemented in various ways according to the design of the
철도 자산 관리 서버(100)는 카메라(200-1), 라이다 센서(200-2), 레이더 센서(200-3) 및 초음파 센서(200-4)를 통해 획득된 데이터에 기반하여 철도 자산을 식별/분류할 수 있다. 그리고, 철도 자산 관리 서버(100)는 인공 지능 모델을 이용하여 철도 자산 별 데이터의 획득 주기를 설정/업데이트할 수 있다. 그리고, 철도 자산 관리 서버(100)는 설정/업데이트된 획득 주기 별로 획득된 데이터에 기반하여 철도 자산의 상태를 모니터링할 수 있다. 이와 관련된 실시예는 후술하는 실시예에서 구체적으로 설명하도록 한다.The railway
데이터 베이스(300)는 카메라(200-1), 라이다 센서(200-2), 레이더 센서(200-3) 및 초음파 센서(200-4)를 통해 획득한 데이터가 저장될 수 있다. 데이터 베이스(300)는 상기 획득된 데이터에 기초하여 생성된 학습 데이터가 저장될 수 있다. 데이터 베이스(300)에는 인공 지능 모델이 학습(training)/추론(inference) 동작을 수행하기 위해 필요한 데이터가 저장될 수 있다. 데이터 베이스(300)는 철도 자산 별 상황에 대한 데이터가 저장될 수 있다.The
여기서, 인공 지능 모델은, 철도 자산 관리 서버(100) 내부에 구비된 온-디바이스(on device) 기반 모델 또는 별도의 클라우드 서버에 구비되어 철도 자산 관리 서버(100)에 의해 활용되는 클라우드 기반 모델로 구현될 수 있다.Here, the artificial intelligence model may be implemented as an on-device based model provided inside the railway
관리 장치(300)는 철도 자산 관리 서버(100)를 관리/제어할 수 있는 장치이다. 도 1에는 관리 장치(300)가 데스크 탑 PC로 구현된 경우를 도시하고 있으나, 이에 국한되는 것은 아니며, 태블릿 PC, 노트북, 스마트 폰, 웨어러블 기기 등 다양한 기기로 구현될 수 있다.The
도 2는 본 개시의 일 실시예에 따른, 철도 자산 관리 서버(100)의 구성을 설명하기 위한 블록도이다.2 is a block diagram illustrating the configuration of a railway
도 2에 도시된 바와 같이, 철도 자산 관리 서버(100)는 정보 획득부(110), 자산 관리부(120) 및 출력부(130)를 포함할 수 있다.As shown in FIG. 2 , the railway
다만, 도 2에 도시된 구성은 본 개시의 실시 예들을 구현하기 위한 예시도이며, 통상의 기술자에게 자명한 수준의 적절한 하드웨어 및 소프트웨어 구성들이 철도 자산 관리 서버(100)에 추가로 포함될 수 있다.However, the configuration shown in FIG. 2 is an exemplary diagram for implementing the embodiments of the present disclosure, and appropriate hardware and software configurations obvious to those skilled in the art may be additionally included in the railroad
정보 획득부(110)는 카메라(112), 라이다 센서(114), 레이더 센서(116) 및 초음파 센서(118)를 포함할 수 있다. 각 장치에 대한 설명은 도 1을 참조하여 설명하였으므로 중복되는 설명은 생략하도록 한다.The
자산 관리부(120)는 정보 획득부(110)에서 획득된 데이터에 기초하여 적어도 하나의 철도 자산 상태 정보를 획득할 수 있다. 자산 관리부(120)는 메모리(123), 프로세서(126) 및 인공지능 모델(129)을 포함할 수 있다.The
메모리(123)는 도 1을 참조하여 설명한 데이터 베이스(300)에 대응될 수 있는 바, 중복되는 설명은 생략하도록 한다.The
메모리(123)는 각종 동작을 수행하기 위한 하나 이상의 인스트럭션(instruction)을 저장할 수 있다. 메모리(123)는 정보 획득부(110)를 통해 획득한 데이터(123-2)를 저장할 수 있다. 이 때, 획득된 데이터(123-2)는 하나 이상의 필터(123-1)에 의해 필터링된 데이터일 수 있다. The
여기서, 하나 이상의 필터(123-1)는 이미지 데이터 내에서 철도 내에 발생된 마모(예를 들어, 선로에 발생한 파상 마모 등)를 검출하는 이미지 필터를 포함할 수 있다. Here, the one or more filters 123-1 may include an image filter that detects abrasion (eg, corrugated abrasion occurring on a railway line) in the railway within the image data.
또 다른 예로, 하나 이상의 필터(123-1)는 철도 자산과 관련된 데이터를 전처리 하기 위한 전처리 필터를 포함할 수 있다. 여기서, 전처리는 잡음(noise) 제거, 세선화, 이진화 동작 등을 포함할 수 있다. 전처리 필터는 가우시안 필터(Gaussian filter), 라플라시안 필터(Laplacian filter), 가우시안 차(Difference of Gaussian: DoG) 및 캐니 에지 검출(Canny edge detection) 등을 포함할 수 있다.As another example, one or more filters 123-1 may include a preprocessing filter for preprocessing data related to railway assets. Here, the preprocessing may include noise removal, thinning, binarization, and the like. The preprocessing filter may include a Gaussian filter, a Laplacian filter, a Difference of Gaussian (DoG), and Canny edge detection.
프로세서(126)는 메모리(123)와 전기적으로 연결되어 철도 자산 관리 서버(100)의 전반적인 동작 및 기능을 제어할 수 있다. The
프로세서(126)는 하나 이상의 프로세서로 구성될 수 있다. 이 때, 하나 이상의 프로세서는 CPU(Central Processing Unit), AP(Application Processor), DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU(Graphic Processing Unit), VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU(Neural Processing Unit)와 같은 인공지능 전용 프로세서 등으로 구현될 수 있다. 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 프로세서를 의미할 수 있다.
프로세서(126)는, 인공 지능 모델(129)을 통해 식별된 철도 자산 클래스(또는, 유형)에 기초하여, 적어도 하나의 철도 자산 각각의 데이터 획득 주기를 결정할 수 있다. 여기서, 특정 철도 자산의 획득 주기는, 특정 철도 자산에 대한 데이터를 획득/측정하는 주기를 의미할 수 있다.The
프로세서(126)은, 결정된 획득 주기마다 정보 획득부(11)를 통해 획득된 데이터에 기초하여, 적어도 하나의 철도 자산을 모니터링할 수 있다. The
예를 들어, 프로세서(126)은, 결정된 획득 주기마다 획득된 데이터에 기초하여, 적어도 하나의 철도 자산 각각의 데이터의 유사도를 결정할 수 있다. 여기서, 철도 자산 각각의 데이터의 유사도는, 이전에 획득된 철도 자산 데이터와 최근에(또는, 이번에) 획득된 철도 자산 데이터 간의 유사도를 의미할 수 있다. 이에 따라, 프로세서(126)는 철도 자산 상에 발생한 변화를 모니터링할 수 있다.For example, the
적어도 하나의 철도 자산 각각의 데이터의 유사도가 미리 결정된 값 미만인 경우, 프로세서(126)는 경고 신호를 포함한 철도 자산 상태 정보가 출력되도록 출력부(129)를 제어할 수 있다. When the similarity of the data of each of the at least one railroad asset is less than a predetermined value, the
여기서, 특정 철도 자산 각각의 데이터의 유사도가 미리 결정된 값 미만이라는 것은, 이전의 특정 철도 자산 상태와 최근의 특정 철도 자산 상태가 변경되었음을 의미할 수 있다. 예를 들어, 트랙 상에 마모 상황이 심각해진 경우, 이전에 획득된 트랙의 이미지 데이터와 최근에 획득된 트랙에 대한 이미지 데이터간의 유사도가 미리 결정된 값 미만일 수 있다. 따라서, 프로세서(126)는 특정 철도 자산을 검사할 것을 요청하는 경고 신호 및 특정 철도 자산 상태 정보를 출력하도록 출력부(129)를 제어할 수 있다.Here, that the similarity of each data of a specific railroad asset is less than a predetermined value may mean that a previous state of a specific railroad asset and a recent state of a specific railroad asset are changed. For example, when a wear condition on a track becomes serious, a degree of similarity between previously acquired image data of a track and recently acquired image data of a track may be less than a predetermined value. Accordingly, the
본 개시의 또 다른 실시예로, 프로세서(126)은 적어도 하나의 카메라(112)가 획득한 이미지에 포함된 철도 자산에 대응되는 자산 영역을 결정할 수 있다. 프로세서(126)은 자산 영역의 컨트라스트(contrast) 정보에 기초하여 자산 영역에 대응되는 윤곽 벡터를 결정할 수 있다.In another embodiment of the present disclosure, the
프로세서(126)은 윤곽 벡터가 포함된 철도 자산의 데이터를 형성할 수 있다. 그리고, 프로세서(126)은 윤곽 벡터를 이용하여 철도 자산의 데이터의 유사도를 결정할 수 있다.The
인공 지능 모델(129)은 적어도 하나의 철도 자산 클래스를 식별하도록 학습된 모델을 의미한다. 인공 지능 모델(129)은 정보 획득부(110)를 통해 획득된 데이터 및 상기 데이터를 이용하여 생성된 학습 데이터에 기초하여 학습될 수 있다.The
본 개시의 일 실시예로, 학습 데이터 중 제1 학습 데이터는, 적어도 하나의 카메라(112)를 통해 획득된 이미지 및 상기 이미지 내에 적어도 일부에 대해 라벨링(labeling)이 수행된 전처리 데이터에 기초하여 생성될 수 있다. In one embodiment of the present disclosure, the first learning data among the learning data may be generated based on an image obtained through at least one
프로세서(126)은, 제1 학습 데이터에 기초하여 학습된 인공 지능 모델(129)을 통해, 카메라(112)를 이용하여 획득된 이미지 내에 포함된 객체의 유형을 식별할 수 있다.The
본 개시의 또 다른 실시예로, 학습 데이터 중 제2 학습 데이터는, 정보 획득부(110)를 통해 획득된 데이터에서 철도 자산의 존재 여부를 식별하기 위해 라벨링된 전처리 데이터에 기초하여 생성될 수 있다. As another embodiment of the present disclosure, the second learning data among the learning data may be generated based on preprocessed data labeled to identify the presence or absence of railroad assets in the data obtained through the
구체적으로, 프로세서(120)는 적어도 하나의 철도 자산 클래스에 가중치 정보를 매칭할 수 있다. 가중치 정보는, 레이더 센서, 라이다 센서 및 초음파 센서 각각에 대응되는 데이터 비율을 포함할 수 있다.Specifically, the
프로세서(126)은 제2 학습 데이터에 기초하여 학습된 인공 지능 모델(129)을 통해 필터(123-1)의 (주파수) 대역폭을 결정할 수 있다. 즉, 프로세서(126)는 철도 자산 정보를 획득하는데 필요한 각각의 센서의 데이터 범위를 인공 지능 모델(129)을 통해 결정할 수 있다. 예를 들어, 프로세서(126)는, 인공 지능 모델(129)을 통해, 트랙에 대한 정보를 획득하기 위해서 라이다 센서의 획득 범위를 10nm~60nm로 결정할 수 있다.The
본 개시의 또 다른 실시예로, 학습 데이터 중 제3 학습 데이터는, 적어도 하나의 철도 자산 클래스와 유사도가 대응된 전처리 데이터에 기초하여 생성될 수 있다. 여기서, 유사도는 상술된 프로세서(126)에 의해 획득되는 철도 자산 각각의 유사도를 의미한다. 즉, 제3 학습 데이터는 특정 철도 자산 클래스와 특정 철도 자산에 대응되는 유사도가 대응된 전처리 데이터에 기초하여 생성될 수 있다. As another embodiment of the present disclosure, the third learning data among the learning data may be generated based on preprocessing data corresponding to at least one railroad asset class and a similarity. Here, the degree of similarity means the degree of similarity of each railroad asset obtained by the
프로세서(126)은 제3 학습 데이터에 기초하여 학습된 인공 지능 모델(129)을 통해 데이터의 획득 주기를 결정할 수 있다.The
출력부(130)는 스피커 및 디스플레이 중 적어도 하나를 포함할 수 있다. 출력부(130)는 프로세서(126)의 제어에 의해 경고 신호를 포함하는 철도 자산 상태 정보를 출력할 수 있다. 예를 들어, 스피커는 경고 신호를 나타내는 알림음을 출력할 수 있으며, 디스플레이는 철도 자산 상태 정보를 표시할 수 있다.The
도 3은 본 개시의 일 실시예에 따른, 철도 자산 관리 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating a railway asset management method according to an embodiment of the present disclosure.
철도 자산 관리 서버는 적어도 하나의 카메라, 레이더 센서, 라이다 센서 및 초음파 센서를 포함하는 정보 획득부를 통해 데이터를 획득할 수 있다(S310).The railway asset management server may obtain data through an information acquisition unit including at least one camera, radar sensor, lidar sensor, and ultrasonic sensor (S310).
예를 들어, 철도 자산 관리 서버는 카메라를 통해 특정 영역(예로, 철도 자산이 포함된 영역)에 대한 이미지 데이터를 획득할 수 있다. 또 다른 예로, 철도 자산 관리 서버는 레이더 센서, 라이다 센서 및 초음파 센서를 통해 특정 영역을 스캔함으로써 데이터를 획득할 수 있다.For example, the railway asset management server may acquire image data for a specific area (eg, an area including railway assets) through a camera. As another example, the railway asset management server may obtain data by scanning a specific area through a radar sensor, lidar sensor, and ultrasonic sensor.
철도 자산 관리 서버는, 정보 획득부를 통해 획득된 데이터 및 상기 데이터를 이용하여 생성된 학습 데이터에 기초하여 학습된 인공 지능 모델을 이용하여, 적어도 하나의 철도 자산 클래스를 식별할 수 있다(S320).The railway asset management server may identify at least one railway asset class by using an artificial intelligence model learned based on data acquired through the information acquisition unit and learning data generated using the data (S320).
예를 들어, 인공 지능 모델은 카메라를 통해 획득된 이미지 데이터 내에서 철도 자산 존재 여부 및 철도 자산의 유형을 식별하도록 학습될 수 있다. 또 다른 예로, 인공 지능 모델은, 철도 자산 클래스에 매칭된 가중치 정보에 기초하여 철도 자산의 존재 여부 및 철도 자산의 유형을 식별하도록 학습될 수 있다. 여기서, 가중치 정보는 레이더 센서, 라이다 센서 및 초음파 센서 각각에 대응되는 데이터 비율을 포함할 수 있다.For example, an artificial intelligence model may be trained to identify the existence of a railroad asset and the type of railroad asset within image data acquired through a camera. As another example, the artificial intelligence model may be trained to identify whether a railroad asset exists and the type of railroad asset based on weight information matched to a railroad asset class. Here, the weight information may include data rates corresponding to each of the radar sensor, lidar sensor, and ultrasonic sensor.
철도 자산 관리 서버는 식별된 철도 자산 클래스에 기초하여, 적어도 하나의 철도 자산 각각의 데이터의 획득 주기 결정할 수 있다(S330). The railway asset management server may determine an acquisition period of data of each of at least one railway asset based on the identified railway asset class (S330).
즉, 철도 자산 관리 서버는 인공 지능 모델을 통해 철도 자산 별로 데이터를 획득해야 하는 획득 주기를 결정할 수 있다. 예를 들어, 철도 자산 관리 서버는 트랙에 대한 데이터를 매일 획득하고, 신호등에 대한 데이터는 3일마다 획득하는 것으로 결정할 수 있다.That is, the railway asset management server may determine an acquisition period in which data should be acquired for each railway asset through an artificial intelligence model. For example, the railroad asset management server may determine to acquire data for tracks every day and data for traffic lights every three days.
철도 자산 관리 서버는 획득 주기마다 획득된 데이터에 기초하여, 적어도 하나의 철도 자산을 모니터링할 수 있다(S340). S340에 대한 구체적인 설명은 도 4를 참조하여 설명하도록 한다.The railway asset management server may monitor at least one railway asset based on the data obtained for each acquisition period (S340). A detailed description of S340 will be described with reference to FIG. 4 .
도 4는 본 개시의 일 실시예에 따른, 철도 자산에 대한 상태 정보 및 측정 주기를 제어하는 방법을 설명하기 위한 순서도이다.4 is a flowchart illustrating a method of controlling state information and a measurement period for railroad assets according to an embodiment of the present disclosure.
철도 자산 관리 서버는, 철도 자산 각각에 대한 데이터 획득 주기마다 획득된 데이터에 기초하여, 적어도 하나의 철도 자산을 모니터링할 수 있다(S410).The railway asset management server may monitor at least one railway asset based on the data obtained for each data acquisition period for each railway asset (S410).
구체적으로, 철도 자산 관리 서버는 철도 자산 각각의 데이터의 유사도가 미리 결정된 값 미만인지 여부를 식별할 수 있다(S420). Specifically, the railway asset management server may identify whether the similarity of data of each railway asset is less than a predetermined value (S420).
즉, 철도 자산 관리 서버는 이전에 획득된 특정 철도 자산의 데이터와 이번에 획득한 특정 철도 자산의 데이터 간의 유사도를 획득하고, 획득된 유사도가 미리 결정된 값 미만인지 여부를 식별할 수 있다.That is, the railway asset management server may acquire a similarity between previously acquired data of a specific railway asset and data of a specific railway asset obtained this time, and identify whether the obtained similarity is less than a predetermined value.
철도 자산 각각의 데이터의 유사도가 미리 결정된 값 미만인 경우, 철도 자산 관리 서버는 경고 신호를 포함한 철도 자산 상태 정보를 출력할 수 있다(S430). 즉, 철도 자산 관리 서버는 철도 자산 각각의 데이터의 유사도에 기초하여 경고 신호를 출력함으로써 철도 자산을 모니터링할 수 있다.When the similarity of data of each railroad asset is less than a predetermined value, the railroad asset management server may output railroad asset state information including a warning signal (S430). That is, the railroad asset management server may monitor railroad assets by outputting a warning signal based on the similarity of data of each railroad asset.
그리고, 철도 자산 관리 서버는 유사도가 미리 결정된 값 미만인 철도 자산에 대한 데이터 획득 주기를 업데이트할 수 있다(S440). 예를 들어, 특정 철도 자산(예로, 트랙 등)의 데이터의 유사도가 미리 결정된 값 미만인 경우, 철도 자산 관리 서버는 특정 철도 자산에 대한 데이터 획득 주기를 감소시킬 수 있다(예로, 3일에서 매일 단위로).And, the railroad asset management server may update a data acquisition cycle for railroad assets having a similarity less than a predetermined value (S440). For example, if the similarity of data of a specific railroad asset (eg, track, etc.) is less than a predetermined value, the railroad asset management server may reduce the data acquisition cycle for the specific railroad asset (eg, from 3 days to daily units).
본 개시의 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.Embodiments of the present disclosure may be implemented in the form of a recording medium storing instructions executable by a computer. Instructions may be stored in the form of program codes, and when executed by a processor, create program modules to perform operations of the disclosed embodiments. The recording medium may be implemented as a computer-readable recording medium.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. Computer-readable recording media include all types of recording media in which instructions that can be decoded by a computer are stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.As above, the disclosed embodiments have been described with reference to the accompanying drawings. Those skilled in the art to which the present disclosure pertains will understand that the present disclosure may be implemented in a form different from the disclosed embodiments without changing the technical spirit or essential features of the present disclosure. The disclosed embodiments are illustrative and should not be construed as limiting.
100 : 철도 자산 관리 서버
200-1 : 카메라
200-2 : 라이다 센서
200-3 : 레이더 센서
200-4 : 초음파 센서100: railway asset management server
200-1 : Camera
200-2: lidar sensor
200-3: Radar sensor
200-4: ultrasonic sensor
Claims (10)
적어도 하나의 카메라, 레이더 센서, 라이다 센서 및 초음파 센서를 포함하는 정보 획득부; 및
상기 정보 획득부에서 획득된 데이터에 기초하여 적어도 하나의 철도 자산 상태 정보를 결정하고,
상기 철도 자산 상태 정보가 출력되도록 상기 출력부를 제어하는 자산 관리부;를 포함하고,
상기 자산 관리부는,
상기 레이더, 상기 라이다 및 상기 초음파 센서를 통해 획득되는 상기 데이터를 필터링하는 복수의 필터가 저장되어 있으며, 상기 정보 획득부로부터 획득된 상기 데이터를 저장하는 메모리;
상기 데이터 및 상기 데이터를 이용하여 생성된 학습 데이터에 기초하여, 적어도 하나의 철도 자산 클래스를 식별하도록 학습된 인공지능 모델; 및
상기 식별된 철도 자산 클래스에 기초하여, 상기 적어도 하나의 철도 자산 각각의 상기 데이터의 획득 주기를 결정하고,
상기 결정된 획득 주기마다 획득된 상기 데이터에 기초하여, 상기 적어도 하나의 철도 자산을 모니터링하도록 구성된 하나 이상의 프로세서;를 포함하며,
상기 프로세서는,
상기 결정된 획득 주기마다 획득된 상기 데이터에 기초하여, 상기 적어도 하나의 철도 자산 각각의 데이터의 유사도를 결정하고,
상기 적어도 하나의 철도 자산 각각의 데이터의 유사도가 미리 결정된 값 미만인 경우, 경고 신호를 포함한 상기 철도 자산 상태 정보가 출력되도록 상기 출력부를 제어하고,
상기 학습 데이터는 제1 학습 데이터, 제2 학습 데이터 및 제3 학습 데이터를 포함하고,
상기 제1 학습 데이터는, 상기 적어도 하나의 카메라를 통해 획득된 이미지 및 상기 이미지 내의 적어도 일부에 대해 라벨링(labeling)이 수행된 전처리 데이터에 기초하여 생성되는 것이고,
상기 제2 학습 데이터는, 상기 데이터에서 상기 철도 자산의 존재 여부를 식별하기 위해 라벨링된 전처리 데이터에 기초하여 생성되는 것이고,
상기 제3 학습 데이터는, 상기 적어도 하나의 철도 자산 클래스와 상기 유사도가 대응된 전처리 데이터에 기초하여 생성되는 것이고,
상기 프로세서는,
상기 제1 학습 데이터에 기초하여 상기 인공지능 모델을 통해 상기 획득된 이미지 내에 포함된 객체의 유형을 식별하고,
상기 제2 학습 데이터에 기초하여 학습된 상기 인공지능 모델을 통해 상기 복수의 필터의 대역폭을 결정하고,
상기 제3 학습 데이터에 기초하여 학습된 상기 인공지능 모델을 통해 상기 데이터의 획득 주기를 결정하는 것을 특징으로 하는, 철도 자산 관리 서버.an output unit including at least one of a speaker and a display;
Information obtaining unit including at least one camera, radar sensor, lidar sensor and ultrasonic sensor; and
Determine at least one railroad asset condition information based on the data obtained by the information acquisition unit;
An asset management unit controlling the output unit so that the railway asset state information is output,
The asset management department,
a memory storing a plurality of filters for filtering the data obtained through the radar, the LIDAR, and the ultrasonic sensor, and storing the data obtained from the information acquisition unit;
an artificial intelligence model learned to identify at least one railroad asset class based on the data and learning data generated using the data; and
determine an acquisition period of the data of each of the at least one railroad asset based on the identified railroad asset class;
one or more processors configured to monitor the at least one railroad asset based on the data acquired per the determined acquisition period;
the processor,
Determine a degree of similarity of data of each of the at least one railroad asset based on the data acquired for each of the determined acquisition periods;
Controlling the output unit to output the railway asset state information including a warning signal when the similarity of the data of each of the at least one railway asset is less than a predetermined value;
The learning data includes first learning data, second learning data, and third learning data;
The first learning data is generated based on an image obtained through the at least one camera and preprocessing data in which labeling is performed on at least a portion of the image,
The second learning data is generated based on preprocessed data labeled to identify the presence or absence of the railway asset in the data,
The third learning data is generated based on preprocessing data in which the at least one railway asset class and the similarity are matched,
the processor,
Identifying a type of object included in the acquired image through the artificial intelligence model based on the first learning data;
Determining bandwidths of the plurality of filters through the artificial intelligence model learned based on the second learning data;
Characterized in that, the acquisition period of the data is determined through the artificial intelligence model learned based on the third learning data.
상기 하나 이상의 프로세서는,
상기 적어도 하나의 카메라가 획득한 이미지에 포함된 철도 자산에 대응되는 자산 영역을 결정하고,
상기 자산 영역의 컨트라스트(contrast) 정보에 기초하여 상기 자산 영역에 대응되는 윤곽 벡터를 결정하는, 철도 자산 관리 서버.According to claim 1,
The one or more processors,
Determining an asset area corresponding to a railway asset included in an image acquired by the at least one camera;
and determining a contour vector corresponding to the asset area based on contrast information of the asset area.
상기 하나 이상의 프로세서는,
상기 윤곽 벡터가 포함된 상기 철도 자산의 데이터를 형성하고,
상기 윤곽 벡터를 이용하여 상기 철도 자산의 데이터의 유사도를 결정하는, 철도 자산 관리 서버.According to claim 8,
The one or more processors,
form data of the railway asset that includes the contour vector;
A railway asset management server for determining a degree of similarity of data of the railway asset using the contour vector.
적어도 하나의 카메라, 레이더, 라이다 및 초음파 센서를 포함하는 정보 획득부를 통해 데이터를 획득하는 단계;
상기 데이터 및 상기 데이터를 이용하여 생성된 학습 데이터에 기초하여 학습된 인공지능 모델을 이용하여, 적어도 하나의 철도 자산 클래스를 식별하는 단계;
상기 식별된 철도 자산 클래스에 기초하여, 상기 적어도 하나의 철도 자산 각각의 상기 데이터의 획득 주기를 결정하는 단계; 및
상기 결정된 획득 주기마다 획득된 상기 데이터에 기초하여, 상기 적어도 하나의 철도 자산을 모니터링하는 단계;를 포함하며,
상기 철도 자산 관리 서버는,
상기 레이더, 상기 라이다 및 상기 초음파 센서를 통해 획득되는 상기 데이터를 필터링하는 복수의 필터가 저장된 메모리를 포함하고, 상기 정보 획득부로부터 획득된 상기 데이터를 상기 메모리에 저장하고,
상기 결정된 획득 주기마다 획득된 상기 데이터에 기초하여, 상기 적어도 하나의 철도 자산 각각의 데이터의 유사도를 결정하고,
상기 적어도 하나의 철도 자산 각각의 데이터의 유사도가 미리 결정된 값 미만인 경우, 경고 신호를 포함한 철도 자산 상태 정보를 출력하고,
상기 학습 데이터는 제1 학습 데이터, 제2 학습 데이터 및 제3 학습 데이터를 포함하고,
상기 제1 학습 데이터는, 상기 적어도 하나의 카메라를 통해 획득된 이미지 및 상기 이미지 내의 적어도 일부에 대해 라벨링(labeling)이 수행된 전처리 데이터에 기초하여 생성되는 것이고,
상기 제2 학습 데이터는, 상기 데이터에서 상기 철도 자산의 존재 여부를 식별하기 위해 라벨링된 전처리 데이터에 기초하여 생성되는 것이고,
상기 제3 학습 데이터는, 상기 적어도 하나의 철도 자산 클래스와 상기 유사도가 대응된 전처리 데이터에 기초하여 생성되는 것이고,
상기 철도 자산 관리 서버는,
상기 제1 학습 데이터에 기초하여 상기 인공지능 모델을 통해 상기 획득된 이미지 내에 포함된 객체의 유형을 식별하고,
상기 제2 학습 데이터에 기초하여 학습된 상기 인공지능 모델을 통해 상기 복수의 필터의 대역폭을 결정하고,
상기 제3 학습 데이터에 기초하여 학습된 상기 인공지능 모델을 통해 상기 데이터의 획득 주기를 결정하는 것을 특징으로 하는, 철도 자산을 관리하는 방법.In a method performed by a railway asset management server,
Acquiring data through an information acquisition unit including at least one camera, radar, LIDAR, and ultrasonic sensor;
identifying at least one railway asset class using an artificial intelligence model learned based on the data and learning data generated using the data;
based on the identified railroad asset class, determining an acquisition period of the data of each of the at least one railroad asset; and
monitoring the at least one railway asset based on the data acquired at each determined acquisition period;
The railway asset management server,
A memory storing a plurality of filters for filtering the data obtained through the radar, the LIDAR, and the ultrasonic sensor, and storing the data obtained from the information acquisition unit in the memory;
Determine a degree of similarity of data of each of the at least one railroad asset based on the data acquired for each of the determined acquisition periods;
When the similarity of the data of each of the at least one railroad asset is less than a predetermined value, outputting railroad asset state information including a warning signal;
The learning data includes first learning data, second learning data, and third learning data;
The first learning data is generated based on an image obtained through the at least one camera and preprocessing data in which labeling is performed on at least a portion of the image,
The second learning data is generated based on preprocessed data labeled to identify the presence or absence of the railway asset in the data,
The third learning data is generated based on preprocessing data in which the at least one railway asset class and the similarity are matched,
The railway asset management server,
Identifying a type of object included in the acquired image through the artificial intelligence model based on the first learning data;
Determining bandwidths of the plurality of filters through the artificial intelligence model learned based on the second learning data;
A method for managing railroad assets, characterized in that determining an acquisition period of the data through the artificial intelligence model learned on the basis of the third learning data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210192120A KR102557637B1 (en) | 2021-12-30 | 2021-12-30 | Railway asset management server, system, and method based on artificial intelligence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210192120A KR102557637B1 (en) | 2021-12-30 | 2021-12-30 | Railway asset management server, system, and method based on artificial intelligence |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230102185A KR20230102185A (en) | 2023-07-07 |
| KR102557637B1 true KR102557637B1 (en) | 2023-07-21 |
Family
ID=87155073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210192120A KR102557637B1 (en) | 2021-12-30 | 2021-12-30 | Railway asset management server, system, and method based on artificial intelligence |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102557637B1 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101131437B1 (en) * | 2010-01-26 | 2012-03-29 | 한국철도기술연구원 | Strain measurement and management system for the geometric position of high speed railway catenary |
| KR101129870B1 (en) * | 2010-05-12 | 2012-03-23 | 한국시설안전공단 | Method for remotely monitoring variety facilities using sensors |
| US20190054937A1 (en) * | 2017-08-15 | 2019-02-21 | Bnsf Railway Company | Unmanned aerial vehicle system for inspecting railroad assets |
| KR102091165B1 (en) | 2019-04-09 | 2020-03-24 | 주식회사 한국건설방재연구원 | Apparatus for inspecting tunnel crack |
| KR102397256B1 (en) * | 2019-12-05 | 2022-05-13 | 한국철도기술연구원 | Automated bim construction system and method of railway bridge |
-
2021
- 2021-12-30 KR KR1020210192120A patent/KR102557637B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230102185A (en) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A review of applications of visual inspection technology based on image processing in the railway industry | |
| JP7261527B2 (en) | Systems and methods for determining defects in physical objects | |
| Sysyn et al. | Identification of sleeper support conditions using mechanical model supported data-driven approach | |
| WO2006093829A3 (en) | Personnel travel risk management | |
| JP2023523009A (en) | Systems and methods for detecting tanks in railroad environments | |
| US20230073361A1 (en) | System and method for analysing railway related data | |
| JP2023546672A (en) | Rail feature identification system | |
| US11932290B2 (en) | Systems and methods for auditing assets | |
| CN104123626A (en) | RFID (Radio Frequency Identification Devices) technology based commodity production management and logistics management system structure | |
| KR102557637B1 (en) | Railway asset management server, system, and method based on artificial intelligence | |
| US20240190485A1 (en) | Systems and methods for identifying potential deficiencies in railway environment objects | |
| WO2020018655A8 (en) | System and method for building and managing a train consist | |
| Tam et al. | Intelligent optical fibre sensing networks facilitate shift to predictive maintenance in railway systems | |
| US20240083478A1 (en) | Systems and methods for machine learning enhanced railway condition monitoring, assessment and prediction | |
| Chellaswamy et al. | An IoT based rail track condition monitoring and derailment prevention system | |
| US10562552B2 (en) | System for railway monitoring | |
| KR102238669B1 (en) | System and method for predicting and early warning surface temperature of rail using deep learning | |
| CN116796969A (en) | Intelligent freight management system and method based on big data platform | |
| US11654946B1 (en) | System and method of railroad track data aggregation and analysis for determining inspection frequency | |
| US20230084425A1 (en) | System and method for railroad directive management | |
| CN114743166A (en) | Method for detecting brake of railway wagon | |
| KR102577414B1 (en) | System and method for reconstructing objects using transition images | |
| Vavilin et al. | Real-Time Train Wagon Counting and Number Recognition Algorithm | |
| Bergquist et al. | Cleaning of railway track measurement data for better maintenance decisions | |
| GB2623497A (en) | Automated safety management in environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |