KR102642218B1 - Location information-based railway track continuous welded rail maintenance system using augmented reality and method therefor - Google Patents
Location information-based railway track continuous welded rail maintenance system using augmented reality and method therefor Download PDFInfo
- Publication number
- KR102642218B1 KR102642218B1 KR1020210162973A KR20210162973A KR102642218B1 KR 102642218 B1 KR102642218 B1 KR 102642218B1 KR 1020210162973 A KR1020210162973 A KR 1020210162973A KR 20210162973 A KR20210162973 A KR 20210162973A KR 102642218 B1 KR102642218 B1 KR 102642218B1
- Authority
- KR
- South Korea
- Prior art keywords
- maintenance
- location information
- augmented reality
- railway
- long rail
- Prior art date
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 166
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title description 11
- 238000013459 approach Methods 0.000 claims abstract description 14
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 239000004984 smart glass Substances 0.000 claims description 4
- 238000007689 inspection Methods 0.000 abstract description 43
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 238000012552 review Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 229910000677 High-carbon steel Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01B—PERMANENT WAY; PERMANENT-WAY TOOLS; MACHINES FOR MAKING RAILWAYS OF ALL KINDS
- E01B35/00—Applications of measuring apparatus or devices for track-building purposes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Abstract
본 발명은 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템에 관한 것으로, 주기적으로 철도 궤도 장대레일의 정기 점검, 정밀안전진단, 유지보수 등의 유지관리를 수행하는 사용자, 철도 현장 작업자 등의 위치 파악 및 각종 작업차량 등의 접근을 감지, 예측 및 경고의 자동화를 수행할 수 있어 철도 궤도 유지보수 시 작업자 등의 안전사고를 예방하는 효과적으며, 위치기반의 다양한 정보가 실시간으로 업데이트 되는 데이터 플랫폼을 통해 철도 궤도 현장에서 즉시 철도 궤도 장대레일 등의 점검 사항을 확인이 가능하여 유지보수 작업의 중복성을 방지함은 물론 유지보수의 효율성을 향상시킬 수 있으며 유지보수 작업자의 직관적인 정보 인지 및 신속한 의사결정이 가능할 뿐만 아니라 철도 궤도 장대레일 점검 및 유지보수 시 음성정보의 인식 및 기계학습을 통한 텍스트화 및 데이터 플랫폼의 실시간 업데이트가 자동 수행되어 작업자의 업무량을 감소시켜 업무능률을 향상시킬 수 있는 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템을 제공한다. The present invention relates to a location information-based railway track long rail maintenance system using augmented reality. Users and railway field workers who periodically perform maintenance such as regular inspection, precise safety diagnosis, and maintenance of railway track long rails. It is effective in preventing safety accidents such as workers during railroad track maintenance by detecting, predicting, and automating warnings of the approach of various work vehicles, etc., and detecting the location of various work vehicles, etc., and various location-based information is updated in real time. Through the data platform, it is possible to immediately check inspection items such as railroad track long rails at the railroad track site, preventing duplication of maintenance work and improving maintenance efficiency. It also allows maintenance workers to intuitively recognize information and improve maintenance efficiency. Not only does it enable quick decision-making, but it can also improve work efficiency by reducing the workload of workers by automatically recognizing voice information, converting it into text through machine learning, and updating the data platform in real time when inspecting and maintaining railway track long rails. We provide a location information-based railway track long rail maintenance system using augmented reality.
Description
본 발명은 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템에 관한 것으로서, 더욱 상세하게는 주기적으로 철도 궤도 장대레일 유지관리를 수행하는 사용자 또는 철도 현장 작업자의 위치정보와 증강현실을 활용하여 철도 현장 작업자들의 안전 확보와 직관적인 유지관리 이력 검토 및 효율적인 현장 점검 내용 입력을 용이하게 할 수 있도록 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템에 관한 것이다.The present invention relates to a location information-based railroad track long rail maintenance system using augmented reality. More specifically, it utilizes the location information and augmented reality of users or railroad field workers who periodically perform railroad track long rail maintenance. This is about a location information-based railway track long rail maintenance system using augmented reality to ensure the safety of railway field workers, review maintenance history intuitively, and facilitate efficient input of field inspection details.
일반적으로 열차가 이동하는 철도 궤도의 레일은 제작과 운반, 시공, 온도에 따른 길이 변화 등을 고려하여 25m 길이를 기준으로 제작되고 있다. In general, the rails of railway tracks on which trains travel are manufactured based on a length of 25 m, taking into account manufacturing, transportation, construction, and changes in length due to temperature.
레일은 궤도 시공시 25m 길이마다 레일과 레일 사이에 이음매가 발생하는데, 이는 보통의 레일을 연결할 때에는 외부 온도변화에 따른 길이 변화를 고려하여 끝단에 여유를 두기 위함이지만, 이러한 이음매로 인해 열차가 주행시 진동과 소음이 발생하게 된다. When constructing a track, joints are created between rails every 25m in length. This is to leave room at the ends to take into account changes in length due to external temperature changes when connecting ordinary rails, but these joints cause problems when the train runs. Vibration and noise occur.
특히, 이음매로 인한 진동은 열차와 레일을 빠르게 훼손하게 되어 유지보수 비용을 증대시킴은 물론 열차에 탑승한 승객의 승차감도 저하시키는 원인이 된다.In particular, vibration caused by joints quickly damages trains and rails, which not only increases maintenance costs but also reduces the comfort of passengers on the train.
이러한 문제를 해소하기 위해 제작되는 장대레일(CWR; Continuous Welded Rail)은 일반적으로 25m 길이의 레일을 이어서 용접하여 이음매를 없애 1개의 레일 길이가 200m 이상인 레일로서, 주로 고탄소강으로 제조되어 일반 레일보다 날씨 변화에 비교적 영향이 적다.Long rail (CWR; Continuous Welded Rail), which is produced to solve this problem, is a rail that is generally made of 25m long rails by welding them together to eliminate joints, so that each rail length is more than 200m. It is mainly made of high carbon steel, so it is longer than regular rails. Relatively little effect on weather changes.
하지만, 장대레일은 온도변화에 있어 일반 레일에 비해 우수한 성능을 가짐에도 폭염 등이 발생시 레일의 변형이 발생할 우려가 있어 정기적인 점검 및 관리가 필요하다. However, although long rails have superior performance compared to regular rails in terms of temperature changes, there is a risk of rail deformation during heat waves, etc., so regular inspection and management are required.
이에 종래에는 철도 궤도 장대레일 점검(궤도 선형, 레일 두부 프로파일, 레일 내부 균열 및 두부 결함 등)은 도 1에 도시된 바와 같이 (a)의 궤도검측차, (b)의 종합검측차, (c)의 레일탐상차는 물론 선로점검차 등과 같은 검측장비를 이용하거나 유지보수 인력의 선로순회 및 육안점검에 의한 방법으로 수행되고 있다.Accordingly, conventionally, railway track long rail inspection (track alignment, rail head profile, rail internal cracks and head defects, etc.) includes a track inspection vehicle in (a), a comprehensive inspection vehicle in (b), and (c), as shown in Figure 1. It is carried out by using inspection equipment such as rail flaw detectors and track inspection vehicles, or by track tours and visual inspections by maintenance personnel.
이에 따라 검측/점검차를 통해 측정되는 데이터의 위치는 실제 위치와 차이가 존재하며, 측정된 데이터의 보관, 분석 등의 주체가 상이하고, 측정 항목별 데이터가 연속적이고 디지털화된 정보로서 통합적으로 관리되고 있지는 않으며, 유지보수 인력의 선로순회 시 장대레일 표면 상태의 육안 확인 정도만 이루어지고 단편적이며 정성적인 정보 기록 등이 이루어지고 있다. Accordingly, the location of data measured through inspection/inspection vehicles is different from the actual location, the subject of storage and analysis of the measured data is different, and the data for each measurement item is integrated and managed as continuous and digitized information. There is no such thing, and only visual confirmation of the surface condition of the long rail is made when maintenance personnel tour the track, and fragmentary and qualitative information is recorded.
또한, 철도 궤도 장대레일 점검 및 유지보수 시 작업자의 안전 보장을 위해 열차 감시자를 해당 작업구간의 앞뒤에 배치시켜 작업차의 접근 등 위험요소에 대해 전화, 사이렌 소리 등으로 정보 제공하고 있는 실정이다.In addition, to ensure the safety of workers when inspecting and maintaining long rails on railway tracks, train monitors are placed in front and behind the work section to provide information about risk factors such as the approach of work vehicles by phone or siren sounds.
그런데, 이러한 종래의 철도 궤도 장대레일 점검 방식들은 작업자가 현장 작업 도중 작업차 및 운영차 접근 시 판단 및 신속한 대피가 어려운 경우가 발생 가능하여 철도 궤도 유지보수 작업자 안전사고 우려가 존재한다. However, these conventional railroad track long rail inspection methods may make it difficult for workers to make judgments and quickly evacuate when approaching work trucks and operating vehicles during field work, raising concerns about safety accidents for railroad track maintenance workers.
또한, 철도 궤도 현장의 열악한 작업환경으로 인해 정확한 위치정보의 파악이 어려우며, 인적오류에 의해 같은 작업에 대하여 서로 상이한 위치에서 반복적인 유지보수 작업이 이루어질 수 있다. In addition, it is difficult to obtain accurate location information due to the poor working environment of railway track sites, and repetitive maintenance work may be performed at different locations for the same work due to human error.
아울러, 철도 궤도 장대레일 손상에 대한 결함 진전 여부를 현장에서 직관적으로 판단하기 어려우며, 별도의 데이터 검색 및 비교분석을 통해 수행되어야 하는 번거로움도 존재한다.In addition, it is difficult to intuitively determine in the field whether damage to long rails on railway tracks has progressed, and there is also the inconvenience of having to conduct separate data searches and comparative analysis.
그리고, 이러한 종래의 철도 궤도 장대레일 점검 방식들은 철도 궤도 장대레일 유지관리 데이터와 선로 현황 정보가 정확하게 매칭되지 않으며 이러한 데이터들 마저도 각기 분산되어 있어 데이터 관리에 어려움이 존재하고, 철도 궤도 장대레일 점검 시 문제가 확인된 위치 및 상태에 대한 수기 작성 시 현장 데이터 누락 또는 분실, 담당자 알림 누락, 판단오류 등의 발생 가능성이 높다.In addition, in these conventional railway track long rail inspection methods, railway track long rail maintenance data and track status information are not accurately matched, and even these data are dispersed, resulting in difficulties in data management, and when inspecting railway track long rails When writing down the location and status of a problem identified by hand, there is a high possibility of missing or losing field data, missing notifications to the person in charge, and errors in judgment.
또한, 이러한 종래의 철도 궤도 장대레일 점검 방식들은 기존에 유지보수를 수행한 위치에 대한 현장에서의 신속한 접근이 쉽지 않으며, 이전에 수행한 장대레일 점검/유지보수이력 데이터들이 실시간으로 업데이트 되지 않고 있는 실정으로 인해 철도 궤도 현장에서 해당 데이터들을 효율적으로 검토하기가 어렵다.In addition, these conventional railroad track long rail inspection methods do not provide quick on-site access to locations where maintenance was previously performed, and previously performed long rail inspection/maintenance history data is not updated in real time. Due to the current situation, it is difficult to efficiently review the data at the railway track site.
따라서, 본 발명은 이러한 문제점들을 해결하기 위한 것으로서 본 발명은 주기적으로 철도 궤도 장대레일의 정기 점검, 정밀안전진단, 유지보수 등의 유지관리를 수행하는 사용자, 철도 현장 작업자 등의 안전 확보와 직관적인 유지관리 이력 검토 및 효율적인 현장 점검 내용 입력을 용이하게 할 수 있도록 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템을 제공하는데 그 목적이 있다.Therefore, the present invention is intended to solve these problems, and the present invention ensures the safety of users and railroad site workers who periodically perform maintenance such as regular inspection, precise safety diagnosis, and maintenance of long rails on railroad tracks and provides intuitive The purpose is to provide a location information-based railroad track long rail maintenance system using augmented reality to facilitate review of maintenance history and input of efficient on-site inspection details.
특히, 본 발명은 사용자 또는 현장 작업자의 위치정보와 AR, XR 등의 증강현실을 활용하여 철도 현장 작업자들의 안전 확보와 직관적인 유지관리 이력 검토 및 효율적인 현장 점검 내용 입력을 용이하게 할 수 있는 철도 궤도 장대레일 유지관리 시스템 및 그 방법을 제공하는데 그 목적이 있다.In particular, the present invention utilizes the location information of users or field workers and augmented reality such as AR and XR to secure the safety of railroad field workers, intuitively review maintenance history, and facilitate the input of efficient field inspection details on a railroad track. The purpose is to provide a long rail maintenance system and method.
이와 같은 기술적 과제를 해결하기 위해 본 발명은; In order to solve this technical problem, the present invention;
철도 궤도 장대레일이 설치되는 선로에 설치되어 위치정보가 등록 저장되는 측위센서와; 상기 측위센서로부터 수신되는 위치정보를 기반으로 상기 철도 궤도 장대레일의 유지관리를 위한 유지관리 데이터의 이력을 관리하는 철도 유지관리 데이터 플랫폼과, 상기 철도 유지관리 데이터 플랫폼의 구동에 따른 위치정보 기반의 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 변환하여 현시화하는 증강현실 모듈이 탑재되는 사용자의 휴대용 기기;를 포함하는 것을 특징으로 하는 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템을 제공한다. A positioning sensor installed on a railroad track where a long rail is installed and registering and storing location information; A railway maintenance data platform that manages the history of maintenance data for maintenance of the railway track long rail based on the location information received from the positioning sensor, and a location information-based data platform according to the operation of the railway maintenance data platform. A user's portable device equipped with an augmented reality module that converts and visualizes maintenance history data into a digital trajectory in real time so that it overlaps with actual reality; a location information-based railway track long rail using augmented reality, comprising: Provides a maintenance system.
이때, 상기 측위센서는 차량의 접근을 감지하면 사용자의 안전을 확보할 수 있도록 상기 휴대용 기기에 경고 메시지 또는 경보음을 송출하는 것을 특징으로 한다. At this time, when the positioning sensor detects the approach of a vehicle, it is characterized in that it transmits a warning message or an alarm sound to the portable device to ensure the user's safety.
그리고, 사용자가 신체에 직접 착용하며 상기 철도 유지관리 데이터 플랫폼의 구동에 따라 상기 측위센서의 위치정보를 기반으로 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 출력하는 증강현실 기기를 더 포함하는 것을 특징으로 한다. In addition, an augmented reality device that the user wears directly on the body and outputs maintenance history data as a digital trajectory in real time based on the location information of the positioning sensor according to the operation of the railway maintenance data platform so that it overlaps with actual reality is further provided. It is characterized by including.
이때, 상기 증강현실 기기는 상기 철도 유지관리 데이터 플랫폼의 구동에 따른 위치정보 기반의 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 표시하되 사용자가 착용 가능한 고글형태의 HMD(Head Mounted Device), 스마트안경, 스마트 콘텍트렌즈, 스마트 워치 중에 어느 하나인 것을 특징으로 한다. At this time, the augmented reality device displays maintenance history data based on location information according to the operation of the railway maintenance data platform as a digital trajectory in real time so that it overlaps with actual reality, and is equipped with a head mounted device (HMD) in the form of goggles that the user can wear. ), smart glasses, smart contact lenses, and smart watches.
그리고, 상기 측위센서는 차량의 접근을 감지하면 사용자의 안전을 확보할 수 있도록 상기 증강현실 기기에 경고 메시지 또는 경보음을 송출하는 것을 특징으로 한다. In addition, when the positioning sensor detects the approach of a vehicle, it is characterized in that it transmits a warning message or an alarm sound to the augmented reality device to ensure the user's safety.
아울러, 상기 철도 유지관리 데이터 플랫폼은 사용자의 모션(motion) 인식이 가능한 웨어러블 기기와 연동되는 것을 특징으로 한다. In addition, the railway maintenance data platform is characterized by being linked to a wearable device capable of recognizing the user's motion.
그리고, 상기 철도 유지관리 데이터 플랫폼은 유지관리 데이터인 선로현황정보와 유지관리 이력 데이터를 위치정보를 기반으로 연동되도록 등록하며, 상기 측위센서로부터 위치정보가 입력되면 상기 위치정보를 기반으로 유지관리 데이터를 생성하는 것을 특징으로 한다. In addition, the railway maintenance data platform registers maintenance data, such as track status information and maintenance history data, to be linked based on location information, and when location information is input from the positioning sensor, maintenance data is provided based on the location information. It is characterized by generating.
아울러, 상기 휴대용 기기에는 입력되는 음성데이터를 자동으로 텍스트화하고 상기 철도 유지관리 데이터 플랫폼에서 활용가능하도록 키워드에 따른 손상정보 및 카테고리를 실시간으로 자동 분류하는 기계학습 모듈이 더 포함되는 것을 특징으로 한다. In addition, the portable device further includes a machine learning module that automatically converts input voice data into text and automatically classifies damage information and categories according to keywords in real time so that it can be used in the railway maintenance data platform. .
그리고, 상기 철도 유지관리 데이터 플랫폼은 휴대용 기기에 내장된 카메라로 촬영되는 손상정보가 입력되면 인근 측위센서를 통해 자동입력되는 위치정보를 기반으로 등록 저장하는 것을 특징으로 하는 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템. In addition, the railway maintenance data platform registers and stores location information using augmented reality based on location information automatically entered through a nearby positioning sensor when damage information captured by a camera built into a portable device is input. Base railway track long rail maintenance system.
또한, 본 발명은;Additionally, the present invention;
철도 궤도 장대레일이 설치되는 선로에 설치되는 측위센서로부터 위치정보를 수신하는 제1단계; 상기 측위센서로부터 수신되는 위치정보를 기반으로 상기 철도 궤도 장대레일의 유지관리를 위한 유지관리 데이터의 이력을 등록하는 제2단계; 및 상기 위치정보 기반의 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 변환하여 현시화하는 제3단계;를 포함하는 것을 특징으로 하는 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 방법도 제공한다.A first step of receiving location information from a positioning sensor installed on the track where the long rail of the railroad track is installed; A second step of registering a history of maintenance data for maintenance of the railroad track long rail based on the location information received from the positioning sensor; And a third step of converting and visualizing the location information-based maintenance history data into a digital trajectory in real time so that it overlaps with actual reality. Location information-based railway track long rail maintenance using augmented reality, comprising a. Management methods are also provided.
이때, 상기 제1 내지 제3단계 중 어느 한단계를 수행중에 상기 측위센서로부터 경고 메시지 또는 경보음이 수신되면 휴대용 기기 또는 사용자가 착용하고 있는 증강현실 기기로 디스플레이 또는 음성 출력하는 제4단계;를 더 포함하는 것을 특징으로 한다.At this time, if a warning message or alarm sound is received from the positioning sensor while performing any one of the first to third steps, a fourth step of displaying or audio output on a portable device or an augmented reality device worn by the user; It is characterized by including.
아울러, 상기 제3단계는 휴대용 기기 또는 사용자가 착용하고 있는 증강현실 기기를 통해 위치정보 기반의 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 변환하여 현시화하는 단계인 것을 특징으로 한다. In addition, the third step is characterized in that the location information-based maintenance history data is converted into a digital trajectory in real time to overlap with the actual reality and visualized through a portable device or an augmented reality device worn by the user. .
본 발명에 따르면, 주기적으로 철도 궤도 장대레일의 정기 점검, 정밀안전진단, 유지보수 등의 유지관리를 수행하는 사용자, 철도 현장 작업자 등의 위치 파악 및 각종 작업차량 등의 접근을 감지, 예측 및 경고의 자동화를 수행할 수 있어 철도 궤도 유지보수 시 작업자 등의 안전사고를 예방하는 효과가 있다.According to the present invention, the location of users and railroad site workers who periodically perform maintenance such as regular inspection, precise safety diagnosis, and maintenance of long rails on railroad tracks is identified, and the approach of various work vehicles is detected, predicted, and warned. Automation is possible, which has the effect of preventing safety accidents for workers and others during railway track maintenance.
또한, 본 발명에 따르면 위치기반의 다양한 정보가 실시간으로 업데이트 되는 데이터 플랫폼을 통해 철도 궤도 현장에서 즉시 철도 궤도 장대레일 등의 점검 사항을 확인이 가능하여 유지보수 작업의 중복성을 방지함은 물론 유지보수의 효율성을 향상시킬 수 있다.In addition, according to the present invention, it is possible to immediately check inspection items such as long rails of railway tracks at the railway track site through a data platform where various location-based information is updated in real time, thereby preventing duplication of maintenance work and maintaining maintenance work. efficiency can be improved.
아울러, 본 발명에 따르면 증강현실 기반의 유지관리 시스템 구축에 따른 유지보수 작업자의 직관적인 정보 인지 및 신속한 의사결정이 가능할 뿐만 아니라 철도 궤도 장대레일 점검 및 유지보수 시 음성정보의 인식 및 기계학습을 통한 텍스트화 및 데이터 플랫폼의 실시간 업데이트가 자동 수행되어 작업자의 업무량을 감소시켜 업무능률이 향상되는 효과도 있다. In addition, according to the present invention, not only can maintenance workers intuitively recognize information and make quick decisions by building an augmented reality-based maintenance management system, but also recognize voice information and use machine learning when inspecting and maintaining railway track long rails. Real-time updates to text and data platforms are automatically performed, which also has the effect of improving work efficiency by reducing the workload of workers.
도 1의 (a) 내지 (c)는 종래 장대레일의 점검을 수행하기 위해 이용하는 차량의 예를 도시한 도면이다.
도 2는 본 발명에 따른 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템의 구성도이다.
도 3은 본 발명에 따른 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 예를 설명하기 위해 도시한 개념도이다.
도 5는 본 발명의 일 실시 예에 따른 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리를 위한 데이터 확인 및 입력 방식을 설명하기 위해 도시한 도면이다.Figures 1 (a) to (c) are diagrams showing examples of vehicles used to inspect conventional long rails.
Figure 2 is a configuration diagram of a location information-based railroad track long rail maintenance system using augmented reality according to the present invention.
Figure 3 is a flowchart of location information-based railroad track long rail maintenance using augmented reality according to the present invention.
Figure 4 is a conceptual diagram illustrating an example of long-rail maintenance of a railway track based on location information using augmented reality according to an embodiment of the present invention.
Figure 5 is a diagram illustrating a data confirmation and input method for maintenance of long-rail railway tracks based on location information using augmented reality according to an embodiment of the present invention.
이하, 본 발명에 따른 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템을 첨부한 도면을 참고로 하여 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다. Hereinafter, the features of the location information-based railway track long rail maintenance system using augmented reality according to the present invention will be described in detail with reference to the attached drawings.
이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Prior to this, the terms or words used in this specification and claims should not be construed as limited to their usual or dictionary meanings, and the inventor should appropriately define the concept of terms in order to explain his or her invention in the best way. It must be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle of definability.
따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Therefore, the embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention and do not represent the entire technical idea of the present invention, so at the time of filing this application, they can be replaced. It should be understood that various equivalents and variations may exist.
도 2 내지 도 5를 참고하면, 본 발명에 따른 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템은, 철도 궤도 장대레일(1)이 설치되는 선로에 설치되어 현장 작업차 또는 운영차 등(이하, '차량'이라 한다.)(2)의 접근을 감지하고 위치정보가 등록 저장되는 측위센서(10)와; 사용자나 현장 작업자 등(이하, '사용자'라 한다.)(3)이 휴대하되 상기 측위센서(10)로부터 수신되는 위치정보를 토대로 철도 궤도 장대레일(1)의 유지관리를 위한 유지관리 데이터의 이력을 관리하는 철도 유지관리 데이터 플랫폼(21)과, 상기 철도 유지관리 데이터 플랫폼(21)의 구동에 따른 위치정보 기반의 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 변환하여 현시화하는 증강현실 모듈(22)이 탑재되는 휴대용 기기(20);를 포함한다.Referring to Figures 2 to 5, the location information-based railway track long rail maintenance system using augmented reality according to the present invention is installed on the track where the railway track long rail (1) is installed and used as a field work vehicle or operating vehicle. A positioning sensor (10) that detects the approach of a light (hereinafter referred to as 'vehicle') (2) and registers and stores location information; The user or field worker, etc. (hereinafter referred to as 'user') (3) carries maintenance data for maintenance of the railway track pole rail (1) based on the location information received from the positioning sensor (10). The railway maintenance data platform 21, which manages the history, and the maintenance history data based on location information according to the operation of the railway maintenance data platform 21 are converted into digital trajectories in real time to overlap with actual reality and visualized. It includes a portable device 20 on which an augmented reality module 22 is mounted.
물론, 상기 휴대용 기기(20)는 사용자(3)가 신체에 직접 착용하는 증강현실 기기(30)와 연동되어 상기 철도 유지관리 데이터 플랫폼(21)의 구동에 따른 위치정보 기반의 유지관리 이력 데이터를 증강현실 기기(30)로 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 출력하여 좀더 현실감 있는 점검을 수행할 수 있다.Of course, the portable device 20 is linked with the augmented reality device 30 that the user 3 wears directly on the body to collect location information-based maintenance history data according to the operation of the railway maintenance data platform 21. With the augmented reality device 30, a more realistic inspection can be performed by outputting a digital trajectory in real time so that it overlaps with actual reality.
이하, 본 발명의 각부 구성을 구체적으로 설명한다.Hereinafter, the configuration of each part of the present invention will be described in detail.
상기 측위센서(10)는 현장에 설치하며 센서의 전파범위에 따라 검토 가능한 현장의 위치 범위와 센서의 위치정보를 설정하는 것으로, 일 예로 비콘(Beacon)을 적용할 수 있다. The positioning sensor 10 is installed in the field and sets the location range of the field that can be reviewed and the location information of the sensor according to the radio wave range of the sensor. For example, a beacon can be applied.
이와 같은 측위센서(10)는 현장 작업차 또는 운영차 등과 같은 차량(2)의 접근을 감지함은 물론 위치정보가 등록 저장되어 주기적으로 위치정보를 설정범위(예를 60m 이내) 내에서 송출한다. 이러한 측위센서(10)는 현장에 하나 이상 설치 운영함이 바람직다.This positioning sensor 10 not only detects the approach of a vehicle 2 such as a field work vehicle or operating vehicle, but also registers and stores the location information and periodically transmits the location information within a set range (for example, within 60 m). . It is desirable to install and operate one or more of these positioning sensors 10 in the field.
또한, 상기 휴대용 기기(20)는 사용자(3)가 자유롭게 휴대 가능하며 상기 측위센서(10)와 증강현실 기기(30) 등과 연동되도록 무선 통신이 가능하며 데이터 입력이 가능한 기기로서, 통신기능을 갖는 스마트폰과 같은 휴대용 단말기는 물론 휴대용 터치패드, 태블릿 PC 등 다양한 휴대 가능한 장치를 사용할 수 있다. In addition, the portable device 20 is a device that can be freely carried by the user 3 and is capable of wireless communication and data input to be linked with the positioning sensor 10 and the augmented reality device 30, and has a communication function. You can use various portable devices such as portable terminals such as smartphones, portable touchpads, and tablet PCs.
이러한 휴대용 기기(20)에는 철도 궤도 장대레일(1)의 유지관리를 위한 유지관리 데이터의 입력 및 그 이력을 관리하는 소프트웨어(S/W)인 철도 유지관리 데이터 플랫폼(21)이 탑재되며, 상기 철도 유지관리 데이터 플랫폼(21)이 구동되면 측위센서(10)의 위치정보를 입력받고 그 위치정보를 기반으로 철도 궤도 장대레일(1)의 유지관리 데이터의 이력을 관리할 수 있다. This portable device (20) is equipped with a railroad maintenance data platform (21), which is software (S/W) that inputs maintenance data for maintenance of the railroad track long rail (1) and manages its history. When the railway maintenance data platform 21 is operated, the location information of the positioning sensor 10 is input and the maintenance data history of the railway long rail 1 can be managed based on the location information.
이와 같은 휴대용 기기(20)는 현장 점검 데이터를 입력하거나 유지관리 데이터의 출력이 가능하도록 데이터 입출력장치인 터치스크린, 경고음 등을 출력가능한 스피커, 현장의 영상을 촬영하기 위한 카메라는 물론 휴대용 단말기(20)의 위치정보를 실시간으로 감지하는 GPS수신기 등이 내장(또는 탑재)된 공지의 기기를 사용함이 바람직하다.Such a portable device 20 includes a touch screen as a data input/output device to enable input of field inspection data or output of maintenance data, a speaker capable of outputting warning sounds, etc., a camera for capturing images of the field, as well as a portable terminal (20). ) It is desirable to use a known device that has a built-in (or mounted) GPS receiver that detects location information in real time.
그리고, 상기 휴대용 기기(20)에는 상기 철도 유지관리 데이터 플랫폼(21)과 연동되어 작동하는 증강현실 모듈(22)이 함께 탑재된다. 상기 증강현실 모듈(22)은 상기 철도 유지관리 데이터 플랫폼(21)의 구동에 따른 위치정보 기반의 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 변환한다. In addition, the portable device 20 is equipped with an augmented reality module 22 that operates in conjunction with the railway maintenance data platform 21. The augmented reality module 22 converts maintenance history data based on location information resulting from the operation of the railway maintenance data platform 21 into a digital trajectory in real time so that it overlaps with actual reality.
물론, 상기 증강현실 모듈(22)에 의해 변환된 정보는 휴대용 단말기(20)의 직접 출력될 수 있으며 이 경우 입출력 장치인 터치스크린 등으로 표시된다. Of course, the information converted by the augmented reality module 22 can be directly output from the portable terminal 20, and in this case, it is displayed on a touch screen, which is an input/output device.
그리고, 상기 휴대용 기기(20)와 연동되며 사용자가 착용할 수 있는 다양한 형태의 증강현실 기기(30)를 보조적으로 더 사용할 수 도 있다. 이 경우 상기 증강현실 기기(30)는 상기 휴대용 기기(20)의 철도 유지관리 데이터 플랫폼(21)과 연동되어 작동하는 기기로서 철도 유지관리 데이터 플랫폼(21)의 구동에 따른 위치정보 기반의 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 표시하는 AR(Augmented Reality, 증강현실), XR(eXtended Reality, 확장현실) 기기로서, 사용자(2)가 착용 가능한 고글형태의 HMD(Head Mounted Device), 스마트안경, 스마트 콘텍트렌즈, 스마트 워치 등을 적용할 수 있다. In addition, various types of augmented reality devices 30 that are linked to the portable device 20 and can be worn by the user may be used as an auxiliary device. In this case, the augmented reality device 30 is a device that operates in conjunction with the railroad maintenance data platform 21 of the portable device 20 and performs maintenance based on location information according to the operation of the railroad maintenance data platform 21. It is an AR (Augmented Reality) and XR (eXtended Reality) device that displays historical data as a digital trajectory in real time so that it overlaps with actual reality. It is a goggle-type HMD (Head Mounted Device) that can be worn by the user (2). ), smart glasses, smart contact lenses, smart watches, etc. can be applied.
아울러, 상기 휴대용 기기(20)에 탑재되는 철도 유지관리 데이터 플랫폼(21)은 사용자의 모션(motion) 인식이 가능한 다양한 형태의 웨어러블 기기(40)와 연동되어 상호작용에 의해 철도 유지관리 데이터 플랫폼(21)의 컨텐츠를 사용할 수 있도록 함이 바람직하다. 이 경우 상기 웨어러블 기기(40)는 입력장치의 기능을 하는 구성임이 바람직하다.In addition, the railway maintenance data platform 21 mounted on the portable device 20 is linked to various types of wearable devices 40 capable of recognizing the user's motion, thereby creating a railway maintenance data platform ( It is desirable to make the contents of 21) available. In this case, the wearable device 40 is preferably configured to function as an input device.
또한, 상기 측위센서(10)에서 장대레일(1)의 검침 등을 수행하는 현장에 차량(2)이 접근시 상기 휴대용 기기(20) 및 증강현실 기기(30)에 대피 및 위험경고 메시지(이하, '경고 메시지'라 한다.) 및/또는 경보음을 송출하여 사용자의 안전을 확보할 수 있도록 한다. In addition, when the vehicle 2 approaches the site where the positioning sensor 10 performs meter reading of the pole rail 1, etc., an evacuation and danger warning message is displayed on the portable device 20 and the augmented reality device 30 (hereinafter referred to as , referred to as a 'warning message') and/or an alarm sound to ensure the user's safety.
이 경우 상기 측위센서(10)에서 무선 송출되는 경고 메시지 및/또는 경보음은 상기 휴대용 기기(20)로 수신되어 자체 터치스크린 및 스피커 등으로 디스플레이 또는 음성 출력됨은 물론 휴대용 기기(20)에서 사용자가 착용하고 있는 증강현실 기기(30)로도 전송되어 경고 메시지 및/또는 경보음을 출력하여 사용자(3)가 인지할 수 있도록 한다. In this case, the warning message and/or alarm sound transmitted wirelessly from the positioning sensor 10 is received by the portable device 20 and displayed or output as a voice through its own touch screen and speaker, as well as the user's signal from the portable device 20. It is also transmitted to the augmented reality device 30 being worn and outputs a warning message and/or an alarm sound so that the user 3 can recognize it.
물론, 상기 측위센서(10)에서 송출되는 경고 메시지 및/또는 경보음은 상기 휴대용 기기(20) 및 증강현실 기기(30)에서 각기 직접 수신할 수 있도록 연동 운영함도 가능하며 이러한 정도의 설계변경 정도 역시 모두 본 발명의 권리범위에 속한다.Of course, the warning message and/or alarm sound transmitted from the positioning sensor 10 can be operated in conjunction so that the portable device 20 and the augmented reality device 30 can each directly receive it, and this degree of design change is possible. All degrees also fall within the scope of rights of the present invention.
한편, 도 3을 참고하면 상기 휴대용 기기(20)에 탑재되는 철도 유지관리 데이터 플랫폼(21)은 측위센서(10)와 연동되어 철도 궤도 장대레일 현장 위치정보기반으로 구동되는 것으로, 철도 유지관리 데이터 플랫폼(21)에서는 기존의 유지관리(이력) 데이터가 저장되며 이와 연동가능한 신규 유지관리 데이터를 입력 및 수집한다.(S10) Meanwhile, referring to FIG. 3, the railway maintenance data platform 21 mounted on the portable device 20 is linked with the positioning sensor 10 and is driven based on the location information of the long rail site on the railway track, providing railway maintenance data. In the platform 21, existing maintenance (history) data is stored and new maintenance data that can be linked to it is input and collected (S10).
그리고, 상기 철도 유지관리 데이터 플랫폼(21)은 휴대용 기기(20)를 통해 철도 궤도 장대레일(1)의 선형 및 용접부 위치, 통과톤수 등의 선로현황정보를 입력받는다(S11)In addition, the railway maintenance data platform 21 receives track status information, such as the alignment and welding area of the long rail 1, and passing tonnage, through the portable device 20 (S11)
이러한 철도 유지관리 데이터 플랫폼(21)은 유지관리 데이터인 상기 선로현황정보와 유지관리 이력 데이터를 위치정보를 기반으로 연동되도록 등록한다.(S12) This railway maintenance data platform 21 registers the track status information and maintenance history data, which are maintenance data, to be linked based on location information (S12).
그리고, 상기 철도 유지관리 데이터 플랫폼(21)은 현장에 설치된 측위센서(10)와 연동되어 위치정보가 입력되면 이를 기반으로 유지관리 데이터를 생성하며 이는 증강현실 모듈(22)에서 변환되어 출력된다.(S13) 이 경우 유지관리 데이터의 종류는 사용자에 의해 선택할 수 있음은 자명하다.In addition, the railway maintenance data platform 21 is linked to the positioning sensor 10 installed in the field and generates maintenance data based on the input of location information, which is converted and output in the augmented reality module 22. (S13) In this case, it is obvious that the type of maintenance data can be selected by the user.
이와 같은 철도 유지관리 데이터 플랫폼(21)은 측위센서(10)로부터 휴대용 기기(20)에 자동적으로 수신되는 위치정보를 기반으로 유지관리 데이터를 입력 및 수집하고 변환함에 따라 일관성 및 신뢰성을 향상시킬 수 있다.Such a railway maintenance data platform 21 can improve consistency and reliability by inputting, collecting, and converting maintenance data based on the location information automatically received from the positioning sensor 10 to the portable device 20. there is.
한편, 사용자(3)는 자신이 착용하는 HMD 등의 증강현실 기기(30)를 활용하여 철도 궤도 장대레일(1)의 현장 점검을 수행할 수 있다. Meanwhile, the user 3 can perform an on-site inspection of the long rail 1 of the railroad track using an augmented reality device 30 such as an HMD worn by the user.
우선 측위센서(10)의 현장설치 및 선서별 위치정보 및 범위를 설정(S20)하고, 증강현실 기능을 활용하여 철도 궤도 장대레일(1)의 현장 점검을 수행할 수 있다.First, the positioning sensor (10) can be installed on site and the location information and range for each line are set (S20), and an on-site inspection of the railroad track long rail (1) can be performed using the augmented reality function.
이러한 휴대용 기기(20)의 철도 유지관리 데이터 플랫폼(21)을 통해 측위센서(10)의 위치정보가 입력됨에 따라 사용자(3)의 현재 위치를 자동 인식/입력한다(S21). 이 경우 사용자(3)의 현재 위치는 휴대용 기기(20)에 내장되는 GPS수신기 등을 통해 현 위치를 정확히 파악할 수도 있다.As the location information of the positioning sensor 10 is input through the railway maintenance data platform 21 of the portable device 20, the current location of the user 3 is automatically recognized/entered (S21). In this case, the current location of the user 3 may be accurately determined through a GPS receiver built into the portable device 20.
그리고, 사용자(3)가 철도 현장의 점검을 위해 철도 유지관리 위치에 접근 시(S22), 철도 유지관리 데이터 플랫폼(21)은 데이터 보유 여부를 확인할 수 있도록 알림을 송출한다.(S23) In addition, when the user (3) approaches the railway maintenance location for inspection of the railway site (S22), the railway maintenance data platform (21) sends a notification to check whether data is held (S23).
이 경우 철도 유지관리 데이터 플랫폼(21)은 증강현실 기기(30)의 경우에는 점멸로 확인 가능하도록 알림을 송출하고, 휴대용 기기(20)에는 소리 및 화면으로 표기 가능하도록 알림을 송출한다. 이는 사용자와 상관없이 철도 현장의 유지관리 시 쉽고 정확한 위치에 접근이 가능하다.In this case, the railway maintenance data platform 21 sends a notification to the augmented reality device 30 so that it can be confirmed by blinking, and to the portable device 20, it sends a notification so that it can be displayed with sound and screen. This allows easy and accurate access to the location during maintenance of the railway site, regardless of the user.
다음으로 상기 철도 유지관리 데이터 플랫폼(21)의 유지관리 데이터는 증강현실 기기(30)를 통해 디지털 궤적으로 변환되어 실제 현실과 겹쳐보여 현 상태에 대해 확인하도록 정보를 출력하여 사용자(3)가 빠르고 직관적으로 보수 내용 데이터의 확인이 가능하다.(S24) Next, the maintenance data of the railway maintenance data platform 21 is converted into a digital trajectory through the augmented reality device 30 and overlapped with actual reality to output information to check the current status so that the user 3 can quickly and It is possible to intuitively check compensation content data. (S24)
그리고, 상기 철도 유지관리 데이터 플랫폼(21)은 현장 작업차 또는 운영차의 접근을 측위센서(10)에서 감지함에 따라 수신되는 경고 메시지(C)에 따라 증강현실 기기(30) 및 휴대용 기기(20)에 경고 메시지 및/또는 경보음을 송출하여 사용자(3)의 신속하고 확실한 대피가 가능하다.(S25)In addition, the railway maintenance data platform 21 uses the augmented reality device 30 and the portable device 20 according to the warning message C received as the positioning sensor 10 detects the approach of the field work vehicle or operating vehicle. ) by transmitting a warning message and/or an alarm sound to enable quick and reliable evacuation of the user (3) (S25).
이와 같은 일련의 과정을 통해 철도현장 점검을 완료할 수 있다.(S26)Railroad site inspection can be completed through this series of processes. (S26)
또한, 사용자(3)는 휴대용 기기(20)를 통해 철도 점검 과정에서 현장 점검 데이터를 철도 유지관리 데이터 플랫폼(21)에 효율적인 입력할 수 있다.In addition, the user 3 can efficiently input field inspection data into the railroad maintenance data platform 21 during the railroad inspection process through the portable device 20.
우선 사용자(3)는 현장 점검 중 새로운 손상 및 특이사항이 발생하거나 유지보수 내역 등을 수행(S30)하는 경우 점검 데이터를 입력하거나 음성으로 유지관리 데이터(내용)을 철도 유지관리 데이터 플랫폼(21)이 탑재된 휴대용 기기(20)에 저장(또는 녹음)할 수 있다.(S31) First, the user (3) enters inspection data or sends maintenance data (contents) by voice when new damage or unusual issues occur during on-site inspection or maintenance details are performed (S30) through the railway maintenance data platform (21). It can be saved (or recorded) on the portable device 20 mounted on it (S31).
이때, 음성데이터는 휴대용 기기(20)에 탑재된 기계학습 모듈(23)을 통하여 음성의 자동 텍스트화(S32)하고 이는 철도 유지관리 데이터 플랫폼(21)에서 활용가능하도록 키워드에 따른 손상정보 및 카테고리를 실시간으로 자동 분류(S33)함에 따라 간편하게 점검이 가능한다.At this time, the voice data is automatically converted into text (S32) through the machine learning module (23) mounted on the portable device (20), and this is used in the railway maintenance data platform (21) to provide damage information and categories according to keywords. Automatic classification (S33) in real time allows for easy inspection.
또한, 사용자(3)는 점검 과정에서 상기 휴대용 기기(20)에 내장된 카메라로 손상정보를 촬영하고 인근 측위센서(10)를 통해 자동입력되는 위치정보를 기반으로 등록저장할 수 있다.(S34) Additionally, during the inspection process, the user 3 can photograph damage information with a camera built into the portable device 20 and register and store it based on location information automatically input through the nearby positioning sensor 10. (S34)
즉, 철도 유지관리 데이터 플랫폼(21)은 휴대용 기기(20)의 카메라를 통해 손상정보가 촬영되어 입력되면 인근 측위센서(10)를 통해 자동입력되는 위치정보와 함께 등록 저장함으로서 손상정보를 촬영하는 위치정보의 신뢰성도 향상시킬 수 있다.In other words, when damage information is captured and input through the camera of the portable device 20, the railway maintenance data platform 21 records and stores the damage information along with the location information automatically entered through the nearby positioning sensor 10. The reliability of location information can also be improved.
아울러, 사용자(3)는 철도 유지관리 데이터 플랫폼(21)을 통해 이와 같이 다양한 점검정보(점검자 및 점거일시 등을 포함) 및 위치별 점검 히스토리(이력)를 검토 가능하고(S35), 유지보수 수행시 현장 점검(이력)내용의 확인 및 보수 내역을 작성 가능하다.(S36) In addition, the user (3) can review various inspection information (including inspector and occupancy date, etc.) and inspection history by location through the railroad maintenance data platform (21) (S35) and perform maintenance. It is possible to confirm the city's on-site inspection (history) details and create repair details. (S36)
그리고, 사용자(3)가 철도 궤도 장대레일(1)의 현장 점검 데이터 입력을 완료(S37)한 후에는 상기 단계(S34)를 통해 점검 과정을 수행할 수 있다. And, after the user 3 completes the input of field inspection data for the railroad track long rail 1 (S37), the inspection process can be performed through the above step (S34).
이하, 도 4 및 도 5를 참고로 본 발명에 따른 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 예들을 설명한다.Hereinafter, examples of location information-based railroad track long rail maintenance using augmented reality according to the present invention will be described with reference to FIGS. 4 and 5.
우선 도 4를 참고하면 사용자(3)는 사용자(3)가 신체에 착용하는 HMD(Head Mounted Device), 스마트안경, 스마트 콘텍트렌즈, 스마트 워치 등의 증강현실 기기(30)를 활용하여 검토하는 경우 점검 위치에서 휴대용 기기(20)에 탑재된 유지관리 데이터 플랫폼(21)을 통해 철도 궤도 장대레일(1)의 현장 점검 과정에서 등록 저장한 다양한 형태의 유지관리 데이터 또는 유지관리 이력 데이터를 실시간으로 확인할 수 있다.First, referring to FIG. 4, when the user 3 reviews using an augmented reality device 30 such as a head mounted device (HMD), smart glasses, smart contact lenses, and a smart watch worn by the user 3 on the body. Various types of maintenance data or maintenance history data registered and stored during the on-site inspection of the railroad track long rail (1) can be checked in real time through the maintenance data platform (21) mounted on the portable device (20) at the inspection location. You can.
아울러, 사용자(3)는 증강현실 기기(30)의 화면은 사용자(3)의 모션 인식이 가능한 웨어러블 기기(40)와 연동되어 상호작용에 의해 철도 유지관리 데이터 플랫폼(21)의 컨텐츠 사용이 가능하다. In addition, the user 3 can use the contents of the railway maintenance data platform 21 through interaction by linking the screen of the augmented reality device 30 with the wearable device 40 capable of recognizing the user 3's motion. do.
그리고, 철도 유지관리 데이터 플랫폼(21)과 선로 현장에서의 측위센서(10)의 위치정보가 연동됨에 따라 정기점검, 정밀 안전진단, 유지보수 내역 등의 철도 유지관리 수행 시 측위센서(10)의 위치정보를 휴대용 기기(20)에 자동 수신되며 철도 유지관리 데이터 플랫폼(21)에 의해 사용자(현장 작업자)의 위치와 인근 유지보수 이력 데이터(D)의 유무를 표시(D1)한다.In addition, as the railway maintenance data platform 21 and the location information of the positioning sensor 10 at the track site are linked, the positioning sensor 10 is used when performing railway maintenance such as regular inspection, precise safety diagnosis, and maintenance details. Location information is automatically received by the portable device 20, and the location of the user (field worker) and the presence or absence of nearby maintenance history data (D) are displayed (D1) by the railway maintenance data platform (21).
그리고, 사용자(3)는 철도 유지관리 데이터 플랫폼(21)을 통해 연동된 증강현실 기기(30)를 활용하여 디지털 궤적을 실제 현실과 겹쳐 보일 수 있도록 하며 그 유지관리 이력 데이터를 확인할 수 있다. In addition, the user 3 can use the augmented reality device 30 linked through the railway maintenance data platform 21 to display the digital trajectory overlapping with actual reality and check the maintenance history data.
이에 더해 현장에 작업차 또는 운영차 등의 차량(2)이 운행 시 측위센서(10)는 위치정보를 바탕으로 실시간 이동경로를 파악하여 사용자의 위치와의 접근 감지 및 예측하여 증강현실 기기(30) 및 철도 유지관리 데이터 플랫폼(21)이 설치된 휴대용 기기(20)에 경고 메시지 및/또는 경보음을 송출하여 사용자(3)가 인지하도록 한다.In addition, when a vehicle (2) such as a work truck or operating vehicle is driven on site, the positioning sensor (10) determines the real-time movement path based on location information, detects and predicts approach to the user's location, and detects and predicts the approach to the user's location (30). ) and a warning message and/or an alarm sound are transmitted to the portable device 20 on which the railway maintenance data platform 21 is installed so that the user 3 is aware of it.
다음으로 도 5를 참고하면, 사용자(3)가 유지관리가 수행된 철도 궤도 현장 위치에서, 관리내역 및 수행계획, 유지관리 내용 및 점검 등 관련 내용을 직관적으로 확인할 수 있도록, 휴대용 기기(20)를 통해 디지털 데이터 궤적인 실제 해당 현장 위치에 오버레이시켜 출력한다.Next, referring to FIG. 5, a portable device (20) is provided so that the user (3) can intuitively check related contents such as management details, performance plan, maintenance details and inspection at the location of the railway track site where maintenance was performed. Through this, the digital data trajectory, which is the actual on-site location, is overlaid and output.
더불어, 사용자(3)는 휴대용 기기(20)에 탑재된 유지관리 데이터 플랫폼(21)과 연동되는 웨어러블 기기(40)와의 상호작용에 의해 선택하여 보고자 하는 유지관리 내역 및 이력(D)을 확인 가능하다.In addition, the user 3 can check the maintenance details and history (D) that they want to select and view by interacting with the wearable device 40 that is linked to the maintenance data platform 21 mounted on the portable device 20. do.
또한, 사용자(3)가 휴대용 기기(20)에 점검 및 유지보수 등의 신규 유지관리 내역을 입력할 경우를 살펴보면, 사용자의 음성을 마이크(24)를 통해 입력받아 유지관리 데이터 플랫폼(21)이 설치된 휴대용 기기(20)에 녹음하면 기계학습 모듈(23)을 통하여 음성인식 및 기계학습을 통해 자동으로 텍스트 입력 수행 및 유지관리 데이터 플랫폼(21)에 자동으로 관련 카테고리로 분류하여 저장되고, 휴대용 기기(20)에 탑재된 카메라(25)를 통해 신규 유지관리 대상(1a)을 촬영하면 점검 대상의 상태 및 위치정보를 사진과 함께 자동으로 유지관리 데이터 플랫폼(21)에 저장한다.In addition, looking at the case where the user 3 inputs new maintenance details such as inspection and maintenance into the portable device 20, the user's voice is input through the microphone 24 and the maintenance data platform 21 When recorded on an installed portable device (20), text input is automatically performed through voice recognition and machine learning through the machine learning module (23), and the data is automatically classified into relevant categories and stored in the maintenance data platform (21). When a new maintenance target (1a) is photographed through the camera 25 mounted on (20), the status and location information of the inspection target are automatically stored in the maintenance data platform 21 along with the photo.
위에서 설명한 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 방법을 정리하면, 철도 궤도 장대레일(1)이 설치되는 선로에 설치되는 측위센서(10)로부터 위치정보를 수신하는 제1단계와, 상기 측위센서(10)로부터 수신되는 위치정보를 기반으로 상기 철도 궤도 장대레일(1)의 유지관리를 위한 유지관리 데이터의 이력을 등록하는 제2단계 및 상기 위치정보 기반의 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 변환하여 현시화하는 제3단계를 포함하여 이루어 진다. To summarize the location information-based railway track long rail maintenance method using augmented reality described above, the first step is to receive location information from the positioning sensor 10 installed on the track where the railway track long rail 1 is installed. , the second step of registering the history of maintenance data for maintenance of the railway track long rail (1) based on the location information received from the positioning sensor 10 and the maintenance history data based on the location information. It includes the third step of converting and visualizing a digital trajectory in real time so that it overlaps with actual reality.
이때, 상기 제1 내지 제3단계 중 어느 한단계를 수행중에 상기 측위센서(10)로부터 경고 메시지 또는 경보음이 수신되면 휴대용 기기(20) 또는 사용자(3)가 착용하고 있는 증강현실 기기(30)로 디스플레이 또는 음성 출력하는 제4단계를 더 포함한다.At this time, when a warning message or alarm sound is received from the positioning sensor 10 while performing any one of the first to third steps, the portable device 20 or the augmented reality device 30 worn by the user 3 It further includes a fourth step of displaying or audio output.
아울러, 상기 제3단계는 휴대용 기기(20) 또는 사용자(3)가 착용하고 있는 증강현실 기기(30)를 통해 위치정보 기반의 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 변환하여 현시화하는 단계이다. In addition, the third step converts the location information-based maintenance history data into a digital trajectory in real time so that it overlaps with actual reality through the portable device 20 or the augmented reality device 30 worn by the user 3. This is the stage of realization.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an illustrative explanation of the technical idea of the present invention, and various modifications and variations can be made by those skilled in the art in the technical field to which the present invention pertains without departing from the essential characteristics of the present invention. The scope of protection shall be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope shall be construed as being included in the scope of rights of the present invention.
1: 철도 궤도 장대레일 2: 차량
3: 사용자 10: 측위센서
20: 휴대용 기기 21: 철도 유지관리 데이터 플랫폼
22: 증강현실 모듈 23: 기계학습 모듈
30: 증강현실 기기 40: 웨어러블 기기 1: Railway track long rail 2: Vehicle
3: User 10: Positioning sensor
20: Portable device 21: Railway maintenance data platform
22: Augmented reality module 23: Machine learning module
30: Augmented reality device 40: Wearable device
Claims (12)
상기 측위센서와 연동되어 위치정보가 입력되면 상기 위치정보를 기반으로 유지관리 데이터를 생성하며 유지관리 데이터의 이력을 관리하고, 유지관리 데이터인 선로현황정보와 유지관리 이력 데이터를 위치정보를 기반으로 연동되도록 등록하며, 기존의 유지관리 데이터와 연동 가능한 신규 유지관리 데이터를 입력 및 수집하는 철도 유지관리 데이터 플랫폼과;
상기 철도 유지관리 데이터 플랫폼의 구동에 따른 위치정보 기반의 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 변환하여 현시화하는 증강현실 모듈이 탑재되는 사용자의 휴대용 기기;를 포함하되,
상기 철도 유지관리 데이터 플랫폼은 상기 휴대용 기기에 내장된 카메라로 촬영되는 손상정보가 입력되면 인근 측위센서를 통해 자동입력되는 위치정보를 기반으로 등록 저장하여 손상정보를 촬영하는 위치정보의 신뢰성을 향상시킬 수 있는 것을 특징으로 하는 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템.
It is installed on the track where the railway track long rail is installed, and location information is registered and stored. Depending on the radio wave range of the sensor, the site location range that can be reviewed and the location information of the sensor are set, and the location information is periodically transmitted within the set range. A positioning sensor;
When location information is entered in conjunction with the positioning sensor, maintenance data is generated based on the location information and the history of the maintenance data is managed. Line status information and maintenance history data, which are maintenance data, are generated based on the location information. A railway maintenance data platform that registers to be linked and inputs and collects new maintenance data that can be linked with existing maintenance data;
A user's portable device equipped with an augmented reality module that converts and visualizes maintenance history data based on location information according to the operation of the railway maintenance data platform into a digital trajectory in real time so that it overlaps with actual reality, including,
The railway maintenance data platform improves the reliability of the location information that captures the damage information by registering and storing it based on the location information automatically entered through a nearby positioning sensor when damage information captured by the camera built into the portable device is input. A location information-based railway track long rail maintenance system using augmented reality.
상기 측위센서는 차량의 접근을 감지하면 사용자의 안전을 확보할 수 있도록 상기 휴대용 기기에 경고 메시지 또는 경보음을 송출하는 것을 특징으로 하는 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템.
According to clause 1,
When the positioning sensor detects the approach of a vehicle, it transmits a warning message or alarm sound to the portable device to ensure the safety of the user. A location information-based railway track long rail maintenance system using augmented reality.
사용자가 신체에 직접 착용하며 상기 철도 유지관리 데이터 플랫폼의 구동에 따라 상기 측위센서의 위치정보를 기반으로 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 출력하는 증강현실 기기를 더 포함하는 것을 특징으로 하는 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템.
According to clause 1,
It further includes an augmented reality device that the user wears directly on the body and outputs maintenance history data as a digital trajectory in real time based on the location information of the positioning sensor according to the operation of the railway maintenance data platform so that it overlaps with actual reality. A location information-based railway track long rail maintenance system using augmented reality.
상기 증강현실 기기는 상기 철도 유지관리 데이터 플랫폼의 구동에 따른 위치정보 기반의 유지관리 이력 데이터를 실제 현실과 겹쳐지도록 실시간으로 디지털 궤적으로 표시하되 사용자가 착용 가능한 고글형태의 HMD(Head Mounted Device), 스마트안경, 스마트 콘텍트렌즈, 스마트 워치 중에 어느 하나인 것을 특징으로 하는 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템.
According to clause 3,
The augmented reality device displays maintenance history data based on location information according to the operation of the railway maintenance data platform as a digital trajectory in real time to overlap with actual reality, and includes a head mounted device (HMD) in the form of goggles that the user can wear, A location information-based railway track long rail maintenance system using augmented reality, characterized as one of smart glasses, smart contact lenses, and smart watches.
상기 측위센서는 차량의 접근을 감지하면 사용자의 안전을 확보할 수 있도록 상기 증강현실 기기에 경고 메시지 또는 경보음을 송출하는 것을 특징으로 하는 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템.
According to clause 3,
When the positioning sensor detects the approach of a vehicle, it transmits a warning message or alarm sound to the augmented reality device to ensure user safety. A location information-based railroad track long rail maintenance system using augmented reality. .
상기 철도 유지관리 데이터 플랫폼은 사용자의 모션(motion) 인식이 가능한 웨어러블 기기와 연동되는 것을 특징으로 하는 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템.
According to clause 1,
The railway maintenance data platform is a location information-based railway track long rail maintenance system using augmented reality, characterized in that it is linked with a wearable device capable of recognizing the user's motion.
상기 휴대용 기기에는 입력되는 음성데이터를 자동으로 텍스트화하고 상기 철도 유지관리 데이터 플랫폼에서 활용가능하도록 키워드에 따른 손상정보 및 카테고리를 실시간으로 자동 분류하는 기계학습 모듈이 더 포함되는 것을 특징으로 하는 증강현실을 활용한 위치정보 기반 철도 궤도 장대레일 유지관리 시스템.
According to clause 1,
Augmented reality, characterized in that the portable device further includes a machine learning module that automatically converts input voice data into text and automatically classifies damage information and categories according to keywords in real time so that it can be used in the railway maintenance data platform. A location information-based railway track long rail maintenance system using .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210162973A KR102642218B1 (en) | 2021-11-24 | 2021-11-24 | Location information-based railway track continuous welded rail maintenance system using augmented reality and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210162973A KR102642218B1 (en) | 2021-11-24 | 2021-11-24 | Location information-based railway track continuous welded rail maintenance system using augmented reality and method therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230076984A KR20230076984A (en) | 2023-06-01 |
| KR102642218B1 true KR102642218B1 (en) | 2024-03-05 |
Family
ID=86770681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210162973A KR102642218B1 (en) | 2021-11-24 | 2021-11-24 | Location information-based railway track continuous welded rail maintenance system using augmented reality and method therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102642218B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102042645B1 (en) * | 2018-12-21 | 2019-11-27 | (주)위세아이텍 | Apparatus and method for predicting line risk using compound model |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040004263A (en) | 2003-12-10 | 2004-01-13 | 한국유지관리 주식회사 | Monitoring system of continuous welded rail(CWR) using TDR(Time Domain Reflectometry) or OTDR(Optical Time Domain Reflectometry) |
| KR20130067450A (en) * | 2011-12-14 | 2013-06-24 | 한국전자통신연구원 | Field applied safety helmet apparatus for ar-based of maintenance and method for providing its application service |
| KR20170054223A (en) * | 2016-09-27 | 2017-05-17 | (주)컨버전스스퀘어 | System and method for providing information of running train |
| KR102266990B1 (en) * | 2019-11-08 | 2021-06-18 | 한국건설기술연구원 | System for managing insfection work of railway facility based on augmented reality, and method for the same |
-
2021
- 2021-11-24 KR KR1020210162973A patent/KR102642218B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102042645B1 (en) * | 2018-12-21 | 2019-11-27 | (주)위세아이텍 | Apparatus and method for predicting line risk using compound model |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230076984A (en) | 2023-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101907964B1 (en) | Construction site safety management monitoring system and method | |
| KR101949525B1 (en) | Safety management system using unmanned detector | |
| CN109139115B (en) | Underground data acquisition terminal, processing system and processing method | |
| US9684903B2 (en) | Expert collaboration system and method | |
| Xu et al. | Smart construction sites: A promising approach to improving on-site HSE management performance | |
| US20230260338A1 (en) | Deterioration diagnosis system, deterioration diagnosis device, deterioration diagnosis method, and recording medium | |
| Alawad et al. | 5G intelligence underpinning railway safety in the COVID-19 era | |
| WO2016209963A1 (en) | Integration of heads up display with data processing | |
| CN206479993U (en) | A kind of fusion BIM RFID builder's intelligent management system | |
| Abdel-Alim et al. | Dynamic labor tracking system in construction project using bim technology | |
| JP2019079303A (en) | Road facility inspection system, road facility inspection method, and server used therefor | |
| KR102642218B1 (en) | Location information-based railway track continuous welded rail maintenance system using augmented reality and method therefor | |
| CN113869236A (en) | Mobile building site safety intelligent analysis system and method | |
| AU2021320867A1 (en) | Engineer recertification assistant | |
| KR101498582B1 (en) | System and Method for Providing Traffic Accident Data | |
| Consilvio et al. | Real-time monitoring of the longitudinal strain of continuous welded rail for safety improvement | |
| CN116582930A (en) | Underground personnel accurate positioning software system based on regional positioning | |
| KR20090085221A (en) | System and method to monitor a rail | |
| KR20090085214A (en) | System and method to monitor a rail | |
| CN116664343A (en) | System and method based on intelligent building site digital model | |
| KR20240015201A (en) | Construction safety monitering integrated control system and construction for construction safety monitering integrated control centor structured the same | |
| Alawad et al. | Wireless sensor networks | |
| CN113391605A (en) | Automatic mining method based on digital mining technology | |
| Dash et al. | Design and implementation of an integrated technology system for rail shipper safety & security | |
| JP2021192181A (en) | Abnormality notification system and abnormality notification method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |