KR102480613B1

KR102480613B1 - 물리 객체의 결함을 판정하기 위한 시스템 및 방법

Info

Publication number: KR102480613B1
Application number: KR1020217010327A
Authority: KR
Inventors: 레이첼 콜러; 데럴 알. 크루거; 케빈 로혼; 가렛 스미틀리
Original assignee: 비엔에스에프 레일웨이 컴퍼니
Priority date: 2018-11-20
Filing date: 2019-11-19
Publication date: 2022-12-23
Also published as: EP3884430A1; US10984521B2; JP2023093546A; AU2019384123B2; US20200160505A1; US11620743B2; KR20210058875A; CA3110938A1; JP2022511313A; CA3190996A1; MX2021005882A; BR112021009670A2; WO2020106682A1; US20210192716A1; US20230326007A1; CN112997196A; JP7261527B2; AU2019384123A1

Abstract

일 실시 예에서, 방법은 결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계 및 결함 검출기 모듈에 의해, 물리 객체의 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계를 포함한다. 방법은 결함 검출기 모듈에 의해, 하나 이상의 제1 분류를 분석하는 단계 및 결함 검출기 모듈에 의해, 물리 객체가 하나 이상의 제1 분류를 분석하는 단계에 기초하여 결함을 포함하는 것을 판정하는 단계를 더 포함한다.

Description

물리 객체의 결함을 판정하기 위한 시스템 및 방법

본 개시는 일반적으로 결함을 판정하는 것에 관한 것이고, 보다 구체적으로 물리 객체의 결함을 판정하는 것에 관한 것이다.

물리 객체는 비즈니스 목표를 수행하기 위해 다양한 산업에서 사용된다. 예를 들어, 레일 차량은 트랙에서 화물을 이동한다. 레일 차량과 트랙은 여러 물리 객체의 조합을 포함한다. 시간이 지남에 따라 물리 객체는 마모되거나 파손되거나 기타 결함이 있을 수 있으며, 결함은 레일 차량과 트랙의 지속적이고 안전한 작동을 위해 수리가 필요할 수 있다. 일반적으로 철도 구성 요소와 같은 물리 객체는 결함을 식별하기 위해 기술자가 수동으로 검사한다.

일 실시 예에 따르면, 방법은 결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계 및 결함 검출기 모듈에 의해, 물리 객체의 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계를 포함한다. 방법은 결함 검출기 모듈에 의해, 하나 이상의 제1 분류를 분석하는 단계 및 결함 검출기 모듈에 의해, 물리 객체가 하나 이상의 제1 분류를 분석하는 단계에 기초하여 결함을 포함하는 것을 결정하는 단계를 더 포함한다.

다른 구현 예에 따르면, 시스템은 하나 이상의 프로세서 및, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금, 결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계 및 결함 검출기 모듈에 의해, 물리 객체의 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계를 포함하는 동작을 수행하도록 하는 명령을일 실시 예에 따르면, 방법은 결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계 및 결함 검출기 모듈에 의해, 물리 객체의 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계를 포함한다. 방법은 결함 검출기 모듈에 의해, 하나 이상의 제1 분류를 분석하는 단계 및 결함 검출기 모듈에 의해, 물리 객체가 하나 이상의 제1 분류를 분석하는 단계에 기초하여 결함을 포함하는 것을 판정하는 단계를 더 포함한다.

다른 구현 예에 따르면, 시스템은 하나 이상의 프로세서 및, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금, 결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계 및 결함 검출기 모듈에 의해, 물리 객체의 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계를 포함하는 동작을 수행하도록 하는 명령을 저장하는 메모리를 포함한다. 동작은 결함 검출기 모듈에 의해, 하나 이상의 제1 분류를 분석하는 단계 및 결함 검출기 모듈에 의해, 물리 객체가 하나 이상의 제1 분류를 분석하는 단계에 기초하여 결함을 포함하는 것을 판정하는 단계를 더 포함한다.

또 다른 실시 예에 따르면, 하나 이상의 컴퓨터 판독 가능 저장 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금, 결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계 및 결함 검출기 모듈에 의해, 물리 객체의 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계를 포함하는 동작을 수행하도록 하는 명령을 내장한다. 동작은 결함 검출기 모듈에 의해, 하나 이상의 제1 분류를 분석하는 단계 및 결함 검출기 모듈에 의해, 물리 객체가 하나 이상의 제1 분류를 분석하는 단계에 기초하여 결함을 포함하는 것을 판정하는 단계를 더 포함한다.

본 개시 내용의 특정 실시 예의 기술적 이점은 다음 중 하나 이상을 포함할 수 있다. 공개된 이미지 캡처링 시스템은 물리 객체의 이미지를 자동으로 캡처 하여 수동 데이터 수집 및 인적 노동을 제거하거나 줄여 시간과 비용을 절약한다. 이미지 캡처링 시스템은 수동 검사로는 식별할 수 없는 각도에서 레일 구성 요소와 같은 물리 객체의 이미지를 캡처 할 수 있으며, 이는 물리 객체의 결함 탐지 정확도를 높일 수 있다. 개시된 결함 검출기 모듈은 기계 학습 알고리즘을 사용하여 물리 객체의 결함을 자동으로 검출할 수 있으며, 이는 잠재적 결함의 이미지를 스캔 하고 라벨링 하는 수작업을 제거할 수 있다. 본 개시에 설명된 시스템 및 방법은 레일, 도로 및 수로를 포함하는 다른 운송 인프라로 일반화될 수 있다.

다른 기술적 이점은 다음의 도면, 설명 및 청구 범위로부터 당업자에게 쉽게 명백할 것이다. 더욱이, 특정 이점이 위에서 열거되었지만, 다양한 실시 예는 열거된 이점의 전부, 일부를 포함하거나 전혀 포함하지 않을 수 있다.

본 개시 내용의 이해를 돕기 위해, 첨부된 도면과 관련하여 취해진 다음 설명을 참조한다.
도 1은 물리 객체의 결함을 판정하기 위한 예시적인 시스템을 도시한다.
도 2는 물리 객체의 결함을 판정하기 위한 예시적인 방법을 도시한다.
도 3은 물리 객체의 결함을 판정하기 위한 또 다른 예시적인 방법을 도시한다.
도 4는 예시적인 이미지 캡처링 시스템을 도시한다.
도 5는 도 4의 이미지 캡처링 시스템에 의해 사용될 수 있는 예시적인 모듈을 도시한다.
도 6은 라벨로 특징을 태깅하는 예시적인 방법을 도시한다.
도 7은 본 명세서에 설명된 시스템 및 방법에 의해 사용될 수 있는 예시적인 컴퓨터 시스템을 도시한다.

철도 구성 요소와 같은 물리 객체는 비즈니스 목표를 수행하기 위해 다양한 산업에서 사용된다. 시간이 지남에 따라 물리 객체가 파손되거나 결함이 있을 수 있다. 결함은 철도 차량의 지속적이고 안전한 작동을 위해 수리가 필요할 수 있다. 일반적으로 철도 구성 요소와 같은 물리 객체는 결함을 식별하기 위해 기술자가 수동으로 검사한다.

철도 구성 요소와 같은 물리 객체는 비즈니스 목표를 수행하기 위해 다양한 산업에서 사용된다. 시간이 지남에 따라 물리 객체가 파손되거나 결함이 있을 수 있다. 결함은 레일 차량의 지속적이고 안전한 작동을 위해 수리가 필요할 수 있다. 일반적으로 철도 구성 요소와 같은 물리 객체는 결함을 식별하기 위해 기술자가 수동으로 검사한다.

상태 및 결함 분석 알고리즘은 하나 이상의 기존 컴퓨터 비전 기술(예를 들어, 관심 영역 분석, 필터링, 임계 값, 블롭 기술, 에지 분석, 윤곽 추출, 히스토그램 분석 등) 및 다양한 조건의 감지를 자동화하기 위한 공통 자산 및/또는 결함 휴리스틱(defect heuristics)을 활용할 수 있다. 이러한 기술은 매우 구체적이고 일관된 경우에 효과적일 수 있지만, 실제 상황에서는 종종 불안정하기 쉬우며 유지 보수, 수정 및 향상에 많은 시간이 소요될 수 있다.

이미지 분류 및 세분화 작업을 위한 기계 학습 알고리즘의 사용에는 기존의 계산 방법과 근본적으로 다른 이미지 분석 접근 방식이 포함된다. 픽셀 매트릭스에서 알고리즘적으로 필터링, 왜곡, 그룹화, 분할 및 계산하는 대신, 기계 학습 알고리즘(예를 들어, 신경망)은 이미지 또는 이미지의 일부가 통과하는 일련의 훈련된 네트워크 계층을 활용하여 이미지의 내용에 대한 예측을 수행한다.

본 개시의 실시 예는 시각적 이미지를 캡처 하고 분석하기 위해 딥 머신 러닝을 사용한다. 개시된 시스템 및 방법은 이동중인 차량(예를 들어, 레일 위를 이동하는 차량, 레일을 따라 이동하는 차량 등)의 특정 하드웨어 구성에서 본 물리 객체(예를 들어, 레일 구성 요소)를 인식하고, 및 지속적으로 캡처, 통합 및 가중치가 부여되는 레이블이 지정된 훈련 데이터의 양, 다양성 및 정확성에 기초하여 시각적 데이터를 해석한다. 개시된 시스템 및 방법은 캡처 된 다양한 물리 객체에 대해 더 높은 정확도와 더 높은 수준의 분석을 얻기 위해 물리 객체에 대해 캡처 된 이미지 데이터에 대해 훈련된 모델을 사용하여 해석을 수행한다. 기계 학습 알고리즘은 각 하드웨어 구성에 대해 맞춤 학습되어 각 다양한 물리 객체에 대해 최적의 연속 캡처 및 분석을 달성한다. 알고리즘은 물리 객체의 이미지에서 특정 기능을 분류하는 데 사용된다. 그런 다음 분류는 물리 객체의 결함을 판정하는 데 사용된다.

도 1 내지 7은 물리 객체의 결함을 판정하기 위한 예시적인 시스템 및 방법을 도시한다. 도 1은 물리 객체의 결함을 판정하기 위한 예시적인 시스템을 도시한다. 도 2 및 3은 물리 객체의 결함을 판정하는 예시적인 방법을 보여준다. 도 4는 예시적인 이미지 캡처링 시스템을 도시하고, 도 5는 도 4의 이미지 캡처링 시스템(image capturing system)에 의해 사용될 수 있는 예시적인 모듈을 도시한다. 도 6은 라벨로 특징을 태깅 하는 예시적인 방법을 보여준다. 도 7은 본 명세서에 설명된 시스템 및 방법에 의해 사용될 수 있는 예시적인 컴퓨터 시스템을 도시한다.

도 1은 물리 객체의 결함을 판정하기 위한 예시적인 시스템(system)(100)을 도시한다. 도 1의 시스템(100)은 네트워크(network)(110), 결함 검출기 모듈(defect detector module)(120) 및 이미지 캡처링 시스템(image capturing system)(170)을 포함한다. 시스템(100) 또는 그 일부는 기업, 회사(예를 들어, 철도 회사, 운송 회사 등)와 같은 임의의 엔티티 또는 물리 객체의 결함을 판정할 수 있는 정부 기관(예를 들어, 교통부, 공공 안전부 등)를 포함할 수 있는 엔티티와 연관될 수 있다. 시스템(100)의 요소는 하드웨어, 펌웨어 및 소프트웨어의 임의의 적절한 조합을 사용하여 구현될 수 있다.

네트워크(110)는 시스템(100)의 구성 요소들 간의 통신을 용이하게 하는 임의의 유형의 네트워크 일 수 있다. 네트워크(110)는 결함 검출기 모듈(120)과 시스템(100)의 이미지 캡처링 시스템(170)을 연결할 수 있다. 본 개시는 네트워크(110)가 특정 종류의 네트워크 인 것을 나타내지 만, 본 개시는 임의의 적절한 네트워크를 고려한다. 네트워크(110)의 하나 이상의 부분은 애드혹 네트워크(ad-hoc network), 인트라넷, 엑스트라넷, 가상 사설 네트워크(virtual private network)(VPN), 근거리 통신망(local area network)(LAN), 무선 LAN(WLAN), 광역 네트워크(wide area network)(WAN), 무선 WAN(WWAN), 수도권 네트워크(Metropolitan Area Network)(MAN), 인터넷의 일부, 공중 교환 전화 네트워크(Public Switched Telephone Network)(PSTN)의 일부, 셀룰러 전화 네트워크, 3G 네트워크, 4G 네트워크, 5G 네트워크, LTE(Long Term Evolution) 셀룰러 네트워크, 이들 중 둘 이상의 조합, 또는 다른 적절한 유형의 네트워크를 포함할 수 있다. 네트워크(110)의 하나 이상의 부분은 하나 이상의 액세스(예를 들어, 모바일 액세스), 코어 및/또는 에지 네트워크를 포함할 수 있다. 네트워크(110)는 사설 네트워크, 공용 네트워크, 인터넷을 통한 연결, 모바일 네트워크, WI-FI 네트워크, 블루투스 네트워크 등과 같은 임의의 통신 네트워크 일 수 있다. 네트워크(110)는 하나 이상의 네트워크 노드를 포함할 수 있다. 네트워크 노드는 네트워크(110)를 통해 데이터를 수신, 생성, 저장 및/또는 전송할 수 있는 연결 지점이다. 네트워크(110)는 클라우드 컴퓨팅 능력을 포함할 수 있다. 시스템(100)의 하나 이상의 구성 요소는 네트워크(110)를 통해 통신할 수 있다. 예를 들어, 결함 검출기 모듈(120)은 이미지 캡처링 시스템(170)으로부터 정보를 수신하는 것을 포함하여 네트워크(110)를 통해 통신할 수 있다.

시스템(100)의 결함 검출기 모듈(120)은 물리 객체의 결함(156)을 판정하는 데 사용될 수 있는 임의의 적절한 컴퓨팅 구성 요소를 나타낸다. 결함(156)은 물리 객체의 유용성을 잠재적으로 파손시키는 불완전이다. 물리 객체는 식별 가능한 물질 모음이다. 물리 객체에는 도로, 철도, 항공, 수로, 운하, 파이프 라인 및 터미널 구성 요소와 같은 교통 인프라 구성 요소가 포함될 수 있다. 철도 구성 요소의 예로는 조인트, 스위치, 프로그, 레일 헤드, 앵커, 파스너, 게이지 플레이트, 밸러스트, 침목(예를 들어, 콘크리트 침목 및 목재 침목) 등이 포함된다.

결함 검출기 모듈(120)은 인터페이스(122), 메모리(124) 및 프로세서(126)를 포함한다. 결함 검출기 모듈(120)의 인터페이스(122)는 네트워크 (110)로부터 정보를 수신하고, 네트워크(110)를 통해 정보를 전송하고, 정보의 적절한 처리를 수행하고, 도 1의 시스템(100)의 다른 구성 요소(예를 들어, 이미지 캡처링 시스템(170)의 구성 요소)와 통신하거나 또는 이들의 임의의 조합일 수 있는 임의의 적절한 컴퓨터 요소를 나타낸다. 인터페이스(122)는 하드웨어, 펌웨어 및 소프트웨어의 임의의 적절한 조합을 포함하여 실제 또는 가상의 임의의 포트 또는 연결을 나타내며, LAN, WAN, 또는 도 1의 시스템(100)이 시스템(100)의 구성 요소들 사이에서 정보를 교환할 수 있게 하는 다른 통신 시스템을 통해 통신하기 위한 프로토콜 변환 및 데이터 처리 능력을 포함한다.

결함 검출기 모듈(120)의 메모리(memory)(124)는 영구적으로 및/또는 일시적으로 수신 및 전송된 정보뿐만 아니라 시스템 소프트웨어, 제어 소프트웨어, 결함 검출기 모듈(120)을 위한 다른 소프트웨어 및 다양한 기타 정보를 저장한다. 메모리(124)는 프로세서(processor)(126)에 의한 실행을 위한 정보를 저장할 수 있다. 메모리 (124)는 정보를 저장하기에 적합한 휘발성 또는 비 휘발성 로컬 또는 원격 장치의 임의의 하나 또는 조합을 포함한다. 메모리(124)는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 자기 저장 장치, 광학 저장 장치, 또는 임의의 다른 적절한 정보 저장 장치 또는 이들 장치의 조합을 포함할 수 있다. 메모리(124)는 결함 검출기 모듈(120)의 동작에 사용하기 위한 임의의 적절한 정보를 포함할 수 있다. 추가적으로, 메모리(124)는 결함 검출기 모듈(120)의 외부(또는 부분적으로 외부에 있을 수 있음) 구성 요소 일 수 있다. 메모리(124)는 결함 검출기 모듈(120)과 통신하기 위해 메모리(124)에 적합한 임의의 위치에 위치할 수 있다. 결함 검출기 모듈(120)의 메모리(124)는 이미지 수집 엔진(image collection engine)(130), 분류 엔진(classification engine)(132), 결함 검출기 엔진(defect detector engine)(134), 보고 엔진(reporting engine)(136), 라벨링 엔진(labeling engine)(138) 및 훈련 엔진(training engine)(140)을 저장할 수 있다. 다른 예로서, 이미지 수집 엔진(130), 분류 엔진(132), 결함 검출기 엔진(134), 보고 엔진(136), 라벨링 엔진(138) 및 훈련 엔진(140)은 메모리(124) 및/또는 결함 검출기 모듈(120) 외부에 있을 수 있다.

결함 검출기 모듈(120)의 이미지 수집 엔진(130)은 물리 객체의 이미지(152)를 수집하는 애플리케이션이다. 이미지 수집 엔진(130)은 네트워크(110)를 통해 이미지 캡처링 시스템(image capturing system)(170)으로부터 하나 이상의 물리 객체의 하나 이상의 이미지(152)를 수신할 수 있다. 이미지 수집 엔진(130)은 물리 객체가 이미지 캡처링 시스템(170)에 의해 캡처 됨에 따라 실시간 또는 거의 실시간으로 물리 객체의 이미지(152)를 수신할 수 있다. 이미지 수집 엔진(130)은 일정(예를 들어, 매분, 시간, 주 등)에 따라 물리 객체의 이미지(152)를 수신할 수 있다. 이미지 수집 엔진(130)은 하나 이상의 이미지(152)를 결합(예를 들어, 함께 스티칭)하여 결합된 이미지(152)를 생성할 수 있다. 이미지 수집 엔진(130)은 물리 객체와 같은 임의의 적절한 조합에 따라 이미지(152)를 그룹화 할 수 있으며, 이미지 캡처링 시스템(170)에 의해 이미지(152)가 캡처 되고, 이미지 수집 엔진(130)에 의해 이미지(152)가 수신된 시간에 의해, 및/또는 이미지(152)가 캡처 된 위치(158)(예를 들어, 지리적 위치(geographical location)(158))에 의해 캡처 된다.

결함 검출기 모듈(120)의 분류 엔진(132)은 하나 이상의 물리 객체의 하나 이상의 이미지(152)로부터 특징(feature)(154)을 하나 이상의 분류(classification)(155)로 분류하는 애플리케이션이다. 각 특징(154)은 이미지(152)의 특징 일 수 있다. 예를 들어, 특징(154)은 볼트 헤드와 같은 철도 구성 요소를 포함할 수 있다. 특징(154)은 물리 객체 자체 또는 물리 객체의 하나 이상의 구성 요소를 나타낼 수 있다. 예를 들어, 제1 특징(first feature)(154)는 물리 객체(예를 들어, 철도 조인트)를 나타낼 수 있고 하나 이상의 제2 특징(second feature)(154)는 철도 조인트의 구성 요소를 나타낼 수 있다(예를 들어, 볼트 헤드, 사각 너트, 육각 너트, 원형 너트, 구멍 등).

분류 엔진(132)은 하나 이상의 기계 학습 알고리즘을 적용함으로써 이미지(152)로부터 데이터를 분석한다. 기계 학습 알고리즘은 하나 이상의 신경망(예를 들어, 심층 신경망(deep neural network)), 하나 이상의 심층 학습 알고리즘(deep learning algorithm), 하나 이상의 컨볼루션 신경망(convolutional neural network)(CNN), 인공 지능(AI), 임의의 다른 적절한 애플리케이션 또는 이전 것의 적절한 조합과 연관될 수 있다. 각각의 기계 학습 알고리즘은 하나 이상의 이미지(152)로부터 하나 이상의 특징(154)을 인식하기 위해 라벨링 된 이미지 데이터에 대해 훈련될 수 있다. 분류 엔진(132)에 의해 사용되는 하나 이상의 기계 학습 알고리즘은 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소(예를 들어, 하나 이상의 카메라)에 의해 보이는 특정 물리 객체(예를 들어, 레일 구성 요소)를 인식하도록 훈련된다. 예를 들어, 하나 이상의 CNN(166)은 이미지(152)의 콘텐츠에 대한 예측을 판정하기 위해 이미지(152) 또는 이미지(152)의 일부가 통과하는 일련의 컨볼루션, 풀링(pooling), 감소 및 완전 연결 계층(fully connected layer)을 이용할 수 있다. 하나 이상의 기계 학습 알고리즘은 확실성의 수준 내에서 하나 이상의 이미지(152)의 하나 이상의 특징(154)을 설명하는 하나 이상의 분류(155)를 출력한다. 확실성의 수준은 분류의 수(155), 원하는 정확도, 각 분류(155)에 대한 샘플 훈련 데이터의 가용성 등에 따라 달라질 수 있다. 확실성의 수준은 확률로 나타낼 수 있다.

하나 이상의 특징(154)을 식별하기 위해 하나 이상의 분류(155)가 사용된다. 예를 들어, 제1 분류(155)(first classification)는 철도 조인트의 제1 특징(154)을 나타낼 수 있고 하나 이상의 제2 분류(second classification)(155)는 볼트 헤드, 사각 너트, 육각 너트, 원형 너트, 구멍 등과 같은 철도 조인트와 연관된 하나 이상의 제2 특징(154)을 나타낼 수 있다. 분류(155)는 이미지(152) 내의 특징(154)의 위치를 포함할 수 있다. 예를 들어, "볼트 헤드(bolt head)"에 대한 분류(155)는 물리 객체(예를 들어, 철도 조인트)의 일부일 수 있는 이미지(152) 내의 볼트 헤드의 위치를 포함할 수 있다.

하나 이상의 분류(155)는 하나 이상의 결함(defect)(156)을 포함할 수 있다. 결함(156)은 불완전 또는 결핍인 물리 객체의 임의의 속성을 포함한다. 결함(155)은 균열(cracks), 파손(breaks), 구멍(holes), 불일치(mismatches), 부서짐(chips), 마모(wear) 등과 같은 불완전을 포함할 수 있다. 예를 들어, 철도 조인트에 대한 결함(155)은 볼트 누락(missing bolt), 파손, 균열, 침목 상태(tie condition)(예를 들어, 침목 열화(deteriorated tie)), 레일 불일치(mismatched rail), 레일 끝단 간격(rail end gap), 레일 끝단 배터(rail end batter), 밸러스트 상태(ballast condition)(예를 들어, 밸러스트 열화(deteriorated ballast)), 올바른 크기의 조인트 바(right sized joint bar) 등을 포함할 수 있다. 다른 예로서, 철도 스위치에 대한 결함(156)은 부서진 지점(chipped point), 파손된 지점(broken point), 누락된 파스너(missing fastener)(예를 들어, 스톡 레일(stock rail)), 휘어진 스위치 막대(skewed switch rod), 스위치 지점에서의 레일 런(rail run), 부적절한 침목 간격, 부적절한 막대 간격, 부적절한 플랜지웨이(flangeway) 폭 등을 포함할 수 있다. 철도 프로그(railway frog)에 대한 결함(156)은 부서진 지점, 파손된 지점, 트레드 마모(tread wear), 파손된 게이지 플레이트, 휘어진 게이지 플레이트, 누락된 파스너(예를 들어, 누락된 프로그 볼트), 누락된 플레이트, 파손된 가드 레일, 등을 포함할 수 있다.

철도 헤드(railway head)에 대한 결함(156)은 레일 파상 마멸(rail corrugation), 레일 스폴링(rail spalling), 레일 쉘링(rail shelling), 파손된 레일 등을 포함할 수 있다. 철도 앵커(railway anchor) 및/또는 파스너에 대한 결함(156)은 누락된 앵커 및/또는 파스너, 부적절한 앵커 패턴, 누락된 클립, 누락된 스파이크 등을 포함할 수 있다. 철도 게이지 플레이트(railway gage plate)에 대한 결함(156)은 휘어진 게이지 플레이트, 파손된 게이지 플레이트 등을 포함할 수 있다. 철도 밸러스트(railway ballast)에 대한 결함(156)은 불충분한 밸러스트, 더러운 밸러스트(dirty ballast), 오염된 밸러스트(fouled ballast) 등을 포함할 수 있다. 철도 콘크리트 침목(railway concrete tie)의 결함(156)은 끊어진 침목, 금이 간 침목, 열화된 침목, 침목 사이의 불충분한 거리 등을 포함할 수 있다. 철도 목재 침목(railway wood tie)에 대한 결함(156)은 플레이트 절단, 휠 절단, 침목 사이의 불충분한 거리, 썩은 침목, 중공 침목 등을 포함할 수 있다. 캡처 되는 물리 객체에 기초하여 다른 결함(156)이 식별되거나 정의될 수 있다.

결함 검출기 모듈(120)의 결함 검출기 엔진(134)은 하나 이상의 기계 학습 알고리즘(예를 들어, CNN(166))의 출력 분석에 기초하여 물리 객체가 하나 이상의 결함(156)을 포함하는지 여부를 판정하는 애플리케이션이다. 예를 들어, 결함 검출기 엔진(134)은 하나 이상의 기계 학습 알고리즘에 의해 출력된 하나 이상의 분류(155)를 분석할 수 있다. 결함 검출기 엔진(134)은 검출 결과(예를 들어, 분류(155))에 하나 이상의 알고리즘을 적용하여 하나 이상의 결함(156)을 판정(예를 들어, 광학적으로 식별)할 수 있다.

결함 검출기 엔진(134)은 하나 이상의 결함(156)을 식별하기 위해 하나 이상의 분류(155)를 분석할 수 있다. 예를 들어, 결함 검출기 엔진(134)은 물리 객체와 연관된 분류(155)가 결함(156)(예를 들어, 파손)이면 물리 객체(예를 들어, 철도 조인트)가 결함(156)을 포함한다고 판정할 수 있다. 결함 검출기 엔진(134)은 결함(156)에 대한 추가 정보를 생성하기 위해 물리 객체의 다른 특징(154)에 대한 물리 객체상의 결함(156)의 위치(158)를 판정할 수 있다. 예를 들어, 결함 검출기 엔진(134)은 "파손(break)" 및 "조인트 바(joint bar)"에 대한 분류(155)를 포함하는 하나 이상의 기계 학습 알고리즘의 결과에 기초하여 조인트 바의 파손을 식별할 수 있다. 결함 검출기 엔진(134)은 "볼트"에 대한 분류(155)에 기초하여 조인트 바가 볼트를 포함한다고 판정할 수 있다. 결함 검출기 엔진(134)은 볼트에 대한 파손의 위치(158)를 판정할 수 있다. 결함 검출기 엔진(134)은 그 상대 위치(158)에 기초하여 파손에 대한 추가 정보를 생성할 수 있다. 예를 들어, 결함 검출기 엔진(134)은 파손이 두 개의 중간 볼트 사이에 있는 경우 파손을 "중심 파손 결함"으로 분류할 수 있다. 또 다른 예로, 결함 검출기 엔진(134)은 파손이 두 개의 중간 볼트 외부에 있는 경우 파손을 "1/4 파손 결함(quarter broken defect)"으로 분류할 수 있다.

결함 검출기 엔진(134)은 물리 객체의 결함(156)의 지리적 위치(158)를 판정할 수 있다. 결함 검출기 엔진(134)은 이미지 수집 엔진(130)으로부터 수신된 정보를 사용하여 지리적 위치(158)를 판정할 수 있다. 이미지 수집 엔진(130)은 하나 이상의 이미지(152)와 연관된 하나 이상의 지리적 위치(158)를 나타내는 정보(예를 들어, 위도 및 경도)를 캡처 하고 이 정보를 결함 검출기 엔진(134)으로 전송할 수 있다. 결함 검출기 엔진(134)은 이미지 수집 엔진(130)으로부터 수신된 정보를 임의의 적절한 포맷으로 변환할 수 있다. 예를 들어, 결함 검출기 엔진(134)은 이미지 수집 엔진(130)으로부터 수신된 위도 및 경도를 트랙 유형, 트랙 번호, 라인 세그먼트, 마일 포스트 정보 등으로 변환할 수 있다. 결함 검출기 엔진(134)은 지도(예를 들어, 레일 트랙의 기존지도)에서 지리적 위치(158)를 찾기 위해 하나 이상의 알고리즘(예를 들어, 가장 가까운 지점 알고리즘)을 사용할 수 있다.

특정 실시 예에서, 결함 검출기 엔진(134)은 레일의 이미지(152)에서 용접(예를 들어, 테르밋 용접(thermite weld))을 검출하고 용접 위치를 사용하여 마일 포스트(milepost)를 식별할 수 있다. 각각의 이미지(152)는 "n" 피트(예를 들어, 5 피트)의 레일을 나타내는 "n" 피트(예를 들어, 5 피트)의 폭일 수 있으며, 여기서 n은 임의의 적절한 수를 나타낸다. 결함 검출기 엔진(134)은 마일 포스트에 대한 물리 객체의 이미지(152)로부터 영상을 판정함으로써 물리 객체의 지리적 위치(158)를 판정할 수 있다. 결함 검출기 엔진(134)은 상승 및/또는 하강 마일 포스트 방향으로 물리 객체로부터의 영상에 의해 물리 객체의 지리적 위치(158)를 판정할 수 있다. 예를 들어, 결함 검출기 엔진(134)은 물리 객체가 "MP 100.0 + 1000 피트"로 표현(예를 들어, 출력)될 수 있는 마일 포스트(100)를 지나는 특정 수의 피트(예를 들어, 1000 피트)임을 판정할 수 있다. 또 다른 예로, 결함 검출기 엔진(134)은 물리 객체가 "MP 100.0-1000 피트"로 표현(예를 들어, 출력)될 수 있는 마일 포스트(137) 이전에 특정 수의 피트(예를 들어, 1000 피트)임을 판정할 수 있다. 특정 실시 예에서, 결함 검출기 엔진(134)은 GPS(Global Positioning System) 좌표로서 지리적 위치(158)를 나타낼 수 있다.

결함 검출기 엔진(134)은 물리 객체에 대한 결함(156)의 위치(158)에 적어도 부분적으로 기초하여 지리적 위치(158)를 판정할 수 있다. 예를 들어, 결함 검출기 엔진(134)은 레일 조인트에 대한 파손의 위치(158)에 부분적으로 기초하여 레일 조인트의 파손의 지리적 위치(158)를 판정할 수 있다. 결함 검출기 엔진(134)은 시스템(100)(예를 들어, 이미지 캡처링 시스템(170)) 내에 위치한 하나 이상의 센서(예를 들어, 위치 센서)에 적어도 부분적으로 기초하여 지리적 위치(158)를 판정할 수 있다. 지리적 위치(158)는 좌표에 의해 정의될 수 있다(예를 들어, 경도 및 위도).

결함 검출기 엔진(134)은 또한 물리 객체의 식별 마크(identification mark)를 판정할 수 있다. 물리 객체의 식별 마크는 물리 객체를 식별하는 데 적합한 임의의 문자(예를 들어, 숫자, 문자 등)를 포함할 수 있다. 물리 객체의 식별 마크는 물리 객체의 소유자 및/또는 제조업체(예를 들어, 레일 제조업체)를 식별할 수 있다. 물리 객체의 식별 마크는 물리 객체의 출처를 추적하는 데 사용될 수 있다. 예를 들어, 식별 마크에는 물리 객체를 특정 제조 배치까지 추적할 수 있는 배치 코드가 포함될 수 있다. 결함 검출기 엔진(134)은 물리 객체의 지리적 위치(158)에 기초하고 및/또는 물리 객체의 하나 이상의 이미지(152)를 분석함으로써 물리 객체의 식별 마크를 판정할 수 있다.

결함 검출기 모듈(120)의 보고 엔진(136)은 하나 이상의 보고서(160)를 생성하는 애플리케이션이다. 보고 엔진(136)은 결함 검출기 엔진(134)이 물리 객체가 결함(156)을 포함하지 않는 것으로 판정하는 경우 물리 객체가 결함이 없음을 나타내는 보고서(report)(160)를 생성할 수 있다. 보고 엔진(136)은 결함 검출기 엔진(134)이 물리 객체가 결함(156)을 포함한다고 판정하면 물리 객체에 결함이 있음을 나타내는 보고서(160)를 생성할 수 있다. 보고서(160)는 결함(156)을 통신하기 위해 임의의 적절한 형태(예를 들어, 서면 및/또는 구두) 일 수 있다. 보고서(160)는 물리 객체, 특징(154), 분류(155), 위치(158), 라벨(162) 등과 연관된 정보를 포함할 수 있다. 예를 들어, 보고서(160)는 도 6에 도시된 라벨(162), 위치(158)(예를 들어, 지리적 위치(158)) 및/또는 식별 마크를 포함할 수 있다. 보고서(160)는 정보를 통신하기 위한 하나 이상의 도면, 표, 목록, 그래프 및/또는 임의의 다른 적절한 포맷을 포함할 수 있다. 보고 엔진(136)은 보고서(160)를 시스템(100)의 하나 이상의 구성 요소(예를 들어, 이미지 캡처링 시스템(170)) 및/또는 시스템(100)의 사용자(예를 들어, 관리자, 기술자 등)에 통신할 수 있다.

결함 검출기 모듈(120)의 라벨링 엔진(Labeling engine)(138)은 하나 이상의 라벨(Label)(162)을 생성하는 애플리케이션이다. 라벨(162)은 특징(feature)(154), 분류(classification)(155), 결함(156) 및/또는 위치(158)와 관련된 시각적 정보(visual information)를 제공한다. 라벨링 엔진(138)은 라벨(162)을 갖는 하나 이상의 물리 객체의 특징(154)을 태그 한다. 각각의 라벨(162)은 물리 객체와 관련된 정보를 포함할 수 있다. 각각의 라벨(162)은 특징(154), 분류(155), 위치(158) 등과 연관된 특징(154), 확률, 크기(예를 들어, 직경, 면적 등)를 포함할 수 있다. 예를 들어, 라벨(162)은 "볼트 헤드"의 분류(155) 및 특징(154)이 볼트 헤드로 정확하게 식별되는 0.77(즉, 77 %)의 확률을 설명하기 위해 특징(154)을 "볼트 헤드(0.77)"로 나타낼 수 있다.

라벨링 엔진(138)은 물리 객체(예를 들어, 레일 조인트)의 특징(154)을 나타내는 라벨(162)의 하나 이상의 부분을 물리 객체의 도면에 삽입할 수 있다. 라벨링 엔진(138)은 연관된 특징(154)이 물리 객체에서 발생하는 위치(158)의 도면 상의 라벨(162)의 하나 이상의 부분을 삽입할 수 있다. 예를 들어, 볼트 헤드의 특징(154)의 경우, 라벨링 엔진(138)은 볼트 헤드가 물리 객체 상에 위치되는 위치(158)에서 물리 객체의 도면 상에 라벨(162)의 하나 이상의 부분을 삽입할 수 있다. 라벨(162)은 임의의 적합한 형상 또는 특성을 갖는 특징(154)을 나타낼 수 있다. 예를 들어, 볼트 헤드의 특징(154)을 나타내는 라벨(162)은 정사각형 또는 직사각형 형상을 갖는 경계 상자 일 수 있다. 결함 검출기 엔진(134)은 아래의 도 6에 설명된 바와 같이 결함(156)을 추가로 분류하기 위해 라벨(162)을 사용할 수 있다.

결함 검출기 모듈(120)의 훈련 엔진(140)은 하나 이상의 기계 학습 알고리즘(예를 들어, CNN(166))을 훈련시키는 애플리케이션이다. 훈련 엔진(140)은 훈련 데이터(예를 들어, 훈련 이미지(164))를 사용하여 기계 학습 알고리즘을 훈련하고, 이에 의해 가중치가 조정되어 물리 객체를 정확하게 인식할 수 있다. 기계 학습 알고리즘은 각각의 분류(155)에 대해 가장 높은 정확도를 제공하기 위해 이미지 캡처링 시스템(170)의 특정 카메라 각도 각각에 대해 훈련될 수 있다. 훈련 엔진(140)은 각각의 분류(155)를 나타내는 샘플 데이터(예를 들어, 훈련 이미지(164))를 수집함으로써 하나 이상의 기계 학습 알고리즘을 훈련할 수 있다. 훈련 엔진(140)은 라벨(162)로 샘플 데이터를 라벨링 하고 라벨링 된 데이터를 사용하여 각각의 분류(155)를 인식하도록 하나 이상의 기계 학습 알고리즘을 훈련할 수 있다. 훈련 엔진(140)은 각각의 기계 학습 알고리즘의 정확성을 검사하기 위해 라벨링 된 이미지의 서브 세트를 사용할 수 있다.

훈련 엔진(140)은 시스템(100)의 관리자로부터 초기 훈련 데이터를 수신할 수 있다. 하나 이상의 기계 학습 알고리즘에 의해 사용되는 훈련 데이터(예를 들어, 훈련 이미지(164))의 양 및 다양성은 분류의 수(155), 원하는 정확도 및 각 분류(155)에 대한 샘플 데이터의 가용성에 따라 달라진다.

메모리(124)는 데이터베이스(150)를 저장할 수 있다. 데이터베이스(150)는 결함 검출기 모듈(120)에 대한 특정 유형의 정보를 저장할 수 있다. 예를 들어, 데이터베이스(150)는 이미지(152), 특징(154), 분류(155), 결함(156), 위치(158), 보고서(160), 라벨(162), 훈련 이미지(164) 및 기계 학습 알고리즘(예를 들어, CNN(166))을 저장할 수 있다. 데이터베이스(150)는 정보를 저장하기에 적합한 휘발성 또는 비 휘발성 로컬 또는 원격 장치 중 어느 하나 또는 조합 일 수 있다. 데이터베이스(150)는 RAM, ROM, 자기 저장 장치, 광학 저장 장치, 또는 임의의 다른 적절한 정보 저장 장치 또는 이들 장치의 조합을 포함할 수 있다. 데이터베이스(150)는 결함 검출기 모듈(120) 외부의 구성 요소 일 수 있다. 데이터베이스(150)는 결함 검출기 모듈(120)에 대한 정보를 저장하기 위해 데이터베이스(150)에 적합한 임의의 위치에 위치할 수 있다. 예를 들어, 데이터베이스(150)는 클라우드 환경에 위치할 수 있다.

결함 검출기 모듈(120)의 프로세서(126)는 인터페이스(interface)(122) 및 메모리(124)로부터 수신되거나 그렇지 않으면 프로세서(126)에 의해 액세스 되는 정보를 처리함으로써 결함 검출기 모듈(120)의 특정 동작을 제어한다. 프로세서(126)는 인터페이스(122) 및 메모리(124)에 통신적으로 결합된다. 프로세서(126)는 정보를 제어하고 처리하도록 동작하는 임의의 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 프로세서(126)는 프로그래밍 가능한 논리 장치, 마이크로 제어기, 마이크로 프로세서, 임의의 적절한 처리 장치, 또는 이들의 임의의 적절한 조합 일 수 있다. 추가적으로, 프로세서(126)는 결함 검출기 모듈(120) 외부의 구성 요소 일 수 있다. 프로세서(126)는 프로세서(126)가 결함 검출기 모듈(120)과 통신하기에 적합한 임의의 위치에 위치할 수 있다. 결함 검출기 모듈(120)의 프로세서(126)는 이미지 수집 엔진(130), 분류 엔진(132), 결함 검출기 엔진(134), 보고 엔진(136), 라벨링 엔진(138) 및 훈련 엔진(140)의 동작을 제어한다.

결함 검출기 모듈(120)의 하나 이상의 구성 요소는 클라우드에서 동작할 수 있다. 클라우드는 네트워크(110)를 통해 결함 검출기 모듈(120)에 상이한 서비스(예를 들어, 애플리케이션, 서버 및 스토리지)를 전달할 수 있다. 클라우드는 하드웨어, 펌웨어 및 소프트웨어의 적절한 조합을 사용하여 구현될 수 있다. 예를 들어, 클라우드는 도 7의 컴퓨터 시스템의 하나 이상의 구성 요소를 사용하여 구현될 수 있다.

시스템(100)의 이미지 캡처링 시스템(170)은 물리 객체의 이미지(152)를 캡처 하기 위한 시스템을 나타낸다. 이미지 캡처링 시스템은 서브 프레임(sub-frame)(172), 빔(beam)(174), 하나 이상의 모듈(module)(176), 조명 시스템(lighting system)(178), 난방, 환기 및 공조(heating, ventilation, and air conditioning)(HVAC) 시스템(180), 데이터 시스템(data system)(182) 및 하나 이상의 제어기(controller)(184)를 포함한다. 이미지 캡처링 시스템(image capturing system)(180)의 구성 요소는 차량(예를 들어, 기관차)에 부착(예를 들어, 물리적으로 부착)될 수 있다. 이미지 캡처링 시스템(170)은 차량이 물리 객체에 대해 이동하는 동안 물리 객체의 하나 이상의 이미지(152)를 캡처 할 수 있다. 예를 들어, 이미지 캡처링 시스템(170)은 기관차에 부착될 수 있고, 이미지 캡처링 시스템(170)은 기관차가 레일 트랙을 따라 이동하는 동안 레일 조인트의 이미지(152)를 캡처 할 수 있다. 이미지 캡처링 시스템(170)은 정지된 물리 객체의 이미지(152)를 캡처 하는 동안 이미지 캡처링 시스템(170)이 움직이고 있다는 점을 제외하고는 평판 문서 스캐너와 유사하게 동작할 수 있다. 이미지 캡처링 시스템(170)은 아래의 도 4에서 더 자세히 설명된다.

도 1은 네트워크(110), 결함 검출기 모듈(120), 인터페이스(122), 메모리(124), 프로세서(126), 이미지 수집 엔진(130), 분류 엔진(132), 결함 검출기 엔진(134), 보고 엔진(136), 라벨링 엔진(138), 훈련 엔진(140), 데이터베이스(150) 및 이미지 캡처링 시스템(170)의 특정 배치(arrangement)를 도시하지만, 본 개시는 네트워크(110), 결함 검출기 모듈(120), 인터페이스(122), 메모리(124), 프로세서(126), 이미지 수집 엔진(130), 분류 엔진(132), 결함 검출기 엔진(134), 보고 엔진(136), 라벨링 엔진(138), 훈련 엔진(140), 데이터베이스(150) 및 이미지 캡처링 시스템(170)의 임의의 적절한 배치를 고려한다. 네트워크(110), 결함 검출기 모듈(120), 인터페이스(122), 메모리(124), 프로세서(126), 이미지 수집 엔진(130), 분류 엔진(132), 결함 검출기 엔진(134), 보고 엔진(136), 라벨링 엔진(138), 훈련 엔진(140), 데이터베이스(150) 및 이미지 캡처링 시스템(170)은 물리적으로 또는 논리적으로 전체적으로 또는 부분적으로 서로 공존할 수 있다.

도 1은 특정 개수의 네트워크(110), 결함 검출기 모듈(120), 인터페이스(122), 메모리(124), 프로세서(126), 이미지 수집 엔진(130), 분류 엔진(132), 결함 검출 엔진(134), 보고 엔진(136), 라벨링 엔진(138), 훈련 엔진(140), 데이터베이스(150) 및 이미지 캡처링 시스템(170)을 도시하지만, 본 개시는 네트워크(110), 결함 검출기 모듈(120), 인터페이스(122), 메모리(124), 프로세서(126), 이미지 수집 엔진(130), 분류 엔진(132), 결함 검출 엔진(134), 보고 엔진(136), 라벨링 엔진(138), 훈련 엔진(140), 데이터베이스(150) 및 이미지 캡처링 시스템(170)의 임의의 적절한 배치를 고려한다. 결함 검출기 모듈(120) 및/또는 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소는 도 7의 컴퓨터 시스템의 하나 이상의 구성 요소를 사용하여 구현될 수 있다.

도 1은 물리 객체에서 결함(156)을 판정하기 위한 시스템(100)을 설명하지만, 시스템(100)의 하나 이상의 구성 요소는 다른 구현에 적용될 수 있다. 예를 들어, 결함 검출기 모듈(120) 및/또는 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소는 자산 식별 및/또는 목록(inventory)을 위해 이용될 수 있다. 예를 들면, 결함 검출기 모듈(120)의 분류 엔진(132)은 물리 객체(예를 들어, 레일 조인트 바, 스위치, 교차로, 프로그 등)를 식별하고 식별된 물리 객체의 목록을 기록하는 데 사용될 수 있다.

작동시, 결함 검출기 모듈(120)의 이미지 수집 엔진(130)은 이미지 캡처링 시스템(170)으로부터 물리 객체(예를 들어, 레일 조인트)의 이미지(152)를 수신한다. 결함 검출기 모듈(120)의 분류 엔진(132)은 하나 이상의 기계 학습 알고리즘(예를 들어, CNN 166)을 사용하여 물리 객체의 이미지(152)로부터의 특징(154)(예를 들어, 볼트, 파손, 불연속성 및 구멍)을 분류(예를 들어, 볼트, 파손, 불연속성 및 구멍)로 분류한다. 결함 검출기 모듈(120)의 결함 검출기 엔진(134)은 분류(155)를 분석하고 분석에 기초하여 물리 객체가 결함(156)(예를 들어, 파손)을 포함한다고 판정한다. 결함 검출기 엔진(134)은 이미지(152)를 사용하여 물리 객체의 다른 특징(154)에 대한 결함(156)의 위치(158)를 판정한다. 결함 검출기 엔진(134)은 물리 객체의 다른 특징(154)에 대한 결함(156)의 위치(158)에 적어도 부분적으로 기초하여 물리 객체의 결함(156)의 지리적 위치(158)를 판정한다. 보고 엔진(136)은 물리 객체가 결함(156)을 포함한다는 것을 나타내는 보고서(160)를 생성한다. 보고서(160)는 결함(156)의 지리적 위치(158)를 포함한다. 라벨링 엔진(138)은 이미지(152)의 하나 이상의 제1 특징(154)을 하나 이상의 라벨(162)로 라벨링 한다. 라벨(162)은 물리 객체의 결함(156)(예를 들어, 파손)을 나타내는 라벨(162)을 포함한다.

이와 같이, 도 1의 수동 검사의 필요성을 줄이거나 제거하는 시스템(100)은 물리 객체의 이미지(152)를 캡처 하고, 이미지(152)를 분석하고, 하나 이상의 기계 학습 알고리즘을 사용하여 이미지(152)로부터 특징(154)을 분류하고, 및 분류(155)에 기초하여 결함(156)을 판정하여 물리 객체의 결함(156)을 판정한다.

도 2는 물리 객체의 결함을 판정하기 위한 예시적인 방법(200)을 도시한다. 방법(200)은 단계 210에서 시작한다. 단계 220에서, 결함 검출기 모듈(예를 들어, 도 1의 결함 검출기 모듈(120))은 이미지 캡처링 시스템(예를 들어, 도 1의 이미지 캡처링 시스템(170))으로부터 물리 객체의 이미지(예를 들어, 도 1의 이미지 152)를 수신한다. 예를 들어, 결함 검출기 모듈의 이미지 수집 엔진(예를 들어, 도 1의 이미지 수집 엔진(130))은 이미지 캡처링 시스템으로부터 레일 조인트의 이미지를 수신할 수 있다. 이미지 캡처링 시스템은 구성 요소(예를 들어, 기관차)에 부착될 수 있으며, 이미지 캡처링 시스템은 구성 요소가 물리 객체에 대해 움직이는 동안 이미지를 캡처 할 수 있다.

단계 230에서, 결함 검출기 모듈은 하나 이상의 기계 학습 알고리즘(예를 들어, 도 1의 CNN(166))을 사용하여 이미지에서 하나 이상의 특징(예를 들어, 도 1의 특징 154)을 하나 이상의 분류(예를 들어, 도 1의 분류 155)로 분류한다. 예를 들어, 결함 검출기 모듈의 분류 엔진(예를 들어, 분류 엔진 132)은 사각 너트, 볼트 헤드, 파손, 구멍, 불연속성(discontinuity) 및 바(bar)와 같은 특징을 사각형 너트, 볼트 헤드, 파손, 구멍, 불연속성 및 바 각각을 포함하는 분류로 분류하기 위해 하나 이상의 CNN을 사용할 수 있다. 정사각형 너트와 볼트 헤드 사이의 시각적 구분이 볼트의 물리적 표현과 동일하기 때문에 하나 이상의 알고리즘이 정사각형 너트 및 볼트 헤드 분류를 단일 볼트 분류로 논리적으로 줄일 수 있다.

단계 240에서, 결함 검출기 모듈은 하나 이상의 분류를 분석한다. 결함 검출기 모듈의 결함 검출기 엔진(예를 들어, 도 1의 결함 검출기 엔진(134))은 물리 객체에서 결함(예를 들어, 도 1의 결함(156))의 존재를 식별하기 위해 하나 이상의 분류를 분석할 수 있다. 단계 250에서, 결함 검출기 모듈은 분류에 기초하여 물리 객체가 결함인지 여부를 판정한다. 결함 검출기 엔진은 하나 이상의 분류가 결함(예를 들어, 파손)을 포함하는 경우 물리 객체에 결함이 있는지 여부를 판정할 수 있다.

결함 검출기 모듈이 분류에 기초하여 물리 객체가 결함이 아니라고 판정하면, 방법(200)은 단계 250에서 단계 260으로 진행하고, 여기서 보고 엔진(예를 들어, 도 1의 보고 엔진(136))은 물리 객체가 결함이 없음을 나타내는 보고서를 생성한다. 그 다음 방법(200)은 방법(200)이 종료되는 단계 280로 이동한다. 결함 검출기 모듈이 분류에 기초하여 물리 객체가 결함이라고 판정하면, 방법(200)은 단계 250에서 단계 270으로 진행하고, 여기서 보고 엔진은 물리 객체가 결함임을 나타내는 보고서를 생성한다. 그 다음 방법(200)은 방법(200)이 종료되는 단계 280로 이동한다.

도 2에 도시된 방법(200)에 대한 수정, 추가 또는 생략이 이루어질 수 있다. 방법(200)은 더 많거나, 더 적거나, 다른 단계를 포함할 수 있다. 예를 들면, 방법(200)은 결함 검출기 모듈의 훈련 엔진(예를 들어, 도 1의 훈련 엔진(140)), 하나 이상의 신경망 및/또는 알고리즘(예를 들어, CNN)에 의한 훈련하는 단계를 포함하여 이미지 내의 특징을 정확하게 인식하고 분류할 수 있다. 다른 예로서, 방법(200)은 결함 검출기 모듈의 라벨링 엔진(예를 들어, 도 1의 라벨링 엔진(138))에 의해 하나 이상의 특징을 나타내는 하나 이상의 라벨(예를 들어, 도 1의 라벨(162))을 생성하는 단계를 포함할 수 있다. 단계는 병렬로 또는 임의의 적절한 순서로 수행될 수 있다. 방법(200)의 단계를 완료하는 특정 구성 요소로서 논의되었지만, 임의의 적절한 구성 요소는 방법(200)의 임의의 단계를 수행할 수 있다.

도 3은 물리 객체의 결함을 판정하기 위한 예시적인 방법(300)을 도시한다. 방법(300)은 단계(305)에서 시작한다. 단계 310에서, 결함 검출기 모듈(예를 들어, 도 1의 결함 검출기 모듈(120))의 이미지 수집 엔진(예를 들어, 도 1의 이미지 수집 엔진(130))은 이미지 캡처링 시스템(예를 들어, 도 1의 이미지 캡처링 시스템(170))에서 물리 객체의 이미지(예를 들어, 도 1의 이미지 152)를 수신한다. 결함 검출기 모듈의 이미지 수집 엔진은 이미지에서 레일 조인트의 존재를 검출할 수 있다.

단계 315에서, 결함 검출기 모듈은 이미지로부터 제1 특징(예를 들어, 도 1의 특징(154))을 제1 분류(예를 들어, 도 1의 분류(155))로 분류한다. 예를 들면, 하나 이상의 CNN은 "바", "불연속성" 및 "단주(end post)"와 같은 분류를 검출하도록 훈련될 수 있으며, 결함 검출기 모듈의 분류 엔진(예를 들어, 도 1의 분류 엔진(132))은 하나 이상의 CNN을 사용하여 바의 제1 특징을 "바" 분류로 분류할 수 있다. 단계 320에서, 결함 검출기 모듈은 이미지를 제1 특징을 둘러싼 영역으로 자른다. 예를 들어, 분류 엔진은 레일 조인트의 바를 둘러싼 영역으로 이미지를 자를 수 있다.

단계 325에서, 결함 검출기 모듈은 하나 이상의 CNN을 사용하여 이미지로부터 하나 이상의 제2 특징을 하나 이상의 제2 분류로 분류한다. 예를 들어, 하나 이상의 CNN이 "볼트 헤드", "사각 너트", "육각 너트", "원형 너트", "구멍" 및 "파손"과 같은 제2 분류를 감지하도록 훈련될 수 있다. 결함 검출기 모듈의 분류 엔진은 하나 이상의 CNN을 사용하여 파손의 제2 특징을 "파손" 분류로 분류할 수 있다.

단계 330에서, 결함 검출기 모듈은 하나 이상의 제2 분류를 분석한다. 단계 335에서, 결함 검출기 모듈은 하나 이상의 제2 분류를 분석하는 것에 기초하여 이미지가 결함(예를 들어, 도 1의 결함(156))을 포함하는지 여부를 판정한다. 예를 들면, 결함 검출기 모듈의 결함 검출기 엔진(예를 들어, 도 1의 결함 검출기 엔진(134))은 하나 이상의 제2 분류가 결함 인 경우 물리 객체의 이미지에 결함(예를 들어, 도 1의 결함 156)이 포함되어 있다고 판정할 수 있다.

결함 검출기 모듈이 하나 이상의 제2 분류에 기초하여 이미지가 결함을 포함하지 않는다고 판정하면, 방법(300)은 단계 335에서 단계 345로 진행하고, 보고 엔진(예를 들어, 도 1의 보고 엔진(136))은 물리 객체가 결함이 없음을 나타내는 보고서를 생성한다. 그런 다음 방법(300)은 단계 345에서 단계 365로 이동하고, 여기서 방법(300)은 종료된다.

결함 검출기 모듈이 하나 이상의 제2 분류에 기초하여 이미지가 결함을 포함한다고 판정하면, 방법(300)은 단계 335에서 단계 340으로 진행한다. 단계 340에서, 결함 검출기 모듈은 결함이 물리 객체의 일부인지 여부를 판정한다. 예를 들어, 결함 검출기 엔진은 결함의 위치가 이미지의 물리 객체의 일부인 경우 물리 객체가 결함을 포함한다고 판정할 수 있다. 또 다른 예로, 결함 검출기 엔진은 결함의 위치가 이미지의 물리 객체 밖에 있는 경우(예를 들어, 동일한 이미지의 다른 물리 객체의 일부) 물리 객체가 결함을 포함하지 않는다고 판정할 수 있다. 결함 검출기 모듈이 결함이 물리 객체의 일부가 아니라고 판정하면, 방법(300)은 단계 340에서 단계 345로 진행하고, 보고 엔진은 물리 객체에 결함이 없음을 나타내는 보고서를 생성한다. 그런 다음 방법(300)은 단계 345에서 단계 365로 이동하고, 여기서 방법(300)은 종료된다.

결함 검출기 모듈이 결함이 물리 객체의 일부라고 판정하면, 방법(300)은 단계 340에서 단계 350으로 진행하고, 여기서 결함 검출기 모듈은 잘린 이미지(cropped image)에서 결함의 위치를 판정한다. 단계 355에서, 결함 검출기 모듈은 이미지 내의 결함 위치 및 이미지 캡처링 시스템(예를 들어, 도 1의 이미지 캡처링 시스템(170))에서 획득된 센서 정보를 사용하여 물리 객체 결함의 지리적 위치(예를 들어, GPS 위치)를 판정한다. 그런 다음 방법(300)은 보고 엔진이 물리 객체에 결함이 있음을 나타내는 보고서를 생성하는 단계 360으로 진행한다. 보고서는 물리 객체의 결함의 지리적 위치를 나타낼 수도 있다. 그런 다음 방법(300)은 단계 360에서 단계 365로 이동하고, 여기서 방법(300)은 종료된다.

도 3에 도시된 방법(300)에 대한 수정, 추가 또는 생략이 이루어질 수 있다. 방법(300)은 더 많거나, 더 적거나, 다른 단계를 포함할 수 있다. 예를 들어, 방법(300)은 물리 객체(예를 들어, 레일 조인트 바)의 결함(예를 들어, 파손)을 물리 객체의 다른 특징(예를 들어, 볼트, 구멍 및 불연속성)과 관련된 결함의 위치에 기초한 더 특정 결함(예를 들어, 중앙 파손 조인트 바 또는 1/4 파손 조인트 바)으로 분류하는 단계를 더 포함할 수 있다. 단계는 병렬로 또는 임의의 적절한 순서로 수행될 수 있다. 방법(300)의 단계를 완료하는 특정 구성 요소로서 논의되었지만, 임의의 적절한 구성 요소는 방법(300)의 임의의 단계를 수행할 수 있다.

도 4는 예시적인 이미지 캡처링 시스템(170)을 도시한다. 이미지 캡처링 시스템(170)은 물리 객체의 이미지(예를 들어, 도 1의 이미지(152))를 캡처 하고 이미지를 결함 검출기 모듈(예를 들어, 도 1의 결함 검출기 모듈(120))에 통신한다. 시스템(100) 또는 그 일부는 기업, 회사(예를 들어, 철도 회사, 운송 회사 등)와 같은 임의의 엔티티 또는 이미지를 캡처 하는 정부 기관(예를 들어, 교통부, 공공 안전부 등)를 포함할 수 있는 엔티티와 연관될 수 있다. 시스템(100)의 요소는 하드웨어, 펌웨어 및 소프트웨어의 임의의 적절한 조합을 사용하여 구현될 수 있다.

도 4의 이미지 캡처링 시스템(170)은 차량(vehicle)(410), 회전 위치 인코더(rotary position encoder)(420), 서브 프레임(sub-frame)(172) 및 빔(174)을 포함한다. 차량(410)은 빔(174)이 연결될 수 있는 임의의 기계이다. 차량(410)은 엔진 및/또는 바퀴를 가질 수 있다. 차량(410)은 자동차, 기관차, 트럭, 버스, 항공기 또는 이동성에 적합한 임의의 다른 기계 일 수 있다. 차량(410)은 빔(174)의 하나 이상의 구성 요소(예를 들어, 센서, 카메라 등)가 이미지를 캡처 하도록 허용하는 임의의 속도로 작동할 수 있다. 예를 들어, 차량(410)은 시간당 70 마일을 주행하는 레일 바운드 차량(rail bound vehicle) 일 수 있다.

이미지 캡처링 시스템(170)의 회전 위치 인코더(420)는 차축 회전을 측정하는데 사용되는 휠 인코더 또는 다른 타이밍 장치이다. 회전 위치 인코더(420)는 축이 회전하는 횟수를 측정할 수 있다. 회전 위치 인코더(420)는 차량(410)의 축에 부착될 수 있다. 회전 위치 인코더(420)는 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소에 물리적으로 및/또는 논리적으로 연결될 수 있다. 예를 들어, 회전 위치 인코더(420)는 모듈(176)의 하나 이상의 카메라 및/또는 센서에 물리적으로 및/또는 논리적으로 연결될 수 있다. 다른 예로서, 회전 위치 인코더(420)는 제어기(184)에 물리적으로 및/또는 논리적으로 연결될 수 있다.

회전 위치 인코더(420)는 카메라가 차량(410)의 이동 속도에 관계없이 동일한 원근 및 비율의 이미지를 캡처 하도록 보장하기 위해 모듈(176)의 카메라와 통신할 수 있다. 예를 들어, 회전 위치 인코더(420)는 모든 카메라가 동시에 이미지를 촬영하고 있음을 보장하기 위해 빔(174)의 다중 카메라와 동기화될 수 있다. 또 다른 예로, 회전 위치 인코더(420)는 제1 속도(예를 들어, 시속 7 마일)로 차량(410)과 함께 이동하는 카메라가 제2 속도(예를 들어, 시속 70 마일)로 차량(410)과 함께 이동하는 카메라와 동일한 원근 및 비율 인 이미지를 캡처 하도록 보장하기 위해 빔(174)의 카메라와 동기화될 수 있다.

이미지 캡처링 시스템(170)의 서브 프레임(172)은 차량(410)을 빔(174)에 연결하는 중간 구조이다. 서브 프레임(172)은 복수의 위치에서 차량(410)과 맞물린 다. 서브 프레임(172)은 하나 이상의 볼트(430), 용접부, 및/또는 임의의 다른 적절한 결합으로 차량(410) 및/또는 빔(174)에 연결될 수 있다. 서브 프레임(172)의 슬롯(440)은 빔(174)에 대한 레벨 및/또는 높이 조정을 제공한다. 슬롯(440)은 수직 및/또는 수평일 수 있다. 서브 프레임(172)의 수직으로 배향된 슬롯(440)은 빔(174)에 대한 높이 조정을 제공한다. 서브 프레임(174)은 차량(410)의 전방 단부, 차량(410)의 후방 단부, 차량(410)의 측면, 또는 차량(410)을 빔(174)에 연결하기 위한 임의의 다른 적절한 위치에 연결될 수 있다. 서브 프레임(172)은 금속(예를 들어, 강철 또는 알루미늄), 플라스틱, 또는 차량(410)과 빔(174)을 연결하기에 적합한 임의의 다른 재료로 제조될 수 있다. 특정 실시 예에서, 서브 프레임(172)은 빔(174)이 차량(410)에 직접 부착되도록 생략될 수 있다.

이미지 캡처링 시스템(170)의 빔(174)은 이미지를 캡처 하는 데 사용되는 구성 요소(예를 들어, 카메라 및 센서)를 포함하고 방향을 정하는 구조이다. 특정 실시 예에서, 빔(174)은 고정된 물리 객체의 이미지(152)를 캡처 하는 동안 빔(174)이 움직이고 있다는 점을 제외하고는 평판 문서 스캐너와 유사하게 작동한다. 빔(174)은 서브 프레임(172)과 맞물린다. 예를 들어, 빔(174)은 볼트(430)로 서브 프레임(172)에 볼트로 고정될 수 있다. 도 4의 예시된 실시 예에서, 빔(174)은 두 개의 단부 섹션 및 중앙 섹션을 포함하는 세 개의 섹션을 갖는다. 빔(174)은 중심 섹션이 빔(174)의 중심을 향해 안쪽으로 구부러지도록 걸윙 구성(gullwing configuration)을 갖는다. 걸윙 구성은 빔(174) 내의 모듈(176)의 이미지 캡처 구성 요소(예를 들어, 센서, 카메라 등)가 캡처 되는 물리 객체에 대해 적절하게 배향되도록 한다. 특정 실시 예에서, 빔(174)의 중앙 섹션은 생략될 수 있고, 각 단부 섹션은 서브 프레임(172)에 연결된다. 빔(174)은 금속(예를 들어, 강철 또는 알루미늄), 플라스틱, 또는 빔(174)의 구성 요소를 수용하고 빔(174)을 서브 프레임(172)에 부착하기에 적합한 임의의 다른 재료로 제조될 수 있다.

빔(174)은 하나 이상의 개구(450)를 포함할 수 있다. 개구(450)는 빔(174) 내에 모듈(176)의 배치를 제공할 수 있다. 개구부는 모듈(176)의 설치, 조정 및 유지 보수를 허용할 수 있다. 빔(174)이 도 1에 도시되어 있다. 도 4에서 특정 크기 및 형상을 갖는 것으로서, 빔(174)은 그 구성 요소(예를 들어, 모듈(176))를 수용하고 배향하기에 적합한 임의의 크기 및 형상을 가질 수 있다. 빔(174)의 설계에 기여할 수 있는 다른 요소에는 충격 저항, 진동 저항, 내후성 고려 사항, 내구성, 유지 보수 용이성, 교정 고려 사항 및 설치 용이성이 포함된다.

빔(174)은 모듈(176), 조명 시스템(178), HVAC 시스템(180), 데이터 시스템(182) 및 제어기(184)를 포함한다. 모듈(176)은 이미지를 캡처 하기 위한 구성 요소를 수용한다. 각 모듈(176)은 하나 이상의 센서, 카메라 등을 포함할 수 있다. 모듈(176)은 빔(174) 내에 위치되고 빔(174) 내의 이미지 캡처 구성 요소를 위치시키고 지지하는 것을 돕는다. 모듈(176)은 서비스 가능성 및 조정을 허용하도록 설계되었다.

특정 실시 예에서, 빔(174)의 각 단부 섹션은 하나 이상의 카메라 모듈(176)을 수용한다. 예를 들어, 빔(174)의 제1 단부 섹션은 레일의 침목 및 밸러스트 영역의 이미지를 캡처 하는 두 개의 하향 카메라를 포함하는 모듈(176)을 수용할 수 있다. 빔(174)의 제1 단부 섹션은 레일에 실질적으로 수평 인 제1 단부 섹션의 일부에 두 개의 하향 카메라를 수용할 수 있다. 제1 단부 섹션에 대향하는 빔(174)의 제2 단부 섹션은 각각 레일 및 레일 고정 시스템의 양쪽 측면의 이미지를 캡처 하는 두 개의 각진 카메라를 포함하는 두 개의 모듈(176)을 수용할 수 있다. 빔(174)의 제2 단부 섹션은 레일에 대해 각도(예를 들어, 45도 각도) 인 제2 단부 섹션의 부분에 네 개의 각진 카메라를 수용할 수 있다.

이미지 캡처링 시스템(170)의 모듈(176)은 감지 및/또는 측정 요건에 따라 다양한 유형의 센서를 수용할 수 있다. 모듈(176)에 의해 수용되는 센서는 광학 센서(예를 들어, 가시 광선(모노 및 컬러), 적외선, 자외선 및/또는 열 화상 카메라), 모션 센서(예를 들어, 자이로 스코프 및 가속도계), 광 감지 및 거리 측정(LIDAR) 센서, 초 분광 센서, GPS 센서 등을 포함할 수 있다. 광학 센서와 레이저를 레이저 삼각 측량에 함께 사용하여 편향 또는 프로파일을 측정할 수 있다. LIDAR 센서는 3 차원(3D) 포인트 클라우드 데이터를 생성하는 데 사용할 수 있다. 특정 파장 응답에 하이퍼 스펙트럼 센서(Hyperspectral sensor)를 사용할 수 있다. 예시적인 모듈(176)이 아래의 도 5에서 설명된다.

이미지 캡처링 시스템(170)의 조명 시스템(178)은 이미지를 캡처 하기 위한 외부 조명을 제공한다. 조명 시스템(178)은 일광 및 어둠 동안 이미지를 캡처 하기 위한 조명을 제공한다. 조명 시스템(178)은 조명 시스템(178)이 미리 판정된 속도(예를 들어, 시속 70 마일)로 이동하는 동안 고정된 물리 객체의 이미지를 캡처하기에 충분한 조명 강도를 제공할 수 있다. 조명 시스템(178)은 조명을 적절하게 배향하기 위한 메커니즘을 포함할 수 있다. 조명 시스템(178)은 이미지 캡처를 위한 적절한 조명을 제공하기에 적합한 임의의 유형의 조명을 포함할 수 있다. 조명 시스템(178)은 발광 다이오드(LED) 조명(예를 들어, 백색 LED 조명, 오프로드 레이싱 LED 조명 등), 라이트 바(예를 들어, 오프로드 레이싱 LED 조명 바), 보조 조명(예를 들어, LED 보조 조명), 적외선 조명, 이들의 조합 또는 기타 적절한 유형의 조명을 포함할 수 있다. 조명 시스템(178)은 레이저 조명, 적외선 조명, 자외선 조명, 또는 모듈(176)의 하나 이상의 구성 요소(예를 들어, 센서, 카메라 등)에 의해 요구되는 임의의 다른 적절한 유형의 조명을 제공하는 하나 이상의 구성 요소를 포함할 수 있다.

이미지 캡처링 시스템(170)의 HYAC 시스템(180)은 이미지 캡처링 시스템(170)의 빔(174)에 난방, 환기 및/또는 공기 조절을 제공한다. HYAC 시스템(180)은 빔(174)의 환경 조건(예를 들어, 내부 온도, 습도 등)을 조절할 수 있다. HY AC 시스템(180)은 빔(174)의 모듈(176)의 작동 요건이 만족되는 것을 보장하기 위해 빔(174)의 환경 조건을 모니터링 할 수 있다. 예를 들면, HYAC 시스템(180)은 더운 날씨 동안 작동하는 모듈(176)(예를 들어, 카메라 및 센서)에 대한 강화된 환경을 보장하기 위해 빔(174)에 냉각을 제공할 수 있다. HYAC 시스템(180)은 응축기, 증발기, 압축기, 팽창 밸브, 벨트, 호스, 냉매 등 중 하나 이상을 포함하는 전통적인 HYAC 시스템 일 수 있다.

HYAC 시스템(180)은 공기 동력 와류 발생기(air-powered vortex generator)를 통해 빔(174)에 냉각을 제공할 수 있다. 차량(410)(예를 들어, 기관차)의 주 저장 시스템으로부터 건조, 여과 및 조절된 공기가 와류 발생기에 적용될 수 있다. 와류 발생기(vortex generator)는 냉각된 압축 공기를 빔(174)에 적용할 수 있다. 냉각된 공기는 직접 적용을 위해 각 모듈(176)(예를 들어, 하나 이상의 센서)로 라우팅 될 수 있다. 와류 발생기는 습도 조절기로도 작동할 수 있다. 예를 들면, 와류 발생기는 습도를 약 50 %로 조절할 수 있다. 압축 공기는 빔(174)에 약간의 양압을 제공할 수 있으며, 이는 외부 먼지 및/또는 파편이 작은 구멍을 통해 빔(174)으로 들어가는 것을 방지할 수 있다.

이미지 캡처링 시스템(170)의 데이터 시스템(182)은 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소로부터 수신된 모든 데이터(예를 들어, 센서 데이터)를 하나 이상의 컴퓨터, 하나 이상의 제어기(예를 들어, 제어기(184)) 및/또는 하나 이상의 저장 장치에 연결하고 지향한다. 데이터 시스템(182)은 데이터를 제어기 및/또는 저장 장치로 통신하기 위한 하나 이상의 데이터 케이블을 포함할 수 있다. 데이터 시스템(182)의 데이터 케이블은 빔(174) 내부에 상주하는 내부 케이블을 포함할 수 있다. 데이터 시스템(182)의 데이터 케이블은 빔(174) 외부에 상주하는 외부 케이블을 포함할 수 있다. 내부 및 외부 케이블은 빔(174)의 벽에 위치한 내후성 커넥터에 의해 결합될 수 있다. 하나 이상의 외부 케이블은 하나 이상의 컴퓨터, 하나 이상의 제어기 및/또는 하나 이상의 저장 장치로 라우팅 될 수 있다. 데이터 시스템(182)의 데이터 케이블은 데이터 유입 및/또는 유출을 위한 경로를 제공한다. 예를 들어, 데이터 시스템(182)의 데이터 케이블은 제어기(184)로부터의 신호 유입을 트리거 할 수 있다. 또 다른 예로, 데이터 시스템(182)은 임의의 적절한 무선 또는 셀룰러 통신 프로토콜을 사용하여 데이터를 제어기(184) 및/또는 저장 장치에 무선으로 통신할 수 있다.

이미지 캡처링 시스템(170)의 제어기(184)는 이미지 캡처링 시스템(170)을 위한 정보를 처리하는데 사용될 수 있는 임의의 적절한 컴퓨팅 구성 요소를 나타낸다. 제어기(184)는 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소를 조정할 수 있다. 제어기(184)는 모듈(176), 조명 시스템(179), HVAC 시스템(180), 데이터 시스템(182), 차량(410) 및/또는 회전 위치 인코더(420)로부터 데이터를 수신할 수 있다. 제어기(184)는 모듈(176), 조명 시스템(178), HVAC 시스템(180) 및 회전 위치 인코더(420)의 입력 및/또는 출력을 모니터링 할 수 있다. 제어기(184)는 사용자(예를 들어, 기술자)가 이미지 캡처링 시스템(170)을 직접 결합할 수 있도록 하는 통신 기능을 포함할 수 있다. 예를 들면, 제어기(184)는 컴퓨터(예를 들어, 랩탑)의 일부일 수 있고, 사용자는 컴퓨터의 인터페이스(예를 들어, 스크린, 그래픽 사용자 인터페이스(GUI) 또는 패널)를 통해 제어기(184)에 액세스 할 수 있다. 제어기(184)는 네트워크(예를 들어, 도 1의 네트워크(110))를 통해 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소와 통신할 수 있다. 예를 들면, 제어기(184)는 LAN을 통해 및/또는 셀룰러 또는 무선 네트워크와 같은 WAN상의 원격 단말기로부터 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소와 통신할 수 있다. 제어기(184)는 차량(410) 내부에 위치할 수 있다.

제어기(184)는 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소에 대한 조정을 개시할 수 있다. 조정은 하나 이상의 조건에 응답하여 제어기(184)에 의해 자동으로 개시될 수 있다. 예를 들면, 제어기(184)는 빔(174) 내부의 온도가 미리 판정된 값을 초과할 때 빔(174)에 냉각을 제공하도록 HVAC 시스템(180)에 지시할 수 있다. 조정은 제어기(184)의 사용자(예를 들어, 제어기(184)를 포함하는 컴퓨터를 사용하는 기술자)에 의해 국부적으로(예를 들어, 차량(410) 내에서) 개시될 수 있다. 조정은 제어기(184)에 의해 원격으로(예를 들어, 셀룰러 또는 무선 링크를 통해) 개시될 수 있다. 조정은 조명 시스템(178)(예를 들어, 조명 방향, 조명 강도 등) 조정, HVAC 시스템(180)(예를 들어, 온도, 습도 등) 조정, 카메라 방향 조정 등을 포함할 수 있다.

이미지 캡처링 시스템(170)의 제어기(184)는 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소의 전력 상태를 모니터링 할 수 있다. 제어기(184)는 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소(예를 들어, 모듈(176)의 센서)에 전력을 제공할 수 있다. 제어기(184)는 원격 리셋과 같은 비 데이터 특징을 결합할 수 있다. 제어기(184)는 회전 위치 인코더(420)로부터 트리거 신호를 수신하고 신호를 모듈(176)의 제어기(예를 들어, 센서 제어기)에 분배할 수 있다. 모듈(176)의 제어기는 제어 시스템 신호와 함께 실시간으로 모듈(176)(예를 들어, 센서)의 하나 이상의 구성 요소를 작동시킬 수 있다. 이미지 캡처링 시스템(170)은 외부 특징(예를 들어, 거친 트랙)에 의해 야기되는 차량 움직임을 설명하기 위해 트리거 신호 보상 계수를 제공하는 자이로스코프 및 가속도계와 같은 하나 이상의 움직임 감지 센서를 포함할 수 있다.

특정 실시 예에서, 이미지 캡처링 시스템(170)은 차량(410)의 속도를 수신할 수 있다. 제어기(184)는 GPS 수신기, 레이더 속도 측정 시스템, 레이저 속도 측정 시스템, 또는 차량(410)의 속도를 측정하도록 동작할 수 있는 임의의 다른 적절한 구성 요소로부터의 속도(예를 들어, GPS 속도 신호)를 수신할 수 있다.

도 4는 차량(410), 회전 위치 인코더(420), 서브 프레임(172), 빔(174), 모듈(176), 조명 시스템(178), HVAC 시스템(180), 데이터 시스템(182) 및 제어기(184)의 특정 배열을 예시하지만, 본 개시는 차량(410), 회전 위치 인코더(420), 서브 프레임(172), 빔(174), 모듈(176), 조명 시스템(178), HVAC 시스템(180), 데이터 시스템(182) 및 제어기(184)의 임의의 적절한 배열을 고려한다. 예를 들어, 조명 시스템(170)은 빔(174)의 외부에 위치할 수 있다. 차량(410), 회전 위치 인코더(420), 서브 프레임(172), 빔(174), 모듈(176), 조명 시스템(178), HVAC 시스템(180), 데이터 시스템(182) 및 제어기(184)는 물리적으로 또는 논리적으로 전체적으로 또는 부분적으로 서로 같은 위치에 배치될 수 있다.

도 4는 특정 수의 차량(410), 회전 위치 인코더(420), 서브 프레임(172), 빔(174), 모듈(176), 조명 시스템(178), HVAC 시스템(180), 데이터 시스템(182) 및 제어기(184)를 도시하지만, 본 개시는 임의의 적절한 수의 차량(410), 회전 위치 인코더(420), 서브 프레임(172), 빔(174), 모듈(176), 조명 시스템(178), HVAC 시스템(180), 데이터 시스템(182) 및 제어기(180)를 고려한다. 예를 들면, 이미지 캡처링 시스템(170)은 차량(410)의 전방 단부에 있는 제1 빔(174) 및 차량(410)의 후방 단부에 있는 제2 빔(174)을 포함할 수 있다. 또 다른 예로, 이미지 캡처링 시스템(178)은 다수의 제어기(184)(예를 들어, 제어기 및 서브 제어기)를 포함할 수 있다. 이미지 캡처링 시스템(170)의 하나 이상의 구성 요소는 도 7의 컴퓨터 시스템의 하나 이상의 구성 요소를 사용하여 구현될 수 있다.

도 5는 도 4의 이미지 캡처링 시스템(170)에 의해 사용될 수 있는 예시적인 모듈(176)을 예시한다. 모듈(176)은 카메라(510), 렌즈(520), 상부 플레이트(530), 베이스 플레이트(540), 커버 플레이트(550), 세척 장치(560), 볼트(570), 개구(580) 및 공기 압축기(585)를 포함한다. 카메라(510)는 물리 객체의 이미지(예를 들어, 도 1의 이미지(152))를 캡처하는 임의의 장치이다. 예를 들면, 카메라(510)는 레일 구성 요소(예를 들어, 레일 조인트, 스위치, 프로그, 파스너, 밸러스트, 레일 헤드 및/또는 레일 침목)의 이미지를 캡처 할 수 있다. 특정 실시 예에서, 카메라(510)는 센서이다.

하나 이상의 카메라(510)는 상이한 각도에서 하나 이상의 물리 객체의 이미지를 캡처 할 수 있다. 예를 들어, 하나 이상의 카메라(510)는 임의의 주어진 위치에서 철도 시스템의 양쪽 레일의 이미지를 캡처 할 수 있다. 각각의 빔(예를 들어, 도 4의 빔(174))은 다수의 카메라(510)를 포함할 수 있다. 빔은 물리 객체의 오버 헤드 이미지를 캡처하기 위해 똑바로 아래로 향하는 제1 카메라(510)를 포함할 수 있다. 빔은 물리 객체의 각진 이미지를 캡처하기 위해 아래쪽 및 바깥쪽으로 조준된 제2 카메라(510)를 포함할 수 있다.

카메라(510)는 라인 스캔 카메라 일 수 있다. 라인 스캔 카메라(line scan camera)에는 단일 행의 픽셀이 포함된다. 카메라(510)는 듀얼 라인 스캔 카메라(dual line scan camera) 일 수 있다. 듀얼 라인 스캔 카메라는 동시에 캡처 및/또는 처리될 수 있는 두 행의 픽셀을 포함한다. 카메라(510)가 물리 객체 위로 이동함에 따라, 카메라(510)는 물리 객체의 완전한 이미지가 소프트웨어에서 라인별로 재구성될 수 있도록 이미지를 캡처 할 수 있다. 카메라(510)는 최대 140 킬로 헤르츠의 캡처 속도를 가질 수 있다. 카메라(510)는 적어도 1/16 인치 크기의 물리 객체를 검출하기 위한 해상도 및 광학을 가질 수 있다. 대안적인 실시 예에서, 카메라(510)는 영역 스캔 카메라(area scan camera) 일 수 있다.

카메라(510)는 입사광을 초점을 맞추고 카메라(510)의 센서로 향하게 하는 렌즈(lens)(520)를 포함한다. 렌즈(520)는 유리 피스 또는 다른 투명한 물질 일 수 있다. 렌즈(520)는 임의의 적절한 재료(예를 들어, 강철, 알루미늄, 유리, 플라스틱 또는 이들의 조합)로 만들어 질 수 있다.

상부 플레이트(Top plate)(530) 및 베이스 플레이트(base plate)(540)는 모듈(176)(예를 들어, 카메라(510) 또는 센서)의 하나 이상의 구성 요소를 배치, 지지 및/또는 안정화시키는 데 사용되는 구조적 요소이다. 상부 플레이트(530) 및 하부 플레이트(540)는 임의의 적절한 재료(예를 들어, 강철, 알루미늄, 플라스틱, 유리 등)로 제조될 수 있다. 상부 플레이트(530)는 하나 이상의 볼트(570)로 베이스 플레이트(540)에 연결될 수 있다. 볼트(570)(예를 들어, 잭 볼트)는 카메라(510)의 피치 및/또는 롤 방향을 변경하기 위해 사용될 수 있다. 예를 들어, 볼트(570)는 상부 플레이트(530)와 베이스 플레이트(540) 사이의 유효 높이를 변경하기 위해 사용될 수 있다. 상부 플레이트(530) 및/또는 베이스 플레이트(540)는 모듈(176)의 진동 및/또는 충격을 감소시키도록 조정될 수 있다. 상부 플레이트(530) 및/또는 베이스 플레이트(540)는 더 차가운 날씨 동안 작동하도록 카메라(510) 및 렌즈(520)에 따뜻한 환경을 제공하기 위해 저항 가열 요소를 포함할 수 있다.

커버 플레이트(Cover plate)(550)는 베이스 플레이트(540)를 덮는 플레이트이다. 커버 플레이트(550)는 임의의 적절한 재료(예를 들어, 유리, 강철, 알루미늄 등)로 제조될 수 있다. 커버 플레이트(550)는 개구(opening)(580)를 포함한다. 개구(580)는 카메라(510)의 렌즈가 물리 객체를 보는 조리개 역할을 할 수 있다. 개구(580)는 카메라(510)의 센서에 도달하기 위해 환경으로부터 감지된 신호의 전송을 허용한다. 개구(580)는 카메라(510)의 뷰를 수용하기에 적합한 임의의 크기(예를 들어, 타원형, 직사각형 등) 일 수 있다. 카메라(510) 및/또는 공기 압축기(585)의 렌즈(520)는 개구(580) 바로 위에 위치될 수 있다. 공기 압축기(585)는 위의 도 4에 설명된 바와 같이 공기 동력 와류 발생기를 통해 빔(174)에 냉각을 제공할 수 있다.

세척 장치(Cleaning device)(560)는 환경으로부터 렌즈(520) 및/또는 카메라(510)의 센서를 보호하는 임의의 장치이다. 세척 장치(560)는 개구(580)을 통해 시야를 방해할 수 있는 먼지, 작은 파편, 물 및/또는 기타 항목을 제거한다. 세척 장치(560)는 모듈(176)의 구성 요소(예를 들어, 카메라 또는 센서)에 의해 전송되는 신호의 방해를 최소화하거나 전혀 제공하지 않는다. 세척 장치(560)는 커버 플레이트(cover plate)(550)와 베이스 플레이트(base plate)(540) 사이에 위치할 수 있다. 특정 실시 예에서, 세척 장치(560)는 커버 플레이트(550) 및/또는 베이스 플레이트(540)에 물리적으로 연결된다. 세척 장치(560)는 임의의 적절한 재료(예를 들어, 유리, 강철, 알루미늄 등)로 제조될 수 있다. 세척 장치(560)는 모듈(176)의 외부면(예를 들어, 모듈(176)의 밑면)에 위치할 수 있다.

세척 장치(560)는 카메라(510)의 렌즈(520)를 세척하기 위해 임의의 적절한 방법을 사용할 수 있다. 예를 들어, 세척 장치(560)는 압축 공기, 압축 가스 또는 세정 유체를 방출하는 세정제를 포함할 수 있다. 세척 장치(560)는 와이퍼 블레이드, 브러시, 또는 렌즈(520)를 세척하기 위한 임의의 다른 적절한 방법을 포함할 수 있다. 특정 실시 예에서, 세정제는 압축 공기 또는 압축 가스를 방출하는 압축기(예를 들어, 공기 압축기(air compressor)(585))이다. 압축 공기 또는 압축 가스는 코 안다 효과를 활용하도록 설계된 오리피스(orifice)를 통해 배출되며, 이는 주변 공기를 1 차 스트림으로 유입시켜 렌즈(520)를 가로 질러 변위되는 공기의 양(공기 흐름에 대한 표기법 590 참조)을 증폭시킨다. 특정 실시 예에서, 세척 장치(560)는 HVAC 시스템의 일부일 수 있다(예를 들어, PIG. 4의 HVAC 시스템 180).

도 5는 카메라(510), 렌즈(520), 상부 플레이트(530), 베이스 플레이트(540), 커버 플레이트(550), 세척 장치(560), 볼트(570), 개구(580) 및 공기 압축기(585)의 특정 배열을 예시하지만, 본 개시는 카메라(510), 렌즈(520), 상부 플레이트(530), 베이스 플레이트(540), 커버 플레이트(550), 세척 장치(560), 볼트(570), 개구(580) 및 공기 압축기(585)의 임의의 적절한 배열을 고려한다. 도 5는 특정 수의 카메라(510), 렌즈(520), 상부 플레이트(530), 베이스 플레이트(540), 커버 플레이트(550), 세척 장치(560), 볼트(570), 개구(580) 및 공기 압축기(585)를 도시하고 있지만, 본 개시는 임의의 적절한 수의 카메라(510), 렌즈(520), 상부 플레이트(530), 베이스 플레이트(540), 커버 플레이트(550), 세척 장치(560), 볼트(570), 개구(580) 및 공기 압축기(585)를 고려한다. 예를 들어, 모듈 (176)은 다수의 카메라(510)를 포함할 수 있다. 모듈(176)의 하나 이상의 구성 요소는 도 7의 컴퓨터 시스템의 하나 이상의 구성 요소를 사용하여 구현될 수 있다.

도 6은 라벨(162)로 특징(154)을 태깅 하기 위한 예시적인 방법(600)을 도시한다. 도 6은 레일(630) 및 레일 조인트 바(rail joint bar)(632)의 도면을 포함한다. 방법(600)은 단계(610)에서 시작하며, 여기서 분류 엔진(예를 들어, 도 1의 분류 엔진(132))은 레일 조인트(132)의 특징(154)을 식별한다. 특징(154)은 제1 사각 너트(first square nut)(634), 제1 볼트 헤드(first bolt head)(636), 제1 구멍(first hole)(638), 제2 구멍(second hole)(640), 제2 사각 너트(second square nut)(642), 제2 볼트 헤드(second bolt head)(636), 파손(break)(646) 및 불연속성(discontinuity)(648)을 포함한다. 파손(646)은 레일 조인트 바(joint bar)(632)의 결함(예를 들어, 도 1의 결함(156))을 나타낸다. 불연속성(648)은 레일(630) 사이의 분리를 나타낸다. 분류 엔진은 하나 이상의 CNN을 사용하여 레일 조인트(132)의 특징(154)을 식별(예를 들어, 분류)할 수 있다.

방법(600)의 단계(620)에서, 라벨링 엔진(예를 들어, 도 1의 라벨링 엔진(138))은 라벨(162)을 갖는 레일 조인트(132)의 특징(154)을 태그 한다. 보이는 바와 같이, 라벨링 엔진은 특징(634)을 "사각 너트(0.84)"로 태그하고, 특징(636)을 "볼트 헤드(0.77)"로 태그 하고, 특징(638)을 "구멍(0.89)"으로 태그 하고, 특징(640)을 "구멍(0.89)"으로 태그 하고, 특징(642)를 "사각 너트(0.84)"로 태그 하고, 특징(644)를 "볼트 헤드(0.77)"로 태그 하고, 특징(646)을 "파손(0.83)"로 태그 하고, 및 특징(648)을 '불연속성(0.87) '으로 태그 한다. 각 라벨은 각 특징(154)의 분류(예를 들어, 도 1의 분류(155)) 및 각 분류가 각 특징을 정확하게 식별할 확률을 포함한다. 예를 들면, "볼트 헤드(0.77)"로 태그 되는 특징(636)은 "볼트 헤드"의 분류와 "볼트 헤드"가 특징(636)을 정확하게 식별하는 0.77(예를 들어, 77 %)의 확률을 나타낸다. 또 다른 예로, "구멍(0.89)"으로 태그 되는 특징(638)은 "구멍"의 분류와 "구멍"이 특징(638)을 정확하게 식별할 확률 0.89(예를 들어, 89 %)를 나타낸다. 또 다른 예로, "파손(0.83)"으로 태그 되는 특징(646)은 "파손"의 분류와 "파손"이 특징(646)을 정확하게 식별하는 0.83(예를 들어, 83 %)의 확률을 나타낸다. 또 다른 예로서, "불연속성(0.87)"으로 태그 되는 특징(648)은 "불연속성"의 분류와 "불연속성"이 특징(648)을 정확하게 식별하는 0.87(예를 들어, 87 %)의 확률을 나타낸다.

분류 및/또는 확률은 하나 이상의 기계 학습 네트워크(예를 들어, CNN) 및/또는 알고리즘을 사용하여 분류 엔진에 의해 판정될 수 있다. 예시된 실시 예에서, 각각의 경계 박스(bounding box)의 위치는 다른 특징(154) 및 레일 조인트 바(632)에 대한 각 특징(154)의 위치를 나타낸다. 각 경계 박스는 임의의 적절한 사각형 모양(즉, 정사각형, 직사각형 등) 일 수 있다. 물체 검출 모델은 검출된 분류의 경계 박스 및 라벨(162)을 출력하기 위해 사용될 수 있다. 도 6의 예시된 실시 예는 경계 박스를 갖는 특징(154)을 나타내지 만, 특징(154)은 임의의 적절한 형상 및/또는 문자로 표현될 수 있다.

방법(600)은 결함을 추가로 분류하기 위해 사용될 수 있다. 도 6에서는 결함이 "파손"으로 도시되어 있다. 하나 이상의 기계 학습 알고리즘(예를 들어, 도 1의 CNN(166))은 사각형 너트, 볼트 헤드, 파손, 홀, 불연속성 및 바의 예시된 분류를 인식하도록 훈련될 수 있다. 하나 이상의 CNN이 정사각형 너트와 볼트 헤드를 시각적으로 구분하도록 훈련되었지만 두 분류의 시각적 표현은 볼트 존재의 물리적 표현과 동일하다. 결함 검출기 엔진(예를 들어, 도 1의 결함 검출기 엔진(134))은 하나 이상의 알고리즘을 사용하여 사각 너트 및 볼트 헤드 분류를 단일 볼트 분류로 논리적으로 줄일 수 있다. 결함 검출기 엔진은 검출된 객체 각각의 상대 위치(예를 들어, 도 1의 위치(158))를 확인하기 위해 하나 이상의 알고리즘을 사용할 수 있다(즉, 볼트, 파손, 구멍 및 불연속성).

결함 검출기 엔진은 하나 이상의 알고리즘을 사용하여 조인트 바에서 검출된 파손이 상대 위치를 사용하여 중앙 파손 또는 1/4 파손 결함인지 여부를 판정할 수 있다. 예시된 실시 예에서, 파손에 대해 감지된 경계 상자는 두 개의 중간 볼트 사이에 위치한다(예를 들어, "볼트 헤드(0.77)" 및 "사각 너트(0.84)"). 결함 검출기 엔진은 두 개의 중간 볼트 사이의 파손 위치로 인해 파손이 중앙 파손 조인트 바 결함이라고 판단할 수 있으며, 이는 파손이 불연속성에 매우 근접함을 나타낸다. 대안적인 실시 예에서, 파손은 두 개의 중간 볼트의 외부에 위치할 수 있으며, 결함 검출기 엔진은 두 개의 중간 볼트 외부의 파손 위치로 인해 파손이 1/4 파손된 조인트 바라고 판단할 수 있다.

도 6에 도시된 방법(600)에 대한 수정, 추가 또는 생략이 이루어질 수 있다. 방법(600)은 더 많거나, 더 적거나, 다른 단계를 포함할 수 있다. 예를 들어 위에서 설명한 것처럼, 방법(600)은 물리 객체의 다른 특징(예를 들어, 볼트, 구멍 및 불연속성)과 관련된 결함의 위치에 기초하여 물리 객체(예를 들어, 레일 조인트 바)의 결함(예를 들어, 파손)을보다 구체적인 결함(예를 들어, 중앙 파손 조인트 바 또는 1/4 파손 조인트 바)으로 분류하는 단계를 더 포함할 수 있다. 단계는 병렬로 또는 임의의 적절한 순서로 수행될 수 있다. 방법(600)의 단계를 완료하는 특정 구성 요소로서 논의되는 동안, 임의의 적절한 구성 요소는 방법(600)의 임의의 단계를 수행할 수 있다.

도 7은 본 명세서에 설명된 시스템 및 방법에 의해 사용될 수 있는 예시적인 컴퓨터 시스템을 도시한다. 예를 들면, 도 1의 네트워크(110), 결함 검출기 모듈(120) 및 이미지 캡처링 시스템(170)은 하나 이상의 인터페이스(들)(710), 처리 회로(processing circuitry)(720), 메모리(들)(730), 및/또는 다른 적절한 요소(들)를 포함할 수 있다. 인터페이스(710)(예를 들어, 도 1의 인터페이스(122))는 입력을 수신하고, 출력을 전송하고, 입력 및/또는 출력을 처리하고, 및/또는 다른 적절한 동작을 수행한다. 인터페이스(710)는 하드웨어 및/또는 소프트웨어를 포함할 수 있다.

처리 회로(720)(예를 들어, 도 1의 프로세서(126))는 구성 요소의 동작을 수행하거나 관리한다. 처리 회로(720)는 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 처리 회로의 예에는 하나 이상의 컴퓨터, 하나 이상의 마이크로 프로세서, 하나 이상의 애플리케이션 등이 포함된다. 특정 실시 예에서, 처리 회로(720)는 입력으로부터 출력을 생성하는 것과 같은 동작(예를 들어, 동작)을 수행하기 위해 로직(예를 들어, 명령)을 실행한다. 처리 회로(720)에 의해 실행되는 로직은 하나 이상의 유형의 비 일시적 컴퓨터 판독 가능 매체(예를 들어, 메모리(730))로 인코딩 될 수 있다. 예를 들어, 로직은 컴퓨터 프로그램, 소프트웨어, 컴퓨터 실행 가능 명령어, 및/또는 컴퓨터에 의해 실행될 수 있는 명령어를 포함할 수 있다. 특정 실시 예에서, 실시 예의 동작은 컴퓨터 프로그램을 저장, 구현 및/또는 인코딩하고 /하거나 저장된 및/또는 인코딩 된 컴퓨터 프로그램을 갖는 하나 이상의 컴퓨터 판독 가능 매체에 의해 수행될 수 있다.

메모리(730)(또는 메모리 유닛)는 정보를 저장한다. 메모리(730)(예를 들어, 도 1의 메모리(124))는 하나 이상의 비 일시적, 유형, 컴퓨터 판독 가능 및/또는 컴퓨터 실행 가능 저장 매체를 포함할 수 있다. 메모리(730)의 예는 컴퓨터 메모리(예를 들어, RAM 또는 ROM), 대용량 저장 매체(예를 들어, 하드 디스크), 이동식 저장 매체(예를 들어, 컴팩트 디스크(CD) 또는 디지털 비디오 디스크(DVD)), 데이터베이스 및/또는 네트워크 스토리지(예를 들어, 서버) 및/또는 기타 컴퓨터 판독 가능 매체를 포함한다.

여기에서, 컴퓨터 판독 가능 비 일시적 저장 매체 또는 매체는 하나 이상의 반도체 기반 또는 기타 집적 회로(IC)(예를 들어, FPGA(Field Programmable Gate Array) 또는 ASIC(application-specific IC)), 하드 디스크 드라이브(HDD), 하이브리드 하드 드라이브(HHD), 광 디스크, 광학 디스크 드라이브(ODD), 광 자기 디스크, 광 자기 드라이브, 플로피 디스켓, 플로피 디스크 드라이브(FDD), 자기 테이프, 솔리드 스테이트 드라이브(SSD), RAM 드라이브, 안전한 디지털 카드 또는 드라이브, 컴퓨터에서 읽을 수 있는 기타 적절한 비 일시적 저장 매체, 또는 적절한 경우 이들 중 둘 이상의 적절한 조합을 포함할 수 있다. 컴퓨터 판독 가능 비 일시적 저장 매체는 적절한 경우 휘발성, 비 휘발성 또는 휘발성 및 비 휘발성의 조합일 수 있다.

여기에서 "또는"은 명시적으로 표시되지 않는 한 포괄적이며 배타적이지 않다. 그렇지 않으면 문맥에 따라 다르게 표시된다. 따라서, 여기에서 "A 또는 B"는 달리 명시적으로 표시되거나 문맥에 의해 달리 표시되지 않는 한 "A, B 또는 둘 다"를 의미한다. 더욱이, "및"은 달리 명시적으로 표시되거나 문맥에 의해 달리 표시되지 않는 한 공동 및 여러 가지이다. 따라서, 본원에서 "A 및 B"는 달리 명시적으로 표시되거나 문맥에 의해 달리 표시되지 않는 한 "A 및 B, 공동으로 또는 개별적으로"를 의미한다.

본 개시의 범위는 당업자가 이해할 수 있는 본 명세서에 설명되거나 예시된 예시적인 실시 예에 대한 모든 변경, 대체, 변형, 변경 및 수정을 포함한다. 본 개시의 범위는 여기에서 설명되거나 예시된 예시적인 실시 예들로 제한되지 않는다. 더욱이, 본 개시는 특정 구성 요소, 요소, 특징, 기능, 동작 또는 단계를 포함하는 것으로 여기에서 각각의 실시 예를 설명하고 예시하지만, 이들 실시 예 중 임의의 것은 당업자가 이해할 수 있는 본 명세서의 어느 곳에서나 설명되거나 예시된 임의의 구성 요소, 요소, 특징, 기능, 동작 또는 단계의 임의의 조합 또는 순열을 포함할 수 있다. 또한, 특정 기능을 수행하도록 적합하게 구성되고 배치되어 작동하거나 작동 가능하다 장치 또는 시스템 또는 그 구성 요소에 대한 첨부된 특허 청구 범위의 언급은 그 장치, 시스템 또는 구성 요소가 충족되고 구성되어 배치되고, 작동 또는 작동 가능하다 이왕이면 또는 특정 기능이 활성화되어 온 되거나 해제되는 여부에 관계없이 그 장치 시스템 또는 구성 요소를 포함하고 있다. 추가로, 본 개시는 특정 이점을 제공하는 것으로 특정 실시 예를 설명하거나 예시하지만, 특정 실시 예는 이러한 이점을 제공하지 않거나, 일부 또는 모두 제공할 수 있다.

Claims

방법에 있어서,
결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계;
상기 결함 검출기 모듈에 의해, 상기 물리 객체의 상기 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계;
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 제1 분류를 분석하는 단계;
상기 결함 검출기 모듈에 의해, 상기 물리 객체가 상기 하나 이상의 제1 분류를 분석하는 단계에 기초하여 결함을 포함한다는 것을 판정하는 단계;
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제2 특징을 상기 물리 객체의 이미지로부터 하나 이상의 제2 분류로 분류하는 단계; 및
상기 결함 검출기 모듈에 의해,
잘린 이미지를 생성하기 위해 상기 하나 이상의 제2 특징을 둘러싸는 영역으로 이미지를 자르는 단계를 포함하고;
상기 물리 객체의 이미지로부터 상기 하나 이상의 제1 특징을 상기 하나 이상의 제1 분류로 분류하는 단계는 상기 물리 객체의 잘린 이미지로부터 상기 하나 이상의 제1 특징을 상기 하나 이상의 제1 분류로 분류하는 단계를 포함하는
방법.
제1항에 있어서,
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치를 판정하는 단계; 상기 결함 검출기 모듈에 의해, 상기 이미지 내의 결함의 위치가 물리 객체의 일부인지를 결정하는 단계;
상기 결함 검출기 모듈에 의해, 이미지 내의 상기 결함의 위치에 적어도 부분적으로 기초하여 물리 객체의 일부인지 판정하는 단계: 및
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치에 적어도 부분적으로 기초하여 상기 물리 객체의 결함의 지리적 위치를 판정하는 단계
를 더 포함하는
방법.
제1항에 있어서,
상기 결함 검출기 모듈에 의해, 상기 이미지의 하나 이상의 제1 특징을 하나 이상의 라벨로 라벨링 하는 단계
를 더 포함하는
방법.
제1항에 있어서,
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 제1 특징을 나타내는 샘플 데이터를 수집함으로써 상기 이미지로부터 상기 하나 이상의 제1 특징을 분류하기 위해 상기 하나 이상의 기계 학습 알고리즘을 훈련하는 단계를 더 포함하는
방법.
제1항에 있어서,
상기 물리 객체는 레일 조인트이고;
상기 결함은 파손된 레일 조인트이고; 및
상기 하나 이상의 제1 분류는:
볼트; 파손; 구멍; 및 불연속성 중 하나 이상을 포함하는
방법.
제1항에 있어서,
상기 하나 이상의 제2 분류는: 바, 불연속성 및 단주 중 적어도 하나를 포함하는
방법.
제1항에 있어서,
상기 물리 객체의 이미지는 상기 물리 객체에 대해 상대적으로 움직이는 구성 요소에 의해 캡처 되는
방법.
하나 이상의 프로세서 및, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 동작을 수행하도록 하는 명령을 저장하는 메모리를 포함하는 시스템에 있어서,
상기 동작은:
결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계;
상기 결함 검출기 모듈에 의해, 상기 물리 객체의 상기 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계;
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 제1 분류를 분석하는 단계;
상기 결함 검출기 모듈에 의해, 상기 물리 객체가 상기 하나 이상의 제1 분류를 분석하는 단계에 기초하여 결함을 포함하는 것을 판정하는 단계;
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제2 특징을 상기 물리 객체의 이미지로부터 하나 이상의 제2 분류로 분류하는 단계 - 상기 하나 이상의 제2 분류는: 바, 불연속성, 및 단주 중 적어도 하나를 포함함 - 를 포함하고; 및 상기 결함 검출기 모듈에 의해, 잘린 이미지를 생성하기 위해 상기 하나 이상의 제2 특징을 둘러싸는 영역으로 이미지를 자르는 단계를 포함하고;
상기 물리 객체의 이미지로부터 하나 이상의 제1 특징을 상기 하나 이상의 제1 분류로 분류하는 단계는 상기 물리 객체의 잘린 이미지로부터 상기 하나 이상의 제1 특징을 상기 하나 이상의 제1 분류로 분류하는 단계를 포함하는
시스템.
제8항에 있어서,
상기 동작은:
상기 결함 검출기 모듈에 의해, 상기 이미지의 결함의 위치를 판정하는 단계:
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 결함의 위치가 상기 물리 객체의 부분이라는 것을 판정하는 단계; 및
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치에 적어도 부분적으로 기초하여 상기 물리 객체의 결함의 지리적 위치를 결정하는 단계
를 더 포함하는
시스템.
제8항에 있어서,
상기 동작은:
상기 결함 검출기 모듈에 의해, 상기 이미지의 상기 하나 이상의 제1 특징을 하나 이상의 라벨로 라벨링 하는 단계
를 더 포함하는
시스템.
제8항에 있어서,
상기 결함 검출기 모듈에 의해, 상기 동작은 상기 하나 이상의 제1 특징을 나타내는 샘플 데이터를 수집함으로써 이미지로부터 상기 하나 이상의 제1 특징을 분류하기 위해 상기 하나 이상의 기계 학습 알고리즘을 훈련하는 단계를 더 포함하는
시스템.
제8항에 있어서,
상기 물리 객체는 레일 조인트이고;
상기 결함은 파손된 레일 조인트이고; 및
상기 하나 이상의 제1 분류는:
볼트; 파손; 구멍; 및 불연속성 중 하나 이상을 포함하는
시스템.
제8항에 있어서,
상기 하나 이상의 제2 분류는: 바, 불연속성 및 단주 중 적어도 하나를 포함하는
시스템.
제8항에 있어서,
상기 물리 객체의 이미지는 상기 물리 객체에 대해 상대적으로 움직이는 구성 요소에 의해 캡처 되는
시스템.
프로세서에 의해 실행될 때, 프로세서로 하여금, 동작을 수행하도록 하는 명령을 내장하는 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서,
상기 동작은:
결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계;
상기 결함 검출기 모듈에 의해, 상기 물리 객체의 상기 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계;
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 제1 분류를 분석하는 단계;
상기 결함 검출기 모듈에 의해, 상기 물리 객체가 상기 하나 이상의 제1 분류를 분석하는 단계에 기초하여 결함을 포함하는 것을 판정하는 단계;
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제2 특징을 상기 물리 객체의 이미지로부터 하나 이상의 제2 분류로 분류하는 단계 - 상기 하나 이상의 제2 분류는: 바, 불연속성, 및 단주 중 적어도 하나를 포함함 - 를 포함하고; 및 상기 결함 검출기 모듈에 의해, 잘린 이미지를 생성하기 위해 상기 하나 이상의 제2 특징을 둘러싸는 영역으로 이미지를 자르는 단계를 포함하고;
상기 물리 객체의 이미지로부터 하나 이상의 제1 특징을 상기 하나 이상의 제1 분류로 분류하는 단계는 상기 물리 객체의 잘린 이미지로부터 상기 하나 이상의 제1 특징을 상기 하나 이상의 제1 분류로 분류하는 단계를 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.
제15항에 있어서,
상기 동작은:
상기 결함 검출기 모듈에 의해, 상기 이미지의 결함의 위치를 판정하는 단계:
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 결함의 위치가 상기 물리 객체의 부분이라는 것을 판정하는 단계; 및
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치에 적어도 부분적으로 기초하여 상기 물리 객체의 결함의 지리적 위치를 판정하는 단계
를 더 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.
제15항에 있어서,
상기 동작은:
상기 결함 검출기 모듈에 의해, 상기 이미지의 하나 이상의 제1 특징을 하나 이상의 라벨로 라벨링 하는 단계를 더 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.
제15항에 있어서,
상기 동작은 상기 하나 이상의 제1 특징을 나타내는 샘플 데이터를 수집함으로써 상기 이미지로부터 상기 하나 이상의 제1 특징을 분류하기 위해 상기 하나 이상의 기계 학습 알고리즘을 훈련하는 단계를 더 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.
제15항에 있어서,
상기 물리 객체는 레일 조인트이고;
상기 결함은 파손된 레일 조인트이고; 및
상기 하나 이상의 제1 분류는:
볼트; 파손; 구멍; 및 불연속성 중 하나 이상을 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.
제15항에 있어서,
상기 하나 이상의 제2 분류는 바, 불연속성, 및 단주 중 적어도 하나를 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.
방법에 있어서,
결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계;
상기 결함 검출기 모듈에 의해, 상기 물리 객체의 상기 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계;
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 제1 분류를 분석하는 단계;
상기 결함 검출기 모듈에 의해, 상기 물리 객체가 상기 하나 이상의 제1 분류를 분석하는 단계에 기초하여 결함을 포함한다는 것을 판정하는 단계;
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치를 판정하는 단계;
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치가 상기 물리 객체의 일부임을 판정하는 단계; 및
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치에 적어도 부분적으로 기초하여 상기 물리 객체의 상기 결함의 지리적 위치를 판정하는 단계
를 포함하는
방법.
제21항에 있어서,
상기 물리 객체의 결함의 지리적 위치를 결정하는 단계는 상기 이미지와 연관된 위도 및 경도를 결정하는 단계를 포함하는
방법.
제21항에 있어서,
상기 결함 검출기 모듈에 의해, 상기 이미지의 상기 하나 이상의 제1 특징을 하나 이상의 라벨로 라벨링 하는 단계를 더 포함하는
방법.
제21항에 있어서,
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 제1 특징을 나타내는 샘플 데이터를 수집함으로써 상기 이미지로부터 상기 하나 이상의 제1 특징을 분류하기 위해 상기 하나 이상의 기계 학습 알고리즘을 훈련하는 단계를 더 포함하는
방법.
제21항에 있어서,
상기 물리 객체는 레일 조인트이고; 상기 결함은 파손된 레일 조인트이고; 및
상기 하나 이상의 제1 분류는:
볼트; 파손; 구멍; 및 불연속성 중 하나 이상을 포함하는
방법.
제21항에 있어서,
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 기계 학습 알고리즘을 사용하여 상기 물리 객체의 상기 이미지로부터 하나 이상의 제2 특징을 하나 이상의 제2 분류로 분류하는 단계 - 상기 하나 이상의 제2 분류는 바, 불연속성 및 단주 중 적어도 하나를 포함함 -; 및
상기 결함 검출기 모듈에 의해, 잘린 이미지를 생성하기 위해 상기 이미지를 상기 하나 이상의 제2 특징을 둘러싸는 영역으로 잘라내는 단계 - 상기 물리 객체의 상기 이미지로부터 상기 하나 이상의 제1 특징을 하나 이상의 제1 분류로 분류하는 단계는 상기 물리 객체의 상기 잘린 이미지로부터 상기 하나 이상의 제1 특징을 하나 이상의 제1 분류로 분류하는 단계를 포함함 -
를 더 포함하는
방법.
제21항에 있어서,
상기 물리 객체의 상기 이미지는 상기 물리 객체에 대해 움직이는 구성 요소에 의해 캡처 되는
방법.
하나 이상의 프로세서 및, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 동작을 수행하도록 하는 명령을 저장하는 메모리를 포함하는 시스템에 있어서,
상기 동작은:
결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계;
상기 결함 검출기 모듈에 의해, 상기 물리 객체의 상기 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계;
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 제1 분류를 분석하는 단계;
상기 결함 검출기 모듈에 의해, 상기 물리 객체가 상기 하나 이상의 제1 분류를 분석하는 단계에 기초하여 결함을 포함하는 것을 판정하는 단계;
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치를 판정하는 단계;
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치가 상기 물리 객체의 일부임을 판정하는 단계; 및
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치에 적어도 부분적으로 기초하여 상기 물리 객체의 상기 결함의 지리적 위치를 판정하는 단계
를 포함하는
시스템.
제28항에 있어서,
상기 물리 객체의 결함의 지리적 위치를 결정하는 단계는 상기 이미지와 연관된 위도 및 경도를 결정하는 단계를 포함하는
시스템.
제28항에 있어서,
상기 동작은:
상기 결함 검출기 모듈에 의해, 상기 이미지의 상기 하나 이상의 제1 특징을 하나 이상의 라벨로 라벨링 하는 단계를 더 포함하는
시스템.
제28항에 있어서,
상기 동작은:
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 제1 특징을 나타내는 샘플 데이터를 수집함으로써 상기 이미지로부터 상기 하나 이상의 제1 특징을 분류하기 위해 상기 하나 이상의 기계 학습 알고리즘을 훈련하는 단계
를 더 포함하는
시스템.
제28항에 있어서,
상기 물리 객체는 레일 조인트이고; 상기 결함은 파손된 레일 조인트이고; 및
상기 하나 이상의 제1 분류는:
볼트; 파손; 구멍; 및 불연속성 중 하나 이상을 포함하는
시스템.
제28항에 있어서,
상기 동작은:
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 기계 학습 알고리즘을 사용하여 상기 물리 객체의 상기 이미지로부터 하나 이상의 제2 특징을 하나 이상의 제2 분류로 분류하는 단계 - 상기 하나 이상의 제2 분류는 바, 불연속성 및 단주 중 적어도 하나를 포함함 -; 및
상기 결함 검출기 모듈에 의해, 잘린 이미지를 생성하기 위해 상기 이미지를 상기 하나 이상의 제2 특징을 둘러싸는 영역으로 잘라내는 단계 - 상기 물리 객체의 상기 이미지로부터 상기 하나 이상의 제1 특징을 하나 이상의 제1 분류로 분류하는 단계는 상기 물리 객체의 상기 잘린 이미지로부터 상기 하나 이상의 제1 특징을 하나 이상의 제1 분류로 분류하는 단계를 포함함 -
를 더 포함하는
시스템.
제28항에 있어서,
상기 물리 객체의 상기 이미지는 상기 물리 객체에 대해 움직이는 구성 요소에 의해 캡처 되는
시스템.
프로세서에 의해 실행될 때, 프로세서로 하여금, 동작을 수행하도록 하는 명령을 내장하는 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서,
상기 동작은:
결함 검출기 모듈에 의해, 물리 객체의 이미지를 수신하는 단계;
상기 결함 검출기 모듈에 의해, 상기 물리 객체의 상기 이미지로부터 하나 이상의 제1 특징을 하나 이상의 기계 학습 알고리즘을 사용하여 하나 이상의 제1 분류로 분류하는 단계;
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 제1 분류를 분석하는 단계; 상기 결함 검출기 모듈에 의해, 상기 물리 객체가 상기 하나 이상의 제1 분류를 분석하는 단계에 기초하여 결함을 포함하는 것을 판정하는 단계;
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치를 판정하는 단계;
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치가 상기 물리 객체의 일부임을 판정하는 단계; 및
상기 결함 검출기 모듈에 의해, 상기 이미지 내의 상기 결함의 위치에 적어도 부분적으로 기초하여 상기 물리 객체의 상기 결함의 지리적 위치를 판정하는 단계
를 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.
제35항에 있어서,
상기 물리 객체의 결함의 지리적 위치를 결정하는 단계는 상기 이미지와 연관된 위도 및 경도를 결정하는 단계를 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.
제35항에 있어서,
상기 동작은:
상기 결함 검출기 모듈에 의해, 상기 이미지의 상기 하나 이상의 제1 특징을 하나 이상의 라벨로 라벨링 하는 단계
를 더 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.
제35항에 있어서,
상기 동작은:
상기 하나 이상의 제1 특징을 나타내는 샘플 데이터를 수집함으로써 상기 이미지로부터 상기 하나 이상의 제1 특징을 분류하기 위해 상기 하나 이상의 기계 학습 알고리즘을 훈련하는 단계
를 더 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.
제35항에 있어서,
상기 물리 객체는 레일 조인트이고; 상기 결함은 파손된 레일 조인트이고; 및
상기 하나 이상의 제1 분류는:
볼트; 파손; 구멍; 및 불연속성 중 하나 이상을 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.
제35항에 있어서,
상기 동작은:
상기 결함 검출기 모듈에 의해, 상기 하나 이상의 기계 학습 알고리즘을 사용하여 상기 물리 객체의 상기 이미지로부터 하나 이상의 제2 특징을 하나 이상의 제2 분류로 분류하는 단계 - 상기 하나 이상의 제2 분류는 바, 불연속성 및 단주 중 적어도 하나를 포함함 -; 및
상기 결함 검출기 모듈에 의해, 잘린 이미지를 생성하기 위해 상기 이미지를 상기 하나 이상의 제2 특징을 둘러싸는 영역으로 잘라내는 단계 - 상기 물리 객체의 상기 이미지로부터 상기 하나 이상의 제1 특징을 하나 이상의 제1 분류로 분류하는 단계는 상기 물리 객체의 상기 잘린 이미지로부터 상기 하나 이상의 제1 특징을 하나 이상의 제1 분류로 분류하는 단계를 포함함 -
를 더 포함하는
하나 이상의 컴퓨터 판독 가능 저장 매체.