KR20190013843A - 비디오 콘텐츠 분석 시스템 및 운송 시스템을 위한 방법 - Google Patents

비디오 콘텐츠 분석 시스템 및 운송 시스템을 위한 방법 Download PDF

Info

Publication number
KR20190013843A
KR20190013843A KR1020187036626A KR20187036626A KR20190013843A KR 20190013843 A KR20190013843 A KR 20190013843A KR 1020187036626 A KR1020187036626 A KR 1020187036626A KR 20187036626 A KR20187036626 A KR 20187036626A KR 20190013843 A KR20190013843 A KR 20190013843A
Authority
KR
South Korea
Prior art keywords
data
component
information
remote
mobile asset
Prior art date
Application number
KR1020187036626A
Other languages
English (en)
Other versions
KR102437322B1 (ko
Inventor
로렌스 비. 조던
사반쿠마 브이. 파텔
제프리 에이. ?러
자가디스워런 라디나벨
로저 마트리네츠
Original Assignee
와이-트로닉스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/595,689 external-priority patent/US10410441B2/en
Priority claimed from US15/595,650 external-priority patent/US9934623B2/en
Application filed by 와이-트로닉스, 엘엘씨 filed Critical 와이-트로닉스, 엘엘씨
Publication of KR20190013843A publication Critical patent/KR20190013843A/ko
Application granted granted Critical
Publication of KR102437322B1 publication Critical patent/KR102437322B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0018—Communication with or on the vehicle or train
    • B61L15/0027—Radio-based, e.g. using GSM-R
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072—On-board train data handling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0081—On-board diagnosis or maintenance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0094—Recorders on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/042—Track changes detection
    • B61L23/047—Track or rail movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/40—Handling position reports or trackside vehicle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/50—Trackside diagnosis or maintenance, e.g. software upgrades
    • B61L27/57—Trackside diagnosis or maintenance, e.g. software upgrades for vehicles or trains, e.g. trackside supervision of train conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Traffic Control Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

본 발명은, 트랙 감지 및 인프라 모니터링 구성요소를 포함하는, 모바일 자산용 비디오 컨텐츠 분석 시스템에 관한 것이다. 트랙 감지 및 인프라 모니터링은, 자산과 관련된 내부 및/또는 외부 상태를 판단하기 위한 경로/목록 데이터를 분석하기 위한, 강화 학습 구성요소, 물체 감지 및 위치 구성요소, 및 비디오 데이터, 오디오 데이터, 차량 데이터, 기상 데이터, 및 장애물 감지 구성요소를 포함한다. 데이터 획득 및 기록 시스템은, 데이터, 내부 및/또는 외부 상태 정보, 물체 감지 정보, 물체 위치 정보, 및 장애물 감지 정보를 원격지 메모리 모듈에 업로드하고, 스트리밍 비디오 데이터를 원격지에 위치한 사용자에 실시간으로 제공한다. 원격지에 위치한 사용자는, 보다 신속한 비상 대응을 제공하는 웹 브라우저 또는 가상 현실 장치를 통해 다양한 뷰 모드로 데이터를 볼 수 있으며, 수리 및 경로 변경의 효과를 검사하고 승무원의 수행과 안전을 모니터링할 수 있다.

Description

비디오 콘텐츠 분석 시스템 및 운송 시스템을 위한 방법
본 출원은 2016년 5월 16일에 출원된 미국 가출원 번호 62/337,225의 우선권, 2016년 5월 16일에 출원된 미국 가출원 번호 62/337,227의 우선권, 2016년 5월 16일에 출원된 미국 가출원 번호 62/337,228의 우선권을 주장하고, 2017년 5월 15일에 출원된 미국 비-가출원 번호 15/595,650의 일부 계속 출원, 2017년 5월 15일에 출원된 미국 비-가출원 번호 15/595,689의 일부 계속 출원이며, 법에 의해 허용되는 한도 내에서 그 내용은 전체적으로 본원에 참고로 포함된다.
본 발명은 고가의 자산에 사용되는 장비에 관한 것이며, 특히, 고가의 자산에 사용되는 실시간 데이터 획득 및 기록 시스템에 관한 것이다.
기관차, 항공기, 대중 교통 시스템, 광산 장비, 운반 가능한 의료 장비,화물, 선박, 및 군함과 같은 고 가치 모바일 자산은 일반적으로 탑재형 데이터 획득 및 기록용 "블랙 박스" 시스템 및/또는 "이벤트 기록" 시스템을 사용한다. 이벤트 데이터 기록장치 또는 비행 데이터 기록장치와 같은, 이러한 데이터 획득 및 기록 시스템은 사고 조사, 승무원 수행 평가, 연비 분석, 유지 관리 계획, 및 예측 진단에 사용되는 다양한 시스템 파라메터들을 기록한다. 다양한 탑재형 센서 장치의 데이터를 기록하는, 일반적인 데이터 수집 및 기록 시스템은 디지털 및 아날로그 입력 뿐만 아니라 압력 스위치 및 압력 변환기로 구성된다. 기록된 데이터는 속도, 이동 거리, 위치, 연료 수준, 분당 엔진 회전수(RPM), 유체 수위, 작업자 컨트롤, 압력, 및 주변 조건과 같은 파라메터를 포함할 수 있다. 기본 이벤트 및 운영 데이터 외에도, 비디오 및 오디오 이벤트/데이터 레코딩 기능 또한 이러한 동일한 모바일 자산 중 다수에 배치된다. 일반적으로, 자산에서 사고가 발생한 이후에 조사가 필요할 경우, 일단 데이터 기록장치가 복구되면 데이터가 데이터 기록장치에서 추출된다. 데이터 기록장치를 복구할 수 없거나 데이터를 사용할 수 없는 경우의 특정 상황이 발생할 수 있다. 이러한 상황에서, 데이터 수집 및 기록 시스템에 의해 획득된 이벤트 및 운영 데이터, 비디오 데이터 및 오디오 데이터와 같은 데이터가 데이터 수집 및 기록 시스템이나 데이터에 대한 물리적 액세스가 불가능한지 여부와 관계없이 신속히 필요하다.
본 개시는 일반적으로 고부가 자산에 사용되는 실시간 데이터 수집 및 기록 시스템에 관한 것이다. 본원의 교시는 실시간으로, 또는 준실시간(near real-time)으로 고 부가 가치 모바일 자산에 관련된 비디오 데이터 및 비디오 컨텐츠 분석에 대한 액세스를 제공할 수 있다. 본원에 서술된 모바일 자산으로부터 데이터를 처리하기 위한 방법의 일 구현은, 모바일 자산에 탑재된 적어도 하나의 데이터 소스로부터의 데이터 신호와 모바일 자산으로부터 원격지에 있는 적어도 하나의 데이터 소스로부터의 데이터 신호 중 적어도 하나의 데이터 신호에 기초한 데이터를 모바일 자산에 탑재된 비디오 분석 구성요소를 사용하여 수신하는 것을 포함하고, 비디오 분석 구성요소의 강화된 학습 구성요소를 사용하여 데이터가 처리된 데이터가 되도록 데이터를 처리하는 단계; 비디오 분석 구성요소를 사용하여 적어도 하나의 데이터 및 처리된 데이터를 모바일 자산에 탑재된 데이터 기록장치에 송신하는 단계; 데이터 기록장치의 데이터 인코더를 사용하여 처리된 데이터에 기초한 비트 스트림을 포함하는 기록을 인코딩하는 단계; 및 데이터 기록장치의 탑재형 데이터 관리자를 사용하여 적어도 하나의 데이터를 저장하는 단계를 포함하며, 처리된 데이터 및 기록은 변경 가능한 미리 정해진 제1 속도로 데이터 기록장치의 적어도 하나의 로컬 메모리 구성요소에 기록된다.
본원에 기재된 비디오 컨텐츠를 분석하기 위한 시스템의 일 구현은 적어도 하나의 360도 카메라, 적어도 하나의 고정 카메라, 적어도 하나의 마이크로폰 중 적어도 하나와 모바일 자산에 탑재된 비디오 분석 구성요소를 포함한다. 비디오 분석 구성요소는 강화 학습 구성요소, 물체 감지 및 위치 구성요소, 및 장애물 감지 구성요소를 포함하고, 비디오 분석 구성요소는 적어도 하나의 360도 카메라, 적어도 하나의 고정 카메라, 및 적어도 하나의 마이크로폰 중 적어도 하나로부터의 적어도 하나의 데이터 신호에 기초하여 데이터를 수신하도록 구성되며, 강화 학습 구성요소는 데이터를 처리하여 처리된 데이터가 되도록 구성되고, 물체 감지 및 위치 구성요소는 처리된 데이터에 기초하여 제1 물체의 물체 감지 데이터 및 물체 위치 데이터를 판단하도록 구성되며, 장애물 감지 구성요소는 처리된 데이터, 물체 감지 정보, 및 물체 위치 정보 중 적어도 하나에 기초하여 장애물 감지 정보를 판단하도록 구성된다.
본원에 개시된 다양한 변형 및 다른 측면들이 이하에 더 자세하게 서술될 것이다.
본원의 서술은 여러 도면에 걸쳐 동일한 도면 번호가 동일한 부분을 나타내는 첨부된 도면을 참조한다.
도 1은, 본원에 개시된 구현에 따른, 예시적인 실시간 데이터 획득 및 기록 시스템의 현장 구현을 도시한다.
도 2a는, 본원에 개시된 구현에 따른, 예시적인 트랙 감지를 나타내는 다이어그램이다.
도 2b는, 본원에 개시된 구현에 따른, 예시적인 트랙 감지 및 스위치 감지를 도시하는 다이어그램이다.
도 2c는, 본원에 개시된 구현에 따른, 예시적인 트랙 감지, 트랙 수, 및 신호 감지를 도시하는 다이어그램이다.
도 3은, 본원에 개시된 구현에 따른, 모바일 자산의 내부 상태를 판단하는 프로세스의 흐름도이다.
도 4는, 본원에 개시된 구현에 따른, 모바일 자산에 대해 외부적으로 발생하는 물체 감지 및 장애물 감지를 판단하기 위한 프로세스의 흐름도이다.
본원에 서술된 실시간 데이터 수집 및 기록 시스템 및 비디오 분석 시스템은 실시간으로, 또는 준실시간으로, 고 가치 자산의 이벤트 및 운영 데이터, 비디오 데이터, 및 오디오 데이터와 같은, 광범위의 데이터에 대한 액세스를 원격지에 위치한 사용자에게 제공한다. 데이터 획득 및 기록 시스템은, 사고가 발생하기 이전, 사고가 발생하는 동안, 및 사고가 발생한 이후에, 자산과 관련된 데이터를 기록하고 데이터를 원격 데이터 저장소 및 원격지에 위치한 사용자에게 스트리밍한다. 데이터는, 실시간으로, 또는 준실시간으로, 원격 데이터 저장소로 스트리밍되어, 적어도 사고나 긴급 사태의 시간까지 정보가 사용 가능하게 되며, 이에 따라, 실시간으로 정보를 원격 데이터 저장소로 스트리밍하고 적어도 치명적인 사건이 발생할 때까지의 정보를 사용할 수 있게 함으로써, 자산과 연관된 사고를 조사하기 위해 "블랙 박스"를 찾아 다운로드할 필요성이 실질적으로 없어진다. DARS는, 예를 들어, 운전실 점유 및 트랙 감지를 판단하기 위해 모바일 자산에 기록된 비디오 데이터의 비디오 분석을 수행한다. 원격지에 위치한 사용자는, 공통 웹 브라우저를 사용하여 선택된 자산과 관련된 원하는 데이터를 찾아보고 볼 수 있고, 자산의 데이터 수집 및 기록 시스템과 상호 작용하여 특정 데이터의 다운로드를 요청하거나 파일을 찾거나 전송하거나 사용자 정의 애플리케이션을 사용하여 데이터를 볼 필요가 없다.
DARS는, 사고가 발생하기 이전, 사고가 발생하는 동안, 및 사고가 발생한 이후의 데이터를 원격 데이터 저장소 및 원격지에 위치한 사용자에게 스트리밍 함으로써, 원격지 사용자에게 비디오 분석 시스템이 수행하는 비디오 데이터 및 비디오 분석에 대한 액세스를 제공하고, 이에 따라, 사용자가, 운전석 점유, 사고가 발생하는 동안, 트랙을 감지하는 동안, 조사 및 임의의 다른 관심 있는 시간에 승무원이나 허가받지 않은 사람이 있었는지 여부를 판단하기 위한 비디오 데이터를 리뷰하기 위해, 비디오를 수동으로 다운로드, 추출, 및 재생할 필요가 없게 된다. 또한, 비디오 분석 시스템은 실시간으로 이미지 및 비디오 데이터를 처리하여 운전석 점유 상태 판단, 트랙 감지, 리드(lead) 및 트레일(trail) 유닛 판단을 제공함으로써 올바른 데이터가 항상 사용자에게 제공되도록 보장한다. 예를 들어, 실시간 이미지 처리는 트레일 기관차로 지정된 기관차가 철도 안전을 향상시키기 위해 리드 서비스에 있지 않음을 보장한다. 종래의 시스템은 디스패치(dispatch) 시스템에서 열차 구성 기능을 사용하여 열차 내에 기관차 위치를 제공했다. 때로는, 정보가 실시간으로 업데이트 되지 않아서 때문에 디스패치 시스템 정보가 쓸모 없게 될 수 있고, 필요한 경우 승무원이 기관차를 변경할 수 있다.
본원에 개시된 시스템 이전에는, 검사 요원 및/또는 자산 담당자는 트랙 상태를 수동으로 검사해야 하였고, 차량이 리드 또는 트레일 위치에 있는지 여부를 수동으로 검사해야 하였으며, 관심있는 각각의 물체의 위치를 수동으로 조사해야 하였고, 관심있는 모든 물체의 지리적 위치 데이터베이스를 수동으로 생성해야 하였으며, 원래의 조사와 상이한 위치를 확인하고 지리적 위치의 변화를 확인하기 위해 관심있는 각각의 물체의 수동 현장 조사를 주기적으로 수행하고, 원본 데이터베이스가 생성된 이후 수리 또는 추가 인프라 개발로 인해 관심있는 물체가 위치를 변경할 때 데이터베이스를 수동으로 업데이트 하며, 디지털 비디오 기록장치 및/또는 데이터 기록장치에서 원하는 데이터를 선택하여 다운로드 하고 다운로드된 데이터 및/또는 비디오를 오프라인으로 검사하고, 트랙에 장애물이 있는지 확인하며, 차량 운영자는 장애물 및/또는 스위치 변경 사항을 물리적으로 확인해야 했다. 본원에 개시된 시스템은 사용자가 이러한 단계들을 수행할 필요성을 제거하여 사용자가 원하는 데이터로 이동하기 위해 공통 웹 브라우저 만을 사용할 것을 요구한다. 자산 소유자 및 운영자는 실시간으로 모바일 자산의 효율성과 안전성을 자동화하고 향상시킬 수 있으며 트랙 상태를 능동적으로 모니터링하고 실시간으로 경고 정보를 얻을 수 있다. 본 발명의 시스템은 자산 소유자 및 운영자가 트랙 상태를 모니터링 하고 사건을 조사하기 위해 데이터 기록장치로부터 데이터를 다운로드할 필요가 없게 한다. 능동적인 안전 시스템으로서, DARS는 운영자가 장애물을 검사하고, 실시간으로 경고를 발송하고 및/또는 정보를 오프라인으로 저장하며, 원격 모니터링 및 저장을 위한 경고 정보를 송신하도록 운영자를 지원할 수 있다. 현재 및 과거 트랙 감지 정보는 필요할 때 사용자가 정보를 볼 수 있도록 실시간으로 원격 데이터 저장소에 저장될 수 있다. 원격지에 위치한 사용자는 공통 웹 브라우저에 액세스하여 선택된 자산과 관련된 원하는 데이터를 탐색하여 실시간 또는 준실시간으로 자산의 운영 효율성 및 안전성을 보고 분석할 수 있다.
본 개시의 시스템은, 물체가, 이동되거나 손상되었을 때, 나뭇잎에 의해 방해를 받을 때, 및/또는 파손 상태가 되어서 수리가 필요할 때, 관심 있는 물체를 연속적으로 모니터하고 실시간으로 식별하는데 사용될 수 있다. DARS는 철도 트랙과 같은 다양한 인프라 물체를 감지하고 식별하기 위한 비디오, 이미지, 및/또는 오디오 정보를 사용하고, 비디오에서, 모바일 자산이 이동함에 따라 트랙을 추적할 수 있으며, 지리적인 위치를 가지고 있는 관심 있는 물체의 데이터베이스를 생성하고 조사하며 주기적으로 업데이트 한다. DARS는, 존재하는 트랙의 수, 현재 모바일 자산이 운용되고 있는 트랙의 식별, 존재하는 임의의 장애물 또는 결함(밸러스트 파손, 파손된 트랙, 간격이 맞지 않는 트랙, 정렬되지 않은 스위치, 스위치 런-오버, 트랙의 침수, 눈 축적)의 감지과 같은 트랙 상태를 자동으로 조사할 수 있고, 어떠한 치명적인 이벤트도 피할 수 있도록 예방 유지 보수를 계획할 수 있다. DARS는 레일 트랙 스위치를 감지하고 트랙 변경 사항을 추적할 수 있다. DARS는 물체가 누락되어 있거나 방해 받고 있거나 및/또는 예상된 위치에 존재하지 않는지 여부를 포함하는 데이터의 위치의 변화를 더 감지할 수 있다. 트랙 탐지, 인프라 진단 정보 및/또는 인프라 모니터링 정보는 웹 브라우저와 같은 표준 웹 클라이언트를 사용하여 사용자에게 표시될 수 있으며, 이에 따라, 종래의 시스템에서 요구되는 바와 같이, 데이터 기록장치에서 파일을 다운로드하고 전용 애플리케이션 소프트웨어 또는 기타 외부 애플리케이션을 사용하여 정보를 볼 필요가 없다. 이러한 프로세스는 관심 있는 물체의 지리적인 위치를 갖는 데이터베이스를 자동으로 생성, 조사, 및/또는 업데이트하는 데에도 확장될 수 있고, 연방 규정(Federal Regulations) 준수를 보장할 수 있다. 본 발명의 시스템에 따르면, 연방 규정을 준수하도록 사전에 설치된 카메라는 사전에 인간 상호 작용, 특수 차량, 및/또는 대체 장비를 필요로하는 다양한 작업을 수행하는 데 사용된다. 모바일 자산이 정상적인 수익 서비스 및 일일 운영의 일부로서 영토 전역을 이동함에 따라, DARS는 이러한 작업들이 자동으로 수행될 수 있게 한다. DARS는, 수작업이 필요한 작업을 사전에 수행하기 위해, 차량의 일반적인 작동 및 사전에 설치된 카메라를 사용하여 수많은 수작업 작업 시간을 절약하는 데에 사용될 수 있다. DARS는, 종종 수익 서비스의 손실을 가져오고 구입 및 유지 보수 비용이 많이 드는 장비인, 트랙 및 관심 있는 물체를 조사하고 위치를 찾기 위해 트랙의 세그먼트의 폐쇄를 방지하는, 이전의 특수 차량을 사용하여 수행한 작업도 수행할 수 있다. DARS는 철도 트랙 근처에서 사람이 있어야 하는 시간을 감소시켜 전반적인 사고와 잠재적인 인명의 손실을 감소시킨다.
데이터에는 모바일 자산 및/또는 근처의 모바일 자산에서 비롯된, 속도, 압력, 온도, 전류, 전압, 및 가속도와 같은 측정된 아날로그 및 주파수 파라메터; 스위치 위치, 액추에이터 위치, 경고등 조명, 및 액추에이터 명령과 같은 측정된 불린(Boolean) 데이터; 글로벌 포지셔닝 시스템(GPS)으로부터의 위치, 속도, 및 고도 정보, 및 다양한 관심 물체의 위도와 경도와 같은, 지리 정보 시스템(GIS)으로부터의 부가적인 데이터; 현재 위치를 고려할 때 모바일 자산에 대한 규제 속도 제한과 같은 내부적으로 생성된 정보; 포지티브 열차 제어(positive train control, PTC)와 같은 시스템에 의해 생성된 열차 작동 상태 및 제어 상태; 속도, 가속도, 및 GPS로부터 수신된 위치와 같은, 차량 및 관성 파라메터; 다양한 관심 물체의 위도와 경도와 같은 GIS 데이터; 모바일 자산의 내부, 모바일 자산 상에, 또는 모바일 자산 근방의 다양한 위치에 위치한 적어도 하나의 카메라로부터의 비디오 및 이미지 정보; 모바일 자산의 내부, 모바일 자산 상에, 또는 모바일 자산 근방의 다양한 위치에 위치한 적어도 하나의 마이크로폰으로부터의 오디오 정보; 데이터 센터에서 모바일 자산으로 전송되는, 모바일 자산의 운영 계획에 대한 정보; 모바일 자산이 현재 운영되고 있거나 운영 예정인 지역의 현재 및 예상 날씨와 같은 환경 조건에 관한 정보; 및 추가 데이터, 비디오 및 오디오 분석, 및 분석을 포함하여 전술한 소스 중 임의의 조합에서 파생된 데이터가 포함될 수 있으나 이에 국한되지는 않는다.
"트랙(track)"은 기관차 및/또는 열차 운송에 사용되는 철도의 레일 및 침목을 포함할 수 있으나 이에 제한되지는 않는다. "관심있는 물체(objects of interest)"는 철도 트랙 근처에 설치되고 유지되는, 자산 카메라 이미지 및 비디오의 강화 학습을 사용하여 식별될 수 있는, 인프라의 다양한 물체를 포함하나 이에 국한되지는 않는다. 강화 학습은 "훈련(training)" 데이터로 정의된 이전에 레이블링된 데이터 세트를 사용하여 모바일 자산 내부에서, 모바일 자산 상에서, 또는 모바일 자산 근처에서 카메라의 시야 내 물체를 원격 및 자동으로 식별할 수 있게 한다. DARS는, 강화 학습에 필요한 훈련 데이터 세트를 분류를 포함하는 그러나 이들에 제한되지 않는, 임의의 구현 단계에서 인간과의 상호 작용을 요구할 수도 있고 요구하지 않을 수도 있다. 관심 물체는 트랙, 트랙 중심선 지점, 주행 표지판, 신호, 교차점, 스위치, 교차점, 및 텍스트 기반 표지 등을 포함하나 이에 제한되지는 않는다. "비디오 분석(video analytics)"은, 관심 있는 물체, 물체의 지리적인 위치, 장애물, 관심 있는 물체와 모바일 자산 사이의 거리, 트랙의 어긋남 등과 같은 그러나 이들에 제한되지는 않는, 모바일 자산 내, 모바일 자산 상, 모바일 자산 근처의 적어도 하나의 카메라에서 기록된 비디오 및/또는 이미지를 분석하여 수집된 임의의 이해 가능한 정보를 의미한다. 비디오 분석 시스템은 비디오 감시 기능을 향상시키기 위해 임의의 모바일 자산, 거주 지역, 빈 공간, 또는 감시 카메라가 있는 공간에서도 사용될 수 있다. 모바일 자산에서, 비디오 분석 시스템은 원격지에 위치한 사용자가 운전석 점유 이벤트를 자동으로 경제적이고 효율적으로 감지하도록 제공한다.
도 1은, 본원에 개시된 양상들이 구현될 수 있는, 예시적인 실시간 데이타 획득 및 기록 시스템(DARS)(100)의 제1 실시예의 현장 구현을 도시한다. DARS(100)는 데이터 센터(166)를 통해 실시간 정보, 비디오 정보, 및 오디오 정보를 모바일 자산(164) 상의 데이터 기록장치(102)로부터 원격지에 위치한 엔드 유저(end user: 168)에게 전달하는 시스템이다. 데이터 기록장치(102)는, 무선 게이트웨이/라우터(도시되지 않음)와 같은 유선 및/또는 무선 데이터 링크(142)의 임의의 조합을 통해, 차량 또는 모바일 자산(164) 상에 설치되며, 임의의 수의 다양한 정보 소스와 통신한다. 데이터 기록장치(102)는 탑재형 데이터 링크(142)를 통하여 비디오 데이터, 오디오 데이터, 및 다른 데이터 또는 정보를, 자산의 구성에 따라 달라질 수 있는, 다양한 소스로부터 수집한다. 데이터 기록장치(102)는 자산(164) 내의 내충격형 메모리 모듈(crash hardened memory module: 104), 탑재형 데이터 관리자(106), 및 데이터 인코더(108)와 같은 로컬 메모리 구성요소를 포함한다. 제2 실시예에서, 데이터 기록장치(102)는 비-내충격형 착탈식 저장 디바이스(도시되지 않음)를 포함할 수도 있다. 예시적인 강화 메모리 모듈(104)은, 예를 들어, 연방 규정 코드(Code of Federal Regulations) 및 연방 철도청 규정(Federal Railroad Administration regulations)을 따르는 내충격형 이벤트 기록장치 메모리 모듈, 연방 규정 코드(Code of Federal Regulations) 및 연방 항공 협회 규정(Federal Aviation Association regulations)을 따르는 충돌에 견딜 수 있는 메모리 유닛, 적용 가능한 연방 규정 코드(Code of Federal Regulations)를 준수하는 내충격형 메모리 모듈, 또는 당 업계에 공지된 임의의 다른 적합한 경화된 메모리 장치일 수 있다. 유선 및/또는 무선 데이터 링크는 개별 신호 입력, 표준 또는 독점 이더넷(Ethernet), 직렬 연결, 및 무선 연결 중 하나 또는 이들의 조합을 포함할 수 있다.
DARS(100)는 트랙 감지 및 인프라 모니터링 구성요소(114)를 포함하는 비디오 분석 시스템(110)을 더 포함한다. 트랙 감지 및 인프라 모니터링 구성요소(114)는 강화 학습 구성요소(124), 또는 다른 신경 네트워크 또는 인공 지능 구성요소, 물체 감지 및 위치 구성요소(126), 및 방해물 감지 구성요소(128)를 포함한다. 이러한 구현에서, 라이브 비디오 데이터는 자산(164)의 운전석, 자산(164) 상에 또는 자산(164) 근처에 설치된 적어도 하나의 카메라(140)에 의해 캡처된다. 카메라(140)는 자산(164) 및 그 주위에서 비디오 데이터를 캡처하고 추가 프로세스를 위한 충분한 양의 시야를 얻기 위해 적절한 높이 및 각도로 배치된다. 라이브 비디오 데이터 및 이미지 데이터는 카메라(140)에 의해 자산(164)의 전방 및/또는 주위에서 캡쳐되고, 분석을 위해 트랙 감지 및 인프라 모니터링 구성요소(114)에 공급된다. 비디오 분석 시스템(110)의 트랙 감지 및 인프라 모니터링 구성요소(114)는 라이브 비디오 및 이미지 데이터 프레임을 프레임 단위로 처리하여 철도 트랙 및 임의의 관심 있는 물체의 존재를 감지한다. 높이, 각도, 편향, 초점 거리, 및 시야와 같은 카메라 위치 파라메터는 트랙 감지 및 인프라 모니터링 구성요소(114)에 공급될 수 있거나, 카메라(140)는 비디오 분석 시스템(110)이 카메라 위치 및 파라메터를 감지하고 결정할 수 있게 구성될 수 있다.
운전석 점유 감지와 같은 상태 판단을 하기 위해, 비디오 분석 시스템(110)은, 예를 들어, 카메라(140)로부터의 비디오 데이터, 속도와 같은 자산 데이터(134), GPS 데이터, 및 관성 센서 데이터, 날씨 구성요소(136) 데이터, 및 경로 /승무원 목록, 및 GIS 구성요소 데이터(138)를 평가하기 위한, 강화 학습 구성요소(124) 및/또는 다른 인공지능, 및 학습 알고리즘을 사용한다. 운전실 점유 감지는 실질적으로 자산이 움직이는 동안 건물과 나무를 통과하는 구름 및 햇빛을 반사하는 빛과 같은 환경 노이즈(noise)에 영향을 받기 쉽다. 환경 노이즈를 처리하기 위해, 강화 학습 구성요소(124), 물체 감지 및 위치 구성요소(126), 장애물 감지 구성요소, 속도, GPS 데이터, 및 관성 센서 데이터, 기상 구성요소(136) 데이터, 및 다른 학습 알고리즘을 포함할 수 있는 자산 구성요소(134) 데이터는 함께 구성되어 모바일 자산(164)과 관련된 내부 및/또는 외부 상태 판단이 이루어진다. 트랙 감지 및 인프라 모니터링 구성요소(114)는 또한 기관차 보안 시스템의 일부로서 기관차에 대한 액세스를 허용하도록 구성된 안면 인식 시스템, 승무원에 대한 경보를 모니터링하도록 구성된 피로 감지 구성요소, 및 흡연과 같은 허가되지 않은 활동을 감지하기 위한 활동 감지 구성요소를 포함할 수 있다.
강화 학습 구성요소(124)를 사용하는, 트랙의 강화 학습이 비디오 및/또는 이미지들의 연속적인 프레임들로부터 얻어진 다양한 정보를 사용하고 데이터 센터(166)로부터 수신된 부가 정보 및 관성 센서 데이터 및 GPS 데이터를 포함하는 차량 데이터 구성요소(134)를 사용하여 획득된 데이터를 판단함으로써 수행된다. 물체 감지 및 위치 구성요소(126)는, 다른 물체들로부터의 물체 감지 데이터를 판단하기 위해, 강화 학습 구성요소(124)로부터 수신된 학습 된 데이터, 및 모바일 자산(164), 및 트랙 폭, 곡률, 침목 위치, 및 철도 트랙을 차별화하는 차량 속도, 신호, 신호들 등과 같은 철도에 관한 특정 정보를 사용한다. 장애물 감지 구성요소(128)는 물체 감지 및 위치 구성요소(126) 및 기상 구성요소(136)로부터의 부가적인 정보로부터 수신된 물체 감지 데이터, 경로 /승무원 목록 데이터 및 GIS 데이터 구성요소(138), 및 정확성을 향상시키고 장애물 감지 데이터를 판단하기 위한 관성 센서 데이터 및 GPS 데이터를 포함하는 차량 데이터 구성요소(134)를 사용한다. 차량 데이터 구성요소(134)로부터의 모바일 자산 데이터는 속도, 위치, 가속도, 요(yaw)/피치(pitch)율, 및 철도 건널목을 포함하지만 이에 한정되지는 않는다. 데이터 센터(166)로부터 수신되고 사용되는 임의의 부가 정보는 모바일 자산(164)의 주간 및 야간 세부 사항 및 지리적인 위치를 포함하나, 이들에 제한되지는 않는다.
관심있는 인프라 물체, 트랙 감지 및 인프라 모니터링 구성요소(114)에 의해 처리된 정보, 및 진단 및 모니터링 정보는 탑재형 데이터 링크(142)를 통해 데이터 기록장치(102)의 데이터 인코더(108)로 전송되어 데이터를 인코딩한다. 데이터 기록장치(102)는 내충격형 메모리 모듈(104)에, 그리고 선택적으로는 선택적인 비내충격형(non-crash hardened) 제거 가능한 저장 디바이스에 인코딩된 데이터를 저장하고, 인코딩된 정보를 무선 데이터 링크(144)를 통하여 데이터 센터 내(166) 원격 데이터 관리자(146)에 송신한다. 원격 데이터 관리자(146)는 인코딩된 데이터를 데이터 센터(166)의 원격 데이터 저장소(148)에 저장한다.
자산(164) 전방의 트랙의 존재 같은, 장애물 감지(128) 또는 물체 감지(126)를 판단하기 위해, 차량 분석 시스템(110)은 강화 학습 구성요소(124), 또는 다른 인공 지능, 물체 감지 및 위치 구성요소(126), 및 장애물 감지 구성요소(128), 및 카메라(140)로부터 카메라 이미지와 비디오 데이터를 실시간으로 처리하고 평가하기 위한 다른 이미지 처리 알고리즘을 사용한다. 트랙 감지 및 인프라 모니터링 구성요소(114)는 속도, GPS 데이터, 및 관성 센서 데이터, 날씨 구성요소(136) 데이터, 및 경로/승무원 목록, 및 GIS 구성요소(138) 데이터를 포함할 수 있는 자산 구성요소(134) 데이터와 함께 처리된 비디오 데이터를 사용하여, 리드 및 트레일 모바일 자산과 같은 외부 상태를 실시간으로 판단한다. 트랙 감지를 위해 이미지 및 비디오 데이터를 처리할 때, 예를 들어, 비디오 분석 시스템(110)은 트랙 감지에 필요한 카메라(140) 파라메터들을 자동으로 구성하고, 스위치를 통해 실행을 감지하며, 트랙의 수를 카운트하고, 자산(164)의 측면을 따라 임의의 부가적인 트랙을 감지하며, 자산(164)이 현재 운행중인 트랙을 판단하고, 트랙의 기하학적인 결함을 판단하며, 트랙에서 제한된 거리 내의 트랙 근처의 물의 감지와 같은 트랙 워시아웃(washout) 시나리오를 감지하고, 누락된 기울기 또는 트랙 시나리오를 감지한다. 물체 감지 정확도는 자산(164) 내부 및 주변에 존재하는 조명 조건에 달려있다. DARS(100)는 자산(164) 및 데이터 센터(166) 상에 수집된 부가 데이터의 도움으로 상이한 조명 조건을 처리할 것이다. DARS(100)는 다양한 조명 조건에서 작동하고, 다양한 기상 조건에서 작동하며, 보다 많은 관심 있는 물체를 감지하고, 기존의 데이터베이스 시스템과 통합되어 데이터를 자동으로 생성, 조사, 및 업데이트하며, 복수의 트랙을 감지하고, 곡선 트랙과 일관되게 작동하며, 임의의 장애물을 감지하고, 안전과 관련된 문제를 일으킬 가능성이 있는 트랙의 결함을 감지하며, 저비용으로 내장된 시스템에서 작동하도록 개선된다.
운전석 점유, 물체의 감지 및 위치, 트랙 감지, 및 장애물 감지와 같은, 비디오 분석 시스템(110)으로부터의 내부 및/또는 외부 상태 판단이, 차량 관리 시스템(VMS)으로부터 또는 디지털 비디오 기록장치 구성요소(132)로부터의 임의의 데이터와 함께, 탑재형 데이터 링크(142)를 통하여 데이터 기록장치(102)에 제공된다. 데이터 기록장치(102)는, 데이터 센터(166)에 위치한 원격 데이터 관리자(146)를 통하여, 내부 및/또는 외부 상태 판단, 물체 감지 및 위치 구성요소(126) 데이터, 및 장애물 감지 구성요소(128) 데이터를 내충격형 메모리 모듈(104)에, 그리고 선택적으로 제2 실시예의 비내충격형 제거 가능한 저장 디바이스, 원격 데이터 저장소(148)에 저장한다. 웹 서버(158)는 요청에 따라 웹 클라이언트(162)를 통해 원격지에 위치한 사용자(168)에게 내부 및/또는 외부 상태 판단, 물체 감지 및 위치 구성요소(126) 정보, 및 장애물 감지 구성요소(128) 정보를 제공한다.
데이터 인코더(108)는 일반적으로 규제 기관에 의해 규정된 적어도 최소의 데이터 세트를 인코딩한다. 데이터 인코더(108)는 임의의 카메라(140), 로부터 비디오, 이미지, 및 오디오 데이터를 수신한다. 데이터 인코더(108)는 카메라(140), 비디오 분석 시스템(110), 및 비디오 관리 시스템(132) 중 임의의 것으로부터 비디오, 이미지, 및 오디오 데이터를 수신하고 데이터의 원격 데이터 저장소(148)로의 효율적인 실시간 전송 및 복제를 용이하게 하기 위해 데이터를 압축 또는 인코딩하고 시간 동기화한다. 데이터 인코더(108)는 인코딩된 데이터를 탑재형 데이터 관리자(106)에 송신하고, 이후에, 사용자(168)에 의한 온디맨드(on-demand) 요청에 응답하여 또는 자산(164)에 탑재되어 관찰되는 특정한 작동 조건에 응답하여, 인코딩된 비디오, 이미지, 및 오비오 데이터를 데이터 센터(166)에 위치한 원격 데이터 관리자(146)를 통하여 원격 데이터 저장소(148)로 송신한다. 탑재형 데이터 관리자(106) 및 원격 데이터 관리자(146)는 조화롭게 작동하여 데이터 복제 처리를 관리한다. 데이터 센터(166)의 원격 데이터 관리자(146)는 복수의 자산(164)으로부터의 데이터의 복제를 관리할 수 있다.
탑재형 데이터 관리자(108)는 감지된 이벤트의 우선 순위에 기초하여 감지 된 이벤트, 내부 및/또는 외부 상태 판단, 물체 감지 및 위치, 및/또는 장애물 감지의 큐(queue)로 보내지거나 즉시 전송되어야 하는지를 결정한다. 예를 들어, 정상적인 작동 상황에서, 트랙상의 장애물을 감지하는 것은 누군가가 자산(164)의 운전석에 있는지 여부를 감지하는 것보다 훨씬 더 긴급한 것이다. 또한, 탑재형 데이터 관리자(108)는 대기 저장소(도시되지 않음)로 데이터를 전송한다. 준실시간 모드에서, 탑재형 데이터 관리자는 데이터 인코더(108)로부터 수신된 인코딩된 데이터 및 임의의 이벤트 정보를 내충격형 메모리 모듈(104) 및 대기 저장소에 저장한다. 5분 분량의 인코딩된 데이터가 대기 저장소에 축적된 이후, 탑재형 데이터 관리자(106)는 5분의 인코딩된 데이터를 무선 데이터 링크(144)를 통해 데이터 센터(166)의 원격 데이터 관리자(146)를 통해 원격 데이터 저장소(148)에 저장한다. 실시간 모드에서, 탑재형 데이터 관리자(108)는 데이터 인코더(108)로부터 수신된 인코딩된 데이터와 임의의 이벤트 정보를 무선 데이터 링크(144) 전체에 걸쳐있는 데이터 센터(166) 내 원격 데이터 관리자(146)를 통하여 내충격형 메모리 모듈(104) 및 원격 데이터 저장소(148)에 저장한다.
이러한 실시예에서, 탑재형 데이터 관리자(106)는, 무선 데이터 링크(144)를 해, 비디오 데이터, 오디오 데이터, 내부 및/또는 외부 상태 판단, 물체 감지 밀 위치 정보, 장애물 감지 정보, 및 임의의 다른 데이터 또는 이벤트 정보를 데이터 센터(166) 내 원격 데이터 관리자(146)를 통해 원격 데이터 저장소(148)에 송신한다. 무선 데이터 링크(144)는, 예를 들어, 무선랜(WLAN), 무선 도시지역 망(WMAN), 무선 광대역 망(WWAN), 사설 무선 시스템(WVPN), 셀룰러전화망(cellular telephone network) 또는 데이터 기록장치(102)로부터, 본 실시예에서의 원격 데이터 관리자(146)로 데이터를 전송하는 임의의 다른 수단일 수 있다. 자산(164)으로부터 데이터를 원격으로 검색하는 프로세스는 자산(164)과 데이터 센터(166) 사이의 무선 연결을 필요로 한다. 무선 데이터 연결을 사용할 수 없으면 무선 연결이 복원될 때까지 데이터가 저장되고 대기된다.
데이터 기록과 병행하여, 데이터 기록장치(102)는 원격 데이터 저장소(148)에 데이터를 연속적이고 자동으로 복제한다. 복제 프로세스에는 실시간 모드와 준실시간 모드의 두 가지 모드가 있다. 준실시간 모드에서, 데이터는 5분마다 원격 데이터 저장소(15)에 복제된다. 준실시간 모드에 사용되는 레이트(rate)는 구성 가능하며, 실시간 모드에 사용되는 레이트는 0.10초 마다 원격 데이터 저장소(15)에 데이터를 복제함으로써 고해상도 데이터를 지원하도록 구성될 수 있다. 준실시간 모드는 데이터 복제 프로세스의 효율성을 높이기 위해 대부분의 조건에서 정상 작동 중에 사용된다.
실시간 모드는 자산(164) 상에 발생하는 이벤트 또는 데이터 센터(166)로부터 개시된 요청에 기초하여 개시될 수 있다. 실시간 모드에 대한 요청을 개시한 일반적인 데이터 센터(166)는 원격으로 위치한 사용자(168)가 웹 클라이언트(162)로부터 실시간 정보를 요청할 때 개시된다. 실시간 모드가 자산(164) 내부에서 시작되는 전형적인 이유는, 운영자의 긴급 중지 요청 개시, 긴급 제동 동작(braking activity), 임의 축(axis)에서의 신속한 가속 또는 감속, 데이터 기록장치(102)에 대한 입력 파워의 손실과 같은, 자산(164)과 관련된 이벤트 또는 사고의 감지이다. 준실시간 모드에서 실시간 모드로 전환할 때, 원격 데이터 저장소(148)에 아직 복제되지 않은 모든 데이터가 복제되어 원격 데이터 저장소(148)에 저장되고, 이후에 실시간 복제가 시작된다. 준실시간 모드와 실시간 모드 간의 전환은 일반적으로 5초 이내에 발생한다. 이벤트 또는 사고 이후 미리 정해진 시간이 지난 후, 미리 정해진 양의 비활동 시간이 있을 때 또는 사용자(168)가 더 이상 자산(164)으로부터의 실시간 정보를 원하지 않을 때, 데이터 기록장치(102)는 준실시간 모드로 되돌아간다. 전환을 시작하는 데 필요한 미리 정해진 시간은 구성 가능하며 일반적으로 10분으로 설정된다.
데이터 기록장치(102)가 실시간 모드에 있을 때, 탑재형 데이터 관리자(106)는 그 대기열을 원격 데이터 관리자(146)로 비우도록 지속적으로 시도하여 데이터가 내충격형 메모리 모듈(140)과 선택사양인 제2 실시예의 비내충격형 제거 가능 저장 디바이스에 저장되고, 동시에 데이터를 원격 데이터 관리자(146)에 송신한다.
비디오 데이터, 오디오 데이터, 내부 및/또는 외부 상태 판단, 물체 감지 및 위치 정보, 장애물 감지 정보, 및 데이터 기록장치(102)로부터 복제되어야 할 임의의 다른 데이터 또는 정보를 수신하자마자, 원격 데이터 관리자(146)는, 인코딩된 데이터 및 감지된 이벤트 데이터와 같은, 탑재형 데이터 관리자(106)로부터 수신한 데이터를 데이터 센터(166)의 원격 데이터 저장소(148)에 저장한다. 원격 데이터 저장소(148)는, 예를 들어, 클라우드 기반 데이터 저장소 또는 임의의 다른 적절한 원격 데이터 저장소일 수 있다. 데이터가 수신되면, 데이터 디코더(154)가 원격 데이터 저장소(148)로부터 최근에 복제된 데이터를 디코딩하여 디코드된 데이터를, 부가적인 후처리 이벤트에 대해 저장된 데이터를 확인하는, 트랙/물체 감지/위치 정보 구성요소(150)에 송신하는 프로세스가 개시된다. 이러한 구현에서, 트랙/물체 감지/위치 정보 구성요소(150)는 내부 및/또는 외부 상태, 물체 감자 및 위치 정보, 및 장애물 감지 정보를 판단하기 위한 물체/장애물 감지 구성요소를 포함한다. 내부 및/또는 외부 정보를 감지하자마자, 물체 감지 및 위치 정보, 및/또는 장애물 감지 정보, 트랙/불체 감지/물체 감지/위치 정보 구성요소(150)는 원격 데이터 저장소(148)에 정보를 저장한다.
원격지에 위치한 사용자(168)는, 웹 브라우저 또는 가상현실 장치(도시되지 않음)(본 실시예에서는 선택된 카메라의 축소된 이미지 표시일 수 있다)와 같은 표준 웹 클라이언트(162)를 사용하여, 비디오 데이터, 오디오 데이터, 내부 및/또는 외부 상태 판단, 물체 감지 및 위치 정보, 장애물 감지 정보, 및, 트랙 정보, 자산 정보, 및 특정한 자산(164) 또는 복수의 자산에 관련된 운전실 정보를 포함하는, 원격 데이터 저장소(148)에 저장된 임의의 다른 정보에 액세스할 수 있다. 웹 클라이언트(162)는 공통 웹 표준, 프로토콜, 및 기술을 사용하여 네트워크(160)를 통해 웹 서버(158)에 정보에 대한 사용자(168) 요청을 통신한다. 네트워크(160)는 예를 들어 인터넷일 수 있다. 네트워크(160)는 또한 로컬 영역 네트워크(LAN), 수도권 네트워크(MAN), 광역 네트워크(WAN), 가상의 사설 네트워크(VPN), 휴대 전화 네트워크, 또는 웹 서버(158)로부터, 본 실시예에서는, 웹 클라이언트(162)로 데이터를 전송하는 임의의 다른 수단일 수 있다. 웹 서버(158)는 원격 데이터 저장소(148)로부터 원하는 데이터를 요청하고 데이터 디코더(154)는 원격 데이터 저장소(148)로부터, 요청시, 웹 서버(158)로부터 특정 자산(164)에 관련된 요청된 데이터를 획득한다. 데이터 디코더(154)는 요청된 데이터를 디코딩하고 디코드된 데이터를 로컬화기(156)에 전송한다. 원래의 인코딩된 데이터 및 감지된 트랙/물체 감지/위치 정보가 좌표화된 세계시(UTC) 및 국제 단위 시스템(SI 단위)을 사용하여 원격 데이터 저장소(148)에 저장되기 때문에, 로컬화기(156)는, 웹 클라이언트(162)에 송신되고 있는 정보가 사용자(168)에게 표시되도록 준비하기 위해 웹 클라이언트(162)에 액세스하고 프로파일 세팅을 사용함으로써, 사용자(168)에 의한 프로파일 설정을 식별한다. 로컬화기(156)는 디코드된 데이터를 사용자(168)가 선호하는 측정 단위 및 언어와 같은 사용자(168)에 의해 요구되는 포맷으로 변환한다. 로컬화기(156)는 요청된 바와 같이 사용자(168) 선호 포맷의 로컬화된 데이터를 웹 서버(158)로 전송한다. 이후에, 웹 서버(158)는, 도 2a, 2b, 및 2c에 도시된 트랙 이미지 및 정보와 같은, 내부 및/또는 외부 상태 판단, 물체 감지 및 위치 정보, 및 장애물 감지 정보와 함께, 검토 및 분석, 표준 비디오 및 360도 비디오의 재생 및 실시간 표시의 제공을 위해, 로컬화된 데이터를 웹 클라이언트(162)로 송신한다.
웹 클라이언트(162)는 다양한 상이한 모드로 360도 비디오의 재생을 제공하는 소프트웨어 애플리케이션으로 강화된다. 사용자(168)는 소프트웨어 애플리케이션이 피시아이(fisheye) 뷰, 왜곡이 없는 뷰, 파노라마 뷰, 더블 파노라마, 뷰 및 쿼드(quad) 뷰와 같은 비디오 재생을 나타내는 모드를 선택할 수 있다.
도 3은 본 개시의 구현에 따라 자산(164)의 내부 상태를 결정하는 프로세스(300)를 나타내는 흐름도이다. 비디오 분석 시스템(110)은 자산(164) 상의, 자산(164) 내, 또는 자산(164) 근처의 카메라(140), 차량 데이터 구성요소(134), 기상 구성요소(136), 및 경로/목록 및 GIS 구성요소(138)와 같은 다양한 입력 구성요소(302)로부터 데이터 신호를 수신한다. 비디오 분석 시스템(110)은 강화 학습 구성요소(304)를 사용하여 데이터 신호를 처리하고 운전실 점유와 같은 내부 상태(306)를 판단한다.
도 4는, 이러한 개시의 구현 따라, 자산(164)의 외부에서 발생하는 물체 감지/위치 및 장애 감지를 결정하기 위한 프로세스(400)를 나타내는 흐름도이다. 비디오분석 시스템(110)은 자산(164) 상의, 자산(164) 내, 또는 자산(164) 근처의 카메라(140), 차량 데이터 구성요소(134), 기상 구성요소(136), 및 경로/목록 및 GIS 구성요소(138)와 같은 다양한 입력 구성요소(402)로부터 데이터 신호를 수신한다. 비디오 분석 시스템(110)은 강화 학습 구성요소(124), 물체 감지/위치 구성요소(126), 및 장애물 감지 구성요소(128)를 사용하여 데이터 신호를 처리하고, 강화 학습 구성요소를 사용하여 데이터를 처리하며(404), 장애물 감지를 판단하고(406), 트랙의 존재와 같은 물체 감지 및 위치를 감지(408)를 행한다.
서술의 단순화를 위해, 프로세스(300) 및 프로세스(400)는 일련의 단계로 도시되어 서술한다. 그러나, 본 명세서에 따른 단계들은 다양한 순서로 및/또는 동시에 발생할 수 있다. 또한, 본 개시에 따른 단계들은 본원에 개시되고 서술되지 않은 다른 단계들에서 발생할 수 있다. 또한, 서술된 모든 단계가 개시된 대상에 따른 방법을 구현하는 것이 요구될 수 있는 것은 아니다.
본 개시가 특정 실시예와 관련되여 서술되었으나, 본 발명은 개시된 실시예들에 한정되는 것이 아니라, 오히려 첨부된 청구항들의 범위 내에 포함되는 다양한 변형들 및 관련된 배열들을 포함하는 것으로 의도되며, 이러한 범위는 가장 넓은 해석 법률에 따라 허용되는 모든 수정 및 동등한 구조를 포함한다.

Claims (21)

  1. 모바일 자산으로부터의 데이터를 처리하기 위한 방법으로서, 상기 방법은:
    상기 모바일 자산에 탑재된 비디오 분석 구성요소를 사용하여, 상기 모바일 자산에 탑재된 적어도 하나의 데이터 소스와 상기 모바일 자산으로부터 원격지에 있는 적어도 하나의 데이터 소스 중 적어도 하나로부터의 적어도 하나의 데이터 신호에 기초하여 데이터를 수신하는 단계;
    상기 비디오 분석 구성요소의 강화 학습 구성요소를 사용하여, 상기 데이터를 처리된 데이터로 처리하는 단계;
    상기 비디오 분석 구성요소를 사용하여, 상기 데이터 및 상기 처리된 데이터 중 적어도 하나를 상기 모바일 자산에 탑재된 데이터 기록장치에 송신하는 단계;
    상기 데이터 기록장치의 데이터 인코더를 사용하여, 상기 처리된 데이터에 기초한 비트 스트림을 포함하는 기록을 인코딩하는 단계; 및
    상기 데이터 기록장치의 탑재형 데이터 관리자를 사용하여, 상기 데이터, 상기 처리된 데이터, 및 상기 기록 중 적어도 하나를 변경 가능한 미리 정해진 제1 속도로 상기 데이터 기록장치의 적어도 하나의 로컬 메모리 구성요소에 저장하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 모바일 자산에 탑재된 상기 적어도 하나의 데이터 소스는 모바일 자산 데이터 구성요소, 적어도 하나의 마이크로폰, 적어도 하나의 고정 카메라, 및 적어도 하나의 360도 카메라 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서, 상기 모바일 자산 데이터 구성요소로부터 수신된 상기 데이터는 글로벌 포지셔닝 시스템(GPS) 데이터 및 관성 센서 데이터를 포함하는 것을 특징으로 하는 방법.
  4. 제2항에 있어서, 상기 데이터는 상기 적어도 하나의 고정 카메라와 상기 적어도 하나의 360도 카메라 중 적어도 하나로부터 수신된 비디오 정보 및 상기 적어도 하나의 마이크로폰으로부터 수신된 오디오 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 상기 모바일 자산으로부터 원격지에 있는 상기 적어도 하나의 데이터 소스는 기상 구성요소, 경로, 목록(manifest), 및 지리 정보 시스템 구성요소 중 적어도 하나와 원격 데이터 저장소를 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 비디오 분석 구성요소의 물체 감지 및 위치 구성요소를 사용하여, 상기 처리된 데이터에 기초하여 제1 물체의 제1 물체 감지 데이터와 제1 물체 위치 데이터 중 적어도 하나를 판단하는 단계; 및
    상기 물체 감지 및 위치 구성요소를 사용하여, 상기 제1 물체 감지 데이터와 상기 제1 물체 위치 데이터 중 적어도 하나에 기초하여 상기 모바일 자산을 포함하는 내부 상태를 식별하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 비디오 분석 구성요소의 장애물 감지 구성요소를 사용하여, 상기 처리된 데이터, 상기 제1 물체 감지 데이터, 및 상기 제1 물체 위치 데이터 중 적어도 하나에 기초하여 장애물 감지 데이터를 판단하는 단계; 및
    상기 장애물 감지 구성요소를 사용하여, 상기 장애물 감지 데이터에 기초하여 상기 모바일 자산과 관련된 외부 상태를 식별하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서, 상기 장애물 감지 데이터는 상기 제1 물체 위치 데이터 및 상기 제1 물체 감지 데이터 중 적어도 하나가 제2 물체의 제2 물체 위치 데이터 및 제2 물체 감지 데이터와 유사하는 조건에 기초하는 것을 특징으로 하는 방법.
  9. 제6항에 있어서, 상기 내부 상태 중 적어도 하나는 상기 모바일 자산의 운전실 점유를 포함하고, 상기 외부 상태는 트랙 감지를 포함하는 것을 특징으로 하는 방법.
  10. 제1항에 있어서,
    상기 모바일 자산에 탑재된 디지털 비디오 기록장치를 사용하여, 적어도 하나의 360도 카메라, 적어도 하나의 고정 카메라, 및 적어도 하나의 마이크로폰 중 적어도 하나로부터의 적어도 하나의 데이터 신호에 기초하여 멀티미디어 데이터를 수신하는 단계;
    상기 데이터 기록장치를 사용하여, 상기 멀티미디어 데이터를 수신하는 단계;
    상기 데이터 기록장치의 상기 데이터 인코더를 사용하여, 상기 멀티미디어 데이터에 기초하여 비트 스트림을 포함하는 제2 기록을 인코딩하는 단계; 및
    상기 데이터 기록장치의 상기 탑재형 데이터 관리자를 사용하여, 상기 멀터미디어 데이터와 상기 제2 기록 중 적어도 하나를 변경 가능한 상기 미리 정해진 제1 속도로 상기 데이터 기록장치의 상기 적어도 하나의 로컬 메모리 구성요소에 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  11. 제6항에 있어서,
    상기 데이터 기록장치를 사용하여, 상기 내부 상태, 상기 제1 물체 감지 데이터, 및 상기 제1 물체 위치 데이터 중 적어도 하나를 수신하는 단계;
    상기 데이터 기록장치의 상기 데이터 인코더를 사용하여, 상기 내부 상태, 상기 제1 물체 감지 데이터, 및 상기 제1 물체 위치 데이터 중 상기 적어도 하나에 기초한 비트 스트림을 포함하는 제2 기록을 인코딩하는 단계; 및
    상기 데이터 기록장치의 상기 탑재형 데이터 관리자를 사용하여, 상기 내부 상태, 상기 제1 물체 감지 데이터, 상기 제1 물체 위치 데이터, 및 상기 제2 기록 중 적어도 하나를 변경 가능한 상기 미리 정해진 제1 속도로 상기 데이터 기록장치의 상기 적어도 하나의 로컬 메모리 구성요소에 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제7항에 있어서,
    상기 데이터 기록장치를 사용하여, 상기 외부 상태와 상기 장애물 감지 데이터 중 적어도 하나를 수신하는 단계;
    상기 데이터 기록장치의 상기 인코더를 사용하여, 상기 외부 상태와 상기 장애물 감지 데이터 중 상기 적어도 하나에 기초한 비트 스트림을 포함하는 제2 기록을 인코딩하는 단계; 및
    상기 데이터 기록장치의 상기 탑재형 데이터 관리자를 사용하여, 상기 외부 상태, 상기 장애물 감지 데이터, 및 상기 제2 기록 중 적어도 하나를 변경 가능한 상기 미리 정해진 제1 속도로 상기 데이터 기록장치의 상기 적어도 하나의 로컬 메모리 구성요소에 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 제1항에 있어서, 상기 미리 정해진 제1 속도는 0 내지 5분 사이에서 변경 가능한 것을 특징으로 하는 방법.
  14. 제1항에 있어서,
    상기 탑재형 데이터 관리자를 사용하여, 상기 기록을 무선 데이터 링크를 통하여 변경 가능한 미리 정해진 제2 속도로 원격 데이터 관리자에 송신하는 단계; 및
    상기 데이터 관리자를 사용하여, 상기 기록을 원격 데이터 저장소에 저장하는 단계를 더 포함하고,
    상기 미리 정해진 제2 속도는 0초 내지 5분에서 변경 가능한 것을 특징으로 하는 방법.
  15. 비디오 컨텐츠를 분석하기 위한 시스템으로서, 상기 시스템은:
    적어도 하나의 360도 카메라, 적어도 하나의 고정 카메라, 및 적어도 하나의 마이크로폰 중 적어도 하나;
    모바일 자산에 탑재된 비디오 분석 구성요소를 포함하고,
    상기 비디오 분석 구성요소는 강화 학습 구성요소, 물체 감지 및 위치 구성요소, 및 장애물 감지 구성요소를 포함하되, 상기 적어도 하나의 360도 카메라, 상기 적어도 하나의 고정 카메라, 및 상기 적어도 하나의 마이크로폰 중 상기 적어도 하나로부터의 적어도 하나의 데이터 신호에 기초하여 데이터를 수신하도록 구성되고,
    상기 강화 학습 구성요소는 상기 데이터를 처리된 데이터로 처리하도록 구성되며,
    상기 물체 감지 및 위치 구성요소는 상기 처리된 데이터에 기초하여 제1 물체의 물체 감지 데이터 및 물체 위치 데이터를 판단하도록 구성되고,
    상기 장애물 감지 구성요소는 상기 처리된 데이터, 상기 물체 감지 정보, 및 상기 물체 위치 정보 중 적어도 하나에 기초하여 장애물 감지 정보를 판단하도록 구성되는 것을 특징으로 하는 시스템.
  16. 제15항에 있어서,
    상기 적어도 하나의 360도 카메라, 상기 적어도 하나의 고정 카메라, 및 상기 적어도 하나의 마이크로폰 중 상기 적어도 하나로부터의 적어도 하나의 데이터 신호에 기초하여 데이터를 수신하도록 구성된, 상기 모바일 자산에 탑재된 디지털 비디오 기록장치; 및
    데이터 디코더, 탑재형 데이터 관리자, 및 적어도 하나의 로컬 메모리 구성요소를 포함하는, 상기 모바일 자산에 탑재된 데이터 기록장치를 더 포함하고,
    상기 데이터 기록장치는 상기 데이터를 변경 가능한 미리 정해진 제1 속도로 상기 적어도 하나의 로컬 메모리 구성요소에 저장하도록 구성되는 것을 특징으로 하는 시스템.
  17. 제15항에 있어서,
    글로벌 포지셔닝 시스템(GPS) 데이터와 관성 센서 데이터 중 적어도 하나를 상기 비디오 분석 구성요소에 송신하도록 구성된, 상기 모바일 자산에 탑재된 차량 데이터 구성요소;
    현재의 기상 정보와 예보된 기상 정보 중 적어도 하나를 상기 비디오 분석 시스템에 송신하도록 구성된 기상 구성요소;
    경로 정보, 승무원 정보, 목록 정보, 및 지리 정보 시스템(GIS) 정보 중 적어도 하나를 상기 비디오 분석 구성요소에 송신하도록 구성된 경로 목록 및 GIS 구성요소를 더 포함하고,
    상기 강화 학습 구성요소는 상기 데이터를 처리된 데이터로 처리하기 위해 상기 글로벌 포지셔닝 시스템(GPS) 데이터, 상기 관성 센서 데이터, 상기 현재의 기상 정보, 상기 예보된 기상 정보, 상기 경로 정보, 상기 승무원 정보, 상기 목록 정보, 및 상기 지리 정보 시스템(GIS) 정보 중 적어도 하나를 사용하도록 구성되는 것을 특징으로 하는 시스템.
  18. 제15항에 있어서,
    적어도 하나의 로컬 메모리 구성요소, 탑재형 데이터 관리자, 및 데이터 인코더를 포함하는, 상기 모바일 자산에 탑재된 데이터 기록장치를 더 포함하고,
    상기 데이터 기록장치는 상기 처리된 데이터, 상기 물체 감지 정보, 상기 물체 위치 정보, 및 상기 장애물 정보 중 적어도 하나를 상기 비디오 분석 구성요소로부터 수신하도록 구성되며,
    상기 데이터 인코더는 상기 처리된 데이터, 상기 물체 감지 정보, 상기 물체 위치 정보, 및 상기 장애물 정보 중 적어도 하나에 기초하여, 비트 스트림을 포함하는 기록을 인코딩하도록 구성되고; 및
    상기 탑재형 데이터 관리자는 상기 기록, 상기 처리된 데이터, 상기 물체 감지 데이터, 상기 물체 위치 정보, 및 상기 장애물 정보 중 적어도 하나를 변경 가능한 미리 정해진 제1 속도로 상기 적어도 하나의 로컬 메모리 구성요소에 저장하도록 구성되는 것을 특징으로 하는 시스템.
  19. 제18항에 있어서,
    상기 모바일 자산으로부터 떨어진 원격 데이터 관리자; 및
    상기 모바일 자산으로부터 떨어진 원격 데이터 저장소를 더 포함하고,
    상기 원격 데이터 관리자는 무선 데이터 링크를 통하여 상기 기록을 변경 가능한 미리 정해진 제2 속도로 상기 탑재형 데이터 관리자로부터 수신하도록 구성되며, 상기 미리 정해진 제2 속도는 0초 내지 5분 사이에서 변경 가능하고,
    상기 원격 데이터 저장소는 상기 원격 데이터 관리자로부터 수신된 상기 기록을 저장하도록 구성되는 것을 특징으로 하는 시스템.
  20. 제19항에 있어서,
    상기 모바일 자산으로부터 떨어진 데이터 디코더; 및
    상기 모바일 자산으로부터 떨어진 외부 모니터링 구성요소를 더 포함하고,
    상기 데이터 디코더는 상기 원격 데이터 저장소로부터 상기 기록을 수신하여 상기 기록을 디코딩하도록 구성되며,
    상기 외부 모니터링 구성요소는 상기 물체 감지 정보, 상기 물체 위치 정보, 및 상기 장애물 정보 중 적어도 하나를 식별하도록 구성되는 것을 특징으로 하는 시스템.
  21. 제19항에 있어서,
    디스플레이 장치를 포함하는 웹 클라이언트;
    상기 웹 클라이언트와 무선 통신을 하는 웹 서버;
    상기 웹 서버와 무선 통신을 하는 로컬화 구성요소를 포함하고,
    상기 웹 서버는 상기 모바일 자산과 관련된 특정 데이터 및 특정 뷰의 모드를 포함하는 요청을 수신하도록 구성되며,
    상기 로컬화 구성요소는 상기 특정 데이터를 상기 데이터 디코더로부터 수신하고 원격지 사용자에 의해 특정된 시간 설정 및 측정 설정의 단위에 기초하여 상기 특정 데이터를 변경하도록 구성되고, 상기 특정 데이터는 상기 기록, 상기 처리된 데이터, 상기 물체 감지 정보, 상기 물체 위치 정보, 및 상기 장애물 정보 중 적어도 하나에 기초하며,
    상기 웹 서버는 상기 특정 데이터를 수신하도록 구성되고,
    상기 데스플레이 장치는 상기 특정 데이터를 상기 특정 뷰로 디스플레이하도록 구성되는 것을 특징으로 하는 시스템.
KR1020187036626A 2016-05-16 2017-05-16 비디오 콘텐츠 분석 시스템 및 운송 시스템을 위한 방법 KR102437322B1 (ko)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201662337227P 2016-05-16 2016-05-16
US201662337228P 2016-05-16 2016-05-16
US201662337225P 2016-05-16 2016-05-16
US62/337,225 2016-05-16
US62/337,227 2016-05-16
US62/337,228 2016-05-16
US15/595,712 US10392038B2 (en) 2016-05-16 2017-05-15 Video content analysis system and method for transportation system
US15/595,689 2017-05-15
US15/595,689 US10410441B2 (en) 2016-05-16 2017-05-15 Real-time data acquisition and recording system viewer
US15/595,650 US9934623B2 (en) 2016-05-16 2017-05-15 Real-time data acquisition and recording system
US15/595,712 2017-05-15
US15/595,650 2017-05-15
PCT/US2017/032971 WO2017201095A1 (en) 2016-05-16 2017-05-16 Video content analysis system and method for transportation system

Publications (2)

Publication Number Publication Date
KR20190013843A true KR20190013843A (ko) 2019-02-11
KR102437322B1 KR102437322B1 (ko) 2022-08-29

Family

ID=60297449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187036626A KR102437322B1 (ko) 2016-05-16 2017-05-16 비디오 콘텐츠 분석 시스템 및 운송 시스템을 위한 방법

Country Status (12)

Country Link
US (1) US10392038B2 (ko)
EP (1) EP3458991A4 (ko)
JP (2) JP2019527390A (ko)
KR (1) KR102437322B1 (ko)
CN (1) CN109476329B (ko)
AU (2) AU2017268276A1 (ko)
BR (1) BR112018073638A8 (ko)
CA (1) CA3024354C (ko)
CL (1) CL2018003237A1 (ko)
MX (1) MX2018014071A (ko)
WO (1) WO2017201095A1 (ko)
ZA (1) ZA201807686B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170313332A1 (en) * 2002-06-04 2017-11-02 General Electric Company Autonomous vehicle system and method
US10410441B2 (en) * 2016-05-16 2019-09-10 Wi-Tronix, Llc Real-time data acquisition and recording system viewer
US10606767B2 (en) * 2017-05-19 2020-03-31 Samsung Electronics Co., Ltd. Ethernet-attached SSD for automotive applications
CN107886461A (zh) 2017-08-11 2018-04-06 比亚迪股份有限公司 区域限速值的获得方法、装置和终端设备
WO2019117970A1 (en) * 2017-12-15 2019-06-20 Google Llc Adaptive object tracking policy
CN108214554B (zh) * 2018-02-05 2020-11-24 刘春梅 一种用于轨道交通智能巡检机器人的自检系统
US11106211B2 (en) * 2018-04-02 2021-08-31 Sony Group Corporation Vision-based sample-efficient reinforcement learning framework for autonomous driving
DE102018205917A1 (de) * 2018-04-18 2019-10-24 Siemens Mobility GmbH Vorrichtung zur Vervielfältigung und Sicherung von Daten eines Fahrtenregistriersystems im Schienenverkehr
KR102169211B1 (ko) * 2018-11-15 2020-10-22 한국철도공사 전차 선로의 조류 둥지 자동 검출 장치 및 방법
CN109802964B (zh) * 2019-01-23 2021-09-28 西北大学 一种基于dqn的http自适应流控制能耗优化方法
US11731672B2 (en) 2019-03-29 2023-08-22 Wi-Tronix, Llc Automated signal compliance monitoring and alerting system
CN110450823B (zh) * 2019-07-22 2021-07-30 北京交大微联科技有限公司 调整列车计划占用的股道的方法、装置及电子设备
CN110609474B (zh) * 2019-09-09 2020-10-02 创新奇智(南京)科技有限公司 一种基于强化学习的数据中心能效优化方法
US11834082B2 (en) * 2019-09-18 2023-12-05 Progress Rail Services Corporation Rail buckle detection and risk prediction
CN113256924A (zh) * 2020-02-12 2021-08-13 中车唐山机车车辆有限公司 一种轨道列车的监控系统，监控方法及监控装置
US20220044183A1 (en) * 2020-08-05 2022-02-10 Wi-Tronix, Llc Engineer recertification assistant
CN115841650B (zh) * 2022-12-05 2023-08-01 北京数原数字化城市研究中心 视觉定位方法、视觉定位装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392692B1 (en) * 1999-02-25 2002-05-21 David A. Monroe Network communication techniques for security surveillance and safety system
US20030152145A1 (en) * 2001-11-15 2003-08-14 Kevin Kawakita Crash prevention recorder (CPR)/video-flight data recorder (V-FDR)/cockpit-cabin voice recorder for light aircraft with an add-on option for large commercial jets
JP2014106685A (ja) * 2012-11-27 2014-06-09 Osaka Univ 車両周辺監視装置

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5065321A (en) 1989-06-15 1991-11-12 Pulse Electronics, Inc. Solid state event recorder
JP2785220B2 (ja) 1992-09-22 1998-08-13 ソニー株式会社 データ符号化装置および方法、並びにデータ復号化装置および方法
US5440336A (en) 1993-07-23 1995-08-08 Electronic Data Systems Corporation System and method for storing and forwarding audio and/or visual information on demand
US5377497A (en) 1993-12-17 1995-01-03 Lennox Industries Inc. Timed-off control apparatus and method
US5638299A (en) 1995-06-22 1997-06-10 Miller; Keith Light weight, self-contained programmable data-acquisition system
US5627508A (en) * 1996-05-10 1997-05-06 The United States Of America As Represented By The Secretary Of The Navy Pilot vehicle which is useful for monitoring hazardous conditions on railroad tracks
CA2234897A1 (en) 1997-04-17 1998-10-17 Donald E. Graham Locomotive cab heating system
US6263268B1 (en) 1997-08-26 2001-07-17 Transcontech Corporation System and method for providing mobile automotive telemetry
JP3327255B2 (ja) * 1998-08-21 2002-09-24 住友電気工業株式会社 安全運転支援システム
US7131136B2 (en) 2002-07-10 2006-10-31 E-Watch, Inc. Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals
US20020026321A1 (en) 1999-02-26 2002-02-28 Sadeg M. Faris Internet-based system and method for fairly and securely enabling timed-constrained competition using globally time-sychronized client subsystems and information servers having microsecond client-event resolution
US6154636A (en) 1999-05-14 2000-11-28 Harris Corporation System and method of providing OOOI times of an aircraft
US6611755B1 (en) 1999-12-19 2003-08-26 Trimble Navigation Ltd. Vehicle tracking, communication and fleet management system
US6496777B2 (en) 2000-02-23 2002-12-17 Nexterna, Inc. Collecting and reporting information concerning mobile assets
US6892167B2 (en) 2001-11-28 2005-05-10 Sypris Data Systems, Inc. Real-time data acquisition and storage network
US20040027255A1 (en) 2002-03-01 2004-02-12 Greenbaum Myron H. Wideband avionics data retrieval system
US7761544B2 (en) 2002-03-07 2010-07-20 Nice Systems, Ltd. Method and apparatus for internal and external monitoring of a transportation vehicle
US7359821B1 (en) 2002-06-11 2008-04-15 Injury Sciences Llc Methods and apparatus for using black box data to analyze vehicular accidents
MXPA05002132A (es) 2002-08-26 2005-05-05 Joseph J Mazzilli Sistema de camara de video de uso automotriz.
ITBO20020724A1 (it) 2002-11-15 2004-05-16 L E A T S R L Metodo e sistema per l'acquisizione e la registrazione di dati relativi allo spostamento di un veicolo
US7781172B2 (en) 2003-11-21 2010-08-24 Kimberly-Clark Worldwide, Inc. Method for extending the dynamic detection range of assay devices
US7012520B2 (en) 2003-06-17 2006-03-14 Infraegis, Inc. Global intelligent remote detection system
CA2848301A1 (en) 2004-01-09 2005-07-28 United Parcel Service Of America, Inc. System, method and apparatus for capturing telematics data with an active rfid tag
US9576404B2 (en) 2004-09-16 2017-02-21 Harris Corporation System and method of transmitting data from an aircraft
US7620374B2 (en) 2004-09-16 2009-11-17 Harris Corporation System and method of transmitting data from an aircraft
WO2006044476A2 (en) 2004-10-12 2006-04-27 Robert Vernon Vanman Method of and system for mobile surveillance and event recording
US8369264B2 (en) 2005-10-28 2013-02-05 Skyhook Wireless, Inc. Method and system for selecting and providing a relevant subset of Wi-Fi location information to a mobile client device so the client device may estimate its position with efficient utilization of resources
WO2006128124A2 (en) 2005-05-27 2006-11-30 Panoptic Systems, Inc. Total awareness surveillance system
US20060276943A1 (en) 2005-06-01 2006-12-07 Polar Industries, Inc. Systems and methods for data processing and control in a transportation system
US7302323B2 (en) 2005-06-01 2007-11-27 Polar Industries, Inc. Transportation data recording system
AU2006287856B2 (en) 2005-08-11 2011-12-15 Wi-Tronix, Llc Universal event/data recorder system
US8942426B2 (en) 2006-03-02 2015-01-27 Michael Bar-Am On-train rail track monitoring system
US7440848B2 (en) 2006-05-30 2008-10-21 Horizon Marine Methods and systems for integrating environmental data with mobile asset tracking
US7843335B2 (en) 2007-03-13 2010-11-30 Blackbird Technologies, Inc. Mobile asset tracking unit, system and method
US8798148B2 (en) 2007-06-15 2014-08-05 Physical Optics Corporation Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation
US8231270B2 (en) 2008-01-03 2012-07-31 Concaten, Inc. Integrated rail efficiency and safety support system
WO2009097449A1 (en) * 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
FR2932447B1 (fr) * 2008-06-12 2016-09-30 Alstom Transport Sa Systeme informatique embarque de gestion d'un train
CN102123899B (zh) 2008-06-17 2013-09-25 韦尔-琼斯工程顾问有限公司 用于检测石块坠落的系统和方法
US20100023201A1 (en) 2008-07-24 2010-01-28 David Scott Kinney Method and apparatus for obtaining vehicle data
JP5530146B2 (ja) * 2009-09-30 2014-06-25 富士通テン株式会社 データ管理装置、データ読取方法及びプログラム
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
CN102123274B (zh) 2011-03-11 2013-03-13 广州国联通信有限公司 一种具有分散存储功能的车载视频监控系统
US8625878B2 (en) 2011-04-15 2014-01-07 International Business Machines Corporation Method and system of rail component detection using vision technology
US8768534B2 (en) 2011-11-14 2014-07-01 Arinc Incorporated Method and apparatus for using electronic flight bag (EFB) to enable flight operations quality assurance (FOQA)
US9049433B1 (en) 2012-01-06 2015-06-02 John H. Prince High-speed railroad inspection using coordinated 3D cameras
US20150009331A1 (en) * 2012-02-17 2015-01-08 Balaji Venkatraman Real time railway disaster vulnerability assessment and rescue guidance system using multi-layered video computational analytics
IN2012DE00720A (ko) 2012-03-13 2015-08-21 Ge Aviat Systems Llc
ES2970318T3 (es) 2012-04-13 2024-05-28 Wi Tronix Llc Registro de datos de activo móvil para la compensación de combustible
US9050984B2 (en) 2012-04-20 2015-06-09 International Business Machines Corporation Anomalous railway component detection
US20130307693A1 (en) 2012-05-20 2013-11-21 Transportation Security Enterprises, Inc. (Tse) System and method for real time data analysis
US9260122B2 (en) 2012-06-06 2016-02-16 International Business Machines Corporation Multisensor evidence integration and optimization in object inspection
US9003052B2 (en) 2012-07-09 2015-04-07 The Boeing Company System and method for air-to-ground data streaming
US20140052315A1 (en) 2012-08-17 2014-02-20 Siemens Industry, Inc. Railway train data recorder with parallel remote online incident data storage
US20140285337A1 (en) 2013-03-21 2014-09-25 Mark Anthony Gebhardt Automobile Alert System for Recording and Communicating Incidents to Remote Monitoring Devices
US9346476B2 (en) 2013-09-27 2016-05-24 Herzog Technologies, Inc. Track-data verification
US20150221141A1 (en) 2014-02-05 2015-08-06 Alfredo Oscar NEGRITTO Flight data recorder with web access in real time
KR101559893B1 (ko) * 2014-02-14 2015-10-14 주식회사 시스토 스마트폰을 이용한 차량용 블랙박스 제어 시스템 및 그 방법
US9260199B2 (en) 2014-02-25 2016-02-16 Honeywell International Inc. Aircraft data processing and transmission system
FR3019414B1 (fr) 2014-03-31 2017-09-08 Sagem Defense Securite Procede de transmission en vol de donnees de type boite noire
US9460566B2 (en) 2014-05-20 2016-10-04 Wabtec Holding Corp. Data recorder system and unit for a vehicle
US9434397B2 (en) 2014-08-05 2016-09-06 Panasec Corporation Positive train control system and apparatus therefor
US9872250B2 (en) 2014-09-04 2018-01-16 The Boeing Company Data acquisition node and method of operating same
US10553120B2 (en) 2014-09-15 2020-02-04 L3 Technologies, Inc. Fail safe aircraft monitoring and tracking
CN204231421U (zh) * 2014-12-01 2015-03-25 徐绍衡 一种船舶、海洋设备、飞行器的离岸工作一体实时数据库信息平台
CN104742936A (zh) * 2015-04-16 2015-07-01 济南轨道交通装备有限责任公司 一种智能化铁路货车
US20150225002A1 (en) 2015-04-22 2015-08-13 Electro-Motive Diesel, Inc. Railway inspection system
US10370102B2 (en) * 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392692B1 (en) * 1999-02-25 2002-05-21 David A. Monroe Network communication techniques for security surveillance and safety system
US20030152145A1 (en) * 2001-11-15 2003-08-14 Kevin Kawakita Crash prevention recorder (CPR)/video-flight data recorder (V-FDR)/cockpit-cabin voice recorder for light aircraft with an add-on option for large commercial jets
JP2014106685A (ja) * 2012-11-27 2014-06-09 Osaka Univ 車両周辺監視装置

Also Published As

Publication number Publication date
RU2018144311A (ru) 2020-06-17
AU2022228123A1 (en) 2022-09-29
CA3024354A1 (en) 2017-11-23
BR112018073638A8 (pt) 2023-01-24
JP2022033946A (ja) 2022-03-02
CL2018003237A1 (es) 2019-03-29
RU2018144311A3 (ko) 2021-05-21
JP2019527390A (ja) 2019-09-26
US10392038B2 (en) 2019-08-27
EP3458991A1 (en) 2019-03-27
CA3024354C (en) 2023-09-12
US20170327138A1 (en) 2017-11-16
CN109476329B (zh) 2021-10-29
EP3458991A4 (en) 2020-01-22
AU2017268276A1 (en) 2018-12-06
MX2018014071A (es) 2019-09-16
ZA201807686B (en) 2019-08-28
KR102437322B1 (ko) 2022-08-29
CN109476329A (zh) 2019-03-15
BR112018073638A2 (pt) 2019-02-26
WO2017201095A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
CN109476329B (zh) 用于运输系统的视频内容分析系统及方法
CN113874921B (zh) 自动信号符合监测与警报系统
JP7419266B2 (ja) 実時間データ取得・記録・データ共有システム
US20220148348A1 (en) Connected Diagnostic System and Method
RU2786372C2 (ru) Система совместного использования данных для получения и записи данных в реальном времени
RU2784892C2 (ru) Способ и система анализа видеоконтента для транспортной системы
RU2812263C2 (ru) Система автоматизированного мониторинга соответствия сигналов и аварийного оповещения
US20230281640A1 (en) Operational Threat Detection System and Method
EP3803607A1 (en) Real-time data acquisition and recording data sharing system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant