KR102632065B1 - 실시간 데이터 획득 및 기록 시스템 뷰어 - Google Patents

실시간 데이터 획득 및 기록 시스템 뷰어 Download PDF

Info

Publication number
KR102632065B1
KR102632065B1 KR1020227029166A KR20227029166A KR102632065B1 KR 102632065 B1 KR102632065 B1 KR 102632065B1 KR 1020227029166 A KR1020227029166 A KR 1020227029166A KR 20227029166 A KR20227029166 A KR 20227029166A KR 102632065 B1 KR102632065 B1 KR 102632065B1
Authority
KR
South Korea
Prior art keywords
data
mobile asset
real
video
remote
Prior art date
Application number
KR1020227029166A
Other languages
English (en)
Other versions
KR20220123145A (ko
Inventor
로렌스 비. 조던
사반쿠마 브이. 파텔
브라이언 위버
Original Assignee
와이-트로닉스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/595,650 external-priority patent/US9934623B2/en
Application filed by 와이-트로닉스, 엘엘씨 filed Critical 와이-트로닉스, 엘엘씨
Publication of KR20220123145A publication Critical patent/KR20220123145A/ko
Application granted granted Critical
Publication of KR102632065B1 publication Critical patent/KR102632065B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0858—Registering performance data using electronic data carriers wherein the data carrier is removable
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Abstract

모바일 자산용 데이터 획득 및 기록 시스템(DARS) 및 뷰어는 데이터 인코더, 탑재형 데이터 관리자, 및 적어도 하나의 로컬 메모리 모듈을 포함한다. DARS는 적어도 하나의 360도 카메라로부터의 데이터를 처리하여 해당 데이터의 압축된 기록을 적어도 매초당 한번 로컬 메모리 모듈 내에 저장한다. DARS는 5분간의 데이터를 포함하는 완전한 기록을 매 5분마다 원격 메모리 모듈에 저장하는 준실시간 모드, 및 적어돋 1초에 한번, 그리고 최대 매 1/10초마다 한번 데이터의 기록을 업로드함으로써 상기 원격 메모리 모듈로 비디오 데이터를 스트리밍하는 실시간 모드에서 실행되도록 설계된다. 원격지 사용자는, 더욱 신속한 긴급 응답을 제공하는 웹 브라우저 또는 가상 현실 장치를 통해, 비디오, 오디오, 및 데이터를 다양한 뷰 모드에서 보고, 수리 및 경로 변경(rerouting)을 승인하며, 승무원 업무 및 안전을 모니터할 수 있다.

Description

실시간 데이터 획득 및 기록 시스템 뷰어{REAL-TIME DATA ACQUISITION AND RECORDING SYSTEM VIEWER}
본 출원은 법률에 의해 허용되는 범위 및 그 전체가 본 명세서에 참조되어 본 발명의 일부를 이루는 내용에 대해, 2016년 5월 16일에 출원된 미국 가출원 제 62/337,225호, 2016년 5월 16일에 출원된 미국 가출원 제 62/337,227호에, 2016년 5월 16일에 출원된 미국 가출원 제 62/337,228호, 2017년 5월 15일에 출원된 미국 출원 제 15/595,689호와 2017년 5월 15일에 출원된 미국 출원 제 15/595,650호의 일부 계속 출원 각각에 대한 우선권을 주장한다.
본 개시는 고가의 모바일 자산에 사용되는 실시간 데이터 획득 및 기록 시스템으로부터의 비디오 이미지, 및 데이터를 뷰잉하는 시스템 및 방법에 관한 것이다.
기관차, 항공기, 대중 운송 시스템, 채굴 장비, 운반 가능 의료 장치, 화물, 해양 선박, 및 군함과 같은 고가의 모바일 자산은 통상적으로 탑재형 데이터 획득 및 재생 "블랙 박스" 시스템 및/또는 "이벤트 기록장치" 시스템을 사용한다. 이벤트 데이터 기록장치 또는 비행 데이터 기록장치와 같은 이들 데이터 획득 및 재생 시스템은 사건 조사, 승무원 실적 평가, 연료 효율 분석, 유지관리 계획, 및 예측 진단용으로 사용된 다양한 시스템 파라메터들을 로그(log)한다.
통상적인 데이터 획득 및 재생 시스템은 디지털 및 아날로그 입력은 물론 압력 스위치 및 탑재된 다양한 센서 장치로부터의 데이터를 기록하는 압력 트랜스튜서를 포함한다. 기록된 데이터는 속력, 이동 거리, 위치, 연료 레벨, 분당 엔진 회전수(RPM), 유체 레벨, 운영자 제어, 압력, 전류, 및 예보된 기상 조건과 주변 조건을 포함할 수 있다. 기본적인 이벤트 및 동작 데이터 이외에, 비디오 및 오디오 이벤트/데이터 기록 성능들이 또한 이들 동일한 모바일 자산의 다수 상에 배치된다. 통상적으로, 데이터는 자산을 포함한 사건이 발생한 후 데이터 기록장치로부터 추출되고, 일단 데이터 기록장치가 복구되면 조사가 요구된다. 데이터 기록장치가 복구될 수 없거나, 그렇지 않으면 데이터가 사용 가능하지 않은 소정의 상황이 발생할 수 있다. 이들 상황에서, 데이터 획득 및 기록 시스템에 의해 획득된 이벤트 및 동작 데이터, 비디오 데이터, 및 오디오 데이터와 같은 데이터가, 데이터 획득 및 기록 시스템 또는 해당 데이터에 대한 물리적인 액세스가 가능한지의 여부와 무관하게, 신속하게 요구된다.
본 개시는 일반적으로 고가의 모바일 자산에 사용되는 실시간 데이터 획득 및 기록 시스템에 관한 것이다. 본 명세서의 개시 내용은 고가의 모바일 자산 상의 실시간 데이터 획득 및 기록 시스템에 의해 기록된 이벤트 및 동작 데이터, 비디오 데이터, 및 오디오 데이터와 같은 데이터에 대한 실시간, 또는 준실시간(near real-time) 액세스를 제공할 수 있다.
본 명세서에 기술된 적어도 하나의 모바일 자산으로부터 데이터를 처리, 저장, 및 전송하는 방법의 일 구현예는 상기 모바일 자산에 탑재형 멀티미디어 관리 시스템을 사용하여, 적어도 하나의 360도 카메라; 적어도 하나의 고정 카메라; 및 적어도 하나의 마이크로폰 중 적어도 하나로부터의 적어도 하나의 데이터 신호에 기초하여 데이터를 수신하는 단계; 상기 모바일 자산에 탑재된 데이터 기록장치를 사용하여, 상기 데이터를 수신하는 단계; 상기 데이터 기록장치의 데이터 인코더를 사용하여, 상기 데이터에 기초하여 비트 스트림을 포함하는 기록을 인코딩하는 단계; 및 상기 데이터 기록장치의 탑재형 데이터 관리자를 사용하여, 상기 데이터 및 상기 기록 중 적어도 하나를 변경가능한 미리 정해진 제 1 속도로 상기 데이터 기록장치의 적어도 하나의 로컬 메모리 구성요소 내에 저장하는 단계를 포함한다.
본 명세서에 기술된 적어도 하나의 모바일 자산으로부터 데이터를 표시하는 방법의 일 구현예는 웹 서버를 사용하여, 상기 적어도 하나의 모바일 자산의 특정 멀티미디어 데이터 및 특정 뷰 모드를 포함하는 요청을 수신하는 단계; 상기 웹 서버를 사용하여, 원격 메모리 구성요소로부터 상기 적어도 하나의 모바일 자산의 상기 특정 멀티미디어 데이터를 수신하는 단계; 및 표시 장치를 사용하여, 상기 적어도 하나의 모바일 자산의 상기 특정 멀티미디어 데이터를 상기 특정 뷰에 표시하는 단계를 포함한다.
본 명세서에 기술된 실시간 데이터 획득 및 기록 시스템의 일 구현예는 적어도 하나의 360도 카메라, 적어도 하나의 고정 카메라, 및 적어도 하나의 마이크로폰 중 적어도 하나; 상기 적어도 하나의 360도 카메라, 상기 적어도 하나의 고정 카메라, 및 상기 적어도 하나의 마이크로폰 중 상기 적어도 하나로부터의 적어도 하나의 데이터 신호에 기초하여 데이터를 수신하도록 구성되며, 상기 모바일 자신에 탑재된 멀티미디어 관리 시스템; 상기 모바일 자산에 탑재되며, 적어도 하나의 로컬 메모리 구성요소, 탑재형 데이터 관리자, 및 데이터 인코더를 포함하는 데이터 기록장치를 포함하되, 상기 데이터 기록장치는 상기 멀티미디어 시스템으로부터 상기 데이터를 수신하도록 구성되고, 상기 데이터 인코더는 상기 데이터에 기초하여 비트 스트림을 포함하는 기록을 인코드하도록 구성되며, 상기 탑재형 데이터 관리자는 상기 데이터 및 상기 기록 중 적어도 하나를 변경가능한 미리 정해진 제 1 속도로 상기 적어도 하나의 로컬 메모리 구성요소 내에 저장하도록 구성된다.
본 개시의 이들 및 다른 특징의 변형예가 이하에서 상세히 기술될 것이다.
이하의 기술은 첨부된 도면을 참조하여 이루어지며, 동일한 참조부호는 일부 도면을 통해 동일한 부분을 지칭한다.
도 1은 본 개시의 구현예들에 따른 예시적인 실시간 데이터 획득 및 기록 시스템의 현장 구현예를 예시한다.
도 2는 본 개시의 구현예들에 따른 모바일 자산으로부터의 비디오 데이터, 오디오 데이터, 및/또는 정보를 기록하기 위한 프로세스의 플로우 다이어그램이다.
도 3은 본 개시의 구현예들에 따른 상기 모바일 자산으로부터의 기록된 비디오 데이터, 오디오 데이터, 및/또는 정보를 표시하기 위한 프로세스의 플로우 다이어그램이다.
도 4는 본 개시의 구현예들에 따른 상기 실시간 데이터 획득 및 기록 시스템의 360도 카메라의 예시적인 어안 뷰(fisheye view)를 예시하는 다이어그램이다.
도 5는 본 개시의 구현예들에 따른 상기 실시간 데이터 획득 및 기록 시스템의 360도 카메라의 예시적인 파노라마 뷰를 예시하는 다이어그램이다.
도 6은 본 개시의 구현예들에 따른 상기 실시간 데이터 획득 및 기록 시스템의 360도 카메라의 예시적인 4분할 뷰(quad view)를 예시하는 다이어그램이다.
도 7은 본 개시의 구현예들에 따른 상기 실시간 데이터 획득 및 기록 시스템의 360도 카메라의 예시적인 디워핑된 뷰(dewarped view)를 예시하는 다이어그램이다.
본 명세서에 개시된 실시간 데이터 획득 및 기록 시스템은 고가의 모바일 자산의 이벤트 및 동작 데이터, 비디오 데이터, 및 오디오 데이터와 같은 광범위한 데이터에 대한 실시간, 또는 준실시간 액세스를 자산 소유자, 운영자, 및 조사자와 같은 원격지 사용자에게 제공할 수 있다. 상기 데이터 획득 및 기록 시스템은 데이터 기록장치를 통해, 자산과 관련된 데이터를 기록하고, 사건 발생 전, 시건 발생 도중, 및 사건 발생 후에 원격 데이터 저장소 및 원격지 사용자에게 해당 데이터를 스트리밍한다. 데이터는 실시간, 또는 준실시간으로 원격 데이터 저장소로 스트리밍되어, 정보가 적어도 사건 발생 시점 또는 긴급 상황까지 사용 가능하도록 하여 자산을 포함한 사건을 조사하기 위해 "블랙 박스"를 찾거나 다운로드할 필요성을 제거하고, 또한 특정 데이터의 다운로드를 요청하고, 파일을 찾아 전송하며, 데이터를 보기(뷰하기) 위한 맞춤형 애플리케이션을 사용하기 위해 자산 상의 데이터 기록장치와 상호작용할 필요성을 제거한다. 본 개시의 시스템은 통상적인 기록 성능을 유지하며, 사건 발생 전, 사건 발생 도중, 및 사건 발생 후에 원격 데이터 저장소 및 원격지 엔드 유저(end user)에게 데이터를 스트리밍하는 능력을 추가한다. 방대한 다수의 상황에서, 데이터 기록장치에 기록된 정보는, 데이터가 이미 획득되어 원격 데이터 저장소에 저장되었기 때문에, 불필요하며 또한 요구되지도 않는다.
본 개시의 시스템 이전에는, 데이터가 사고 발생 후 "블랙 박스" 또는 "이벤트 기록장치"로부터 추출되고, 조사가 요구된다. "블랙 박스"에 의해 기록된 시간 세그먼트들을 포함하는 데이터 파일은 "블랙 박스"로부터 다운로드되어, 회수된 후 소유자의 소프트웨어를 구비한 사용자에 의해 보여져야 한다. 사용자는 자산에 대한 물리적 또는 원격 액세스를 획득하여, "블랙 박스"로부터 다운로드될 원하는 데이터를 선택하고, 원하는 정보를 포함하는 파일을 컴퓨팅 장치에 다운로드한 후, 해당 컴퓨팅 장치 상에서 동작하는 맞춤형 애플리케이션을 사용하여 원하는 데이터를 구비한 적합한 파일을 찾아야 한다. 본 개시의 시스템은 사용자가 이들 단계들을 수행하여야 하는 필요성을 제거하였으며, 단지 사용자는 자신이 원하는 데이터를 내비게이트하기 위한 공통 웹 브라우저를 사용하는 것만을 요구한다. 원격지 사용자는 자산의 동작 효율 및 안전을 실시간 또는 준실시간으로 보고 분석하기 위해, 선택된 자산과 관련된 원하는 데이터를 내비게이트하기 위한 공통 웹 브라우저를 액세스할 수 있다.
자산 소유자, 운영자, 및/또는 조사자와 같은 원격지 사용자는 자산의 동작 효율 및 안전을 실시간 또는 준실시간으로 보고 분석하기 위해, 거주하거나 및/또는 선택된 자산과 관련된 시간적으로 중요한(historic) 원하는 데이터를 내비게이트하기 위한 공통 웹 브라우저를 액세스할 수 있다. 실시간, 또는 준실시간으로 동작을 볼 수 있는 능력은 행동의 신속한 평가 및 조정을 가능하게 한다. 사고가 일어나는 동안, 예를 들어, 실시간 정보 및/또는 데이터는 상황의 우선순위를 분류하는 것을 촉진할 수 있고, 첫번째 응답자에게 귀중한 정보를 제공할 수 있다. 정상 동작 중에는, 예를 들어, 실시간 정보 및/또는 데이터가 승무원 업무를 감사(audit)하고, 네트워크 전체에 걸친 상황 인식을 도와주는데 사용될 수 있다.
본 개시의 시스템은 모바일 자산 내에서, 모바일 자산 상에서, 또는 모바일 자산 근처에서 데이터 획득 및 기록 시스템의 일부로서 360도 카메라를 사용한다. 본 개시의 시스템 이전에는, "블랙 박스" 및/또는 "이벤트 기록장치"가 모바일 자산 내에서, 모바일 자산 상에서, 또는 모바일 자산 근처에서 360도 카메라를 포함하고 있지 않았다. 본 개시의 시스템은, 모바일 자산을 포함하는 사건이 발생하기 전에, 발생하는 도중에, 및 발생한 후에 모바일 자산 내에서, 모바일 자산 상에서, 또는 모바일 자산 근처에서 360도 뷰를 원격 데이터 저장소, 원격 사용자, 및 조사자에게 제공하는 데이터 획득 및 기록 시스템의 일부로서 360도 카메라를 사용하여 비디오를 사용 및 기록하는 능력을 추가한다. 실시간, 또는 준실시간으로 동작 및/또는 360도 비디오를 보는 능력은 승무원 행동의 신속한 평가 및 조정을 가능하게 한다. 소유자, 운영자, 및 조사자는 동작 효율, 사람의 안전, 차량, 및 기반시설을 보고 분석할 수 있으며, 사건을 조사하거나 검사할 수 있다. 모바일 자산으로부터 360도 비디오를 볼 수 있는 능력은 승무원 행동의 신속한 평가 및 조정을 가능하게 한다. 사건 발생 도중, 예를 들어, 360도 비디오는 상황의 우선순위를 분류하는 것을 촉진할 수 있고, 첫번째 응답자 및 조사자에게 귀중한 정보를 제공할 수 있다. 정상 동작 도중에는, 예를 들어, 360도 비디오가 승무원 업무를 감사(audit)하고, 네트워크 전체에 걸친 상황 인식을 도와주는데 사용될 수 있다. 360도 카메라와 고정 카메라는, 법 집행 및/또는 철도 경찰(rail police)용 감시 비디오, 중요 기반 시설의 검사, 건널목의 모니터링, 뷰 추적 작업 진행상황, 택시 내부 및 야드(yard) 내 양자에서의 승무원 감사(auditing), 및 실시간 원격 감시를 제공하기 위해, 상황에 대한 완전한 픽처를 제공한다.
선행 시스템은 소유자의 소프트웨어 애플리케이션 또는 기타 다른 외부 비디오 재생 애플리케이션을 사용하여 비디오 파일을 보기(뷰잉하기) 위해 사용자가 시간 세그먼트를 구비한 비디오 파일을 다운로드하는 것을 요구하였다. 본 개시의 데이터 획득 및 기록 시스템은 가상 현실 장치의 사용 및/또는 표준 웹 클라이언트의 사용을 통해 원격 사용자에게 표시될 수 있는 360도 비디오 및 이미지 정보 및 오디오 정보를 제공하여, 비디오를 감시하기 위한 외부 애플리케이션을 다운로드하여 사용할 필요성을 제거한다. 또한, 원격지 사용자는 가상 현실 장치의 사용 및/또는 웹 브라우저와 같은 표준 웹 클라이언트의 사용을 통해 360도 비디오를 다양한 모드로 볼 수 있어서, 비디오를 감시하기 위한 외부 애플리케이션을 다운로드하여 사용할 필요성을 제거한다. 선행 비디오 시스템은 사용자가 개별적으로 구매하여야 했던 소유자의 애플리케이션 소프트웨어 또는 기타 다른 외부 비디오 재생 애플리케이션을 사용하여서만 볼 수 있었던 데이터의 시간 세그먼트를 포함하는 비디오 파일을 사용자가 다운로드하도록 요구하였다.
데이터는 모바일 자산 내에서, 모바일 자산 상에서, 또는 모바일 자산 근처에서의 다양한 위치에 위치된 카메라로부터의 비디오 및 이미지 정보와 모바일 자산 내에서, 모바일 자산 상에서, 또는 모바일 자산 근처에서의 다양한 위치에 위치된 마이크로폰으로부터의 오디오 정보를 포함할 수 있지만, 이에 제한되는 것은 아니다. 360도 카메라는 360도 구면 시야 및/또는 360도 반구면 시야를 제공하는 카메라이다. 자산 내에서, 자산 상에서, 또는 자산 근처에서 360도 카메라를 사용하는 것은 360도 카메라를 DARS의 일부로서 사용하여 비디오를 사용 및 기록하는 능력을 제공함으로써, 상기 자산 내에서, 상기 자산 상에서, 또는 상기 자산 근처에서의 360도 뷰가 사건 발생 전, 사건 발생 도중, 및 사건 발생 후에 원격 데이터 저장소, 원격지 사용자, 및 조사자에게 사용가능하도록 해준다.
도 1은 본 개시의 특징들이 구현될 수 있는 예시적인 실시간 데이터 획득 및 기록 시스템(DARS: 100)의 제 1 실시예의 현장 구현예를 예시한다. DARS(100)는 데이터 센터(132)를 통해 원격지 엔드 유저에게 모바일 자산(130) 상의 데이터 기록장치(108)로부터의 실시간 정보, 비디오 정보, 및 오디오 정보를 전달하는 시스템이다. 데이터 기록장치(108)는 차량 또는 모바일 자산(130) 상에 설치되어, 무선 게이트웨이/라우터(미도시)와 같은 유선 및/또는 무선 데이터 링크의 임의의 조합을 통해 임의의 수의 다양한 정보 소스들과 통신한다. 데이터 기록장치(108)는 내충격형 메모리 모듈(crash hardened memory module: 110), 탑재형 데이터 관리자(112), 및 데이터 인코더(114)를 포함한다. 제 2 실시예에서, 데이터 기록장치(108)는 또한 비내충격형(non-crash hardened) 메모리 모듈(미도시)을 포함할 수 있다. 예시적인 내충격형 메모리 모듈(110)은, 예를 들어, 미국연방규정집 및 미국연방철도국 규정을 준수하는 내충격성 이벤트(crahworthy event) 기록장치 메모리 모듈, 미국연방규정집 및 미국연방항공국 규정을 준수하는 충격시 존속가능 메모리 유닛, 임의의 적용 가능한 미국연방규정집을 준수하는 내충격형 메모리 모듈, 또는 본 발명 기술 분야에서 알려진 임의의 다른 적합한 내충격형 메모리 모듈일 수 있다. 유선 및/또는 무선 데이터 링크는 이산 신호 입력, 표준 또는 소유자의 이더넷, 직렬 연결, 및 무선 연결 중 어느 하나 또는 이들의 결합을 포함할 수 있다.
데이터 기록장치(108)는 자산 구성에 기초하여 가변될 수 있는 광범위한 다양한 소스로부터 탑재형 데이터 링크를 통해 비디오 데이터, 오디오 데이터, 및 기타 다른 데이터 및/또는 정보를 수집한다. 이러한 구현예에서, 데이터 기록장치(108)는 자산(130) 내에, 자산(130) 상에, 또는 자산(130) 근처에 위치된 360도 카메라(102) 및 고정 카메라(106)로부터의 비디오 데이터 및 오디오 데이터를 지속적으로 기록하는 비디오 관리 시스템(104)으로부터 데이터를 수신하며, 비디오 관리 시스템(104)은 비디오 및 오디오 데이터를 내충격형 메모리 모듈(110)에 저장하고, 또한 상기 비디오 및 오디오 데이터를 제 2 실시예의 비내충격형 제거 가능 저장 디바이스 내에 저장할 수 있다. 비디오 데이터의 상이한 버전들이 상이한 비트 속도 (bitrate) 또는 상이한 공간 해상도를 사용하여 생성되고, 이들 버전들이 섬네일, 5분 저해상도 세그먼트, 및 5분 고해상도 세그먼트와 같은 가변 길이의 세그먼트로 분리될 수 있다.
데이터 인코더(114)는 규제 기관에 의해 통상적으로 규정되는 적어도 최소 세트의 데이터를 인코드한다. 데이터 인코더(114)는 비디오 및 오디오 데이터를 비디오 관리 시스템(104)으로부터 수신하여, 데이터를 압축 또는 인코드하고, 원격 데이터 저장소(120)로의 효율적인 전송 및 복제를 촉진하기 위해 시간이 해당 데이터를 동기화한다. 데이터 인코더(114)는 인코드된 데이터를 탑재형 데이터 관리자(112)로 전송하고, 탑재형 데이터 관리자(112)는 원격지 사용자(134)에 의한 온-디맨드 요청에 응답하여 또는 상기 자산(130)에 탑재되어 관찰되는 소정의 동작 조건에 응답하여, 데이터 센터(132) 내에 위치된 원격 데이터 관리자(118)를 통해 인코드된 비디오 및 오디오 데이터를 송신한다. 탑재형 데이터 관리자(112) 및 원격 데이터 관리자(118)는 데이터 복제 프로세스를 관리하기 위해 함께 동작한다. 데이터 센터(132) 내의 원격 데이터 관리자(118)는 복수의 자산으로부터의 데이터의 복제를 관리할 수 있다. 원격 데이터 저장소(120) 내에 저장된 비디오 및 오디오 데이터는 원격지 사용자(134)가 액세스하도록 웹 서버(122)에서 사용 가능하다.
탑재형 데이터 관리자(112)는 또한 데이터를 대기 저장소(미도시)로 송신한다. 탑재형 데이터 관리자(112)는 내충격형 메모리 모듈(110), 및 선택사양인 제 2 실시예의 비내충격형 제거 가능 저장 디바이스 내에 저장된 비디오 및 오디오 데이터를 비디오 관리 시스템(104)에 의해 모니터하고, 준실시간 모드인지 또는 실시간 모드인지의 여부를 결정한다. 준실시간 모드에서, 탑재형 데이터 관리자(112)는 비디오 데이터, 오디오 데이터, 및 기타 다른 임의의 데이터 또는 정보를 포함하며, 데이터 인코더(114)로부터 수신된 인코드된 데이터, 및 내충격형 메모리 모듈(110)과 선택사양인 제 2 실시예의 비내충격형 제거 가능 저장 디바이스 내, 및 대기 저장소 내의 임의의 이벤트 정보를 저장한다. 5분간 인코드된 데이터가 대기 저장소 내에 축적된 후, 탑재형 데이터 관리자(112)는 5분간 인코드된 데이터를 무선 데이터 링크(116)를 통해 데이터 센터(132) 내의 원격 데이터 관리자(118)를 경유하여 원격 데이터 저장소(120)에 저장한다. 실시간 모드에서, 탑재형 데이터 관리자(112)는 비디오 데이터, 오디오 데이터, 및 기타 다른 임의의 데이터 또는 정보를 포함하며, 데이터 인코더(114)로부터 수신된 인코드된 데이터, 및 임의의 이벤트 정보를 무선 데이터 링크(116)를 통해 데이터 센터(132) 내의 원격 데이터 관리자(118)를 경유하여 원격 데이터 저장소(120)에 저장한다. 탑재형 데이터 관리자(112) 및 원격 데이터 관리자(118)는 다양한 무선 통신 링크에 걸쳐 통신할 수 있다. 무선 데이터 링크(116)는, 예를 들어, 무선랜(WLAN), 무선 도시지역망(Wireless metroplitan area network: WMAN), 무선광대역망(WWAN), 사설 무선 시스템, 셀룰러전화망(cellular telephone network) 또는 데이터 기록장치(108)로부터, 본 실시예에서의 원격 데이터 관리자(118)로 데이터를 전송하는 임의의 기타 다른 수단이 될 수 있다. 자산(130)으로부터 비디오 데이터 및 오디오 데이터를 원격으로 송신 및 회수하는 프로세스는 자산(130)과 데이터 센터(132) 간의 무선 데이터 연결을 필요로 한다. 무선 데이터 연결이 사용 가능하지 않은 경우, 데이터는, 무선 연결이 복구될 때까지, 내충격형 메모리 모듈(110)과 선택사양인 제 2 실시예의 비내충격형 제거 가능 저장 디바이스 내에 저장 및 대기된다. 비디오, 오디오, 및 기타 임의의 다른 추가적인 데이터 회수 프로세스가 무선 연결이 복구되자마자 재개된다.
데이터 기록과 병행하여, 데이터 기록장치(108)는 지속적으로 그리고 자동으로 원격 데이터 저장소(120)에 데이터를 복제한다. 복제 프로세스는 실시간 모드 및 준실시간 모드의 2가지 모드를 갖는다. 실시간 모드에서, 데이터는 매초마다 원격 데이터 저장소(120)에 복제된다. 준실시간 모드에서, 데이터는 매 5분마다 원격 데이터 저장소(120)에 복제된다. 준실시간 모드에 사용되는 속도는 변경가능하고, 실시간 모드에 사용되는 속도는 데이터를 매 0.10초마다 원격 데이터 저장소(120)에 복제함으로써,고해상도 데이터를 지원하도록 조정될 수 있다. 준실시간 모드는 데이터 복제 프로세스의 효율을 개선하기 위해 최상의 조건 하에서, 정상 동작 도중에 사용된다.
실시간 모드는 자산(130)에 탑재된 상태에서 발생하는 이벤트에 기초하거나 또는 데이터 센터(132)로부터 개시된 요청에 의해 개시될 수 있다. 실시간 모드에 대한 통상적인 데이터 센터(132)에 의해 개시된 요청은 원격지 사용자(134)가 웹 클라이언트(126)로부터 실시간 정보를 요청한 경우에 개시된다. 탑재 중인 자산(130)을 시작하기 위한 실시간 모드에 대한 통상적인 이유는 운영자가 데이터 기록장치(108)에 긴급 정지 요청, 긴급 제동 동작(braking activity), 임의 축(axis)에서의 신속한 가속 또는 감속, 또는 입력 파워의 손실과 같은 이벤트 또는 사건을 감지하는 경우이다. 준실시간 모드에서 실시간 모드로 전환하는 경우, 원격 저장소(120)에 아직 저장되지 않은 모든 데이터가 복제되어, 원격 저장소(120)에 저장된 후, 라이브 복제(live replication)가 개시된다. 준실시간 모드와 실시간 모드 간의 전환은 통상적으로 5초 미만 내에 발생한다. 이벤트 또는 사건이 발생한 다음 미리 정해진 시간의 양이 경과된 후, 미리 정해진 시간의 양의 비활동 상태가 경과된 후, 또는 사용자(134)가 자산(130)으로부터 더이상 실시간 정보를 원하는 않는 경우, 데이터 기록장치(108)는 준실시간 모드로 복귀한다. 전환의 개시에 요구되는 미리 정해진 시간의 양은 변경가능하며, 통상적으로 10분으로 설정된다.
데이터 기록장치(108)가 실시간 모드인 경우, 탑재형 데이터 관리자(112)는 그 대기열을 원격 데이터 관리자(118)로 비우도록 지속적으로 시도하여 데이터가 내충격형 메모리 모듈(110)과 선택사양인 제 2 실시예의 비내충격형 제거 가능 저장 디바이스에 저장되고, 동시에 데이터를 원격 데이터 관리자(118)에 송신한다.
데이터 기록장치(108)로부터 복제될 비디오 데이터, 오디오 데이터, 및 임의의 다른 데이터 또는 정보를 수신하면, 원격 데이터 관리자(118)는 데이터를 데이터 센터(132) 내의 원격 데이터 저장소(120)에 저장한다. 원격 데이터 저장소(120)는, 예를 들어, 클라우드 기반 저장장치 또는 임의의 기타 적합한 원격 데이터 저장장치일 수 있다. 데이터가 수신되면, 데이터 디코더(미도시)가 원격 데이터 저장소(120)로부터 최근에 복제된 데이터를 디코드하고, 디코드된 데이터를 원격 이벤트 감지장치(미도시)로 송신하도록 하는 프로세스가 개시된다. 원격 데이터 관리자(118)는 원격 데이터 저장소(120) 내에 차량 이벤트 정보를 저장한다. 원격 이벤트 감지장치가 디코드된 데이터를 수신하면, 해당 디코드된 데이터 내에 관심 이벤트가 발견되었는지를 결정하기 위해 디코드된 데이터를 처리한다. 그 후, 디코드된 정보가 데이터 내에서 자산(130)과 함께 발생한 이벤트, 사건, 또는 기타 다른 미리 규정된 상황을 감지하기 위해 원격 이벤트 감지장치에 의해 사용된다. 원격 데이터 저장소(120) 내에 이전에 저장된 디코드된 데이터로부터 관심 이벤트를 감지하면, 원격 이벤트 감지장치는 원격 데이터 저장소(120) 내에 이벤트 정보 및 지지 데이터를 저장한다.
사용자(134)에 의한 온-디맨드 요청에 응답하여 비디오 데이터, 오디오 데이터, 및 임의의 다른 데이터 또는 정보가 사용자(134)에게 사용 가능하고/가능하며, 상기 자산(130)에 탑재되어 관찰되는 소정의 동작 조건에 응답하여 탑재형 데이터 관리자(112)에 의해 원격 데이터 저장소(120)에 전송된다. 원격 데이터 저장소(120)에 저장된 비디오 데이터, 오디오 데이터, 및 임의의 다른 데이터 또는 정보는 사용자(134)가 액세스하도록 웹 서버(122) 상에서 사용 가능하다. 원격지 사용자(134)는, 웹 브라우저와 같은 표준 웹 클라이언트(126), 또는 본 구현예에서는 선택된 카메라의 섬네일 이미지를 표시할 수 있는 가상 현실 장치(128)를 사용하여, 원격 데이터 저장소(120) 내에 저장되어 있으며, 특정 자산(130), 또는 복수의 자산과 관련된 비디오 데이터, 오디오 데이터, 및 임의의 다른 데이터 또는 정보를 액세스할 수 있다. 웹 클라이언트(126)는 공통 웹 표준 프로토콜 및 기법을 사용하여 비디오, 오디오, 및/또는 기타 다른 정보에 대한 사용자(134)의 요청을 다른 네트워크(124)를 통해 웹 서버(122)로 전송한다. 네트워크(124)는, 예를 들어, 인터넷일 수 있다, 네트워크(124)는 또한 근거리통신망(LAN), 도시지역망(MAN), 광대역망(WAN), 가상 사설망(VPN), 셀룰러전화망, 또는 웹 서버(122)로부터 본 실시예에서의 웹 클라이언트(126)로 데이터를 전송하는 임의의 기타 다른 수단이 될 수 있다. 웹 서버(122)는 원격 데이터 저장소(120)로부터 원하는 데이터를 요청한다. 그 후, 웹 서버(122)는 표준 비디오 및 360도 비디오의 재생 및 실시간 표시를 제공하는 웹 클라이언트(126)에 요청된 데이터를 송신한다. 웹 클라이언트(126)는 뷰잉과 분석을 위해 360도 비디오 데이터와 상호작용할 수 있는 사용자(134)를 위해 비디오 데이터, 오디오 데이터, 및 기타 다른 데이터 또는 정보를 재생한다. 사용자(134)는 또한 웹 클라이언트(126)를 사용하여 비디오 데이터, 오디오 데이터, 및 기타 다른 데이터 또는 정보를 다운로드할 수 있으며, 그 후 뷰잉 및 분석을 위해 360도 비디오 데이터와 상호작용하기 위한 가상 현실 장치(128)를 사용할 수 있다.
웹 클라이언트(126)는 다양한 상이한 모드로 360도 비디오의 재생을 제공하는 소프트웨어 애플리케이션으로 개선될 수 있다. 사용자(134)는 상기 소프트웨어 애플리케이션이, 예를 들어, 도 4에 도시된 어안 뷰, 도 5에 도시된 파노라마 뷰, 이중 파노라마 뷰(미도시), 도 6에 도시된 4분할 뷰, 및 도 7에 도시된 디워핑된 뷰와 같은 비디오 재생을 제공하는 모드를 선택할 수 있다.
도 2는 본 개시의 구현예에 따른 자산(130)으로부터의 비디오 데이터, 오디오 데이터, 및/또는 정보를 기록하기 위한 프로세스(200)를 도시한 플로우 다이어그램이다. 비디오 관리 시스템(104)은 자산(130) 내, 자산(130) 상, 또는 자산(130) 근처의 360도 카메라(102) 및 고정 카메라(106)와 같은 다양한 입력 구성요소로부터 데이터 신호를 수신한다(202 단계). 그 후, 비디오 관리 시스템(104)은, 예를 들어, 정지 이미지, 섬네일, 정지 이미지 시퀀스, 또는 압축 비디오 포맷과 같은 산업 표준 포맷의 임의의 조합을 사용하여 내충격형 메모리 모듈(110)과 선택사양인 제 2 실시예의 비내충격형 제거 가능 저장 디바이스 내에 비디오 데이터, 오디오 데이터, 및/또는 정보를 저장한다(204 단계). 데이터 인코더(114)는 데이터 신호 정보를 구성 및 기록하는데 사용되는 구조화된 일련의 비트를 포함하는 기록을 생성한다(206 단계). 준실시간 모드에서, 비디오 관리 시스템(104)은, 단지 섬네일 또는 매우 짧은 저해상도 비디오 세그먼트와 같은 제한된 비디오 데이터를 오프보드 방식으로(off board) 원격 데이터 저장소(120)로 송신하면서, 비디오 데이터를 내충격형 메모리 모듈(110)과 선택사양인 제 2 실시예의 비내충격형 제거 가능 저장 디바이스 내로 저장한다(208 단계)
또 다른 구현예에서, 인코드된 기록은 시간 순서로 된 일련의 기록을 최대 5분간의 데이터를 포함하는 기록 블록으로 순차적으로 결합하는 탑재형 데이터 관리자(112)로 송신된다. 임시 기록 블록은 5분 미만의 데이터를 포함하는 반면, 전체 기록 블록은 완전한 5분간의 데이터를 포함한다. 각각의 기록 블록은, 데이터 완결성 체크를 포함하여, 포함된 신호를 완전히 디코드하는데 필요한 모든 데이터를 포함한다. 최소한, 기록 블록은 시작 기록과 함께 시작하고 종료 기록과 함께 종료한다.
인코드된 신호의 전부가 내충격형 메모리 모듈(110) 및 선택사양인 제 2 실시예의 비내충격형 제거 가능 저장 디바이스에 저장되는 것을 보장하기 위해, 데이터 기록장치(108)는 파워를 잃어야 하고, 탑재형 데이터 관리자(112)는 임시 기록 블록을 내충격형 메모리 모듈(110) 및 선택사양인 제 2 실시예의 비내충격형 제거 가능 저장 디바이스 내에 미리 정해진 속도로 저장하는데, 여기서 미리 정해진 속도는 변경가능하고/변경가능하거나, 가변적이다. 임시 기록 블록은 매초당 적어도 한번 저장되지만, 또한 매 1/10초마다 한번의 빈도로 저장될 수 있다. 임시 기록 블록이 저장되는 속도는 각 신호의 샘플링 속도에 좌우된다. 각각의 임시 기록 블록은 마지막 완전한 기록 블록 이후의 완전한 기록 세트를 포함한다. 내충격형 메모리 모듈(110)에 데이터를 저장하는 동안 데이터 기록장치(108)가 파워를 잃을 때 1초 이상의 데이터의 오류(corruption) 또는 손실을 방지하기 위해 각각의 임시 기록 블록을 기록하는 경우, 데이터 기록장치(108)는 내충격형 메모리 모듈(110) 내의 2개의 임시 저장장치 위치 사이에서 교대로 동작할 수 있다. 새로운 임시 기록 블록은 임시 내충격형 메모리 위치에 저장될 때마다, 해당 위치에 있는 이전에 저장된 기존의 임시 기록 블록을 덮어쓴다.
본 구현예에서, 데이터 기록장치(108)가 준실시간 모드에 있는 경우에는, 매 5분마다 탑재형 데이터 관리자(112)가 적어도 5분간의 인코드된 신호 데이터를 포함하는 완전한 기록 블록을 내충격형 메모리 모듈(110) 및 선택사양인 제 2 실시예의 비내충격형 제거 가능 저장 디바이스 내의 기록 세그먼트 내로 저장하고, 2년과 같은 미리 정해진 유지 기간 동안 원격 데이터 저장소(120) 내에 저장되도록 5분간의 비디오 데이터, 오디오 데이터, 및/또는 정보를 포함하는 완전한 기록 블록의 사본을 원격 데이터 관리자(118)로 송신한다. 내충격형 메모리 모듈(110) 및 선택사양인 제 2 실시예의 비내충격형 제거 가능 저장 디바이스는 가장 최신의 기록 블록들의 기록 세그먼트를, 본 구현예에서 데이터 기록장치(108)가 추가적인 24시간 버퍼를 갖도록 동작 및 비디오 데이터를 내충격형 메모리 모듈(110) 내에 저장하여야 하는 연방법에 의해 강제된(federally madated) 저장 기간인 강제 저장 기간 동안 저장하고, 그 후 덮어쓰기된다.
도 3은 웹 브라우저 또는 가상 현실 장치를 통해 모바일 자산(130)으로부터데이터 및/또는 정보를 보기(뷰잉하기) 위한 프로세스(300)를 도시한 플로우 다이어그램이다. 이벤트가 발생하거나, 원격지의 권한있는 사용자(134)가 웹 클라이언트(126)를 통해 내충격형 메모리 모듈(110) 내에 저장된 비디오 데이터의 세그먼트를 요청하는 경우, 탑재형 데이터 관리자(112)는, 이벤트에 따라, 비디오 데이터를 무선 데이터 링크(116)의 주어진 대역폭에서 사용가능한 최상의 해상도에서 비디오 데이터를 실시간으로 오프보드 방식으로 송신을 시작한다. 원격지 사용자(134)는 웹 클라이언트(126)를 통해 특정 뷰 모드에서 특정 비디오 및/또는 오디오 데이터에 대한 요청을 개시하고(302 단계), 웹 클라이언트(126)는 해당 요청을 네트워크(124)를 통해 웹 서버(122)로 전송한다. 웹 서버(122)는 원격 데이터 저장소(120)로부터 특정 비디오 및/또는 오디오 데이터를 요청하고, 요청된 특정 비디오 및/또는 오디오 데이터를 네트워크(124)를 통해 웹 클라이언트(126)로 송신한다(304 단계). 웹 클라이언트(126)는 사용자(134)에 의해 특정된 뷰 모드로 비디오 및/또는 오디오 데이터를 표시한다(306 단계). 그 후 사용자(134)는 가상 현실 장치(128) 상에서 보기(뷰잉하기) 위해 특정 비디오 및/또는 오디오 데이터를 다운로드한다. 또 다른 구현예에서, 실시간 모드 섬네일들이 먼저 1초 간격으로 송신되고, 그 후 저해상도 비디오의 짧은 세그먼트, 및 고해상도 비디오의 짧은 세그먼트의 순서로 송신된다.
설명의 간편성을 위해, 프로세스(200) 및 프로세스(300)는 일련의 단계들로 도시 및 기술된다. 그러나, 본 개시에 따른 단계들은 다양한 순서로 및/또는 동시에 발생할 수 있다. 또한, 본 개시에 따른 단계들은 본 개시에 제공 및 기술되지 않은 다른 단계들과 함께 발생할 수 있다. 나아가, 개시된 발명 대상에 따른 방법을 구현하기 위해 도시된 모든 단계들이 요구되는 것은 아니다.
본 개시가 소정의 실시예와 관련하여 기술되었지만, 본 개시가 개시된 실시예에 제한되는 것이 아니라, 그와는 반대로 첨부된 청구범위 내에 포함된 다양한 변형예들 및 균등한 배열들을 포함하도록 의도된 것이라는 점이 이해되어야 하며, 본 개시의 범위는 법률에 의해 허용되는 이러한 모든 변형예들 및 균등한 구조들을 포괄하도록 가장 넓은 해석에 부합되어야 한다.

Claims (7)

  1. 적어도 하나의 모바일 자산으로부터의 데이터를 표시하는 방법에 있어서,
    웹 서버를 사용하여, 상기 적어도 하나의 모바일 자산의 특정 멀티미디어 데이터에 대한 요청 및 상기 특정 멀티미디어 데이터의 특정 뷰 모드-여기서 상기 특정 뷰 모드는 어안 뷰 모드, 디워핑된 뷰 모드, 파노라마 뷰 모드, 이중 파노라마 뷰 모드, 및 4분할 뷰(quad view) 모드 중 하나임-에 대한 요청을 수신하는 단계;
    상기 웹 서버를 사용하여, 상기 적어도 하나의 모바일 자산의 상기 특정 멀티미디어 데이터를 원격 메모리 구성요소로부터 수신하는 단계;
    표시 장치를 사용하여, 상기 적어도 하나의 모바일 자산의 상기 특정 멀티미디어 데이터를 상기 특정 뷰 모드로 표시하는 단계;
    웹 클라이언트를 사용하여, 상기 요청에 대한 사용자로부터의 명령을 수신하는 단계; 및
    상기 웹 클라이언트를 사용하여, 상기 요청에 대한 상기 명령을 상기 웹 서버로 송신하는 단계
    를 포함하고,
    상기 웹 클라이언트는 360도 비디오 카메라를 포함하며,
    상기 360도 비디오 카메라는 상기 모바일 자산 내에서, 상기 모바일 자산 상에서 또는 상기 모바일 자산 근처에서, 상기 모바일 자산과 관련된 사건이 발생하기 이전, 상기 모바일 자산과 관련된 사건이 발생하는 도중 및 상기 모바일 자산과 관련된 사건이 발생한 이후의 360도 뷰를 기록하는 방법.
  2. 제 1항에 있어서,
    상기 요청은 원격 사용자에 의해 개시되거나 또는 상기 적어도 하나의 모바일 자산과 함께 발생하는 사건에 의해 개시되는 것 중 하나인 방법.
  3. 제 2항에 있어서,
    상기 사건은 상기 모바일 자산의 운영자에 의한 긴급 정지 요청의 개시, 긴급 제동 동작(braking activity), 상기 모바일 자산의 임의 축(axis)에서의 신속한 가속, 상기 모바일 자산의 임의 축에서의 신속한 감속, 및 상기 모바일 자산에 탑재된 데이터 기록장치에 대한 입력 파워의 손실 중 적어도 하나인 방법.
  4. 제 1항에 있어서,
    상기 요청은 무선 네트워크 연결 및 유선 네트워크 연결 중 하나를 통해 상기 웹 서버에 의해 수신되는 방법.
  5. 삭제
  6. 제 1항에 있어서,
    상기 표시 장치는 웹 클라이언트 및 가상 현실 장치 중 하나인 방법.
  7. 삭제
KR1020227029166A 2016-05-16 2017-05-16 실시간 데이터 획득 및 기록 시스템 뷰어 KR102632065B1 (ko)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201662337225P 2016-05-16 2016-05-16
US201662337227P 2016-05-16 2016-05-16
US201662337228P 2016-05-16 2016-05-16
US62/337,228 2016-05-16
US62/337,227 2016-05-16
US62/337,225 2016-05-16
US15/595,689 2017-05-15
US15/595,650 US9934623B2 (en) 2016-05-16 2017-05-15 Real-time data acquisition and recording system
US15/595,689 US10410441B2 (en) 2016-05-16 2017-05-15 Real-time data acquisition and recording system viewer
US15/595,650 2017-05-15
PCT/US2017/032968 WO2017201092A1 (en) 2016-05-16 2017-05-16 Real-time data acquisition and recording system viewer
KR1020187036574A KR102437051B1 (ko) 2016-05-16 2017-05-16 실시간 데이터 획득 및 기록 시스템 뷰어

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187036574A Division KR102437051B1 (ko) 2016-05-16 2017-05-16 실시간 데이터 획득 및 기록 시스템 뷰어

Publications (2)

Publication Number Publication Date
KR20220123145A KR20220123145A (ko) 2022-09-05
KR102632065B1 true KR102632065B1 (ko) 2024-02-01

Family

ID=60295262

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227029166A KR102632065B1 (ko) 2016-05-16 2017-05-16 실시간 데이터 획득 및 기록 시스템 뷰어
KR1020187036574A KR102437051B1 (ko) 2016-05-16 2017-05-16 실시간 데이터 획득 및 기록 시스템 뷰어

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187036574A KR102437051B1 (ko) 2016-05-16 2017-05-16 실시간 데이터 획득 및 기록 시스템 뷰어

Country Status (13)

Country Link
US (2) US10410441B2 (ko)
EP (1) EP3458972A4 (ko)
JP (2) JP2019522400A (ko)
KR (2) KR102632065B1 (ko)
CN (2) CN114610692A (ko)
AU (2) AU2017268273B2 (ko)
BR (1) BR112018073637B1 (ko)
CA (2) CA3146281C (ko)
CL (2) CL2018003236A1 (ko)
MX (1) MX2018014070A (ko)
RU (2) RU2021128790A (ko)
WO (1) WO2017201092A1 (ko)
ZA (2) ZA201807694B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108011966B (zh) * 2017-12-14 2021-07-06 广东金赋科技股份有限公司 一种自助终端日志压缩上传的优化方法
CN108401135B (zh) * 2018-01-11 2020-05-15 蔚来汽车有限公司 充换电站监控视频数据处理方法和装置
US10339384B2 (en) 2018-02-07 2019-07-02 Structionsite Inc. Construction photograph integration with 3D model images
US10791268B2 (en) 2018-02-07 2020-09-29 Structionsite Inc. Construction photograph integration with 3D model images
IT201800004989A1 (it) * 2018-05-02 2019-11-02 Sistema per la produzione, la distribuzione e il consumo di contenuti nel settore agroalimentare
US10467758B1 (en) 2018-07-13 2019-11-05 Structionsite Inc. Imagery-based construction progress tracking
CN109448160B (zh) * 2018-09-04 2021-04-06 杭州电子科技大学 一种车辆信息采集系统
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN113194275B (zh) * 2021-04-30 2022-12-27 重庆天智慧启科技有限公司 一种监控图像预览系统
CN116506673B (zh) * 2023-06-30 2023-09-12 安格利(成都)仪器设备有限公司 一种音像记录与检测设备数据同步联动及声控检索方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160131483A1 (en) * 2012-04-13 2016-05-12 Lawrence B. Jordan Mobile Asset Data Recorder and Transmitter

Family Cites Families (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5065321A (en) 1989-06-15 1991-11-12 Pulse Electronics, Inc. Solid state event recorder
JP2785220B2 (ja) 1992-09-22 1998-08-13 ソニー株式会社 データ符号化装置および方法、並びにデータ復号化装置および方法
US5440336A (en) 1993-07-23 1995-08-08 Electronic Data Systems Corporation System and method for storing and forwarding audio and/or visual information on demand
US5377497A (en) 1993-12-17 1995-01-03 Lennox Industries Inc. Timed-off control apparatus and method
US5638299A (en) 1995-06-22 1997-06-10 Miller; Keith Light weight, self-contained programmable data-acquisition system
US5627508A (en) 1996-05-10 1997-05-06 The United States Of America As Represented By The Secretary Of The Navy Pilot vehicle which is useful for monitoring hazardous conditions on railroad tracks
US6109532A (en) 1997-04-17 2000-08-29 Dayton-Phoenix Group, Inc. Locomotive cab heating system
US6263268B1 (en) 1997-08-26 2001-07-17 Transcontech Corporation System and method for providing mobile automotive telemetry
US7131136B2 (en) 2002-07-10 2006-10-31 E-Watch, Inc. Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals
US6392692B1 (en) * 1999-02-25 2002-05-21 David A. Monroe Network communication techniques for security surveillance and safety system
US20020026321A1 (en) 1999-02-26 2002-02-28 Sadeg M. Faris Internet-based system and method for fairly and securely enabling timed-constrained competition using globally time-sychronized client subsystems and information servers having microsecond client-event resolution
US6154636A (en) 1999-05-14 2000-11-28 Harris Corporation System and method of providing OOOI times of an aircraft
US6611755B1 (en) 1999-12-19 2003-08-26 Trimble Navigation Ltd. Vehicle tracking, communication and fleet management system
WO2001063314A1 (en) 2000-02-23 2001-08-30 Nexterna, Inc. Synchronized global positioning system solution
US7003289B1 (en) * 2000-04-24 2006-02-21 Usa Technologies, Inc. Communication interface device for managing wireless data transmission between a vehicle and the internet
DE60135567D1 (de) * 2000-10-11 2008-10-09 United Video Properties Inc Systeme und verfahren zur bereitstellung von datenspeichern in servern in einem medien-auf-anfrage liefersystem
JP4514364B2 (ja) * 2001-05-25 2010-07-28 Ｈｏｙａ株式会社 インターネットカメラおよびインターネットカメラの制御方法
US20030152145A1 (en) * 2001-11-15 2003-08-14 Kevin Kawakita Crash prevention recorder (CPR)/video-flight data recorder (V-FDR)/cockpit-cabin voice recorder for light aircraft with an add-on option for large commercial jets
US6892167B2 (en) 2001-11-28 2005-05-10 Sypris Data Systems, Inc. Real-time data acquisition and storage network
US20040027255A1 (en) 2002-03-01 2004-02-12 Greenbaum Myron H. Wideband avionics data retrieval system
US7761544B2 (en) 2002-03-07 2010-07-20 Nice Systems, Ltd. Method and apparatus for internal and external monitoring of a transportation vehicle
US7359821B1 (en) 2002-06-11 2008-04-15 Injury Sciences Llc Methods and apparatus for using black box data to analyze vehicular accidents
EP1547367A4 (en) 2002-08-26 2005-11-16 Joseph J Mazzilli AUTOMOBILE VIDEO CAMERA SYSTEM HAVING 360 DEGREES COVER
ES2375957T3 (es) 2002-11-11 2012-03-07 Aeromechanical Services Ltd Sistema de gestión de datos de vuelo de aeronave y método correspondiente.
ITBO20020724A1 (it) 2002-11-15 2004-05-16 L E A T S R L Metodo e sistema per l'acquisizione e la registrazione di dati relativi allo spostamento di un veicolo
US7781172B2 (en) 2003-11-21 2010-08-24 Kimberly-Clark Worldwide, Inc. Method for extending the dynamic detection range of assay devices
US7012520B2 (en) 2003-06-17 2006-03-14 Infraegis, Inc. Global intelligent remote detection system
WO2005069203A2 (en) 2004-01-09 2005-07-28 United Parcel Service Of America, Inc. System, method and apparatus for capturing telematics data with an active rfid tag
US7756617B1 (en) 2004-01-15 2010-07-13 David LeBaron Morgan Vehicular monitoring system
US20050240343A1 (en) * 2004-04-23 2005-10-27 Schmidt Peter E Ii Portable wireless device utilization for telematics purposes
US7483810B2 (en) 2004-06-29 2009-01-27 Honeywell International Inc. Real time event logging system
US7899492B2 (en) * 2004-07-16 2011-03-01 Sellerbid, Inc. Methods, systems and apparatus for displaying the multimedia information from wireless communication networks
US8207964B1 (en) * 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
US9576404B2 (en) 2004-09-16 2017-02-21 Harris Corporation System and method of transmitting data from an aircraft
US7620374B2 (en) 2004-09-16 2009-11-17 Harris Corporation System and method of transmitting data from an aircraft
WO2006044476A2 (en) 2004-10-12 2006-04-27 Robert Vernon Vanman Method of and system for mobile surveillance and event recording
US8369264B2 (en) 2005-10-28 2013-02-05 Skyhook Wireless, Inc. Method and system for selecting and providing a relevant subset of Wi-Fi location information to a mobile client device so the client device may estimate its position with efficient utilization of resources
US7782365B2 (en) * 2005-06-02 2010-08-24 Searete Llc Enhanced video/still image correlation
WO2006128124A2 (en) 2005-05-27 2006-11-30 Panoptic Systems, Inc. Total awareness surveillance system
US20060276943A1 (en) * 2005-06-01 2006-12-07 Polar Industries, Inc. Systems and methods for data processing and control in a transportation system
US7302323B2 (en) 2005-06-01 2007-11-27 Polar Industries, Inc. Transportation data recording system
US20070005333A1 (en) * 2005-06-30 2007-01-04 Benard Setiohardjo Analog tape emulation
PL3364626T3 (pl) 2005-08-11 2021-12-13 Wi-Tronix, Llc Uniwersalny system rejestrowania zdarzeń/danych
JP2007076404A (ja) * 2005-09-12 2007-03-29 Sony Ericsson Mobilecommunications Japan Inc 車両用データ取得システムおよび車両用データ取得装置
US8942426B2 (en) 2006-03-02 2015-01-27 Michael Bar-Am On-train rail track monitoring system
US7440848B2 (en) 2006-05-30 2008-10-21 Horizon Marine Methods and systems for integrating environmental data with mobile asset tracking
CN101056397A (zh) * 2006-08-01 2007-10-17 上海中策工贸有限公司 汽车视频旅游系统
CN101123865A (zh) * 2006-08-07 2008-02-13 陈清甫 汽车多媒体信息系统
US7843335B2 (en) 2007-03-13 2010-11-30 Blackbird Technologies, Inc. Mobile asset tracking unit, system and method
US8798148B2 (en) 2007-06-15 2014-08-05 Physical Optics Corporation Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation
CN100514382C (zh) * 2007-12-26 2009-07-15 钱雄 车辆无线监控系统
US8231270B2 (en) 2008-01-03 2012-07-31 Concaten, Inc. Integrated rail efficiency and safety support system
WO2009097449A1 (en) 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
EP2300299B1 (en) 2008-06-17 2017-01-18 Weir - Jones Engineering Consultants Ltd. System and method for detecting rock fall
US20100023201A1 (en) 2008-07-24 2010-01-28 David Scott Kinney Method and apparatus for obtaining vehicle data
JP5530146B2 (ja) * 2009-09-30 2014-06-25 富士通テン株式会社 データ管理装置、データ読取方法及びプログラム
GB201008710D0 (en) * 2010-05-25 2010-07-07 Jaguar Cars Vehicle communications
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
CN102123274B (zh) 2011-03-11 2013-03-13 广州国联通信有限公司 一种具有分散存储功能的车载视频监控系统
US8625878B2 (en) 2011-04-15 2014-01-07 International Business Machines Corporation Method and system of rail component detection using vision technology
KR101297237B1 (ko) * 2011-10-24 2013-08-16 주식회사 엘지씨엔에스 재난 감시 시스템 및 방법
US8768534B2 (en) 2011-11-14 2014-07-01 Arinc Incorporated Method and apparatus for using electronic flight bag (EFB) to enable flight operations quality assurance (FOQA)
US9049433B1 (en) 2012-01-06 2015-06-02 John H. Prince High-speed railroad inspection using coordinated 3D cameras
JP6139094B2 (ja) * 2012-02-16 2017-05-31 ミドリ安全株式会社 作業画像監視システム
US20150009331A1 (en) 2012-02-17 2015-01-08 Balaji Venkatraman Real time railway disaster vulnerability assessment and rescue guidance system using multi-layered video computational analytics
IN2012DE00720A (ko) 2012-03-13 2015-08-21 Ge Aviat Systems Llc
US9050984B2 (en) 2012-04-20 2015-06-09 International Business Machines Corporation Anomalous railway component detection
US20130307693A1 (en) 2012-05-20 2013-11-21 Transportation Security Enterprises, Inc. (Tse) System and method for real time data analysis
US9260122B2 (en) 2012-06-06 2016-02-16 International Business Machines Corporation Multisensor evidence integration and optimization in object inspection
US9003052B2 (en) 2012-07-09 2015-04-07 The Boeing Company System and method for air-to-ground data streaming
US20140052315A1 (en) 2012-08-17 2014-02-20 Siemens Industry, Inc. Railway train data recorder with parallel remote online incident data storage
KR20140065725A (ko) * 2012-11-20 2014-05-30 동의대학교 산학협력단 차량용 블랙박스 영상 정보의 통합 관리 시스템 및 방법
US10791315B2 (en) * 2013-01-04 2020-09-29 Qualcomm Incorporated Signaling of spatial resolution of depth views in multiview coding file format
US20140285337A1 (en) 2013-03-21 2014-09-25 Mark Anthony Gebhardt Automobile Alert System for Recording and Communicating Incidents to Remote Monitoring Devices
JP6355234B2 (ja) * 2013-04-09 2018-07-11 株式会社ユピテル 画像記録装置、画像記録システム、及びプログラム
US9346476B2 (en) 2013-09-27 2016-05-24 Herzog Technologies, Inc. Track-data verification
US20150221141A1 (en) 2014-02-05 2015-08-06 Alfredo Oscar NEGRITTO Flight data recorder with web access in real time
KR101559893B1 (ko) 2014-02-14 2015-10-14 주식회사 시스토 스마트폰을 이용한 차량용 블랙박스 제어 시스템 및 그 방법
US9260199B2 (en) 2014-02-25 2016-02-16 Honeywell International Inc. Aircraft data processing and transmission system
KR101569520B1 (ko) * 2014-03-13 2015-11-17 재단법인 다차원 스마트 아이티 융합시스템 연구단 차량용 블랙박스의 영상 저장 방법
FR3019414B1 (fr) 2014-03-31 2017-09-08 Sagem Defense Securite Procede de transmission en vol de donnees de type boite noire
US9875661B2 (en) * 2014-05-10 2018-01-23 Aurora Flight Sciences Corporation Dynamic collision-avoidance system and method
US9460566B2 (en) 2014-05-20 2016-10-04 Wabtec Holding Corp. Data recorder system and unit for a vehicle
KR20150142847A (ko) * 2014-06-12 2015-12-23 주식회사그린티 모자이크 처리된 블랙박스 영상의 공유 시스템
US9434397B2 (en) 2014-08-05 2016-09-06 Panasec Corporation Positive train control system and apparatus therefor
US9872250B2 (en) 2014-09-04 2018-01-16 The Boeing Company Data acquisition node and method of operating same
US10553120B2 (en) 2014-09-15 2020-02-04 L3 Technologies, Inc. Fail safe aircraft monitoring and tracking
US20150225002A1 (en) 2015-04-22 2015-08-13 Electro-Motive Diesel, Inc. Railway inspection system
US9934623B2 (en) * 2016-05-16 2018-04-03 Wi-Tronix Llc Real-time data acquisition and recording system
US10392038B2 (en) * 2016-05-16 2019-08-27 Wi-Tronix, Llc Video content analysis system and method for transportation system
US10242714B2 (en) * 2016-12-19 2019-03-26 Microsoft Technology Licensing, Llc Interface for application-specified playback of panoramic video
EP3652721A1 (en) * 2017-09-04 2020-05-20 NNG Software Developing and Commercial LLC A method and apparatus for collecting and using sensor data from a vehicle
EP3714422A4 (en) * 2018-01-02 2021-01-20 Xirgo Technologies, LLC IMPROVED CAMERA CARPASSING

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160131483A1 (en) * 2012-04-13 2016-05-12 Lawrence B. Jordan Mobile Asset Data Recorder and Transmitter

Also Published As

Publication number Publication date
CA3024348A1 (en) 2017-11-23
BR112018073637A2 (pt) 2019-02-26
EP3458972A4 (en) 2020-01-22
CL2018003236A1 (es) 2019-03-29
RU2757175C2 (ru) 2021-10-11
CN114610692A (zh) 2022-06-10
RU2021128790A (ru) 2021-11-23
CL2020002083A1 (es) 2020-12-18
AU2021204819A1 (en) 2021-08-05
CA3146281A1 (en) 2017-11-23
ZA201807694B (en) 2022-08-31
JP2022184993A (ja) 2022-12-13
US10410441B2 (en) 2019-09-10
US20170330398A1 (en) 2017-11-16
KR102437051B1 (ko) 2022-08-26
EP3458972A1 (en) 2019-03-27
CN109328345A (zh) 2019-02-12
KR20190012185A (ko) 2019-02-08
US11055935B2 (en) 2021-07-06
WO2017201092A1 (en) 2017-11-23
CN109328345B (zh) 2022-04-05
ZA201907636B (en) 2022-08-31
MX2018014070A (es) 2019-09-02
BR112018073637B1 (pt) 2024-03-05
AU2017268273B2 (en) 2021-08-12
JP2019522400A (ja) 2019-08-08
KR20220123145A (ko) 2022-09-05
CA3146281C (en) 2023-08-22
RU2018144324A3 (ko) 2020-09-24
US20190244447A1 (en) 2019-08-08
AU2021204819B2 (en) 2022-11-24
RU2018144324A (ru) 2020-06-17
BR112018073637A8 (pt) 2023-01-24
AU2017268273A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
KR102632065B1 (ko) 실시간 데이터 획득 및 기록 시스템 뷰어
US10445951B2 (en) Real-time data acquisition and recording system
US11423706B2 (en) Real-time data acquisition and recording data sharing system
CA3102127C (en) Real-time data acquisition and recording data sharing system
RU2786372C2 (ru) Система совместного использования данных для получения и записи данных в реальном времени
EP3803607A1 (en) Real-time data acquisition and recording data sharing system

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant