KR20200042420A - 적응가능 비히클 모니터링 시스템 - Google Patents
적응가능 비히클 모니터링 시스템 Download PDFInfo
- Publication number
- KR20200042420A KR20200042420A KR1020190126153A KR20190126153A KR20200042420A KR 20200042420 A KR20200042420 A KR 20200042420A KR 1020190126153 A KR1020190126153 A KR 1020190126153A KR 20190126153 A KR20190126153 A KR 20190126153A KR 20200042420 A KR20200042420 A KR 20200042420A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- subsystem
- context
- data
- current
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 claims description 122
- 230000001149 cognitive effect Effects 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000010801 machine learning Methods 0.000 claims description 19
- 239000000446 fuel Substances 0.000 claims description 12
- 230000036541 health Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 17
- 230000009471 action Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 230000007704 transition Effects 0.000 description 13
- 230000004438 eyesight Effects 0.000 description 12
- 239000012636 effector Substances 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000272470 Circus Species 0.000 description 1
- 241000414697 Tegra Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000013022 venting Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D43/00—Arrangements or adaptations of instruments
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
- G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
- G05B23/0232—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on qualitative trend analysis, e.g. system evolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D2045/0085—Devices for aircraft health monitoring, e.g. monitoring flutter or vibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
적응 가능한 비히클 모니터링 시스템이 개시된다. 시스템은 상태 모니터링 서브시스템 및 피드백 서브시스템을 갖는 코어 플랫폼을 포함한다. 코어 플랫폼은 인지 서브시스템, 지식 획득 서브시스템 및 사용자 인터페이스를 상호연결한다. 인지 서브시스템은 비히클의 계기로부터 현재 비히클 상태 데이터를 획득하도록 구성된다. 지식 획득 서브시스템은 현재 비히클 콘텍스트를 결정하도록 구성된 콘텍스트 인식 서브시스템을 포함한다. 상태 모니터링 서브시스템은 비히클 상태 데이터 및 비히클 콘텍스트에 적어도 부분적으로 기초하여 현재 비히클 상태를 도출하도록 구성된다. 지식 획득 서브시스템은 현재 비히클 상태 데이터, 현재 비히클 컨텍스트 및 현재 비히클 상태를 저장하도록 구성된 데이터베이스 서브시스템을 더 포함한다. 트렌드 모니터링 서브시스템은 하나 이상의 트렌드를 식별하기 위해 하나 이상의 저장된 비히클 상태 데이터, 저장된 비히클 컨텍스트 및 저장된 비히클 상태를 분석하도록 구성된다. 피드백 서브시스템은 현재 비히클 상태 및/또는 현재 트렌드와 예상 비히클 상태 및/또는 이전에 식별된 트렌드 사이의 비교에 적어도 부분적으로 기초하여, 조작자를 준비시키고 사용자 인터페이스를 통해 조작자 피드백을 전달하도록 구성된다.
Description
본 발명은 비히클 모니터링 시스템에 관한 것으로, 보다 상세하게는 상이한 유형의 비히클에 적응가능한 비히클 모니터링 시스템에 관한 것이다.
비히클 모니터링은 (오프라인 분석, 품질 보증 또는 기록 유지를 위한) 데이터 기록 기능으로서 및/또는 비히클에 온보드된 (예를 들어, 엔진과 같은) 특정 서브시스템에 특화된 건전성 및 사용 모니터링 시스템(health and usage monitoring system, HUMS) 기능으로서 수행될 수 있다. 실시간 모니터링은 (예를 들어, 작동 페이즈, 체크리스트 실행 등의) 비히클 작동 및/또는 조작자 인식이나 행동이 필요할 수 있는 기타 기능을 고려하지 않을 수 있다.
비히클 모니터링 시스템은 전체적인 비히클 "상태(state)"에 대한 콘텍스트 또는 인식이 부족할 수 있다. 예를 들어, 위치, 체크리스트 내의 단계, 체크리스트 실행 상태, 및/또는 비히클의 위치, 스위치 및 제어 스테이터스(control status) 및/또는 (예를 들어, 공항, 항구, 주유소, 웨이포인트(waypoint)와 같은) 미션의 지리적 특징에 대한 위치 측면에서의 비히클의 구성, 및/또는 기타 비히클. 해당되는 경우 온보드 모니터링 시스템에 의한 '상태 인식' 부족으로 인해, 조작자에 의해 식별되지 않는 한, 조작자에게 에러에 대한 경고가 표시(display)되지 않을 수 있고, 위험하고 안전하지 않고 및/또는 바람직하지 않은 트렌드가 무시될 수 있다.
본 발명은 비히클 모니터링 시스템에 관한 것으로, 보다 상세하게는, 상이한 유형의 비히클에 적응가능한 비히클 모니터링 시스템에 관한 것이다.
제1 양상에 따르면, 비히클을 작동시키기 위해 조작자 피드백을 제공하기 위한 적응가능(adaptable) 비히클 모니터링 시스템으로서, 상기 시스템은: 현재 비히클 콘텍스트를 결정하도록 구성된 콘텍스트 인지 서브시스템으로서, 상기 현재 비히클 콘텍스트는 비히클의 작동 모드를 반영하는, 콘텍스트 인지 서브시스템; 현재 비히클 상태 데이터에 적어도 부분적으로 기초하여 현재 비히클 상태를 도출하도록 구성된 상태 모니터링 서브시스템; 상태 모니터링 서브시스템과 작동가능하게 결합된 피드백 서브시스템; 및 준비된 조작자 피드백을 제공하도록 구성된 사용자 인터페이스;를 포함하고, 상태 모니터링 서브시스템은, 비히클의 적어도 하나의 파라미터의 함수로서 비히클 상태 데이터를 현재 비히클 컨텍스트와 상관시키도록 구성된 지식 획득 서브시스템과 작동가능하게 결합되고, 상태 모니터링 서브시스템은 현재 비히클 상태 데이터와 현재 비히클 콘텍스트를 분석하여 하나 이상의 트렌드를 식별하도록 구성되고, 피드백 서브시스템은 현재 비히클 상태와 예상 비히클 상태 사이의 비교에 적어도 부분적으로 기초하여 조작자 피드백을 준비하도록 구성되고, 예상 비히클 상태는 하나 이상의 저장된 비히클 상태와 하나 이상의 트렌드에 적어도 부분적으로 기초하여 도출된다.
특정 양상에서, 상태 모니터링 서브시스템은 하나 이상의 트렌드를 식별하기 위해 유사한 유형의 비히클로부터의 저장된 비히클 상태 데이터 및 저장된 비히클 콘텍스트를 분석하도록 더 구성된다.
특정 양상에서, 상기 시스템은 비히클 내에 위치된 계기로부터 현재 비히클 상태 정보를 시각적으로 획득(acquire)하도록 구성된 복수의 카메라를 갖는 인지 서브시스템을 더 포함한다.
특정 양상에서, 상기 시스템은 비히클 조종실 내에 위치된 계기로부터 현재 비히클 상태 정보를 시각적으로 획득하도록 구성된 복수의 카메라를 갖는 인지 서브시스템을 더 포함한다.
특정 양상에서, 계기는 연료 게이지, 온도 게이지, 풍속 게이지(wind gauge), 주행 기록계(odometer), 압력 게이지, 고도계(altimeter), 속도계(speedometer), 대기 속도계(airspeed indicator), 수직 속도계(vertical speed indicator), 나침반, 자이로스코프, 자세계(attitude indicator), 방위계(heading indicator), 선회계(turn indicator) 또는 내비게이션 시스템 중 하나 이상을 포함한다.
특정 양상에서, 조작자 피드백은 예상 비히클 상태와 현재 비히클 상태 사이의 편차가 미리 결정된 임계(threshold)를 초과하면 경고하는 것을 포함한다.
특정 양상에서, 현재 비히클 콘텍스트는 비히클 유형, 비히클 작동 핸드북, 표준 비히클 작동 절차, 조작자 입력, 미션 파라미터, 비히클 목적지, 현재 비히클 상태 데이터, 저장된 비히클 상태 데이터, 비히클 포지션, 외부 환경 및 저장된 트렌드 중 하나 이상에 적어도 부분적으로 기초하여 결정된다.
특정 양상에서, 비히클 모니터링 시스템(100)은 상이한 유형의 비히클과 호환 가능하며, 디지털 파일 내의 인코딩된 정보에 적어도 부분적으로 기초하여 상이한 유형의 비히클에 적응될 수 있다.
특정 양상에서, 인코딩된 정보는 비히클 유형, 비히클 레이아웃, 비히클 계기 및 비히클 성능 중 하나 이상을 포함한다.
특정 양상에서, 분석된 저장된 비히클 상태 데이터, 저장된 비히클 콘텍스트 및 저장된 비히클 상태는 디지털 파일 내의 인코딩된 비히클 유형에 대응한다.
특정 양상에서, 상태 모니터링 서브시스템은 머신 러닝 기술을 사용하여 하나 이상의 트렌드를 식별한다.
특정 양상에서, 적응가능 비히클 모니터링 시스템은 비히클의 계기로부터 현재 비히클 상태 정보를 시각적으로 획득하도록 구성된 인지 서브시스템(perception subsystem)을 더 포함한다.
특정 양상에서, 사용자 인터페이스는 휴먼 머신 인터페이스(HMI)이다.
특정 양상에서, HMI는 태블릿을 포함한다.
특정 양상에서, 비히클은 항공 비히클이다.
특정 양상에서, 인지 서브시스템은 유선 또는 무선 연결을 통해 비히클 계기들과 통신함으로써 현재 비히클 상태 데이터를 획득한다.
특정 양상에서, 인지 서브시스템은 데이터 기록기를 사용하여 비히클 계기와 인터페이스한다.
제2 양상에 따르면, 비히클을 작동시키기 위해 조작자 피드백을 제공하는 방법으로서, 상기 방법은: 현재 비히클 콘텍스트를 결정하는 단계로서, 현재 비히클 콘텍스트는 비히클의 작동 모드를 반영하는, 단계; 현재 비히클 상태 데이터에 적어도 부분적으로 기초하여 현재 비히클 상태를 도출하는 단계; 비히클의 적어도 하나의 파라미터의 함수로서 비히클 상태 데이터를 현재 비히클 콘텍스트과 상관시키는 단계; 하나 이상의 트렌드를 식별하도록 현재 비히클 상태 데이터와 현재 비히클 콘텍스트를 분석하는 단계; 현재 비히클 상태와 예상 비히클 상태 사이의 비교에 적어도 부분적으로 기초하여 조작자 피드백을 준비하는 단계로서, 예상 비히클 상태는 하나 이상의 저장된 비히클 상태 및 하나 이상의 트렌드에 적어도 부분적으로 기초하여 도출되는, 단계; 및 사용자 인터페이스를 통해 준비된 조작자 피드백을 생성하는 단계(126);를 포함한다.
특정 양상에서, 하나 이상의 트렌드는 유사한 유형의 비히클로부터의 저장된 비히클 상태 데이터, 저장된 비히클 콘텍스트 및 저장된 비히클 상태를 사용하여 식별된다.
특정 양상에서, 현재 비히클 상태 데이터는 비히클 조종실 내의 계기들로부터 데이터를 수집하도록 구성된 복수의 카메라를 사용하여 획득된다(acquired).
특정 양상에서, 현재 비히클 상태 데이터는 비히클 내의 계기들로부터 데이터를 수집하도록 구성된 복수의 센서들을 사용하여 획득된다.
특정 양상에서, 비히클 계기는 연료 게이지, 온도 게이지, 풍속 게이지, 주행 기록계, 압력 게이지, 고도계, 속도계, 대기 속도계, 수직 속도계, 나침반, 자이로스코프, 자세계, 방위계, 선회계 또는 내비게이션 시스템 중 하나 이상을 포함한다.
특정 양상에서, 조작자 피드백은 예상 비히클 상태와 현재 비히클 상태 사이의 편차가 미리 결정된 임계를 초과하면 경고하는 것을 포함한다.
특정 양상에서, 비히클 모니터링 시스템은 상이한 유형의 비히클과 호환 가능하며, 상기 방법은 디지털 파일 내의 인코딩된 정보에 적어도 부분적으로 기초하여 상이한 유형의 비히클에 적응시키는 단계를 더 포함한다.
특정 양상에서, 인코딩된 정보는 비히클 유형, 비히클 레이아웃, 비히클 계기 및 비히클 성능 중 하나 이상을 포함한다.
특정 양상에서, 머신 러닝 기술은 하나 이상의 트렌드를 식별하기 위해 사용된다.
특정 양상에서, 상기 방법은 비히클의 계기들로부터 현재 비히클 상태 데이터를 획득하는 단계를 더 포함한다.
특정 양상에서, 사용자 인터페이스는 휴먼 머신 인터페이스(HMI)이다.
특정 양상에서, HMI는 태블릿을 포함한다.
특정 양상에서, 비히클은 항공 비히클이다.
특정 양상에서, 현재 비히클 상태 데이터는 유선 또는 무선 연결을 통해 비히클 계기들과 통신함으로써 획득된다.
특정 양상에서, 현재 비히클 상태 데이터는 데이터 기록기를 사용하여 비히클 계기들과 인터페이스함으로써 획득된다.
특정 양상에서, 현재 비히클 콘텍스트는 비히클 유형, 비히클 작동 핸드북, 표준 비히클 작동 절차, 조작자 입력, 미션 파라미터, 비히클 목적지, 현재 비히클 상태 데이터, 저장된 비히클 상태 데이터, 비히클 포지션, 외부 환경 및 저장된 트렌드 중 하나 이상에 적어도 부분적으로 기초하여 결정된다.
특정 양상에서, 분석된 저장된 비히클 상태 데이터, 저장된 비히클 콘텍스트 및 저장된 비히클 상태는 디지털 파일 내의 인코딩된 비히클 유형에 대응한다.
제3 양상에 따르면, 비히클 모니터링 방법은: 비히클의 계기로부터 현재 비히클 상태 데이터를 획득하는 단계; 현재 비히클 콘텍스트를 결정하는 단계; 비히클 상태 데이터 및 비히클 콘텍스트에 적어도 부분적으로 기초하여 현재 비히클 상태를 도출하는 단계; 이전 비히클 상태 및 이전 비히클 상태 데이터에 액세스하는 단계; 하나 이상의 현재 트렌드를 식별하기 위해 현재 비히클 상태 데이터, 이전 비히클 상태 데이터, 현재 비히클 콘텍스트, 이전 비히클 상태 및 현재 비히클 상태를 분석하는 단계; 유사한 트렌드가 존재 하는지를 결정하기 위해 하나 이상의 현재 트렌드를 하나 이상의 이전 트렌드와 비교하는 단계; 비교에 적어도 부분적으로 기초하여 피드백을 준비하는 단계 - 피드백은 유사한 트렌드가 존재하고 유사한 트렌드가 바람직하지 않는다는 결정에 응답하여 경고하는 것을 포함함 -; 및 준비된 조작자 피드백을 사용자 인터페이스를 통해 조작자에게 제공하는 단계를 포함한다.
본원에 기술된 장치, 시스템 및 방법의 전술한 그리고 다른 목적, 특징 및 장점은, 유사한 도면 부호가 유사한 구조를 지칭하는 첨부 도면에 도시된 바와 같이 그 특정 실시예에 대한 다음의 설명으로부터 쉽게 이해될 것이다. 도면은 반드시 스케일링될 필요는 없으며, 대신 본원에 설명된 장치, 시스템 및 방법의 원리를 도시하는 데 중점을 둔다.
도 1은 예시적인 비히클 모니터링 시스템의 블록도를 도시한다.
도 2a는 루트 애플리케이션을 표시하는 제1 예시적인 사용자 인터페이스를 도시한다.
도 2b는 절차적 체크리스트를 표시하는 제2 예시적인 사용자 인터페이스를 도시한다.
도 3a는 예시적인 인지 서브시스템의 블록도를 도시한다.
도 3b는 예시적인 구동 시스템의 예시적인 로봇 아암을 도시한다.
도 4a는 이미징 시스템에 의해 캡처된 원시 이미지(raw image)의 예를 도시한다.
도 4b는 도 4a의 이미지의 재포맷된(reformatted) 이미지(이진 이미지)의 예를 도시한다.
도 4c는 도 4b의 재포맷된 이미지로부터 추출된 데이터의 예를 도시한다.
도 4d는 이미징 시스템에 의해 캡처된 또 다른 원시 이미지의 예를 도시한다.
도 4e는 도 4d의 이미지의 재포맷된 이미지의 예를 도시한다.
도면 5는 예시적인 데이터베이스 서브시스템의 블록도를 도시한다.
도 6은 비히클 모니터링 시스템의 예시적인 작동을 도시한다.
도 7a 및 도 7b는 비히클 모니터링 시스템에서 사용될 수 있는 예시적인 절차를 도시한다.
도 8은 비히클 모니터링 시스템의 예시적인 작동을 나타내는 예시적인 상태도를 도시한다.
도 1은 예시적인 비히클 모니터링 시스템의 블록도를 도시한다.
도 2a는 루트 애플리케이션을 표시하는 제1 예시적인 사용자 인터페이스를 도시한다.
도 2b는 절차적 체크리스트를 표시하는 제2 예시적인 사용자 인터페이스를 도시한다.
도 3a는 예시적인 인지 서브시스템의 블록도를 도시한다.
도 3b는 예시적인 구동 시스템의 예시적인 로봇 아암을 도시한다.
도 4a는 이미징 시스템에 의해 캡처된 원시 이미지(raw image)의 예를 도시한다.
도 4b는 도 4a의 이미지의 재포맷된(reformatted) 이미지(이진 이미지)의 예를 도시한다.
도 4c는 도 4b의 재포맷된 이미지로부터 추출된 데이터의 예를 도시한다.
도 4d는 이미징 시스템에 의해 캡처된 또 다른 원시 이미지의 예를 도시한다.
도 4e는 도 4d의 이미지의 재포맷된 이미지의 예를 도시한다.
도면 5는 예시적인 데이터베이스 서브시스템의 블록도를 도시한다.
도 6은 비히클 모니터링 시스템의 예시적인 작동을 도시한다.
도 7a 및 도 7b는 비히클 모니터링 시스템에서 사용될 수 있는 예시적인 절차를 도시한다.
도 8은 비히클 모니터링 시스템의 예시적인 작동을 나타내는 예시적인 상태도를 도시한다.
첨부된 도면들을 참조하여 본 개시의 바람직한 실시예들이 아래에 상세히 설명될 것이다. 도면들에서의 구성요소들은 반드시 일정한 비율인 것은 아니며, 대신에 본 실시예들의 원리를 명확하게 도시하는 것에 중점을 둔다. 예를 들어, 설명의 명료성 및 편의성를 위해 요소의 크기가 과장될 수 있다. 또한, 가능하다면, 실시예의 동일하거나 유사한 요소들을 나타내기 위해 도면들 전체에서 동일한 참조 번호들이 사용된다. 이하의 설명에서, 잘 알려진 기능들 또는 구성들은 불필요한 세부 사항으로 개시를 불명료하게 할 수 있기 때문에 상세히 설명되지 않는다. 명세서에서 어떠한 언어도 실시예들의 실시에 필수적인 것으로서 임의의 청구되지 않은 요소를 나타내는 것으로 해석되어서는 안 된다. 이 출원에는 다음과 같은 용어 및 정의가 적용될 것이다:
용어 "공중 비히클(aerial vehicle)" 및 "항공기(aircraft)"는 전통적인 활주로 및 수직 이착륙("VTOL") 항공기를 모두 포함하는 비행이 가능한 기계를 지칭하되, 이에 국한되지 않는다. VTOL 항공기는 고정익 항공기(예를 들어, 해리어 제트기(Harrier jets)), 회전익기(예를 들어, 헬리콥터), 및/또는 틸트-로터/틸트-날개 항공기를 포함할 수 있다.
용어 "및/또는"은 "및/또는"에 의해 조인된 목록 내의 아이템들 중의 임의의 하나 이상을 의미한다. 예로서, "x 및/또는 y"는 3개-원소의 집합 {(x),(y),(x, y)} 중의 임의의 원소를 의미한다. 다시 말해, "x 및/또는 y"는 "x 및 y 중 하나 또는 둘 다"를 의미한다. 다른 예로서, "x, y, 및/또는 z"는 7개-원소의 집합 {(x),(y),(z),(x, y),(x, z),(y, z),(x, y, z)} 중의 임의의 원소를 의미한다. 다시 말해, "x, y 및/또는 z"는 "x, y 및 z 중의 하나 이상"을 의미한다.
"전달하다(communicate)" 및 "전달하는(communicating)"이라는 용어는 (1) 소스(source)로부터 목적지로 데이터를 전송(transmit)하거나 그렇지 않으면 전달(convey)하는 것, 및/또는 (2) 목적지로 전달되도록 통신 매체, 시스템, 채널, 네트워크, 장치, 와이어, 케이블, 섬유, 회로 및/또는 링크에 데이터를 넘겨주는(deliver)는 것을 지칭한다.
값(또는 값의 범위), 포지션, 배향(orientation) 및/또는 행동을 수정하거나 설명하는 데 사용되는 "약" 및/또는 "대략"이라는 용어는, 해당 값, 값의 범위, 포지션, 배향에 합리적으로 가까운 것을 의미한다. 따라서, 본원에 기술된 실시예는 인용된 값, 값의 범위, 포지션, 배향 및/또는 행동으로 제한되는 것이 아니라 합리적으로 실행 가능한 편차를 포함해야 한다.
용어 "회로" 및/또는 "회로망"은 예를 들어 아날로그 및/또는 디지털 구성요소, 전력 및/또는 제어 요소, 및/또는 마이크로프로세서와 같은 물리적 전자 구성요소(즉, 하드웨어)뿐만 아니라 하드웨어를 구성하거나 하드웨어에 의해 실행되거나 하드웨어와 관련될 수 있는 임의의 소프트웨어 및/또는 펌웨어("코드")를 지칭한다.
본원에서 사용된 "결합된(coupled)", "~에 결합된(coupled to)" 및 "~와 결합된(coupled with)" 이라는 용어들은 각각 부착된, 붙여진(affixed), 연결된, 조인된(joined), 체결된, 링크된 및/또는 고정된(secured) 구조적 및/또는 전기적 연결을 의미한다. 용어 "부착"은 붙임, 결합, 연결, 조인, 체결, 링크 및/또는 고정을 의미한다. 용어 "연결"은 부착, 붙임, 결합, 조인, 체결, 링크 및/또는 고정을 의미한다.
"작동가능하게 결합된(operatively coupled)"이라는 용어는 다수의 요소 또는 조립체가 함께 결합되어, 제1 요소/조립체가 하나의 상태(및/또는 구성, 배향(orientation), 위치 등)에서 다른 상태로 이동할 때 제1 요소/조립체에 작동가능하게 결합된 제2 요소/조립체도 하나의 상태(및/또는 구성, 배향, 위치 등)에서 또다른 상태로 이동한다는 것을 의미한다. 제1 요소는 그 반대가 아닌 제2 요소에 "작동가능하게 결합"될 수 있음에 유의한다.
"프로세서"라는 용어는, 하드웨어, 실재적으로 구현된 소프트웨어 또는 둘 모두에서 구현되었는지 여부 및 프로그래밍 가능한지 여부와 상관없이, 처리 장치, 기구, 프로그램, 회로, 구성요소, 시스템 및 서브시스템을 의미한다. 본원에서 사용된 “프로세서”라는 용어는 제어 시스템, 중앙 처리 유닛, 프로그래밍 가능한 장치와 시스템, 필드-프로그래밍 가능한 게이트 어레이, 어플리케이션-특정 집적 회로, 칩 상의 시스템(systems on a chip), 이산 소자 및/또는 회로를 포함하는 시스템, 상태 머신, 가상 머신, 데이터 프로세서, 프로세싱 시설 및 앞서 말한 것들의 임의의 조합을 위한 하나 이상의 컴퓨터 장치, 하드와이어드 회로, 신호 수정 장치, 시스템, 장치 및 머신이지만 이에 한정되지 않는다. 프로세서는 예를 들어 임의의 유형의 범용 마이크로프로세서 또는 마이크로컨트롤러, 디지털 신호 처리(digital signal processing, DSP) 프로세서, 어플리케이션-특정 집적 회로(application-specific integrated circuit, ASIC)일 수 있다. 프로세서는 메모리 장치에 결합되거나 메모리 장치와 통합될 수 있다.
"예시적인"이라는 용어는 비제한적인 예, 사례(instance) 또는 실례(illustration)로서 기능하는 것을 의미한다. 본원에 사용된 용어 "예컨대" 및 "예를 들어"는 하나 이상의 비 제한적인 예, 사례 또는 실례의 목록을 제시한다.
"메모리"라는 용어는 프로세서 및/또는 다른 디지털 장치에 의해 사용되는 정보를 저장하기 위한 컴퓨터 하드웨어 또는 회로망을 의미한다. 메모리 장치는 임의의 적합한 유형의 컴퓨터 메모리일 수 있고, 또는 예컨대 ROM(read-only memory), RAM(random access memory), 캐시 메모리(cache memory), CDROM(compact disc read-only memory), 전기 광학 메모리(electro-optical memory), 자기 광학 메모리(magneto-optical memory), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electrically-erasable programmable read-only memory), 컴퓨터 판독 가능 매체 등과 같은 임의의 유형의 전자적 저장 매체일 수 있다. "데이터베이스"라는 용어는 메모리 내의 데이터의 특정 구조화를 지칭할 수 있다.
본 개시는 유사한 콘텍스트에서 예상되는 및/또는 소망하는 비히클 상태와 비교하여, 주어진 콘텍스트에서 현재 비히클 상태(및/또는 비히클 상태의 변화 및/또는 전환)의 모니터링에 적어도 부분적으로 기초하여 조작자에게 실시간 피드백을 제공하는 비히클 모니터링 시스템에 관한 것이다. 비히클의 상태는 비히클 특정 상태(예를 들어, 제어 스테이터스, 항공기 구성, 항공기 건전성 등) 및 비행 특정 상태(예를 들어, 비행 계획에 대한 항공기의 위치 또는 지리적 특징, 위치, 포지션, 자세 등) 둘 모두를 지칭한다. 시스템은 추가적으로 또는 대안적으로 그 피드백을, 현재 비히클 상태 데이터와 주어진 임계의 비교, 현재 비히클 상태와 주어진 임계와의 비교, 예측된 비히클 상태와 미래의 예상 비히클 상태와의 비교, 및/또는 머신 러닝에 의해 알려진 트렌드 분석에 기초할 수 있다. 현재의 비히클 상태 데이터는 비히클의 하나 이상의 계기(예를 들어, 조종실, 객실, 대시보드 등에서의 그것들)로부터 모아질 수 있다. 본 발명은 특히 항공 비히클에 적용될 수 있다. 본 개시는 피드백을 제공하기 위해 (계기, 스위치 설정, 지리적 위치, 미션 데이터, 및 비히클 구성 및/또는 미션 상태의 다른 지시기(indicator)에 적어도 부분적으로 기초한) 비히클 상태 인식을 트렌드 모니터링과 결합할 수 있다. 피드백은 제안된 정정(correction), 경고(warning) 및/또는 경보(alerts)를 포함할 수 있다. 일부 예에서, 피드백은 비히클의 작동의 수정을 포함할 수 있다. 적절하고 및/또는 때맞춘 피드백은 임박한 불안전한 조건에 대한 안전 수준 및/또는 조작자 인식을 증가시킬 수 있다.
개시된 시스템은 인지 서브시스템을 통해 획득된 데이터를 사용하여 비히클 상태를 적어도 부분적으로 결정할 수 있다. 인지 서브시스템은 카메라, 센서, 데이터 기록기(예를 들어, 비행 데이터 기록기)와 같은 도구 및/또는 다른 정보원을 사용하여 데이터를 획득할 수 있다. 비히클이 지상, 공중에 있거나 및/또는 수상 비히클일 수 있는 경우와 같은 일부 예에서, 인지 서브시스템은 예를 들어 조종실 내의 계기들로부터 데이터를 획득할 수 있다. 카메라가 사용되는 예시들에서, 조종사 및/또는 조작자가 조종실 상태를 시각적으로 점검하는 방식과 유사한 방식으로 조종실 계기를 판독하고 및/또는 스위치 포지션 및/또는 조종실 상태를 유추하기 위해 특화된 머신-비전 기술이 적용될 수 있다. 일부 예에서, 인지 서브시스템은 계기 판독, 스위치 설정 및/또는 비히클 상태를 제공하는 기존 장치와 인터페이스할 수 있다. 비히클이 항공 비히클인 예시들에서, 비행 데이터 기록기는 계기 판독, 스위치 설정 및/또는 항공기 비행 상태를 제공하는 기존 장치와 인터페이스하기 위해 사용될 수 있다.
시스템은 콘텍스트 정보와 함께, 인지 서브시스템을 통해 획득된 데이터를 사용하여 및/또는 그에 기초하여 비히클 상태를 추측 및/또는 결정할 수 있다. 일반적으로 말하면, 비히클 상태 데이터(또는 정보)는 대시보드, 객실 또는 조종실의 계기에 의해 제공된 것들과 같이 사용자(예를 들어, 조종사 또는 다른 조작자)가 특정 작동 모드(예를 들어, 비행 작동)를 유지(또는 수행)하기 위해 사용할 수 있는 비히클의 스테이터스 정보를 지칭한다. 비히클의 유형(예를 들어, 공중, 지상 기반 또는 수중 기반 여부)에 따라, 비히클 상태의 예는 특히 연료 레벨, 고도, 속도, 엔진 상태, 플랩 위치/포지션 등을 포함한다. 항공 비히클의 관점에서, 비행 특정 상태는 (예를 들어, 물체 또는 다른 위치, 목적지 등에 대한) 비히클의 상대적 위치, 미션(예를 들어, 비행 경로)에 대한 위치, 환경 조건, 온도 등을 반영한다. 명확성을 위해, 비히클 상태 데이터는 안내, 내비게이션 및 제어(GNC)와 관련된 상태로 제한되지 않는다. 그러나 비히클 상태 데이터는 비히클 콘텍스트 데이터를 반영하지 않는다. 실제로, 동일한 비히클 상태 데이터는 비히클이 작동하는 특정 콘텍스트(즉, 항행, 이륙, 활주(taxi), 착륙 등과 같은 특정 작동 모드)에 따라 다소간 관련성을 가질 수 있다. 예를 들어, 비히클 모니터링 시스템은 하나 이상의 시스템을 통해 풍부한 비히클 상태 데이터를 제공받을 수 있으며, 이는 모든 작동 모드는 아닌 특정 작동 모드에 필요하거나 유용할 수 있다. 콘텍스트가 (예를 들어, 콘텍스트 데이터의 형태로) 제공될 때, 비히클 모니터링 시스템은 비히클 상태 데이터의 일부분들을 우선순위화(prioritize)할 수 있다. 예를 들어, 활주할 때 비히클 모니터링 시스템은 고도에 대한 정보를 필요로 하지 않으며 이는 해당 상태 데이터가 관련이 없기 때문이다. 그러므로, 속도, 플랩 포지션 등과 같은 다른 상태 데이터가 우선순위화될 것이다. 따라서, 비히클 상태 데이터는 (예를 들어, 가중되어) 우선순위화되거나 식별되거나 수신된 콘텍스트 데이터의 함수로서 선택될 수 있다. 개시된 시스템은 콘텍스트 데이터 당 선택 트렌드 또는 비히클 상태 데이터 우선순위에 기초하여 이러한 우선순위 또는 선택 로직을 추가로 적응시킬 수 있다.
비히클 모니터링 시스템은 콘텍스트 정보를 사용하여 인지 서브시스템으로부터 상태 데이터를 적절하게 처리하고 및/또는 적절한 피드백을 결정할 수 있다. 시스템은 콘텍스트를 종합(synthesize)하기 위해 다양한 구성요소 및/또는 저장 장치로부터 정보를 취할 수 있다. 일부 예에서, 시스템은 비히클 상태에 적어도 부분적으로 기초하여 비히클 콘텍스트을 유추할 수 있다. 일부 예에서, 콘텍스트는 인지 서브시스템을 통해 획득된 데이터에 적어도 부분적으로 기초할 수 있다. 예를 들어, 인지 서브시스템은 외부 온도, 습도, 강수량, 압력, 풍속 등에 관한 데이터를 획득할 수 있고, 시스템은 인지된 온도, 습도, 강수량, 압력 및/또는 풍속에 기초하여 특정 위치, 목적지, 절차 및/또는 미션 콘텍스트를 유추할 수 있다. 다른 예로서, 인지 서브시스템은 비히클의 지리적 위치에 관한 데이터를 획득할 수 있고, 시스템은 지리적 위치(예를 들어, 국가, 지리, 지형, 날씨 패턴, 기후, 목적지, 루트 등)에 기초하여 콘텍스트를 유추할 수 있다. 일부 예에서, 현재 작동 모드 및/또는 절차에 관한 콘텍스트는 예를 들어 메모리에 저장된 작동 체크리스트 및/또는 조종사 작동 핸드북(pilots operating handbook)을 통해 얻어질 수 있다. 콘텍스트는 비히클 목적지 및/또는 미션, 수행중인 현재 작동 모드 및/또는 절차, 수행될 체크리스트 및/또는 작업(task) 세트, 및/또는 주변 환경의 조건 및/또는 스테이터스를 포함할 수 있다.
일부 예에서, 시스템은 인식 시스템으로부터의 데이터와 결합된 비히클 콘텍스트에 적어도 부분적으로 기초하여 비히클 상태를 유추할 수 있다. 이 과정은 추가로 아래와 같이 조작자 피드백 체계를 알릴 수 있다. 시스템은 예를 들어 주어진 작동 체크리스트에서 조작자 및/또는 비히클의 진행을 추적하고, 진행에 기초하여 비히클 상태에 대해 유추할 수 있다. 일부 예에서, 시스템은 최근에 기록된 및/또는 이전에 기록된 비히클 모니터링 시스템 데이터 세트의 머신 러닝 검사를 통해 노출된 트렌드 및/또는 패턴에 기초하여 콘텍스트 및/또는 상태를 얻거나 및/또는 유추할 수 있다.
하나의 비히클 콘텍스트 및/또는 상태로부터 다른 비히클 콘텍스트로의 전환은 복잡할 수 있다. 일부 예에서, 현재 작동 모드/페이즈 및/또는 의도된 다음 작동 모드 및/또는 비행 단계에 적합한 방식으로 비히클을 구성하기 위하여, 전환은 다양한 단계들을 수행하는 조작자, 및 매우 특정한 순서나 조작자 재량 방식으로 응답하여 변화하는 조건들을 포함할 수 있다. 도 7a 및 도 7b는 (예를 들어, 항공기 조종사의 작동 핸드북으로부터의) 단일 절차에 대한 이러한 흐름을 도시한다. 각 단계의 실행은 인지 서브시스템에 의해 검증("체크")될 수 있으며, 충족(satisfaction)은 도면에서 화살표(전제 조건)로 나타날 수 있다. 전제 조건들은 '세트'로 구성된다 - 잠재적으로 다수의 전제 조건 세트 중 임의의 것이 완료되면 체크리스트의 특정 단계 실행이 '활성화'되거나 실행될 준비가 된다(단계로 들어오는 화살표가 활성화됨). 도면에서 세트는 화살표 색상으로 구분된다. 체크리스트를 완성하기 위한 다양한 경로가 따라서 나타나고, 절차를 통한 흐름은 조작자에 의한 로트(rote) 작동을 수반하지 않으며, 조작자는 체크리스트를 통해 다수의 경로를 취함으로써 체크리스트의 요구 사항을 만족시킬 수 있고, 그것들 자체는 콘텍스트에 의존적일 수 있다. 게다가, 데이터의 이용 가능성은 조종사에 의해 일부 항목이 수동으로 검증될 것을 요구할 수 있다('표시됨, 조종사 확인'). 다른 항목들은 이용 가능하지 않지만 중요성이 충분히 낮아 시스템에 의해 확인될 필요가 없을 수 있다('표시됨, 체크되지 않음'). 마지막으로, 일부 항목들은 시스템에 의해 내부적으로 확인되지만 조종사에게는 표시되지 않을 수 있다('표시되지 않음').
체크리스트의 완성에 의하거나 무선 호출과 같은 외부 이벤트에 의해 다른 콘텍스트 및/또는 상태로 진행하거나, 및/또는 위치에 도달할 수 있는 경우도 있다. 결과적으로, 새로운 콘텍스트 및/또는 상태의 발생은 새로운 체크리스트를 수행할 필요성을 유발(trigger, 트리거)할 수 있다. 위에서 나타낸 바와 같이, 이 도면 내의 전환의 일부는 체크리스트 실행에 의해 유발될 수 있는 반면, 다른 일부는 콘텍스트에 의존적일 수 있다. 결국, 미션 상태는 체크리스트가 실행되도록 유발할 수 있다.
시스템은 비히클 조작자에게 피드백을 제공하기 위해, 획득된 데이터 및/또는 얻어진 콘텍스트를 통해 개발된 상태 인식을 사용할 수 있다. 피드백은 예를 들어 실시간 조작자 보조, 제안, 리마인더, 경보, 경고 등을 포함할 수 있다. 일부 예에서, 시스템은 비히클의 현재 상태를 실시간으로 유지되는 흐름 과정 및/또는 조건의 세트와 비교할 수 있고, 이 비교 결과를 기초로 피드백을 제공할 수 있다. 일부 예에서, 시스템은 비히클의 현재 상태를 소망하는 및/또는 예상 비히클 상태, 주어진 현재 조건(예를 들어, 비행 조건) 및/또는 미션 콘텍스트와 비교할 수 있다. 일부 예에서, 비교 및/또는 비교로부터 얻어지는 임의의 피드백은 아래에서 더 설명되는 바와 같이 현재 비히클 구성에 적어도 부분적으로 기초할 수 있다. 피드백 모니터링은 조작자 행동, 경향, 습관, 특이성, 기행, 기이성, 선호도 등의 차이를 설명할 수 있을 정도로 유연할 수 있다. 더욱이, 피드백 서브시스템은 시간이 지남에 따라 기능을 최적화하도록 시스템의 구성 및 재구성을 여전히 가능하게하면서 잘못된 경보를 회피하게할 수 있을 정도로 충분히 강력할 수 있다. 이 시스템은, 체크리스트가 올바르지만 조작자마다 다른 수용가능한 순서로 수행되는 경우 경보 또는 경고를 회피하면서, 조작자들과 함께 원활하게 일하도록 특수한 논리 흐름 및 실시간 데이터를 채용할 수 있다. 이 기능들의 통합을 통해, 개시된 시스템은 조작자 성능 및/또는 전체 비히클 안전성을 향상시킬 수 있다.
피드백은 예를 들어 그래픽 사용자 인터페이스(GUI) 및/또는 휴먼 머신 인터페이스(HMI)와 같은 사용자 인터페이스(UI)를 사용하여 제공될 수 있다. 일부 예에서, 사용자 인터페이스는 셀룰러 장치, 태블릿, 스마트 TV, 전자책 리더기, PDA(personal digital assistant) 및/또는 다른 적절한 장치와 같은 모바일 장치로 구현될 수 있다. 일부 예에서, 사용자 인터페이스는 시각 및/또는 오디오 큐(cue), 터치 스크린 인터페이스, 말 및/또는 음성 인식 및 합성뿐만 아니라 햅틱, 진동 및/또는 다른 촉각 큐를 포함할 수 있다. 일부 예에서, 사용자 인터페이스는 영공 및 미션 내의 상태에 대한 인식을 제공하기 위한 이동 맵, 체크리스트 실행에 대한 모니터링 및 제안을 제공하기 위한 체크리스트, 비공칭(off-nominal) 조건 및 이 조건에 대한 적절한 체크리스트, 및 비히클 작동 모드에 도움이 되는 (무선 주파수, 항공근무자 주지사항(Notices to Airmen, NOTAM) 및 미션 포인트 GPS 위치와 같은) 정보를 포함할 수 있다.
일부 예에서, 개시된 시스템은 상이한 유형의 비히클 또는 다른 하드웨어 시스템 구성요소와 호환되도록 적응가능 및/또는 재구성 가능할 수 있다. 예를 들어, 시스템은 파라미터, 절차, 배열, 형식, 명령 및/또는 디지털 파일로 인코딩된 다른 정보에 따라 자체로 적응 및/또는 재구성될 수 있다. 파라미터, 명령 및/또는 다른 정보는 시스템과 함께 사용되도록 의도된 특정 비히클에 특정적일 수 있다. 결과적인 "DTR(Digital Type Rating)" 파일은 비용이 많이 드는 소프트웨어의 재작업없이 비히클(예를 들어, 항공기)의 사양에 맞게 시스템을 적응 및/또는 구성할 수 있다. 파일은 예를 들어 비히클 계기 포지션, 기능 및/또는 작동가능한 임계, 절차, 시퀀스 및/또는 특정 비히클에 특수한 체크리스트, 특정 비히클, 최고 속도/가속, 연료 용량, 타이어 등급, 날개 길이(wing span), 리프트 표면, 제어 표면, 추진 시스템 등에 특수한 미션 프로파일을 인코딩할 수 있다. 일부 예에서, 개시된 시스템의 각 서브시스템(예를 들어, 인지 서브시스템, 사용자 인터페이스, 코어 플랫폼 및/또는 지식 획득 서브시스템)은 파일 인코딩 정보에 따른 비히클 호환성을 위해 재구성될 수 있다. 일부 예에서, DTR 파일은 작동 핸드북 및 비히클 작동 사양 에 기초하여 인코딩될 수 있다.
인지된 비히클 상태 데이터를 비히클/미션/절차 콘텍스트 및/또는 비히클 구성과 함께 평가함으로써, 시스템을 다른 비히클, 계기 및/또는 미션/절차에 맞게 재구성할 수 있는 능력과 함께, 시스템은 올바른 정보가 적시에 조작자에게 제공되도록 보장할 수 있다. 트렌드 모니터링은 비히클 작동 도중에 및/또는 작동 전/후에 수행될 수 있다. 조작자로의 피드백은 정상 및/또는 예상된 작동으로부터 검출된 편차에 기초하여 경고를 제공하도록 준비될 수 있다.
상태 전환, 구성 변경 및 관련 절차뿐만 아니라, 조종실 내의 계기 판독기 시간 변화는 비히클 작동 모드의 건전성 및/또는 스테이터스에 대한 정보를 제공할 수 있다. 계기들의 조합의 시간 변화는 또한 다양한 잠재적 문제의 표시(indication)를 제공할 수 있다. 예를 들어, 속도, 온도 및 습도의 조합은 결빙 가능성을 나타낼 수 있으며, 이는 조작자에 의한 복원을 필요로 할 수 있다. 또 다른 예는 엔진 상태이다 - 다양한 계기가 엔진 작동이 한도 내에 있는지 여부에 대한 정보를 조작자에게 제공하지만, 조작자는 상대값을 보고 이를 비행 상태(상승, 하강, 활주)와 관련시킴으로써 엔진 과열이 예상되는지 또는 유지보수가 필요한지 여부를 유추할 수 있다. 일부 경우에, 시간이 지남에 따른 (예를 들어, 엔진 온도와 같은) 판독값에서의 트렌드는 유지보수의 필요성 또는 실패의 잠재적인 발생을 나타낼 수 있다. 작동 전/후에 머신 러닝 트렌드 분석이 필요할 수 있는 다른 경우들은 조작자의 결정과 관련이 있을 수 있다; 예를 들어 조작자가 고어라운드(go-around)가 필요하다고 결정하면, 컴퓨터 시스템은 현재 비행 페이즈가 접근에서 상승으로 변경되었다고 유추하고 그에 따라 모니터링하고 조언할 수 있다. 이러한 모든 기능은, 작동 중에 학습된 행동에 대한 트렌드/패턴 모니터링과 결합된, 과거 경험에 기초한 트렌드/패턴 인식 및/또는 머신 러닝을 수행함으로써 작동 전/후에 가장 잘 수행될 수 있다.
이러한 요구를 수용하기 위해, 시스템은 온라인(작동 중) 및 오프라인(작동 전/후) 요소 둘 다일 수 있다. 오프라인 요소는, 시스템에 의해 기록되고 및/또는 상태 및 콘텍스트에 대해 도출된 정보로 태그된 많은 과거의 비행으로부터 데이터를 취하는 구성 가능한 트렌드 분석 및 머신 러닝 요소일 수 있다. 이러한 요소는 구성 과정의 일부로 기록되고 주기적으로 업데이트될 수 있는 파라미터 간의 관계에 대한 정보로 데이터를 증류할 수 있다. 기록된 구성 정보는 측정된 데이터 및/또는 그 데이터의 조합을 이전 비행에서 확립된 규범과 비교할 수 있는 온라인 트렌드 모니터링 시스템에 의해 사용될 수 있고, 및/또는 어떤 관계가 비상이나 기타 절차의 경보 또는 유발의 필요성을 나타낼 수 있는지에 대한 '훈련'의 다른 소스로 사용될 수 있다.
전체 시스템은 지식 획득(Knowledge Acquisition, KA) 서브시스템을 사용하여 구성될 수 있다. KA 서브시스템은 비히클의 온보드 컴퓨터 및/또는 비히클 모니터링 서브시스템으로 전송될 수 있는 하나 이상의 DTR 파일을 생성할 수 있다. (DTR 파일을 통해) 제공된 비히클 구성, 현재 상태, 하나 이상의 과거 상태, 하나 이상의 예측 상태 및/또는 하나 이상의 트렌드에 기초하여, 시스템은 비히클 작동이 현재 콘텍스트에 적합한지 여부, 작동이 (오프라인 트렌드 분석뿐만 아니라 KA/DTR 과정에 의해 커스터마이즈된) 표준 내에서 수행되고 있는지 여부, 및/또는 어떤 체크리스트 리마인더, 경고 및/또는 경보가 표시될 필요가 있는지를 결정할 수 있다(예컨대, 도 7a, 7b 및 8 참조). 이 경보들은 시각적 및/또는 오디오 큐, 터치 인터페이스, 음성 인식 및 합성, 진동 또는 기타 촉각 신호를 제공할 수 있는 UI에 전달될 수 있다. 작동 후 및/또는 정상 데이터 기록기(예를 들어, 비행 데이터 기록기) 데이터 다운 링크 및/또는 저장의 일부로서, 오프라인 데이터 분석 소프트웨어는 파라미터 사이에 존재하는 정상 작동 관계에 대해 온보드 트렌드 모니터 기능을 알리도록 필요한 분석을 수행할 수 있다. 이러한 방식으로 트렌트 모니터링은 시스템의 '정상' 작동을 구성하는 것에 대한 지속적인 업데이트된 인식을 유지한다.
지식 획득 및/또는 시스템 구성의 관리는 절차, 트렌드 모니터 구성 및/또는 다른 비히클 지식을 인코딩할 수 있는 DTR 파일을 통해 수행될 수 있다. 이것은 주어진 비히클에 대한 효율적인 커스텀화를 허용할 수 있다. KA 서브시스템은 DTR 파일을 생성하는 절차 편집기로 기능할 수 있다. 따라서 DTR로부터 판독하는 것은 본질적으로 KA 시스템의 입력과 동일하다. 비히클 모니터링 시스템은, 실시간 또는 데이터베이스로부터 DTR 파일을 수신하고, 및/또는, 비히클 상태 및/또는 콘텍스트를 유지하고 UI에 적절한 피드백을 생성하기 위해 KA 서브시스템 및/또는 인지 서브시스템으로부터 입력을 취할 수 있다.
시스템이 많은 병렬 기능을 수행하기 때문에, 다양한 변형이 가능하다. 입력은 다양한 소스 또는 이러한 소스의 조합에서 나올 수 있다. 모니터링 및 분석 기능과 이러한 기능들을 비히클 작동에 결부시키는 과정은 조작자 지원의 다양한 수준 및/또는 콘텍스트를 초래하면서 전체 또는 부분적으로 수행될 수 있다 - 예를 들어 시스템은 체크리스트 모니터링을 위해서만, 또는 단지 채용하려는 무선 주파수에 대한 조언을 위해, 또는 전적으로 엔진 트렌드 모니터링을 위해 사용될 수 있다. 출력은 태블릿 이외의 다른 디스플레이 또는 장치로 출력될 수 있으며, 이는 비히클 데크 구성요소(MFD 또는 PFD)와의 통신, 및/또는 음성 합성 장치, 또는 조작자 복장이나 장갑 내의 촉각 장치를 포함할 수 있다. 마지막으로 시스템의 입력 및 출력에 의존하는 소프트웨어 기능은 확장되거나 수정될 수 있다.
현재 필드에 있는 대부분의 시스템들에는 경고를 일으키고 리마인더를 제공하고 및/또는 조종사과 상호 작용할 수 있는 '상태 인식' 및/또는 콘텍스트 인식이 없다. 따라서 그것들은 콘텍스트에 민감한 좋은 정보를 제공할 수 없다. 최첨단 조종실에서의 콘텍스트 인식은 고도로 통합되고 비용이 많이 들기 때문에 존재한다. 이러한 시스템들에 대한 본 개시의 장점은 (KA/DTR 양상을 통해) 대부분의(모두는 아님) 비히클에 적용 가능할 수 있고 밀접하게 통합된 인프라에 의존하지 않을 수 있다는 것이다. 가장 정교한 기존 시스템 또는 현재 개발중인 시스템조차도 절차 적 지식의 수준을 조작자로의 피드백과 통합시키지 않는다. 전술한 바와 같이, 비히클 상태 데이터는 비히클의 다양한 양상의 스테이터스를 반영하는 반면, 콘텍스트 데이터는 비히클 상태 데이터의 특정 부분을 다르게 식별(또는 가중(weigh))하기 위해 사용될 수 있다. 시스템은 지식 획득 서브시스템으로부터의 그 지식 데이터를 사용하여 비히클 상태 데이터를 콘텍스트와 상관시킬 수 있다. 지식 데이터는 의사 결정 및 절차 구현을 위한 기초이다. 예를 들어, 지식 획득 서브시스템은 지식 데이터의 형태로 조종사 조작 핸드북을 체계화할 수 있고, 그 후 콘텍스트 및 (예를 들어, 조작 핸드북에 명시된) 미리 정해진 절차의 함수로서 특정 비히클 상태 데이터를 가중하는데 사용될 수 있다. 지식 획득 서브시스템은 추가로 머신 러닝 기술을 사용하여 이력 데이터를 기초로 그 규칙 및/또는 절차를 향상시킬 수 있다.
도 1은 일 예에 따른 비히클 모니터링 시스템(100)의 예시적인 아키텍처를 도시한다. 비히클 모니터링 시스템(100)은 항공 비히클, 수상 비히클, 육상 비히클 및/또는 지하 비히클을 포함하지만 이에 제한되지는 않는 몇몇 유형의 비히클에 이식 및/또는 적응될 수 있다.
코어 플랫폼. 도 1을 참조하면, 비히클 모니터링 시스템(100)은 상태 모니터링 서브시스템(104) 및/또는 피드백 서브시스템(112)을 갖는 코어 플랫폼(102)을 포함할 수 있다. 코어 플랫폼(102)은 또한 복수의 다른 서브시스템과 작동가능하게 결합될 수 있다. 코어 플랫폼(102)은 하나 이상의 인터페이스를 통해 비히클 모니터링 시스템(100)의 다양한 서브시스템을 연결하면서, 중앙 서브시스템, 미들웨어 및/또는 공통 데이터 버스로서 작동할 수 있다. 서브시스템들은 유선 및/또는 무선 통신 프로토콜과 하드웨어를 사용하여 소프트웨어 및/또는 하드웨어 인터페이스(156)를 통해 서로 통신할 수 있다. 코어 플랫폼(102)은 다양한 서브시스템의 사이에서, 그중에서 및/또는 통하여 통신을 조정 및/또는 용이하게할 수 있다. 일부 예에서, 다양한 서브시스템들은 서로 통신할 때 코어 플랫폼(102)을 우회할 수 있다. 일부 예에서, 코어 플랫폼(102)은 예를 들어 Linux와 같은 운영 체제로서 및/또는 운영 체제와 함께 기능할 수 있다. 일부 예에서, 코어 플랫폼(102)은 컴퓨터 칩, 주문형 집적 회로(application specific integrated circuit, ASIC) 및/또는 예를 들어 Pico-ITX 마더 보드와 같은 마더 보드로 구현될 수 있다.
시스템(100)의 복수의 서브시스템 각각은 일체형 및/또는 모듈식일 수 있어서, 전체 비히클 모니터링 시스템(100)이 실질적으로 다른 비히클으로 신속하게 포트(port)될 수 있게 한다. 복수의 서브시스템은 예를 들어, 사용자 인터페이스(UI)(126), 인지 서브시스템(106), 구동 서브시스템(108), 센서 서브시스템(118), 지식 획득(KA) 서브시스템(114), 트렌드 모니터링 서브시스템(116), 데이터베이스 서브시스템(122) 및/또는 콘텍스트 인식 서브시스템(124)을 포함할 수 있다. 각각의 서브시스템은 코어 플랫폼(102)과 작동가능하게 결합될 수 있다. 구동 서브시스템(108) 및 인지 서브시스템(106)은 (예를 들어, 팬-틸트-줌(PTZ) 카메라가 인지 시스템 하에서 그 구동을 가질 수 있는) 단일 시스템의 일부로서 도시되어 있지만, 구동 서브시스템(108) 및 인지 서브시스템(106) 대신 두 가지 별개의 시스템 또는 하드웨어 구성요소를 통해 제공될 수 있다. 구성에 따라, 비히클 모니터링 시스템(100)은 본 개시의 사상 및 범위를 벗어나지 않고 더 적거나 추가적인 모듈, 구성요소 및/또는 시스템으로 구성될 수 있다.
비히클 비종속적인(vehicle-agnostic) 비히클 모니터링 시스템(100)을 가능하게 하기 위해, 프로세서 기반 코어 플랫폼(102)은 초기화(initialization) 및/또는 셋업 페이즈를 통해 특정 비히클 및/또는 구성에 특정하게 만들어질 수 있는 미들웨어를 제공하거나 및/또는 상기 미들웨어로서 기능할 수 있다. 코어 플랫폼(102)은 상이한 유형의 비히클과 호환 가능하도록, 재구성가능 및/또는 적응적일 수 있고, 및/또는, 비히클 모니터링 시스템(100) 및/또는 그 다양한 서브시스템의 재구성 및/또는 적응성을 용이하게 할 수 있다. 예를 들어, 코어 플랫폼(102)은 그 자체를 재구성하거나, 및/또는 파라미터, 절차, 배열, 포맷, 명령 및/또는 "DTR(Digital Type Rating)"파일과 같은 하나 이상의 디지털 파일로 인코딩된 다른 정보에 따라 비히클 모니터링 시스템(100)의 다양한 서브시스템의 재구성을 용이하게할 수 있다. 파라미터, 명령 및/또는 DTR 파일로 인코딩된 다른 정보는 시스템과 함께 사용되도록 의도된 특정 비히클에 특정적일 수 있다. 코어 플랫폼(102)은 비히클 및/또는 시스템(100)의 소프트웨어 및/또는 하드웨어의 비용이 많이 드는 재작업이 필요 없이 특정 비히클의 사양에 대해 시스템(100)을 적응 및/또는 재구성하도록 DTR 파일 내의 정보를 디코딩 및/또는 해독할 수 있다. 예를 들어, 코어 플랫폼(102)은 비용이 많이 드는 재작업이 필요 없이 항공 비히클, 수중 비히클 및/또는 육상 비히클과의 작동을 위해 시스템(100)을 적응 및/또는 재구성할 수 있다. 일부 예에서, 코어 플랫폼(102)은 (예를 들어, 소형/대형 화물 비행기, 소형/대형 승객 비행기, 프로펠러 비행기, 제트 엔진 비행기의) 비용이 많이 드는 재작업 없이 유사한 유형의 비히클의 상이한 클래스, 카테고리, 제조사 및/또는 모델로 작동하도록 비히클 모니터링 시스템(100)을 적응 및/또는 재구성할 수 있다. DTR 파일은 예를 들어 특정 비히클에 특정적인 비히클 계기 포지션, 기능 및/또는 작동가능한 임계, 절차, 시퀀스 및/또는 체크리스트를 인코딩할 수 있다. DTR 파일은 추가적으로 또는 대안적으로, 예를 들어 특정 비히클, 최고 속도/가속, 연료 용량, 타이어 등급, 날개 길이, 리프트 표면, 제어 표면, 추진 시스템 등에 특수한 미션을 인코딩할 수 있다. 일부 예에서, 개시된 시스템의 각 서브시스템은 코어 플랫폼(102)에 의해 및/또는 이를 통해 번역된 DTR 파일 인코딩 정보에 따라 비히클 호환성을 위해 재구성될 수 있다. 일부 예에서, DTR 파일은 작동 핸드북 및 비히클 작동 사양에 기초하여 인코딩될 수 있다.
코어 플랫폼(102)은 현재 비히클 상태를 결정하기 위해 인지 서브시스템(106), 사용자 인터페이스(126) 및/또는 KA 서브시스템(114)으로부터의 입력을 합성하는 일차 자율 에이전트 및/또는 의사 결정자로서 기능할 수 있다. 코어 플랫폼(102)은 KA 서브시스템(114)으로부터의 입력을 처리하여 예상 비히클 상태를 결정하고, 예상 시스템 상태를 실제 시스템 상태와 비교하고, 사용자 인터페이스(126)를 통해 조작자에 대한 임의의 적절한 피드백을 결정할 수 있다.
상태 모니터링 서브시스템. 상태 모니터링 서브시스템(104)은 비히클의 실시간 상태를 결정 및/또는 달리 인지할 수 있다. 본원에 사용된 "상태"는 주어진 콘텍스트에서 비히클에 대한 다양한 정보를 망라하는 비히클의 광범위한 범주화 및/또는 분류를 지칭할 수 있다. 비히클 상태는 비히클 작동을 수행하기 위해 조작자에 의해 사용될 수 있다. 비히클 상태는 추가적으로 또는 대안적으로, 적절한 조작자 피드백을 결정하기 위해 피드백 서브시스템(112)에 의해 사용될 수 있다. 일부 예에서, 상태 모니터링 서브시스템(104)은 현재 상태, 하나 이상의 이전에 기록된 상태, 현재 비히클 상태 데이터, 이전에 기록된 비히클 상태 데이터, 현재 비히클 콘텍스트, 이전에 기록된 비히클 콘테스트, 및/또는, 인지 서브시스템(106), 지식 획득 서브시스템(114) 및/또는 사용자 인터페이스(126)로부터의 정보에 기초하여 하나 이상의 미래 상태를 예측 및/또는 도출할 수 있다.
상태 모니터링 서브시스템(104)은 특히 비히클과의 (예를 들어, 통합되거나 다르게는 하드와이어드된) 직접 연결을 통해 실시간 비히클 상태를 인지할 수 있다. 대안적으로 또는 추가적으로, 상태 모니터링 서브시스템(104)은 인지 서브시스템(106) 및/또는 콘텍스트 인식 서브시스템(124)으로부터 수신된 정보에 기초하여 비히클 상태를 도출할 수 있다. 인지 서브시스템(106)이 사용될 때, 상태 모니터링 서브시스템(104)은 전용 제어기(예를 들어, 프로세서)를 포함하고 및/또는 인지 서브시스템(106)의 제어기(302)를 공유할 수 있다.
트렌드 모니터링 서브시스템. 상태 모니터링 서브시스템(104)은 트렌드 모니터링 서브시스템(116)을 포함할 수 있다. 본원에서 사용된 "트렌드"는 일정 기간 동안의 하나 이상의 비히클 상태, 비히클 콘텍스트, 비히클 상태/콘텍스트 전환, 조작자 관찰, 비히클 상태 데이터 및/또는 인지된 비히클 계기 데이터 사이의 하나 이상의 관계를 지칭할 수 있다. 트렌드 모니터링 서브시스템(116)은 트렌드 및/또는 또는 패턴을 식별하기 위해 머신 러닝을 사용하여 시간에 따른 비히클 상태, 비히클 콘텍스트, 비히클 상태/콘텍스트 전환, 조작자 관측, 비히클 상태 데이터 및/또는 인지된 비히클 계기 데이터의 변화를 모니터링 및/또는 분석할 수 있다. 트렌드 모니터링 서브시스템(116)은 추가로 또는 대안적으로, 인지 서브시스템(106), 콘텍스트 인식 서브시스템(124) 및/또는 지식 획득 서브시스템(114)으로부터의 다른 데이터를 사용하여 그것의 트렌드 인식을 도울 수 있다. 일부 예에서, 트렌드 모니터링 서브시스템(116)은 계기, 콘텍스트, 상태 및/또는 다른 데이터와 함께 조작자의 관찰에 기초하여 조작자 트렌드를 분석 및/또는 결정할 수 있다.
트렌드 모니터링 서브시스템(116)은 비히클 모니터링 시스템(100)의 이전 응용, 다른 비히클 모니터링 시스템 및/또는 다른 방법으로부터 기록된 데이터와 함께 머신 러닝 기술을 사용하여 트렌드/패턴을 인식하도록 훈련될 수 있다. 일부 예에서, 트렌드 모니터링 서브시스템(116)은 비히클 모니터링 시스템(100)의 설치, 업로드 및/또는 초기화 전에 훈련될 수 있다. 일부 예에서, 트렌드 모니터링 서브시스템(116)은 비히클 모니터링 시스템(100)에 의해 모니터링되고 있는 (또는 모니터링될 예정인) 비히클의 클래스, 카테고리, 타입, 제조사 및/또는 모델에 특정한 데이터에 대해 훈련될 수 있다. 일부 예에서, 훈련된 트렌드 모니터링 시스템(116)을 설명하는 정보는 DTR 파일로 인코딩될 수 있어서, 훈련되지 않은 트렌드 모니터링 시스템(116) 비히클 모니터링 시스템(100) 내의 DTR 파일을 로딩함으로써 짧은 시간 동안 훈련된 트렌드 모니터링 시스템(116)과 동일한 지식으로 구성될 수 있다.
트렌드 모니터링 서브시스템(116)은 데이터베이스 서브시스템(122), 인지 서브시스템(106) 및/또는 상태 모니터링 서브시스템(104)으로부터의 데이터를 분석하여 패턴 및/또는 트렌드를 식별할 수 있다. 일부 예에서, 트렌드 모니터링 서브시스템(116)은 비히클 모니터링 시스템(100)의 최근 기록된 데이터로부터 식별된 현재 트렌드, 및 비히클 모니터링 시스템(100)의 이전 적용 및/또는 다른 비히클 모니터링 시스템들로부터 식별된 과거 트렌드들 모두를 식별할 수 있다. 일부 예에서, 트렌드 모니터링 서브시스템(116)에 의해 식별된 트렌드들은 현재 비히클 트렌드가 과거 트렌드와 유사한지 여부를 결정하기 위해 분석될 수 있다. 현재 트렌드가 과거 트렌드와 유사하고 과거 트렌드가 호의적이지 않고, 위험하고, 및/또는 바람직하지 않은 결과를 초래한 콘텍스트인 경우의 상황에서, 피드백 시스템(112)은 사용자 인터페이스(126)를 통해 조작자에게 (예를 들어, 경보, 경고, 시정 조치 권장 등의) 적절한 피드백을 준비 및/또는 제공할 수 있다.
피드백 서브시스템. 코어 플랫폼(102)은 비히클 모니터링 시스템(100)에 피드백 서브시스템(112)을 제공할 수 있다. 피드백 서브시스템(112)은 하나 이상의 비히클 조작자를 위해 피드백을 준비하고 및/또는 사용자 인터페이스(126)를 통해 피드백을 조작자(들)에게 전달할 수 있다. 피드백은 비히클 모니터링 시스템(100)의 비교적 최근에 기록된 데이터와 저장 및/또는 생성된 데이터 사이의 비교에 기초할 수 있다.
일부 예에서, 피드백 서브시스템(112)은 비히클의 현재 상태를 비히클의 예상 상태와 비교하고 그에 따라 피드백을 준비하도록 구성될 수 있다. 예를 들어, 현재 상태가 예상 상태와 실질적으로 다른 경우, 피드백 서브시스템(112)은 사용자 인터페이스(126)를 통해 경보 및/또는 경고를 조작자(들)에게 준비 및/또는 전달할 수 있다. 일부 예에서, 피드백 서브시스템(112)은 하나 이상의 현재 및/또는 최근 상태를 하나 이상의 임계와 비교할 수 있다. 임계는 예를 들어 특정 비히클에 대한 작동 문서에서 정의될 수 있다(예를 들어, 미리 정해진 속도, 엔진 온도 등을 절대로 초과하지 않음). 일부 예에서, 피드백 서브시스템(112)은 하나 이상의 예측된 미래 상태를 하나 이상의 임계 값 및/또는 하나 이상의 예상 상태와 비교할 수 있다. 일부 예에서, 피드백 서브시스템(112)은 인식 시스템(106)에 의해 기록된 비히클 상태 데이터를 하나 이상의 임계와 비교할 수 있다. 비교가 호의적이지 않고, 이상 징후 및/또는 중대한 편차를 나타내는 경우의 상황에서, 피드백 시스템은 사용자 인터페이스(126)를 통해 조작자에게 (예를 들어, 경보, 경고, 시정 조치 권장 등의) 적절한 피드백을 준비 및/또는 제공할 수 있다.
일부 예에서, 피드백 서브시스템(112)은 현재 식별된 트렌드를 유사한 트렌드와 비교하고 그에 따라 피드백을 준비 및/또는 전달할 수 있다. 예를 들어, 현재 트렌드가 잠재적으로 위험하고 및/또는 바람직하지 않은 상황을 초래한 (이전에 기록된 데이터로부터 인식된) 과거 트렌드과 유사하다면, 피드백 서브시스템(112)은 사용자 인터페이스(126)를 통해 조작자(들)에게 경보 및/또는 경고를 준비 및/또는 전달할 수 있다.
일부 예에서, 피드백 서브시스템(112)이 경보 및/또는 경고가 적절하다고 결정하는 경우, 피드백 서브시스템(112)은 시정 조치를 추천할 수 있다. 예를 들어 시정 조치는 트렌드 모니터링 서브시스템(116)에 의해 식별될 수 있는 바와 같이, 이전의 유사한 상황에서 수행된 시정 조치 및/또는 트렌드에 기초할 수 있다. 일부 예에서, 시정 조치는 콘텍스트 데이터베이스(504)에 기록된 하나 이상의 체크리스트 및/또는 절차에 기초할 수 있다. 일부 예에서, 시정 조치는 비히클 구성 데이터베이스(502) 내의 정보에 기초할 수 있다. 일부 예에서, 시정 조치는 사용자 인터페이스(126)를 통한 조작자로부터의 입력에 기초할 수 있다.
사용자 인터페이스(UI)(126). 사용자 인터페이스(126)는 조작자(예를 들어, 인간 조작자)를 위한 제어 및/또는 통신 인터페이스를 제공할 수 있다. 조작자는 원격(예를 들어, 비히클 외부 및/또는 다른 비히클 안) 또는 온보드(즉, 비히클의 안)에 있을 수 있다. 사용자 인터페이스(126)는 터치 스크린 그래픽 사용자 인터페이스("GUI") 및/또는 음성 인식 시스템에 기초할 수 있는 휴먼-머신 인터페이스(HMI)를 포함할 수 있다. 사용자 인터페이스(126)의 목적은 조작자가 인간 비행 엔지니어 및/또는 부조종사와 상호 작용하는 방식과 유사한 방식으로 조작자가 코어 플랫폼(102)의 지식 베이스와 상호 작용할 수 있게 하는 것이다. 사용자 인터페이스(126)는 조작자(들)와 비히클 모니터링 시스템(100) 사이의 주요 통신 채널로서 기능할 수 있다. 예를 들어, 사용자 인터페이스(126)는 코어 플랫폼(102)을 통해 서브시스템으로부터 스테이터스 정보를 수신하는 한편, 사용자 인터페이스(126)에 의해 생성된 및/또는 조작자(들)에 의해 입력된 명령을 코어 플랫폼(102) 모드에 송신할 수 있다. 사용자 인터페이스(126)는 음성 통신을 가능하게하기 위해 태블릿 기반 GUI 및/또는 음성 인식 인터페이스를 채용할 수 있다. 예를 들어, 도 2a 및 도 2b에 도시된 바와 같이, 사용자 인터페이스(126)는 코어 플랫폼(102)으로부터의 체크리스트 검증 및/또는 비히클 상태의 예측(예를 들어, 연료 소비 및 예상 잔여 범위)뿐만 아니라 맵핑 기능, 고장 예후 및/또는 편차 경보(예를 들어, "왼쪽 엔진 EGT가 정상 및 상승보다 5도 높음")을 포함하는 직관적인 디스플레이 및 인터페이스를 제공할 수 있다.
사용자 인터페이스(126)는 예를 들어 범용 직렬 버스(USB) 포트와 같은 하나 이상의 외부 통신 포트를 포함할 수 있으며, 이는 사용자 인터페이스(126)가 다른 전자 장치와 작동 가능하게 연결(및/또는 인터페이스)되게할 수 있어서 비히클 모니터링 시스템(100)은 사용자 인터페이스(126)의 외부 통신 포트를 통해 외부 장치(들)와 통신할 수 있다. 사용자 인터페이스(126)는 예를 들어 블루투스, 근거리 통신, 무선 주파수(RF) 통신, 무선 충실도(Wi-Fi) 통신 및/또는 다른 적절한 무선 통신 방법을 통한 무선 통신 기능으로 더 구성될 수 있다.
사용자 인터페이스(126)는, (예컨대, 액정 디스플레이(LCD)와 같은) 디스플레이 장치를 통해, 어떤 작동 어플리케이션들이 현재 설치되었는지, 어떤 작동 어플리케이션들이 운영중(running)인지 그리고 그것들이 활성화된 경우 작동 어플리케이션들이 어떤 행동들을 취하고 있는지 뿐만 아니라, 비히클 모니터링 시스템(100)의 현재 상태(그것의 현재 설정들과 책임들)를 표시할 수 있다.사용자 인터페이스(126)는 또한 야간-가시 고글들(night-vision goggles)과 양립될 수도 있으므로 조작자의 안경류에 상관없이 가시적이다. 음성 인식 시스템은 체크리스트들을 훑어볼때 및/또는 통신할 때 인간에 의해 사용되는 언어적 통신들의 동일한 유형들을 재현하는데 사용될 수 있다. 특정 양상에서, 음성 인식은 상기 시스템이 명령들을 인식하는데 실패하거나 또는 동작들의 부적절한 모드들로 변경하는 가능성을 최소화하도록 조작자 팀들에 의해 사용되는 코드화된(codified) 통신들의 동일한 표준들로 제한될 수 있다. 음성 인식 시스템은 음성 훈련 프로토콜을 통해 하나 이상의 조작자의 음성을 학습/인식하도록 구성될 수 있다. 예를 들어, 조작자는 음성 인식 시스템이 조작자의 방언으로 트레이닝될 수 있도록 미리 결정된 스크립트를 말할 수 있다.
사용자 인터페이스(126)의 디스플레이는 조작자에 의해 커스터마이징될 수 있다. 예를 들어, 조작자는 디스플레이 아이콘 및/또는 작동 어플리케이션(202)의 일부를 추가, 재구성 및/또는 제거하기를 바랄 수 있다. 사용자 인터페이스(126)는 추가로 비히클의 작동 스테이터스에 관해 조작자에게 알려줄 수 있고 및/또는 (예를 들어, 지시 또는 조언과 같은) 피드백을 조작자에게 제공할 수 있다.
인지 서브시스템(Perception subsystem). 인지 서브시스템(106)은 실시간 비히클 및/또는 환경 상황 데이터를 수집, 감지, 측정, 검출, 결정 및/또는 다르게는 인식할 수 있다. 인지 서브시스템(106)에 의해 인지된 상황 데이터는 비히클 상태, 비히클 콘텍스트, 하나 이상의 트렌드를 도출하고 및/또는 조작자 피드백을 생성하는데 사용될 수 있다. 일부 예에서, 인지 서브시스템(106)은 추가적으로 또는 대안적으로, 실시간 조작자 관찰을 수집, 감지, 측정, 검출, 결정 및/또는 다르게는 인식할 수 있다. 이러한 관찰은 예를 들어, 조작자 행동, 반응, 응답 타이밍, 선호도 및/또는 조작자와 관련된 다른 정보를 포함할 수 있다.
도 3a에 도시된 바와 같이, 인지 서브시스템(106)은 제어기(302) 및 센서 서브시스템(118)을 포함할 수 있다. 제어기(302)는 예를 들어, 센서 서브시스템(118), GPS/INS 시스템 및/또는 다른 입력 시스템과 같은 복수의 센서 및/또는 외부 구성요소로부터 수신된 정보에 기초하여 비히클 상태 데이터를 코어 플랫폼(102)에 공급(및/또는 다르게는 지시)하도록 구성된 프로세서일 수 있다. 인지 서브시스템(106)은 코어 플랫폼(102)으로부터 명령 및/또는 구성 데이터를 수신하는 한편, 인지 서브시스템(106)에 의해 모아진 이미지 및/또는 (예를 들어, 비행 상황 데이터와 같은) 비행 상황 정보 및/또는 스테이터스를 코어 플랫폼(102)으로 전송할 수 있다.
일부 예에서, 인지 서브시스템(106)은 예컨대 하나 이상의 유선 전기 및/또는 무선 연결 및/또는 프로토콜을 통해 조종실 계기(120)와 직접 인터페이스 및/또는 통신할 수 있다. 이러한 예에서, 인지 서브시스템(106)은 조종실 계기(120)로부터 직접 실시간 비히클 및/또는 환경 상황 데이터를 수집, 감지, 측정, 검출, 결정 및/또는 다르게는 인지할 수 있다. 이러한 예에서, 제어기(302)는 예를 들어 조종실 계기(120)와 직접 인터페이스하고 및/또는 조종실 계기(120)와의 통신을 용이하게할 수 있다.
센서 서브시스템. 추가적으로 또는 대안적으로, 인지 서브시스템(106)은 조종실 계기(120)로부터 실시간 비히클 및/또는 환경 상황 데이터를 수집, 감지, 측정, 검출, 결정 및/또는 다르게는 인지하기 위해 센서 서브시스템(118)을 채용할 수 있다. 센서 서브시스템(118)은 예를 들어 이미지 센서, 광학 센서, 카메라(310), (음향 시스템에 사용되는) 마이크로폰(308) 및/또는 (예를 들어 온도 센서, 포지션 센서, 관성 센서, 가속도계, 자이로스코프 등의) 다른 센서(306)와 같은 센서를 포함할 수 있다. 이미지/광학 센서 및/또는 카메라가 사용되는 예에서, 인지 서브시스템(106)은 예를 들어 NVIDIA Tegra X1과 같은 그래픽 처리 장치(GPU)를 포함할 수 있다. 일부 예에서, GPU는 제어기(302)의 일부일 수 있다.
센서 서브시스템(118)은 조작자가 자신의 감각을 이용하는 방법과 유사하게, 조종실 계기(120)에 의해 디스플레이된 비히클 상태 정보를 판독 및/또는 이해하기 위해 비전 시스템, 음향 시스템 및/또는 식별 알고리즘과 조합하여 그것의 센서들을 활용할 수 있다. 센서 서브시스템(118)의 센서는 조종실(예를 들어, 조종실 계기(120))의 계기판에 집중 및/또는 훈련될 수 있다. 센서는 계기판과 함께 시야(line of sight)에 배치될 수 있지만, 조작자에게 방해가되지 않도록 놓아질 수도 있다.
예시적인 조종실 계기(120)는, 예를 들어, 연료 게이지, 온도 게이지, 풍속 게이지, 고도계, 속도계(및/또는 대기 속도계, 수직 속도계), 주행 거리계, 압력 게이지, 또는 하나 이상의 나침반 시스템(예를 들어, 자기 나침반), 하나 이상의 자이로스코프 시스템(예를 들어, 자세계, 방위계, 선회계), 하나 이상의 비히클 디렉터 시스템, 하나 이상의 내비게이션 시스템(예를 들어, 위성 위치확인 시스템(GPS), 관성 항법 시스템(INS), 초고주파 전방향 범위(VOR), 무지향성 무선 비콘(NDB), 엔진 스테이터스 지시기, 제어면 스테이터스 지시기, 기어 스테이터스 지시기, 조명 설정, 무선 설정 및 다른 설정을 포함할 수 있다. 인지 서브시스템(106) 및/또는 센서 서브시스템(118)은 기본 아날로그 계기에서 고도로 통합된 유리 조종실 항공전자 제품군에 이르기까지 다양할 수 있는 비히클의 조종실 레이아웃 및/또는 비히클의 조종실 계기(120)와 호환되도록, 코어 플랫폼(102) 및/또는 하나 이상의 DTR 구성 파일을 통해 구성될 수 있다. 인지 서브시스템(106)은 비히클 비종속적 및/또는 비히클 특정 조종실 계기(120)를 모니터링하도록 구성될 수 있다.
비전 시스템(vision system). 인지 서브시스템(106) 및/또는 센서 서브시스템(118)은 조종실 계기(120) 상에 표시된 것을 판독함으로써 비히클의 스테이터스를 연속적으로 모니터링하기 위해 모션 캡쳐 마커 및/또는 기준 마커(iducial markers)를 포함할 수도 있는 단안 또는 스테레오 비전 시스템을 채용할 수 있다. 비전 시스템은 계기(예를 들어, 유리 게이지, 물리적 증기 게이지 등) 및/또는 스위치뿐만 아니라 다양한 조명 조건 및 조종실 레이아웃 및 크기에서의 그것들의 포지션을 정확하게 모니터링하는 데 사용될 수 있다. 스테레오비전 시스템 및/또는 마커를 사용하는 것은 또한 임의의 로봇 구성요소와 비히클 조작자 간의 충돌을 방지하도록 감지하는 것을 제공한다.
센서 서브시스템(118)의 하나 이상의 카메라(310)(예를 들어, 경량 머신 비전 카메라)는 픽셀 밀도, 눈부심 강건성 및 리던던시를 최대화하기 위해 조종실 계기판 상에서 훈련될 수 있다. 하나 이상의 카메라(310)는 유선 및/또는 유선 연결을 통해 인지 제어기(302)에 연결될 수 있다. 하나 이상의 카메라(310)는 계기판과 함께 시야에 있지만 비히클 조작자에게는 방해가 되지 않도록 설치될 수 있다. 특정 양상에서, 2개의 유리한 지점들로부터 장면에 관한 정보를 비교함으로써, 2개 패널에서의 객체들의 상대 포지션들을 검사함으로써 3D 정보가 추출될 수 있다.
비전 시스템은 조종실 계기(120)(예를 들어, 유리 게이지, 물리적 증기 게이지 등)와 스위치뿐만 아니라 다양한 조명 조건 및 조종실 레이아웃 및 크기에서의 그것들의 포지션을 정확하게 모니터링하는 데 사용될 수 있다. 스테레오 비전 시스템 및/또는 기준 마커를 사용하는 것은 임의의 로봇 구성요소와 조작자 간의 충돌을 방지하도록 감지하는 것도 제공한다. 또한, 비전 시스템은 고화질, 스테레오 카메라 및/또는 LIDAR 레이저 스캐너를 채용할 수 있다. 비전 시스템은 모든 조종실 계기(120)로부터 데이터를 인식하고 (예를 들어, 연료 잔량과 같은) 비히클 특정 시스템의 상태를 표시하는 스위치 노브 및 게이지의 컨디션 및/또는 포지션을 결정할 능력이 있을 수 있다. 일부 예에서, 비전 시스템은 조종실 계기(120) 및/또는 특정 유형의 비히클의 조종실 레이아웃을 인식하기 위해 코어 플랫폼(102) 및/또는 DTR 파일(들)을 통해 재구성 가능할 수 있다. 비전 시스템은 또한 조작자 행동으로 인한 사소한 변경을 검출하기에 충분한 해상도로 계기판의 데이터를 인식하도록 구성될 수 있다. 인지 서브시스템(106)의 머신 비전 알고리즘은 코어 플랫폼(102)에 실시간 조종실 상태/스테이터스 업데이트를 제공하도록 조종실 계기(120)(게이지, 조명, 바람 보정 각도 패널, 주 디스플레이의 개별 요소 및/또는 유리 조종실 내의 다기능 디스플레이), 및/또는 스로틀 레버, 트림 설정, 스위치 및/또는 차단기와 같은 기계적인 아이템을 '판독'할 수 있다.
도 4a 내지 도 4c에 도시된 예에서, 카메라는 조종실 계기(120)의 이미지를 캡처하고(도 4a), 이진 이미지를 생성하기 위해 이미지에 대해 에지 검출 알고리즘이 수행된다(도 4b). 이러한 과정은 식별 및/또는 분석 루틴 내내 증가될 수 있다. 도 4c에 도시된 바와 같이, 시스템은 에지 검출 알고리즘을 통해 변환된, 제어 장치 상에 제시된 정보를 인식할 수 있다. 도 4c의 예에서, 제어 패널상의 LCD 디스플레이로부터 캡처된 추출 데이터(숫자 2, 4 및 9)는 시스템에 의해 식별되고 분석된다. 예를 들어, 광학 문자 인식 과정은 이진 이미지 또는 그 변형 상에서 수행될 수 있다. 따라서, 정보는 여기에 설명된 자율 시스템의 구현을 알리고 제어하는데 사용될 수 있다. 도 4d는 조종실 계기(120) 세트의 추가 이미지를 도시한다. 상술한 바와 같이, 에지 검출 알고리즘의 적용은 비전 시스템 처리 및 분석의 중간 단계로서 기능하는 가상의 분석 가능한 이미지(도 4e)를 생성한다.
구동 서브시스템(Actuation Subsystem). 센서 서브시스템(118)은 특정 위치에 고정될 수 있고 및/또는 구동 서브시스템(108)의 로봇 아암(110)과 같은 이동 가능한 물체에 결합될 수 있다. 일부 예에서, 구동 서브시스템(108)은 다양한 조종실 계기(120)를 보다 잘 관찰 및/또는 상호작용하기 위해, 센서 서브시스템(118)의 일부일 수 있고 조종실 주위의 센서를 조종하는데 사용될 수 있다. 인지 서브시스템(106)의 센서 서브시스템(118)은 또한 구동 서브시스템(108)의 스테이터스 및/또는 포지셔닝에 관한 이차적 정보를 제공할 수 있다.
구동 서브시스템(108)은 예를 들어 센서 서브시스템(118)의 하나 이상의 센서를 갖는 로봇 아암(110)을 포함할 수 있다. 구동 서브시스템(108)은, 예를 들어, 코어 플랫폼(102), 인지 서브시스템(106) 및/또는 센서 서브시스템(118)에 의해 명령된 행동을 실행하여 조작자에 의해 수행되는 활동을 방해하지 않으면서 비히클의 작동을 모니터링할 수 있다. 구동 서브시스템(108)은 코어 플랫폼(102), 인지 서브시스템(106) 및/또는 센서 서브시스템(118)으로부터 구동 명령 및/또는 구성 데이터를 수신하는 한편, 구동 서브시스템(108)에 의해 생성된 스테이터스 및/또는 응답 정보를 코어 플랫폼(102)으로 전송할 수 있다.
도 3b에 도시된 바와 같이, 구동 서브시스템(108)은 로봇 아암(110)을 포함할 수 있다. 로봇 아암(110)은 관절 아암(402)(예를 들어, 로봇 부속기 또는 "아암")을 갖는 프레임(408)을 포함할 수 있다. 구동기에 의해 제어되는 관절 아암(402)은 승객 및/또는 부조종사가 일반적으로 차지하는 공간 또는 승객 또는 부조종사의 일부분(예를 들어, 아암, 다리, 몸통 등)을 차지하도록 크기, 형상 및/또는 구성될 수 있어서 조종실 계기(120)에 대한 적절한 접근 및/또는 휴대성을 보장한다.
다중 자유도("DOF") 움직임에서의 움직임을 가능하게하기 위해, 관절 아암(402)은 복수의 힌지 또는 피벗 조인트(406)를 사용하여 조인된 복수의 아암 세그먼트(선형, 곡선 또는 각진 것에 관계없이)를 포함할 수 있다. 관절 아암(402)은 그 원위단에서 엔드 이펙터(404)를 포함할 수 있다. 엔드 이펙터(404)는 다중-DOF 연결을 통해 관절 아암(402)에 결합될 수 있다. 관절 아암(402)의 베이스는 이동 가능한 베이스를 통해 프레임(408)에 회전 가능하고 슬라이딩 가능하게 결합될 수 있다. 관절 아암(402)은 관절 아암(402)의 정확한 포지셔닝을 보장하기 위해 그것의 각 자유도에 대해 인코더(예를 들어, 트윈 18 비트 인코더)로 장착될 수 있다. 내부 클러치는 각각의 힌지 또는 피벗 조인트(406)에 제공되어서, 관절 아암(402)을 손상시키지 않으면서 원하는 경우 관절 아암(402)이 조작자에 의해 제압될 수 있다. 그러한 경우에, 비히클 모니터링 시스템(100)은 인코더를 사용하여 관절 아암(402)의 포지션 및/또는 위치를 결정할 수 있다.
예를 들어 엔드 이펙터(404)는 예컨대 스로틀 레버 등을 결합 및/또는 다르게는 맞물리도록 구성된 그리퍼일 수 있다. 엔드 이펙터(404)는 또한 인지 서브시스템(106), 센서 서브시스템(118) 및/또는 비히클 모니터링 시스템(100)으로 하여금 비행 제어 작동기가 어떻게 파악되는지를 추정하고 조종실 계기(120)를 적절하게 판독 및/또는 맞물리도록 모션을 조정하게 하도록, 힘 및/또는 압력 검출을 제공할 수 있다. 일단 운동이 실행되면, 동일한 힘 및/또는 압력 검출은 소망하는 스위치 구성이 달성되었는지를 결정하는데 사용될 수 있다. 특정 양상에서, 관절 아암(402)은 타겟을 찾고 및/또는 타격할 수 있게 하는 전자 장치(예를 들어, 추적 장치, 귀환(homing) 장치, 카메라, 압력 센서 등)로 장착될 수 있다. 특정 양상에서,로봇 아암(110)에는 센서들 및/또는 그것들과 통합된 이미징 능력들이 제공될 수 있다. 특히,로봇 아암(110)은 이미지 데이터를 수집 및/또는 분석하기 위해 최적화될 수 있다. 일부 예에서,로봇 아암(110)은 조종실 계기(120) 및/또는 대응하는 디스플레이와 같은 항공기의 장면을 이미징하는데 사용되는 엔드 이펙터(404)에 카메라(예를 들어, 센서 서브시스템(118)의 카메라(310))를 포함할 수 있다. 로봇 아암(110)은 로봇 아암(110)의 작동 동안 접촉력 데이터를 수집할뿐만 아니라 소망하는 접촉력의 폐쇄 루프 제어를 가능하게 하는 힘-감지 핑거를 또한 포함할 수 있다. 일부 예에서, 로봇 아암(110)은 충분한 수의 조인트(406) 및/또는 아암 세그먼트(402)를 사용하여 로봇 아암(110)에 통합된 다수의 카메라, 다수의 힘-감지 핑거 및/또는 다수의 엔드 이펙터(404)를 포함할 수 있다.
따라서, 로봇 아암(110)은 (예를 들어, 센서 서브시스템(118) 및/또는 인지 서브시스템(106)과 관련하여 설명된 비전 시스템을 사용하여) 센서 서브시스템(118) 및 다양한 복합 인터페이스 작동을 구현하기 위한 하나 이상의 제어기와 통합될 수 있다. 예를 들어, 센서 서브시스템(118)은 (예를 들어, 스위치, 다이얼, 노브 등의) 조종실 계기(120)를 조작하기 위해 제어기(예를 들어, 코어 플랫폼(102))에 정보를 제공하고 계기가 정확하게 식별되도록 보장할 수 있을 뿐만 아니라, 작동 전, 작동 중 및 작동 후에 계기의 컨디션에 대한 결정을 할 수 있다. 예를 들어, 스위치는 조종실의 특정 영역에 위치될 수 있으며, 거리 및 위치는 인지 서브시스템(106)에 의해 식별된다. 스위치를 작동하라는 명령을 수신하면, 제어기는 엔드 이펙터(404)를 스위치로 이동시키는 최적의 방법을 결정할 수 있다(예를 들어, 로봇 아암의 궤적, 현재 포지션로부터 스위치까지의 거리). 제어기는 추가로 상호 작용의 하나 이상의 파라미터(예를 들어, 스위치의 컨디션 및/또는 포지션의 예상되는 변화, 스위치를 활성화키는데 필요한 힘의 양 등)를 결정하고 이 파라미터들에 대응하는 센서로부터 정보를 모니터링할 수 있다.
로봇 아암(110)에 장착된 카메라(310)(및/또는 센서 서브시스템(118)의 다른 센서)는 센서 서브시스템(118)이 조종실 내의 다수의 관점으로부터 다양한 뷰를 얻을 수 있게 한다. 로봇 아암(110)의 일 단부에서, 엔드 이펙터(404)와 같은 로봇 부속물은 이미징 및/또는 힘 센서를 통합시킬 수 있다. 따라서 조종실 환경에서 계기들은 인간 조작자의 손이 닿는 위치와 포지션에 맞게 수직, 수평 또는 다양한 각도를 지향하게 될 수 있다. 로봇 아암(110)에 장착된 카메라(310)는 조종실 내의 다양한 위치 및 각도에서 표면 및계기를 볼 수 있다. 이러한 방식으로, 로봇 아암(110)은 조종실 주위로 이동하여 고정 뷰로부터 차단될 수 있는 계기를 볼 수 있을 뿐만 아니라, 비히클 작동 중에 조작자의 뷰를 모호하게하는 것을 피할 수 있다. 따라서, 본원에 기술된 로봇 아암(110)의 유연성은 본원에 기술된 바와 같은 다수의 이점을 갖는, 다른 시스템에서 발견되는 고정적으로 장착된 카메라로부터의 이탈이다. 별도의 구성요소로서 도시되어 있지만, 특정 양상에서, 구동 서브시스템(108), 센서 서브시스템(118) 및/또는 인지 서브시스템(106)은 인식 제어기(302) 및/또는 카메라(310)와 같은 구성요소를 공유할 수 있다.
작동 시, 로봇 아암(들)(110)에 장착된 카메라(들)(310)(및/또는 센서 서브시스템(118)의 다른 센서들)로부터의 정보는 조종실 및/또는 관련 계측기의 2 차원 및/또는 3 차원 모델을 구축 및/또는 검증하기 위해 채용될 수 있다. 이미지 센서를 통합하는 것은 조종실 계기(120) 인터페이스들(예를 들어, 버튼, 스위치, 노브, 스크린 인터페이스 등)을 관찰 및/또는 상호작용하고 및/또는 계기의 상이한 조건을 이해하는 유연성을 크게 향상시킬 수 있다. 일부 예에서, 카메라(들)(310)는 표준화된 뷰를 생성하기 위해 이미지를 분석 및/또는 조작하도록 데이터를 제어기에 전송할 수 있다. 표준화된 뷰는 하나 이상의 시스템에 의해 쉽게 판독 가능한 형식일 수 있다. 예를 들어, 장치 및/또는 제어기의 (예를 들어, 도 4a 및 도 4d에 도시된 바와 같은) 원시 카메라(310) 이미지는 이미지의 요소가 하나 이상의 물리적 및/또는 가상 제어장치(예를 들어, 버튼, 다이얼, 스위치 등)를 포함하는 계기판으로 인식될 수 있도록 (예를 들어, 도 4b 및 도 4e에 도시된 바와 같이) 이진 이미지로 재포맷될 수 있다. 하나 이상의 제어장치의 각각은 수치 판독값(numerical readout)과 같은 하나 이상의 디스플레이에 대응할 수 있다.
유리하게는, 이미지를 재포맷하는 과정은 시스템으로 하여금 상대적인 배향에 관계없이 특정 제어장치 및/또는 디스플레이를 인식하게 할 수 있다. 다시 말하자면, 이미지는 조종실 계기(120)로부터의 임의의 각도 및/또는 거리에서 얻어질 수 있지만, 제어기는 계기를 인식해서 알려진 계기의 이미지들의 카탈로그와 비교하기 위하여 이미지화된 요소들을 식별 및/또는 조작하는 것을 할 수 있다.
지식 획득 서브시스템(Knowledge acquisition subsystem)(114). 지식 획득 서브시스템(114)은 비히클 모니터링 시스템(100)이 비히클 특정 정보를 결정할 수 있게 하는데 필요한 지식을 모으고 및/또는 생성할 수 있다. 이는 비히클 성능, 특성, 능력, 제한사항, 레이아웃, 계측, 체크리스트, 미션 및/또는 절차(비상 절차 포함)에 대한 지식뿐만 아니라 비히클에서의 우발 사태 및/또는 시정 조치를 정의하는 기준을 포함할 수 있다. 지식은 예를 들어, 특정 비히클 미션, 조작, 체크리스트 및/또는 절차의 내용뿐만 아니라 미션, 조작, 체크리스트 및/또는 절차 사이의 작업 흐름을 포함할 수 있다. 지식은 지식 획득 서브시스템(114)에 의해 판독 가능한 데이터로 인코딩된 비히클 문헌의 조합(예를 들어, 매뉴얼, 브리핑, 조종사 작동 핸드북, 비히클 작동 핸드북)으로부터 얻어질 수 있다. 지식은 추가적으로 또는 대안적으로 비히클 작동 동안 획득된 데이터로부터(예를 들어, 인지 서브시스템(106)을 통해) 얻어질 수 있다. 지식 획득 서브시스템(114)은 데이터베이스 서브시스템(122) 및 콘텍스트 인식 서브시스템(124)을 포함할 수 있다. 지식 획득 서브시스템(114)은 코어 플랫폼(102)으로부터 작동 명령을 수신하는 한편, 코어 플랫폼(102)으로 구성 데이터, 스테이터스, 응답 정보 및/또는 지식 획득 서브시스템(114)에 의해 모아진 및/또는 생성된 지식을 전송할 수 있다.
데이터베이스 서브시스템. 비히클 모니터링 시스템(100)에 의해 모아진 및/또는 생성된 지식은 비히클 상에 배치되든 또는 원격으로 위치되든 데이터베이스 서브시스템(122)에 저장될 수 있고, 이는 원격으로 액세스될 수 있다. 데이터베이스 서브시스템(122)은 온라인 및/또는 오프라인 머신 러닝 및/또는 트렌드 분석을 지원할 수 있다. 작동하는 동안, 데이터베이스 서브시스템(122)은 특히 인지 서브시스템(106), 사용자 인터페이스(126)뿐만 아니라 비히클 모니터링 시스템(100)의 내부 상태 감지에 의해 모아진 실시간 데이터로 동적으로 업데이트될 수 있다. 작동 후, 데이터베이스 서브시스템(122)으로부터의 데이터는 하나 이상의 중앙 저장소(central repositories)로 다운로드될 수 있어서, 예를 들어 트렌드 및/또는 패턴 분석이 수행될 수 있다. 데이터베이스 서브시스템(122) 내의 데이터는 타임 스탬프되고, 기록된 시간 기간에 따라 조직화되고 및/또는 그외에는 주어진 시간 기간과 관련될 수 있다.
일부 예에서, 데이터베이스 서브시스템(122)의 데이터의 일부 또는 전부는 디지털 파일로 인코딩되거나 및/또는 디지털 파일로부터 디코딩될 수 있다. 일부 예에서, 데이터베이스 서브시스템(122)의 데이터 채우기는 디지털 파일이. xml 파일 형식을 사용할 수 있는 예에서와 같이 "XML"(Extensible Markup Language)을 사용하여 달성될 수 있다. 보다 구체적으로, 채워질 때 코어 플랫폼(102)(및/또는 비히클 모니터링 시스템(100) 및 그 서브시스템)이 특정 비히클과의 작동을 위해 구성될 수 있게 하는 필드 및 데이터 트리의 세트를 포함하는 XML 데이터 구조가 채용될 수 있다. 특정 양상에서, 비히클 모니터링 시스템(100)은 문서(예를 들어, 비행 문서)의 자연어 해석 및/또는 인간이 데이터를 효율적이고 정확하게 입력할 수 있게 하는 소프트웨어 툴을 채용할 수 있다.
데이터베이스 서브시스템(122)은 다수의 개별 데이터베이스 및/또는 다른 데이터 보유 구조를 포함할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 데이터베이스 서브시스템(122)은 상태 데이터베이스(506), 콘텍스트 데이터베이스(504), 인지 데이터베이스(510), 트렌드 데이터베이스(508) 및/또는 비히클 구성 데이터베이스(502)를 포함할 수 있다. 이 데이터베이스들은 별개로 분리되어 도시되지만, 일부 예에서는 두 개 이상의 데이터베이스가 단일 데이터베이스로 결합될 수 있다. 일부 예에서, 도시된 데이터베이스 중 하나 이상이 다수의 데이터베이스로 분할될 수 있다.
비히클 구성 데이터베이스. 비히클 구성 데이터베이스(502)는 비히클의 시스템과 관련된 정보, 그 구성 및/또는 안전한 작동을 유지하기 위해 필요한 절차뿐만 아니라 비히클의 인증된 조작자가 가질 것으로 예상되는 모든 다른 지식 및/또는 전문 지식을 저장할 수 있다. 비히클 구성 데이터베이스(502)는 지식 획득 서브시스템(114) 및/또는 현재 작동중인 비히클에 대한 (예를 들어, 비행 제어 모델, 작동 절차, 비히클 시스템 등의) 필요한 정보를 갖는 다른 서브시스템에 의해 채워질 수 있다. 일부 예에서, 비히클 구성 데이터베이스(502)는 사용자 인터페이스(126)를 통해 비히클 모니터링 시스템(100)과 통신하는 외부 장치에 의해 채워질 수 있다. 예를 들어, DTR 파일은 사용자 인터페이스(126)를 통해 비히클 모니터링 시스템(100)에 로딩될 수 있다. 비히클 구성 데이터베이스(502)로부터의 정보는 DTR 파일을 채우는 데 (또는 원하는 구성에 따라 - 그 반대로) 사용될 수 있다.
비히클 구성 데이터베이스(502)는 비히클을 작동 시키는데 필요한 모든 정보를 포함하도록 지식 획득 페이즈 동안 (예를 들어, 초기 셋업 동안) 특정 비히클으로 채워지거나 및/또는 조정될 수 있다. 예를 들어, 새로운 비히클으로 전환할 때, 지식 획득 서브시스템(114)은 (예를 들어, 조종실 계기와 같은 제어기/판독값의) 레이아웃, 성능 파라미터, 및 비히클의 다른 특성을 결정하기 위해 미리 정의된 활동들을 수행할 수 있다. 미리 정의된 활동들은 예를 들어: (1) 어떤 시스템이 온보드되어 있는지 및 시스템이 어떻게 구성되는지, 구동 한계 등에 대해 비히클 모니터링 시스템(100)에 통지할 수 있는 비히클 시스템 모델의 생성; (2) 체크리스트의 코드화(codification)를 추가로 포함하면서, 정상 및/또는 비정상 상황에서 비히클이 어떻게 작동하는지 비히클 모니터링 시스템(100)에 통지할 수 있는 절차 코드화; (3) 비히클이 어떻게 작동되는지 및 어느 비히클 구성에 대해 어떤 성능을 기대할 수 있는지를 비히클 모니터링 시스템(100)에 통지할 수 있는 (예를 들어, 공기 역학, 유체 역학 등의) 비히클 역학(dynamics) 모델; 및/또는 (4) 미션 작동에 관한 정보를 포함할 수 있다.일부 예에서, 지식 획득 서브시스템(114)은 인지 서브시스템(106) 및/또는 비히클 모니터링 시스템(100)의 하나 이상의 다른 서브시스템의 도움으로 이러한 활동들을 수행할 수 있다.
코어 플랫폼(102)은 비히클 모니터링 시스템(100)의 다양한 서브시스템을 구성하기 위해 비히클 구성 데이터베이스(502) 내의 데이터를 사용할 수 있다. 코어 플랫폼(102)은 비히클 구성 데이터베이스(502)의 정보를 인지 서브시스템(106) 및/또는 콘텍스트 인식 서브시스템(124)뿐만 아니라 내부 센서 세트로부터의 데이터와 결합하여, 비히클 상태 및/또는 스테이터스의 매우 정확한 추정치를 생성하고 및/또는 예상되는 작동, 상태 및/또는 스테이터스로부터의 편차를 식별할 수 있다. 주어진 비히클에 대한 비히클 구성 데이터베이스(502)가 데이터로 채워지면, 채워진 데이터는 DTR 파일 내에 보유(retain)될 수 있고 비히클 모니터링 시스템(100)이 이용 가능한 동일한 제조사 및/또는 모델의 모든 다른 비히클에 사용될 수 있다. 추가 데이터가 비히클 모니터링 시스템(100)에 의해 생성 및/또는 수집됨에 따라, 채워진 데이터 및/또는 DTR 파일은 추가로 세부조정(refine)될 수 있다.
콘텍스트 데이터베이스 . 콘텍스트 데이터베이스(504)는 비히클 미션, 체크리스트 및/또는 절차에 속하는 정보를 저장할 수 있다. 정보는 비히클 특정적 및/또는 비히클 비종속적일 수 있다. 예를 들어, 머신 러닝 기술은 비히클의 이력 데이터에 기초하여 비히클의 유형 및/또는 비히클에 특정한 다른 양상을 결정하기 위해 사용될 수 있다. 미션, 체크리스트 및/또는 절차는 비히클 모니터링 시스템(100)의 초기화 및/또는 셋업에서 콘텍스트 데이터베이스(504)에 로딩될 수 있다. 일부 예에서, 미션, 체크리스트, 및/또는 절차는 각 종류의 미션에 사용될 수 있는 단일 DTT를 통해 하나 이상의 DTR 파일을 사용하여 로딩될 수 있다. 일부 예에서, 콘텍스트 데이터베이스(504)는 콘텍스트 데이터를 다른 관련 데이터(예를 들어, 기록된 콘텍스트 전/후 비히클의 상태(들), 기록된 콘텍스트 이전, 도중, 및/또는 이후 비히클의 인지(들), 일부일 수 있는 기록된 콘텍스트의 임의의 트렌드 등)와 상관시키도록, 데이터베이스 서브시스템(122) 내의 다른 데이터베이스에 대한 포인터, 링크 및/또는 참조를 포함할 수 있다.
절차는 예를 들어 이륙/착륙 절차(들), 항행 절차(들), 상승 절차(들), 하강 절차(들), 재급유 절차(들), 통기(venting) 절차(들), 지상 활주(taxiing) 절차(들), 주차 절차(들), 미션 특정 절차(들), 패턴 유지 절차(들), 통과 절차(들), 진입/진출 절차(들) 등을 포함할 수 있다. 각각의 절차 및/또는 비히클의 일반적인 작동과 관련된 체크리스트는 또한 콘텍스트 데이터베이스(504)에 저장될 수 있다.
특정 양상에서, 비히클 비종속적 절차들의 세트가 모아지고, 생성되고 및/또는 보유될 수 있다. 예를 들어, 랜딩 기어 철회(retraction), 다중엔진 항공기 상의 엔진 출력 절차들 및 스톨 복구(stall recovery)와 같은 절차들은 여러 유형의 항공 비히클에 걸쳐 유사하며 특정 기체에 대해 최소한의 수정만을 필요로 할 것이다. 더욱이, (속도 초과 절대금지와 같은) 기본적인 기체 제한사항들은 특정 번호로서 입력되는 것만을 필요로 하며, 공칭 기간(nominal period of time)에서 비행 매뉴얼에서부터 입력될 수 있다.
상태 데이터베이스. 상태 데이터베이스(506)는 비히클의 상태에 속하는 정보를 보유할 수 있다. 상태 정보는 상태 모니터링 서브시스템(104)에 의해 모아지거나 및/또는 생성될 수 있다. 상태 정보는 비히클의 작동에 관한 트렌드를 식별하기 위해 트렌드 모니터링 서브시스템(116)에 의해 사용될 수 있다. 일부 예에서, 상태 데이터베이스(506)는 상태 데이터를 다른 관련 데이터(예를 들어, 직전/직후 비히클의 상태(들), 상태 이전, 도중, 및/또는 이후 비히클의 콘텍스트(들), 상태 이전, 도중, 및/또는 이후 비히클의 인지(들), 일부일 수 있는 기록된 콘텍스트의 임의의 트렌드 등)와 상관시키도록, 데이터베이스 서브시스템(122) 내의 다른 데이터베이스에 대한 포인터, 링크 및/또는 참조를 포함할 수 있다.
인지 데이터베이스. 인지 데이터베이스(510)는 시간에 따라 인지 서브시스템(106)에 의해 기록된 데이터를 보유할 수 있어서, 데이터는 비히클 모니터링 시스템(100)의 작동 중에 보유된다. 인지 데이터베이스(510)에 기록 및/또는 보유된 데이터는 콘텍스트, 상태, 트렌드 및/또는 다른 정보를 결정하는 것을 돕도록 다양한 서브시스템에 의해 사용될 수 있다.
트렌드 데이터베이스. 트렌드 데이터베이스(508)는 이전에 식별된 트렌드에 속하는 데이터를 보유할 수 있다. 이전에 식별된 트렌드의 일부 또는 전부가 비히클 모니터링 시스템(100)의 셋업/초기화 시 로딩될 수 있다. 비히클 모니터링 시스템(100)의 작동 동안 식별된 트렌드의 일부 또는 전부는 비히클 모니터링 서브시스템(100)의 작동 동안 트렌드 데이터베이스(508)에 저장될 수 있다. 일부 예에서, 트렌드 데이터베이스(508)는 트렌드 데이터를 다른 관련 데이터(예를 들어, 트렌드 동안의 비히클의 상태(들), 트렌드 동안의 비히클의 콘텍스트(들), 트렌드에 대한 비히클의 인지(들) 등)에 상관시키도록, 데이터베이스 서브시스템(122) 내의 다른 데이터베이스에 대한 포인터, 링크 및/또는 참조를 포함할 수 있다.
콘텍스트 인식 서브시스템(Context Awareness Subsystem). 콘텍스트 인식 서브시스템(124)은 임의의 주어진 시간에 비히클의 미션, 체크리스트 및/또는 절차적 "콘텍스트"의 인식을 식별 및/또는 유지할 수 있다. 콘텍스트는 비히클 특정적 및/또는 비히클 비종속적일 수 있다. 일부 예에서, 콘텍스트와 상태는 상호 의존적일 수 있어서, 상태 모니터링 서브시스템(104)에 의한 현재 및/또는 예측 비히클 상태의 결정은 콘텍스트 인식 서브시스템(124)에 의해 식별된 현재, 이전 및/또는 예측된 미래 비히클 콘텍스트에 적어도 부분적으로 의존 및/또는 기초할 수 있고, 및/또는 그 반대일 수 있다. 일부 예에서, 콘텍스트 또는 상태는 우선순위를 갖도록 선택될 수 있어서, 하나 또는 다른 것(콘텍스트 또는 상태)이 먼저 결정된다. 일부 예에서, 우선순위는 특정 비히클 유형, 특정 조작자, 현재 미션 및/또는 다른 고려 사항에 따라 자동으로 설정될 수 있다. 일부 예에서, 우선순위는 사용자 인터페이스(126)를 통해 조작자에 의해 수동으로 설정될 수 있다.
콘텍스트 인식 서브시스템(124)은 저장된 미션, 체크리스트 및/또는 절차를 사용하여 콘텍스트의 인식을 유지할 수 있다. 미션, 체크리스트 및/또는 절차는 예를 들어 데이터베이스 서브시스템(122)의 콘텍스트 데이터베이스(504)에 저장될 수 있다. 미션, 체크리스트 및/또는 절차는 비히클 모니터링 시스템(100)의 초기화 및/또는 셋업에서 콘텍스트 데이터베이스(504)에 로딩될 수 있다. 일부 예에서, 미션, 체크리스트 및/또는 절차의 일부 또는 전부는 비히클 모니터링 시스템(100)에 의해 모니터링되는 비히클의 클래스, 카테고리, 유형, 제조사 및/또는 모델과 관련될 수 있다. 일부 예에서, 미션, 체크리스트 및/또는 절차의 일부 또는 전부는 비히클에 무관심할 수 있다. 일부 예에서, 미션, 체크리스트 및/또는 절차는 하나 이상의 DTR 파일을 사용하여 로딩될 수 있다.
콘텍스트 인식 서브시스템(124)은 임의의 주어진 순간에 하나 이상의 미션, 체크리스트 및/또는 절차에 대응하는 현재 비히클 콘텍스트를 식별할 수 있다. 식별은 비히클의 현재, 이전, 예상 및/또는 예측된 상태에 기초할 수 있다. 현재 콘텍스트의 식별은 콘텍스트 데이터베이스(504)의 내용, 인지 서브시스템(106)으로부터의 현재 데이터, (예를 들어, 데이터베이스 서브시스템(122)에 저장된) 인지 서브시스템(106)으로부터의 이전 데이터, 사용자 인터페이스(126)를 통해 입력된 조작자로부터의 정보 및/또는 다른 정보 소스에 더 기초할 수 있다. 일부 예에서, 하나의 상태에서 다른 상태로의 전환은 현재 비히클 콘텍스트 결정을 통지 및/또는 유발할 수 있다. 콘텍스트 인식 서브시스템(124)은 콘텍스트 데이터베이스(504)에 이전의 비히클 콘텍스트들을 저장할 수 있다.
작동(Operation). 도 6은 비히클 모니터링 시스템(100)의 예시적인 작동을 도시한다. 단계(602)에서, 비히클 작동 시스템(100)이 셋업 및/또는 초기화된다(initialized). 이것은 비히클의 점화 전, 후 및/또는 도중에 발생할 수 있다. 셋업 동안, 비히클 모니터링 시스템(100)의 구성요소들은 비히클에 설치될 수 있다. 인지 서브시스템(106)은 비히클의 조종실 계기(120)와 하드와이어 및/또는 그외에는 인터페이스될 수 있다. 카메라 및/또는 다른 센서들이 사용되는 예에서, 이들 장치는 조작자(들)에 대한 방해를 최소화하면서 조종실 계기(120)로부터 데이터를 수집, 측정 및/또는 감지하도록 적절하게 셋업될 수 있다. 육상 비히클(예를 들어, 자동차, 트럭, 구급차 등)에서 이는 조수석, 뒷좌석, 대시보드 영역, 중앙 콘솔 또는 몇몇 다른 적절한 포지션에 카메라 및/또는 센서를 적절하게 포지셔닝하는 것을 의미할 수 있다. 항공기(예를 들어, 비행기, 헬리콥터 등)의 경우, 이는 조종실, 조수석, 뒷좌석, 대시보드 영역, 콘솔 영역 또는 몇몇 다른 적절한 포지션에 포지셔닝하는 것을 의미할 수 있다. 수상 비히클(선박, 잠수함 등)의 경우, 이 또한 비슷한 의미일 수 있다. 일부 예에서, 비히클 모니터링 시스템(100)은 (예를 들어, 훈련 시뮬레이션을 평가하고 및/또는 트렌드 분석을 위한 초기 데이터를 개발하기 위해) 비히클 시뮬레이터에 설치될 수 있다.
지식 획득 페이즈는 단계(604)에서 발생하는데, 이는 일반적으로 비히클에 관한 정보가 다양한 소스(예를 들어, SME, 매뉴얼 등)로부터 모아지고 궁극적으로 DTR 파일을 생성하기 위해 비히클 구성 데이터베이스를 채우는 데 사용되는 과정을 지칭한다. 비히클에 따라 지식 획득 페이즈는 종종 비히클에 무엇이든지 비히클에 설치되기 전에 일어나며, 완료하는 데 몇 시간에서 한 달까지 걸릴 수 있다.
지식 획득 페이즈 동안, 피드백 서브시스템 비교를 위해 임계 조건들이 확립될 수 있다. 이러한 조건들은 엔진 과속 또는 대기속도 제한 초과와 같이 별개일 수 있다. 추가적으로, 비히클 구성 데이터는 비히클 구성 데이터베이스(502) 및/또는 데이터베이스 서브시스템(122)의 다른 데이터베이스에 업로드될 수 있다. 이 정보는 예를 들어 비히클 역학 데이터, 작동 한계, 미션, 체크리스트, 절차, 비히클 시스템, 계기 레이아웃뿐만 아니라 다른 관련 데이터를 포함할 수 있다. 비히클 구성 데이터는 하나 이상의 디지털 파일(예를 들어, DTR 파일(들))을 사용하여 업로드될 수 있다. 일례로, 지식 획득 페이즈는 1) 비히클에 대한 지식을 수집하고, 2) 인지 시스템을 구성하면서 데이터베이스 및 초기 DTR을 구축하고, 3) 인지 시스템을 설치하면서 시뮬레이션에서 DTR을 디버그하고, 4) (하나 이상의 상이한 미션에 대해) 하나 이상의 DTR을 설치, 및 5) 셋업 및 초기화를 계속할 수 있다.
단계(606)에서, 비히클 작동이 시작한다. 이 단계는 지식 획득 단계 후에 자동으로 유발되거나 조작자에 의해 수동으로 유발될 수 있다. 그 후, 비히클 모니터링 시스템(100)은 단계(616)에서 작동이 중단될 때까지 단계(608-614)의 순환 루프로 진입한다. 중단된 작업은 일부 이벤트, 트렌트, 상태 전환 및/또는 콘텍스트에 의해 자동으로 유발되거나 조작자에 의해 수동으로 유발될 수 있다.
작동하는 동안, 단계(608)에서, 인지 서브시스템(106)은 조작자 조종사가 비히클을 조종할 때 비히클 조종실(및/또는 현실적 시뮬레이터) 내의 계기들 및/또는 제어장치들을 모니터링할 수 있다. 조작자의 행동을 관찰하는 것은 비히클 모니터링 시스템(100)이 하여금 조작자로부터 직접적으로 배우고 그 특정 조작자에 대한 트렌드 분석을 구현하도록 할 수 있다. 이 과정은 비히클 작동이 주어진 상황에서 수행해야 할 작업에서 때때로 고도로 구조화되어 있다는 사실로부터 이익을 얻을 수 있다 - 그런 다음 머신 러닝은 예를 들어 비히클이 위험에 처하게 되는 작동 트렌트를 식별하면서 무언이 어떻게 실행될 것인가에 대한 코드화를 가능하게 한다.
단계(610)에서, 현재 비히클 상태는 인지 서브시스템(106)으로부터의 데이터뿐만 아니라 다른 데이터(예를 들어, 과거 및/또는 현재 상태/콘텍스트/트렌드)를 사용하여 결정될 수 있다. 하나 이상의 예측된 미래 상태가 또한 결정될 수 있다. 비히클 콘텍스트는 또한 다른 데이터(예를 들어, 과거 및/또는 현재 콘텍스트/상태/트렌드, 예측된 미래 상태들)와 함께 인지 서브시스템(106)으로부터의 데이터를 사용하여 결정될 수 있다. 비히클 상태(들) 및/또는 콘텍스트(들)는 데이터베이스 서브시스템(122)에 저장될 수 있다.
단계(612)에서, 트렌드 분석이 하나 이상의 트렌드를 식별하기 위해 수행될 수 있다. 트렌드는 비히클 트렌드 및/또는 조작자 트렌드일 수 있다. 단계(614)에서, 적절한 피드백은 알려진 및/또는 예상된 상태(들), 콘텍스트(들) 및/또는 트렌드(들)와 비교하여, 식별된 상태(들), 콘텍스트(들) 및/또는 트렌드(들)을 기초로 결정될 수 있다. 피드백은 사용자 인터페이스(126)를 통해 조작자에게 제시될 수 있다.
단계(616)에서 작동이 계속되거나 중단될 수 있다. 일부 예에서, 작업은 일부 다른 입력이 수신되거나 일부 중단 조치가 자동으로 유발되지 않는 한 디폴트로 계속될 수 있다. 중단된 작업은 일부 이벤트, 트렌트, 상태 전환 및/또는 콘텍스트에 의해 자동으로 유발되거나 조작자에 의해 수동으로 유발될 수 있다. 일부 예에서는 그 반대가 사실일 수 있으며, 작동을 계속하도록 일부 자동 및/또는 수동 입력을 요구하면서 작동이 디폴트로 중단될 수 있다.
일단 작동이 중단되면, 비히클 모니터링 시스템(100)은 단계(618)에서 (예를 들어, 데이터베이스 서브시스템(122) 내의) 그 축적된 데이터를 중앙 저장소로 오프로드할 수 있다. 일부 예에서, 중앙 저장소는 비히클의 플리트(fleet) 및/또는 비히클 모니터링 시스템으로부터의 데이터를 보유할 수 있다. 다른 예에서, 중앙 저장소는 단일 비히클 및/또는 비히클 모니터링 시스템으로부터의 데이터만을 보유할 수 있다. 중앙 저장소는 미래 비히클 모니터링 시스템(100) 작동을 위한 오프라인 트렌드 분석 및/또는 인식을 보조하기 위해 사용될 수 있다. 단계(620)에서, 비히클 모니터링 시스템(100)의 작동이 종료된다. 비히클 모니터링 시스템(100)이 네트워크에 액세스할 수 없는 예에서, 비히클 모니터링 시스템(100)은 중앙 저장소에 업로드하기 위해 제거 가능한 로컬 드라이브로 구성될 수 있다.
도 7a 및 7b는 비히클 모니터링 시스템에서 사용될 수 있는 예시적인 절차를 도시한다. 예시적인 절차는 항공 비히클을 위한 절차이다. 절차는 여러 작업에 대한 체크리스트로 구성된다. 도면 내의 각각의 글자가 적힌 원은 체크리스트 내의 작업에 대응한다. 원의 유형은 비히클 모니터링 작업의 유형에 대응한다. 일부 작업에 대해, 피드백(예를 들어, 표시)이나 다른 작업이 수행되지 않는다. 다른 작업에 대해, 시스템은 작업이 미결(pending), 미완료, 및/또는 완료되었다는 하나 이상의 지시기와 같은, 작업에 대한 피드백을 표시할 수 있다. 일부 작업에 대해, 시스템은 조작자가 작업이 완료되었음을 확인하는 사용자 인터페이스(126)에 대한 일부 입력으로 피드백에 응답할 것을 요구할 수 있다. 일부 작업에 대해, 인지 서브시스템(106)은 작업이 조종실 계기(120) 및/또는 다른 비히클 계기의 판독을 통해 완료되었음을 독립적으로 확인할 수 있다. 조작자가 하나 이상의 선행 작업이 완료되기 전에 절차의 하나 이상의 작업을 진행하려고 시도하면, 시스템은 부정적인 피드백(예를 들어, 경보, 경고 등)을 추가로 표시할 수 있다.
도 8은 비히클 모니터링 시스템(100)에서 사용될 수 있는 예시적인 상태도를 도시한다. 상태도는 항공 비히클의 상태에 대응한다. 도면은 항공 비히클이 작동 중에 취할 수 있는 다양한 상태를 나타낸다. 점선을 갖는 이러한 상태 및 상태 전환은 미션 특정 상태 및/또는 미션 특정 상태로의/미션 특정 상태로부터의 전환에 대응한다. 도면은 상태 전환 동안 인지 서브시스템(106)을 통해 획득된 데이터가 어떻게 특정 절차, 체크리스트 및/또는 피드백을 유발할 수 있는지를 도시한다. 보다 구체적으로, 도면은 하강 상태에서 패턴 유지 상태로 전환하는 동안의 트리거를 도시한다. 인지 서브시스템(106)이 평균 해발(MSL) 위 약 1200 피트의 고도 및 활주로로부터 5 해리(NM) 미만의 거리를 검출하는 경우, 시스템은 착륙 절차의 콘텍스트를 유추할 수 있다. 이 유추는 1200 피트 MSL 훨씬 위이고 알려진 활주로로부터 5 NM보다 훨씬 먼 이전 비히클 상태에 대한 지식에 의해 추가로 통지될 수 있다. 시스템은 추가로 착륙 체크리스트의 작업이 아직 완료되지 않았다는 것을 추가로 결정하고, 사용자 인터페이스(126)를 통해 조작자에게 적절한 피드백을 제공할 수 있다. 조작자가 계속하는 한, 시스템은 MSL 위의 약 500 피트의 고도와 활주로로부터의 1 NM 미만의 거리를 감지하고, 시스템은 보다 긴급하고 표현적인 피드백을 제공할 수 있다. 일부 예에서, 시스템은 체크리스트(들) 절차(들)의 적절한 작업(들)이 완료될 때까지 조작자가 더 진행(예를 들어, 추가 하강을 블락(block))하는 것을 방지하기 위해 비히클과 인터페이스하도록 허용될 수 있다.
본 개시의 양상들은 하드웨어, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다는 것이 이해될 수 있다. 소프트웨어는 비 일시적 머신 판독 가능(예를 들어, 컴퓨터 판독 가능) 저장 매체, 예를 들어 소거 가능하거나 재기록 가능한 판독 전용 메모리(ROM), 메모리, 예를 들어 랜덤 액세스 메모리(RAM), 메모리 칩, 메모리 장치 또는 메모리 집적 회로(IC), 또는 광학적으로 또는 자기적으로 기록 가능한 비 일시적 기계 판독 가능, 예를 들어 컴퓨터 판독 가능 저장 매체, 예를 들어 콤팩트 디스크(CD), 디지털 다목적 디스크(DVD), 자기 디스크 또는 자기 테이프에 저장될 수 있다.
본 방법 및/또는 시스템이 특정 구현을 참조하여 설명되었지만, 당업자는 본 방법 및/또는 본 발명의 범위를 벗어나지 않고 다양한 변경이 이루어질 수 있고 균등물이 대체될 수 있음을 이해할 것이다. 또한, 본 발명의 범위를 벗어나지 않고 본 발명의 교시에 특정 상황 또는 재료를 적응시키기도록 많은 수정이 이루어질 수 있다. 예를 들어, 개시된 예의 시스템, 블록 및/또는 다른 구성요소는 결합, 분할, 재배열 및/또는 다르게는 수정될 수 있다. 따라서, 본 방법 및/또는 시스템은 개시된 특정 구현으로 제한되지 않는다. 대신에, 본 방법 및/또는 시스템은 문자 그대로 그리고 균등물의 정책에 따라 첨부된 청구항들의 범위 내에 속하는 모든 구현을 포함할 것이다.
본 개시는 다음 절들에서 설명된 주제를 포함한다:
1. 비히클을 작동시키기 위해 조작자 피드백을 제공하기 위한 적응가능 비히클 모니터링 시스템(100)으로서,
현재 비히클 콘텍스트를 결정하도록 구성된 콘텍스트 인식 서브시스템(124)으로서, 상기 현재 비히클 콘텍스트는 비히클의 작동 모드를 반영하는, 콘텍스트 인식 서브시스템(124);
현재 비히클 상태 데이터에 적어도 부분적으로 기초하여 현재 비히클 상태를 도출하도록 구성된 상태 모니터링 서브시스템(104)으로서,
상태 모니터링 서브시스템(104)은, 비히클의 적어도 하나의 파라미터의 함수로서 비히클 상태 데이터를 현재 비히클 컨텍스트와 상관시키도록 구성된 지식 획득 서브시스템(114)과 작동가능하게 결합되고,
상태 모니터링 서브시스템(104)은 현재 비히클 상태 데이터와 현재 비히클 콘텍스트을 분석하여 하나 이상의 트렌드를 식별하도록 구성되는, 상태 모니터링 서브시스템(104);
상태 모니터링 서브시스템(104)과 작동가능하게 결합된 피드백 서브시스템(112)으로서,
피드백 서브시스템(112)은 현재 비히클 상태와 예상 비히클 상태 사이의 비교에 적어도 부분적으로 기초하여 조작자 피드백을 준비하도록 구성되고,
예상 비히클 상태는 하나 이상의 저장된 비히클 상태와 하나 이상의 트렌드에 적어도 부분적으로 기초하여 도출되는, 피드백 서브시스템(112); 및
준비된 조작자 피드백을 제공하도록 구성된 사용자 인터페이스(126);를 포함하는, 적응가능 비히클 모니터링 시스템(100).
2. 절 1의 시스템에 있어서, 상태 모니터링 서브시스템(104)은 하나 이상의 트렌드를 식별하기 위해 유사한 유형의 비히클로부터의 저장된 비히클 상태 데이터 및 저장된 비히클 콘텍스트를 분석하도록 더 구성된다.
3. 절 1 또는 절 2의 시스템에 있어서, 비히클 내에 위치된 계기(120)로부터 현재 비히클 상태 정보를 시각적으로 획득하도록 구성된 복수의 카메라(310)를 갖는 인지 서브시스템(106)을 더 포함한다.
4. 절 1 내지 절 4 중 어느 한 절의 시스템에 있어서, 상태 모니터링 서브시스템(104)과 작동가능하게 결합되며, 상태 모니터링 서브시스템(104)에 의한 트렌드 분석 또는 오프라인 머신 러닝을 지원하도록 구성된 데이터베이스 서브시스템(122)을 더 포함한다.
5. 절 3의 시스템에 있어서, 계기(120)는 연료 게이지, 온도 게이지, 풍속 게이지, 주행 기록계, 압력 게이지, 고도계, 속도계, 대기 속도계, 수직 속도계, 나침반, 자이로스코프, 자세계, 방위계, 선회계 또는 내비게이션 시스템 중 하나 이상을 포함한다.
6. 절 1 내지 절 5 중 어느 한 절의 시스템에 있어서, 조작자 피드백은 예상 비히클 상태와 현재 비히클 상태 사이의 편차가 미리 결정된 임계를 초과하면 경고하는 것을 포함한다.
7. 절 1 내지 절 6 중 어느 한 절의 시스템에 있어서, 현재 비히클 콘텍스트는 비히클 유형, 비히클 작동 핸드북, 표준 비히클 작동 절차, 조작자 입력, 미션 파라미터, 비히클 목적지, 현재 비히클 상태 데이터, 저장된 비히클 상태 데이터, 비히클 포지션, 외부 환경 및 저장된 트렌드 중 하나 이상에 적어도 부분적으로 기초하여 결정된다.
8. 절 1 내지 절 7 중 어느 한 절의 시스템에 있어서, 비히클 모니터링 시스템(100)은 상이한 유형의 비히클과 호환 가능하며, 디지털 파일 내의 인코딩된 정보에 적어도 부분적으로 기초하여 상이한 유형의 비히클에 적응될 수 있다.
9. 절 8의 시스템에 있어서, 상기 인코딩된 정보는 비히클 유형, 비히클 레이아웃, 비히클 계기(120) 및 비히클 성능 중 하나 이상을 포함한다.
10. 절 9의 시스템에 있어서, 분석 저장된 비히클 상태 데이터, 저장된 비히클 콘텍스트 및 저장된 비히클 상태는 디지털 파일로 인코딩된 비히클 유형에 대응한다.
11. 절 1 내지 절 10 중 어느 하나의 시스템에 있어서, 상태 모니터링 서브시스템(104)은 하나 이상의 트렌드를 식별하기 위해 머신 러닝 기술을 사용한다.
12. 비히클을 작동시키기 위해 조작자 피드백을 제공하는 방법으로서, 상기 방법은:
현재 비히클 콘텍스트를 결정하는 단계로서, 현재 비히클 콘텍스트는 비히클의 작동 모드를 반영하는, 단계;
현재 비히클 상태 데이터에 적어도 부분적으로 기초하여 현재 비히클 상태를 도출하는 단계;
비히클의 적어도 하나의 파라미터의 함수로서 비히클 상태 데이터를 현재 비히클 콘텍스트과 상관시키는 단계;
하나 이상의 트렌드를 식별하도록 현재 비히클 상태 데이터와 현재 비히클 콘텍스트를 분석하는 단계;
현재 비히클 상태와 예상 비히클 상태 사이의 비교에 적어도 부분적으로 기초하여 조작자 피드백을 준비하는 단계로서, 예상 비히클 상태는 하나 이상의 저장된 비히클 상태 및 하나 이상의 트렌드에 적어도 부분적으로 기초하여 도출되는, 단계; 및
사용자 인터페이스를 통해 준비된 조작자 피드백을 생성하는 단계(126);를 포함하는, 비히클을 작동시키기 위해 조작자 피드백을 제공하는 방법.
13. 절 12의 방법에 있어서, 하나 이상의 트렌드는 유사한 유형의 비히클로부터의 저장된 비히클 상태 데이터, 저장된 비히클 콘텍스트 및 저장된 비히클 상태를 사용하여 식별된다.
14. 현재 비히클 상태 데이터는 비히클 조종실 내의 계기(120)로부터 데이터를 수집하도록 구성된 복수의 카메라(310)를 사용하여 획득된다.
15. 절 13 또는 절 14의 방법에 있어서, 현재 비히클 상태는 연료 게이지, 온도 게이지, 풍속 게이지, 주행 기록계, 압력 게이지, 고도계, 속도계, 대기 속도계, 수직 속도계, 나침반, 자이로스코프, 자세계, 방위계, 선회계 또는 내비게이션 시스템 중 하나 이상을 포함한다.
16. 절 13 내지 절 15 중 어느 하나의 방법에 있어서, 조작자 피드백은 예상 비히클 상태와 현재 비히클 상태 사이의 편차가 미리 결정된 임계를 초과하면 경고하는 것을 포함한다.
17. 절 13 내지 절 16 중 어느 하나의 방법에 있어서, 디지털 파일 내의 인코딩된 정보에 적어도 부분적으로 기초하여 상이한 유형의 비히클에 적응시키는 단계를 더 포함한다.
18. 절 17의 방법에 있어서, 인코딩된 정보는 비히클 유형, 비히클 레이아웃, 비히클 계기(120) 및 비히클 성능 중 하나 이상을 포함한다.
19. 절 17 또는 절 18의 방법에 있어서, 머신 러닝 기술은 하나 이상의 트렌드를 식별하기 위해 사용된다.
20. 절 13 내지 절 19 중 어느 하나의 방법에 있어서, 오프라인 머신 러닝 또는 트렌드 분석을 지원하도록 구성된 데이터베이스 서브시스템(122)에 액세스하는 단계를 더 포함한다.
Claims (15)
- 비히클을 작동시키기 위해 조작자 피드백을 제공하기 위한 적응가능 비히클 모니터링 시스템(100)으로서,
현재 비히클 콘텍스트를 결정하도록 구성된 콘텍스트 인식 서브시스템(124)으로서, 상기 현재 비히클 콘텍스트는 비히클의 작동 모드를 반영하는, 콘텍스트 인식 서브시스템(124);
현재 비히클 상태 데이터에 적어도 부분적으로 기초하여 현재 비히클 상태를 도출하도록 구성된 상태 모니터링 서브시스템(104);
상태 모니터링 서브시스템(104)과 작동가능하게 결합된 피드백 서브시스템(112); 및
준비된 조작자 피드백을 제공하도록 구성된 사용자 인터페이스(126);를 포함하고,
상태 모니터링 서브시스템(104)은, 비히클의 적어도 하나의 파라미터의 함수로서 비히클 상태 데이터를 현재 비히클 컨텍스트와 상관시키도록 구성된 지식 획득 서브시스템(114)과 작동가능하게 결합되고,
상태 모니터링 서브시스템(104)은 현재 비히클 상태 데이터와 현재 비히클 콘텍스트을 분석하여 하나 이상의 트렌드를 식별하도록 구성되고,
피드백 서브시스템(112)은 현재 비히클 상태와 예상 비히클 상태 사이의 비교에 적어도 부분적으로 기초하여 조작자 피드백을 준비하도록 구성되고,
예상 비히클 상태는 하나 이상의 저장된 비히클 상태와 하나 이상의 트렌드에 적어도 부분적으로 기초하여 도출되는, 적응가능 비히클 모니터링 시스템(100). - 제1항에 있어서,
상태 모니터링 서브시스템(104)은 하나 이상의 트렌드를 식별하기 위해 유사한 유형의 비히클로부터의 저장된 비히클 상태 데이터 및 저장된 비히클 콘텍스트를 분석하도록 더 구성되는, 적응가능 비히클 모니터링 시스템(100). - 제1항 또는 제2항에 있어서,
비히클 내에 위치된 계기(120)로부터 현재 비히클 상태 정보를 시각적으로 획득하도록 구성된 복수의 카메라(310)를 갖는 인지 서브시스템(106)을 더 포함하는, 적응가능 비히클 모니터링 시스템(100). - 제1항 내지 제3항 중 어느 한 항에 있어서,
상태 모니터링 서브시스템(104)과 작동가능하게 결합되며, 상태 모니터링 서브시스템(104)에 의한 트렌드 분석 또는 오프라인 머신 러닝을 지원하도록 구성된 데이터베이스 서브시스템(122)을 더 포함하는, 적응가능 비히클 모니터링 시스템(100). - 제3항에 있어서,
계기(120)는 연료 게이지, 온도 게이지, 풍속 게이지, 주행 기록계, 압력 게이지, 고도계, 속도계, 대기 속도계, 수직 속도계, 나침반, 자이로스코프, 자세계, 방위계, 선회계 또는 내비게이션 시스템 중 하나 이상을 포함하는, 적응가능 비히클 모니터링 시스템(100). - 제1항 내지 제5항 중 어느 한 항에 있어서,
조작자 피드백은 예상 비히클 상태와 현재 비히클 상태 사이의 편차가 미리 결정된 임계를 초과하면 경고하는 것을 포함하는, 적응가능 비히클 모니터링 시스템(100). - 제1항 내지 제6항 중 어느 한 항에 있어서,
현재 비히클 콘텍스트는 비히클 유형, 비히클 작동 핸드북, 표준 비히클 작동 절차, 조작자 입력, 미션 파라미터, 비히클 목적지, 현재 비히클 상태 데이터, 저장된 비히클 상태 데이터, 비히클 포지션, 외부 환경 및 저장된 트렌드 중 하나 이상에 적어도 부분적으로 기초하여 결정되는, 적응가능 비히클 모니터링 시스템(100). - 제1항 내지 제7항 중 어느 한 항에 있어서,
비히클 모니터링 시스템(100)은 상이한 유형의 비히클과 호환 가능하며, 디지털 파일 내의 인코딩된 정보에 적어도 부분적으로 기초하여 상이한 유형의 비히클에 적응될 수 있는, 적응가능 비히클 모니터링 시스템(100). - 비히클을 작동시키기 위해 조작자 피드백을 제공하는 방법으로서,
현재 비히클 콘텍스트를 결정하는 단계로서, 현재 비히클 콘텍스트는 비히클의 작동 모드를 반영하는, 단계;
현재 비히클 상태 데이터에 적어도 부분적으로 기초하여 현재 비히클 상태를 도출하는 단계;
비히클의 적어도 하나의 파라미터의 함수로서 비히클 상태 데이터를 현재 비히클 콘텍스트과 상관시키는 단계;
하나 이상의 트렌드를 식별하도록 현재 비히클 상태 데이터와 현재 비히클 콘텍스트를 분석하는 단계;
현재 비히클 상태와 예상 비히클 상태 사이의 비교에 적어도 부분적으로 기초하여 조작자 피드백을 준비하는 단계로서, 예상 비히클 상태는 하나 이상의 저장된 비히클 상태 및 하나 이상의 트렌드에 적어도 부분적으로 기초하여 도출되는, 단계; 및
사용자 인터페이스를 통해 준비된 조작자 피드백을 생성하는 단계(126);를 포함하는, 비히클을 작동시키기 위해 조작자 피드백을 제공하는 방법. - 제9항에 있어서,
하나 이상의 트렌드는 유사한 유형의 비히클로부터의 저장된 비히클 상태 데이터, 저장된 비히클 콘텍스트 및 저장된 비히클 상태를 사용하여 식별되는, 비히클을 작동시키기 위해 조작자 피드백을 제공하는 방법. - 제10항에 있어서,
현재 비히클 상태 데이터는 비히클 조종실 내의 계기(120)로부터 데이터를 수집하도록 구성된 복수의 카메라(310)를 사용하여 획득되는, 비히클을 작동시키기 위해 조작자 피드백을 제공하는 방법. - 제10항 또는 제11항에 있어서,
현재 비히클 상태는 연료 게이지, 온도 게이지, 풍속 게이지, 주행 기록계, 압력 게이지, 고도계, 속도계, 대기 속도계, 수직 속도계, 나침반, 자이로스코프, 자세계, 방위계, 선회계 또는 내비게이션 시스템 중 하나 이상을 포함하는, 비히클을 작동시키기 위해 조작자 피드백을 제공하는 방법. - 제10항 내지 제12항 중 어느 한 항에 있어서,
조작자 피드백은 예상 비히클 상태와 현재 비히클 상태 사이의 편차가 미리 결정된 임계를 초과하면 경고하는 것을 포함하는, 비히클을 작동시키기 위해 조작자 피드백을 제공하는 방법. - 제10항 내지 제13항 중 어느 한 항에 있어서,
디지털 파일 내의 인코딩된 정보에 적어도 부분적으로 기초하여 상이한 유형의 비히클에 적응시키는 단계를 더 포함하는, 비히클을 작동시키기 위해 조작자 피드백을 제공하는 방법. - 제10항 내지 제14항 중 어느 한 항에 있어서,
오프라인 머신 러닝 또는 트렌드 분석을 지원하도록 구성된 데이터베이스 서브시스템(122)에 액세스하는 단계를 더 포함하는, 비히클을 작동시키기 위해 조작자 피드백을 제공하는 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/159,463 US11151810B2 (en) | 2018-10-12 | 2018-10-12 | Adaptable vehicle monitoring system |
| US16/159,463 | 2018-10-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200042420A true KR20200042420A (ko) | 2020-04-23 |
Family
ID=68290158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190126153A KR20200042420A (ko) | 2018-10-12 | 2019-10-11 | 적응가능 비히클 모니터링 시스템 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11151810B2 (ko) |
| EP (1) | EP3637212B1 (ko) |
| JP (1) | JP7306951B2 (ko) |
| KR (1) | KR20200042420A (ko) |
| CN (1) | CN111046097B (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11586972B2 (en) * | 2018-11-19 | 2023-02-21 | International Business Machines Corporation | Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs |
| FR3089951B1 (fr) * | 2018-12-18 | 2022-02-25 | Stelia Aerospace | Systeme de fixation d’une planche de bord d’un poste de pilotage d’un aeronef |
| FR3093806B1 (fr) * | 2019-03-15 | 2021-04-02 | Safran Aircraft Engines | Procédé de détection d’une fuite éventuelle de carburant dans un circuit d’huile d’un moteur d’aéronef |
| CN114786468A (zh) * | 2019-10-10 | 2022-07-22 | 以色列国家农业部、农村发展农业研究组织 | 通过集成激光及视觉在非结构化及嘈杂环境中用于农业物体检测的人机导引系统 |
| US11893907B2 (en) * | 2019-10-14 | 2024-02-06 | Honeywell International Inc. | Systems and methods for evidence-based training of aircraft operators |
| US11655047B2 (en) | 2020-10-21 | 2023-05-23 | Honeywell International, Inc. | System and method for monitoring an electronic checklist and supporting sensors |
| US20220135243A1 (en) * | 2020-11-05 | 2022-05-05 | Marc Arnold | Electronic flight assistant with optical reading of flight instruments and laser messaging, with optional optical collision avoidance, audio warnings, audio checklists, and other functions |
| US20220147905A1 (en) * | 2020-11-12 | 2022-05-12 | Honeywell International Inc. | System and method for assisting flight crew with the execution of clearance messages |
| USD953371S1 (en) | 2021-10-22 | 2022-05-31 | BioReference Health, LLC | Display screen or portion thereof with animated graphical user interface |
Family Cites Families (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4063073A (en) | 1974-11-29 | 1977-12-13 | Strayer Larry G | Computer system to prevent collision between moving objects such as aircraft moving from one sector to another |
| US5157615A (en) | 1990-01-09 | 1992-10-20 | Ryan International Corporation | Aircraft traffic alert and collision avoidance device |
| JPH07115677B2 (ja) | 1990-10-30 | 1995-12-13 | 嘉三 藤本 | 航空機の飛行情報記録方法とその装置 |
| US7206646B2 (en) * | 1999-02-22 | 2007-04-17 | Fisher-Rosemount Systems, Inc. | Method and apparatus for performing a function in a plant using process performance monitoring with process equipment monitoring and control |
| ATE309944T1 (de) | 2000-02-03 | 2005-12-15 | Honeywell Int Inc | Auf ereignisse basierte flugzeugbildsequenz und daten-aufzeichnungssystem |
| US20020008661A1 (en) | 2000-07-20 | 2002-01-24 | Mccall Hiram | Micro integrated global positioning system/inertial measurement unit system |
| FR2821452B1 (fr) | 2001-02-26 | 2003-06-13 | Eads Airbus Sa | Dispositif de surveillance d'une pluralite de systemes d'un aeronef, en particulier d'un avion de transport |
| US6604044B1 (en) | 2002-02-14 | 2003-08-05 | The Mitre Corporation | Method for generating conflict resolutions for air traffic control of free flight operations |
| US6820006B2 (en) | 2002-07-30 | 2004-11-16 | The Aerospace Corporation | Vehicular trajectory collision conflict prediction method |
| EP1563616B1 (en) | 2002-11-11 | 2011-11-02 | Aeromechanical Services Ltd | Aircraft flight data management system and corresponding method |
| US7106219B2 (en) | 2003-11-07 | 2006-09-12 | Pearce James W | Decentralized vehicular traffic status system |
| US7193729B1 (en) | 2004-04-29 | 2007-03-20 | Yazaki North America, Inc | Instrument cluster with laser beam illumination |
| WO2006011141A2 (en) | 2004-07-25 | 2006-02-02 | Israel Aerospace Industries Ltd. | Method and system for the acquisition of data and for the display of data |
| US7437220B2 (en) | 2004-08-17 | 2008-10-14 | Arinc, Inc. | Systems and methods for crew interaction and coordination using portable electronic data storage and display devices |
| JP2006151125A (ja) | 2004-11-26 | 2006-06-15 | Omron Corp | 車載用画像処理装置 |
| US7848698B2 (en) | 2005-07-22 | 2010-12-07 | Appareo Systems Llc | Flight training and synthetic flight simulation system and method |
| FR2888967B1 (fr) * | 2005-07-25 | 2008-05-09 | Airbus Sas | Procede et systeme de modelisation d'une interface entre un utilisateur et son environnement a bord d'un vehicule |
| US7650232B1 (en) | 2005-09-22 | 2010-01-19 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) | Trajectory specification for high capacity air traffic control |
| US8050863B2 (en) | 2006-03-16 | 2011-11-01 | Gray & Company, Inc. | Navigation and control system for autonomous vehicles |
| US7624943B2 (en) | 2006-03-22 | 2009-12-01 | The Boeing Company | Multi-mode unmanned and manned vehicle systems and methods |
| US8013780B2 (en) | 2007-01-25 | 2011-09-06 | Magna Electronics Inc. | Radar sensing system for vehicle |
| US7826943B2 (en) | 2007-04-02 | 2010-11-02 | General Electric Company | Method and system for diagnosing faults in a particular device within a fleet of devices |
| JP5145599B2 (ja) | 2007-04-27 | 2013-02-20 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 |
| US8049658B1 (en) | 2007-05-25 | 2011-11-01 | Lockheed Martin Corporation | Determination of the three-dimensional location of a target viewed by a camera |
| US20080316010A1 (en) | 2007-06-23 | 2008-12-25 | Appro Technology Inc. | Recording system and method for capturing images of driving conditions and driving images identification method |
| CA2696190C (en) | 2007-08-17 | 2014-02-18 | Bell Helicopter Textron Inc. | System for optical recognition, interpretation, and digitization of human readable instruments, annunciators, and controls |
| US8290638B2 (en) | 2008-02-04 | 2012-10-16 | Lockheed Martin Corporation | Apparatus, program product, and methods for updating data on embedded control systems |
| JP4434296B1 (ja) | 2008-09-05 | 2010-03-17 | トヨタ自動車株式会社 | 物体検出装置 |
| US8319666B2 (en) | 2009-02-20 | 2012-11-27 | Appareo Systems, Llc | Optical image monitoring system and method for vehicles |
| US8319665B2 (en) | 2009-02-20 | 2012-11-27 | Appareo Systems, Llc | Adaptive instrument and operator control recognition |
| US7954965B1 (en) | 2009-04-13 | 2011-06-07 | Yazaki North America, Inc. | Method for multiple gauges in a scanning laser based display device |
| US8026827B1 (en) | 2009-05-04 | 2011-09-27 | Yazaki North America, Inc. | Virtual push button switch |
| US10002538B2 (en) | 2009-05-14 | 2018-06-19 | Honeywell International Inc. | Aircraft clearance enforcement |
| US8521341B2 (en) | 2009-06-26 | 2013-08-27 | Honeywell International Inc. | Methods and systems for fault determination for aircraft |
| KR101043450B1 (ko) | 2009-07-31 | 2011-06-21 | 삼성전기주식회사 | 카메라를 이용한 위치와 거리 측정장치 및 위치와 거리 측정방법 |
| US8306672B2 (en) | 2009-09-09 | 2012-11-06 | GM Global Technology Operations LLC | Vehicular terrain detection system and method |
| US8616884B1 (en) | 2009-12-01 | 2013-12-31 | The Boeing Company | Integrated live and simulation environment system for an aircraft |
| US9099009B2 (en) | 2009-12-01 | 2015-08-04 | The Boeing Company | Performance-based simulation system for an aircraft |
| CA2799331A1 (en) * | 2010-05-14 | 2011-11-17 | Harnischfeger Technologies, Inc. | Predictive analysis for remote machine monitoring |
| US20120229469A1 (en) * | 2010-11-08 | 2012-09-13 | Lizotte Todd E | Dynamic 3d analytic tools: a method for maintaining situational awareness during high tempo warfare or mass casualty operations |
| US8616883B2 (en) | 2010-12-15 | 2013-12-31 | The Boeing Company | Simulation control system for an integrated live and simulation environment for an aircraft |
| JP2013002927A (ja) | 2011-06-15 | 2013-01-07 | Honda Elesys Co Ltd | 障害物検知装置及びコンピュータプログラム |
| US8768534B2 (en) | 2011-11-14 | 2014-07-01 | Arinc Incorporated | Method and apparatus for using electronic flight bag (EFB) to enable flight operations quality assurance (FOQA) |
| CN202434060U (zh) * | 2011-12-19 | 2012-09-12 | 燕山大学 | 摄像头智能认知感应导航系统 |
| US20130197739A1 (en) * | 2012-01-31 | 2013-08-01 | Gulfstream Aerospace Corporation | Methods and systems for aircraft health and trend monitoring |
| FR2988836B1 (fr) | 2012-03-28 | 2014-04-25 | Dassault Aviat | Procede de determination d'une masse estimee d'un aeronef et systeme correspondant |
| US9052393B2 (en) | 2013-01-18 | 2015-06-09 | Caterpillar Inc. | Object recognition system having radar and camera input |
| CN105103619B (zh) | 2013-03-15 | 2019-08-30 | 波音公司 | 基于路由器物理位置的安全路由 |
| WO2014176473A1 (en) * | 2013-04-25 | 2014-10-30 | GM Global Technology Operations LLC | Situation awareness system and method |
| US9557742B2 (en) | 2013-11-27 | 2017-01-31 | Aurora Flight Sciences Corporation | Autonomous cargo delivery system |
| CN103714254B (zh) * | 2013-12-27 | 2016-08-17 | 北京航空航天大学 | 飞机驾驶舱信息显示界面布局对飞行员情境意识影响特性的测定系统和方法 |
| EP3146728B1 (en) * | 2014-05-21 | 2024-03-27 | DRNC Holdings, Inc. | Methods and systems for contextual adjustment of thresholds of user interestedness for triggering video recording |
| FR3023911B1 (fr) | 2014-07-18 | 2018-07-13 | Thales | Traitement des donnees d'un plan de vol |
| BR112017002615A2 (pt) | 2014-09-03 | 2017-12-05 | Quaero Ltd | um dispositivo de interface homem-máquina para aeronaves |
| EP3098681B1 (en) | 2015-05-27 | 2020-08-26 | Tata Consultancy Services Limited | Artificial intelligence based health management of host system |
| EP3384475B1 (en) * | 2015-12-06 | 2021-12-22 | Cerence Operating Company | System and method of conversational adjustment based on user's cognitive state |
| CN105654808A (zh) * | 2016-02-03 | 2016-06-08 | 北京易驾佳信息科技有限公司 | 一种基于实际机动车的机动车驾驶人智能化训练系统 |
| US20180099761A1 (en) | 2016-10-10 | 2018-04-12 | The Boeing Company | Real Time Aircraft Stress Monitoring System |
| US10535272B2 (en) * | 2017-07-27 | 2020-01-14 | SkyRyse, Inc. | System and method for situational awareness, vehicle control, and/or contingency planning |
| US20200090524A1 (en) * | 2018-09-18 | 2020-03-19 | Lockheed Martin Corporation | Mission management inceptor for multi-use interaction with an autonomous flight system |
-
2018
- 2018-10-12 US US16/159,463 patent/US11151810B2/en active Active
-
2019
- 2019-09-25 CN CN201910912052.9A patent/CN111046097B/zh active Active
- 2019-10-10 EP EP19202595.5A patent/EP3637212B1/en active Active
- 2019-10-11 KR KR1020190126153A patent/KR20200042420A/ko not_active Application Discontinuation
- 2019-10-11 JP JP2019187532A patent/JP7306951B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3637212B1 (en) | 2023-12-06 |
| US11151810B2 (en) | 2021-10-19 |
| US20200118366A1 (en) | 2020-04-16 |
| CN111046097B (zh) | 2024-02-09 |
| CN111046097A (zh) | 2020-04-21 |
| EP3637212A2 (en) | 2020-04-15 |
| JP7306951B2 (ja) | 2023-07-11 |
| JP2020097394A (ja) | 2020-06-25 |
| EP3637212A3 (en) | 2020-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3637212B1 (en) | Adaptable vehicle monitoring system and method | |
| US11693407B2 (en) | Aircrew automation system and method | |
| US11378988B2 (en) | Aircrew automation system and method with integrated imaging and force sensing modalities | |
| EP3415416B1 (en) | Aircrew automation system | |
| EP3432028A1 (en) | System and method for detecting obstacles in aerial systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |