KR20200002925A - 주행 관련 시스템을 포함하는 보안 시스템 - Google Patents

주행 관련 시스템을 포함하는 보안 시스템 Download PDF

Info

Publication number
KR20200002925A
KR20200002925A KR1020197033849A KR20197033849A KR20200002925A KR 20200002925 A KR20200002925 A KR 20200002925A KR 1020197033849 A KR1020197033849 A KR 1020197033849A KR 20197033849 A KR20197033849 A KR 20197033849A KR 20200002925 A KR20200002925 A KR 20200002925A
Authority
KR
South Korea
Prior art keywords
driving
defect
travel
management unit
specific
Prior art date
Application number
KR1020197033849A
Other languages
English (en)
Other versions
KR102263828B1 (ko
Inventor
레오니드 스몰리얀스키
요시 아르벨리
엘카난 러쉬넥
쉬무엘 코헨
Original Assignee
모빌아이 비젼 테크놀로지스 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모빌아이 비젼 테크놀로지스 엘티디. filed Critical 모빌아이 비젼 테크놀로지스 엘티디.
Publication of KR20200002925A publication Critical patent/KR20200002925A/ko
Application granted granted Critical
Publication of KR102263828B1 publication Critical patent/KR102263828B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225—Failure correction strategy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023—Avoiding failures by using redundant parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0077—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements using redundant signals or controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1629—Error detection by comparing the output of redundant processing systems
    • G06F11/1641—Error detection by comparing the output of redundant processing systems where the comparison is not performed by the redundant processing components
    • G06F11/1645—Error detection by comparing the output of redundant processing systems where the comparison is not performed by the redundant processing components and the comparison itself uses redundant hardware
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/02—Registering or indicating driving, working, idle, or waiting time only
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/021—Means for detecting failure or malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B60W2050/0292—Fail-safe or redundant systems, e.g. limp-home or backup systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B60W2050/0297—Control Giving priority to different actuators or systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Retry When Errors Occur (AREA)
  • Debugging And Monitoring (AREA)

Abstract

주행 관련 동작을 수행하도록 구성된 복수의 주행 관련 시스템과, 선택 모듈과, 복수의 주행 관련 시스템의 상태를 모니터해서, (a) 적어도 하나의 치명 결함(critical fault)의 발생, (b) 적어도 하나의 치명 결함의 부재, (c) 적어도 하나의 비치명 결함(non-critical fault)의 발생 및 (d) 적어도 하나의 비치명 결함의 부재 중 적어도 하나를 선택 모듈에 보고하도록 구성된, 복수의 결함 수집 및 관리 유닛을 포함하는 시스템이 제공되며, 선택 모듈은, (i) 복수의 결함 수집 및 관리 유닛과 복수의 주행 관련 시스템 중 적어도 하나의 개체를 리셋하는 것과, (ⅱ) 주행 관련 시스템으로부터 출력되는 데이터를 선택하는 것 중 적어도 하나를 수행함으로써 보고에 응답하도록 구성된다.

Description

주행 관련 시스템을 포함하는 보안 시스템
[상호 참조]
본 출원은 2017년 4월 17일에 특허 출원된 미국 가출원 번호 제62/486,008호를 우선권으로 주장하며, 그 내용은 본 명세서에 참조로서 포함된다.
[배경 기술]
높아지는 자동차 안전 무결성 수준(Automotive Safety Integrity Level:ASIL)(상세하게는 ASIL B 및 ASIL D 수준) 및 표준 ISO 26262에 부합할 것이 요구되고 있다.
ASIL은 자동차 시스템 또는 이러한 시스템의 구성 요소에서 고유한 안전 위험의 추상적인 분류를 가리킨다. ASIL 분류는 ISO 26262에서 특정 위험을 방지하는 데 필요한 위험 감소의 수준을 나타내는데 사용되는데, ASIL D가 가장 높고 ASIL A가 가장 낮다. 어떤 위험에 대해 ASIL이 평가되면, 평가된 ASIL은 그 위험을 해결하기 위해 설정된 안전 목표에 할당되고, 이는 이후에 그 목표로부터 도출되는 안전 요건으로 이어진다(www.wikipedia.org 참조).
자신이 갖고 있는 구성 요소 중 일부보다도 안전한 시스템을 제공할 필요가 있으며, 특히 ASIL 수준이 고유하게 낮은 시스템 온 칩(Soc)을 사용해서 특정 ASIL을 달성하는 시스템을 제공할 필요가 있다. 예를 들어, ASIL-B SoC는 저렴한 시스템 비용으로도 시스템 수준에서 ASIL-D에 도달하는 것을 가능하게 할 것이다.
다음의 상세한 설명은 첨부 도면을 참조한다. 가능하다면, 도면 및 이하의 설명에서 동일하거나 유사한 부분을 지칭하는데 동일한 참조 번호가 사용된다. 본 명세서에서 몇몇 예시적인 실시예들이 설명되지만, 수정예, 적응예 및 다른 구현예가 있을 수 있다. 예를 들어, 도면에 도시된 구성 요소에 대한 대체, 추가, 또는 수정이 행해질 수 있으며, 본 명세서에 기재된 예시적인 방법은, 개시된 방법에 대한 단계를 대체, 순서 변경, 삭제 또는 추가함으로써 수정될 수 있다. 따라서, 이하의 상세한 설명은 개시된 실시예 및 예시로 한정되는 것은 아니다.
개시된 실시예는 자율 네비게이션/주행 및/또는 운전자 보조 기술 특징의 일부로서 또는 이와 함께 사용될 수 있는 시스템 및 방법을 제공한다. 운전자 보조 기술은, 완전 자율 주행과는 달리, 운전자가 차량의 네비게이션 및/또는 FCW, LDW 및 TSR과 같은 제어에서 운전자를 지원하는 데 적합한 기술을 가리킨다.
주행 관련 동작을 수행하도록 구성된 복수의 주행 관련 시스템과, 선택 모듈과, 복수의 주행 관련 시스템의 상태를 모니터해서, (a) 적어도 하나의 치명 결함(critical fault)의 발생, (b) 적어도 하나의 치명 결함의 부재, (c) 적어도 하나의 비치명 결함(non-critical fault)의 발생 및 (d) 적어도 하나의 비치명 결함의 부재 중 적어도 하나를 선택 모듈에 보고하도록 구성된, 복수의 결함 수집 및 관리 유닛을 포함할 수 있는 시스템이 제공되며, 선택 모듈은, (i) 복수의 결함 수집 및 관리 유닛과 복수의 주행 관련 시스템 중 적어도 하나의 개체를 리셋하는 것과, (ⅱ) 주행 관련 시스템으로부터 출력되는 데이터를 선택하는 것 중 적어도 하나를 수행함으로써 보고에 응답하도록 구성된다.
시스템을 보안하는 방법이 제공될 수 있으며, 이 방법은 복수의 주행 관련 시스템에 의해, 주행 관련 동작을 수행하는 단계와, 복수의 결함 수집 및 관리 유닛에 의해, 복수의 주행 관련 시스템의 상태를 모니터하는 단계와, (a) 적어도 하나의 치명 결함의 발생, (b) 적어도 하나의 치명 결함의 부재, (c) 적어도 하나의 비치명 결함의 발생 및 (d) 적어도 하나의 비치명 결함의 부재 중 하나를 선택 모듈에 보고하는 단계와, 선택 모듈에 의해, (i) 복수의 결함 수집 및 관리 유닛과 복수의 주행 관련 시스템 중 적어도 하나의 개체를 리셋하는 것과, (ⅱ) 주행 관련 시스템으로부터 출력되는 데이터를 선택하는 것 중 적어도 하나를 수행함으로써 보고에 응답하는 단계를 포함한다.
명령어가 저장된 컴퓨터 프로그램 제품이 제공될 수 있으며, 이 명령어는, 복수의 주행 관련 시스템에 의해, 주행 관련 동작을 수행하는 것과, 복수의 결함 수집 및 관리 유닛에 의해, 복수의 주행 관련 시스템의 상태를 모니터하는 것과, (a) 적어도 하나의 치명 결함의 발생, (b) 적어도 하나의 치명 결함의 부재, (c) 적어도 하나의 비치명 결함의 발생 및 (d) 적어도 하나의 비치명 결함의 부재 중 하나를 선택 모듈에 보고하는 것과, 선택 모듈에 의해, (i) 복수의 결함 수집 및 관리 유닛과 복수의 주행 관련 시스템 중 적어도 하나의 개체를 리셋하는 것과, (ⅱ) 주행 관련 시스템으로부터 출력되는 데이터를 선택하는 것 중 적어도 하나를 수행함으로써 보고에 응답하는 것을 포함한다.
본 발명으로서 상정되는 청구 대상은 본 명세서의 마지막 부분에 상세하게 명시되고 명백하게 청구된다. 그러나, 본 발명은, 그 목적, 특징 및 장점과 함께, 구성 및 동작 방법과 관련해서, 첨부 도면과 함께 이하 상세한 설명을 참조함으로써, 가장 잘 이해될 수 있다.
도 1은 개시된 실시예에 따른 시스템의 블록도이다.
도 2a는 개시된 실시예에 따른 시스템을 포함하는 예시적인 차량의 개략 측면도이다.
도 2b는 개시된 실시예에 따른 도 2a에 도시된 차량 및 시스템의 개략 평면도이다.
도 2c는 개시된 실시예에 따른 시스템을 포함하는 차량의 다른 실시예의 개략 평면도이다.
도 2d는 개시된 실시예에 따른 시스템을 포함하는 차량의 또 다른 실시예의 개략 평면도이다.
도 2e는 개시된 실시예에 따른 예시적인 차량 제어 시스템의 개략도이다.
도 3은 개시된 실시예에 따른 차량 이미징 시스템용 룸미러 및 사용자 인터페이스를 포함하는 차량의 내부의 개략도이다.
도 4는 ADAS/AV 시스템을 도시한다.
도 5는 ADAS/AV 시스템을 도시한다.
도 6은 ADAS/AV 시스템을 도시한다.
도 7은 ADAS/AV 시스템을 도시한다.
도 8은 SoC에서의 결함 수집 및 관리 유닛(FCMU)을 도시한다.
도 9는 SoC 시스템을 도시한다.
도 10은 방법을 도시한다.
이하 상세한 설명에서, 본 발명을 완전하게 이해하기 위해서 많은 특정한 세부 사항이 설명된다. 그러나, 당업자라면 본 발명이 이러한 특정한 세부 사항 없이도 실시될 수 있다는 것을 이해할 것이다. 다른 경우에, 본 발명을 불명확하게 하지 않기 위해서 공지된 방법, 절차 및 구성 요소는 상세하게 설명되지 않았다.
본 발명으로서 상정되는 청구 대상은 본 명세서의 마지막 부분에 상세하게 명시되고 명백하게 청구된다. 그러나, 본 발명은, 그 목적, 특징 및 장점과 함께, 구성 및 동작 방법과 관련해서, 첨부 도면과 함께 이하 상세한 설명을 참조함으로써, 가장 잘 이해될 수 있다.
예시의 간략성 및 명확성을 위해서, 도면에 도시된 구성 요소를 반드시 실제 축척으로 도시한 것은 아니라는 점을 이해할 것이다. 예를 들어, 명확성을 위해서 구성 요소 중 일부의 치수는 다른 구성 요소에 비해 과장될 수도 있다. 또한, 적절한 것으로 간주되는 경우, 여러 도면에서 대응하거나 유사한 요소를 나타내는데 참조 번호가 반복 사용될 수도 있다.
본 발명의 예시된 실시예는 보통 당업자에게 공지된 전자 부품 및 회로를 사용하여 구현될 수 있기 때문에, 본 발명의 기본 개념을 이해하고 인식하며 본 발명의 교시를 불명확하게 하거나 혼란스럽게 하지 않기 위해서, 전술한 바와 같이 필요하다고 생각되는 것보다 더 광범위하게 세부 사항을 설명하지는 않을 것이다.
상세한 설명에서 방법에 대한 모든 언급은, 이 방법을 실행할 수 있는 시스템에도 준용하는 것으로 한다.
상세한 설명에서 시스템에 대한 모든 언급은, 이 시스템에 의해 실행될 수 있는 방법에도 준용하는 것으로 한다.
차량의 미래 경로를 추정하기 위해 트레이닝된 신경망을 사용해서 도로를 네비게이트하는 차량의 전방 환경의 이미지 또는 이미지의 처리에 기초해서, 차량의 미래 경로를 추정하기 위해 신경망 또는 딥 러닝 알고리즘을 트레이닝하도록 도로를 네비게이트하는 차량의 전방 환경의 처리 이미지의 특성의 상세한 예를 논의하기 전에, 본 명세서에 개시된 청구 대상의 예시에 따른 방법을 실행하고 구현하는데 사용될 수 있는 차량 장착 가능 시스템의 다양한 가능한 구현예 및 구성예를 설명한다. 일부 실시예에서, 시스템의 다양한 예시는 차량에 장착될 수 있고, 차량이 움직이는 동안 동작될 수 있다. 일부 실시예에서, 이 시스템은 본 명세서에 개시된 청구 대상의 예시에 따른 방법을 구현할 수 있다.
이제 참조하는 도 1은, 개시된 실시예에 따른 시스템의 블록도이다. 시스템(100)은 특정 구현의 요구 사항에 따라서 다양한 구성 요소를 포함할 수 있다. 일부 예시에서, 시스템(100)은 프로세싱 유닛(110), 이미지 획득 유닛(120) 및 하나 이상의 메모리 유닛(140, 150)을 포함할 수 있다. 프로세싱 유닛(110)은 하나 이상의 처리 장치를 포함할 수 있다. 일부 실시예에서, 프로세싱 유닛(110)은 애플리케이션 프로세서(180), 이미지 프로세서(190) 또는 임의의 다른 적절한 처리 장치를 포함할 수 있다. 유사하게, 이미지 획득 유닛(120)은, 특정한 응용예의 요건에 따라서 임의의 수의 이미지 획득 장치 및 컴포넌트를 포함할 수 있다. 일부 실시예에서, 이미지 획득 유닛(120)은, 이미지 캡처 장치(122), 이미지 캡처 장치(124) 및 이미지 캡처 장치(126)와 같은 하나 이상의 이미지 캡처 장치(예를 들어, 카메라)를 포함할 수 있다. 일부 실시예에서, 시스템(100)은 또한 프로세싱 유닛(110)을 이미지 획득 장치(120)에 통신 가능하게 접속하는 데이터 인터페이스(128)를 포함할 수 있다. 예를 들어, 데이터 인터페이스(128)는 이미지 획득 장치(120)에 의해 획득된 이미지 데이터를 프로세싱 유닛(110)으로 전송하기 위한 임의의 유선 및/또는 무선 링크 또는 링크들을 포함할 수 있다.
애플리케이션 프로세서(180) 및 이미지 프로세서(190)는 다양한 유형의 처리 장치를 포함할 수 있다. 예를 들어, 애플리케이션 프로세서(180)과 이미지 프로세서(190) 중 하나 또는 모두는 하나 이상의 마이크로 프로세서, 전 처리기(예를 들어, 이미지 전 처리기), 그래픽 프로세서, 중앙 처리 장치(CPU), 지원 회로, 디지털 신호 프로세서, 집적 회로, 메모리, 또는 애플리케이션 실행 및 이미지 처리와 분석에 적합한 기타 유형의 장치를 포함할 수 있다. 일부 실시예들에서, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)는 임의의 타입의 단일-코어 프로세서 또는 멀티-코어 프로세서, 모바일 장치 마이크로컨트롤러, 중앙 처리 장치 등을 포함할 수 있다. 예를 들어, Intel®, AMD® 등과 같은 제조 업체로부터 입수할 수 있는 프로세서를 포함한 다양한 장치가 사용될 수 있는데, 다양한 아키텍처(예를 들어, x86 프로세서, ARM® 등)를 포함할 수 있다.
일부 실시예에서, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)는 Mobileye®로부터 입수할 수 있는 EyeQ 시리즈 프로세서 칩 중 임의의 것을 포함할 수 있다. 이들 프로세서 설계는 각각 로컬 메모리와 명령어 세트를 가진 여러 처리 장치를 포함한다. 이러한 프로세서는 복수의 이미지 센서로부터 이미지 데이터를 수신하기 위한 비디오 입력을 포함할 수 있고 또한 비디오 출력 기능을 포함할 수 있다. 일례로, EyeQ2®는 332Mhz에서 동작하는 90nm 마이크론 기술을 사용한다. EyeQ2® 아키텍처는 2개의 부동 소수점, 하이퍼-스레드 32비트 RISC CPU(MIPS32® 34K® 코어), 5개의 VCE(Vision Computing Engine), 3개의 VMP®(Vector Microcode Processor®), Denali 64비트 모바일 DDR 컨트롤러, 128비트 내부 Sonics Interconnect, 이중 16비트 비디오 입력 및 18비트 비디오 출력 컨트롤러, 16채널 DMA 및 여러 주변 장치를 갖는다. MIPS34K CPU는 5개의 VCE, 3개의 VMPTM와 DMA, 제2 MIPS34K CPU 및 다중 채널 DMA는 물론 기타 주변 장치를 관리한다. 5개의 VCE, 3개의 VMP®및 MIPS34K CPU는 다기능 번들 애플리케이션에 필요한 집중적인 비전 계산을 수행할 수 있다. 다른 예에서, 3세대 프로세서이며 EyeQ2®보다 6배 더 강력한 EyeQ3®가 개시된 예에서 사용될 수 있다. 또 다른 예에서, 4세대 프로세서이거나 또는 다른 세대 칩인 EyeQ4®가 개시된 예에서 사용될 수도 있다.
도 1은 프로세싱 유닛(110)에 포함된 개개의 처리 장치를 2개 도시하지만, 더 많거나 적은 처리 장치가 사용될 수도 있다. 예를 들어, 일부 예시에서, 애플리케이션 프로세서(180) 및 이미지 프로세서(190)의 태스크를 수행하는데 단일 처리 디바이스가 사용될 수도 있다. 다른 실시예에서, 이러한 태스크는 2이상의 처리 디바이스에 의해 수행될 수 있다.
프로세싱 유닛(110)은 다양한 타입의 장치를 포함할 수 있다. 예를 들어, 프로세싱 유닛(110)은 제어기, 이미지 전 처리기, 중앙 프로세싱 유닛(CPU), 지원 회로, 디지털 신호 프로세서, 집적 회로, 메모리, 또는 이미지의 처리 및 분석을 위한 임의의 다른 타입의 장치와 같은 다양한 장치를 포함할 수 있다. 이미지 전 처리기는 이미지 센서로부터의 이미지를 캡처, 디지털화 및 처리하기 위한 비디오 프로세서를 포함할 수 있다. CPU는 임의의 수의 마이크로 컨트롤러 또는 마이크로 프로세서를 포함할 수 있다. 지원 회로는 캐시, 전원 공급 장치, 클록 및 입력-출력 회로를 포함하여 당 업계에 일반적으로 공지된 임의의 수의 회로 일 수 있다. 메모리는 프로세서에 의해 실행될 때 시스템의 동작을 제어하는 소프트웨어를 저장할 수 있다. 메모리는 예를 들어 신경망과 같은 트레이닝된 시스템을 포함하는 데이터베이스 및 이미지 처리 소프트웨어를 포함할 수 있다. 메모리는 임의의 수의 랜덤 액세스 메모리, 판독 전용 메모리, 플래시 메모리, 디스크 드라이브, 광학 저장 장치, 착탈식 저장 장치 및 다른 타입의 저장 장치를 포함할 수 있다. 일 예에서, 메모리는 프로세싱 유닛(110)으로부터 분리될 수도 있다. 또 다른 예에서, 메모리는 프로세싱 유닛(110)에 일체화될 수도 있다.
각각의 메모리(140, 150)는 프로세서(예를 들어, 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190))에 의해 실행될 때 시스템(100)의 다양한 측면의 동작을 제어할 수 있는 소프트웨어 명령어를 포함할 수 있다. 이들 메모리 유닛은 다양한 데이터베이스 및 이미지 프로세싱 소프트웨어를 포함할 수 있다. 메모리 유닛은 랜덤 액세스 메모리, 판독 전용 메모리, 플래시 메모리, 디스크 드라이브, 광학 저장 장치, 테이프 저장 장치, 착탈식 저장 장치 및/또는 다른 타입의 저장 장치를 포함할 수 있다. 일부 예시에서, 메모리 유닛(140, 150)은 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)로부터 분리될 수도 있다. 다른 실시예에서, 이들 메모리 유닛은 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)에 일체화될 수도 있다.
일부 실시예에서, 시스템은 위치 센서(130)를 포함할 수 있다. 위치 센서(130)는 시스템(100)의 적어도 하나의 구성 요소와 관련된 위치를 결정하기에 적합한 임의의 타입의 장치를 포함할 수 있다. 일부 실시예에서, 위치 센서(130)는 GPS 수신기를 포함할 수 있다. 이러한 수신기는 글로벌 포지셔닝 시스템 위성에 의해 방송되는 신호를 처리함으로써 사용자 위치 및 속도를 결정할 수 있다. 위치 센서(130)로부터의 위치 정보는 애플리케이션 프로세서(180) 및/또는 이미지 프로세서(190)가 이용 가능할 수 있다.
일부 실시예에서, 시스템(100)은, 시스템(100)이 장착될 수 있는 차량에 탑재된 다양한 시스템, 장치 및 유닛에 작동 가능하게 접속될 수 있고, 시스템(100)은 임의의 적절한 인터페이스(예를 들어, 통신 버스)를 통해서 차량 시스템과 통신할 수 있다. 시스템(100)이 함께 동작할 수 있는 차량 시스템의 예로는 스로틀링 시스템, 제동 시스템 및 조향 시스템을 들 수 있다.
일부 실시예에서, 시스템(100)은 사용자 인터페이스(170)를 포함할 수 있다. 사용자 인터페이스(170)는 시스템(100)의 하나 이상의 사용자에게 정보를 제공하거나 이로부터 입력을 수신하기에 적합한 임의의 장치를 포함할 수 있는데, 예를 들어 터치 스크린, 마이크, 키보드, 포인터 장치, 트랙 휠, 카메라, 노브, 버튼 등을 들 수 있다. 정보는 시스템(100)에 의해 사용자 인터페이스(170)를 통해 사용자에게 제공될 수 있다.
일부 실시예에서, 시스템(100)은 맵 데이터베이스(160)를 포함할 수 있다. 맵 데이터베이스(160)는 디지털 맵 데이터를 저장하기 위한 임의의 타입의 데이터베이스를 포함할 수 있다. 일부 예에서, 맵 데이터베이스(160)는 도로, 물 형상(water features), 지리적 형상, 관심 지점 등을 포함하는 다양한 아이템의 기준 좌표계에 있어서의 위치에 관한 데이터를 포함할 수 있다. 지도 데이터베이스(160)는 이러한 아이템의 위치뿐만 아니라, 예를 들어, 저장된 형상 중 임의의 것과 관련된 명칭 및 이들에 관한 다른 정보를 포함하는, 이들 아이템과 관련된 디스크립터를 저장할 수 있다. 예를 들어, 알려진 장애물의 위치 및 타입이 데이터베이스, 도로의 지형에 관한 정보 또는 도로에 따른 특정 지점의 등급 등에 포함될 수 있다. 일부 실시예에서, 지도 데이터베이스(160)는 물리적으로 다른 구성 요소와 함께 위치될 수 있다. 이와 달리 또는 이에 더해서, 맵 데이터베이스(160) 또는 그 일부는 시스템(100)의 다른 구성 요소(예를 들어, 프로세싱 유닛(110))에 대해 원격으로 위치될 수 있다. 이러한 실시예에서, 지도 데이터베이스(160)로부터의 정보는 유선 데이터 접속 또는 무선 데이터 접속을 통해 네트워크(예를 들어, 셀룰러 네트워크 및/또는 인터넷 등)를 통해 다운로드될 수 있다.
이미지 캡처 장치(122, 124, 126)는 각각, 환경으로부터 적어도 하나의 이미지를 캡처하기에 적합한 임의의 타입의 장치를 포함할 수 있다. 또한, 이미지 프로세서에 입력할 이미지를 획득하기 위해서 임의의 수의 이미지 캡처 장치가 사용될 수 있다. 본 명세서에 개시된 청구 대상의 일부 예시는 단일 이미지 캡처 장치만을 포함하거나 혹은 이와 함께 구현될 수도 있지만, 다른 예에서는 2개, 3개 또는 심지어 4개 이상의 이미지 캡처 장치를 포함하거나 이로 구현될 수도 있다. 이미지 캡처 장치(122, 124, 126)는 이하의 도 2b~도 2e를 참조하여 추가로 설명될 것이다.
시스템(100)은 예를 들어 음향 센서, RF 센서(예를 들어, 레이더 송수신기), LIDAR 센서를 포함하는 다른 타입의 센서를 포함할 수도 있고 혹은 이와 동작 가능하게 연관될 수도 있다는 것을 이해할 것이다. 이러한 센서는 이미지 획득 장치(120)와 독립적으로 사용될 수도 있고 혹은 협력하여 사용될 수도 있다. 예를 들어, 레이더 시스템(도시 생략)으로부터의 데이터는 이미지 획득 장치(120)에 의해 획득된 이미지 처리로부터 수신된 처리된 정보를 검증해서, 예를 들어, 이미지 획득 장치(120)에 의해 획득된 이미지를 처리함으로써 생성하는 오류 긍정(false positive)을 필터링하는데 사용될 수도 있고, 또는 이미지 획득 장치(120)로부터의 이미지 데이터 혹은 이미지 획득 장치(120)로부터의 이미지 데이터의 일부 처리된 변형물이나 파생물과 결합되거나 이를 보완할 수도 있다.
시스템(100) 또는 그 다양한 구성 요소는 다양한 상이한 플랫폼에 통합될 수 있다. 일부 실시예에서, 시스템(100)은 도 2a에 도시된 바와 같이 차량(200)에 포함될 수도 있다. 예를 들어, 차량(200)은 도 1과 관련하여 전술한 바와 같이 프로세싱 유닛(110) 및 시스템(100)의 다른 구성 요소 중 어느 하나를 구비할 수 있다. 일부 실시예에서 차량(200)은 단일 이미지 캡처 장치(예를 들어, 카메라)만을 구비할 수 있지만, 도 2b 내지 도 2e와 관련하여 설명된 바와 같은 다른 실시예에서, 복수의 이미지 캡처 장치가 사용될 수도 있다. 예를 들어, 도 2a에 도시된 바와 같이, 차량(200)의 이미지 캡처 장치(122, 124) 중 하나는 ADAS(Advanced Driver Assistance Systems) 이미징 세트의 일부일 수도 있다.
이미지 획득 유닛(120)의 일부로서 차량(200)에 포함된 이미지 캡처 장치는 임의의 적절한 위치에 위치될 수 있다. 일부 실시예에서, 도 2a~2e 및 3a~3c에 도시된 바와 같이, 이미지 캡처 장치(122)는 룸미러 부근에 위치될 수 있다. 이 위치는 차량(200)의 운전자의 시야와 유사한 시선을 제공할 수 있으며, 이는 운전자에게 무엇이 보이고 보이지 않는지를 결정하는 것을 도울 수 있다.
이미지 획득 유닛(120)의 이미지 캡처 장치의 다른 위치가 사용될 수도 있다. 예를 들어, 이미지 캡처 장치(124)는 차량(200)의 범퍼 상에 위치될 수도 있고 또는 범퍼 내에 위치될 수도 있다. 이러한 위치는 특히 넓은 시야를 갖는 이미지 캡처 장치에 적합할 수 있다. 범퍼-위치 이미지 캡처 장치의 시선은 운전자의 시선과 다를 수 있다. 이미지 캡처 장치(예를 들어, 이미지 캡처 장치(122, 124, 126))는 다른 위치에 위치될 수도 있다. 예를 들어, 이미지 캡처 장치는 차량(200)의 사이드 미러 중 하나 또는 둘 모두의 위에 혹은 그 안에 위치될 수도 있고, 차량(200)의 지붕, 차량(200)의 후드, 차량(200)의 트렁크, 차량의 측면에 위치될 수도 있으며, 차량(200) 전면 및/또는 후면의 광 특징부 내에 혹은 부근에 장착될 수도 있다. 이미지 캡처 유닛(120) 또는 이 이미지 캡처 유닛(120)에서 사용되는 복수의 이미지 캡처 장치 중 하나인 캡처 장치는, 차량 운전자의 시야(FOV)와는 다른 FOV를 가질 수도 있으며, 같은 객체를 항상 볼 수 있는 것은 아니다. 일 예에서, 이미지 획득 유닛(120)의 FOV는 전형적인 드라이버의 FOV를 넘어서 연장될 수도 있고, 따라서 드라이버의 FOV 외부에 있는 물체를 이미징할 수 있다. 또 다른 예시에서, 이미지 획득 유닛(120)의 FOV는 운전자의 FOV의 일부이다. 일부 실시예에서, 이미지 획득 유닛(120)의 FOV는 차량 전방 도로 및 가능하게는 도로의 주변 영역을 커버하는 섹터에 대응한다.
이미지 캡처 장치에 더해서, 차량(200)은 시스템(100)의 다양한 다른 구성 요소를 포함할 수 있다. 예를 들어, 프로세싱 유닛(110)은 차량의 엔진 제어 유닛(ECU)과 통합되어서 혹은 이로부터 분리되어서 차량(200) 상에 포함될 수 있다. 차량(200)은 또한 GPS 수신기와 같은 위치 센서(130)를 구비할 수 있고, 또한 맵 데이터베이스(160) 및 메모리 유닛(140, 150)을 포함할 수도 있다.
도 2a는 본 명세서에 개시된 청구 대상의 예에 따른 차량 이미징 시스템의 개략 측면도이다. 도 2b는 도 2a에 도시된 예시의 개략 평면도이다. 도 2b에 도시된 바와 같이, 개시된 예시는 그 본체 내에 시스템(100)을 포함하는 차량(200)을 포함할 수 있는데, 차량(200)의 룸미러 부근 및/또는 차량(200)의 운전자 근처에 위치된 제 1 이미지 캡처 장치(122), 차량(200)의 범퍼 영역(예를 들어, 범퍼 영역(210)들 중 하나) 상에 또는 그 내에 위치된 제 2 이미지 캡처 장치(124) 및 프로세싱 유닛(110)을 구비할 수 있다.
도 2c에 도시된 바와 같이, 이미지 캡처 장치(122, 124)는 모두 차량(200)의 룸미러 부근 및/또는 운전자 근처에 위치될 수 있다. 나아가, 도 2b 및 2c에 2개의 이미지 캡처 장치(122, 124)가 도시되어 있지만, 다른 실시예는 이미지 캡처 장치를 2개 이상 포함할 수도 있다는 것을 이해해야 한다. 예를 들어, 도 2d에 도시된 실시예에서는, 차량(200)의 시스템(100)에 제 1, 제 2 및 제 3 이미지 캡처 장치(122, 124, 126)가 포함된다.
도 2d에 도시된 바와 같이, 이미지 캡처 장치(122, 124, 126)는 차량(200)의 룸미러 부근 및/또는 운전석 근처에 위치될 수도 있다. 개시된 예시는 임의의 특정 수 및 구성의 이미지 캡처 장치로 한정되는 것은 아니며, 이미지 캡처 장치는 차량(200) 내부 및/또는 임의의 적절한 위치에 위치될 수도 있다.
개시된 실시예는 특정 타입의 차량(200)으로 한정되는 것은 아니며, 자동차, 트럭, 트레일러, 오토바이, 자전거, 셀프-밸런싱 운송 장치 및 다른 타입의 차량을 포함하는 모든 타입의 차량에 적용 가능할 수 있음을 이해해야 한다.
제 1 이미지 캡처 장치(122)는 임의의 적합한 타입의 이미지 캡처 장치를 포함할 수 있다. 이미지 캡처 장치(122)는 광축을 포함할 수 있다. 일례로, 이미지 캡처 장치(122)는 글로벌 셔터를 갖는 Aptina M9V024 WVGA 센서를 포함할 수 있다. 다른 실시예에서, 롤링 셔터 센서가 사용될 수도 있다. 이미지 획득 유닛(120), 및 이미지 획득 유닛(120)의 일부로서 구현되는 임의의 이미지 캡처 장치는 임의의 원하는 이미지 해상도를 가질 수 있다. 예를 들어, 이미지 캡처 장치(122)는 1280×960 픽셀의 해상도를 제공할 수 있으며 롤링 셔터를 포함할 수 있다.
이미지 획득 유닛(120) 및 이미지 획득 유닛(120)의 일부로서 구현되는 임의의 이미지 캡처 장치는 다양한 광학 요소를 포함할 수 있다. 일부 실시예에서, 예를 들어 이미지 획득 유닛(120) 및 이미지 획득 유닛(120)의 일부로서 구현되는 임의의 이미지 캡처 장치에 원하는 초점 거리 및 시야를 제공하기 위해서 하나 이상의 렌즈가 포함될 수도 있다. 일부 예시에서, 이미지 획득 유닛(120)의 일부로서 구현되는 이미지 캡처 장치는 예를 들어 6mm 렌즈 또는 12mm 렌즈와 같은 임의의 광학 요소를 포함할 수도 있고 혹은 이와 관련될 수도 있다. 일부 예들에서, 이미지 캡처 장치(122)는 원하는(및 알려진) FOV(시야)를 갖는 이미지를 캡처하도록 구성될 수 있다.
제 1 이미지 캡처 장치(122)는 제 1 일련의 이미지 스캔 라인 각각의 획득과 관련된 스캔 레이트를 가질 수 있다. 스캔 레이트는, 이미지 센서가 특정 스캔 라인에 포함된 각 픽셀과 관련된 이미지 데이터를 획득할 수 있는 레이트를 의미할 수 있다.
도 2e는 본 명세서에 개시된 청구 대상의 예에 따른 차량 제어 시스템의 개략도이다. 도 2e에 도시된 바와 같이, 차량(200)은 스로틀링 시스템(220), 제동 시스템(230) 및 조향 시스템(240)을 포함할 수 있다. 시스템(100)은 하나 이상의 데이터 링크(예를 들어, 데이터를 전송하기 위한 임의의 유선 및/또는 무선의 하나 또는 복수의 링크)를 통해서 스로틀링 시스템(220), 제동 시스템(230) 및 조향 시스템(240) 중 하나 이상에 입력(예를 들어, 제어 신호)을 제공할 수 있다. 예를 들어, 이미지 캡처 장치(122, 124 및/또는 126)에 의해 획득된 이미지의 분석에 기초하여, 시스템(100)은 차량(200)을 네비게이트하는(예를 들어, 가속, 회전, 차선 이동 등을 일으킴으로써) 제어 신호를 스로틀링 시스템(220), 제동 시스템(230) 및 스티어링 시스템(240) 중 하나 이상에 제공할 수 있다. 또한, 시스템(100)은 차량(200)의 동작 상황(예를 들어, 속도, 차량(200)이 제동 및/또는 회전 중인지 여부 등)을 나타내는 입력을 하나 이상의 스로틀링 시스템(220), 제동 시스템(230) 및 조향 시스템(240)으로부터 수신할 수 있다.
도 3에 도시된 바와 같이, 차량(200)은 또한 차량(200)의 운전자 또는 승객과 상호 작용하기 위한 사용자 인터페이스(170)를 포함할 수 있다. 예를 들어, 차량 애플리케이션 내의 사용자 인터페이스(170)는 터치 스크린(320), 노브(330), 버튼(340) 및 마이크(350)를 포함할 수 있다. 차량(200)의 운전자 또는 승객은 또한 핸들(예를 들어, 방향 지시등 핸들을 포함하는 차량(200)의 스티어링 칼럼 상에 또는 근처에 위치되는), 버튼(예컨대, 차량(200)의 핸들 상에 위치) 등을 사용해서 시스템(100)과 상호 작용할 수 있다. 일부 실시예에서, 마이크(350)는 룸미러(310)에 인접하여 위치될 수 있다. 유사하게, 일부 실시예에서, 이미지 캡처 장치(122)는 룸미러(310) 근처에 위치될 수 있다. 일부 실시예에서, 사용자 인터페이스(170)는 하나 이상의 스피커(360)(예를 들어, 차량 오디오 시스템의 스피커)를 포함할 수도 있다. 예를 들어, 시스템(100)은 스피커(360)를 통해 다양한 통지(예를 들어, 경보)를 제공할 수 있다.
본 개시의 이점을 취한 당업자라면, 전술한 실시예들에 대한 많은 변형 및/또는 수정이 이루어질 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 모든 구성 요소가 시스템(100)의 동작에 필수적인 것은 아니다. 또한, 임의의 구성 요소가 시스템(100)의 임의의 적절한 부분에 위치될 수도 있고, 이 구성 요소는 개시된 실시예의 기능을 제공하면서도 다양한 구성으로 재배열될 수 있다. 따라서, 전술한 구성은 예시로, 위에서 논의된 구성에 관계없이, 시스템(100)은 차량(200)의 주변을 분석하기 위한 광범위한 기능을 제공할 수 있고, 이 분석에 응답하여 차량(200)을 네비게이트 및/또는 이와 달리 제어 및/또는 구동할 수 있다. 차량(200)의 네비게이트, 제어 및/또는 구동은 차량(200)과 관련된 다양한 특징, 구성 요소, 장치, 모드, 시스템 및/또는 서브 시스템을(직접적으로 또는 상기 언급된 제어기와 같은 중간 제어기를 통해서) 인에이블 및/또는 디스에이블하는 것을 포함할 수 있다. 이와 달리 혹은 이에 더해서, 네비게이트, 제어 및/또는 작동은 시각적인, 청각적인, 햅틱 및/또는 다른 감각 경보 및/또는 표시를 제공함으로써 차량(200)의 내부에 위치될 수도 있고 또는 외부에 위치될 수도 있는 사용자, 운전자, 승객, 통행자 및/또는 다른 차량이나 사용자와의 상호 작용을 포함할 수 있다.
더 상세하게 후술되는 바와 같이, 개시되는 다양한 실시예들에 의해, 시스템(100)은 자율 주행, 반-자율 주행 및/또는 운전자 보조 기술과 관련된 다양한 특징들을 제공할 수 있다. 예를 들어, 시스템(100)은 이미지 데이터, 위치 데이터(예를 들어, GPS 위치 정보), 맵 데이터, 속도 데이터 및/또는 차량(200)에 포함된 센서로부터의 데이터를 분석할 수 있다. 시스템(100)은 예를 들어, 이미지 획득 유닛(120), 위치 센서(130) 및 기타 센서로부터 분석을 위한 데이터를 수집할 수 있다. 시스템(100)은 수집된 데이터를 분석해서 차량(200)이 특정 액션을 취해야 하는지 여부를 결정하며, 그 후 인간의 개입없이 결정된 액션을 자동으로 취할 수 있다. 일부 경우에, 차량이 자동으로 취하는 액션은 인간의 감독하에 있으며, 기계 동작에 개입, 조정, 중지 또는 오버라이드하는 능력은 특정 상황 하에서 또는 항상 인에이블된다는 것이 이해될 것이다. 예를 들어, 차량(200)이 인간의 개입없이 주행하는 경우, 시스템(100)은 차량(200)의 제동, 가속 및/또는 조향을 자동으로 제어할 수 있다(예를 들어, 제어 신호를 스로틀링 시스템(220), 제동 시스템(230) 및 스티어링 시스템(240) 중 하나 이상에 송신함으로써). 또한 시스템(100)은 수집된 데이터를 분석하고, 수집된 데이터의 분석에 기초해서 경고, 지시, 추천, 경고, 또는 명령을 운전자, 탑승객, 사용자, 또는 차량의 내부 혹은 외부의 다른 인물(혹은 다른 차량)에게 발행할 수 있다. 시스템(100)이 제공하는 다양한 실시예에 관한 추가의 세부 사항을 이하에서 제공한다.
다중-이미징 시스템
상기 설명된 바와 같이, 시스템(100)은 단일 카메라 시스템 또는 다중 카메라 시스템을 사용하는 주행 지원 기능이나 반 자율 또는 완전 자율 주행 기능을 제공할 수 있다. 다중 카메라 시스템은 차량의 전방 방향을 향하는 하나 이상의 카메라를 사용할 수 있다. 다른 실시예들에서, 다중 카메라 시스템은 차량의 측면 또는 차량의 후방을 향하는 하나 이상의 카메라를 포함할 수 있다. 일 실시예에서, 예를 들어, 시스템(100)은 2-카메라 이미징 시스템을 사용할 수 있고, 여기서 제 1 카메라 및 제 2 카메라(예를 들어, 이미지 캡처 장치(122, 124))는 차량(예를 들어, 차량(200)의 전면 및/또는 측면에 위치될 수 있다. 제 1 카메라의 시야는 제 2 카메라의 시야보다 클 수도 있고, 작을 수도 있으며, 혹은 부분적으로 중첩될 수도 있다. 나아가, 제 1 카메라는 제 1 이미지 프로세서에 접속되어서 제 1 카메라에 의해 제공되는 이미지의 단안 이미지 분석을 수행할 수 있고, 제 2 카메라는 제 2 이미지 프로세서에 접속되어서 제 2 카메라에 의해 제공되는 이미지의 단안 이미지 분석을 수행할 수 있다. 제 1 이미지 프로세서와 제 2 이미지 프로세서의 출력(예를 들면 처리된 정보)은 결합될 수 있다. 일부 실시예에서, 제 2 이미지 프로세서는 제 1 카메라 및 제 2 카메라 모두로부터 이미지를 수신해서 입체 분석을 수행할 수도 있다. 다른 실시예에서, 시스템(100)은 각각의 카메라가 상이한 시야를 갖는 3-카메라 이미징 시스템을 사용할 수 있다. 따라서, 이러한 시스템은 차량의 전방과 측면 모두에서 다양한 거리에 위치한 물체로부터 도출되는 정보에 기초하여 판정을 내릴 수 있다. 단안 이미지 분석을 언급한다는 것은, 이미지 분석이 단일 시점(예를 들어, 단일 카메라로부터의)으로부터 캡처된 이미지에 기초하여 수행되는 경우를 지칭할 수 있다. 입체 이미지 분석은, 이미지 캡처 파라미터의 하나 이상의 변형에 따라 캡처된 둘 이상의 이미지에 기초하여 이미지 분석이 수행되는 경우를 지칭할 수 있다. 예를 들어, 입체 이미지 분석을 수행하기에 적합한 캡처 이미지는, 두 개 이상의 다른 위치로부터 캡처된 이미지, 다른 시야로부터 캡처된 이미지, 다른 초점 거리를 사용하여 캡처된 이미지, 시차 정보에 따라 캡처된 이미지 등을 포함할 수 있다.
예를 들어, 일 실시예에서, 시스템(100)은 이미지 캡처 장치(122~126)를 사용하여 3-카메라 구성을 구현할 수 있다. 이러한 구성에서, 이미지 캡처 장치(122)는 좁은 시야(예를 들어, 34도, 또는 약 20도 내지 45도의 범위에서 선택된 다른 값 등)를 제공할 수 있고, 이미지 캡처 장치(124)는 넓은 시야(예를 들어, 150도 또는 약 100도 내지 약 180도의 범위에서 선택된 다른 값)를 제공할 수 있으며, 이미지 캡처 장치(126)는 중간 시야(예를 들어, 46도 또는 약 35도 내지 약 60도의 범위에서 선택된 다른 값)를 제공할 수 있다. 일부 실시예에서, 이미지 캡처 장치(126)는 주 카메라 즉 일차 카메라로서 동작할 수 있다. 이미지 캡처 장치(122~126)는 룸미러(310) 뒤에 위치될 수 있고 실질적으로 나란히(예를 들어, 6cm 간격으로) 위치될 수 있다. 또한, 일부 실시예에서, 이미지 캡처 장치(122~126) 중 하나 이상은 차량(200)의 앞 유리와 동일 평면의 글레어 실드 뒤에 장착될 수 있다. 이러한 실드는 이미지 캡처 장치(122~126)에 대한 차량 내부로부터의 임의의 반사의 영향을 최소화하도록 작용할 수 있다.
다른 실시예에서, 넓은 시야 카메라(예를 들어, 상기 예에서 이미지 캡처 장치(124))는 좁은 시야 카메라 및 주 카메라(예를 들어, 위 예에서 이미지 장치(122, 126))보다 낮게 장착될 수 있다. 이 구성은 넓은 시야 카메라로부터 자유로운 시야를 제공할 수 있다. 반사를 감소시키기 위해서, 카메라는 차량(200)의 앞 유리에 근접해서 장착될 수 있고, 반사된 광을 감쇠시키기 위해 카메라 상에 편광기를 포함할 수도 있다.
3-카메라 시스템은 특정한 성능 특성을 제공할 수 있다. 예를 들어, 일부 실시예는 한 카메라에 의한 물체의 검출을 다른 카메라로부터의 검출 결과에 기초해서 검증하는 능력을 포함할 수 있다. 상기 설명된 3-카메라 구성에서, 프로세싱 유닛(110)은 예를 들어, 3개의 처리 장치(예를 들어, 상기 설명된 바와 같은 3개의 EyeQ 시리즈 프로세서 칩)를 포함할 수 있고, 각각의 처리 장치는 하나 이상의 이미지 캡처 장치(122~126)에 의해 캡처된 이미지를 처리하는 것을 전용으로 한다.
3-카메라 시스템에서, 제 1 처리 장치는 주 카메라와 좁은 시야 카메라 모두로부터 이미지를 수신하고, 좁은 FOV 카메라 또는 심지어 카메라의 크롭된 FOV의 처리를 수행할 수 있다. 일부 실시예에서, 제 1 처리 장치는 트레이닝된 시스템(예를 들어, 트레이닝된 신경망)을 사용해서 물체 및/또는 도로 특성(일반적으로 "도로 물체"라고 지칭 됨)을 검출하고, 차량의 현재 위치보다 앞의 차량의 경로 등을 예측하도록 구성될 수 있다.
제 1 처리 장치는 이미지 처리 태스크를 수행하도록 추가로 구성될 수 있는데, 예를 들어 다른 차량, 보행자, 차선 표시, 교통 표지, 신호등 및 기타 도로 물체를 검출하도록 의도될 수 있다. 또한, 제 1 처리 장치는 주 카메라 및 좁은 카메라로부터의 이미지들 사이의 픽셀의 시차를 계산해서, 차량(200)의 환경의 3D 재구성을 생성할 수 있다. 이후 제 1 처리 장치는 3D 재구성을 3D 맵 데이터(예를 들어, 깊이 맵) 또는 다른 카메라로부터의 정보에 기초해서 계산된 3D 정보와 결합할 수 있다. 일부 실시예에서, 제 1 처리 장치는 본 명세서에 개시된 청구 대상의 예에 따라, 깊이 정보(예를 들어, 3D 맵 데이터)에 대해 트레이닝된 시스템을 사용하도록 구성될 수 있다. 이 구현예에서, 시스템은 3D 맵 데이터와 같은 깊이 정보에 대해서 트레이닝될 수 있다.
제 2 처리 장치는 주 카메라로부터 이미지를 수신할 수 있고, 비전 처리를 수행해서 다른 차량, 보행자, 차선 표시, 교통 표지, 신호등, 도로 장벽, 잔해물 및 기타 도로 물체를 검출하도록 구성될 수 있다. 나아가, 제 2 처리 장치는 카메라 변위를 계산할 수 있고, 변위에 기초해서 연속 이미지들 사이의 픽셀의 시차를 계산해서 장면의 3D 재구성(예를 들어, 움직임으로부터의 구조)을 생성할 수 있다. 제 2 처리 장치는 이 구조를 모션-기반 3D 재구성으로부터 제 1 처리 장치로 송신하여 입체 3D 이미지 또는 입체 프로세싱에 의해 획득된 깊이 정보와 결합될 수 있다.
제 3 처리 장치는 넓은 FOV 카메라로부터 이미지를 수신하고, 이 이미지를 처리해서 차량, 보행자, 차선 표시, 교통 표지, 신호등 및 기타 도로 물체를 검출할 수 있다. 제 3 처리 장치는 이미지를 분석해서 차선 변경 차량, 보행자 등과 같이 이미지 내에서 움직이는 물체를 식별하는 추가 처리 명령어를 실행할 수 있다.
일부 실시예에서, 이미지 기반 정보의 스트림이 독립적으로 캡처되고 처리되게 함으로써, 시스템에서의 여분(redundancy)을 제공할 기회를 제공할 수 있다. 이러한 여분은 예를 들어, 제 1 이미지 캡처 장치 및 그 장치로부터 처리된 이미지를 사용해서 적어도 제 2 이미지 캡처 장치로부터의 이미지 정보를 캡처 및 처리함으로써 획득된 정보를 검증 및/또는 보완하는 것을 포함할 수 있다.
일부 실시예에서, 시스템(100)은 차량(200)에 네비게이션 지원을 제공할 때 2개의 이미지 캡처 장치(예를 들어, 이미지 캡처 장치(122, 124))를 사용하고, 제 3 이미지 캡처 장치(예를 들어, 이미지 캡처 장치(126))를 사용해서 여분을 제공하고 다른 2개의 이미지 캡처 장치로부터 수신된 데이터의 분석을 검증할 수 있다. 예를 들어, 이러한 구성에서, 이미지 캡처 장치(122, 124)는 차량(200)을 네비게이트하기 위해 시스템(100)에 의한 입체 분석을 위한 이미지를 제공할 수 있는 반면, 이미지 캡처 장치(126)는 이미지 캡처 장치(122) 및/또는 이미지 캡처 장치(124)로부터 캡처된 이미지에 기초해서 획득된 정보의 여분 및 검증을 제공하기 위해 시스템(100)에 의한 단안 분석을 위한 이미지를 제공할 수 있다. 즉, 이미지 캡처 장치(126)(및 대응하는 처리 장치)는 이미지 캡처 장치(122, 124)로부터 도출된 분석에 대한 체크를 제공하기 위한 여분(redundant) 서브 시스템을 제공(예를 들어, 자동 비상 제동(AEB) 시스템을 제공)하는 것으로 간주될 수 있다.
당업자라면, 상기 카메라 구성, 카메라 배치, 카메라의 수, 카메라 위치 등은 단지 예시적인 것일뿐이라는 것을 이해할 것이다. 전체 시스템과 관련하여 설명된 이들 구성 요소 및 다른 구성 요소는 개시된 실시예의 범주는 벗어나지 않으면서 다양한 상이한 구성으로 조립 및 사용될 수 있다. 운전자 보조 기능 및/또는 자율 주행 차량 기능을 제공하는 다중 카메라 시스템의 사용에 관한 추가 세부 사항은 다음과 같다.
본 개시의 이점을 취한 당업자라면, 전술한 예시에 대해 많은 변형 및/또는 수정이 이루어질 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 모든 구성 요소가 시스템(100)의 동작에 필수적인 것은 아니다. 또한, 어떤 구성 요소는 시스템(100)의 임의의 적절한 부분에 위치될 수 있지만, 이 구성 요소는 개시된 실시예의 기능을 제공하면서 다양한 구성으로 재배열될 수 있다. 따라서, 전술한 구성은 예시로, 상기 설명한 구성에 관계없이, 시스템(100)은 차량(200)의 주변을 분석하고 차량(200)을 네비게이트하거나 혹은 분석에 응답하여 차량의 사용자에게 경고하는 광범위한 기능을 제공할 수 있다.
이하 더 상세하게 설명되는 본 명세서에 개시된 청구 대상의 예에 따르면, 시스템(100)은 자율 주행, 반 자율 주행 및/또는 운전자 보조 기술과 관련된 다양한 특징을 제공할 수 있다. 예를 들어, 시스템(100)은 이미지 데이터, 위치 데이터(예를 들어, GPS 위치 정보), 맵 데이터, 속도 데이터 및/또는 차량(200)에 포함된 센서로부터의 데이터를 분석할 수 있다. 시스템(100)은 예를 들어, 이미지 획득 유닛(120), 위치 센서(130) 및 다른 센서로부터, 분석을 위한 데이터를 수집할 수 있다. 또한, 시스템(100)은 수집된 데이터를 분석해서 차량(200)이 특정 액션을 취해야 하는지 여부를 결정할 수 있고, 이후 결정된 액션을 인간의 개입없이 자동으로 취할 수도 있고 혹은 특정한 액션이 취해져야 한다는 것을 운전자에게 지시할 수 있는 경고, 경보 또는 명령어를 제공할 수도 있다. 자동 액션은 인간의 감독 하에 수행될 수 있으며, 인간의 개입 및/또는 무시가 취해질 수 있다. 예를 들어, 차량(200)이 인간의 개입없이 네비게이트될 때, 시스템(100)은 차량(200)의 제동, 가속 및/또는 조향을 자동으로 제어할 수 있다(예를 들어, 제어 신호를 스로틀링 시스템(220), 제동 시스템(230) 및 스티어링 시스템(240) 중 하나 이상에 송신함으로써). 또한, 시스템(100)은 수집된 데이터를 분석하고 수집된 데이터의 분석에 기초해서 차량 탑승자에게 경고 및/또는 경보를 발행할 수 있다.
결함 수집 및 관리 유닛을 포함할 수 있는 시스템이 제공된다. FCMU(결함 수집 및 관리 유닛:Fault Collection and Management Unit)는 주행 제어/보조 시스템(이하, 주행 관련 시스템)에 포함될 수도 있고, 혹은 주행 관련 시스템에 연결될 수도 있다.
주행 관련 시스템은 센서에 연결되고, 자율 주행과 관련된 다양한 동작 및/또는 운전자를 지원하기 위한 동작을 수행할 수 있다. 예를 들어, 주행 관련 시스템은 차량의 환경을 검출할 수 있고, 장애물을 검출할 수 있으며, 차량의 주행을 제어할 수 있고, 차량의 제어를 인간 운전자에게 핸드오버할 수 있으며, 차량의 환경과 관련하여 운전자에게 경보(또는 임의의 타입의 표시)를 제공하는 등 할 수 있다.
주행 관련 모듈 및/또는 주행 관련 시스템은 프로세싱 유닛(110), 메모리 유닛(예컨대, 메모리(140) 및/또는 메모리(150)와 같은) 및 사용자 인터페이스(170)와 같은 컴포넌트를 포함할 수 있다.
각각의 주행 관련 시스템은 하나 이상의 주행 관련 모듈을 포함할 수 있다. 각각의 주행 관련 모듈은 칩, 시스템 온 칩(SOC)을 포함할 수 있고, 하나 이상의 칩을 포함할 수 있으며 및/또는 하나 이상의 SOC를 포함할 수 있다. 이러한 모듈의 비제한의 예시는 이스라엘 Mobileye의 EyeQ 시스템 온 칩 패밀리(혹은 임의의 제네레이션)이다. 하나 이상의 주행 관련 모듈은 하나 이상의 SOC에서 구현될 수 있다.
FCMU는 각각의 주행 관련 모듈이나, 일부의 주행 관련 모듈 등에 SOC의 일부로서 또는 개별 엔티티로서 설치될 수 있다.
이하의 예에서, 각각의 주행 관련 시스템은 하나 이상의 다른 칩에 연결될 수 있는 단일 SOC를 포함하는 것으로 가정된다.
도 4는 높은 ASIL 레벨(예를 들어 D 레벨)의 시스템(100')의 예를 도시한다. 시스템(100')은 본 개시의 실시예들에 따라, 다중 주행 관련 시스템 및 다중 주행 관련 모듈뿐만 아니라 선택 모듈 및 백업 모듈을 포함한다.
주행 관련 모듈의 타입 및 개수, 센서의 타입 및/또는 개수, 선택 모듈 및 백업 모듈의 타입 및 개수는 도면에 도시된 것과 상이할 수 있다는 점에 주의한다. 예를 들어, 3쌍의 주행 관련 모듈을 갖는 것(3개의 주행 관련 시스템을 형성하는 것)은 단지 예시일 뿐, 임의의 수의 주행 관련 모듈(및 주행 관련 시스템)이 제공될 수 있다. 주행 관련 시스템은 하나, 3개 이상의 주행 관련 모듈을 포함할 수 있다.
시스템(100')은 다음을 포함할 수 있다.
1. 제 1 주행 관련 모듈 쌍을 포함하는 제 1 주행 관련 시스템(111). 이 제 1 쌍은 (i) 제 1 센서로부터 정보를 수신 및 처리할 수 있는 제 1 주행 관련 모듈(101) 및 (ⅱ) 제 2 센서로부터 정보를 수신 및 처리할 수 있는 제 2 주행 관련 모듈(102)을 포함한다. 제 1 및/또는 제 2 센서는 레이더, 라이다(lidar), 카메라 등과 같은 임의의 타입의 센서를 포함할 수 있다.
2. 제 2 주행 관련 모듈 쌍을 포함하는 제 2 주행 관련 시스템. 이 제 2 쌍은 (i) 제 1 센서로부터 정보를 수신 및 처리할 수 있는 제 2 주행 관련 모듈(103) 및 (ⅱ) 제 2 센서로부터 정보를 수신 및 처리할 수 있는 제 4 주행 관련 모듈(104)을 포함한다.
3. 선택 모듈(119)이 제 1 및 제 2 주행 관련 모듈 쌍에 연결되어서 어느 쌍을 사용할지 선택할 수 있다. 이 선택은 각 쌍에 의해 제공되는 상태 정보 및/또는 결함 정보에 기초할 수 있다. 결함 정보는 각 쌍의 FCMU에 의해 적어도 부분적으로 제공될 수 있다.
4. 제 3 주행 관련 모듈 쌍을 포함하는 제 3 주행 관련 시스템(113)과 같은 추가 주행 관련 시스템. 이 제 3 쌍은 (i) 제 3 센서로부터 정보를 수신 및 처리할 수 있는 제 5 주행 관련 모듈(105)뿐만 아니라 (ⅱ) 제 4 센서로부터 정보를 수신 및 처리할 수 있는 제 6 주행 관련 모듈(106)을 포함할 수 있다.
제 3 주행 관련 시스템은 제 1 및/또는 제 2 주행 관련 시스템과 유사할 수 있다.
제 3 주행 관련 시스템(113)은 FCMU를 포함할 수도 있고 포함하지 않을 수도 있다.
제 3 주행 관련 시스템은 제 1 및/또는 제 2 쌍이 고장일 때 백업으로서 사용된다. 제 3 주행 관련 시스템은 제 1 및 제 2 주행 관련 시스템과 동일한 기능을 가질 수 있다. 이와 달리, 제 3 주행 관련 시스템은 더 제한된 기능을 가질 수도 있다. 예를 들어, 제 3 주행 관련 시스템은 자동차를 안전 구역으로 유도하고, 운전자 및/또는 제 3 자에게 중대한 고장을 통지하고, 안전 구역에 도달한 후 차량을 멈출 책임이 있을 수 있다. 안전 구역은 주차장 또는 차량을 안전하게 주차할 수 있는 장소일 수 있다.
시스템(100')은 하나 이상의 FCMU를 포함하기도 하지만 설명의 편의를 위해 도시하지 않았다.
도 5에서, 시스템(100')은 제 1 및 제 2 주행 관련 시스템(111, 112)에 각각 포함된 제 1 FCMU(20(1)) 및 제 2 FCMU(20(2))를 포함하는 것으로 도시되어있다.
도 6에서, 시스템(100')은 제 1 및 제 2 주행 관련 시스템(111, 112)에 각각 연결되어 있는(포함되지는 않음) 제 1 FCMU(20(1)) 및 제 2 FCMU(20(2))를 갖는 것으로 도시되어 있다.
도 4 내지 도 6은 또한 통신 인터페이스(116, 117)뿐만 아니라 다양한 신호(401~404 및 411~414)의 예를 도시한다. 통신 인터페이스(116, 117)는 선택 모듈(119)과 제 1 및 제 2 주행 관련 시스템 사이에 각각 연결되고, - 통신 인터페이스(116, 117)는 신호(401~404 및 411~414)와 다른 데이터 및/또는 제어 신호를 교환하는데 사용된다. 신호(401~404 및 411~414)는 신호의 예로, 다음을 포함한다.
1. ERROR_CR(401) - 제 1 주행 관련 시스템(111)의 치명 오류(critical error)를 나타낸다. 이 신호는 제 1 주행 관련 시스템(111)으로부터 선택 모듈(119)로 송신된다.
2. ERROR_NCR(402) - 제 1 주행 관련 시스템(111)의 비치명 오류를 나타낸다. 이 신호는 제 1 주행 관련 시스템(111)으로부터 선택 모듈(119)로 송신된다.
3. RESET_SOC(403) - 제 1 FCMU(20(1))를 리셋하지 않고 제 1 주행 관련 시스템(111)의 SOC를 리셋한다. 이 신호는 선택 모듈(119)로부터 제 1 주행 관련 시스템(111)으로 송신된다.
4. RESET_FCMU(404) - 제 1 FCMU(20(1))를 리셋한다. 이 신호는 선택 모듈(119)로부터 제 1 주행 관련 시스템(111)으로 송신된다.
5. ERROR_CR(411) - 제 2 주행 관련 시스템(112)의 치명 오류를 나타낸다. 이 신호는 제 2 주행 관련 시스템(112)으로부터 선택 모듈(119)로 송신된다.
6. ERROR_NCR(412) - 제 2 주행 관련 시스템(112)의 비치명 오류를 나타낸다. 이 신호는 제 2 주행 관련 시스템(112)으로부터 선택 모듈(119)로 송신된다.
7. RESET_SOC(403) - 제 2 FCMU(20(2))를 리셋하지 않고 제 2 주행 관련 시스템(112)의 SOC를 리셋한다. 이 신호는 선택 모듈(119)로부터 제 2 주행 관련 시스템(112)으로 송신된다.
8. RESET_FCMU(404) - 제 2 FCMU(20(2))를 리셋한다. 이 신호는 선택 모듈(119)로부터 제 2 주행 관련 시스템(112)으로 송신된다.
도 7은 각각의 주행 관련 시스템이, 제 1 센서 및 제 2 센서에 의해 공급되는 단일 주행 관련 모듈(도시 생략)을 포함하는 시스템(100')을 도시한다.
도 8은 FCMU(20(1))을 도시한다. FCMU(20(2))는 동일한 구조를 가질 수 있다는 점에 주의한다.
FCMU의 구성 요소(로직, 레지스터)의 수 및 타입뿐만 아니라 신호의 수 및 타입은 도 8에 도시된 것과 상이할 수 있다는 점에 주의한다. 예를 들어, FCMU는 2개 이상의 상이한 클록 신호에 의해 공급될 수 있으며, 하나, 3개 또는 그 이상의 컴포넌트의 복제물 등이 있을 수 있다.
FCMU는 이상적으로 동일한 2개의 파트를 포함하며, 각각의 파트는 상이한 클록 신호에 의해 공급될 수 있고, 서로 독립적으로 동작한다. 독립적으로 생성 및 공급된 클록 신호는 FCMU에 의해 감지되지 않고 변조하는 것은 쉽지 않다. 2 파트에 의해 모니터링되는 상태는 동일해야 하며, 서로 다른 파트에 의해 보고되는 상태들이 일치하지 않으면, 결함, 위반 또는 다른 오류를 나타낼 수 있다. 상이한 파트는 상이한 OPC 포트를 가질 수 있고 상이한 제어 신호를 생성할 수 있다. 각 파트는 FCMU 로직, 구성 레지스터, 상태 레지스터 등을 포함한다.
FCMU(20(1))는 2개의 FCMU 로직(21, 22), 제 1 및 제 2 구성 레지스터(23, 35), 및 제 1 및 제 2 상태 레지스터(24, 26)를 포함한다. FCMU(20(1))는 제 1 및 제 2 클럭 신호에 의해 공급된다. FCMU(20(1))는 각각의 주행 관련 모듈 내 또는 각각의 주행 관련 시스템 내 및/또는 외부 접속된 장치로부터의 임의의 유닛/모듈/회로로부터 결함 신호를 수신할 수 있다.
FCMU(20(1))는 또한 내부 CPU(들)에서 실행되는 소프트웨어로부터 결함 신호를 수신할 수 있다. 내부 CPU는 SOC에 속한다.
FCMU(20(1))는 많은 수(수십 또는 수백 - 및 그 이상)의 결함 및/또는 상태 신호를 수신할 수 있고, 많은 수의 결함 및/또는 상태 신호는 FCMU가 결함을 신뢰할 수 있고 빠른 방식으로 검출, 기록 및 보고할 수 있게 한다. 상태 레지스터는 스티키 비트(sticky bits)를 저장할 수 있는데, 이는 검출된 결함을 나타내며 파워온 리셋 또는 소프트웨어에 의해서만 클리어될 수 있다.
FCMU의 레지스터 중 적어도 일부는 패스워드로 보호될 수 있으므로, 하나 이상의 비트를 프로그래밍하려면 패스워드를 수신해야 한다. 패스워드는 FCMU에 저장될 수 있다. 잘못된 패스워드가 제공되면 프로그래밍이 허용되지 않는다. 이는, 이들 비트가 악의적인 방식으로 오류에 의해 프로그래밍되지 않게 보장할 수 있다.
제 1 및 제 2 FCMU 로직(21, 22)은 결함 신호를 수신하고 ERROR_CR(401), ERROR_NCR(402), 인터럽트(INT)(405) 및 마스크-불가능 인터럽트(NMI)(406)와 같은 오류 신호를 생성할지 여부를 결정한다. 이들 신호는 예로서 제공된다. 이러한 신호의 수 및 정의는 특정 응용예에 맞추어 질 수 있다.
ERROR_CR(401) 및 ERROR_NCR(402)은 주행 관련 시스템의 외부로 - 선택 모듈(199)로 송신될 수 있다. 인터럽트 신호(INT(405), NMI(406))는 SOC의 CPU(내부 CPU)로 송신된다.
제 1 및 제 2 FCMU 로직(21, 22)은 제 1 카운터(27) 및 제 2 카운터(28)와 같은 카운터를 포함할 수 있다.
결함 카운터는 치명 결함 및 비치명 결함 모두에 사용될 수 있다. 비치명 결함은, (예를 들어) 복구될 수 있는 경우에는 허용 가능한 것으로 취급될 수 있다. 그러나 이러한 결함이 임계값에 도달하면, 시스템 성능에 심각한 영향을 줄 수 있으므로, SOC CPU 및/또는 외부 선택 모듈에 보고되어야 한다. 결함 카운터는 결함의 수를 (각 결함 타입마다) 계산한다.
제 1 및 제 2 FCMU 로직 각각은 ((다양한 IP로부터의 결함 신호 및/또는 보조 신호와 같은, 및/또는 SOC로부터의 패리티 및/또는 오류 정정 코드 신호와 같은) 수신된 결함 신호에 기초해서 및/또는 FCMU 자체에 의해 실행된 테스트에 기초해서) 결함을 모니터링하기 위한 규칙 및 검출된 결함에 응답하기 위한 규칙(프로그래밍 가능 및/또는 다르게 설정될 수 있는)을 구현하기 위한 하나 이상의 하드웨어 구성 요소를 포함할 수 있다.
도 8에서, 주행 관련 모듈의 BIST(built in self-test) 모듈(Soc LBIST, MBIST)로부터 및/또는 IP(Soc IP)로부터, 그리고 외부 접속된 장치로부터 및 내부 CPU(들)에서 실행되는 SW로부터 다양한 결함 신호가 제공된다. 예를 들어, 결함 신호(608) 및 보조 신호는 SOC IP로부터 및/또는 LBIST로부터 및/또는 MBIST로부터 제공될 수 있다. SOC NOC(상호 접속부)는 시스템 버스 및 패리티/ECC 신호(607)를 제공할 수 있다.
OCP(및/또는 AXI, ACE, AHB, APB)와 같은 SoC 버스 레벨 인터페이스 및 패리티 신호는 주행 관련 모듈의 상호 접속부(Soc Noc)에 접속될 수 있다. 이 인터페이스는 FCMU 유지 관리를 위해 FCMU 제어 및 상태 레지스터에 액세스하는 데 사용된다.
이 규칙은 FCMU에 저장될 수 있고, FCMU에 프로그래밍될 수 있으며, 시간이 지남에 따라 변경될 수도 있고, 고정될 수도 있는 등이다.
예를 들어, 이 규칙은 이벤트를 정의할 수 있고, 이벤트가 치명 오류를 나타내는지 여부, 이벤트가 비치명 오류를 나타내는지 여부, 이벤트가 주행 관련 시스템의 CPU를 인터럽트할 필요가 있는지 여부 등을 결정할 수 있다.
이벤트는 특정한 결함이 한 번 발생했을 때, 적어도 사전 정의된 횟수만큼 재발생했을 때 및/또는 시간 윈도우 내에 적어도 사전 정의된 횟수만큼 재발생했을 때 정의될 수 있다.
이 규칙에 기초해서, FCMU는 반응 방법을 결정할 수 있으며, 예를 들어 INT(405), MNI(406), ERROR_CR(401) 및 ERROR_NCR(402)와 같은 신호를 언제 생성할지 결정할 수 있다.
제 1 FCMU 로직(21), 제 1 구성 레지스터 레지스터(23) 및 제 1 상태 레지스터(24)는 제 1 클록에 의해 공급될 수 있는 반면, 제 2 FCMU 로직(22), 제 2 구성 레지스터(25) 및 제 2 상태 레지스터(26)는 제 2 클록에 의해 공급될 수 있다.
제 1 및 제 2 상태 레지스터는 제 1 주행 관련 시스템의 현재 상태를 반영해야 한다. 현재 상태는 결함 또는 결함이 없음을 반영해야 한다.
제 1 및 제 2 구성 레지스터는 제 1 주행 관련 시스템의 원하는 구성을 반영해야 하며, 이는 전술한 규칙 중 하나 이상을 나타낼 수 있다. 예를 들어 이 구성은 치명 오류와 비치명 오류의 분류가 포함될 수 있다.
또 다른 예시에서, 구성 레지스터는 (결함 타입마다의) 임계값을 저장하는데 사용되는 임계값 레지스터를 포함할 수 있으며, 임계값은 일단 도달되면(결함 타입의 재발생) 이벤트로 간주되어야 하고, 따라서 선택 모듈에 보고되어야 한다.
별도 클록 및 전력 공급 유닛(29)으로부터의 상이한 2개의 클록을 사용하면 FCMU의 무결성을 향상시킬 수 있으며, 클록 신호 변경 시도에 대한 내성(immunity)을 증가시킬 수 있다.
제 1 및 제 2 구성 레지스터의 컨텐츠는 오류를 찾기 위해서 서로 비교될 수 있다(예를 들어, 불일치는 오류로 취급될 수 있다). 제 1 및 제 2 상태 레지스터의 컨텐츠는 오류를 찾기 위해 서로 비교될 수 있다(예를 들어, 불일치는 오류를 나타낼 수 있다).
제 1 및 제 2 클록 신호는 별도 클록 및 공급 유닛(29)으로부터 제공될 수 있다. 본 개시의 실시예에 따르면, FCMU는 주행 관련 모듈의 다른 회로가 리셋될 때에도 기능하고 리셋되지 않을 수 있으며, 다른 구성 요소를 리셋하는 데 사용되는 리셋 신호와는 다른 리셋 신호에 의해 공급된다.
또한, FCMU는, 주행 관련 시스템의 다른 구성 요소 이후의 오류를 포함한, 주행 관련 시스템의 다른 구성 요소(SOC의 IP와 같은)의 상태를 저장할 수 있으며, 어느 블록이 고장을 유발하는지 찾아낼 수 있다. 이는 주행 관련 모듈의 다른 구성 요소 및 심지어 전체 주행 관련 모듈이나 시스템에도 동일하게 적용된다(FCMU가 주행 관련 시스템이나 모듈에 포함되지 않은 경우).
주행 관련 모듈이 고장나면, 이 고장은 FCMU로부터의 오류 신호를 통해 선택 모듈(119) 또는 백업 모듈(118)에 보고될 수 있다.
선택 모듈 또는 백업 모듈은 일부 통신 인터페이스(예를 들어 SPI)를 통해(오류와 관련된) 상세 정보를 요청할 수 있다. 이 인터페이스가 결함으로 인해서 작동하지 않을 수도 있다. 이 경우, 선택 또는 백업 모듈은 SoC를 리셋하여 그 기능(및 통신 인터페이스) 기능을 복구할 수 있다. FCMU는 이러한 리셋에 관계없이 결함의 로그를 유지하므로, 이 로그 데이터는 다시 작동될 때 통신 인터페이스를 통해 보고될 수 있다.
선택 모듈(119)은, 선택 모듈이 상태 보고, 결함 신호 및/또는 주행 관련 시스템에 의해 제공되는 데이터에 어떻게 응답해야 하는지를 결정하는 응답 규칙을 구현하기 위한 섹션 회로를 포함한다. 이 규칙은 사전 정의될 수도 있고, 시간이 지남에 따라 변경될 수도 있으며, 수정될 수도 있다.
선택 모듈(119)은, 규칙 및 주행 관련 시스템으로부터의 신호/보고서/데이터를 저장하기 위한 메모리 유닛과, 규칙을 구현하기 위한 제어기 또는 프로세서를 포함할 수 있다.
선택 모듈(119)은, 더 안전한(무 결함) 주행 관련 시스템으로부터 신호가 존재하고, 이 주행 관련 시스템이 현재 안전하다면, 이를 출력하도록 선택할 수 있다. 모든 주행 관련 시스템이 안전하지 않은 경우 - 선택 모듈은 이들 주행 관련 시스템을(적어도) 리셋하도록 선택할 수 있다. 모든 주행 관련 시스템이 안전하다면, 선택 모듈은 임의의 방식으로(랜덤하게, 의사 랜덤하게, 임의의 순서 또는 규칙에 따라서), 신호가 출력될 선택된 주행 관련 시스템을 선택할 수 있다.
도 8은 본 개시의 실시예에 따른 2개의 리셋 신호(RESET_SOC(603), RESET_FCMU(604))를 도시한다.
RESET_SOC(603)는 전원을 인가하고/인가하지 않고 어서트될 수 있으며, 모든 SoC 로직 및 FCMU SoC 레벨 버스 인터페이스에 대해 리셋된다. FCMU 상태 비트의 값은 리셋하지 않는다.
RESET_FCMU(604)는 전원을 인가하고/인가하지 않고 어서트될 수 있으며, 상태 비트를 포함하는 FCMU 로직에 대해 리셋된다.
특정 FCMU 또는 특정 주행 관련 시스템으로부터 ERROR_CR을 수신할 때 선택 모듈(119)의 응답은 다음을 포함할 수 있다 :
1. 특정 주행 관련 시스템에 연결된 통신 인터페이스를 통해서 ERROR_CR 신호를 송신하는 특정 주행 관련 시스템(또는 특정 FCMU)으로부터 결함 보고를 받는다.
2. 결함 보고가 성공적으로 수신되면, 특정 주행 관련 시스템으로 또는 특정 FCUM으로 송신되는 RESET_SOC 및 RESET_FCMU를 어서트하고, 안전 상태로 들어간다.
3. 기타
i. 특정 주행 관련 시스템으로 또는 특정 FCUM으로 송신될 RESET_SOC(FCMU 없이 SOC 리셋)를 어서트.
ⅱ. 특정 주행 관련 시스템에 연결된 통신 인터페이스를 통해 결함 보고를 획득.
ⅲ. 특정 주행 관련 시스템으로 또는 특정 FCUM으로 송신될 RESET_FCMU 및 RESET_SOC를 어서트.
RESET_SOC 및/또는 RESET_SOC는 또한 ERROR_CR 신호를 송신하지 않은 FCMU 및/또는 주행 관련 시스템으로 송신되지 않을 수도 있다는 점에 주의해야 한다.
특정 FCMU 또는 특정 주행 관련 시스템으로부터 ERROR_NCR을 수신할 때 선택 모듈의 응답은 다음을 포함할 수 있다.
1. 특정 주행 관련 시스템에 연결된 통신 인터페이스를 통해 결함 보고를 받는다.
2. 성공한 경우, 수신된 상태별로 동작한다.
3. 기타
i. 특정 주행 관련 시스템으로 또는 특정 FCUM으로 송신될 RESET_SOC(FCMU 없이 SOC 리셋)를 어서트.
ⅱ. 특정 주행 관련 시스템에 연결된 통신 인터페이스를 통해 결함 보고를 획득.
ⅲ. 특정 주행 관련 시스템으로 또는 특정 FCUM으로 송신될 RESET_FCMU 및 RESET_SOC를 어서트.
FCMU는 결함 로깅 및 보고(Faults Logging and Report)를 위한 ASIL-D '안전 지대(safety island)'의 역할을 할 수 있다. 이것은 적어도 부분적으로 별도 클록 및 전원 공급 유닛(29)과 같은 전용 전원을 가짐으로써 달성될 수 있다.
선택 모듈(119)은, 예를 들어, 보다 신뢰할 수 있는(보다 결함이 적은) 주행 관련 시스템으로부터의 출력(처리된 데이터와 같은)과 같은 신호를 출력하도록 선택할 수도 있다는 점에 주의한다.
이 경우의 거동은 다음과 같다.
i. IP는 신호를 어서트한다.
ⅱ. FCMU는 서비스 요청을 샘플링하고, 필터링해서, 선택 모듈(예를 들어, ASIL-D MCU) 및/또는 SOC CPU에 송신한다.
ⅲ. 선택 모듈/CPU는 소스 IP 및 FCMU에서 결함 신호를 클리어한다(Ctrl/상태 레지스터를 통해).
치명 결함은 즉시 선택 모듈(119)에 보고될 수 있다.
각각의 FCMU는 IP로부터 물리적 신호를 얻고, ERROR_xxx 핀을 통해 선택 모듈(118)에 보고할 수 있다.
결함은 결함 신호의 상승 에지에서나 또는 다른 시간에 FCMU에 의해 처리될 수 있다.
선택 모듈(119)은 또한 통신 인터페이스(116 및/또는 117)를 통해 완전한 FCMU/IP 상태 보고를 얻을 수 있다.
어떤 시점에(가능한 한 빨리) 선택 모듈(118)은 FCMU 및 IP에서 상태 비트를 클리어할 수 있지만(통신 인터페이스를 통해), 보고되지 않는 동일한 타입의 더 많은 결함이 발생할 수 있다(상태가 클리어되지 않았으므로).
치명 결함에 대한 전형적인 선택 모듈(119)의 반응은 SoC 리셋(RESET_SOC)이다.
백업 모듈(118)은 제 1 및/또는 제 2 주행 관련 시스템에 결함이 있을 때 제 1 또는 제 2 주행 관련 시스템 대신에 사용될 수 있으며, 특히 중대한 오류의 문제가 있다.
도 9는 복수의 IP에 연결된 캐시 코히어런트 상호 접속부(510)를 포함하는 SOC를 포함하는 제 1 주행 관련 시스템을 도시한다.
복수의 IP는 다음을 포함한다.
1. 레벨 2 캐시(L2 캐시)를 통해 캐시 코히어런트 상호 접속부(510)에 연결된 컴퓨터 비전 프로세서(예를 들어, 18개의 컴퓨터 비전 프로세서)를 포함하는 제 1 IP 세트(501). 각각의 컴퓨터 비전 프로세서가 이미지 처리 동작을 수행한다.
2. 레벨 2 캐시(L2 캐시)를 통해 캐시 코히어런트 상호 접속부(510)에 연결된 CPU(예를 들어, 8개의 CPU)를 포함하는 제 2 IP 세트.
3. 제 4 세대 저전력 이중 데이터 레이트(LPDDR4) 블록과 같은 동적 메모리 모듈 인터페이스(503).
4. 주변 기기(504). 주변 기기는 예를 들어, 쿼드 직렬 주변 기기 인터페이스 버스(SPI), Octal SPI, 시큐어 디지털(SD4.1), eMMC(embedded multimedia card) 5.1, 기가비트 이더넷(GbE), AVB/TSN(audio video bridging/time sensitive networking), PCI 익스프레스(PCIe), Gen4(fourth generation), PLL(Phase-Lock Loop), UART(Universal Asynchronous Receiver-Transmitter), GPIO(General Purpose Input Output), I2C 버스(Inter-integrated bus) 및 CAN-FD(controlled area network with flexible data rate) 등을 포함할 수 있다.
5. 하드웨어 보안 모듈(505).
6. FCMU(506).
7. MJPEG(Motion Joint Photographic Experts Group) 유닛(507).
8. ISRAM(508).
9. 부트 롬(Boot ROM:509).
10. 센서 직렬 인터페이스(CSI2)와 같은 센서 인터페이스(511).
IP 및 상호 접속부는 FCUM(20(1))에 연결되고 FCUM(20(1))에 결함 신호를 송신할 수 있다.
이들 IP로부터 FCMU로 송신될 수 있는 결함 신호(도 8에서 608로 표시됨)의 비 한정의 예는 다음을 포함할 수 있다(이하 제공되는 결함 타입은 예시로, 다른 타입이 정의될 수도 있다).
1. 무결성 체크 결함. 무결성 오류가 IP에 의해 검출되었다는 것을 나타낸다.
2. SRAM 수정 가능한 데이터 결함. IP의 SRAM 중 하나가 수정 가능한 데이터 오류(즉, IP에 의해 수정된 ECC 단일 비트 오류)를 검출했음을 나타낸다. 이것은 비치명 결함으로 간주될 수 있다.
3. SRAM 수정 불가능한 데이터 결함. IP의 SRAM 중 하나가 수정 불가능한 데이터 결함을 검출했음(즉 ECC가 IP에 의해 수정될 수 있는 더 많은 오류를 감지했음)을 나타낸다. 이것은 치명 결함이라고 간주될 수 있다.
4. SRAM 수정 불가능한 어드레스 결함. IP의 SRAM 중 하나가 수정 불가능한 어드레스 결함을 검출했음을 나타낸다(즉 ECC가 IP에 의해 수정될 수 있는 더 많은 오류를 감지했음)을 나타낸다. 이것은 치명 결함이라고 간주될 수 있다.
5. 데이터 경로 결함. 데이터 경로에서 IP에 의해 패리티 오류가 검출되었음을 나타낸다.
6. 어드레스 경로 결함. 데이터 경로에서 IP에 의해 패리티 오류가 검출되었음을 나타낸다.
7. 구성 레지스터 결함. 구성 레지스터에서 IP에 의해 패리티 오류가 검출되었음을 나타낸다.
8. 상태 레지스터 결함. 상태 레지스터에서 IP에 의해 패리티 오류가 검출되었음을 나타낸다.
9. 트랜잭션 타임 아웃(내부 인터페이스, 예를 들어, OCP/AXI/AHB 등). IP에 의해 트랜잭션 타임 아웃 오류가 검출되었음을 나타낸다.
10. 프로토콜 결함(외부 인터페이스, 예를 들어, PCIe, 이더넷, SPI 등). IP에 의해 프로토콜 오류가 검출되었음을 나타낸다.
11. 어드레스 위반 결함. IP에 의해 어드레스 액세스 위반이 검출되었음을 나타낸다.
12. LBIST(Logic Built In Self-Test) 결함. LBIST는 가속기 또는 코어 중 하나에서 실행되었으며, FAIL을 CPU에 반환했는데, 소프트웨어에 의해 LBIST 결함이 발생된다.
13. MBIST(Memory Built In Self-Test) 결함. MBIST 결함 - MBIST가 내장 메모리 중 하나에서 실행되었으며, FAIL을 CPU에 반환했는데, 소프트웨어에 의해 MBIST 결함이 발생된다.
전술한 결함 신호는 정의될 수 있다(치명 결함 또는 비치명 결함으로 변경되기 어려운 안전한 방식으로).
FCMU는 다음의 보조 신호를 수신할 수 있다.
1. 워치독 타이머로부터의 인터럽트/리셋. 워치독 타이머에 의해 송신된 인터럽트/요청 - 사전 정의된 동작이 발생되지 않고도 사전 정의된 기간이 만료되었음을 나타낸다.
2. 보안 위반 이벤트 - 하드웨어 보안 모듈이 CPU에 잠재적인 보안 위협(예를 들어, 인증 실패)을 경고하는 이벤트.
결함 신호는 반-고정적(semi-static)일 수 있다. 결함 신호는, 결함의 검출 이후에 특정 레벨로 설정될 수 있지만, FCMU 자체와 같은 승인된 객체에 의해서만 다른 레벨로(결함이 존재하지 않음을 나타냄) 리셋될 수 있다는 견지에서, 반-고정적(semi-static)일 수 있다.
도 9는 본 발명의 실시예에 따른 제 1 내지 제 6 주행 관련 모듈 중 임의의 것일 수 있는 시스템 온 칩을 도시한다.
도 10은 방법(600)을 도시한다.
방법(600)은 시스템을 보안하기 위한 것이다.
방법(600)은 다음 단계를 포함한다.
복수의 주행 관련 시스템에 의해 주행 관련 동작을 수행하는 단계(610).
복수의 결함 수집 및 관리 유닛에 의해 복수의 주행 관련 시스템의 상태를 모니터하는 단계(620).
(a) 적어도 하나의 치명 결함의 발생, (b) 적어도 하나의 치명 결함의 부재, (c) 적어도 하나의 비치명 결함의 발생 및 (d) 적어도 하나의 비치명 결함의 부재 중 하나를 선택 모듈에 보고하는 단계(630).
선택 모듈에 의해, (i) 복수의 결함 수집 및 관리 유닛과 복수의 주행 관련 시스템 중 적어도 하나의 개체를 리셋하는 것과, (ⅱ) 주행 관련 시스템으로부터 출력되는 데이터를 선택하는 것 중 적어도 하나를 수행함으로써 보고에 응답하는 단계(640).
리셋을 통해 오류로부터 복구될 수 있으며, 더 신뢰할 수 있는 주행 관련 시스템으로부터 보다 신뢰성이 있다고 보여지는 데이터를 제공하기 위해서 데이터의 선택이 수행된다.
단계(640)는 다음 중 적어도 하나를 포함할 수 있다.
1. 선택 모듈에 의해, 특정 주행 관련 시스템과 관련된 치명 결함이 발생한 후, 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하지 않고 특정 주행 관련 시스템을 리셋하는 단계. 이는 예를 들어, 특정 결함 수집 및 관리 유닛이 정상적으로 기능하는 것으로 보이는(예를 들어, 결함이 없음) 경우에 발생할 수 있다.
2. 선택 모듈에 의해, 특정 주행 관련 시스템과 관련된 치명 결함이 발생한 후, 특정 주행 관련 시스템 및 이 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하는 단계. 이는 예를 들어, 특정 결함 수집 및 관리 유닛이 고장인 것으로 보이는(예를 들어, 결함이 있음) 경우에 발생할 수 있다.
3. 선택 모듈에 의해, 결함이 있는 결함 수집 및 관리 유닛을 리셋하는 단계.
4. 선택 모듈에 의해, 결함이 있는 결함 수집 및 관리 유닛과 결함이 있는 결함 수집 및 관리 유닛과 관련된 주행 관련 시스템을 리셋하는 단계.
5. 선택 모듈에 의해, 특정 주행 관련 시스템과 관련된 적어도 사전 결정된 수의 비치명 결함의 재발생 이후에, 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하지 않고, 특정 주행 관련 시스템을 리셋하는 단계.
6. 선택 모듈에 의해, 특정 주행 관련 시스템과 관련된 적어도 사전 결정된 수의 비치명 결함의 재발생 이후에 특정 주행 관련 시스템을 리셋하고, 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하는 단계.
단계(640)는 결함 수집 및 관리 유닛이 결함이 있는지 여부를 결정하는 단계를 포함할 수 있다. 각 결함 수집 및 관리 유닛은 서로 동일한 복수의 파트를 포함할 수 있다.
단계(640)는, 전용 클록 신호에 의해 각각의 파트를 공급하는 단계, 및 각각의 파트에 의해, 결함 수집 및 관리 유닛과 관련된 주행 관련 시스템의 상태를 결정하는 단계를 포함할 수 있다. 이 결정은, 결함 수집 및 관리 유닛에 의한, 복수의 파트에 의해 결정되는 상태들 사이의 비교를 통해서, 결함이 있는 결함 수집 및 관리 유닛을 나타내는 불일치를 검출하는 단계를 포함할 수 있다.
방법(600)은 복수의 주행 관련 시스템을 공급하는 센서와는 다른 센서에 의해, 추가의 주행 관련 시스템을 공급하는 단계를 포함할 수 있다.
복수의 주행 관련 시스템 각각은 단일 시스템 온 칩을 포함한다.
복수의 주행 관련 시스템 각각은 복수의 주행 관련 모듈을 포함한다. 방법(600)은 상이한 주행 관련 모듈을 상이한 센서에 의해 공급하는 단계를 포함할 수 있다.
시스템에 대한 모든 언급은, 이 시스템에 의해 실행될 수 있는 방법 및/또는 시스템에 의해 실행될 때 시스템으로 하여금 방법을 실행하게 하는 명령어가 저장된 컴퓨터 프로그램 제품에도 준용하는 것으로 한다. 컴퓨터 프로그램 제품은 비일시적인 것으로, 예를 들어, 집적 회로, 자기 메모리, 광 메모리, 디스크 등일 수 있다.
방법에 대한 모든 언급은, 이 방법을 실행하도록 구성된 시스템 및/또는 시스템에 의해 실행될 때 시스템으로 하여금 방법을 실행하게 하는 명령어가 저장된 컴퓨터 프로그램 제품에도 준용하는 것으로 한다.
컴퓨터 프로그램 제품에 대한 모든 언급은, 시스템에 의해 실행되는 방법 및/또는 컴퓨터 프로그램 제품에 저장된 명령어를 실행하도록 구성된 시스템에도 준용하는 것으로 한다.
용어 '및/또는'은 추가 또는 대체를 의미한다.
상기 상세한 설명에서, 본 발명의 실시예의 특정한 예시를 참조하면서 본 발명을 설명했다. 그러나, 첨부된 청구항에 개시되는 본 발명의 더 넓은 사상 및 범주로부터 벗어남없이 다양한 수정 및 변경이 이루어질 수 있다는 것이 명백할 것이다.
상세한 설명 및 청구범위에서의 "전방", "후방", "상단", "바닥", "위에", "아래에" 등의 용어가 있다면 이는 설명의 목적으로 사용되는 것이며, 영구적인 상대 위치를 설명하는데 사용되는 것은 아니다. 이렇게 사용되는 용어는 본 명세서에 기재된 본 발명의 실시예가 예를 들어 본 명세서에서 예시되거나 또는 달리 설명된 것들 이외의 다른 방향으로 작동할 수 있도록, 적절한 상황 하에서 교환 가능하다는 것을 이해해야 한다.
동일한 기능성을 달성하는 모든 구성 요소의 배열은, 소망 기능성이 달성되도록 효과적으로 "연관된다". 따라서, 특정 기능성을 달성하도록 조합된 본 명세서의 임의의 2개의 구성 요소는, 아키텍처나 중간 구성 요소와 무관하게, 소망 기능성이 달성되도록 서로 "연관된" 것으로 보일 수 있다. 마찬가지로, 이와 같이 연관된 임의의 2개의 구성 요소는, 또한 소망 기능성을 달성하도록 서로 "동작 가능하게 접속된" 또는 "동작 가능하게 연결된" 것으로 보일 수 있다.
더욱이, 당업자는 상기 설명한 동작들 사이의 경계는 단지 예시적인 것이라는 것을 인식할 것이다. 복수의 동작들은 단일 동작으로 결합될 수 있고, 단일 동작은 추가 동작으로 분산될 수 있으며, 동작들은 적어도 부분적으로 시간적으로 중첩해서 실행될 수도 있다. 나아가, 대안의 실시예는 특정 동작의 다중 인스턴스를 포함할 수 있고, 동작의 순서는 다양한 다른 실시예에서는 변경될 수 있다.
그러나, 다른 수정, 변형 및 대안도 가능하다. 따라서, 명세서 및 도면은 한정의 의미라기보다는 예시적인 견지로 간주되는 것이다.
"X일 수 있다"는 문구는 조건 X가 충족될 수 있음을 나타낸다. 이 문구는 또한 조건 X가 충족되지 않을 수도 있음을 나타낸다. 예를 들어, 특정 구성 요소를 포함하는 시스템에 대한 모든 언급은 이 시스템이 이 특정 구성 요소를 포함하지 않는 시나리오도 커버해야 한다.
"포함한다(including)", "포함한다(comprising)", "갖는다(having)", "... 로 구성된다(consisiting)" 및 "주로 ... 로 구성된다(consisting essentially of)"라는 용어는 교환해서 사용될 수 있다. 예를 들어, 모든 방법은 적어도 도면 및/또는 상세한 설명에 포함되는 단계를 포함할 수도 있고, 도면 및/또는 상세한 설명에 포함된 단계만을 포함하는 것일 수도 있다. 이는 시스템 및 모바일 컴퓨터에도 적용된다.
도식의 단순함과 명료함을 위해서, 도면에 도시된 요소는 실제 축척대로 도시되지 않을 수도 있다는 것을 이해할 것이다. 예를 들어, 명료하게 하기 위해서 일부 요소의 크기가 다른 요소에 대해 크게 보여질 수도 있다. 또한, 적절하다고 간주되는 경우에, 여러 도면에서 대응하는 또는 유사한 요소를 가리키는데 참조 번호가 반복될 수 있다.
또한, 예를 들어, 일 실시예에서, 예시된 예시는 단일 집적 회로 상에 또는 동일한 장치 내에 위치된 회로로서 구현될 수 있다. 다른 방안으로, 예시는 임의의 수의 개별 집적 회로 또는 적절한 방식으로 서로 상호 접속된 개별 장치로서 구현될 수도 있다.
또한, 예를 들어, 예시나 혹은 그 일부는 임의의 적절한 타입의 하드웨어 기술 언어에서와 같이, 물리적 회로 또는 물리적 회로로 변환 가능한 논리적 표현의 소프트 또는 코드 표현으로 구현될 수 있다.
또한, 본 발명은 프로그래밍이 불가능한 하드웨어로 구현되는 물리적 장치 또는 유닛으로 한정되는 것이 아니며, 메인 프레임, 미니 컴퓨터, 서버, 워크 스테이션, 개인용 컴퓨터, 노트패드, 개인용 디지털 어시스턴트, 전자 게임, 자동차 및 기타 내장형 시스템, 휴대폰 및 기타 다양한 무선 장치(이들은 전체적으로 본 출원에서 일반적으로 '컴퓨터 시스템'으로 표시됨)와 같은 적절한 프로그램 코드에 따라 동작함으로써, 원하는 장치 기능을 수행할 수 있는 프로그램 가능한 장치 또는 장치에 적용될 수 있다.
그러나, 다른 수정, 변형 및 대체도 가능할 수 있다. 따라서, 명세서 및 도면은 한정의 의미가 아니며, 예시인 것으로 간주되어야 한다.
청구항에서 괄호 사이에 배치된 모든 참조 번호는 청구항을 한정하는 것으로 해석되지 아는다. "포함한다(comprising)"라는 단어는 청구항에 열거된 것 이외의 요소 또는 단계의 존재를 배제하는 것은 아니다. 또한, 본 명세서에서 사용되는 용어 "a" 또는 "an"는 1 또는 1 이상으로 정의된다. 또한 "하나" 및 "하나 이상의" 등의 도입 표현을 청구항에서 사용하는 것은, 동일한 청구항이 전제 표현 "하나 이상" 또는 "적어도 하나" 및 "a" 또는 "an" 등의 부정 관사를 포함하는 경우에도, 부정 관사 "a" 또는 "an"이 있는 다른 청구항 구성 요소의 도입이, 이러한 구성 요소를 하나만 포한하는 청구항으로 한정하는 것으로 해석되어서는 안된다. 이는 정관사를 사용하는 경우에도 마찬가지이다. 별도로 언급되지 않았다면, "제 1(first)" 및 "제 2 (second)" 등의 용어는 해당 용어가 구성 요소를 임의로 구별하기 위해 사용되는 것이다. 따라서, 이들 용어가 반드시 그 구성 요소의 시간적 우선 순위 또는 다른 우선 순위를 나타낼 것을 의도한 것이 아니며, 단순히 어떤 수단이 서로 다른 청구항에 개시되어 있다고 해서, 이러한 수단의 조합이 유익하게 사용될 수 없다는 것을 나타내는 것은 아니다.
본 명세서에서 본 발명의 특정한 특징을 예시하고 설명했지만, 많은 수정, 대체, 변경 및 등가물이 이제 당업자에게 일어날 것이다. 따라서, 첨부된 청구 범위는 본 발명의 진정한 사상에 속하는 이러한 모든 수정 및 변경을 포함하도록 의도된 것으로 이해되어야 한다.
도면 및/또는 명세서 및/또는 청구항 중 어느 하나에 설명된 시스템의 모든 구성 요소 및/또는 유닛의 조합이 제공될 수 있다.
도면 및/또는 명세서 및/또는 청구항 중 어느 하나에 설명된 모든 시스템의 임의의 조합이 제공될 수 있다.
도면 및/또는 명세서 및/또는 청구항 중 어느 하나에 설명된 단계, 동작 및/또는 방법의 조합이 제공될 수 있다.
도면 및/또는 명세서 및/또는 청구항 중 어느 하나에 설명된 동작의 조합이 제공될 수 있다.
도면 및/또는 명세서 및/또는 청구항 중 어느 하나에 설명된 방법의 조합이 제공될 수 있다.
또한, 본 명세서에서 예시적인 실시예를 설명했지만, 본 개시에 기초해서 당업자에게는 동등한 요소, 수정, 생략, 결합(예를 들어, 다양한 실시예의 측면들의), 적용 및/또는 변경을 가진 실시예 중 일부 및 모두의 범주가 가능할 것이다. 청구 범위에서의 한정 사항은 청구 범위에서 사용되는 언어에 기초해서 광범위하게 해석되어야 하며, 본 명세서에 기재된 또는 본 출원의 심사 동안의 예시로 한정되지 않는다. 실시예는 배타적인 것으로 해석되어서는 안 된다. 또한, 개시된 방법의 단계는, 단계의 순서를 변경하고 및/또는 단계를 삽입 또는 삭제하는 것을 포함한, 임의의 방식으로 수정될 수 있다. 따라서, 본 명세서 및 예시는 단지 예시적인 것으로 간주되며, 진정한 범위 및 사상은 이하 청구 범위 및 그 등가물의 전체 범위에 의해 명시된다.

Claims (25)

  1. 시스템으로서,
    주행 관련 동작을 수행하도록 구성된 복수의 주행 관련 시스템과,
    선택 모듈과,
    상기 복수의 주행 관련 시스템의 상태를 모니터해서, (a) 적어도 하나의 치명 결함(critical fault)의 발생, (b) 적어도 하나의 치명 결함의 부재, (c) 적어도 하나의 비치명 결함(non-critical fault)의 발생 및 (d) 적어도 하나의 비치명 결함의 부재 중 적어도 하나를 상기 선택 모듈에 보고하도록 구성된, 복수의 결함 수집 및 관리 유닛
    을 포함하고,
    상기 선택 모듈은,
    (i) 상기 복수의 결함 수집 및 관리 유닛과 상기 복수의 주행 관련 시스템 중 적어도 하나의 개체를 리셋하는 것과,
    (ⅱ) 상기 주행 관련 시스템으로부터 출력되는 데이터를 선택하는 것
    중 적어도 하나를 수행함으로써 상기 보고에 응답하도록 구성되는,
    시스템.
  2. 제 1 항에 있어서,
    상기 선택 모듈은, 특정 주행 관련 시스템과 관련된 치명 결함이 발생한 후, 상기 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하지 않고 상기 특정 주행 관련 시스템을 리셋하도록 구성되는
    시스템.
  3. 제 1 항에 있어서,
    상기 선택 모듈은, 특정 주행 관련 시스템과 관련된 치명 결함이 발생한 후, 상기 특정 주행 관련 시스템 및 상기 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하도록 구성되는
    시스템.
  4. 제 1 항에 있어서,
    상기 선택 모듈은, 결함이 있는 결함 수집 및 관리 유닛을 리셋하도록 구성되는
    시스템.
  5. 제 1 항에 있어서,
    상기 선택 모듈은, 결함이 있는 결함 수집 및 관리 유닛과 상기 결함이 있는 결함 수집 및 관리 유닛과 관련된 주행 관련 시스템을 리셋하도록 구성되는
    시스템.
  6. 제 1 항에 있어서,
    상기 선택 모듈은, 특정 주행 관련 시스템을, 상기 특정 주행 관련 시스템과 관련된 적어도 사전 결정된 수의 비치명 결함의 재발생 이후에 상기 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하지 않고, 리셋하도록 구성되는
    시스템.
  7. 제 1 항에 있어서,
    상기 선택 모듈은, 특정 주행 관련 시스템을 상기 특정 주행 관련 시스템과 관련된 적어도 사전 결정된 수의 비치명 결함의 재발생 이후에 리셋하고, 상기 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하도록 구성되는
    시스템.
  8. 제 1 항에 있어서,
    각각의 결함 수집 및 관리 유닛은 서로 동일한 복수의 파트를 포함하고,
    각각의 파트는 전용 클록 신호에 의해 공급되며, 상기 결함 수집 및 관리 유닛과 관련된 주행 관련 시스템의 상태를 결정하도록 구성되는
    시스템.
  9. 제 8 항에 있어서,
    상기 결함 수집 및 관리 유닛은, 상기 복수의 파트에 의해 결정되는 상태들을 비교해서, 결함이 있는 결함 수집 및 관리 유닛을 나타내는 불일치를 검출하도록 구성되는
    시스템.
  10. 제 1 항에 있어서,
    추가 주행 관련 시스템 및 백업 모듈을 더 포함하고,
    상기 추가 주행 관련 시스템은 상기 복수의 주행 관련 시스템을 공급하는 센서와는 다른 센서에 의해 공급되는
    시스템.
  11. 제 1 항에 있어서,
    상기 복수의 주행 관련 시스템은 각각 단일 시스템 온 칩을 포함하는
    시스템.
  12. 제 1 항에 있어서,
    상기 복수의 주행 관련 시스템은 각각 복수의 주행 관련 모듈을 포함하고,
    상이한 주행 관련 모듈은 상이한 센서에 의해 공급되는
    시스템.
  13. 시스템을 보안하는 방법으로서,
    복수의 주행 관련 시스템에 의해, 주행 관련 동작을 수행하는 단계와,
    상기 복수의 결함 수집 및 관리 유닛에 의해, 상기 복수의 주행 관련 시스템의 상태를 모니터하는 단계와,
    (a) 적어도 하나의 치명 결함의 발생, (b) 적어도 하나의 치명 결함의 부재, (c) 적어도 하나의 비치명 결함의 발생 및 (d) 적어도 하나의 비치명 결함의 부재 중 하나를 선택 모듈에 보고하는 단계와,
    상기 선택 모듈에 의해,
    (i) 상기 복수의 결함 수집 및 관리 유닛과 상기 복수의 주행 관련 시스템 중 적어도 하나의 개체를 리셋하는 것과,
    (ⅱ) 주행 관련 시스템으로부터 출력되는 데이터를 선택하는 것
    중 적어도 하나를 수행함으로써 상기 보고에 응답하는 단계
    를 포함하는 방법.
  14. 제 13 항에 있어서,
    상기 선택 모듈에 의해, 특정 주행 관련 시스템을, 상기 특정 주행 관련 시스템과 관련된 치명 결함이 발생한 후, 상기 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하지 않고, 리셋하는 단계
    를 포함하는 방법.
  15. 제 13 항에 있어서,
    상기 선택 모듈에 의해, 특정 주행 관련 시스템과 관련된 치명 결함이 발생한 후, 상기 특정 주행 관련 시스템 및 상기 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하는 단계
    를 포함하는 방법.
  16. 제 13 항에 있어서,
    상기 선택 모듈에 의해, 결함이 있는 결함 수집 및 관리 유닛을 리셋하는 단계
    를 포함하는 방법.
  17. 제 13 항에 있어서,
    상기 선택 모듈에 의해, 결함이 있는 결함 수집 및 관리 유닛과 상기 결함이 있는 결함 수집 및 관리 유닛과 관련된 주행 관련 시스템을 리셋하는 단계
    를 포함하는 방법.
  18. 제 13 항에 있어서,
    상기 선택 모듈에 의해, 특정 주행 관련 시스템을, 상기 특정 주행 관련 시스템과 관련된 적어도 사전 결정된 수의 비치명 결함의 재발생 이후에 상기 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하지 않고, 리셋하는 단계
    를 포함하는 방법.
  19. 제 13 항에 있어서,
    상기 선택 모듈에 의해, 특정 주행 관련 시스템을 상기 특정 주행 관련 시스템과 관련된 적어도 사전 결정된 수의 비치명 결함의 재발생 이후에 리셋하고, 상기 특정 주행 관련 시스템과 관련된 특정 결함 수집 및 관리 유닛을 리셋하는 단계
    를 포함하는 방법.
  20. 제 13 항에 있어서,
    각각의 결함 수집 및 관리 유닛은 서로 동일한 복수의 파트를 포함하고,
    상기 방법은,
    각각의 파트를 전용 클록 신호에 의해 공급하는 단계와,
    각각의 파트에 의해, 상기 결함 수집 및 관리 유닛과 관련된 주행 관련 시스템의 상태를 결정하는 단계
    를 포함하는 방법.
  21. 제 20 항에 있어서,
    상기 결함 수집 및 관리 유닛에 의해, 상기 복수의 파트에 의해 결정되는 상태들을 비교해서, 결함이 있는 결함 수집 및 관리 유닛을 나타내는 불일치를 검출하는 단계
    를 포함하는 방법.
  22. 제 13 항에 있어서,
    상기 복수의 주행 관련 시스템을 공급하는 센서와는 다른 센서에 의해 추가 주행 관련 시스템을 공급하는 단계
    를 포함하는 방법.
  23. 제 13 항에 있어서,
    상기 복수의 주행 관련 시스템은 각각 단일 시스템 온 칩을 포함하는
    방법.
  24. 제 13 항에 있어서,
    상기 복수의 주행 관련 시스템은 각각 복수의 주행 관련 모듈을 포함하고,
    상기 방법은 상이한 상기 주행 관련 모듈을 상이한 센서에 의해 공급하는 단계를 포함하는
    방법.
  25. 명령어가 저장된 컴퓨터 프로그램 제품으로서,
    상기 명령어는,
    복수의 주행 관련 시스템에 의해, 주행 관련 동작을 수행하는 것과,
    상기 복수의 결함 수집 및 관리 유닛에 의해, 상기 복수의 주행 관련 시스템의 상태를 모니터하는 것과,
    (a) 적어도 하나의 치명 결함의 발생, (b) 적어도 하나의 치명 결함의 부재, (c) 적어도 하나의 비치명 결함의 발생 및 (d) 적어도 하나의 비치명 결함의 부재 중 하나를 선택 모듈에 보고하는 것과,
    상기 선택 모듈에 의해,
    (i) 상기 복수의 결함 수집 및 관리 유닛과 상기 복수의 주행 관련 시스템 중 적어도 하나의 개체를 리셋하는 것과,
    (ⅱ) 주행 관련 시스템으로부터 출력되는 데이터를 선택하는 것
    중 적어도 하나를 수행함으로써 상기 보고에 응답하는 것
    을 포함하는,
    컴퓨터 프로그램 제품.
KR1020197033849A 2017-04-17 2018-04-17 주행 관련 시스템을 포함하는 보안 시스템 KR102263828B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762486008P 2017-04-17 2017-04-17
US62/486,008 2017-04-17
PCT/IL2018/050432 WO2018193449A1 (en) 2017-04-17 2018-04-17 Secure system that includes driving related systems

Publications (2)

Publication Number Publication Date
KR20200002925A true KR20200002925A (ko) 2020-01-08
KR102263828B1 KR102263828B1 (ko) 2021-06-15

Family

ID=62200493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197033849A KR102263828B1 (ko) 2017-04-17 2018-04-17 주행 관련 시스템을 포함하는 보안 시스템

Country Status (6)

Country Link
US (2) US11608073B2 (ko)
EP (2) EP3612425B1 (ko)
JP (1) JP2020517028A (ko)
KR (1) KR102263828B1 (ko)
CN (1) CN110799404A (ko)
WO (1) WO2018193449A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110799404A (zh) 2017-04-17 2020-02-14 移动眼视力科技有限公司 包括驾驶相关系统的安全系统
WO2019229534A2 (en) * 2018-05-28 2019-12-05 Mobileye Vision Technologies Ltd. Secure system that includes driving related systems
EP3830696A2 (en) 2018-08-03 2021-06-09 Mobileye Vision Technologies Ltd. Error correction coding in a dynamic memory module
US11208111B2 (en) * 2018-12-11 2021-12-28 Waymo Llc Redundant hardware system for autonomous vehicles
DE102018222720B4 (de) * 2018-12-21 2022-01-05 Continental Teves Ag & Co. Ohg Überwachung von auf neuronalen Netzwerken basierten Fahrfunktionen
WO2020133005A1 (zh) * 2018-12-26 2020-07-02 华为技术有限公司 车辆控制方法、相关设备及计算机存储介质
CN109874007A (zh) * 2019-02-21 2019-06-11 北京经纬恒润科技有限公司 一种摄像头故障注入方法及装置
JP6658943B1 (ja) * 2019-04-10 2020-03-04 トヨタ自動車株式会社 車両の制御装置
JP7372784B2 (ja) * 2019-08-30 2023-11-01 マツダ株式会社 中央演算装置
JP6806228B1 (ja) * 2019-12-25 2021-01-06 トヨタ自動車株式会社 車両制御装置
CN112109727B (zh) * 2020-09-08 2021-09-03 北京踏歌智行科技有限公司 一种面向露天矿区无人驾驶车辆的制动力标定方法
CN112977467B (zh) * 2021-02-25 2022-09-23 沃行科技(南京)有限公司 一种车端无人化的远程故障复位方法
CN113044063B (zh) * 2021-03-31 2022-09-06 重庆长安汽车股份有限公司 用于高级自动驾驶的功能冗余控制系统
US20220371622A1 (en) * 2021-05-21 2022-11-24 Honda Motor Co., Ltd. System and method for completing joint risk localization and reasoning in driving scenarios
EP4368457A1 (en) * 2021-07-23 2024-05-15 Huawei Technologies Co., Ltd. Fault information transmission method and apparatus, and storage medium
WO2023009559A1 (en) * 2021-07-30 2023-02-02 Nvidia Corporation Isolating a region of a system on a chip for safety critical operations
US11803668B2 (en) 2021-07-30 2023-10-31 Nvidia Corporation Isolating a region of a system on a chip for safety critical operations
US11698833B1 (en) * 2022-01-03 2023-07-11 Stmicroelectronics International N.V. Programmable signal aggregator

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130119452A (ko) * 2010-11-19 2013-10-31 콘티넨탈 테베스 아게 운트 코. 오하게 오류 허용 아키텍쳐를 갖는 마이크로프로세서 시스템
JP2016031659A (ja) * 2014-07-29 2016-03-07 株式会社デンソー 電子制御装置
WO2016169856A1 (en) * 2015-04-20 2016-10-27 Autoliv Development Ab A vehicle safety electronic control system
JP2016189118A (ja) * 2015-03-30 2016-11-04 日立オートモティブシステムズ株式会社 電子制御装置
JP2016540668A (ja) * 2013-10-17 2016-12-28 ルノー エス．ア．エス． 欠陥管理を伴う車両を制御するためのシステムおよび方法
KR20170009116A (ko) * 2015-07-15 2017-01-25 엘지전자 주식회사 차량 제어 장치 및 그 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3343143B2 (ja) * 1992-12-02 2002-11-11 日本電気株式会社 故障診断方法
JP3788168B2 (ja) * 2000-02-29 2006-06-21 トヨタ自動車株式会社 車両の走行支援装置
JP3770053B2 (ja) 2000-05-26 2006-04-26 三菱ふそうトラック・バス株式会社 車両用ネットワークの通信復帰判定方法
US6573675B2 (en) * 2000-12-27 2003-06-03 Transportation Techniques Llc Method and apparatus for adaptive energy control of hybrid electric vehicle propulsion
US7245995B2 (en) * 2003-02-19 2007-07-17 Robert Bosch Gmbh Fault-tolerant vehicle stability control
EP2177413B1 (en) * 2004-07-15 2015-02-25 Hitachi, Ltd. Vehicle control system
US9104650B2 (en) * 2005-07-11 2015-08-11 Brooks Automation, Inc. Intelligent condition monitoring and fault diagnostic system for preventative maintenance
JP4321520B2 (ja) * 2005-12-28 2009-08-26 トヨタ自動車株式会社 動力出力装置およびこれを搭載する車両並びに動力出力装置の制御方法
JP2007253704A (ja) * 2006-03-22 2007-10-04 Denso Corp 異常検出装置
JP2012128697A (ja) * 2010-12-16 2012-07-05 Hitachi Ltd 情報処理装置
US8878542B2 (en) * 2011-04-01 2014-11-04 Robert Bosch Gmbh Method and apparatus for dealing with faults in an electrical drive system
US8725395B2 (en) * 2012-01-10 2014-05-13 Toyota Jidosha Kabushiki Kaisha System for constructing a spanning forest in a vehicular network
DE102012003328A1 (de) * 2012-02-15 2013-08-22 Getrag Getriebe- Und Zahnradfabrik Hermann Hagenmeyer Gmbh & Cie Kg Verfahren und Steuergerät für eine Antriebsstrang-Komponente
US9058419B2 (en) 2012-03-14 2015-06-16 GM Global Technology Operations LLC System and method for verifying the integrity of a safety-critical vehicle control system
JP5743932B2 (ja) * 2012-03-16 2015-07-01 株式会社デンソー Ｅｃｕの異常監視回路
US9489340B2 (en) * 2013-03-08 2016-11-08 The Boeing Company Electrical power health monitoring system
US9764822B2 (en) * 2014-05-01 2017-09-19 Alakai Technologies Corporation Clean fuel electric multirotor aircraft for personal air transportation and manned or unmanned operation
CN110799404A (zh) 2017-04-17 2020-02-14 移动眼视力科技有限公司 包括驾驶相关系统的安全系统
US20220334865A1 (en) * 2021-04-16 2022-10-20 Stmicroelectronics Application Gmbh Processing system, related integrated circuit, device and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130119452A (ko) * 2010-11-19 2013-10-31 콘티넨탈 테베스 아게 운트 코. 오하게 오류 허용 아키텍쳐를 갖는 마이크로프로세서 시스템
JP2016540668A (ja) * 2013-10-17 2016-12-28 ルノー エス．ア．エス． 欠陥管理を伴う車両を制御するためのシステムおよび方法
JP2016031659A (ja) * 2014-07-29 2016-03-07 株式会社デンソー 電子制御装置
JP2016189118A (ja) * 2015-03-30 2016-11-04 日立オートモティブシステムズ株式会社 電子制御装置
WO2016169856A1 (en) * 2015-04-20 2016-10-27 Autoliv Development Ab A vehicle safety electronic control system
KR20170009116A (ko) * 2015-07-15 2017-01-25 엘지전자 주식회사 차량 제어 장치 및 그 방법

Also Published As

Publication number Publication date
JP2020517028A (ja) 2020-06-11
KR102263828B1 (ko) 2021-06-15
US20200039530A1 (en) 2020-02-06
US11608073B2 (en) 2023-03-21
EP3612425B1 (en) 2023-01-04
WO2018193449A1 (en) 2018-10-25
US20230202493A1 (en) 2023-06-29
EP4186769A1 (en) 2023-05-31
CN110799404A (zh) 2020-02-14
US11951998B2 (en) 2024-04-09
EP3612425A1 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
KR102263828B1 (ko) 주행 관련 시스템을 포함하는 보안 시스템
US11657604B2 (en) Systems and methods for estimating future paths
CN111587407B (zh) 用于安全且可靠的自主车辆的系统和方法
US20220083412A1 (en) System and method for handling errors in a vehicle neural network processor
US20210073557A1 (en) Systems and methods for augmenting upright object detection
US11366717B2 (en) Systems and methods for error correction
Chitnis et al. Enabling functional safety ASIL compliance for autonomous driving software systems
US11953559B2 (en) Secure system that includes driving related systems
JP2023024931A (ja) システム・オン・チップの分離された安全領域への障害の伝達
JP2022190646A (ja) 自律マシン・アプリケーションのための複数の周波数範囲にわたる電圧監視
US11654926B2 (en) Secure system that includes an open source operating system
US20230259355A1 (en) Updating software elements with different trust levels
CN112997157A (zh) 动态存储器模块中的错误校正编码
US20200353884A1 (en) System on chip
US20220194366A1 (en) Access control mechanism in cache coherent integrated circuit
US20220114261A1 (en) Secure debugging
US20220374246A1 (en) On the fly configuration of a processing circuit
US20230116945A1 (en) A multi-part compare and exchange operation
JP2023126074A (ja) 対象システムに対する診断動作の実行

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2020101003046; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20201216

Effective date: 20210323

GRNO Decision to grant (after opposition)
GRNT Written decision to grant