KR102355815B1 - 테스트 데이터 세트 생성 방법, 테스트 방법, 시스템 동작 방법, 장치, 제어 시스템, 컴퓨터 프로그램 제품, 컴퓨터-판독 가능 매체, 생산 및 사용 - Google Patents
테스트 데이터 세트 생성 방법, 테스트 방법, 시스템 동작 방법, 장치, 제어 시스템, 컴퓨터 프로그램 제품, 컴퓨터-판독 가능 매체, 생산 및 사용 Download PDFInfo
- Publication number
- KR102355815B1 KR102355815B1 KR1020217001806A KR20217001806A KR102355815B1 KR 102355815 B1 KR102355815 B1 KR 102355815B1 KR 1020217001806 A KR1020217001806 A KR 1020217001806A KR 20217001806 A KR20217001806 A KR 20217001806A KR 102355815 B1 KR102355815 B1 KR 102355815B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- data set
- algorithm
- test data
- data
- Prior art date
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000004590 computer program Methods 0.000 title abstract description 4
- 238000010998 test method Methods 0.000 title description 3
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 62
- 230000001419 dependent effect Effects 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims description 33
- 230000009471 action Effects 0.000 claims description 10
- 230000001143 conditioned effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000006403 short-term memory Effects 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 6
- 230000007787 long-term memory Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000000638 stimulation Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 230000003750 conditioning effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229940119265 sepp Drugs 0.000 description 1
- 238000013522 software testing Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G06N3/0445—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
본 발명은 알고리즘(1)에 대한 테스트 데이터 세트(12)를 생성하는 방법에 관한 것이고, 상기 방법은: 1.1 훈련된 인공 지능(8)이 제공되는 단계, 1.2 인공 지능(8)이 특히 랜덤 신호(11)의 사용 하에 그리고/또는 시각적 개념들에 대한 준 선형성 속성의 사용 하에 자극되는 단계, 및 1.3 인공 지능(8)이, 이미지 데이터(15) 및 이미지 데이터(1g)와 연관된 동작 영역들(16) 및/또는 센서 데이터 및 센서 데이터와 연관된 동작 영역들을 포함하는 적어도 하나의 테스트 데이터 세트(14)를 생성하는 단계를 포함한다. 본 발명은 추가로 전술된 방법을 수행하기 위한 설비 및 장치의 자동화된, 이미지-종속 제어를 위한 시스템을 동작시키는 방법에 관한 것이다. 마지막으로, 본 발명은 그러한 장치를 포함하는 설비를 위한 제어 시스템, 컴퓨터 프로그램 제품, 컴퓨터-판독가능 매체, 데이터 캐리어의 생성 및 인공 지능(8)의 사용에 관한 것이다.
Description
본 발명은 알고리즘을 위한 테스트 데이터 세트를 생성하는 방법 및 또한 그러한 테스트 데이터 세트를 테스트하는 방법에 관한 것이다. 또한, 본 발명은 설비의 자동화된 이미지-종속 제어를 위한 시스템을 동작시키는 방법 및 전술한 방법들을 구현하기 위한 장치에 관한 것이다. 마지막으로, 본 발명은 그러한 장치를 포함하는 설비를 위한 제어 시스템, 컴퓨터 프로그램 제품, 컴퓨터-판독가능 매체, 데이터 캐리어(carrier)의 생성 및 인공 지능의 사용에 관한 것이다.
제어 소프트웨어 개발 분야에서, 소프트웨어 테스트는 개발 비용의 상당 부분을 차지한다. 이는 특히 품질 테스트의 설계가 복잡하고 오류를 검출하는 것이 어렵고 사소하지 않다는 사실 때문이다. 특히, 테스트할 알고리즘이 더 복잡할수록, 이 알고리즘에 대한 테스트도 또한 더 복잡해진다. 무엇보다도, "포괄적으로" 테스트하는 것, 즉 요구된 테스트 범위를 달성하는 것은 또한 어렵다.
이미지 처리 알고리즘은 컴퓨터 시스템에서 가장 복잡한 알고리즘과 연관된다. 예로서 첨단 운전자 보조(ADAS: Advanced Driver Assistance) 또는 자율 주행 차량 제어 분야에서 사용되는 알고리즘이, 레코딩(record)된 테스트 데이터 세트들에 관련된 테스트 시나리오들을 통해 사람에 의해 검사를 받거나 또는 테스트 위치들 또는 실제 환경에서 "실제 수명 테스트(Real-Life-Test)"가 발생하는 것이 출원자에게 알려져 있다.
미리 레코딩되고 높은 수준의 인간 개입으로 생성되는 실제 비디오 시퀀스에서 미리 정의된 "최상의 동작(Best-Case-Action)"에 대해 검사가 이루어질 수 있다. 각각의 새로운 테스트 케이스는 수동으로 생성되고, 테스트 시나리오의 랜덤성에 대해 어떠한 여지도 허용하지 않는다.
알려진 접근법은 일반적으로, 테스트 데이터와, 예상되는 거동 둘 모두가 사람 참가자와의 긴밀한 상호 작용을 통해 구별되며, 자동화된 테스트 설정으로의 어려운 통합을 수반한다는 사실을 갖는다. 테스트의 확장은 복잡하고 어렵다.
또한, 일부 제조업체의 경우, 테스트 단계가 심지어 제품 배송 후의 시간 기간으로 확장되고, 모니터링되는 자율 주행 절차 중에 테스트 데이터가 수집되어 이 테스트 데이터에 기반하여 알고리즘을 개선하는 것이 출원자에게 알려져 있다.
이에 기반하여, 본 발명의 목적은 복잡한 이미지 처리 알고리즘을 테스트하기 위한 개선된 가능성을 제공하는 것이다.
이 목적은 입력으로서 이미지 데이터를 획득하고 출력으로서 이미지 데이터에 종속되는 동작 영역들을 출력하고 그리고/또는, 입력으로서 센서 데이터를 획득하고 출력으로서 센서 데이터에 종속되는 동작 영역들을 출력하는 알고리즘에 대한 적어도 하나의 테스트 데이터 세트를 생성하는 방법에 의해 달성되고, 상기 방법은 다음 단계, 즉
1.1 훈련된 인공 지능이 제공되는 단계,
1.2 인공 지능이 자극되는 단계, 및
1.3 자극된 인공 지능이, 이미지 데이터 및 이미지 데이터와 연관된 동작 영역들 및/또는 센서 데이터 및 센서 데이터와 연관된 동작 영역들을 포함하는 적어도 하나의 테스트 데이터 세트를 생성하는 단계를 포함한다.
단계 1.1에서, 장단기 메모리 네트워크를 포함하거나 그러한 네트워크들에 의해 제공되는 인공 지능이 제공되는 것이 바람직하다. 또한, 단계 1.1에서, 적어도 하나의 생성 네트워크 및/또는 적어도 하나의 변별 네트워크를 포함하거나 그러한 네트워크에 의해 제공되는 인공 지능이 제공되는 것이 바람직하다. 이어서, 특히 바람직하게 단계 1.2에서 인공 지능의 적어도 하나의 생성 네트워크가 자극되고, 바람직하게 단계 1.3에서 인공 지능의 적어도 하나의 자극된 생성 네트워크가 테스트 데이터 세트를 출력한다. 생성적 적대적 네트워크들, 특히 적어도 하나의 생성 네트워크 및/또는 적어도 하나의 변별 네트워크는 바람직하게 인공 신경망이다.
원칙적으로 "시스템" 또는 "모델"이라는 용어들이 또한 "네트워크"라는 표현에 대한 대안으로서 동의어로 사용될 수 있다는 것이 주목되어야 한다.
단계 1.1에서 학습 데이터 세트를 사용하여 컨디셔닝된(conditioned) 훈련된 인공 지능이 제공되는 것이 바람직하다. 적어도 하나의 이미지 캡처 설비에 의해 레코딩된 실제 이미지 데이터 및 실제 이미지 데이터와 연관된 동작 영역들 및/또는 적어도 하나의 센서 설비에 의해 레코딩된 실제 센서 데이터 및 실제 센서 데이터와 연관된 동작 영역들을 포함하는 학습 데이터 세트를 사용하는 것이 특히 바람직하다.
단계 1.1에서 제공된 훈련된 인공 지능을 획득하기 위해, 다음 단계들, 즉
2.1 적어도 하나의 이미지 캡처 설비에 의해 레코딩된 실제 이미지 데이터 및 실제 이미지 데이터와 연관된 동작 영역들 및/또는 적어도 하나의 센서 설비에 의해 레코딩된 실제 센서 데이터 및 실제 센서 데이터와 연관된 동작 영역들을 포함하는 학습 데이터 세트가 제공되는 단계,
2.2 인공 지능이 제공되는 단계, 및
2.3 인공 지능이, 제공된 학습 데이터 세트의 사용 하에 컨디셔닝되는 단계가 구현되는 것이 특히 바람직하다:
단계 1.1에서 제공되는 인공 지능 및/또는 단계 2.2에서 제공되는 인공 지능에 대해, 이 인공 지능이 적대적 네트워크들, 특히 생성적 적대적 네트워크들을 포함하거나 그러한 네트워크에 의해 제공되는 것이 더 바람직하다.
본 발명은 초기 데이터 세트로부터 이미지 데이터 및/또는 센서 데이터 및 연관된 동작 영역들을 생성하기 위해 인공 지능을 사용하는 것에 대한 고려에 기반하며, 이로 인해서는 알고리즘이 성능 또는 거동에 대해 특히 이미지-종속, 특히 이미지 시퀀스-종속 또는 센서 값-종속 제어 분야에서 검사되는 것이 가능하다. 이 경우, 본 발명에 따르면 훈련된 인공 지능이 이용된다.
인공 지능은, 특히 실제 상황들의 관찰 또는 레코딩과 인간 상호 작용에 의해 획득된 학습 데이터 세트를 사용하여 바람직하게 컨디셔닝, 즉 훈련되거나, 특히 실제 상황들의 관찰 또는 레코딩과 인간 상호 작용에 의해 획득된 학습 데이터 세트를 사용하여 컨디셔닝/훈련되고, 이어서 테스트 데이터를 생성할 준비가 된다.
훈련된 인공 지능을 통해 생성된 데이터 세트들은 "합성" 방식으로 획득된 테스트 데이터를 나타내고, 상기 테스트 데이터는 그 유형 및 적합성에서 특히 제공된 학습 데이터 세트에 대해 동일하고 실제에 가깝거나, 실제 데이터로부터 구별가능하지 않다. 인공 지능 방법들은 특히, 바람직하게는 생성적 적대적 네트워크들에 의해 이미지 시퀀스들 및 상기 이미지 시퀀스들에 적합한 동작을 제공하기 위해 사용된다.
특히, 고-차원 데이터는 예를 들어 이미지 시퀀스의 형태로 처리되고, 저 차원 데이터는 특히 이미지-종속 또는 센서-값-종속 제어 알고리즘의 성능 또는 거동을 분류하기 위해 테스트 케이스 생성기를 훈련하기 위해 특히 허용가능한 제어 파라미터들을 나타내는 동작 영역들 또는 동작 회랑(action corridor)들의 형태로 처리된다. 컨디셔닝은 바람직하게 벡터 수열로서 동작 영역들로 보충되는 이미지 데이터 및/또는 센서 데이터에 기반한다.
테스트 데이터 세트가 의도되고, 입력으로서 이미지 데이터를 획득하고, 출력으로서 이미지 데이터에 종속되는 동작 영역들을 출력하는 알고리즘은 특히 바람직하게 제어 알고리즘이다. 알고리즘은 특히 설비, 예를 들어 차량 또는 로봇을 제어하기 위한 알고리즘일 수 있다.
동작 영역들은 바람직하게 각각의 경우에 적어도 하나의 허용가능한 동작, 바람직하게 각각의 경우에 다수의 허용가능한 동작을 포함하거나, 이로 인해 제공된다. 각각의 경우에, 이 영역은 특히 연관된 이미지 데이터 또는 센서 데이터에 대해 또는 이에 비추어 허용가능한 동작들, 예를 들어 제어 절차들을 갖는 (원하는) 영역이다.
동작 영역들은 바람직한 실시예에서 허용가능한 제어 파라미터들을 나타낸다. 동작 영역들은 특히 바람직하게는 설비의 자동화된 이미지-지원 제어를 위한 시스템에 대해 허용가능한 제어 파라미터들을 나타내거나 포함하거나 이러한 제어 파라미터들에 의해 형성된다.
동작 영역은 예로서 적어도 하나의 제어 파라미터 또는 제어 값을 포함하거나, 예로서 적어도 하나의 제어 파라미터 또는 제어 값에 의해 형성되거나 정의된다. 적어도 하나의 제어 파라미터 또는 제어 값은, 상기 제어 파라미터 또는 제어 값과 연관된 이미지 데이터 또는 센서 데이터에 비추어 허용가능한 (제어) 동작을 나타내는 그러한 제어 파라미터 또는 제어 값일 수 있다. 이것은 바람직하게 센서-종속 또는 이미지-종속 방식으로 제어되는 설비에 대한 제어 값(들) 또는 제어 파라미터이다.
일반적으로, 이미지 데이터 및/또는 센서 데이터에 의해 검출될 수 있거나 검출되는 제공된 시작 상황에 대해, 제어 파라미터 또는 제어 값이 가능/허용가능할 뿐만 아니라, 복수의 동작을 포함하거나 이들 동작을 나타내는 제어 값들 또는 제어 파라미터들을 포함하는 연관된 원하는 구역이 존재한다. 상응하게, 동작 영역은, 원하는 구역에 있거나 그러한 원하는 구역에 걸쳐 있는 복수의 제어 파라미터 또는 제어 값에 의해 정의되거나 형성될 수 있다.
동작 영역들은 각각의 경우에 이들 동작 영역들이 연관되는 이미지 데이터 또는 센서 데이터에 종속하여 허용가능한 특히 파라미터들 또는 값들, 바람직하게 제어 파라미터들 또는 제어 값들을 나타낸다. 동작 영역은, 구현되는 경우 특히 설비, 예컨대 알고리즘을 통해 제어되는 차량 또는 로봇을 사용하여 상기(또는 허용가능한) 동작 영역 내에서 이동된다는 사실을 유도하는 복수의/집합의 파라미터 또는 값, 특히 제어 파라미터들 또는 제어 값들에 의해 정의될 수 있다.
추가 테스트 시나리오들을 생성하기 위해 요구된 테스트 정보를 갖는, 주석이 달린 데이터 세트는, 이미지 데이터 및/또는 센서 데이터를 동작 영역으로 보충하여 획득된다. 바람직하게, 개별 네트워크들, 특히 생성적 네트워크 및 적대적 네트워크, 바람직하게는 변별 네트워크의 컨디셔닝은, 생성적 네트워크에 의한 교번 생성과, 생성된 데이터, 즉 적대적, 특히 변별 네트워크에 의한 인공 이미지 데이터 및/또는 센서 데이터 및 연관된 동작 영역들의 (적대적) 검사에 의해 실행된다.
본 발명의 기반을 형성하는 테스트 데이터 생성 패턴은 이 경우 바람직하게는 Ian Goodfellow 등에 의한, 논문 "Generative Adversarial Nets(GANs)"(ArXiv : 1406.2661 [statML] 661v1, 2014년 1월 10일)에서 공개된 연구, 및 Alec Redfort 등에 의한, 논문 "Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks"(ArXiv : 1511.06434V2 [cs.LG], 2016년 1월 7일)의 연구, 및 특히 Sepp Hochreiter 및 Juergen Schmidhuber에 의한, 논문 "Long Short Term Memory(LSTM)"(Neural Computation 9 (8): 1735 - 1780, 1997)의 연구에 기반한다.
훈련된 인공 지능이 자극된다. 자극은, 인공 지능에 입력, 예를 들어 적어도 하나의 입력 파일이 공급됨으로써 실행될 수 있다. 인공 지능은 자극, 특히 입력 공급에 대한 응답으로 출력을 생성한다.
훈련된 인공 지능의 자극은 원칙적으로, 예를 들어 입력으로서 적어도 하나의 랜덤 신호를 사용하여 다양한 방식으로 실행될 수 있다. 랜덤 신호는 예를 들어 노이즈만을 디스플레이하거나 포함하는 이미지 또는 이미지 파일에 의해 제공될 수 있다.
자극은 적어도 하나의 자극 이미지를 사용하여, 바람직하게는 2개 이상의 자극 이미지 또는 자극 이미지 시퀀스를 사용하여, 그리고/또는 바람직하게는 특정 콘텐츠 또는 장면들 또는 상황들, 예를 들어 주행 상황들 또는 주행 장면들을 디스플레이하는 적어도 하나의 자극 비디오를 사용하여 제공될 수도 있다.
특히 실제 콘텐츠를 디스플레이하는 자극 이미지들(또는 이러한 자극 이미지들의 시퀀스들) 및/또는 자극 비디오들의 사용은 일반적으로 랜덤 신호들의 사용에 비해 제어 가능성을 증가시킨다.
특히, Alec Redford 등에 의한 전술한 문헌 "Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks"(2016), 특히 이 문헌의 10페이지의 도 7에 개시된 바와 같이, 바람직하게는 랜덤 신호(random signal)에 의한 자극 또는 시각적 개념들에 대한 준선형성 속성의 사용에 대한 응답으로 인공 지능 애플리케이션으로부터 데이터 세트들을 생성하기 위해 GAN 접근법이 사용된다. 이 경우 생성적 네트워크 또는 생성적 알고리즘은 종래 접근법과 반대로 사용되고, 이는, 생성적 네트워크 또는 알고리즘이 패턴들을 인식하고 이러한 패턴들을 분류하는 것을 가능하게 하는 것 대신, 프로세스가 반전되고 시스템이 예를 들어 랜덤 신호의 "분류 입력"에 의해 자극되고 새로운 "패턴(pattern)"이 생성되는 것을 의미한다. "Goodfellow"와 "Redford"는 2014년과 2016년의 그들의 연구에서, 새로운 이미지들이 벡터 공간에서 거의 선형 연산으로 생성되는 것을 개시한다. 이는, 알고리즘이 새로운 시퀀스들을 생성하기 위해 더 쉽게 조정될 수 있음을 의미한다.
특히 자극을 위해 인공 지능에 자극을 위한 적어도 하나의 이미지 및/또는 비디오(또는 대응하는 파일)가 제공되고, 상기 이미지 및/또는 비디오가 (실제) 콘텐츠 또는 장면들 또는 상황들을 디스플레이하는 경우, 인공 지능은 시각적 개념들에 대한 준-선형성 속성을 사용하거나 이를 통해 합성 이미지들 또는 이미지 시퀀스들을 생성할 수 있다.
이 경우, "선형성"은 특히 중첩 원리(이미지_A + 파라미터 * 이미지_B = 이미지_C)로 이해되어야 한다. "준"이라는 용어는 특히, 기존 개별 이미지들로부터 새로운 이미지들 또는 자극 비디오들이 생성된다는 사실[함수_a(이미지_A) + 파라미터 * 함수_b(이미지_B) = 이미지_C, 여기서 함수_a 및 함수_b는 비-선형 함수들]로 이해되어야 한다.
순전히 예시적인 방식으로, 비가 왔거나 비가 내리는 도로를 디스플레이하는 (합성, 생성된) 이미지가 시각적 개념들의 준-선형성 속성을 고려하여, 날씨가 좋은 도로를 디스플레이하는 이미지와 비를 디스플레이하는 이미지로부터 획득된다는 것이 주목되어야 한다. 인공 지능에, 예를 들어 날씨가 좋은 도로를 갖는 이미지와 비가 내리는 이미지로서 자극 이미지들이 공급되면, 비가 내리는 도로를 디스플레이하는 (연관된 동작 영역을 갖는) 합성 이미지가 획득될 수 있다. 이러한 방식으로 기존 이미지로부터 특히 새로운 시나리오를 획득하는 것이 가능하고, 상기 새로운 시나리오들은 기존 이미지들에 원래 디스플레이되지 않는다. 도로와 비의 결합이 순전히 예시적인 것으로 이해되어야 하고, 물론 다른 장면들이나 상황들이 자극 이미지들로서 인공 지능에 공급될 수 있고, 물론 2개 초과의 이미지들로 가능함이 강조되어야 한다.
또한 전술한 접근법 "Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks"의 이런 원리가 얼굴들의 이미지들의 도움으로 도 7에서 예시적인 방식으로 도시되는 것이 주목되어야 한다.
자극 이미지들 및/또는 자극 비디오들은 예를 들어 카메라들을 사용하여 레코딩되었고 실제 장면들 또는 상황들, 예를 들어 실제 주행 장면들 또는 주행 상황들을 디스플레이하는 이미지들 또는 비디오들일 수 있다. 그러나, 인공 지능의 자극을 위해 대안적으로 또는 추가적으로 구성 또는 합성 이미지들 및/또는 비디오들이 사용될 수 있다는 것도 또한 배제되지 않는다.
훈련된 네트워크(들), 시스템(들), 또는 모델(들)은 새로운 데이터를 생성하기 위해 이용될 수 있다. 특히 인공 지능의 생성적 네트워크를 자극함으로써, 훈련된 규칙들을 사용하여 새로운 이미지 데이터 및/또는 센서 데이터 및 연관된 동작 영역들이 생성될 수 있다.
생성된 데이터는 특히 GAN의 속성에 의해 간단한 산술 연산에 의해 영향을 받을 수 있다. 예를 들어, 가로수 길(avenue) - 나무 = 단순 도로 또는 직선 도로 + 곡선 = 시케인(chicane).
고전적인 컨볼루션 네트워크(classical convolutional network)들 대신에, LSTM 네트워크들, 특히 컨볼루션 LSTM 네트워크들이 생성 네트워크(들)뿐만 아니라 적대적 네트워크(들) 둘 모두에 사용되는 것이 특히 바람직하다. 무엇보다도 LSTM 네트워크들의 사용의 장점들은, (이미지 데이터 또는 센서 데이터 및 연관된 동작 영역들의) 시간-종속 시퀀스들이 획득되고 LSTM에 의해 노이즈 효과들(비물리적 인공물)이 방지된다는 사실에 있다. "LSTM 네트워크"라는 용어는 특히 과거 상태들이 고려되는 네트워크를 의미하는 것으로 이해된다. LSTM은 이러한 네트워크 유형의 전문화이다. 이러한 방식으로, 특히 이미지 시퀀스들 및 동작 영역들 또는 동작 회랑들이 요구하는 시간 종속성을 모델링하는 것이 가능하다. 본 발명의 범위 내에서 사용될 수 있는 LSTM 네트워크들은 예를 들어 Sepp Hochreiter 및 Juergen Schmidhuber에 의한 논문 "Long Short Term Memory(LSTM)"[neural computation 9 (8): 1735 - 1780, 1997]에서 설명된다.
이 접근법은 확장되고 컨볼루션 LSTM 네트워크가, 특히 GAN 시스템을 포함하거나 이러한 시스템에 의해 제공되는 인공 지능을 훈련하기 위해, 즉 이미지 데이터, 특히 이미지 시퀀스들, 및/또는 센서 데이터, 및 연관된 동작 영역들을 획득하기 위해 반복되는 과거 상태들을 즉시 수집하는 것을 가능하게 한다. 이는 테스트 장면들의 동적 거동을 모델링하는 것을 가능하게 한다.
본 발명에 따른 접근법은 다양한 장점들을 제공한다. 한편으로, 복잡한 알고리즘 테스트에서 인간 상호 작용 또는 인간 참여의 범위가 명확하게 감소된다. 특히 매우 다량의 테스트 데이터를 제공하는 것이 또한 어떠한 문제없이 가능하므로, 복잡한 알고리즘의 테스트 범위(test coverage)가 크게 증가될 수 있다.
특히 포괄적이고 심층적인 방식으로 테스트하는 것이 가능하기 때문에, 특히 신뢰할 수 있게 기능하는 알고리즘을 획득하는 것이 가능하고, 이는 특히 첨단 운전자 보조 또는 자율 주행의 범위 내에서와 같이 이미지-지원 제어 분야에 있어 상당한 장점을 나타내거나 절대적으로 필요하다. 결과적으로 이러한 시스템들의 품질과 신뢰성은 상당히 증가될 수 있고 특히 관리가능한 비용으로 실현될 수 있다. 하나의 추가 장점은, 본 발명에 따른 테스트 하네스 및 테스트 벡터들이 단지 하나의 전처리 단계에서 제공된다는 사실에 있다.
바람직한 실시예에서, 입력으로서 이미지 시퀀스를 획득하고 출력으로서 이미지 시퀀스에 종속되는 동작 영역들을 출력하는 알고리즘, 특히 자율 차량 제어를 위한 시스템 또는 바람직한 첨단 운전자 보조 시스템의 알고리즘에 대해 적어도 하나의 테스트 데이터 세트가 생성되고, 특히 단계 2.1에서는, 적어도 하나의 이미지 캡처 설비에 의해 레코딩된 실제 이미지 시퀀스와, 특히 설비의 자동화된 이미지-지원 제어를 위한 시스템에 대한 허용가능한 제어 파라미터들을 나타내고 시퀀스의 이미지들과 연관된 동작 영역들이 제공되는 학습 데이터 세트가 제공되고, 단계 1.3에서는 자극된 인공 지능, 특히 이 인공 지능의 적어도 하나의 생성적 네트워크는 새로운 이미지 시퀀스 및 새로운 이미지 시퀀스와 연관된 동작 영역들을 포함하는 적어도 하나의 테스트 데이터 세트를 생성한다.
본 발명에 따른 접근법이 특히 첨단 운전자 보조 및 또한 자율 주행 분야에 적합한 데, 그 이유가 이러한 분야들에서 제어 커맨드들이 이미지 시퀀스들, 예를 들어 비디오들에 종속하여 출력되는 것이 요구되기 때문이라는 것이 주목되어야 하지만, 본 발명은 이런 2개의 예로 결코 제한되지 않는다. 반대로, 예로서 컨베이어 벨트에서 이미지-지원, 자동화된 로봇 제어 또는 자동화된 분류 프로세스들의 범위 내에서 사용되는 그러한 알고리즘과 같은 다른 분야의 알고리즘에 대해 테스트 데이터 세트가 또한 생성될 수 있다. 이미지-지원이 아니라 센서 데이터에 기반한 제어를 위한 알고리즘이 또한 본 발명에 따라 테스트될 수 있다.
인공 지능, 특히 GAN 시스템을 컨디셔닝하기 위해 원래의, 실제 이미지 데이터, 특히 이미지 시퀀스들, 및/또는 센서 데이터 및 연관된 동작 영역들이 학습 데이터 세트로 사용되는 것이 바람직하다.
따라서, 처음에는 하나 또는 다수의 카메라 또는 센서 설비들의 광범위하게 알려진 이미지 캡처 설비들을 통해 제공될 수 있는 적어도 하나의 이미지 데이터 세트, 특히 이미지 시퀀스, 및/또는 적어도 하나의 센서 데이터 세트를 레코딩하는 것이 바람직하다. 예로서, 차량 또는 로봇에 제공된 카메라를 이용하여 차량이 이동 중이거나 로봇이 작동하는 동안 레코딩하는 것이 가능하다. 이어서, 획득된 이미지 시퀀스 또는 획득된 비디오는 특히 테스트 벡터를 나타낸다. 실제 이미지 데이터 또는 센서 데이터와 연관된 동작 영역들이 결정되고 이미지 데이터 또는 센서 데이터 및 동작 영역들이 서로 할당되고 테스트 데이터 세트가 획득된다. 이러한 방식으로 처음에 실제 테스트 데이터 세트를 생성하는 대신, 적합한 테스트 데이터 세트가 이용가능한 경우, 제공된 테스트 데이터 세트에 액세스를 얻는 것이 또한 가능하다.
다음 단계에서, 인공 지능, 특히 이 인공 지능의 생성적 네트워크는 바람직하게는 실제 테스트 데이터로 훈련된 후 예로서 새로운 이미지 데이터, 특히 이미지 시퀀스들, 및/또는 센서 데이터 및 연관된 동작 영역들을 생성하기 위해 하나 또는 다수의 랜덤 신호를 사용하여 자극될 수 있다.
이어서, 이러한 새롭게 획득된, 합성 테스트 데이터는 (경우에 따라서는 학습 데이터 세트에 추가하여) 이 알고리즘을 검사하기 위해 테스트될 알고리즘에 공급될 수 있다.
특히, 첨단 운전자 보조 시스템의 알고리즘 또는 자율 주행 제어를 위한 시스템에 대해 적어도 하나의 테스트 데이터 세트가 생성되는 경우, 추가 바람직한 실시예에서, 인공 지능을 학습하기 위해 제공된 학습 데이터 세트가, 주행 상황들의 이미지들을 포함하고 그리고/또는, 각각의 이미지에 대해 연관된 동작 영역으로서 주행 궤적 및 바람직한 실시예에서 개별 주행 궤적과 연관된 원하는 회랑을 포함하는 이미지 시퀀스를 포함하고, 상기 원하는 회랑이 주행 궤적 주위의 원하는 구역을 정의하는 것이 추가로 제공된다.
하나의 개선에서, 또한 단계 1.3에서, 주행 상황들의 이미지들을 포함하고 그리고/또는, 각각의 이미지에 대해 연관된 동작 영역으로서 주행 궤적 및 특히 개별 주행 궤적과 연관된 원하는 회랑을 포함하는 이미지 시퀀스를 포함하는 적어도 하나의 데이터 세트가 생성되고, 상기 원하는 회랑은 주행 궤적 주위의 원하는 구역을 정의한다.
본 발명의 추가 주제는 다음 단계들, 즉
9.1 테스트될 알고리즘이 제공되고 상기 알고리즘은 입력으로서 이미지 데이터를 획득하고 출력으로서 이미지 데이터에 종속되는 동작 영역들을 출력하고 그리고/또는, 상기 알고리즘은 입력으로서 센서 데이터를 획득하고 출력으로서 센서 데이터에 종속되는 동작 영역들을 출력하는 단계,
9.2 이전 청구항들 중 하나에 따른 방법이, 이미지 데이터 및 이미지 데이터와 연관된 동작 영역들을 가지며 그리고/또는 센서 데이터 및 센서 데이터와 연관된 동작 영역들을 갖는 적어도 하나의 테스트 데이터 세트를 획득하기 위해 구현되는 단계,
9.3 적어도 하나의 테스트 데이터 세트가 제공되는 단계,
9.4 적어도 하나의 테스트 데이터 세트의 이미지 데이터 및/또는 센서 데이터가, 테스트될 알고리즘에 대해 입력으로서 공급되는 단계,
9.5 알고리즘이 실행되고, 출력으로서 동작 영역들을 출력하는 단계,
9.6 출력으로서 알고리즘에 의해 출력되는 동작 영역들은 적어도 하나의 테스트 데이터 세트의 동작 영역들과 비교되는 단계,
9.7 테스트된 알고리즘의 품질이 비교 결과로부터 결론 내려지는 단계를 포함하는 알고리즘을 테스트하는 방법이다.
바람직한 실시예에서, 단계 9.1에서, 첨단 운전자 보조 시스템의 알고리즘 또는 자율 차량 제어를 위한 시스템은 테스트될 알고리즘으로 제공된다.
알고리즘을 테스트하기 위한 본 발명에 따른 방법의 일 실시예는, 단계들 9.1 내지 9.7의 구현에 이어, 테스트 데이터 세트를 생성하기 위한 본 발명에 따른 방법의 단계들 1.2 및 1.3은, 이전에 생성된 테스트 데이터 세트와 상이한 적어도 하나의 추가 테스트 데이터 세트를 생성하기 위해 다시 수행되고, 적어도 하나의 추가 테스트 데이터 세트가 제공되고, 특히 알고리즘의 추가 양태들을 테스트하기 위해 단계들 9.4 내지 9.7이 반복된다는 사실을 특징으로 한다.
이 접근법은 특히 효과적인 것으로 입증되었다. 생성적 단계들의 반복 또는 또한 다수의 반복에 의해서는, 특히 테스트될 알고리즘의 새로운 양태들과 추가 양태들을 항상 테스트하는 것이 가능하다.
본 발명의 또 다른 주제는 설비, 특히 차량 또는 로봇의 자동화된, 특히 이미지-종속적 및/또는 센서-종속적 제어를 위한 시스템을 동작시키는 방법이고, 여기서 시스템은 적어도 하나의 이미지 캡처 설비, 특히 카메라, 및/또는 적어도 하나의 센서 설비 및 하나의 평가 및 제어 유닛 및 설비를 제어하기 위한 수단을 포함하고, 제어 및 평가 유닛에는 알고리즘이 저장되어 있거나 저장되고, 상기 알고리즘은 입력으로서 이미지 데이터를 획득하고 출력으로서 이미지 데이터에 종속되고 특히 신뢰성 있는 제어 파라미터들을 나타내는 동작 영역들을 출력하고 그리고/또는, 상기 알고리즘은 입력으로서 센서 데이터를 획득하고 출력으로서, 센서 데이터에 종속되고 특히 알고리즘을 테스트하는 본 발명에 따른 방법의 구현 하에 알고리즘이 테스트되는 허용가능한 제어 파라미터들을 나타내는 동작 영역들을 출력하고, 테스트가 알고리즘의 기능을 불충분하다고 나타내는 경우, 알고리즘은 미리 결정된 방식으로 적응되고 설비는 알고리즘의 사용 하에 제어된다.
시스템은 예로서 자율 차량 제어 또는 특히 차량들, 예를 들어 자동차들의 첨단 주행 보조에 사용되는 그러한 시스템일 수 있다.
본 발명에 따른 방식으로 생성되는 적어도 하나의 테스트 데이터 세트의 사용 하에, 특히 알고리즘을 테스트하는 본 발명에 따른 방법의 실행 하에 검사되고 필요 시에 적용되는 알고리즘에 기반하여, 설비, 예를 들어 차량 또는 로봇이 제어되고, 제어는 특히 신뢰성 있는 방식으로 수행될 수 있고 자동화된 제어의 안전성이 명확하게 증가될 수 있다.
자동화된, 특히 이미지-종속적 및/또는 센서-종속적 설비 제어를 위한 시스템을 동작시키는 방법은 바람직한 실시예에서, 시스템이 적어도 하나의 이미지 캡처 설비를 포함하고 이미지 시퀀스가 시스템의 적어도 하나의 이미지 캡처 설비에 의해 캡처되고, 동작 영역들이 시퀀스의 이미지들에 할당되고, 할당된 동작 영역들을 갖는 이미지 시퀀스가 특히 단계 2.1에서 인공 지능을 훈련하기 위해 학습 데이터 세트로서 제공된다는 사실을 특징으로 한다. 이에 대안적으로 또는 추가하여, 시스템이 적어도 하나의 센서 설비를 포함하고 센서 데이터가 시스템의 적어도 하나의 센서 설비에 의해 캡처되고, 동작 영역들이 센서 데이터에 할당되고, 할당된 동작 영역들을 갖는 센서 데이터가 특히 단계 2.1에서 인공 지능을 훈련하기 위해 학습 데이터 세트로서 제공되는 것이 제공될 수 있다. 단계 2.1은 특히, 테스트 데이터 세트를 획득하기 위해 알고리즘을 테스트하기 위해 본 발명에 따른 방법의 단계 9.2에서 구현되는 테스트 데이터 세트를 생성하는 본 발명에 따른 방법의 제1 단계이다.
본 발명의 추가 주제는 특히 생성적 적대적 네트워크들을 포함하거나, 또는 알고리즘이 입력으로서 이미지 데이터를 획득하고 출력으로서 이미지 데이터에 종속되고 특히 허용가능한 제어 파라미터들을 나타내는 동작 영역들을 출력하고, 상기 알고리즘이 입력으로서 센서 데이터를 획득하고 출력으로서 센서 데이터에 종속되고 특히 허용가능한 제어 파라미터들을 나타내는 동작 영역들을 출력하는, 상기 알고리즘에 대한 적어도 하나의 테스트 데이터 세트를 생성하기 위해 그러한 네트워크들에 의해 제공되는 훈련된 인공 지능을 사용하는 것이다. 인공 지능 및/또는 적어도 하나의 테스트 데이터 세트에 대해 위에서 설명된 모든 특징이 본 발명에 따른 사용 범위 내에서 각각의 경우 개별적으로 또는 또한 조합으로 실현될 수 있다는 것이 주목되어야 한다.
본 발명의 또 다른 주제는 알고리즘에 대한 테스트 데이터 세트를 생성하기 위한 본 발명에 따른 방법을 구현하거나 알고리즘을 테스트하는 본 발명에 따른 방법을 구현하거나 또는 설비의 자동화된, 특히 이미지-종속적 제어를 위한 시스템을 동작시키는 본 발명에 따른 방법을 구현하도록 구현 및 구성된 장치이다.
본 발명에 따른 장치는 바람직하게는 적어도 하나의 프로세서 및 특히 하나의 데이터 저장 디바이스를 포함한다. 장치는 예로서 컴퓨터, 특히 PC를 포함할 수 있거나, 그 자체로 구현될 수 있다.
본 발명에 따른 장치는 또한 설비, 특히 차량 또는 로봇을 위한 제어 시스템의 일부를 예로서 형성할 수 있다.
마찬가지로, 본 발명의 하나의 주제는 알고리즘에 대한 테스트 데이터 세트를 생성하기 위한 본 발명에 따른 방법을 구현하거나, 알고리즘을 테스트하기 위해 본 발명에 따른 방법을 구현하거나, 설비의 자동화된, 이미지-종속적 제어를 위한 시스템을 운용하는 본 발명에 따른 방법을 구현하기 위한 프로그램 코드 수단을 포함하는 컴퓨터 프로그램 제품이다.
본 발명의 하나의 주제는 또한, 적어도 하나의 테스트 데이터 세트를 생성하는 본 발명에 따른 방법의 구현 하에 저장되는 적어도 하나의 테스트 데이터 세트가 저장되는 데이터 캐리어의 생성이다.
마지막으로, 본 발명의 하나의 주제는 또한 명령어들이 적어도 하나의 컴퓨터에서 구현되는 경우, 적어도 하나의 컴퓨터로 하여금, 알고리즘에 대한 테스트 데이터 세트를 생성하는 본 발명에 따른 방법의 단계들 또는 알고리즘을 테스트하는 본 발명에 다른 방법의 단계들 또는 설비의 자동화된, 이미지-종속적 제어를 위한 시스템을 동작시키는 본 발명에 따른 방법의 단계들을 구현하도록 유발하는 명령어들을 포함하는 컴퓨터-판독가능 매체이다.
컴퓨터-판독가능 매체는 예로서 데이터 캐리어, 예를 들어 CD-ROM, DVD 또는 플래시 메모리 또는 USB 저장 디바이스 형태로 제공될 수 있다. 컴퓨터-판독 가능 매체가 물리적 매체로만 이해되어서는 안되며, 오히려 그러한 컴퓨터 판독가능 매체가 또한 예로서 데이터 스트림 및/또는 데이터 스트림을 나타내는 신호의 형태로 제공될 수 있다는 것이 주목되어야 한다.
본 발명에 따른 방법의 추가 특징들 및 장점들은 첨부된 도면을 참조하여 다음의 예시적인 설명의 도움으로 명확해진다.
도 1은 알고리즘을 테스트하는 본 발명에 따른 방법의 예시적인 실시예의 시퀀스에 대한 순수 개략도를 도시한다.
도 2는 인공 지능의 컨디셔닝에 대한 순전히 개략적인 예시를 위한 블록 다이어그램을 도시한다.
도 3은 이미지 시퀀스 및 연관된 주행 궤적들 및 회랑들의 형태의 연관된 동작 영역들을 갖는 학습 데이터 세트의 순수 개략도를 도시한다.
도 4는 테스트 데이터 세트의 생성 및 알고리즘 테스트 절차들의 순수 개략도에 대한 블록 다이어그램을 도시한다.
도 5는 각각의 경우 이미지 시퀀스 및 연관된 주행 궤적들 및 회랑들의 형태의 연관된 동작 영역들을 갖는 3개의 테스트 데이터 세트의 순수 개략도를 도시한다.
도 1은 알고리즘을 테스트하는 본 발명에 따른 방법의 예시적인 실시예의 시퀀스에 대한 순수 개략도를 도시한다.
도 2는 인공 지능의 컨디셔닝에 대한 순전히 개략적인 예시를 위한 블록 다이어그램을 도시한다.
도 3은 이미지 시퀀스 및 연관된 주행 궤적들 및 회랑들의 형태의 연관된 동작 영역들을 갖는 학습 데이터 세트의 순수 개략도를 도시한다.
도 4는 테스트 데이터 세트의 생성 및 알고리즘 테스트 절차들의 순수 개략도에 대한 블록 다이어그램을 도시한다.
도 5는 각각의 경우 이미지 시퀀스 및 연관된 주행 궤적들 및 회랑들의 형태의 연관된 동작 영역들을 갖는 3개의 테스트 데이터 세트의 순수 개략도를 도시한다.
도 1은 알고리즘(1)을 테스트하는 본 발명에 따른 방법의 예시적인 실시예의 시퀀스에 대한 순수 개략도를 예시한다. 예시적인 실시예의 범위 내에서 구현되는 단계들은 이 경우에 블록 다이어그램 또는 플러스 다이어그램의 방식으로 도면에 예시된다.
예시된 예시적인 실시예의 범위 내에서, 제1 단계(S1)에서, 테스트될 알고리즘(1)이 제공되며, 이는 본 경우 자율 차량 제어를 위한 제어 알고리즘(1)이다. 블록 요소에 의해 순전히 개략적인 방식으로 도 4 및 그 내부에만 예시된 자율 차량 제어를 위한 알고리즘(1)은, 상기 알고리즘이 입력으로서 공지된 방식으로 이미지 시퀀스, 구체적으로 차량 환경의 비디오를 획득하고, 출력으로서 이미지 시퀀스에 종속되는 동작 영역들을 출력하고 상기 동작 영역들이 시퀀스의 개별 이미지에 종속하여 허용가능한 차량에 대한 제어 파라미터들을 나타내는 방식으로 구현된다.
단계 S1에서 알고리즘(1)을 제공한 다음, 테스트 데이터 세트를 생성하기 위한 본 발명에 따른 방법의 예시적인 실시예가 구현된다.
이 경우 구체적으로 단계 S2에서, 연대적 상관이 있고 본 경우 주행 상황의 다수의 레코딩을 디스플레이하는 복수의 이미지(4)를 갖는 실제 이미지 시퀀스(3)의 형태의 실제 이미지 데이터를 포함하는 학습 데이터 세트(2)가 제공된다. 실제 이미지 시퀀스(3)는 도 2에 예시되지 않은 이미지 캡처 설비, 구체적으로 차량이 주행을 완료하는 동안 마찬가지로 예시되지 않은 차량에 제공되는 카메라에 의해 레코딩되었다.
이미지 시퀀스(3)에 더하여 학습 데이터 세트(2)는 이미지 시퀀스와 연관된 동작 영역들(5)을 포함하고, 본 예시적인 실시예에서 상기 동작 영역들은, 이미지 시퀀스(3)의 개별 이미지들(4)에 대응하는 주행 궤적들(6), 및 주행 궤적들(6)에 대한 연관된 원하는 회랑들(7)을 통해 제공된다.
도 2는 이미지(4) 및 동작 영역들(5)에 대한 블록 요소를 갖는 순전히 개략적인 방식으로 학습 데이터 세트(2)를 예시하고, 도 3은 마찬가지로 예를 들어 9개의 이미지(4) 및 또한 각각의 경우 3개의 연관된 주행 궤적(6) 및 연관된 동작 영역들(5)을 형성하는 원하는 회랑들(7)이 예시된 학습 데이터 세트(2)의 개략도를 포함한다. 원하는 회랑들(7)이 주행 궤적들(6)에 대한 원하는 구역들을 정의하는 것이 주목되어야 한다. 9개의 이미지(4)는 서로 뒤따르는 9개의 시점을 나타내고, 이는 개별 이미지(4) 위에 표시(T = 1 ... 9)로 도 3에 표시된다.
하나의 단계(S3)에서, 예시된 예시적인 실시예의 경우에 장단기 메모리 생성적 적대적 네트워크들(LSTM-GANs)에 의해 제공되는 인공 지능(8)이 제공된다. LSTM-GANs(8)는 장단기 메모리 생성적 네트워크(9) 및 또한 장단기 메모리 변별 네트워크(10)의 형태로 예시된 예시적인 실시예에서 제공되며, 이는 블록 요소들에 의해 순전히 개략적인 방식으로 차례로 도 2에 도시된다. 2개의 네트워크(9, 10)의 아키텍처는 Goodfellow 등에 의한 논문 "Generative Adversarial Nets(GANs)"(ArXiv: 1406.2661 [statML]661v1, 2014년 1월 10일)에서 설명된다. 이 논문의 변형에서, 본 경우의 네트워크들(9, 10)은 이 논문에 따라 고전적인 "컨볼루션" 네트워크들로서 구현되는 것이 아니라, 오히려 "컨볼루션" LSTM 네트워크들(9, 10), 즉 Sepp Hochreiter 및 Juergen Schmidhuber에 의한 논문 "Long Short Term Memory(LSTM)"(neural computation 9 (8): 1735 - 1780, 1997)에서 설명된 바와 같은 장단기 메모리 "컨볼루션" 네트워크들(9, 10)로서 구현된다.
하나의 단계(S4)에서, 인공 지능(8)은 제공된 학습 데이터 세트(2)의 사용 하에 컨디셔닝된다. 본 경우, 본원에 설명된 예의 경우, 도 2에 순전히 개략적인 방식으로 화살표로 표시된 바와 같이, 이미지 시퀀스(3) 및 동작 영역들(5)은 병합되고, 이는 참조 문자(11)를 갖는 블록 요소를 통해 심볼로 도시되고, LSTM 판별 네트워크(10)로 전송된다. LSTM 생성 네트워크(9)는 자극 입력(12)을 통해 자극되고, 상기 LSTM 생성 네트워크의 출력들, 즉 생성된 데이터는 마찬가지로 LSTM 판별 시스템(10)으로 전송되어 각각의 경우에 올바름/올바르지 않음 결정을 내리고, 이는 참조 문자(13)가 제공되는 블록 이미지 요소에 의해 표시된다. 자극 입력(12)은 랜덤 신호에 의해 제공될 수 있다. LSTM 생성 네트워크(9)가 0에서 시작되는 것이 또한 가능하다.
올바름/올바르지 않음 결정(13)은, 특히 생성적 네트워크(9)에 의해 출력된 생성된 데이터가, 판별 네트워크(10)로 전송된 학습 데이터 세트의 데이터에 대응하는지 또는 그와 다른지 여부에 대한 결정이다. 네트워크들(9, 10)의 방법들은 특히, 생성적 네트워크(9)에 의해 생성되는 생성된 데이터가 학습 데이터 세트(2)에 따른 데이터와 가능한 한 더이상 구별될 수 없을 때까지 개선된다. GANs의 훈련의 맥락에서, Ian Goodfellow 등에 의한 논문 "Generative Adversarial Nets(GANs)"(ArXiv: 1406.2661 [statML]661v1, 2014년 1월 10일)의 도입부도 또한 참조된다.
컨디셔닝 다음, 단계 S5에서, 예시된 예시적인 실시예의 컨디셔닝된 인공 지능(8)의 생성적 네트워크(9)는 차례로 랜덤 신호(random signal)(12)에 의해 자극된다. 이것은 도 4에 개략적으로 예시된다. 랜덤 신호(12)는 노이즈가 있거나 노이즈만을 디스플레이하는 적어도 하나의 이미지 또는 적어도 하나의 이미지 파일에 의해 제공될 수 있고, 이것은 순전히 예시적인 것으로 이해되어야 한다.
새로운 시나리오들은 인스턴스에 대한 응답으로서 랜덤 신호(12)에 의해 생성된다. 이를 위해 훈련된 구조에 따라 상이한 치수가 가능하다. 이것은 텔레비전의 소음으로 간주될 수 있다.
랜덤 신호(12)에 대안적으로 또는 추가하여, 적어도 하나의 자극 이미지, 바람직하게는 그러한 자극 이미지들을 갖는 2개 이상의 자극 이미지 또는 시퀀스 또는 특히 자극 입력(12)으로서 실제 콘텐츠(예로서 주행 상황들을 디스플레이함)를 갖는 적어도 하나의 자극 비디오를 사용하는 것도 또한 가능하다.
자극된 LSTM 생성적 네트워크(9)는 새로운 이미지 시퀀스(15) 및 새로운 이미지 시퀀스(15)와 연관된 동작 영역들(16)을 포함하는 적어도 하나의 테스트 데이터 세트(14)를 생성한다(단계 S6). 학습 데이터 세트(2)와 유사하게 설명된 예시적인 실시예의 경우에, 컨디셔닝된 LSTM 생성적 네트워크(9)의 사용 하에 획득된 적어도 하나의 테스트 데이터 세트(14)는, 이미지 시퀀스(15)를 포함하지만 복수의 합성으로 생성된 이미지(17)를 갖고, 각각의 경우에 학습 데이터 세트(2)와 유사하게 마찬가지로 시퀀스(15)의 각각의 이미지(17)에 대해 제공되는 동작 영역들(16)은, 연관된 주행 궤적(18) 및 또한 연관된 원하는 회랑(19)을 포함한다. 도 5에서, 이것은 생성되는 전체 3개의 생성된 테스트 데이터 세트(14)에 대해 순전히 개략적이고 예시적인 방식으로 다시 예시된다.
무엇보다, 인공 지능에 자극 절차를 위한 입력 신호(들)로서 실제 콘텐츠(예를 들어, 주행 상황들)를 갖는 하나 또는 다수의 자극 이미지 및/또는 하나 또는 다수의 자극 비디오가 공급되는 경우, 합성 이미지들은 시각적 개념들을 위한 준-선형성 속성을 통해 또는 고려하여 또는 사용하여 생성 또는 획득될 수 있다. 시각적 개념들에 대한 준-선형성 속성의 맥락에서, Alec Redford 등에 의한 논문 "Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks"(2016), 특히 10페이지 도 7이 또한 참조된다.
단계 S7에서 위에서 설명된 방식으로 획득된 적어도 하나의 테스트 데이터 세트(14)가 제공되고, 단계 S8에서 이미지 시퀀스(15)는 테스트될 알고리즘(1)에 대해 입력으로서 공급되고, 이는, 이미지 시퀀스(15)로부터 블록 요소로서 개략적으로 예시된 알고리즘(1)을 지향하는 대응하는 화살표에 의해 순전히 개략적인 방식으로 도 4에 표시된다.
단계 S9에서, 알고리즘(1)이 실행되고 출력으로서 동작 영역들(20)을 출력한다.
단계 S10에서, 출력으로서 알고리즘(1)에 의해 출력되는 동작 영역들(20)은 생성적 네트워크(9)에 의해 생성된 테스트 데이터 세트(14)의 동작 영역들(16)과 비교된다. 비교는 참조 문자(21)가 제공되는 블록 요소에 의해 도면에서 개략적으로 예시된다.
단계 S11에서, 테스트된 알고리즘(1)의 품질 또는 기능은 비교 결과로부터 결론이 내려진다.
비교 결과에 기반하여, 테스트될 알고리즘(1)의 충분한 품질 또는 기능이 결론 내려질 수 있는 경우, 동작 영역들(20)은 올바른 동작 영역들(22)로 출력될 수 있고, 이는, 블록 이미지 요소에 의해 순전히 개략적인 방식으로 다시 도 4에 예시된다(단계 S12).
이어서, 차량은 올바른 동작 영역들(22)에 기반하여 특히 신뢰성 있게 제어될 수 있다(단계 S13).
다수의 테스트 데이터 세트(14)가 생성된 경우, 모든 테스트 데이터 세트(14)의 이미지 시퀀스(15)는 테스트될 알고리즘(1)에 공급될 수 있고 상기 이미지 시퀀스들에 대한 응답으로 이 알고리즘에 의해 출력되는 동작 영역들(20)은 개별 이미지 시퀀스(15)와 연관된 동작 영역들(16), 즉 개별 테스트 데이터 세트(14)의 주행 궤적들(18) 및 연관된 원하는 회랑들(19)과 비교될 수 있고 알고리즘(1)의 품질 또는 기능에 대한 결론이 내려질 수 있다. 복수의 테스트 데이터 세트(14)가 생성되고 사용되는 경우, 알고리즘(1)은 특히 포괄적인 방식으로 테스트될 수 있다.
본 발명이 바람직한 예시적인 실시예에 의해 추가로 예시되고 상세하게 설명되었지만, 본 발명은 개시된 예들에 의해 이러한 방식으로 제한되지 않으며 다른 변형들이 본 발명의 보호 범위로부터 벗어나지 않고 통상의 기술자에 의해 본 발명으로부터 유도될 수 있다.
Claims (19)
- 입력으로서 이미지 데이터(17)를 획득하고 출력으로서 상기 이미지 데이터에 종속되는 동작 영역들(areas of action)(16)을 출력하며 그리고/또는, 입력으로서 센서 데이터를 획득하고 출력으로서 상기 센서 데이터에 종속되는 동작 영역들을 출력하는 알고리즘(1)에 대한 적어도 하나의 테스트 데이터 세트(14)를 생성하는, 적어도 하나의 프로세서 및 데이터 저장 디바이스를 포함하는 장치에 의해 구현되는 방법으로서,
1.1 훈련된 인공 지능(8)이 제공되는 단계,
1.2 인공 지능(8)이 자극되는 단계, 및
1.3 자극된 인공 지능(8)이, 이미지 데이터(15) 및 이미지 데이터(15)와 연관된 동작 영역들(16), 및/또는 센서 데이터 및 센서 데이터와 연관된 동작 영역들을 포함하는 적어도 하나의 테스트 데이터 세트(14)를 생성하는 단계를 포함하고,
단계 1.1에서 제공된 상기 훈련된 인공 지능을 획득하기 위해,
2.1 적어도 하나의 이미지 캡처 설비에 의해 레코딩된 실제 이미지 데이터(3), 및 실제 이미지 데이터(3)와 연관된 동작 영역들(5), 및/또는 적어도 하나의 센서 설비에 의해 레코딩된 실제 센서 데이터 및 상기 실제 센서 데이터와 연관된 동작 영역들을 포함하는 학습 데이터 세트(2)가 제공되는 단계,
2.2 인공 지능이 제공되는 단계, 및
2.3 인공 지능(8)이, 제공된 학습 데이터 세트(2)의 사용 하에 컨디셔닝(condition)되는 단계가 구현되고,
단계 2.1에서, 적어도 하나의 이미지 캡처 설비에 의해 레코딩된 실제 이미지 시퀀스(3), 및 시퀀스(3)의 이미지들(4)과 연관된 동작 영역들(5)을 포함하는 학습 데이터 세트(2)가 제공되고, 단계 1.3에서, 상기 자극된 인공 지능(8)은, 새로운 이미지 시퀀스(15) 및 상기 새로운 이미지 시퀀스(15)와 연관된 동작 영역들(16)을 포함하는 적어도 하나의 테스트 데이터 세트(14)를 생성하고 그리고/또는, 단계 2.1에서, 실제 이미지 시퀀스(3)를 갖는 학습 데이터 세트(2)가 제공되고, 이미지 시퀀스(3)의 각각의 이미지(4)에 대한 학습 데이터 세트(2)의 동작 영역들(5)은 적어도 하나의 제어 파라미터 또는 제어 파라미터를 나타내는 값을 포함하고, 각각 적어도 하나의 제어 파라미터 또는 제어 파라미터를 나타내는 값에 대해 연관된 원하는 구역을 포함하는 것을 특징으로 하는, 테스트 데이터 세트의 생성 방법. - 삭제
- 제1항에 있어서, 적어도 하나의 테스트 데이터 세트(15)가 첨단 운전자 보조 시스템의 알고리즘(1) 또는 자율 차량 제어를 위한 시스템에 대해 생성되고, 제공된 학습 데이터 세트(2)는, 주행 상황들의 이미지들을 포함하고 그리고/또는, 각각의 이미지(4)에 대해 연관된 동작 영역(5)으로서 주행 궤적(6)을 포함하는 이미지 시퀀스(3)를 포함하는 것을 특징으로 하는, 테스트 데이터 세트의 생성 방법.
- 제1항 또는 제3항에 있어서, 적어도 하나의 테스트 데이터 세트(14)는, 입력으로서 이미지 시퀀스(17)를 획득하고 출력으로서 이미지 시퀀스(17)에 종속되는 동작 영역들(16)을 출력하는 알고리즘(1)에 대해 생성되는 것을 특징으로 하는, 테스트 데이터 세트의 생성 방법.
- 제1항 또는 제3항에 있어서, 단계 1.3에서는, 주행 상황들의 이미지들(17)을 포함하고 그리고/또는, 각각의 이미지(17)에 대해 연관된 동작 영역(16)으로서 주행 궤적(18)을 포함하는 이미지 시퀀스(15)를 포함하는 적어도 하나의 테스트 데이터 세트(12)가 생성되는 것을 특징으로 하는, 테스트 데이터 세트의 생성 방법.
- 제1항 또는 제3항에 있어서, 단계 1.1에서는, 장단기 메모리 네트워크들(9, 10)을 포함하거나 그러한 네트워크들에 의해 제공되는 인공 지능(8)이 제공되는 것을 특징으로 하는, 테스트 데이터 세트의 생성 방법.
- 제1항 또는 제3항에 있어서, 단계 1.1에서는, 적어도 하나의 생성적 네트워크(9) 및/또는 적어도 하나의 변별 네트워크(10)를 포함하거나 그러한 네트워크에 의해 제공되는 인공 지능(8)이 제공되는 것을 특징으로 하는, 테스트 데이터 세트의 생성 방법.
- 알고리즘(1)을 테스트하는, 적어도 하나의 프로세서 및 데이터 저장 디바이스를 포함하는 장치에 의해 구현되는 방법으로서,
9.1 테스트될 알고리즘(1)이 제공되고 상기 알고리즘은 입력으로서 이미지 데이터(15)를 획득하고 출력으로서 이미지 데이터(15)에 종속되는 동작 영역들(20)을 출력하고 그리고/또는, 상기 알고리즘은 입력으로서 센서 데이터를 획득하고 출력으로서 상기 센서 데이터에 종속되는 동작 영역들을 출력하는 단계,
9.2 제1항 또는 제3항에 따른 방법이, 이미지 데이터(15) 및 이미지 데이터(15)와 연관된 동작 영역들(16)을 가지며 그리고/또는 센서 데이터 및 상기 센서 데이터와 연관된 동작 영역들을 갖는 적어도 하나의 테스트 데이터 세트(14)를 획득하기 위해 구현되는 단계,
9.3 상기 적어도 하나의 테스트 데이터 세트(14)가 제공되는 단계,
9.4 상기 적어도 하나의 테스트 데이터 세트(14)의 이미지 데이터(15) 및/또는 상기 센서 데이터가, 테스트될 알고리즘(1)에 대해 입력으로서 공급되는 단계,
9.5 알고리즘(1)이 실행되고, 출력으로서 동작 영역들(20)을 출력하는 단계,
9.6 출력으로서 상기 알고리즘에 의해 출력되는 동작 영역들(20)이 상기 적어도 하나의 테스트 데이터 세트(14)의 동작 영역들(16)과 비교되는 단계,
9.7 테스트된 알고리즘(1)의 품질이 비교(21) 결과로부터 결론 내려지는 단계
를 포함하는, 알고리즘의 테스트 방법. - 제8항에 있어서, 상기 단계 9.1 내지 9.7의 구현에 이어, 단계들 1.2 및 1.3은, 이미 생성된 테스트 데이터 세트(14)와 상이한 적어도 하나의 추가 테스트 데이터 세트(14)를 생성하기 위해 다시 수행되고, 상기 적어도 하나의 추가 테스트 데이터 세트(14)가 제공되고, 상기 단계들 9.4 내지 9.7이 반복되는 것을 특징으로 하는, 알고리즘의 테스트 방법.
- 설비의 자동화된 제어를 위한 시스템을 동작시키는 방법으로서,
상기 시스템은 적어도 하나의 이미지 캡처 설비 및/또는 적어도 하나의 센서 설비, 및 평가 및 제어 유닛 및 상기 설비를 제어하기 위한 수단을 포함하고, 알고리즘(1)은 상기 제어 및 평가 유닛에 저장되어 있거나 저장되고 상기 알고리즘은 입력으로서 이미지 데이터(17)를 획득하고 출력으로서 상기 이미지 데이터에 종속되는 동작 영역들(16)을 출력하거나 상기 알고리즘은 입력으로서 센서 데이터를 획득하고 출력으로서 상기 센서 데이터에 종속되는 동작 영역들을 출력하고, 알고리즘(1)은, 제8항에 따른 방법의 구현 하에 테스트되고, 상기 테스트가 알고리즘(1)의 기능을 불충분하다고 나타내는 경우, 알고리즘(1)은 미리 결정된 방식으로 적응되고 상기 설비는 알고리즘(1)의 사용 하에 제어되는, 설비의 자동화된 제어를 위한 시스템의 동작 방법. - 제10항에 있어서, 상기 시스템은 적어도 하나의 이미지 캡처 설비를 포함하고, 이미지들(4)의 시퀀스(3)는 상기 시스템의 상기 적어도 하나의 이미지 캡처 설비에 의해 캡처되고, 동작 영역들(5)은 시퀀스(3)의 이미지들(4)에 할당되고, 할당된 동작 영역들(5)을 갖는 이미지 시퀀스(3)는 인공 지능(8)을 훈련하기 위해 학습 데이터 세트(2)로서 제공되고 그리고/또는, 상기 시스템은 적어도 하나의 센서 설비를 포함하고 센서 데이터는 상기 시스템의 상기 적어도 하나의 센서 설비에 의해 캡처되고, 동작 영역들은 상기 센서 데이터에 할당되고, 할당된 상기 동작 영역들을 갖는 상기 센서 데이터는 인공 지능(8)을 훈련하기 위해 학습 데이터 세트로서 제공되는 것을 특징으로 하는, 설비의 자동화된 제어를 위한 시스템의 동작 방법.
- 제1항 또는 제3항에 따른 방법의 구현 하에 획득된 적어도 하나의 테스트 데이터 세트가 기록된 컴퓨터 판독가능 매체로서, 상기 획득된 테스트 데이터 세트는 이미지 데이터(15) 및 이미지 데이터(15)와 연관된 동작 영역들(16), 및/또는 센서 데이터 및 센서 데이터와 연관된 동작 영역들을 포함하는, 컴퓨터 판독가능 매체.
- 적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 커플링된 데이터 저장 디바이스를 포함하고,
상기 적어도 하나의 프로세서는 제1항 또는 제3항에 따른 방법을 구현하도록 구현 및 구성되는 장치. - 삭제
- 명령어들이 적어도 하나의 컴퓨터상에 구현되는 경우, 적어도 하나의 컴퓨터로 하여금 제1항 또는 제3항에 따른 방법 단계들을 구현하도록 유발하는, 명령어들을 포함하는 컴퓨터 판독가능 매체.
- 적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 커플링된 데이터 저장 디바이스를 포함하고,
상기 적어도 하나의 프로세서는 제8항에 따른 방법을 구현하도록 구현 및 구성되는 장치. - 명령어들이 적어도 하나의 컴퓨터상에 구현되는 경우, 적어도 하나의 컴퓨터로 하여금 제8항에 따른 방법 단계들을 구현하도록 유발하는, 명령어들을 포함하는 컴퓨터 판독가능 매체.
- 적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 커플링된 데이터 저장 디바이스를 포함하고,
상기 적어도 하나의 프로세서는 제10항에 따른 방법을 구현하도록 구현 및 구성되는 장치. - 명령어들이 적어도 하나의 컴퓨터상에 구현되는 경우, 적어도 하나의 컴퓨터로 하여금 제10항에 따른 방법 단계들을 구현하도록 유발하는, 명령어들을 포함하는 컴퓨터 판독가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18178772.2A EP3584748A1 (de) | 2018-06-20 | 2018-06-20 | Verfahren zur erzeugung eines testdatensatzes, verfahren zum testen, verfahren zum betreiben eines systems, vorrichtung, steuerungssystem, computerprogrammprodukt, computerlesbares medium, erzeugung und verwendung |
| EP18178772.2 | 2018-06-20 | ||
| PCT/EP2019/062774 WO2019242955A1 (de) | 2018-06-20 | 2019-05-17 | Verfahren zur erzeugung eines testdatensatzes, verfahren zum testen, verfahren zum betreiben eines systems, vorrichtung, steuerungssystem, computerprogrammprodukt, computerlesbares medium, erzeugung und verwendung |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210014740A KR20210014740A (ko) | 2021-02-09 |
| KR102355815B1 true KR102355815B1 (ko) | 2022-02-08 |
Family
ID=62873124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217001806A KR102355815B1 (ko) | 2018-06-20 | 2019-05-17 | 테스트 데이터 세트 생성 방법, 테스트 방법, 시스템 동작 방법, 장치, 제어 시스템, 컴퓨터 프로그램 제품, 컴퓨터-판독 가능 매체, 생산 및 사용 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210216063A1 (ko) |
| EP (2) | EP3584748A1 (ko) |
| JP (1) | JP6972395B2 (ko) |
| KR (1) | KR102355815B1 (ko) |
| CN (1) | CN112292695A (ko) |
| WO (1) | WO2019242955A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930078B (zh) * | 2020-06-21 | 2024-04-19 | 中国舰船研究设计中心 | 一种面向核控系统的网络测试装置 |
| US11763135B2 (en) * | 2021-03-01 | 2023-09-19 | Robert Bosch Gmbh | Concept-based adversarial generation method with steerable and diverse semantics |
| CN115658550B (zh) * | 2022-12-09 | 2023-04-07 | 合肥高维数据技术有限公司 | 提升大规模样本测试效率的自动化测试方法及系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10860950B2 (en) * | 2016-08-31 | 2020-12-08 | Sas Institute Inc. | Automated computer-based model development, deployment, and management |
| EP3309721A1 (en) * | 2016-09-23 | 2018-04-18 | KPIT Technologies Ltd. | Autonomous system validation |
| KR101813698B1 (ko) * | 2016-12-21 | 2018-01-30 | 한국항공대학교산학협력단 | 공중 로봇의 이동 속도 추정 장치 및 방법 |
| US10228693B2 (en) * | 2017-01-13 | 2019-03-12 | Ford Global Technologies, Llc | Generating simulated sensor data for training and validation of detection models |
| CN106844949B (zh) * | 2017-01-18 | 2020-01-10 | 清华大学 | 一种用于实现机车节能操纵的双向lstm模型的训练方法 |
| US10268203B2 (en) * | 2017-04-20 | 2019-04-23 | GM Global Technology Operations LLC | Calibration validation for autonomous vehicle operations |
| CN107330444A (zh) * | 2017-05-27 | 2017-11-07 | 苏州科技大学 | 一种基于生成对抗网络的图像自动文本标注方法 |
| DE102017213634A1 (de) * | 2017-08-07 | 2019-02-07 | Ford Global Technologies, Llc | Verfahren und Vorrichtung für die Durchführung von virtuellen Tests in einer virtuellen Realitätsumgebung für ein autonom fahrendes Fahrzeug |
| CN107577996A (zh) * | 2017-08-16 | 2018-01-12 | 中国地质大学（武汉） | 一种车辆驾驶路径偏移的识别方法及系统 |
| US10831636B2 (en) * | 2018-01-08 | 2020-11-10 | Waymo Llc | Software validation for autonomous vehicles |
-
2018
- 2018-06-20 EP EP18178772.2A patent/EP3584748A1/de not_active Withdrawn
-
2019
- 2019-05-17 CN CN201980041287.3A patent/CN112292695A/zh active Pending
- 2019-05-17 JP JP2020570681A patent/JP6972395B2/ja active Active
- 2019-05-17 WO PCT/EP2019/062774 patent/WO2019242955A1/de unknown
- 2019-05-17 KR KR1020217001806A patent/KR102355815B1/ko active IP Right Grant
- 2019-05-17 US US17/254,296 patent/US20210216063A1/en active Pending
- 2019-05-17 EP EP19727883.1A patent/EP3782081B1/de active Active
Non-Patent Citations (2)
| Title |
|---|
| M. Alzantot, et al., "Sensegen: A deep learning architecture for synthetic sensor data generation," arXiv:1701.08886v1 [cs.LG] 31 Jan 2017(2017.01.31.)* |
| Yuchi Tian et al., "DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous Cars," arXiv:1708.08559v2 [cs.SE] 20 Mar 2018 (2018.03.20.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3584748A1 (de) | 2019-12-25 |
| CN112292695A (zh) | 2021-01-29 |
| KR20210014740A (ko) | 2021-02-09 |
| US20210216063A1 (en) | 2021-07-15 |
| EP3782081A1 (de) | 2021-02-24 |
| WO2019242955A1 (de) | 2019-12-26 |
| JP2021527891A (ja) | 2021-10-14 |
| JP6972395B2 (ja) | 2021-11-24 |
| EP3782081B1 (de) | 2022-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102355815B1 (ko) | 테스트 데이터 세트 생성 방법, 테스트 방법, 시스템 동작 방법, 장치, 제어 시스템, 컴퓨터 프로그램 제품, 컴퓨터-판독 가능 매체, 생산 및 사용 | |
| Sturm et al. | Interpretable deep neural networks for single-trial EEG classification | |
| US10482609B2 (en) | Optical flow determination system | |
| DE102017217733A1 (de) | Prüfen eines neuronalen Netzes | |
| JP2018173814A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法 | |
| DE112020000448T5 (de) | Kameraselbstkalibrierungsnetz | |
| DE102014106506A1 (de) | Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug | |
| DE102020103769A1 (de) | Gegnerischer Angriff auf den Algorithmus zur Erkennung von Black-Box-Objekten | |
| Sun et al. | Reliability validation of learning enabled vehicle tracking | |
| DE102013002889A1 (de) | Verfahren und Vorrichtung zur Modellierung eines Fahrbahnrandes und Fahrzeug mit einer solchen Vorrichtung | |
| CN111046755A (zh) | 字符识别方法、装置、计算机设备和计算机可读存储介质 | |
| Mumbelli et al. | An application of Generative Adversarial Networks to improve automatic inspection in automotive manufacturing | |
| CN113095351A (zh) | 借助于初始标记的改善生成经标记的数据的方法 | |
| CN112150344A (zh) | 用于确定一类别的对象的置信值的方法 | |
| CN107844777B (zh) | 用于生成信息的方法和装置 | |
| Teng et al. | Clickbait-v2: Training an object detector in real-time | |
| EP4248418A2 (de) | Verfahren und system zur annotation von sensordaten | |
| DE102020212921A1 (de) | Verfahren, Computerprogramm und Vorrichtung zum Bewerten einer Verwendbarkeit von Simulationsdaten | |
| EP3701428B1 (de) | Verfahren und vorrichtung zum verbessern der robustheit eines maschinellen lernsystems | |
| US20220414918A1 (en) | Learning device, object detection device, learning method, and recording medium | |
| DE102022209403A1 (de) | Verfahren zum Überprüfen der Durchführung einer Prädiktionsaufgabe durch ein neuronales Netzwerk | |
| DE102022207416B3 (de) | Computerimplementiertes Verfahren zum Erkennen von Verdeckungen eines Bildgebungssensors | |
| Lu | Anomaly detection in surveillance videos using deep learning | |
| DE112018007886B4 (de) | Fahrzeuginnenüberwachung-Informationserzeugung-Steuervorrichtung und Fahrzeuginnenüberwachung-Informationserzeugung-Steuerverfahren | |
| DE102022204369A1 (de) | Computerimplementiertes Verfahren und Computerprogramm zum Regeln einer zweiten Verteilungsfunktion in einem generativen kontradiktorischen Netzwerk, neuronale Prozessoreinheit zum Trainieren eines generativen kontradiktorischen Netzwerks und computerimplementiertes Verfahren zum Trainieren, Validieren und/oder Testen von Maschinenlernmodellen für die Umfeldwahrnehmung eines automatisierten Fahrsystems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |