KR102257530B1 - 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법 및 장치 - Google Patents
데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR102257530B1 KR102257530B1 KR1020140167948A KR20140167948A KR102257530B1 KR 102257530 B1 KR102257530 B1 KR 102257530B1 KR 1020140167948 A KR1020140167948 A KR 1020140167948A KR 20140167948 A KR20140167948 A KR 20140167948A KR 102257530 B1 KR102257530 B1 KR 102257530B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- model
- function
- calculation unit
- kernel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012821 model calculation Methods 0.000 claims abstract description 60
- 238000004364 calculation method Methods 0.000 claims description 88
- 239000013598 vector Substances 0.000 claims description 40
- 230000001419 dependent effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 81
- 238000012549 training Methods 0.000 description 25
- 238000010606 normalization Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/02—Circuit arrangements for generating control signals
- F02D41/14—Introducing closed-loop corrections
- F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
- F02D41/1402—Adaptive control
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
- F02D41/2425—Particular ways of programming the data
- F02D41/2429—Methods of calibrating or learning
- F02D41/2438—Active learning methods
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
- F02D41/2425—Particular ways of programming the data
- F02D41/2429—Methods of calibrating or learning
- F02D41/2477—Methods of calibrating or learning characterised by the method used for learning
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/26—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using computer, e.g. microprocessor
- F02D41/28—Interface circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/02—Circuit arrangements for generating control signals
- F02D41/14—Introducing closed-loop corrections
- F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
- F02D2041/1433—Introducing closed-loop corrections characterised by the control or regulation method using a model or simulation of the system
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Operations Research (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Complex Calculations (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은, 특히 하나 또는 복수의 누적된 데이터 기반 서브 함수 모델, 특히 가우시안 프로세스 모델을 이용하여 데이터 기반 함수 모델의 그래디언트를 계산하기 위한 방법에 관한 것으로, 이 방법에서는 하드웨어 기반으로 2개의 루프 연산에서 지수 함수, 합계(SUM) 함수 및 곱셈 함수를 이용하여 데이터 기반 함수 모델의 함수값을 계산하도록 형성된 모델 계산 유닛(3)이 제공되며, 사전 정의된 입력 변수의 원하는 값을 위한 데이터 기반 함수 모델의 그래디언트를 계산하기 위해 상기 모델 계산 유닛(3)이 이용된다.
Description
본 발명은, 특히 데이터 기반 함수 모델을 계산하기 위해 하드와이어드(hard-wired) 방식으로 형성된 하드웨어 유닛을 구비한 제어 모듈을 이용하여 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법에 관한 것이다.
제어 장치 내에서, 특히 내연 기관용 엔진 제어 장치 내에서 함수 모델을 구현하기 위해, 데이터 기반 함수 모델이 제공될 수 있다. 데이터 기반 함수 모델은 비모수 모델(nonparametric model)이라고도 지칭되며, 특별한 사전 정의 없이 훈련 데이터(training data)로부터, 다시 말해 수많은 훈련 데이터 포인트로부터 생성될 수 있다.
선행 기술로부터, 데이터 기반 함수 모델을 계산하기 위해 제어 장치 내에 메인 계산 유닛 및 별도의 모델 계산 유닛을 구비한 제어 모듈들이 공지되었다. 즉, 예를 들어 독일 공개 특허 출원서 DE 10 2010 028 259 A1호에는, 특히 가우시안 프로세스 모델을 계산하는 데 필요한 베이지안 회귀 방법의 수행을 지원하기 위해 지수 함수들을 계산하도록 형성된 추가의 논리 회로를 모델 계산 유닛으로서 구비한 제어 장치가 공개되어 있다.
전체적으로 모델 계산 유닛은, 데이터 기반 함수 모델을 계산하기 위한 산술적 프로세스를 수행하기 위해 모수(parameter) 및 표본점 혹은 훈련 데이터에 기반하여 설계된다. 특히 모델 계산 유닛의 함수들이 지수 함수 및 합계 함수의 효율적인 계산을 위해 순수 하드웨어로 실행됨으로써, 소프트웨어 제어 방식의 메인 계산 유닛에서 수행될 수 있는 것보다 더 빠른 계산 속도로 가우시안 프로세스 모델을 계산할 수 있다.
여러 용례에 있어서, 특히 내연 기관용 제어 장치에서 데이터 기반 함수 모델의 함수값을 계산하는 것으로 충분하다. 하지만, 특히 데이터 기반의 역함수 모델을 계산하기 위해 데이터 기반 함수 모델의 그래디언트가 필요한 용례들도 공지되어 있다.
본 발명에 따라 데이터 기반 함수 모델, 특히 가우시안 프로세스 모델의 그래디언트를 검출하기 위한 청구항 1에 따른 방법 그리고 대등한 독립 청구항에 따른 장치가 제공된다.
그 외 실시예들은 종속 청구항들에 제시되어 있다.
제1 양태에 따라, 데이터 기반 함수 모델, 특히 가우시안 프로세스 모델의 그래디언트를 계산하기 위한 방법이 제공된다. 하드웨어 기반으로 2개의 내포 루프(nested loop) 연산에서 지수 함수, 합계(SUM) 함수 및 곱셈 함수를 이용하여 데이터 기반 함수 모델의 함수값을 계산하기 위한 모델 계산 유닛이 형성되며, 이 경우 사전 정의된 입력 변수의 원하는 값을 위한 데이터 기반 함수 모델의 그래디언트를 계산하기 위해 상기 모델 계산 유닛이 이용된다.
상기 방법의 한 가지 사상은, 데이터 기반 함수 모델의 그래디언트의 계산을 수행하는 것이며, 이 경우 실질적으로 데이터 기반 함수 모델의 함수값을 계산하기 위해 하드웨어 방식으로 실행되는 기존의 알고리즘이 사용되어야 한다. 이는 하드웨어 기반의 모델 계산 유닛에서 데이터 기반 함수 모델을 위한 그래디언트의 계산을 수행하는 것을 가능하게 하며, 상기 하드웨어 기반의 모델 계산 유닛 내에서는 데이터 기반 함수 모델을 계산하기 위한 알고리즘이 실질적으로 하드와이어드 방식으로, 다시 말해 하드웨어 방식으로 실행된다. 데이터 기반 함수 모델의 그래디언트를 간단히 계산함으로써, 특히 뉴턴 반복법을 이용하여 역 모델(reverse model)을 계산할 수 있으며, 이러한 역 모델에서는 정해진 입력 차원과 관련하여 주어진 목표값을 위해 국부적으로 수치상 역전(numerical inversion)이 수행될 수 있다.
또한, 데이터 기반 함수 모델이 표본점 데이터, 초모수(hyperparameter) 및 모수 벡터에 의해 규정될 수 있으며, 이때 모수 벡터는 표본점 데이터 포인트의 개수에 상응하는 개수의 원소(element)를 포함하며, 이 경우 사전 정의된 입력 변수의 원하는 값을 위한 데이터 기반 함수 모델의 그래디언트를 계산하기 위해, 모수 벡터에 표본점 데이터 포인트에 종속적인 가중 벡터가 부가됨으로써 데이터 기반 함수 모델이 변형된다.
또 다른 한 실시예에 따라, 모델 계산 유닛 내에서 사전 정의된 입력 변수의 원하는 값을 위한, 변형된 데이터 기반 함수 모델의 함수값으로서 데이터 기반 함수 모델의 그래디언트가 계산되고, 오프셋 값이 가산될 수 있다.
또한, 표본점 데이터 포인트가 정규화되었다면, 데이터 기반 함수 모델의 그래디언트를 얻기 위해, 변형된 데이터 기반 함수 모델의 함수값과 오프셋 값의 합계의 결과가 출력 데이터와 관련된 표본점 데이터의 표준 편차에 기반하는 계수와 곱해질 수 있다.
변형된 데이터 기반 함수 모델을 계산하는 동안 모수 벡터에는 표본점 데이터 포인트에 종속적인 가중 벡터가 반복해서 부가될 수 있다.
일 실시예에 따라, 데이터 기반 함수 모델은 표본점 데이터, 초모수 및 모수 벡터에 의해 규정될 수 있으며, 이때 모수 벡터는 표본점 데이터 포인트의 개수에 상응하는 수의 원소를 포함하며, 이 경우 사전 정의된 입력 변수와 관련한 데이터 기반 함수 모델의 그래디언트를 계산하기 위해, 모델 계산 유닛 내에서 사전 정의된 입력 변수의 원하는 값을 위해 데이터 기반 함수 모델의 함수값이 계산되고, 그 결과가 사전 정의된 입력 변수의 원하는 값과 곱해진 다음, 변동된 모수 벡터를 이용하여 모델 계산 유닛 내에서 데이터 기반 함수 모델이 새로 계산됨으로써, 데이터 기반 함수 모델이 변형된다.
또 다른 한 양태에 따라, 메인 계산 유닛 및 모델 계산 유닛을 구비한 제어 모듈 내에서 데이터 기반 함수 모델을 위한 뉴턴 반복법을 수행하기 위한 방법이 제공되며, 이때 모델 계산 유닛은 하드웨어 기반으로 2개의 루프 연산에서 지수 함수, 합계 함수 및 곱셈 함수를 이용하여 데이터 기반 함수 모델의 함수값을 계산하도록 형성되고, 이 경우 상기 방법에 따라 데이터 기반 함수 모델의 그래디언트가 결정되고, 데이터 기반 함수 모델은 상기 모델 계산 유닛에 의해 계산된다.
또한, 데이터 기반 함수 모델의 그래디언트는 모델 계산 유닛의 제1 계산 커널에서 계산될 수 있고, 데이터 기반 함수 모델의 함수값은 모델 계산 유닛의 제2 계산 커널에서 계산될 수 있다.
또 다른 한 양태에 따라 장치, 특히 메인 계산 유닛 및 모델 계산 유닛을 구비한 제어 모듈이 제공되며, 이때 모델 계산 유닛은 하드웨어 기반으로 2개의 루프 연산에서 지수 함수, 합계 함수 및 곱셈 함수를 이용하여 데이터 기반 함수 모델의 함수값을 계산하도록 형성되고, 이 경우 상기 장치는 전술한 방법을 수행하도록 형성된다.
이하, 첨부된 도면을 참조하여 실시예들을 상세히 설명한다.
도 1은 메인 계산 유닛 및 별도의 모델 계산 유닛을 구비한 집적 제어 모듈의 개략도이다.
도 2는 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법을 설명하기 위한 흐름도이다.
도 3은 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 한 대안적 방법을 설명하기 위한 흐름도이다.
도 4는 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 한 대안적 방법을 설명하기 위한 흐름도이다.
도 2는 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법을 설명하기 위한 흐름도이다.
도 3은 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 한 대안적 방법을 설명하기 위한 흐름도이다.
도 4는 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 한 대안적 방법을 설명하기 위한 흐름도이다.
도 1은 예컨대 마이크로컨트롤러 형태의 집적 제어 모듈(1)을 위한 하드웨어 아키텍처의 개략도를 보여주며, 상기 집적 제어 모듈 내에는 하드웨어에 기반한, 데이터 기반 함수 모델의 계산을 위해 메인 계산 유닛(2) 및 별도의 모델 계산 유닛(3)이 집적 방식으로 제공되어 있다. 메인 계산 유닛(2)과 모델 계산 유닛(3)은 예컨대 시스템 버스와 같은 내부 통신 링크(4)를 통해 상호 통신 연결이 이루어진다.
기본적으로 모델 계산 유닛(3)은 실질적으로 하드와이어드 방식으로 형성되며, 따라서 소프트웨어 코드를 실행하도록 형성되는 메인 계산 유닛(2)과는 상이하다. 그 대안으로 가능한 해결책 중 하나는, 데이터 기반 함수 모델을 계산하기 위한 모델 계산 유닛(3)이, 고도로 특성화되고 한정된 명령 세트를 제공하는 것이다. 모델 계산 유닛(3)은 전문화된 계산 유닛으로서 사전에 결정된 계산 프로세스만을 계산하도록 설계된다. 이는 상기와 같은 모델 계산 유닛(3)의 자원 최적화 구현 혹은 집적 방식으로 공간 최적화된 구조를 가능케 한다.
모델 계산 유닛(3)은 소수의 계산 커널을 포함하는데, 예를 들어 도 1에 도시된 실시예에서는 제1 계산 커널(31) 및 제2 계산 커널(32)을 포함하며, 이들 계산 커널은 각각 사전 정의된 알고리즘의 계산을 순수 하드웨어 방식으로 실행한다. 모델 계산 유닛(3)은 그 밖에도 구성 데이터의 기억을 위한 로컬 SRAM 메모리(33)도 포함할 수 있다. 또한, 모델 계산 유닛(3)은 로컬 DMA 유닛(34)(DMA = Direct Memory Access)도 포함할 수 있다. 로컬 DMA 유닛(34)을 이용하여 제어 모듈(1)의 집적 자원에 대한 액세스, 특히 내부 메모리(5)에 대한 액세스가 가능하다.
제어 모듈(1)은 내부 메모리(5) 및 추가 DMA 유닛(6)(DMA = Direct Memory Access)을 포함할 수 있다. 내부 메모리(5)와 추가 DMA 유닛(6)은 적합한 방식으로, 예컨대 내부 통신 링크(4)를 통해 서로 연결되어 있다. 내부 메모리(5)는 [메인 계산 유닛(2), 모델 계산 유닛(3) 및 경우에 따라 다른 추가 유닛을 위한] 공통 SRAM 메모리와, 구성 데이터(모수 및 표본점 데이터)를 위한 플래시 메모리를 포함할 수 있다.
데이터 기반의 비모수 함수 모델의 사용은 베이지안 회귀 방법을 토대로 한다. 베이지안 회귀 방법의 기초는 예를 들어 C.E. Rasmussen 외 공저, "Gaussian Processes for Machine Learning"(MIT press 2006)에 기술되어 있다. 베이지안 회귀 방법은 하나의 모델에 기반하는 데이터 기반 방법이다. 모델을 생성하기 위해서는, 훈련 데이터의 측정 포인트들 그리고 모델링할 출발 변수에 관련 출발 데이터가 필요하다. 모델의 생성은, 훈련 데이터에 전체적으로 또는 부분적으로 상응하거나 이 훈련 데이터로부터 발생하는 표본점 데이터의 사용을 토대로 이루어진다. 또한, 모델 함수의 공간을 모수화하고 추후 모델 예측에 미칠 훈련 데이터의 개별 측정 포인트의 영향을 효과적으로 가중시키는 추상적인 초모수가 결정된다.
추상적인 초모수는 최적화 방법에 의해 결정된다. 이러한 최적화 방법의 가능성 중 하나는 주변 우도(Marginal Likelihood) p(Y│H,X)의 최적화이다. 주변 우도 p(Y│H,X)는, 모델 모수(H) 및 훈련 데이터의 x 값에서 벡터(Y)로서 표현되는, 훈련 데이터의 측정된 y 값의 타당성(plausibility)을 기술한다. 모델 훈련에서, 초모수 및 훈련 데이터에 의해 결정된 모델 함수의 거동을 유도하고 훈련 데이터를 가급적 정확하게 재현하는 데 적합한 초모수가 구해짐으로써, p(Y│H,X)가 최대화된다. 계산의 간소화를 위해 p(Y│H,X)의 로그(log)를 최대화하는데, 그 이유는 로그가 타당성 함수의 연속성을 변경시키지 않기 때문이다.
가우시안 프로세스 모델의 계산은 도 2에 개략적으로 도시된 단계들에 상응하게 실시된다. 테스트 포인트(x)(입력 변수 벡터)를 위한 입력값 가 먼저, 특히 다음 공식에 상응하게 정규화될 수 있다.
상기 공식에서 mx는 표본점 데이터의 입력값들의 평균값과 관련한 평균값 함수에 상응하고, sx는 표본점 데이터의 입력값들의 분산(variance)에 상응하며, d는 테스트 포인트(x)의 차원(D)에 대한 지수에 상응한다.
데이터 기반의 비모수 함수 모델의 결과로서 아래와 같은 공식을 얻을 수 있다.
상기와 같이 결정된 모델값(v)은 출력 정규화를 이용하여, 특히 아래와 같은 공식에 따라 정규화된다.
상기 공식에서 v는 정규화된 테스트 포인트 x(차원 D의 입력 변수 벡터)에서 정규화된 모델값(출력값)에 상응하며, 는 (정규화되지 않은) 테스트 포인트 (차원 D의 입력 변수 벡터)에서 (정규화되지 않은) 모델값(출력값)에 상응하고, xi는 표본점 데이터의 일 표본점에 상응하며, N은 표본점 데이터의 표본점 개수에 상응하고, D는 입력 데이터 공간/훈련 데이터 공간/표본점 데이터 공간의 차원에 상응하며, Id 및 σf는 모델 훈련으로부터 유도된 초모수, 즉 길이 스케일 혹은 진폭 계수에 상응한다. 벡터 Qy는 초모수와 훈련 데이터로부터 계산된 변수이다. 또한, my는 표본점 데이터들의 출력값들의 평균값과 관련한 평균값 함수에 상응하고, sy는 표본점 데이터의 출력값들의 분산에 상응한다.
입력 정규화 및 출력 정규화가 실시되는데, 그 이유는 가우시안 프로세스 모델의 계산은 일반적으로 정규화 공간 내에서 실시되기 때문이다.
계산을 시작하기 위해 특히 계산 유닛(2)은 로컬 DMA 유닛(34) 또는 추가 DMA 유닛(6)을 포함할 수 있으며, 이들 유닛은 계산될 함수 모델에 관련된 구성 데이터를 모델 계산 유닛(3)으로 전달하여, 상기 구성 데이터를 이용해 수행되는 계산을 시작하도록 형성된다. 구성 데이터는 가우시안 프로세스 모델의 초모수 그리고 표본점 데이터를 포함하며, 이 표본점 데이터는 바람직하게 주소 포인터(address pointer)를 이용하여 모델 계산 유닛(3)에 할당된 내부 메모리(5)의 주소 영역에 지정된다. 특히 이를 위해, 특히 모델 계산 유닛(3) 내부에 또는 모델 계산 유닛에 배치될 수 있는 모델 계산 유닛(3)용 SRAM 메모리(33)도 사용될 수 있다. 또한, 내부 메모리(5)와 SRAM 메모리(33)가 조합되어 사용될 수도 있다.
모델 계산 유닛(3) 내에서의 계산은, 상기 계산 법칙에 상응하며 아래의 의사 코드(pseudo code)에 의해 구현된, 모델 계산 유닛(3)의 하드웨어 아키텍처 내에서 수행된다. 의사 코드로부터 알 수 있는 사실은, 계산이 내부 루프 및 외부 루프 내에서 수행되고 그 부분 결과들이 누적된다는 것이다. 모델 계산의 시작 시, 계수기 시작 변수(Nstart)의 일반적인 값은 0이다.
즉, 데이터 기반 함수 모델의 계산을 위해 필요한 모델 데이터는 초모수 및 표본점 데이터를 포함하며, 이들은 관련 데이터 기반 함수 모델에 할당된 메모리 유닛 내 기억 영역에 기억된다. 상기 의사 코드에 상응하게, 데이터 기반 함수 모델을 계산하기 위한 변수는 각각의 차원에 대해 정의된 정규화 모수 s_x(sx에 상응함), m_x(mx에 상응함), s_y(s y 에 상응함), m_y(m y 에 상응함), 모수 벡터 Q_y(Qy에 상응함), 정규화된 훈련 데이터 X, 표본점 포인트의 개수 N, 입력 변수의 차원 개수 D, 외부 루프의 시작값 nStart, 내부 루프의 계산의 재개 시 루프 지수 vInit(일반적으로 = 0), 그리고 입력 변수의 각각의 차원에 대한 길이 스케일(l)을 포함한다.
집적된 제어 모듈 내에서는 일반적으로 초모수 및 표본점 데이터에 의해 정의된 가우시안 프로세스 모델의 함수값이 계산된다. 또한, 집적된 제어 모듈(1) 내에서 실행되는 함수에 따라 역함수를 계산해야 할 수도 있으며, 이 경우 정의된 출력값(y a ) 및 고정된 입력 데이터()를 위해 아래와 같은 공식이 도출되도록 의 값이 계산되어야 한다.
의 영점을 구할 수 있다.
실가 함수의 영점을 구하기 위해, 뉴턴 방법은 반복 프로세스를 제공하며, 여기서 n은 n번째 반복에 상응한다.
그럼으로써, n번째 반복에서 의 갱신이 이루어진다. 따라서, 함수 및 이 함수의 도함수 는 입력점 에서 계산된다. 입력 벡터 에서 데이터 기반 함수 모델의 함수값 및 이 데이터 기반 함수 모델의 제1 도함수의 계산 시, 세 가지 경우가 구분될 수 있다.
첫 번째 경우는, 각각 k번째 데이터 기반 서브 함수 모델에 대해 표본점 데이터 포인트 및 의 양이 정규화되지 않은 상황과 관련된다. 하나의 1차 평균값 함수 및 2개의 데이터 기반 서브 함수 모델(가우시안 프로세스 모델)을 갖는 구체적 예에서 출발하여, 데이터 기반 함수 모델의 그래디언트가 계산된다. 이러한 접근 방식은 임의로 2개 이상의 서브 함수 모델로 확장될 수 있다. 데이터 기반 함수 모델은 아래와 같이 기술된다.
여기서 및 는 데이터 기반 서브 함수 모델에 상응하고, 는 초모수 혹은 이로부터 유도되는 k번째 가우시안 프로세스 모델의 모수에 상응하며, 는 목표값에 상응하고, 는 평균값 함수에 상응하며, 는 표본점 데이터에 상응한다. 에서 제1 서브 도함수 는,
이다.
두 번째 경우에서는 훈련 데이터 량이 정규화된다. 정규화된 데이터를 개별 가우시안 프로세스 모델로부터 얻은 합계 모델의 훈련에 사용할 때의 난점 중 하나는, 각각의 서브 모델에 대해 정규화를 위한 모수, 즉 표준 편차 및 데이터들의 평균값 이 상이한 모델(k)에 대해 상이하고, 이는 각각 상이한 정규화를 유도한다는 점이다. 그렇기 때문에, 전체 계산을 정규화된 값 공간 내에서 수행하고 그 결과를 역변환하는 것이 불가능한데, 그 이유는 측정된 모든 표본점 데이터 에 대해 일관된 또는 이 존재하지 않기 때문이다. 정규화된 데이터를 갖는 가우시안 프로세스 모델이 훈련되기 때문에, 정규화된 값 공간 내에서 계산을 수행할 필요가 있는데, 그 이유는 바로 상기 계산의 초모수가 정규화된 값 공간을 위해서 훈련되었기 때문이다. 각각의 가우시안 프로세스 모델을 위한 정규화 모수가 상이한 경우, 는 입력 벡터()가 및 로써 정규화됨을 지시한다.
가우시안 프로세스 모델의 훈련을 위해 정규화되지 않은 데이터를 사용하면, 의 값을 얻게 된다. 가우시안 프로세스 모델의 훈련을 위해 정규화된 데이터를 사용하면, 상응하는 정규화 모수를 이용한 가우시안 프로세스 모델의 각각의 함수값의 역 정규화에 의해 함수 의 함수값이 계산된다. 1차 평균값 함수는 정규화된 데이터를 전혀 사용하지 않기 때문에, 상기 1차 평균값 함수를 위해서는 역 정규화가 불필요하다. 따라서, 함수값 에 대해 다음의 공식을 얻게 된다.
상기 공식에서 와 간의 차이는, 제1 표현은 제1 가우시안 프로세스 모델이 정규화되지 않은 입력 벡터()를 포함하고, 이 모델이 정규화되지 않은 데이터에 맞추어 훈련되었음을 의미하는 반면, 제2 표현은 입력 벡터()가 정규화 모수( 및 )를 이용하여 정규화되었음을 의미하는 데 있다. 상응하는 가우시안 프로세스 모델은 정규화된 데이터로써 훈련되었고, 그 결과()는 정규화된 추정값이다.
두 가우시안 프로세스 모델(와 )의 입력은 서로 상이한데, 그 이유는 각각의 가우시안 프로세스 모델이 자신의 독자적인 정규화를 갖기 때문이다. 벡터(X)가 D차원이므로, 제2 서브 함수 모델의 차원(p)의 표준 편차는 에 의해 주어진다.
세 번째 경우에서는 훈련 데이터량이 출력과 관련하여 함수 를 이용하여 박스-콕스 변환(Box-Cox transformation)되고, X는 정규화된다. 이 세 번째 경우에도 계산은 임의 개수의 데이터 기반 서브 함수 모델을 이용하여 수행될 수 있다.
가산적 가우시안 프로세스 모델들이 정규화 및 박스-콕스 변환된 훈련 데이터로 훈련되었다. 1차 평균값 함수()는 정규화되지 않은 입력 벡터()를 입력으로서 사용한다. 이는 다음의 공식을 유도한다.
상기 공식에서 및 는 박스-콕스 변환된 데이터()의 표준 편차 및 평균값에 상응한다. 제1 도함수는 박스-콕스 변환[] 및 그의 역수스[]에 의존하기 때문에 일반적인 형태로 표현될 수 없다. 이와 같은 이유에서 는 다양한 박스-콕스 변환을 위해 유도된다. 이하에서는 x만 정규화되지 않고, 다른 데이터들()도 이들 각각의 정규화 모수에 상응하게 정규화된다. 함수 [ ]는 정규화된 X와, 박스-콕스 변환되고 정규화된 Y를 이용하여 훈련된다.
아래와 같은 공식이 도출된다.
뉴턴 알고리즘의 경우, 2개의 필수 표현, 즉 및 가 계산될 수 있다. 표본점 데이터 X 및 Y가 정규화되지 않은 첫 번째 경우에서는, 집적된 제어 모듈(1)의 모델 계산 유닛(3)의 계산을 통해 의 계산이 가능하다. 단지 만 감산하면 되며, 다시 말해 역합수 문제를 위한 사전 설정 값()만 감산하면 된다. 대안적으로는, c가 만큼 줄어듦으로써 는 평균값 모델 모수(a 및 c)에 통합될 수 있다.
아래의 공식,
은 하나의 1차 평균값 함수 및 2개의 가산적 가우시안 프로세스 모델을 갖는 함수값의 도함수를 계산하기 위한 공식이다. 각각의 데이터 기반 서브 함수 모델(오차 모델)을 위해, 도함수는 오차 모델의 모델 계산 유닛(3) 내에서 가중된 계산으로서 테스트 포인트()에서 계산될 수 있으며, 이 경우 가중치는 에 의존한다. 모수 벡터(Qy1)는, 훈련 데이터의, 대각선 상에 잡음이 인가된 공분산 행렬의 역수와 관련 출력값의 벡터의 곱을 제공하며, 상황에 따라 모델 계산 유닛(3) 내에서의 계산 중에 신속하게 교체될 수 있다. 그렇기 때문에, 아래의 공식은 (2개의 가산적 데이터 기반 서브 함수 모델에서) 도함수를 계산하는 데 이용될 수 있다.
항 및 은 각각 모델 계산 유닛(3)에 의해 계산될 수 있다. 2개의 계산 사이에, 단지 k번째 데이터 기반 서브 함수 모델의 모수 벡터()만 적응되면 되며, 이때 )는 에, 혹은 에 존재한다. 이를 위해, 모수 벡터()가 가중 계수()와 곱해짐으로써 상기 모수 벡터의 i번째 엔트리가 적응되며, 이때,
가 적용된다. 가 에 의존하고 의 p번째 성분이 반복 진행 중에 변동하므로, 및 그와 더불어 모수 벡터()는 각각의 계산 단계(i)에서 변동될 수밖에 없다. 그렇기 때문에, 모수 벡터()가 계산 동안 신속하게 변동될 수 있어야 한다. 따라서, 모델 계산 유닛(3)에서의 계산을 위해 공식,
을, 아래의 표현,
으로 고쳐씀으로써 수행될 수 있다. 이 경우, 도 2에 도시된 바와 같이, 모델 계산 유닛(3) 내에서 두 가지 계산이 하기과 같이 수행된다. 이하에는 제1 오차 모델을 위한 계산이 설명된다. 추가 오차 모델을 위한 계산들도 유사하게 진행된다.
제1 계산(단계 S1)
이 뒤따라 수행되며(단계 S2), 모델 계산 유닛(3) 내에서 수행되는 후속 계산(단계 S3)에서는 변동된 모수 벡터()와의 소프트웨어 곱셈이 뒤따라 수행되며, 상기 모수 벡터는 기존 모수 벡터()와 의 원소별 곱셈,
을 통해 결정된다. 모델 계산 유닛(3) 내에서 수행되는 계산들은 하나의 계산 단계를 계산하기 위해 반드시 필요하다. 따라서, 계산이 진행되는 동안 모델 모수를 변경시킬 필요가 없다.
은 단지 곱셈만 필요로 할 뿐, 모델 계산 유닛(3)의 추가 계산은 필요로 하지 않는다. 두 가지 모델 계산이 가능하기 때문에, 각각의 반복을 위한 및 의 계산은 계산 커널(31, 32) 내에서 동시에 실시될 수 있다.
아래 공식,
이 계산될 수 있다. 이때 계수 는 정규화된 x 값에 맞추어 계산되는데, 다시 말하자면 에 맞추어 지시된 기록 방식으로, 특히 를 이용한 계산에 의해 계산된다. 그럼으로써, 얻어진 결과를 적합한 계수와 곱하기 위해 역정규화 모수(denormalized parameter)가 사용된다.
모델 계산의 모수의 온라인 업데이트가 불가능하다면, 상기 공식을 아래의 표현,
으로 고쳐 씀으로써, 과 곱해지는지 아니면 다른 가우시안 프로세스 모델에 적합한 항과 곱해지는 지만 차이가 날 뿐, 앞서 설명한 바와 유사하게 계산이 수행될 수 있다. 계산은 각각의 데이터 기반 서브 함수 모델에 대해, 두 가지 모델 계산을 이용해서 도 3에 개략적으로 도시된 아래의 계산 단계에 따라 수행된다. 아래의 계산 단계 표기법은 제1 오차 모델과 관련이 있으며, 추가 오차 모델의 계산도 유사하게 수행된다.
계산(단계 S13)
(단계 S14)
A 제1 계산 커널(31)에서의 계산
exp(A) 소프트웨어 내 메인 계산 유닛(2)에서의 계산
(ax + c) 소프트웨어 내 메인 계산 유닛(2)에서의
평균값 함수의 계산
A 제1 계산 커널(31)에서의 계산(단계 S21)
exp(A) 소프트웨어 내 메인 계산 유닛(2)에서의 계산
(단계 S22)
(ax + c) 소프트웨어 내 메인 계산 유닛(2)에서의
평균값 함수의 계산(단계 S23)
(단계 S24)
Claims (14)
- 데이터 기반 함수 모델의 역 데이터 기반 함수 모델(inverse data-based function model)을 계산하기 위한 방법으로서,
하드웨어 기반의 방식으로 2개의 루프 연산에서 지수 함수, 합계(SUM) 함수 및 곱셈 함수를 갖는 데이터 기반 함수 모델의 함수값을, 멀티 커널 모델 계산 유닛(3)의 제1 하드웨어 커널을 이용하여 하드웨어로만 계산하는 단계;
사전 정의된 입력 변수의 원하는 값을 위한 데이터 기반 함수 모델의 그래디언트를, 멀티 커널 모델 계산 유닛(3)의 제2 하드웨어 커널을 이용하여 하드웨어로만 계산하는 단계; 및
데이터 기반 함수 모델의 함수값 및 데이터 기반 함수 모델의 그래디언트 둘에 의존하여 역 데이터 기반 함수 모델을 계산하는 단계를 포함하고,
데이터 기반 함수 모델의 함수값을, 멀티 커널 모델 계산 유닛(3)의 제1 하드웨어 커널을 이용하여 계산하는 단계 및 데이터 기반 함수 모델의 그래디언트를, 멀티 커널 모델 계산 유닛(3)의 제2 하드웨어 커널을 이용하여 계산하는 단계는 병렬적으로 실시되고,
역 데이터 기반 함수 모델은, 데이터 기반 함수 모델의 주어진 출력값에 대한 데이터 기반 함수 모델의 입력값을 계산하는, 방법. - 제1항에 있어서, 데이터 기반 함수 모델의 각각의 데이터 기반 서브 함수 모델이, 표본점 데이터와, 초모수와, 관련 데이터 기반 서브 함수 모델의 표본점 데이터 포인트의 개수에 상응하는 수의 원소(element)를 갖는 모수 벡터에 의해 규정되며, 이때 데이터 기반 함수 모델의 그래디언트를 계산하기 위해, 상기 모수 벡터에 표본점 데이터 포인트에 종속적인 가중 벡터가 부가됨으로써 데이터 기반 함수 모델이 변형되는, 방법.
- 제2항에 있어서, 데이터 기반 함수 모델의 그래디언트는 멀티 커널 모델 계산 유닛(3)에서 사전 정의된 입력 변수의 원하는 값을 위한, 변형된 데이터 기반 함수 모델의 함수값으로서 계산되고, 오프셋 값이 가산되는, 방법.
- 제2항 또는 제3항에 있어서, 표본점 데이터 포인트가 정규화되고, 변형된 데이터 기반 함수 모델의 함수값과 오프셋 값의 합계의 결과가 출력 데이터와 관련된 표본점 데이터의 표준 편차에 기반하는 계수와 곱해져서, 데이터 기반 함수 모델의 그래디언트가 얻어지는, 방법.
- 제2항 또는 제3항에 있어서, 변형된 데이터 기반 함수 모델을 계산하는 동안 모수 벡터에는 표본점 데이터 포인트에 종속적인 가중 벡터가 반복해서 부가되는, 방법.
- 제1항에 있어서, 데이터 기반 함수 모델의 각각의 데이터 기반 서브 함수 모델은 표본점 데이터, 초모수 및 모수 벡터에 의해 규정되며, 상기 모수 벡터는 표본점 데이터 포인트의 개수에 상응하는 수의 원소를 포함하며, 이때 사전 정의된 입력 변수와 관련된 데이터 기반 함수 모델의 그래디언트를 계산하기 위해, 멀티 커널 모델 계산 유닛(3)에서 사전 정의된 입력 변수의 원하는 값을 위해 데이터 기반 함수 모델의 함수값이 계산되고, 그 결과가 사전 정의된 입력 변수의 원하는 값과 곱해진 다음, 변동된 모수 벡터를 이용하여 멀티 커널 모델 계산 유닛(3)에서 데이터 기반 함수 모델이 새로 계산됨으로써, 데이터 기반 함수 모델이 변형되는, 방법.
- 삭제
- 메인 계산 유닛(2) 및 멀티 커널 모델 계산 유닛(3)을 구비한 장치이며,
상기 멀티 커널 모델 계산 유닛(3)은 하드웨어 기반의 방식으로 2개의 루프 연산에서 지수 함수, 합계 함수 및 곱셈 함수를 갖는 데이터 기반 함수 모델의 함수값을 계산하도록 형성되고, 상기 장치는 제1항 내지 제3항 중 어느 한 항에 따른 방법을 수행하도록 형성되며, 메인 계산 유닛(2) 및 멀티 커널 모델 계산 유닛(3)은 내부 통신 링크를 통해 상호 통신 연결이 이루어지는, 장치. - 컴퓨터 프로그램이 컴퓨터에서 실행될 때 제1항 내지 제3항 중 어느 한 항에 따른 방법의 모든 단계를 실행시키도록 설계된, 전자 기억 매체에 저장된 컴퓨터 프로그램.
- 제9항에 따른 컴퓨터 프로그램이 저장된 전자 기억 매체.
- 제10항에 따른 전자 기억 매체를 구비한 전자 제어 유닛.
- 제1항에 있어서, 상기 방법은 하나 또는 복수의 누적된 데이터 기반 서브 함수 모델을 이용하여 데이터 기반 함수 모델의 그래디언트를 계산하기 위해 구성된, 방법.
- 제12항에 있어서, 상기 서브 함수 모델은 가우시안 프로세스 모델인, 방법.
- 제8항에 있어서, 상기 장치는 제어 모듈(1)인, 장치.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013224694.3 | 2013-12-03 | ||
DE102013224694.3A DE102013224694A1 (de) | 2013-12-03 | 2013-12-03 | Verfahren und Vorrichtung zum Ermitteln eines Gradienten eines datenbasierten Funktionsmodells |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150064673A KR20150064673A (ko) | 2015-06-11 |
KR102257530B1 true KR102257530B1 (ko) | 2021-05-31 |
Family
ID=53058513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140167948A KR102257530B1 (ko) | 2013-12-03 | 2014-11-28 | 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법 및 장치 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10402509B2 (ko) |
KR (1) | KR102257530B1 (ko) |
CN (1) | CN104699658B (ko) |
DE (1) | DE102013224694A1 (ko) |
RU (1) | RU2679225C2 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106776641B (zh) * | 2015-11-24 | 2020-09-08 | 华为技术有限公司 | 一种数据处理方法及装置 |
DE102016216954A1 (de) * | 2016-09-07 | 2018-03-08 | Robert Bosch Gmbh | Modellberechnungseinheit und Steuergerät zur Berechnung einer partiellen Ableitung eines RBF-Modells |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000163384A (ja) | 1998-11-25 | 2000-06-16 | Hitachi Ltd | 半導体装置 |
JP2008520048A (ja) | 2004-11-10 | 2008-06-12 | エヌヴィディア コーポレイション | 汎用乗算加算機能ユニット |
US20090150308A1 (en) * | 2007-12-07 | 2009-06-11 | Microsoft Corporation | Maximum entropy model parameterization |
US20110282517A1 (en) * | 2010-04-27 | 2011-11-17 | Felix Streichert | Microcontroller having a computing unit and a logic circuit, and method for carrying out computations by a microcontroller for a regulation or a control in a vehicle |
JP2012208843A (ja) | 2011-03-30 | 2012-10-25 | Keihin Corp | 開発支援装置 |
JP2013525910A (ja) * | 2010-04-27 | 2013-06-20 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 制御装置及び制御のための出力変数を計算する方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6870183B2 (en) * | 2002-11-04 | 2005-03-22 | Advanced Micro Devices, Inc. | Stacked organic memory devices and methods of operating and fabricating |
DE10317650A1 (de) * | 2003-04-17 | 2004-11-04 | Robert Bosch Gmbh | Programmgesteuerte Einheit und Verfahren |
JP4208085B2 (ja) * | 2005-08-30 | 2009-01-14 | インターナショナル・ビジネス・マシーンズ・コーポレーション | アプリケーションプログラムの制御方法およびその装置 |
DE102007010771A1 (de) * | 2007-03-06 | 2008-10-30 | Robert Bosch Gmbh | Verfahren zur Bestimmung einer asymmetrischen Signalverzögerung eines Signalpfades innerhalb einer integrierten Schaltung |
KR100960797B1 (ko) * | 2008-05-09 | 2010-06-01 | 연세대학교 산학협력단 | 입력 데이터의 형식에 기반하여 고정 소수점 연산 또는부동 소수점 연산을 수행하는 재구성 가능한 연산 유닛 |
DE102009000783A1 (de) | 2008-08-27 | 2010-03-04 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Simulation dynamischer Systeme |
US8768659B2 (en) | 2008-09-19 | 2014-07-01 | The University Of Sydney | Method and system of data modelling |
CN201291002Y (zh) * | 2008-11-04 | 2009-08-19 | 深圳市蓝韵实业有限公司 | 一种频率相位控制器 |
RU2519331C2 (ru) | 2009-06-25 | 2014-06-10 | Асахи Гласс Компани, Лимитед. | Способ вычисления физического значения, способ численного анализа, программа вычисления физического значения, программа численного анализа, устройство вычисления физического значения и устройство численного анализа |
DE102010062653A1 (de) * | 2010-12-08 | 2012-06-14 | Robert Bosch Gmbh | Steuermodul und Verfahren zu seiner Herstellung |
-
2013
- 2013-12-03 DE DE102013224694.3A patent/DE102013224694A1/de active Pending
-
2014
- 2014-11-28 KR KR1020140167948A patent/KR102257530B1/ko active IP Right Grant
- 2014-12-02 CN CN201410721221.8A patent/CN104699658B/zh active Active
- 2014-12-02 US US14/558,544 patent/US10402509B2/en active Active
- 2014-12-02 RU RU2014148490A patent/RU2679225C2/ru active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000163384A (ja) | 1998-11-25 | 2000-06-16 | Hitachi Ltd | 半導体装置 |
JP2008520048A (ja) | 2004-11-10 | 2008-06-12 | エヌヴィディア コーポレイション | 汎用乗算加算機能ユニット |
US20090150308A1 (en) * | 2007-12-07 | 2009-06-11 | Microsoft Corporation | Maximum entropy model parameterization |
US20110282517A1 (en) * | 2010-04-27 | 2011-11-17 | Felix Streichert | Microcontroller having a computing unit and a logic circuit, and method for carrying out computations by a microcontroller for a regulation or a control in a vehicle |
JP2013525910A (ja) * | 2010-04-27 | 2013-06-20 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 制御装置及び制御のための出力変数を計算する方法 |
JP2012208843A (ja) | 2011-03-30 | 2012-10-25 | Keihin Corp | 開発支援装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104699658A (zh) | 2015-06-10 |
RU2014148490A (ru) | 2016-06-27 |
RU2014148490A3 (ko) | 2018-08-10 |
US20150154329A1 (en) | 2015-06-04 |
US10402509B2 (en) | 2019-09-03 |
DE102013224694A1 (de) | 2015-06-03 |
RU2679225C2 (ru) | 2019-02-06 |
CN104699658B (zh) | 2019-09-24 |
KR20150064673A (ko) | 2015-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3446260B1 (en) | Memory-efficient backpropagation through time | |
US11216721B2 (en) | Method for calculating a neuron layer of a multi-layer perceptron model with simplified activation function | |
US8818922B2 (en) | Method and apparatus for predicting application performance across machines with different hardware configurations | |
JP2019145111A (ja) | データに基づく関数モデルを計算するためのモデル計算ユニット、制御装置、及び方法 | |
CN106372278A (zh) | 一种联合考虑输入参数不确定性和代理模型不确定性的灵敏度分析方法 | |
CN110663049A (zh) | 神经网络优化器搜索 | |
CN113592095B (zh) | 一种基于量子计算的模型训练方法及装置 | |
US9934197B2 (en) | Method and device for providing a sparse Gaussian process model for calculation in an engine control unit | |
KR102257530B1 (ko) | 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법 및 장치 | |
EP4009239A1 (en) | Method and apparatus with neural architecture search based on hardware performance | |
US20210312278A1 (en) | Method and apparatus with incremental learning moddel | |
KR20200000660A (ko) | 실시간 시계열 데이터를 위한 예측 모형 생성 시스템 및 방법 | |
Armstrong et al. | A fast resample method for parametric and semiparametric models | |
WO2020190745A1 (en) | Budgeted neural network architecture search system and method | |
Aliaga et al. | Solving dense generalized eigenproblems on multi-threaded architectures | |
WO2023149838A2 (en) | Machine learning with periodic data | |
CN114692529B (zh) | 一种cfd高维响应的不确定度量化方法、装置、计算机设备 | |
EP4109351A1 (en) | Inference program, inference method, and information processing apparatus | |
Mirza | Online additive updates with FFT-IFFT operator on the GRU neural networks | |
CN113779498A (zh) | 离散傅里叶矩阵重构方法、装置、设备和存储介质 | |
CN104570757B (zh) | 用于运行集成控制组件的方法和装置 | |
Zajac et al. | FREQUENCY-SUPPORTED NEURAL NETWORKS FOR NONLINEAR DYNAMICAL SYSTEM IDENTIFICATION | |
Simos et al. | Bayesian inference of the fractional Ornstein–Uhlenbeck process under a flow sampling scheme | |
Jayalatchumy et al. | A Novel Approach to Overcome the Limitations of Power Iteration Algorithm Designed for Clustering | |
JP2023177810A (ja) | 系列予測方法、系列予測装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |