KR102257530B1 - 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법 및 장치 - Google Patents

데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102257530B1
KR102257530B1 KR1020140167948A KR20140167948A KR102257530B1 KR 102257530 B1 KR102257530 B1 KR 102257530B1 KR 1020140167948 A KR1020140167948 A KR 1020140167948A KR 20140167948 A KR20140167948 A KR 20140167948A KR 102257530 B1 KR102257530 B1 KR 102257530B1
Authority
KR
South Korea
Prior art keywords
data
model
function
calculation unit
kernel
Prior art date
Application number
KR1020140167948A
Other languages
English (en)
Other versions
KR20150064673A (ko
Inventor
미햐엘 한젤만
얀 마티아스 쾰러
하이너 마르커르트
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20150064673A publication Critical patent/KR20150064673A/ko
Application granted granted Critical
Publication of KR102257530B1 publication Critical patent/KR102257530B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F02D41/1402—Adaptive control
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2429—Methods of calibrating or learning
    • F02D41/2438—Active learning methods
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2429—Methods of calibrating or learning
    • F02D41/2477—Methods of calibrating or learning characterised by the method used for learning
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/26—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using computer, e.g. microprocessor
    • F02D41/28—Interface circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F02D2041/1433—Introducing closed-loop corrections characterised by the control or regulation method using a model or simulation of the system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Complex Calculations (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은, 특히 하나 또는 복수의 누적된 데이터 기반 서브 함수 모델, 특히 가우시안 프로세스 모델을 이용하여 데이터 기반 함수 모델의 그래디언트를 계산하기 위한 방법에 관한 것으로, 이 방법에서는 하드웨어 기반으로 2개의 루프 연산에서 지수 함수, 합계(SUM) 함수 및 곱셈 함수를 이용하여 데이터 기반 함수 모델의 함수값을 계산하도록 형성된 모델 계산 유닛(3)이 제공되며, 사전 정의된 입력 변수의 원하는 값을 위한 데이터 기반 함수 모델의 그래디언트를 계산하기 위해 상기 모델 계산 유닛(3)이 이용된다.

Description

데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법 및 장치{METHOD AND DEVICE FOR DETERMINING A GRADIENT OF A DATA-BASED FUNCTION MODEL}
본 발명은, 특히 데이터 기반 함수 모델을 계산하기 위해 하드와이어드(hard-wired) 방식으로 형성된 하드웨어 유닛을 구비한 제어 모듈을 이용하여 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법에 관한 것이다.
제어 장치 내에서, 특히 내연 기관용 엔진 제어 장치 내에서 함수 모델을 구현하기 위해, 데이터 기반 함수 모델이 제공될 수 있다. 데이터 기반 함수 모델은 비모수 모델(nonparametric model)이라고도 지칭되며, 특별한 사전 정의 없이 훈련 데이터(training data)로부터, 다시 말해 수많은 훈련 데이터 포인트로부터 생성될 수 있다.
선행 기술로부터, 데이터 기반 함수 모델을 계산하기 위해 제어 장치 내에 메인 계산 유닛 및 별도의 모델 계산 유닛을 구비한 제어 모듈들이 공지되었다. 즉, 예를 들어 독일 공개 특허 출원서 DE 10 2010 028 259 A1호에는, 특히 가우시안 프로세스 모델을 계산하는 데 필요한 베이지안 회귀 방법의 수행을 지원하기 위해 지수 함수들을 계산하도록 형성된 추가의 논리 회로를 모델 계산 유닛으로서 구비한 제어 장치가 공개되어 있다.
전체적으로 모델 계산 유닛은, 데이터 기반 함수 모델을 계산하기 위한 산술적 프로세스를 수행하기 위해 모수(parameter) 및 표본점 혹은 훈련 데이터에 기반하여 설계된다. 특히 모델 계산 유닛의 함수들이 지수 함수 및 합계 함수의 효율적인 계산을 위해 순수 하드웨어로 실행됨으로써, 소프트웨어 제어 방식의 메인 계산 유닛에서 수행될 수 있는 것보다 더 빠른 계산 속도로 가우시안 프로세스 모델을 계산할 수 있다.
여러 용례에 있어서, 특히 내연 기관용 제어 장치에서 데이터 기반 함수 모델의 함수값을 계산하는 것으로 충분하다. 하지만, 특히 데이터 기반의 역함수 모델을 계산하기 위해 데이터 기반 함수 모델의 그래디언트가 필요한 용례들도 공지되어 있다.
본 발명에 따라 데이터 기반 함수 모델, 특히 가우시안 프로세스 모델의 그래디언트를 검출하기 위한 청구항 1에 따른 방법 그리고 대등한 독립 청구항에 따른 장치가 제공된다.
그 외 실시예들은 종속 청구항들에 제시되어 있다.
제1 양태에 따라, 데이터 기반 함수 모델, 특히 가우시안 프로세스 모델의 그래디언트를 계산하기 위한 방법이 제공된다. 하드웨어 기반으로 2개의 내포 루프(nested loop) 연산에서 지수 함수, 합계(SUM) 함수 및 곱셈 함수를 이용하여 데이터 기반 함수 모델의 함수값을 계산하기 위한 모델 계산 유닛이 형성되며, 이 경우 사전 정의된 입력 변수의 원하는 값을 위한 데이터 기반 함수 모델의 그래디언트를 계산하기 위해 상기 모델 계산 유닛이 이용된다.
상기 방법의 한 가지 사상은, 데이터 기반 함수 모델의 그래디언트의 계산을 수행하는 것이며, 이 경우 실질적으로 데이터 기반 함수 모델의 함수값을 계산하기 위해 하드웨어 방식으로 실행되는 기존의 알고리즘이 사용되어야 한다. 이는 하드웨어 기반의 모델 계산 유닛에서 데이터 기반 함수 모델을 위한 그래디언트의 계산을 수행하는 것을 가능하게 하며, 상기 하드웨어 기반의 모델 계산 유닛 내에서는 데이터 기반 함수 모델을 계산하기 위한 알고리즘이 실질적으로 하드와이어드 방식으로, 다시 말해 하드웨어 방식으로 실행된다. 데이터 기반 함수 모델의 그래디언트를 간단히 계산함으로써, 특히 뉴턴 반복법을 이용하여 역 모델(reverse model)을 계산할 수 있으며, 이러한 역 모델에서는 정해진 입력 차원과 관련하여 주어진 목표값을 위해 국부적으로 수치상 역전(numerical inversion)이 수행될 수 있다.
또한, 데이터 기반 함수 모델이 표본점 데이터, 초모수(hyperparameter) 및 모수 벡터에 의해 규정될 수 있으며, 이때 모수 벡터는 표본점 데이터 포인트의 개수에 상응하는 개수의 원소(element)를 포함하며, 이 경우 사전 정의된 입력 변수의 원하는 값을 위한 데이터 기반 함수 모델의 그래디언트를 계산하기 위해, 모수 벡터에 표본점 데이터 포인트에 종속적인 가중 벡터가 부가됨으로써 데이터 기반 함수 모델이 변형된다.
또 다른 한 실시예에 따라, 모델 계산 유닛 내에서 사전 정의된 입력 변수의 원하는 값을 위한, 변형된 데이터 기반 함수 모델의 함수값으로서 데이터 기반 함수 모델의 그래디언트가 계산되고, 오프셋 값이 가산될 수 있다.
또한, 표본점 데이터 포인트가 정규화되었다면, 데이터 기반 함수 모델의 그래디언트를 얻기 위해, 변형된 데이터 기반 함수 모델의 함수값과 오프셋 값의 합계의 결과가 출력 데이터와 관련된 표본점 데이터의 표준 편차에 기반하는 계수와 곱해질 수 있다.
변형된 데이터 기반 함수 모델을 계산하는 동안 모수 벡터에는 표본점 데이터 포인트에 종속적인 가중 벡터가 반복해서 부가될 수 있다.
일 실시예에 따라, 데이터 기반 함수 모델은 표본점 데이터, 초모수 및 모수 벡터에 의해 규정될 수 있으며, 이때 모수 벡터는 표본점 데이터 포인트의 개수에 상응하는 수의 원소를 포함하며, 이 경우 사전 정의된 입력 변수와 관련한 데이터 기반 함수 모델의 그래디언트를 계산하기 위해, 모델 계산 유닛 내에서 사전 정의된 입력 변수의 원하는 값을 위해 데이터 기반 함수 모델의 함수값이 계산되고, 그 결과가 사전 정의된 입력 변수의 원하는 값과 곱해진 다음, 변동된 모수 벡터를 이용하여 모델 계산 유닛 내에서 데이터 기반 함수 모델이 새로 계산됨으로써, 데이터 기반 함수 모델이 변형된다.
또 다른 한 양태에 따라, 메인 계산 유닛 및 모델 계산 유닛을 구비한 제어 모듈 내에서 데이터 기반 함수 모델을 위한 뉴턴 반복법을 수행하기 위한 방법이 제공되며, 이때 모델 계산 유닛은 하드웨어 기반으로 2개의 루프 연산에서 지수 함수, 합계 함수 및 곱셈 함수를 이용하여 데이터 기반 함수 모델의 함수값을 계산하도록 형성되고, 이 경우 상기 방법에 따라 데이터 기반 함수 모델의 그래디언트가 결정되고, 데이터 기반 함수 모델은 상기 모델 계산 유닛에 의해 계산된다.
또한, 데이터 기반 함수 모델의 그래디언트는 모델 계산 유닛의 제1 계산 커널에서 계산될 수 있고, 데이터 기반 함수 모델의 함수값은 모델 계산 유닛의 제2 계산 커널에서 계산될 수 있다.
또 다른 한 양태에 따라 장치, 특히 메인 계산 유닛 및 모델 계산 유닛을 구비한 제어 모듈이 제공되며, 이때 모델 계산 유닛은 하드웨어 기반으로 2개의 루프 연산에서 지수 함수, 합계 함수 및 곱셈 함수를 이용하여 데이터 기반 함수 모델의 함수값을 계산하도록 형성되고, 이 경우 상기 장치는 전술한 방법을 수행하도록 형성된다.
이하, 첨부된 도면을 참조하여 실시예들을 상세히 설명한다.
도 1은 메인 계산 유닛 및 별도의 모델 계산 유닛을 구비한 집적 제어 모듈의 개략도이다.
도 2는 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법을 설명하기 위한 흐름도이다.
도 3은 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 한 대안적 방법을 설명하기 위한 흐름도이다.
도 4는 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 한 대안적 방법을 설명하기 위한 흐름도이다.
도 1은 예컨대 마이크로컨트롤러 형태의 집적 제어 모듈(1)을 위한 하드웨어 아키텍처의 개략도를 보여주며, 상기 집적 제어 모듈 내에는 하드웨어에 기반한, 데이터 기반 함수 모델의 계산을 위해 메인 계산 유닛(2) 및 별도의 모델 계산 유닛(3)이 집적 방식으로 제공되어 있다. 메인 계산 유닛(2)과 모델 계산 유닛(3)은 예컨대 시스템 버스와 같은 내부 통신 링크(4)를 통해 상호 통신 연결이 이루어진다.
기본적으로 모델 계산 유닛(3)은 실질적으로 하드와이어드 방식으로 형성되며, 따라서 소프트웨어 코드를 실행하도록 형성되는 메인 계산 유닛(2)과는 상이하다. 그 대안으로 가능한 해결책 중 하나는, 데이터 기반 함수 모델을 계산하기 위한 모델 계산 유닛(3)이, 고도로 특성화되고 한정된 명령 세트를 제공하는 것이다. 모델 계산 유닛(3)은 전문화된 계산 유닛으로서 사전에 결정된 계산 프로세스만을 계산하도록 설계된다. 이는 상기와 같은 모델 계산 유닛(3)의 자원 최적화 구현 혹은 집적 방식으로 공간 최적화된 구조를 가능케 한다.
모델 계산 유닛(3)은 소수의 계산 커널을 포함하는데, 예를 들어 도 1에 도시된 실시예에서는 제1 계산 커널(31) 및 제2 계산 커널(32)을 포함하며, 이들 계산 커널은 각각 사전 정의된 알고리즘의 계산을 순수 하드웨어 방식으로 실행한다. 모델 계산 유닛(3)은 그 밖에도 구성 데이터의 기억을 위한 로컬 SRAM 메모리(33)도 포함할 수 있다. 또한, 모델 계산 유닛(3)은 로컬 DMA 유닛(34)(DMA = Direct Memory Access)도 포함할 수 있다. 로컬 DMA 유닛(34)을 이용하여 제어 모듈(1)의 집적 자원에 대한 액세스, 특히 내부 메모리(5)에 대한 액세스가 가능하다.
제어 모듈(1)은 내부 메모리(5) 및 추가 DMA 유닛(6)(DMA = Direct Memory Access)을 포함할 수 있다. 내부 메모리(5)와 추가 DMA 유닛(6)은 적합한 방식으로, 예컨대 내부 통신 링크(4)를 통해 서로 연결되어 있다. 내부 메모리(5)는 [메인 계산 유닛(2), 모델 계산 유닛(3) 및 경우에 따라 다른 추가 유닛을 위한] 공통 SRAM 메모리와, 구성 데이터(모수 및 표본점 데이터)를 위한 플래시 메모리를 포함할 수 있다.
데이터 기반의 비모수 함수 모델의 사용은 베이지안 회귀 방법을 토대로 한다. 베이지안 회귀 방법의 기초는 예를 들어 C.E. Rasmussen 외 공저, "Gaussian Processes for Machine Learning"(MIT press 2006)에 기술되어 있다. 베이지안 회귀 방법은 하나의 모델에 기반하는 데이터 기반 방법이다. 모델을 생성하기 위해서는, 훈련 데이터의 측정 포인트들 그리고 모델링할 출발 변수에 관련 출발 데이터가 필요하다. 모델의 생성은, 훈련 데이터에 전체적으로 또는 부분적으로 상응하거나 이 훈련 데이터로부터 발생하는 표본점 데이터의 사용을 토대로 이루어진다. 또한, 모델 함수의 공간을 모수화하고 추후 모델 예측에 미칠 훈련 데이터의 개별 측정 포인트의 영향을 효과적으로 가중시키는 추상적인 초모수가 결정된다.
추상적인 초모수는 최적화 방법에 의해 결정된다. 이러한 최적화 방법의 가능성 중 하나는 주변 우도(Marginal Likelihood) p(Y│H,X)의 최적화이다. 주변 우도 p(Y│H,X)는, 모델 모수(H) 및 훈련 데이터의 x 값에서 벡터(Y)로서 표현되는, 훈련 데이터의 측정된 y 값의 타당성(plausibility)을 기술한다. 모델 훈련에서, 초모수 및 훈련 데이터에 의해 결정된 모델 함수의 거동을 유도하고 훈련 데이터를 가급적 정확하게 재현하는 데 적합한 초모수가 구해짐으로써, p(Y│H,X)가 최대화된다. 계산의 간소화를 위해 p(Y│H,X)의 로그(log)를 최대화하는데, 그 이유는 로그가 타당성 함수의 연속성을 변경시키지 않기 때문이다.
가우시안 프로세스 모델의 계산은 도 2에 개략적으로 도시된 단계들에 상응하게 실시된다. 테스트 포인트(x)(입력 변수 벡터)를 위한 입력값
Figure 112014115534727-pat00001
가 먼저, 특히 다음 공식에 상응하게 정규화될 수 있다.
Figure 112014115534727-pat00002
상기 공식에서 mx는 표본점 데이터의 입력값들의 평균값과 관련한 평균값 함수에 상응하고, sx는 표본점 데이터의 입력값들의 분산(variance)에 상응하며, d는 테스트 포인트(x)의 차원(D)에 대한 지수에 상응한다.
데이터 기반의 비모수 함수 모델의 결과로서 아래와 같은 공식을 얻을 수 있다.
Figure 112014115534727-pat00003
상기와 같이 결정된 모델값(v)은 출력 정규화를 이용하여, 특히 아래와 같은 공식에 따라 정규화된다.
Figure 112014115534727-pat00004
상기 공식에서 v는 정규화된 테스트 포인트 x(차원 D의 입력 변수 벡터)에서 정규화된 모델값(출력값)에 상응하며,
Figure 112014115534727-pat00005
는 (정규화되지 않은) 테스트 포인트
Figure 112014115534727-pat00006
(차원 D의 입력 변수 벡터)에서 (정규화되지 않은) 모델값(출력값)에 상응하고, xi는 표본점 데이터의 일 표본점에 상응하며, N은 표본점 데이터의 표본점 개수에 상응하고, D는 입력 데이터 공간/훈련 데이터 공간/표본점 데이터 공간의 차원에 상응하며, Id 및 σf는 모델 훈련으로부터 유도된 초모수, 즉 길이 스케일 혹은 진폭 계수에 상응한다. 벡터 Qy는 초모수와 훈련 데이터로부터 계산된 변수이다. 또한, my는 표본점 데이터들의 출력값들의 평균값과 관련한 평균값 함수에 상응하고, sy는 표본점 데이터의 출력값들의 분산에 상응한다.
입력 정규화 및 출력 정규화가 실시되는데, 그 이유는 가우시안 프로세스 모델의 계산은 일반적으로 정규화 공간 내에서 실시되기 때문이다.
계산을 시작하기 위해 특히 계산 유닛(2)은 로컬 DMA 유닛(34) 또는 추가 DMA 유닛(6)을 포함할 수 있으며, 이들 유닛은 계산될 함수 모델에 관련된 구성 데이터를 모델 계산 유닛(3)으로 전달하여, 상기 구성 데이터를 이용해 수행되는 계산을 시작하도록 형성된다. 구성 데이터는 가우시안 프로세스 모델의 초모수 그리고 표본점 데이터를 포함하며, 이 표본점 데이터는 바람직하게 주소 포인터(address pointer)를 이용하여 모델 계산 유닛(3)에 할당된 내부 메모리(5)의 주소 영역에 지정된다. 특히 이를 위해, 특히 모델 계산 유닛(3) 내부에 또는 모델 계산 유닛에 배치될 수 있는 모델 계산 유닛(3)용 SRAM 메모리(33)도 사용될 수 있다. 또한, 내부 메모리(5)와 SRAM 메모리(33)가 조합되어 사용될 수도 있다.
모델 계산 유닛(3) 내에서의 계산은, 상기 계산 법칙에 상응하며 아래의 의사 코드(pseudo code)에 의해 구현된, 모델 계산 유닛(3)의 하드웨어 아키텍처 내에서 수행된다. 의사 코드로부터 알 수 있는 사실은, 계산이 내부 루프 및 외부 루프 내에서 수행되고 그 부분 결과들이 누적된다는 것이다. 모델 계산의 시작 시, 계수기 시작 변수(Nstart)의 일반적인 값은 0이다.
Figure 112014115534727-pat00007
Figure 112014115534727-pat00008
즉, 데이터 기반 함수 모델의 계산을 위해 필요한 모델 데이터는 초모수 및 표본점 데이터를 포함하며, 이들은 관련 데이터 기반 함수 모델에 할당된 메모리 유닛 내 기억 영역에 기억된다. 상기 의사 코드에 상응하게, 데이터 기반 함수 모델을 계산하기 위한 변수는 각각의 차원에 대해 정의된 정규화 모수 s_x(sx에 상응함), m_x(mx에 상응함), s_y(s y 에 상응함), m_y(m y 에 상응함), 모수 벡터 Q_y(Qy에 상응함), 정규화된 훈련 데이터 X, 표본점 포인트의 개수 N, 입력 변수의 차원 개수 D, 외부 루프의 시작값 nStart, 내부 루프의 계산의 재개 시 루프 지수 vInit(일반적으로 = 0), 그리고 입력 변수의 각각의 차원에 대한 길이 스케일(l)을 포함한다.
집적된 제어 모듈 내에서는 일반적으로 초모수 및 표본점 데이터에 의해 정의된 가우시안 프로세스 모델의 함수값이 계산된다. 또한, 집적된 제어 모듈(1) 내에서 실행되는 함수에 따라 역함수를 계산해야 할 수도 있으며, 이 경우 정의된 출력값(y a ) 및 고정된 입력 데이터(
Figure 112014115534727-pat00009
)를 위해 아래와 같은 공식이 도출되도록
Figure 112014115534727-pat00010
의 값이 계산되어야 한다.
Figure 112014115534727-pat00011
.
Figure 112014115534727-pat00012
의 함수는 일반적으로 역전될 수 없기 때문에, 역함수 문제를 해결하기 위해 영점 결정을 위한 방법, 특히 뉴턴 방법이 사용될 수 있다. 이 뉴턴 방법을 이용하여 함수,
Figure 112014115534727-pat00013
의 영점을 구할 수 있다.
실가 함수의 영점을 구하기 위해, 뉴턴 방법은 반복 프로세스를 제공하며, 여기서 n은 n번째 반복에 상응한다.
Figure 112014115534727-pat00014
그럼으로써, n번째 반복에서
Figure 112014115534727-pat00015
의 갱신이 이루어진다. 따라서, 함수
Figure 112014115534727-pat00016
및 이 함수의 도함수
Figure 112014115534727-pat00017
는 입력점
Figure 112014115534727-pat00018
에서 계산된다. 입력 벡터
Figure 112014115534727-pat00019
에서 데이터 기반 함수 모델의 함수값 및 이 데이터 기반 함수 모델의 제1 도함수의 계산 시, 세 가지 경우가 구분될 수 있다.
첫 번째 경우는, 각각 k번째 데이터 기반 서브 함수 모델에 대해 표본점 데이터 포인트
Figure 112014115534727-pat00020
및
Figure 112014115534727-pat00021
의 양이 정규화되지 않은 상황과 관련된다. 하나의 1차 평균값 함수 및 2개의 데이터 기반 서브 함수 모델(가우시안 프로세스 모델)을 갖는 구체적 예에서 출발하여, 데이터 기반 함수 모델의 그래디언트가 계산된다. 이러한 접근 방식은 임의로 2개 이상의 서브 함수 모델로 확장될 수 있다. 데이터 기반 함수 모델은 아래와 같이 기술된다.
Figure 112014115534727-pat00022
Figure 112014115534727-pat00023
여기서
Figure 112014115534727-pat00024
및
Figure 112014115534727-pat00025
는 데이터 기반 서브 함수 모델에 상응하고,
Figure 112014115534727-pat00026
는 초모수 혹은 이로부터 유도되는 k번째 가우시안 프로세스 모델의 모수에 상응하며,
Figure 112014115534727-pat00027
는 목표값에 상응하고,
Figure 112014115534727-pat00028
는 평균값 함수에 상응하며,
Figure 112014115534727-pat00029
는 표본점 데이터에 상응한다.
Figure 112014115534727-pat00030
에서 제1 서브 도함수
Figure 112014115534727-pat00031
는,
Figure 112014115534727-pat00032
이다.
두 번째 경우에서는 훈련 데이터 량이 정규화된다. 정규화된 데이터를 개별 가우시안 프로세스 모델로부터 얻은 합계 모델의 훈련에 사용할 때의 난점 중 하나는, 각각의 서브 모델에 대해 정규화를 위한 모수, 즉 표준 편차
Figure 112014115534727-pat00033
및 데이터들의 평균값
Figure 112014115534727-pat00034
이 상이한 모델(k)에 대해 상이하고, 이는 각각 상이한 정규화를 유도한다는 점이다. 그렇기 때문에, 전체 계산을 정규화된 값 공간 내에서 수행하고 그 결과를 역변환하는 것이 불가능한데, 그 이유는 측정된 모든 표본점 데이터
Figure 112014115534727-pat00035
에 대해 일관된
Figure 112014115534727-pat00036
또는
Figure 112014115534727-pat00037
이 존재하지 않기 때문이다. 정규화된 데이터를 갖는 가우시안 프로세스 모델이 훈련되기 때문에, 정규화된 값 공간 내에서 계산을 수행할 필요가 있는데, 그 이유는 바로 상기 계산의 초모수가 정규화된 값 공간을 위해서 훈련되었기 때문이다. 각각의 가우시안 프로세스 모델을 위한 정규화 모수가 상이한 경우,
Figure 112014115534727-pat00038
는 입력 벡터(
Figure 112014115534727-pat00039
)가
Figure 112014115534727-pat00040
및
Figure 112014115534727-pat00041
로써 정규화됨을 지시한다.
가우시안 프로세스 모델의 훈련을 위해 정규화되지 않은 데이터를 사용하면,
Figure 112014115534727-pat00042
의 값을 얻게 된다. 가우시안 프로세스 모델의 훈련을 위해 정규화된 데이터를 사용하면, 상응하는 정규화 모수를 이용한 가우시안 프로세스 모델의 각각의 함수값의 역 정규화에 의해 함수
Figure 112014115534727-pat00043
의 함수값이 계산된다. 1차 평균값 함수는 정규화된 데이터를 전혀 사용하지 않기 때문에, 상기 1차 평균값 함수를 위해서는 역 정규화가 불필요하다. 따라서, 함수값
Figure 112014115534727-pat00044
에 대해 다음의 공식을 얻게 된다.
Figure 112014115534727-pat00045
상기 공식에서
Figure 112014115534727-pat00046
와
Figure 112014115534727-pat00047
간의 차이는, 제1 표현은 제1 가우시안 프로세스 모델이 정규화되지 않은 입력 벡터(
Figure 112014115534727-pat00048
)를 포함하고, 이 모델이 정규화되지 않은 데이터에 맞추어 훈련되었음을 의미하는 반면, 제2 표현은 입력 벡터(
Figure 112014115534727-pat00049
)가 정규화 모수(
Figure 112014115534727-pat00050
및
Figure 112014115534727-pat00051
)를 이용하여 정규화되었음을 의미하는 데 있다. 상응하는 가우시안 프로세스 모델은 정규화된 데이터로써 훈련되었고, 그 결과(
Figure 112014115534727-pat00052
)는 정규화된 추정값이다.
이 경우, 제1 도함수(
Figure 112014115534727-pat00053
)는 아래와 같다.
Figure 112014115534727-pat00054
두 가우시안 프로세스 모델(
Figure 112014115534727-pat00055
와
Figure 112014115534727-pat00056
)의 입력은 서로 상이한데, 그 이유는 각각의 가우시안 프로세스 모델이 자신의 독자적인 정규화를 갖기 때문이다. 벡터(X)가 D차원이므로, 제2 서브 함수 모델의 차원(p)의 표준 편차는
Figure 112014115534727-pat00057
에 의해 주어진다.
세 번째 경우에서는 훈련 데이터량이 출력과 관련하여 함수
Figure 112014115534727-pat00058
를 이용하여 박스-콕스 변환(Box-Cox transformation)되고, X는 정규화된다. 이 세 번째 경우에도 계산은 임의 개수의 데이터 기반 서브 함수 모델을 이용하여 수행될 수 있다.
이 경우, 함수
Figure 112014115534727-pat00059
는 다음 공식으로 표현된다.
Figure 112014115534727-pat00060
가산적 가우시안 프로세스 모델들이 정규화 및 박스-콕스 변환된 훈련 데이터로 훈련되었다. 1차 평균값 함수(
Figure 112014115534727-pat00061
)는 정규화되지 않은 입력 벡터(
Figure 112014115534727-pat00062
)를 입력으로서 사용한다. 이는 다음의 공식을 유도한다.
Figure 112014115534727-pat00063
상기 공식에서
Figure 112014115534727-pat00064
및
Figure 112014115534727-pat00065
는 박스-콕스 변환된 데이터(
Figure 112014115534727-pat00066
)의 표준 편차 및 평균값에 상응한다. 제1 도함수는 박스-콕스 변환[
Figure 112014115534727-pat00067
] 및 그의 역수스[
Figure 112014115534727-pat00068
]에 의존하기 때문에 일반적인 형태로 표현될 수 없다. 이와 같은 이유에서
Figure 112014115534727-pat00069
는 다양한 박스-콕스 변환을 위해 유도된다. 이하에서는 x만 정규화되지 않고, 다른 데이터들(
Figure 112014115534727-pat00070
)도 이들 각각의 정규화 모수에 상응하게 정규화된다. 함수 [
Figure 112014115534727-pat00071
Figure 112014115534727-pat00072
]는 정규화된 X와, 박스-콕스 변환되고 정규화된 Y를 이용하여 훈련된다.
아래와 같은 공식이 도출된다.
Figure 112014115534727-pat00073
여기에서
Figure 112014115534727-pat00074
이다.
이 공식은 log(y)에 의한 박스-콕스 변환에 상응한다. 다른 박스-콕스 변환의 경우,
Figure 112014115534727-pat00075
의 추론은 유사하다.
뉴턴 알고리즘의 경우, 2개의 필수 표현, 즉
Figure 112014115534727-pat00076
및
Figure 112014115534727-pat00077
가 계산될 수 있다. 표본점 데이터 X 및 Y가 정규화되지 않은 첫 번째 경우에서는, 집적된 제어 모듈(1)의 모델 계산 유닛(3)의 계산을 통해
Figure 112014115534727-pat00078
의 계산이 가능하다. 단지
Figure 112014115534727-pat00079
만 감산하면 되며, 다시 말해 역합수 문제를 위한 사전 설정 값(
Figure 112014115534727-pat00080
)만 감산하면 된다. 대안적으로는, c가
Figure 112014115534727-pat00081
만큼 줄어듦으로써
Figure 112014115534727-pat00082
는 평균값 모델 모수(a 및 c)에 통합될 수 있다.
아래의 공식,
Figure 112014115534727-pat00083
은 하나의 1차 평균값 함수 및 2개의 가산적 가우시안 프로세스 모델을 갖는 함수값의 도함수를 계산하기 위한 공식이다. 각각의 데이터 기반 서브 함수 모델(오차 모델)을 위해, 도함수는 오차 모델의 모델 계산 유닛(3) 내에서 가중된 계산으로서 테스트 포인트(
Figure 112014115534727-pat00084
)에서 계산될 수 있으며, 이 경우 가중치는
Figure 112014115534727-pat00085
에 의존한다. 모수 벡터(Qy1)는, 훈련 데이터의, 대각선 상에 잡음이 인가된 공분산 행렬의 역수와 관련 출력값의 벡터의 곱을 제공하며, 상황에 따라 모델 계산 유닛(3) 내에서의 계산 중에 신속하게 교체될 수 있다. 그렇기 때문에, 아래의 공식은 (2개의 가산적 데이터 기반 서브 함수 모델에서) 도함수를 계산하는 데 이용될 수 있다.
Figure 112014115534727-pat00086
항
Figure 112014115534727-pat00087
및
Figure 112014115534727-pat00088
은 각각 모델 계산 유닛(3)에 의해 계산될 수 있다. 2개의 계산 사이에, 단지 k번째 데이터 기반 서브 함수 모델의 모수 벡터(
Figure 112014115534727-pat00089
)만 적응되면 되며, 이때
Figure 112014115534727-pat00090
)는
Figure 112014115534727-pat00091
에, 혹은
Figure 112014115534727-pat00092
에 존재한다. 이를 위해, 모수 벡터(
Figure 112014115534727-pat00093
)가 가중 계수(
Figure 112014115534727-pat00094
)와 곱해짐으로써 상기 모수 벡터의 i번째 엔트리가 적응되며, 이때,
Figure 112014115534727-pat00095
가 적용된다.
Figure 112014115534727-pat00096
가
Figure 112014115534727-pat00097
에 의존하고
Figure 112014115534727-pat00098
의 p번째 성분이 반복 진행 중에 변동하므로,
Figure 112014115534727-pat00099
및 그와 더불어 모수 벡터(
Figure 112014115534727-pat00100
)는 각각의 계산 단계(i)에서 변동될 수밖에 없다. 그렇기 때문에, 모수 벡터(
Figure 112014115534727-pat00101
)가 계산 동안 신속하게 변동될 수 있어야 한다. 따라서, 모델 계산 유닛(3)에서의 계산을 위해 공식,
Figure 112014115534727-pat00102
가 도출되고, 이때 계산은 변동하는 모수 벡터(
Figure 112014115534727-pat00103
)에 따라 수행된다.
모수 벡터(
Figure 112014115534727-pat00104
)의 실시간(on the fly) 업데이트가 불가능하면, 계산은 공식,
Figure 112014115534727-pat00105
을, 아래의 표현,
Figure 112014115534727-pat00106
으로 고쳐씀으로써 수행될 수 있다. 이 경우, 도 2에 도시된 바와 같이, 모델 계산 유닛(3) 내에서 두 가지 계산이 하기과 같이 수행된다. 이하에는 제1 오차 모델을 위한 계산이 설명된다. 추가 오차 모델을 위한 계산들도 유사하게 진행된다.
제1 계산(단계 S1)
Figure 112014115534727-pat00107
계산 커널(31, 32) 중 하나에서, 메인 계산 유닛(2) 내에서
Figure 112014115534727-pat00108
와의 소프트웨어 곱셈,
Figure 112014115534727-pat00109
이 뒤따라 수행되며(단계 S2), 모델 계산 유닛(3) 내에서 수행되는 후속 계산(단계 S3)에서는 변동된 모수 벡터(
Figure 112014115534727-pat00110
)와의 소프트웨어 곱셈이 뒤따라 수행되며, 상기 모수 벡터는 기존 모수 벡터(
Figure 112014115534727-pat00111
)와
Figure 112014115534727-pat00112
의 원소별 곱셈,
Figure 112014115534727-pat00113
을 통해 결정된다. 모델 계산 유닛(3) 내에서 수행되는 계산들은 하나의 계산 단계를 계산하기 위해 반드시 필요하다. 따라서, 계산이 진행되는 동안 모델 모수를 변경시킬 필요가 없다.
뉴턴 방법의 계산에서는 각각의 반복을 위한
Figure 112014115534727-pat00114
의 계산이 실시된다. 그렇기 때문에 항,
Figure 112014115534727-pat00115
은 단지 곱셈만 필요로 할 뿐, 모델 계산 유닛(3)의 추가 계산은 필요로 하지 않는다. 두 가지 모델 계산이 가능하기 때문에, 각각의 반복을 위한
Figure 112014115534727-pat00116
및
Figure 112014115534727-pat00117
의 계산은 계산 커널(31, 32) 내에서 동시에 실시될 수 있다.
훈련 데이터(
Figure 112014115534727-pat00118
)가 정규화된 두 번째 경우에 대해서는, 앞에서 설명된 바와 마찬가지로
Figure 112014115534727-pat00119
로써
아래 공식,
Figure 112014115534727-pat00120
Figure 112014115534727-pat00121
이 계산될 수 있다. 이때 계수
Figure 112014115534727-pat00122
는 정규화된 x 값에 맞추어 계산되는데, 다시 말하자면
Figure 112014115534727-pat00123
에 맞추어 지시된 기록 방식으로, 특히
Figure 112014115534727-pat00124
를 이용한 계산에 의해 계산된다. 그럼으로써, 얻어진 결과를 적합한 계수와 곱하기 위해 역정규화 모수(denormalized parameter)가 사용된다.
모델 계산의 모수의 온라인 업데이트가 불가능하다면, 상기 공식을 아래의 표현,
Figure 112014115534727-pat00125
으로 고쳐 씀으로써,
Figure 112014115534727-pat00126
과 곱해지는지 아니면 다른 가우시안 프로세스 모델에 적합한 항과 곱해지는 지만 차이가 날 뿐, 앞서 설명한 바와 유사하게 계산이 수행될 수 있다. 계산은 각각의 데이터 기반 서브 함수 모델에 대해, 두 가지 모델 계산을 이용해서 도 3에 개략적으로 도시된 아래의 계산 단계에 따라 수행된다. 아래의 계산 단계 표기법은 제1 오차 모델과 관련이 있으며, 추가 오차 모델의 계산도 유사하게 수행된다.
Figure 112014115534727-pat00127
제1 계산 커널(31)에서의 계산(단계 S11)
Figure 112014115534727-pat00128
메인 계산 유닛(2)에서의 곱셈(단계 S12)
Figure 112014115534727-pat00129
Figure 112014115534727-pat00130
가 변동되는 제2 계산 커널(32)에서의
계산(단계 S13)
Figure 112014115534727-pat00131
소프트웨어 내에서 계산 결과와 본 계수의 곱셈
(단계 S14)
각각의 데이터 기반 서브 함수 모델에 대해 훈련 데이터의 출력(
Figure 112014115534727-pat00132
)이
Figure 112014115534727-pat00133
로써 박스-콕스 변환되고 훈련 데이터(X)의 입력이 정규화되는 세 번째 경우에서는,
Figure 112014115534727-pat00134
및
Figure 112014115534727-pat00135
에 대해 아래 공식,
Figure 112014115534727-pat00136
(여기서,
Figure 112014115534727-pat00137
)
이 적용되며, 이때 상기 박스-콕스 변환은
Figure 112014115534727-pat00138
에 상응한다.
Figure 112014115534727-pat00139
는 아래와 같이 계산된다.
A 제1 계산 커널(31)에서의 계산
exp(A) 소프트웨어 내 메인 계산 유닛(2)에서의 계산
(ax + c) 소프트웨어 내 메인 계산 유닛(2)에서의
평균값 함수의 계산
함수 모델의 그래디언트
Figure 112014115534727-pat00140
는 도 4에 개략적으로 도시된 바와 같이 아래와 같은 방식으로 계산된다.
A 제1 계산 커널(31)에서의 계산(단계 S21)
exp(A) 소프트웨어 내 메인 계산 유닛(2)에서의 계산
(단계 S22)
(ax + c) 소프트웨어 내 메인 계산 유닛(2)에서의
평균값 함수의 계산(단계 S23)
Figure 112014115534727-pat00141
소프트웨어 내에서 계산 결과와 본 계수의 곱셈
(단계 S24)
특히 항 A는
Figure 112014115534727-pat00142
뿐만 아니라
Figure 112014115534727-pat00143
의 계산을 위해서도 사용되기 때문에, 모델 계산 유닛(3)에서 수행되는 단 한 번의 계산으로 충분하다.

Claims (14)

  1. 데이터 기반 함수 모델의 역 데이터 기반 함수 모델(inverse data-based function model)을 계산하기 위한 방법으로서,
    하드웨어 기반의 방식으로 2개의 루프 연산에서 지수 함수, 합계(SUM) 함수 및 곱셈 함수를 갖는 데이터 기반 함수 모델의 함수값을, 멀티 커널 모델 계산 유닛(3)의 제1 하드웨어 커널을 이용하여 하드웨어로만 계산하는 단계;
    사전 정의된 입력 변수의 원하는 값을 위한 데이터 기반 함수 모델의 그래디언트를, 멀티 커널 모델 계산 유닛(3)의 제2 하드웨어 커널을 이용하여 하드웨어로만 계산하는 단계; 및
    데이터 기반 함수 모델의 함수값 및 데이터 기반 함수 모델의 그래디언트 둘에 의존하여 역 데이터 기반 함수 모델을 계산하는 단계를 포함하고,
    데이터 기반 함수 모델의 함수값을, 멀티 커널 모델 계산 유닛(3)의 제1 하드웨어 커널을 이용하여 계산하는 단계 및 데이터 기반 함수 모델의 그래디언트를, 멀티 커널 모델 계산 유닛(3)의 제2 하드웨어 커널을 이용하여 계산하는 단계는 병렬적으로 실시되고,
    역 데이터 기반 함수 모델은, 데이터 기반 함수 모델의 주어진 출력값에 대한 데이터 기반 함수 모델의 입력값을 계산하는, 방법.
  2. 제1항에 있어서, 데이터 기반 함수 모델의 각각의 데이터 기반 서브 함수 모델이, 표본점 데이터와, 초모수와, 관련 데이터 기반 서브 함수 모델의 표본점 데이터 포인트의 개수에 상응하는 수의 원소(element)를 갖는 모수 벡터에 의해 규정되며, 이때 데이터 기반 함수 모델의 그래디언트를 계산하기 위해, 상기 모수 벡터에 표본점 데이터 포인트에 종속적인 가중 벡터가 부가됨으로써 데이터 기반 함수 모델이 변형되는, 방법.
  3. 제2항에 있어서, 데이터 기반 함수 모델의 그래디언트는 멀티 커널 모델 계산 유닛(3)에서 사전 정의된 입력 변수의 원하는 값을 위한, 변형된 데이터 기반 함수 모델의 함수값으로서 계산되고, 오프셋 값이 가산되는, 방법.
  4. 제2항 또는 제3항에 있어서, 표본점 데이터 포인트가 정규화되고, 변형된 데이터 기반 함수 모델의 함수값과 오프셋 값의 합계의 결과가 출력 데이터와 관련된 표본점 데이터의 표준 편차에 기반하는 계수와 곱해져서, 데이터 기반 함수 모델의 그래디언트가 얻어지는, 방법.
  5. 제2항 또는 제3항에 있어서, 변형된 데이터 기반 함수 모델을 계산하는 동안 모수 벡터에는 표본점 데이터 포인트에 종속적인 가중 벡터가 반복해서 부가되는, 방법.
  6. 제1항에 있어서, 데이터 기반 함수 모델의 각각의 데이터 기반 서브 함수 모델은 표본점 데이터, 초모수 및 모수 벡터에 의해 규정되며, 상기 모수 벡터는 표본점 데이터 포인트의 개수에 상응하는 수의 원소를 포함하며, 이때 사전 정의된 입력 변수와 관련된 데이터 기반 함수 모델의 그래디언트를 계산하기 위해, 멀티 커널 모델 계산 유닛(3)에서 사전 정의된 입력 변수의 원하는 값을 위해 데이터 기반 함수 모델의 함수값이 계산되고, 그 결과가 사전 정의된 입력 변수의 원하는 값과 곱해진 다음, 변동된 모수 벡터를 이용하여 멀티 커널 모델 계산 유닛(3)에서 데이터 기반 함수 모델이 새로 계산됨으로써, 데이터 기반 함수 모델이 변형되는, 방법.
  7. 삭제
  8. 메인 계산 유닛(2) 및 멀티 커널 모델 계산 유닛(3)을 구비한 장치이며,
    상기 멀티 커널 모델 계산 유닛(3)은 하드웨어 기반의 방식으로 2개의 루프 연산에서 지수 함수, 합계 함수 및 곱셈 함수를 갖는 데이터 기반 함수 모델의 함수값을 계산하도록 형성되고, 상기 장치는 제1항 내지 제3항 중 어느 한 항에 따른 방법을 수행하도록 형성되며, 메인 계산 유닛(2) 및 멀티 커널 모델 계산 유닛(3)은 내부 통신 링크를 통해 상호 통신 연결이 이루어지는, 장치.
  9. 컴퓨터 프로그램이 컴퓨터에서 실행될 때 제1항 내지 제3항 중 어느 한 항에 따른 방법의 모든 단계를 실행시키도록 설계된, 전자 기억 매체에 저장된 컴퓨터 프로그램.
  10. 제9항에 따른 컴퓨터 프로그램이 저장된 전자 기억 매체.
  11. 제10항에 따른 전자 기억 매체를 구비한 전자 제어 유닛.
  12. 제1항에 있어서, 상기 방법은 하나 또는 복수의 누적된 데이터 기반 서브 함수 모델을 이용하여 데이터 기반 함수 모델의 그래디언트를 계산하기 위해 구성된, 방법.
  13. 제12항에 있어서, 상기 서브 함수 모델은 가우시안 프로세스 모델인, 방법.
  14. 제8항에 있어서, 상기 장치는 제어 모듈(1)인, 장치.
KR1020140167948A 2013-12-03 2014-11-28 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법 및 장치 KR102257530B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013224694.3A DE102013224694A1 (de) 2013-12-03 2013-12-03 Verfahren und Vorrichtung zum Ermitteln eines Gradienten eines datenbasierten Funktionsmodells
DE102013224694.3 2013-12-03

Publications (2)

Publication Number Publication Date
KR20150064673A KR20150064673A (ko) 2015-06-11
KR102257530B1 true KR102257530B1 (ko) 2021-05-31

Family

ID=53058513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140167948A KR102257530B1 (ko) 2013-12-03 2014-11-28 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US10402509B2 (ko)
KR (1) KR102257530B1 (ko)
CN (1) CN104699658B (ko)
DE (1) DE102013224694A1 (ko)
RU (1) RU2679225C2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776641B (zh) * 2015-11-24 2020-09-08 华为技术有限公司 一种数据处理方法及装置
DE102016216954A1 (de) * 2016-09-07 2018-03-08 Robert Bosch Gmbh Modellberechnungseinheit und Steuergerät zur Berechnung einer partiellen Ableitung eines RBF-Modells

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163384A (ja) 1998-11-25 2000-06-16 Hitachi Ltd 半導体装置
JP2008520048A (ja) 2004-11-10 2008-06-12 エヌヴィディア コーポレイション 汎用乗算加算機能ユニット
US20090150308A1 (en) * 2007-12-07 2009-06-11 Microsoft Corporation Maximum entropy model parameterization
US20110282517A1 (en) * 2010-04-27 2011-11-17 Felix Streichert Microcontroller having a computing unit and a logic circuit, and method for carrying out computations by a microcontroller for a regulation or a control in a vehicle
JP2012208843A (ja) 2011-03-30 2012-10-25 Keihin Corp 開発支援装置
JP2013525910A (ja) * 2010-04-27 2013-06-20 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 制御装置及び制御のための出力変数を計算する方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870183B2 (en) * 2002-11-04 2005-03-22 Advanced Micro Devices, Inc. Stacked organic memory devices and methods of operating and fabricating
DE10317650A1 (de) * 2003-04-17 2004-11-04 Robert Bosch Gmbh Programmgesteuerte Einheit und Verfahren
JP4208085B2 (ja) * 2005-08-30 2009-01-14 インターナショナル・ビジネス・マシーンズ・コーポレーション アプリケーションプログラムの制御方法およびその装置
DE102007010771A1 (de) * 2007-03-06 2008-10-30 Robert Bosch Gmbh Verfahren zur Bestimmung einer asymmetrischen Signalverzögerung eines Signalpfades innerhalb einer integrierten Schaltung
KR100960797B1 (ko) * 2008-05-09 2010-06-01 연세대학교 산학협력단 입력 데이터의 형식에 기반하여 고정 소수점 연산 또는부동 소수점 연산을 수행하는 재구성 가능한 연산 유닛
DE102009000783A1 (de) * 2008-08-27 2010-03-04 Robert Bosch Gmbh Verfahren und Vorrichtung zur Simulation dynamischer Systeme
AU2009295270B2 (en) * 2008-09-19 2015-02-05 The University Of Sydney A method and system of data modelling
CN201291002Y (zh) * 2008-11-04 2009-08-19 深圳市蓝韵实业有限公司 一种频率相位控制器
WO2010150758A1 (ja) * 2009-06-25 2010-12-29 旭硝子株式会社 物理量計算方法、数値解析方法、物理量計算プログラム、数値解析プログラム、物理量計算装置及び数値解析装置
DE102010062653A1 (de) * 2010-12-08 2012-06-14 Robert Bosch Gmbh Steuermodul und Verfahren zu seiner Herstellung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163384A (ja) 1998-11-25 2000-06-16 Hitachi Ltd 半導体装置
JP2008520048A (ja) 2004-11-10 2008-06-12 エヌヴィディア コーポレイション 汎用乗算加算機能ユニット
US20090150308A1 (en) * 2007-12-07 2009-06-11 Microsoft Corporation Maximum entropy model parameterization
US20110282517A1 (en) * 2010-04-27 2011-11-17 Felix Streichert Microcontroller having a computing unit and a logic circuit, and method for carrying out computations by a microcontroller for a regulation or a control in a vehicle
JP2013525910A (ja) * 2010-04-27 2013-06-20 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 制御装置及び制御のための出力変数を計算する方法
JP2012208843A (ja) 2011-03-30 2012-10-25 Keihin Corp 開発支援装置

Also Published As

Publication number Publication date
CN104699658B (zh) 2019-09-24
RU2014148490A3 (ko) 2018-08-10
US20150154329A1 (en) 2015-06-04
DE102013224694A1 (de) 2015-06-03
CN104699658A (zh) 2015-06-10
KR20150064673A (ko) 2015-06-11
RU2679225C2 (ru) 2019-02-06
US10402509B2 (en) 2019-09-03
RU2014148490A (ru) 2016-06-27

Similar Documents

Publication Publication Date Title
EP3446260B1 (en) Memory-efficient backpropagation through time
US11216721B2 (en) Method for calculating a neuron layer of a multi-layer perceptron model with simplified activation function
US8818922B2 (en) Method and apparatus for predicting application performance across machines with different hardware configurations
JP2019145111A (ja) データに基づく関数モデルを計算するためのモデル計算ユニット、制御装置、及び方法
CN110663049A (zh) 神经网络优化器搜索
CN113592095B (zh) 一种基于量子计算的模型训练方法及装置
US9934197B2 (en) Method and device for providing a sparse Gaussian process model for calculation in an engine control unit
Esmaeili et al. A pseudo-spectral scheme for the approximate solution of a time-fractional diffusion equation
KR102257530B1 (ko) 데이터 기반 함수 모델의 그래디언트를 결정하기 위한 방법 및 장치
Duff et al. Numerical computation and new output bounds for time-limited balanced truncation of discrete-time systems
EP4009239A1 (en) Method and apparatus with neural architecture search based on hardware performance
US20210312278A1 (en) Method and apparatus with incremental learning moddel
Klein et al. Wavenet using artificial bee colony applied to modeling of truck engine powertrain components
KR20200000660A (ko) 실시간 시계열 데이터를 위한 예측 모형 생성 시스템 및 방법
Armstrong et al. A fast resample method for parametric and semiparametric models
WO2020190745A1 (en) Budgeted neural network architecture search system and method
EP4109351A1 (en) Inference program, inference method, and information processing apparatus
Liu et al. Iterative state and parameter estimation algorithms for bilinear state-space systems by using the block matrix inversion and the hierarchical principle
Zhu et al. A class of iteration methods based on the HSS for Toeplitz systems of weakly nonlinear equations
Mirza Online additive updates with FFT-IFFT operator on the GRU neural networks
Furer et al. Smoothing spline regression estimation based on real and artificial data
CN104570757B (zh) 用于运行集成控制组件的方法和装置
Zając et al. Frequency-Supported Neural Networks for Nonlinear Dynamical System Identification
Jayalatchumy et al. A Novel Approach to Overcome the Limitations of Power Iteration Algorithm Designed for Clustering
JP2023177810A (ja) 系列予測方法、系列予測装置及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant