KR101729694B1 - 시뮬레이션 결과 예측 방법 및 장치 - Google Patents

시뮬레이션 결과 예측 방법 및 장치 Download PDF

Info

Publication number
KR101729694B1
KR101729694B1 KR1020170000040A KR20170000040A KR101729694B1 KR 101729694 B1 KR101729694 B1 KR 101729694B1 KR 1020170000040 A KR1020170000040 A KR 1020170000040A KR 20170000040 A KR20170000040 A KR 20170000040A KR 101729694 B1 KR101729694 B1 KR 101729694B1
Authority
KR
South Korea
Prior art keywords
simulation result
simulation
result prediction
prediction model
predicting
Prior art date
Application number
KR1020170000040A
Other languages
English (en)
Inventor
서영균
조금원
사정환
이기용
최연정
김선정
Original Assignee
한국과학기술정보연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술정보연구원 filed Critical 한국과학기술정보연구원
Priority to KR1020170000040A priority Critical patent/KR101729694B1/ko
Application granted granted Critical
Publication of KR101729694B1 publication Critical patent/KR101729694B1/ko

Links

Images

Classifications

    • G06F17/5009—
    • G06F15/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N99/005—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

기 수행된 시뮬레이션 결과를 활용하여 새롭게 요청한 시뮬레이션에 대한 결과를 예측하는 시뮬레이션 결과 예측 장치가 제공된다. 상기 시뮬레이션 결과 예측 장치는, 기 수행된 시뮬레이션 결과를 저장하고 관리하는 저장부, 상기 기 수행된 시뮬레이션 결과를 이용하여 기계 학습 모델 기반의 시뮬레이션 결과 예측 모델을 학습하고, 상기 학습된 시뮬레이션 결과 예측 모델을 이용하여 시뮬레이션 결과를 예측하는 예측부, 시뮬레이션 요청을 입력받고 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 출력하는 인터페이스부를 포함한다.

Description

시뮬레이션 결과 예측 방법 및 장치{Method and Apparatus for Predicting Simulation Results}
본 발명은 시뮬레이션 결과 예측 방법 및 장치에 관한 것이다. 보다 자세하게는, 기 수행된 시뮬레이션 결과를 활용하여 새롭게 요청한 시뮬레이션에 대한 결과를 출력하는 시뮬레이션 결과 예측 방법 및 장치에 관한 것이다.
시뮬레이션(simulation)은 전산유체역학, 물리, 계산화학, 구조동역학, 전산 설계 등 여러 분야에서 주어진 입력에 대한 대상 시스템의 수행 결과를 예측하기 위해 널리 사용되는 기술이다. 예를 들어 전산유체역학 분야에서 컴퓨터 시뮬레이션은 항공기 날개 주변의 공기 흐름을 예측하는데 널리 사용된다.
일반적으로 시뮬레이션은 대상 시스템에 대한 실제 시험을 수행하기 전에 실제 시험에 요구되는 시간적/경제적 비용을 줄이기 위한 용도로 수행된다. 하지만, 시뮬레이션의 정밀도와 복잡도가 점점 증가함에 따라 시뮬레이션 자체에 대한 시간적/경제적 비용 역시 크게 증가하고 있다.
특히, 입력 변수의 값을 변화시켜가며 반복적으로 시뮬레이션을 수행하는 경우, 시뮬레이션 수행에 드는 비용이 커질수록 전체 수행 시간은 크게 늘어나게 된다. 예를 들어, 도 1에 도시된 바와 같이 비행기의 속도(mach)에 따른 양력 계수(lift coefficient)와 항력 계수(drag coefficient)의 관계를 시뮬레이션하는 경우, 시뮬레이션 시스템은 비행기의 속도 별로 양력 계수 또는 항력 계수의 값을 변화시키며 시뮬레이션을 여러 번 반복해야 하므로 시뮬레이션 수행 비용이 매우 증가하게 된다.
시뮬레이션의 수행 시간을 단축하기 위해서 지금까지 크게 두 가지 접근 방법이 사용되어 왔다. 첫 번째는 시뮬레이션을 수행하는 컴퓨터 하드웨어의 성능을 높이는 것이다. 이를 위해 멀티코어 CPU(Central Processing Unit)나 멀티코어 GPU(Graphic Processing Unit)를 사용하여 시뮬레이션 프로그램을 병렬적으로 수행하거나, 다수의 컴퓨터를 네트워크로 연결한 컴퓨터 클러스터를 구축하여 컴퓨터 하드웨어의 성능을 높이는 방법이다. 두 번째는 시뮬레이션을 수행하는 알고리즘을 개선하는 것으로, 알고리즘의 불필요한 계산을 제거하거나 병렬성을 증가시키는 방법이다.
하지만, 첫 번째 접근 방법은 하드웨어의 성능에 의존하는 방식이기 때문에 근본적인 해결책이 될 수 없으며, 복잡도가 높은 시뮬레이션의 경우 과도한 하드웨어 비용을 요구될 수 있다는 문제점이 있고, 두 번째 접근 방법은 시뮬레이션 알고리즘마다 개선 방법이 달라질 수 있기 때문에 범용적으로 적용될 수 없다는 문제점이 있다.
따라서, 시뮬레이션 수행 시간을 단축하기 위한 새로운 방식의 접근 방법이 요구된다.
한국공개특허 제2012-0042467호
본 발명이 해결하고자 하는 기술적 과제는, 기 수행된 시뮬레이션 결과를 활용하여 새로운 요청에 대한 시뮬레이션 결과를 출력하는 시뮬레이션 결과 예측 방법 및 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 시뮬레이션 결과 예측 장치는, 기 수행된 시뮬레이션 결과를 저장하고 관리하는 저장부, 상기 기 수행된 시뮬레이션 결과를 이용하여 기계 학습 모델 기반의 시뮬레이션 결과 예측 모델을 학습하고, 상기 학습된 시뮬레이션 결과 예측 모델을 이용하여 시뮬레이션 결과를 예측하는 예측부, 시뮬레이션 요청을 입력받고 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 출력하는 인터페이스부를 포함하는, 시뮬레이션 결과 예측 장치.
일 실시예에서, 상기 예측부는, 복수의 후보 시뮬레이션 결과 예측 모델을 학습하고, k-접합 교차 검증에 따른 평균 오차를 이용하여 상기 학습된 복수의 후보 시뮬레이션 결과 예측 모델 중에서 시뮬레이션 결과 예측에 이용될 시뮬레이션 결과 예측 모델을 선정하되, 상기 복수의 후보 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델에 기반한 것일 수 있다.
또한, 상기 기 수행된 시뮬레이션 결과는 제1 시뮬레이터에 의해 수행된 제1 시뮬레이터 결과 및 제2 시뮬레이터에 의해 수행된 제2 시뮬레이터 결과를 포함하고, 상기 예측부는, 상기 제1 시뮬레이터 결과를 이용하여 학습된 복수의 후보 시뮬레이션 결과 예측 모델 중에서 상기 제1 시뮬레이터의 시뮬레이션 결과 예측에 이용되는 제1 시뮬레이션 결과 예측 모델을 선정하고, 상기 제2 시뮬레이터 결과를 이용하여 학습된 복수의 후보 시뮬레이션 결과 예측 모델 중에서 상기 제2 시뮬레이터의 시뮬레이션 결과 예측에 이용되는 제2 시뮬레이션 결과 예측 모델을 선정할 수 있다.
또한, 상기 서로 다른 기계 학습 모델은, 랜덤 포레스트(random forest), 국소 회귀(local regression), k-최근접 이웃 회귀(k-nearest neighbor regression), 다층 신경망(multi-layer neural network)을 포함할 수 있다.
또한, 상기 시뮬레이션 결과는 제1 시뮬레이션 출력 변수 및 제2 시뮬레이션 출력 변수를 포함하고, 상기 예측부는, 상기 제1 시뮬레이션 출력 변수의 값을 예측하는 제1 시뮬레이션 결과 예측 모델을 선정하고, 상기 제2 시뮬레이션 출력 변수의 값을 예측하는 제2 시뮬레이션 결과 예측 모델을 선정하되, 상기 제1 시뮬레이션 결과 예측 모델과 상기 제2 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델에 기반한 것일 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 시뮬레이션 결과 예측 장치 시뮬레이션 결과 예측 장치는, 하나 이상의 프로세서, 네트워크 인터페이스, 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리 및 상기 컴퓨터 프로그램, 기 수행된 시뮬레이션 결과를 저장하는 스토리지를 포함하되, 상기 컴퓨터 프로그램은, 기 수행된 시뮬레이션 결과를 이용하여 기계 학습 모델 기반의 시뮬레이션 결과 예측 모델을 학습하는 오퍼레이션, 시뮬레이션 요청을 입력받는 오퍼레이션, 상기 시뮬레이션 결과 예측 모델을 이용하여 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 예측하는 오퍼레이션 및 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 출력하는 오퍼레이션을 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 시뮬레이션 결과 예측 방법은, 기 수행된 시뮬레이션 결과를 이용하여 기계 학습 모델 기반의 시뮬레이션 결과 예측 모델을 학습하는 단계, 시뮬레이션 요청을 입력받는 단계, 상기 시뮬레이션 결과 예측 모델을 이용하여 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 예측하는 단계 및 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 출력하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 시뮬레이션 결과 예측 장치 컴퓨터 프로그램은, 컴퓨팅 장치와 결합하여, 기 수행된 시뮬레이션 결과를 이용하여 기계 학습 모델 기반의 시뮬레이션 결과 예측 모델을 학습하는 단계, 시뮬레이션 요청을 입력받는 단계, 상기 시뮬레이션 결과 예측 모델을 이용하여 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 예측하는 단계 및 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 출력하는 단계를 실행시키기 위하여 기록매체에 저장될 수 있다.
상술한 본 발명에 따르면, 새로운 시뮬레이션 요청에 대해 시뮬레이션을 수행하지 않고 기 수행된 시뮬레이션 결과를 재사용하거나 기계 학습 기반으로 예측된 결과를 제공함으로써, 전체 시뮬레이션에 요구되는 시간 비용 및 컴퓨팅 비용이 크게 절감되는 효과가 있다.
또한, 복수의 기계 학습 모델을 학습시키고 평균 오차를 기준으로 적어도 하나의 기계 학습 모델을 선정함으로써 시뮬레이션 종류에 따라 최적의 기계 학습 모델을 선정할 수 있다. 이에 따라, 시뮬레이션 예측 결과의 정확도가 향상되는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 입력 변수의 값을 변경해가며 반복적으로 수행되는 시뮬레이션의 특징을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 시뮬레이션 결과 예측 시스템의 구성도이다.
도 3은 본 발명의 다른 실시예에 따른 시뮬레이션 결과 예측 장치의 기능 블록도이다.
도 4a 및 도 4b는 본 발명의 몇몇 실시예에서 참조될 수 있는 사용자 인터페이스의 예를 설명하기 위한 도면이다.
도 5는 기 정의된 포맷의 예시와 포맷 변환부의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 시뮬레이션 결과 예측 장치의 하드웨어 구성도이다.
도 7은 본 발명의 또 다른 실시예에 따른 시뮬레이션 결과 예측 방법의 순서도이다.
도 8은 본 발명의 몇몇 실시예에서 참조될 수 있는, 복수의 시뮬레이션 결과 예측 모델 중에서 어느 하나의 시뮬레이션 결과 예측 모델을 선정하는 방법의 순서도이다.
도 9는 본 발명의 몇몇 실시예에서 참조될 수 있는, k-접합 교차 검증 기법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따라 복수의 시뮬레이터로 별로 서로 다른 시뮬레이션 결과 예측 모델이 선정되는 예를 설명하기 위한 도면이다.
도 11 내지 도 13은 본 발명의 다양한 실시예에 따라, 시뮬레이션 결과 예측 모델의 정확도를 향상하기 위한 예를 설명하기 위한 도면이다.
도 14a 내지 도 14e는 다양한 기계 학습 모델 기반으로 구현된 시뮬레이션 결과 예측 모델의 비교 실험 결과를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 시뮬레이션 결과 예측 시스템의 구성도이다.
도 2를 참조하면, 시뮬레이션 결과 예측 시스템(10)은 시뮬레이션 요청을 입력 받은 경우, 기 수행된 시뮬레이션 결과 또는 기계 학습 기반으로 예측된 시뮬레이션 결과를 출력하거나, 시뮬레이션 시스템(300)을 통해 직접 수행된 시뮬레이션 결과를 출력하는 시스템이다. 이하, 설명의 편의를 위해 본 명세서에서 기 수행된 시뮬레이션 결과를 그대로 출력하는 기능을 '재사용' 기능으로 명명하고, 기계 학습 기반으로 예측된 시뮬레이션 결과를 출력하는 기능을 '예측' 기능으로 명명한다.
시뮬레이션 결과 예측 시스템(10)은 시뮬레이션 결과 예측 장치(100)와 적어도 하나의 시뮬레이터를 포함하는 시뮬레이션 시스템(300)을 포함할 수 있다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있음은 물론이다.
시뮬레이션 결과 예측 장치(100)는 적어도 하나의 시뮬레이터(310, 330, 350)에 의해 수행된 시뮬레이션 결과 데이터를 관리하고, 재사용 및 예측 기능을 이용하여 시뮬레이션 요청에 대한 결과를 출력하는 컴퓨팅 장치이다. 여기서, 상기 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능이 구비된 모든 종류의 장치를 포함할 수 있다. 단, 기계 학습 모델 기반의 시뮬레이션 결과 예측 모델을 학습하기 위해 고성능의 프로세서가 구비된 컴퓨팅 장치로 구현되는 것이 바람직할 수 있다. 시뮬레이션 결과 예측 장치(100)가 재사용 및 예측 기능을 이용하여 시뮬레이션 요청에 대한 결과를 출력하는 방법에 대한 자세한 사항은 추후 도 7을 참조하여 상세하게 설명하도록 한다.
참고로, 시뮬레이션 결과 예측 장치(100)는 기 수행된 시뮬레이션 결과 데이터를 관리하기 위해 DB화된 저장 장치를 포함하여 구성될 수 있고, 재사용 및 예측 기능을 이용하여 시뮬레이션 결과를 출력하는 것 외에 입력 받은 시뮬레이션 요청을 해당 시뮬레이터(310, 330, 350)로 전달하고, 해당 시뮬레이터(310, 330, 350)가 직접 수행한 시뮬레이션 결과를 출력할 수도 있다.
시뮬레이션 시스템(300)은 적어도 하나의 시뮬레이터(310, 330, 350)를 이용하여 시뮬레이션을 수행하는 시스템이다. 예를 들어, 복수의 시뮬레이터(310, 330, 350)는 서로 다른 시뮬레이션 소프트웨어가 탑재된 컴퓨팅 장치 또는 서로 다른 시뮬레이션을 수행하는 시뮬레이션 소프트웨어일 수 있다. 또는, 복수의 시뮬레이터(310, 330, 350)는 하나의 시뮬레이션 결과를 출력하기 위해 서로 협력적으로 동작하는 컴퓨팅 장치 또는 시뮬레이션 소프트웨어일 수 있다.
시뮬레이션 결과 예측 장치(100)와 시뮬레이션 시스템(300)은 네트워크로 연결될 수 있다. 여기서, 상기 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
단, 실시예에 따라 시뮬레이션 결과 예측 장치(100)와 시뮬레이션 시스템(300)은 동일한 장치 내에 서로 다른 로직의 형태로 구현될 수도 있다.
지금까지 도 2를 참조하여 본 발명의 일 실시예에 따른 시뮬레이션 결과 예측 시스템(10)에 대하여 설명하였다. 다음으로, 도 3 내지 도 6을 참조하여, 본 발명의 다른 실시예에 따른 시뮬레이션 결과 예측 장치(100)의 구성 및 동작에 대하여 설명한다.
도 3은 시뮬레이션 결과 예측 장치(100)의 기능 블록도이다.
도 3을 참조하면, 시뮬레이션 결과 예측 장치(100)는 인터페이스부, 포맷 변환부(120), 저장부(130) 및 예측부(140)를 포함할 수 있다. 다만, 도 3에는 본 발명의 실시예와 관련있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
각 구성 요소를 살펴보면, 인터페이스부는 시뮬레이션 결과 예측 장치(100)와 다른 구성 요소 사이의 인터페이스 기능을 담당한다. 인터페이스부는 사용자 또는 다른 장치로부터 시뮬레이션 요청을 입력받고 시뮬레이션 결과를 출력하는 제1 인터페이스부(110)와 시뮬레이션 시스템(300)과 시뮬레이션 요청 및 시뮬레이션 결과를 주고받는 제2 인터페이스부(150)를 포함한다.
제1 인터페이스부(110)는 사용자 또는 다른 장치로부터 시뮬레이션 요청을 입력 받고, 시뮬레이션 결과를 출력하기 위한 사용자 인터페이스를 제공한다. 예를 들어, 제1 인터페이스부(110)는 도 4a에 도시된 바와 같이 사용자로부터 시뮬레이션에 필요한 입력 변수를 입력 받기 위한 사용자 인터페이스(111a)와 시뮬레이션 결과에 포함되는 출력 변수를 출력 하기 위한 사용자 인터페이스(111b)를 제공할 수 있다. 여기서, 상기 사용자 인터페이스는 웹 기반으로 구현된 사용자 인터페이스일 수 있으나, 이에 국한되는 것은 아니며 다양한 방식으로 구현될 수 있다.
또한, 도 4a에 도시된 바와 같이 제1 인터페이스부(110)는 저장부(130)와 연동하여 요청된 시뮬레이션에 대한 결과가 기 저장되어 있는 경우, 시뮬레이션 시스템(300)을 통해 시뮬레이션을 수행하지 않고 기 저장된 시뮬레이션 결과(111b)를 곧바로 출력한다. 기 저장된 시뮬레이션 결과가 존재하지 않는 경우, 제1 인터페이스부(110)는 예측부(140)와 연동하여 기 저장된 시뮬레이션 데이터를 기초로 예측된 시뮬레이션 예측 결과를 출력하거나, 예측 기능 또는 실제 시뮬레이션 수행을 선택할 수 있는 사용자 인터페이스(111c)를 제공할 수 있다.
제2 인터페이스부(150)는 상술한 바와 같이 시뮬레이션 결과 예측 장치(100)와 시뮬레이션 시스템(300) 사이의 인터페이스 기능을 제공한다. 구체적으로, 제2 인터페이스부(150)는 제1 인터페이스부(110)로부터 시뮬레이션 수행 요청을 받은 경우, 이를 해당하는 시뮬레이터(310, 330, 350)로 전달하고, 시뮬레이션 결과를 다시 제1 인터페이스부(110)로 전달한다.
또한, 제2 인터페이스부(150)는 시뮬레이션 결과를 포맷 변환부(120)로 전달할 수 있다. 포맷 변환부(120)로 전달된 시뮬레이션 결과는 기 정의된 포맷으로 변환된 뒤 저장부(130)를 통해 관리될 수 있다.
참고로, 도 3에는 도시되지 않았으나, 시뮬레이션 결과 예측 장치(300)는 복수의 시뮬레이터에 대한 시뮬레이션 정보를 관리하는 메타데이터 관리부(미도시)를 더 포함할 수 있다. 예를 들어, 메타데이터 관리부는 도 4b에 도시된 바와 같이 시뮬레이션 시스템(300)에 포함되는 시뮬레이터 각각의 식별 정보, 상기 시뮬레이터 각각의 입력 변수 및 출력 변수 정보 등이 포함된 메타 데이터(115)를 관리할 수 있다.
이와 같은 경우, 제1 인터페이스부(110)는 메타데이터 관리부와 연동되어 시뮬레이션 시스템(300)에 포함된 복수의 시뮬레이터(310, 330, 350) 중 어느 하나의 시뮬레이터에 대한 선택 입력을 수신 받기 위한 제1 사용자 인터페이스(113a)를 제공하고, 상기 제1 사용자 인터페이스를 통해 어느 하나의 시뮬레이터에 대한 선택 입력이 수신된 경우, 선택된 시뮬레이터의 입력 변수를 입력받기 위한 제2 사용자 인터페이스(113b)와 선택된 시뮬레이터의 출력 변수를 출력하기 위한 제3 사용자 인터페이스(113c)를 제공하도록 구현될 수 있다.
다시 도 3을 참조하면, 포맷 변환부(120)는 시뮬레이터(310, 330, 350)에 의해 수행된 시뮬레이션 결과를 기 정의된 포맷으로 변환한다. 구체적으로, 포맷 변환부(120)는 서로 다른 시뮬레이터(310, 330, 350)에 의해 수행된 시뮬레이션 결과에서 시뮬레이터의 식별 정보, 시뮬레이션의 입력 변수 및 시뮬레이션 출력 변수를 추출하고, 출력된 정보를 기 정의된 포맷으로 변환한다. 단, 구현 방식에 따라 포맷 변환부(120)는 제1 인터페이스부(110)로부터 시뮬레이션의 입력 변수를 획득할 수도 있다.
예를 들어, 포맷 변환부(120)는 도 5에 도시된 바와 같이 시뮬레이션 결과 데이터(121)로부터 추출된 시뮬레이션 식별 정보, 시뮬레이션 입력 변수 및 시뮬레이션 출력 변수를 JSON(JavaScript Object Notation) 포맷(123)으로 변환할 수 있다. 단, 실시예에 따라 XML(Extensible Markup Language), 사용자 정의 포맷 등 다양한 포맷이 이용될 수도 있고 이는 구현 방식의 차이에 불과하다. 상기, JSON, XML 등의 포맷은 당해 기술 분야에서 널리 알려진 것이므로 이에 대한 설명은 생략한다. 포맷 변환부(120)에 의해 변환된 시뮬레이션 결과는 저장부(130)에 의해 DB화된 저장 장치 등에 저장될 수 있다.
여기서, 시뮬레이션 결과 데이터를 기 정의된 포맷으로 변환시키는 이유는 시뮬레이션 결과 관리의 효율성을 증대시키기 위함이다. 예를 들어, JSON, XML과 같은 표준 포맷을 이용하는 경우, 추가적인 가공 작업 없이 바로 데이터베이스에 저장될 수 있으므로 데이터 관리의 효율성이 증대될 수 있다.
다음으로, 저장부(130)는 포맷 변환부(120)에 의해 추출되고 변환된 시뮬레이션 결과를 저장하고 관리한다. 상술한 바와 같이 저장부(130)는 시뮬레이션 결과 데이터를 효율적으로 관리하기 위해 DB화된 저장 장치를 포함할 수 있다.
예를 들어, 저장부(130)는 NoSQL 데이터베이스 중의 하나인 MongoDB를 이용하여 시뮬레이션 결과 데이터를 관리할 수 있다. MongoDB는 문서 형태의 대규모 데이터를 저장하는 기능을 제공하는 오픈 소스 NoSQL 데이터베이스로서, 미리 스키마(schema)가 정의되어 있지 않은 임의의 형태를 가진 JSON 문서를 저장하는 동적 스키마 기능을 지원하고 클러스터를 이용한 대규모 데이터 저장을 지원한다는 장점이 있다. 단, 구현 방식에 따라 저장부(130)는 다양한 종류의 데이터베이스를 이용하여 시뮬레이션 결과를 관리할 수 있다.
또한, 저장부(130)는 제1 인터페이스(110)의 요청에 따라 기 저장된 시뮬레이션 결과를 조회하고 조회된 시뮬레이션 결과를 전달하며, 예측부(140)로 기 수행된 시뮬레이션 결과를 제공할 수 있다.
마지막으로, 예측부(140)는 저장부(130)로부터 제공받은 시뮬레이션 결과를 이용하여 기계 학습 모델 기반의 시뮬레이션 결과 예측 모델을 학습하고, 학습된 시뮬레이션 결과 예측 모델을 이용하여 실제 시뮬레이션을 수행하지 않고 시뮬레이션 결과를 예측한다. 여기서 시뮬레이션 결과 예측 모델은 당해 기술 분야에서 널리 알려진 하나 이상의 기계 학습 모델 기반으로 구현될 수 있다. 예측부(140)의 구체적인 동작과 상기 예측부가 시뮬레이션 결과 예측 모델을 이용하여 시뮬레이션 결과를 예측하는 방법에 대한 자세한 사항은 추후 도 7 내지 도 13을 참조하여 후술한다.
도 3의 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)과 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분화된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.
다음으로, 도 6은 본 발명의 또 다른 실시예에 따른 시뮬레이션 결과 예측 장치(100)의 하드웨어 구성도이다.
도 6을 참조하면, 시뮬레이션 결과 예측 장치(100)는 하나 이상의 프로세서(101), 버스(105), 네트워크 인터페이스(107), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 시뮬레이션 결과 예측소프트웨어(109a)를 저장하는 스토리지(109)를 포함할 수 있다. 다만, 도 6은 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 6에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(101)는 시뮬레이션 결과 예측 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 시뮬레이션 결과 예측 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 시뮬레이션 결과 예측방법을 실행하기 위하여 스토리지(109)로부터 하나 이상의 프로그램(109a)을 로드할 수 있다. 도 3에서 메모리(103)의 예시로 RAM이 도시되었다.
버스(105)는 시뮬레이션 결과 예측 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(105)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
네트워크 인터페이스(107)는 시뮬레이션 결과 예측 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(107)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(107)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
네트워크 인터페이스(107)는 네트워크를 통해 시뮬레이션 시스템(300)으로 시뮬레이션 요청을 송신하고, 시뮬레이션 결과를 수신할 수 있다.
스토리지(109)는 상기 하나 이상의 프로그램(109a)을 비임시적으로 저장할 수 있다. 도 6에서 상기 하나 이상의 프로그램(109a)의 예시로 시뮬레이션 결과 예측소프트웨어(109a)가 도시되었다. 또는 스토리지(109)는 시뮬레이션 결과 예측 모델을 학습하기 위하여 기 수행된 시뮬레이션 결과를 저장할 수 있다.
스토리지(109)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다. 또한, 스토리지(109)는 대용량의 시뮬레이션 결과를 효율적으로 관리하기 위하여 DB화된 저장 장치로 구현될 수 있다.
시뮬레이션 결과 예측 소프트웨어(109a)는 본 발명의 실시예에 따라 시뮬레이션 요청에 대하여 기 수행된 시뮬레이션 결과를 조회하여 출력하거나, 기계 학습 모델 기반의 시뮬레이션 결과 예측 모델 기반으로 예측된 시뮬레이션 결과를 출력할 수 있다.
구체적으로, 시뮬레이션 결과 예측소프트웨어(109a)는 메모리(103)에 로드되어 하나 이상의 프로세서(101)에 의하여, 기 수행된 시뮬레이션 결과를 이용하여 기계 학습 모델 기반의 시뮬레이션 결과 예측 모델을 학습하는 오퍼레이션, 시뮬레이션 요청을 입력받는 오퍼레이션, 상기 시뮬레이션 결과 예측 모델을 이용하여 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 예측하는 오퍼레이션 및 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 출력하는 오퍼레이션을 수행할 수 있다.
지금까지, 도 4 내지 도 6을 참조하여 본 발명의 실시예에 따른 시뮬레이션 결과 예측 장치(100)의 구성 및 동작에 대하여 설명하였다. 다음으로, 도 7을 참조하여 본 발명의 또 다른 실시예에 따른 시뮬레이션 결과 예측 방법에 대하여 설명한다.
이하, 본 발명의 실시예에 따른 시뮬레이션 결과 예측 방법의 각 단계는, 시뮬레이션 결과 예측 장치(100) 에 의해 수행되는 것으로 가정한다. 단, 설명의 편의를 위해 시뮬레이션 결과 예측 방법에 포함되는 각 동작의 주체는 생략될 수 있음에 유의한다. 참고로, 시뮬레이션 결과 예측 방법의 각 단계는 시뮬레이션 결과 예측 소프트웨어(109a)가 프로세서(101)에 의해 실행됨으로써, 시뮬레이션 결과 예측 장치(100)에서 수행되는 오퍼레이션일 수 있다.
도 7은 시뮬레이션 결과 예측 방법의 순서도이다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다.
도 7을 참조하면, 시뮬레이션 결과 예측 장치(100)는 먼저 기 수행된 시뮬레이션 결과를 이용하여 시뮬레이션 결과 예측 모델을 학습한다(S200). 여기서, 상기 시뮬레이션 결과 예측 모델은 당해 기술 분야에서 널리 알려진 기계 학습 모델로 구현될 수 있다. 예를 들어, 상기 기계 학습 모델은 다중 선형 회귀(multiple linear regression), 일반 가산 모델(generalized additive model), 지지 벡터 머신(support vector machine), 분류 및 회기 트리(classification and regression tree), 랜덤 포레스트(random forest), 일반 부스팅 모델(general boosted model), 다변수 적응 회기 스플라인(multi-variate adaptive regression spline), 국소 회귀(local regression), k-최근접 이웃 회귀(k-nearest neighbor regression), 다층 신경망(multi-layer neural network) 등을 포함할 수 있으나, 이에 국한되는 것은 아니다. 상술한 기계 학습 모델은 당해 기술 분야에서 널리 알려진 기계 학습 모델이므로 이에 대한 설명은 생략한다.
다음으로, 시뮬레이션 결과 예측 장치(100)는 사용자 또는 다른 장치로부터 시뮬레이션 요청을 입력받는다(S210). 예를 들어, 사용자는 시뮬레이션 결과 예측 장치(100)가 제공하는 사용자 인터페이스를 통해 시뮬레이터의 종류를 선택하고, 시뮬레이션의 입력 변수를 입력하는 방식으로 시뮬레이션 수행을 요청할 수 있다.
다음으로, 시뮬레이션 결과 예측 장치(100)는 시뮬레이션 요청에 포함된 입력 변수를 이용하여 기 수행된 시뮬레이션 결과가 존재하는지 조회한다(S220). 구체적으로, 시뮬레이션 결과 예측 장치(100)는 동일한 입력 변수의 값으로 기 수행된 시뮬레이션 결과가 존재하는지 조회하고, 기 수행된 시뮬레이션 결과가 존재하는 경우, 별도의 시뮬레이션을 수행하지 않고 기 수행된 시뮬레이션 결과를 출력한다(S240). 즉, 시뮬레이션 결과 예측 장치(100)는 기 수행된 시뮬레이션 결과가 존재하는 경우 반복하여 시뮬레이션을 수행하지 않고 기 수행된 시뮬레이션 결과를 재사용함으로써 시뮬레이션에 요구되는 컴퓨팅 비용 및 시간 비용을 크게 절감할 수 있다.
동일한 입력 변수의 값으로 기 수행된 시뮬레이션 결과가 존재하지 않는 경우(S230), 시뮬레이션 결과 예측 장치(100)는 학습된 시뮬레이션 결과 예측 모델을 이용하여 시뮬레이션 결과를 예측하고(S230), 시뮬레이션 예측 결과를 출력한다(S240). 이에 따라, 입력 변수의 값이 상이한 경우에도 시뮬레이션을 수행하지 않고 예측된 결과를 제공함으로써 시뮬레이션에 요구되는 컴퓨팅 비용 및 시간 비용을 절감할 수 있다. 단, 구현 방식에 따라, 사용자가 명시적으로 시뮬레이션 수행을 요청한 경우는 시뮬레이션 결과에 대한 예측을 수행하지 않고, 직접 시뮬레이션을 수행할 수도 있다.
실시예에 따라, 시뮬레이션 결과 예측 장치(100)는 일정 수준의 정확도를 보장하기 위해 시뮬레이션 결과 예측 모델이 성숙될 정도로 학습된 경우에 한하여 예측 기능을 제공할 수 있다. 시뮬레이션 결과 예측 모델의 성숙도는 예를 들어 후술할 k-접합 교차 검증(k-fold cross validation)에 통해 산출되는 평균 오차 및/또는 입력 변수 값에 따른 시뮬레이션 결과 데이터셋의 개수의 평균 및 분산을 이용하여 결정될 수 있다. 즉, 시뮬레이션 결과 예측 장치는(100)는 평균 오차가 기 설정된 임계값 이하이고, 학습에 이용된 시뮬레이션 결과 데이터셋이 입력 변수 값에 따라 고루 분포되어 있고(분산이 기 설정된 값 이하인 경우), 입력 변수 값에 따른 데이터셋의 개수 또한 기 설정된 값 이상인 경우(평균이 기 설정된 값 이상인 경우) 시뮬레이션 결과 예측 모델이 성숙되었다고 판단할 수 있다.
지금까지, 도 7을 참조하여 본 발명의 실시예에 따른 시뮬레이션 결과 예측 방법에 대하여 설명하였다. 상술한 방법에 따르면, 재사용 및 예측 기능을 이용하여 시뮬레이션을 직접 수행하지 않고 시뮬레이션 결과를 제공함으로써, 시뮬레이션 수행에 요구되는 컴퓨팅 비용 및 시간 비용이 크게 절감될 수 있다.
이하에서는, 도 8 내지 도 13을 참조하여 상기 예측 기능에 의해 출력되는 시뮬레이션 결과의 정확도를 향상시키기 위한 본 발명의 다양한 실시예에 대하여 설명한다.
먼저, 도 8 내지 도 9를 참조하여 복수의 후보 시뮬레이션 결과 예측 모델 중에서 정확도가 높은 시뮬레이션 결과 예측 모델을 선정함으로써 예측의 정확도를 향상시키는 실시예에 대하여 설명한다.
도 8은 복수의 후보 시뮬레이션 결과 예측 모델 중에서 시뮬레이션 결과 예측에 이용될 시뮬레이션 결과 예측 모델을 선정하는 방법(이하, '시뮬레이션 결과 예측 모델 선정 방법')의 순서도이다.
도 8을 참조하면, 시뮬레이션 결과 예측 장치(100)는 기 수행된 시뮬레이션 결과를 이용하여 복수의 후보 시뮬레이션 결과 예측 모델을 학습한다(S300). 여기서, 상기 복수의 후보 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델 기반한 예측 모델일 수 있다. 또는, 동일한 기계 학습 모델이더라도 서로 다른 파라미터를 갖는 기계 학습 모델일 수 있다. 예를 들어, 복수의 후보 시뮬레이션 결과 예측 모델 중 일부의 모델은 동일하게 다층 신경망에 기반한 모델이더라도 은닉층(hidden layer)의 개수 등이 다른 모델일 수 있다.
다음으로, 시뮬레이션 결과 예측 장치(100)는 학습된 복수의 후보 시뮬레이션 결과 예측 모델에 대하여 k-접합 교차 검증(k-fold cross validation)을 수행한다(S310). 예를 들어, 시뮬레이션 결과 예측 장치(100)는 10-접합 교차 검증을 수행할 수 있으나, k의 값은 구현 방식에 달라질 수 있다.
참고로, k-접합 교차 검증 기법은 도 9에 도시된 바와 같이 원본 학습 데이터셋을 k개의 데이터셋으로 분할하고 k-1개의 데이터셋을 이용하여 학습을 수행하고 나머지 1개의 데이터셋을 검증 데이터셋으로 활용하여 검증을 수행하며, 검증 데이터셋을 변경해가며 총 k 번의 검증을 수행하는 기법이다. 상기 k-접합 교차 검증 기법은 당해 기술 분야에서 널리 알려진 기법이므로 더 이상의 자세한 설명은 생략한다.
다음으로, 시뮬레이션 결과 예측 장치(100)는 k-접합 교차 검증 기법을 통해 산출된 평균 오차를 기준으로 후보 시뮬레이션 결과 예측 모델 중 적어도 하나의 시뮬레이션 결과 예측 모델을 선정한다(S320). 예를 들어, 시뮬레이션 결과 예측 장치(100)는 평균 오차가 가장 작은 하나의 시뮬레이션 결과 예측 모델을 선정할 수 있고, 상대적으로 오차가 작은 복수의 시뮬레이션 결과 예측 모델을 선정할 수도 있다. 참고로, 상기 평균 오차는 예를 들어 RMSE(root-mean-square error)를 이용하여 산출될 수 있다. 단, 구현 방식에 따라 평균 오차를 구하는 방식은 달라질 수 있다.
지금까지, 도 8 내지 도 9를 참조하여 시뮬레이션 결과 예측 모델 선정 방법을 통해 시뮬레이션 결과 예측의 정확도를 향상시키는 실시예에 대하여 설명하였다. 본 실시예에 따르면, 서로 다른 기계 학습 모델 기반의 복수의 후보 시뮬레이션 결과 예측 모델을 학습하고 이 중에서 시뮬레이션 결과를 가장 정확하게 예측하는 모델을 선정함으로써 시뮬레이션 결과 예측의 정확도를 보다 향상시킬 수 있다.
한편, 본 발명의 다른 실시예에 따르면, 시뮬레이션 결과 예측 장치(100)는 상술한 시뮬레이션 결과 예측 모델 선정 방법을 이용하여 복수의 시뮬레이터(310, 320, 330) 각각에 대하여 최적의 시뮬레이션 결과 예측 모델을 선정할 수 있다.
도 10을 참조하여 부연 설명하면, 시뮬레이션 결과 예측 장치(100)는 시뮬레이터(310)의 시뮬레이션 결과를 이용하여 각 후보 시뮬레이션 결과 예측 모델(141)을 학습하고, 평균 오차가 가장 작은 예측 모델(141b)을 시뮬레이터(310)의 예측 모델로 선정할 수 있다. 또한, 시뮬레이션 결과 예측 장치(100)는 시뮬레이터(330)의 시뮬레이션 결과를 이용하여 각 후보 시뮬레이션 결과 예측 모델(141)을 학습하고, 평균 오차가 가장 작은 예측 모델(141a)을 시뮬레이터(330)의 예측 모델로 선정할 수 있다.
시뮬레이션 결과 예측 장치(100)는 각 시뮬레이터에 대하여 가장 적합한 시뮬레이션 결과 예측 모델을 선정하고, 이를 통해 시뮬레이션 결과를 예측함으로써 예측의 정확도가 보다 향상될 수 있다.
또한, 본 발명의 다른 실시예에 따르면 시뮬레이션 결과 예측 장치(100)는 시뮬레이션 출력 변수 별로 서로 다른 시뮬레이션 결과 예측 모델을 구축할 수도 있다. 구체적으로, 시뮬레이션 결과에 제1 시뮬레이션 출력 변수 및 제2 시뮬레이션 출력 변수가 포함된 경우, 시뮬레이션 결과 예측 장치(100)는 상술한 시뮬레이션 결과 예측 모델 선정 방법을 이용하여 제1 시뮬레이션 출력 변수의 값을 예측하는 제1 시뮬레이션 결과 예측 모델을 선정하고, 제2 시뮬레이션 출력 변수의 값을 예측하는 제2 시뮬레이션 결과 예측 모델을 선정할 수 있고, 이때 상기 제1 시뮬레이션 결과 예측 모델과 상기 제2 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델에 기반한 것일 수 있다. 즉, 시뮬레이션 결과 예측 장치(100)는 출력 변수 별로 적합한 시뮬레이션 결과 예측 모델을 선정할 수 있다.
다음으로, 본 발명의 다른 실시예에 따라 시뮬레이션 결과 예측 모델의 예측 구간을 세분화함으로써 시뮬레이션 결과 예측의 정확도를 향상시키는 실시예에 대하여 도 11 내지 도 13을 참조하여 설명한다.
지금까지 설명한 바에 따르면, 시뮬레이션 결과 예측 모델은 최초 입력 값인 사용자의 입력 변수 값에 대하여 최종 출력 값인 시뮬레이션 결과의 출력 변수 값을 예측하는 모델이다. 즉, 시뮬레이션 결과 예측 모델이 예측을 수행하는 구간은 시뮬레이션 입력 변수 값을 입력으로 하여 시뮬레이션 출력 변수를 출력하기 위해 하나의 시뮬레이션 소프트웨어 또는 하드웨어가 동작하는 구간으로 이해될 수 있다. 그러나 본 발명의 실시예에 따르면, 시뮬레이션 결과 예측 모델은 하나의 시뮬레이션 소프트웨어 또는 하드웨어를 구성하는 소프트웨어 모듈 또는 하드웨어 모듈 단위로 예측을 수행할 수 있다. 여기서, 상기 시뮬레이션 모듈은 특정 값을 입력 받고 그에 대하여 특정 값을 출력하는 소프트웨어 모듈 또는 하드웨어 모듈로써 예를 들어 시뮬레이션 소프트웨어를 구성하는 함수, 클래스, 또는 클래스의 집합 등이 될 수 있다.
보다 이해의 편의를 제공하기 위해, 도 11에 도시된 시뮬레이터(310)의 모듈 단위 구성도를 참조하면, 시뮬레이터(310)는 3개의 시뮬레이션 모듈(311, 313, 315)로 구성된다고 가정한다. 단, 이는 설명의 편의를 위한 것일 뿐 시뮬레이터(310)는 4개 이상의 시뮬레이션 모듈로 구성될 수도 있다. 여기서, 최초 입력 값(In1)은 사용자가 입력하는 시뮬레이션 입력 변수 값이 될 수 있고, 최종 출력 값(Out3)은 최종 시뮬레이션 결과로 출력되는 출력 변수 값이 될 수 있다.
다음으로 도 12를 참조하면, 시뮬레이션 결과 예측 장치(100)는 시뮬레이션 모듈(311, 313, 315) 별로 시뮬레이션 예측 모델을 구축할 수 있다. 예를 들어, 시뮬레이션 결과 예측 장치(100)는 시뮬레이션이 수행되는 경우 각 시뮬레이션 모듈 단위로 입력 값 및 출력 값을 저장하고, 각 시뮬레이션 모듈의 입력 값 및 출력 값을 학습하여 시뮬레이션 결과 예측 모델을 학습할 수 있다. 또한, 상술한 시뮬레이션 결과 예측 모델 선정 방법에 따라 시뮬레이션 모듈 별로 정확도가 가장 높은 예측 모델을 선정할 수 있다. 이에 따라, 각 시뮬레이션 모듈에 대한 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델로 동작할 수도 있다.
지금까지, 도 12를 참조하여 시뮬레이션 모듈 단위로 시뮬레이션 결과 예측 모델을 구축하는 실시예에 대하여 설명하였다. 상술한 실시예에 따르면, 각 시뮬레이션 예측 모델이 예측을 수행하는 구간이 짧아지기 때문에 각 시뮬레이션 예측 모델의 예측의 정확도가 향상될 수 있다. 또한, 시뮬레이션 소프트웨어가 시뮬레이션 모듈 단위로 세분화 됨에 따라 재사용 기능 또한 시뮬레이션 모듈 단위로 적용됨으로써 재사용의 이용 빈도가 높아지게 된다. 이에 따라, 전체 시뮬레이션에 대한 예측의 정확도가 향상될 수 있다.
한편, 도 12를 참조하여 설명한 실시예에 따르면 시뮬레이션 예측 모델의 개수가 많아짐에 따라 학습에 요구되는 컴퓨팅 비용 및 시뮬레이션 결과 데이터의 관리 비용이 증가될 수 있다. 또한, 경우에 따라 다수의 예측 과정이 발생하는 경우 오히려 예측의 정확도가 저하되는 문제가 발생할 수도 있다. 이와 같은 문제점을 해결하기 위해, 시뮬레이션 결과 예측 장치(100)는 일부 시뮬레이션 모듈에 대해서만 시뮬레이션 결과 예측 모델을 구축하고, 나머지 시뮬레이션 모듈에 대해서는 재사용 기능을 수행하거나 직접 시뮬레이션을 수행하도록 동작할 수 있다.
예를 들어, 도 13에 도시된 바와 같이 시뮬레이션 모듈(311, 313, 315)의 수행 시간(T1, T2, T3)을 기준으로 기 설정된 수행 시간 이상인 시뮬레이션 모듈(313)에 대해서만 시뮬레이션 예측 모델을 이용한 예측이 수행되도록 동작될 수 있다. 다른 시뮬레이션 모듈(311, 315)의 경우 재사용 기능만을 수행하고, 입력 값이 다른 경우는 시뮬레이터(310)와 연동하여 직접 시뮬레이션 모듈을 실행하는 방식으로 동작할 수 있다. 또는 시뮬레이션 결과 예측 장치(100)는 평균 오차를 기준으로 평균 오차가 낮은 일부의 시뮬레이션 모듈에 대해서만 시뮬레이션 예측 모델을 구축할 수도 있다.
지금까지, 도 11 내지 도 13을 참조하여 시뮬레이션 결과 예측 모델의 예측 구간을 세분화함으로써 시뮬레이션 결과 예측의 정확도를 향상시키는 실시예에 대하여 설명하였다.
지금까지 도 2 내지 도 13을 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이하에서는, 본 발명에 따른 시뮬레이션 결과 예측 방법 및 장치의 실용성을 증명하기 위해 다수의 기계 학습 모델 기반으로 시뮬레이션 결과 예측 모델을 구축하고 예측 시험을 수행한 실험 결과에 대하여 설명한다.
본 실험에서 시뮬레이션 결과 데이터는 KISTI에서 개발된 EDISON KFLOW 시뮬레이터의 실행 결과 데이터를 이용하였다. 참고로, EDISON KFLOW 시뮬레이터는 에어포일(airfoil) 시뮬레이터로서 비행기 날개 주변의 공기 흐름을 시뮬레이션하여 양력, 항력, 압력, 모멘트 등을 계산하는 시뮬레이터이다. EDISON KFLOW 시뮬레이터의 시뮬레이션 입력변수는 및 출력 변수는 아래의 표 1과 같다.
입력 변수 출력 변수
변수 설명 변수 설명
Thickness NACA 에오 포일 두께 Cl(lift coefficient) 양력 계수
MACH 속도(마하 수) Cdt(total drag coefficient) 항력 계수
AOA(Angle of Attack) 물체의 중심선과 물체로 흐르는 공기 흐름 간의 각도 크기 Cdp(pressure drag coefficient) 압력 항력 계수
RE(Reynolds Number) 관성에 의한 힘과 점성에 의한 힘의 비 Cdf(skin friction drag coefficient) 마찰 항력 계수
Cm(pitching moment coefficient) 피칭 모멘트 계수
본 실험에서 시뮬레이션의 입력변수(Thickness, MACH, AOA, RE)는 는 시뮬레이션 결과 예측 모델의 독립변수가 되고, 시뮬레이션의 출력 변수(Cl, Cdt, Cdp, Cdf, Cm)는 시뮬레이션 결과 예측 모델의 종속변수가 된다. EDISON KFLOW 시뮬레이션 결과 데이터는 총 7,680건이며, 본 실험에서는 이중 약 80%에 해당하는 6,200건의 데이터를 임의로 추출하여 훈련 데이터셋으로 사용하고, 나머지 약 20%에 해당하는 1,480건의 데이터는 시뮬레이션 결과 예측 모델의 성능을 평가하는 검증 데이터셋으로 사용하였다. 상술한 바와 같이 10-접합 교차 검증 기법을 이용하여 평균 오차를 산출하였다.
또한, 총 10개의 서로 다른 기계 학습 모델 기반의 시뮬레이션 예측 모델을 학습하고 정확도를 비교 분석하였다. 본 실험에서 이용된 기계 학습 모델은 아래의 표 2와 같다.
순번 예측 모델
1 다중 선형 회귀(multiple linear regression; MLR)
2 일반 가산 모델(generalized additive model; GAM)
3 지지 벡터 머신(support vector machine; SVM)
4 분류 및 회기 트리(classification and regression tree; CART)
5 랜덤 포레스트(random forest; RF)
6 일반 부스팅 모델(general boosted model; GBM)
7 다변수 적응 회기 스플라인
(multi-variate adaptive regression spline; MARS)
8 국소 회귀(local regression; LR)
9 k-최근접 이웃 회귀(k-nearest neighbor regression; k-NN)
10 다층 신경망(multi-layer neural network; MNN)
실험 결과에 대해서는 도 14a 내지 도 14e를 참조하여 설명한다. 도 14a 내지 도 14e는 시뮬레이션 출력 변수에 따라 각 시뮬레이션 결과 예측 모델의 평균 오차를 도시한다. 도 14a 내지 도 14e에서 x축은 시뮬레이션 결과 예측 모델을 가리키고, y 축은 평균 오차를 상대적 비율로 환산한 값을 가리킨다. 참고로, 시뮬레이션 결과 예측 모델은 약자로 표시되어 있으며, 상기 약자의 의미는 표 2를 참조한다.
도 14a 내지 도 14e를 참조하면, 각 출력 변수(Cl, Cdt, Cdp, Cdf, Cm)에 대해서 랜덤 포레스트 및 국소 회귀 기반의 시뮬레이션 결과 예측 모델이 대체로 좋은 성능을 나타내고, 평균 오차율도 대략 5% 미만인 것을 알 수 있다. 이는 본 발명에 따라 적합한 시뮬레이션 결과 예측 모델이 선정되는 경우 실제 시뮬레이션 분야에 충분히 활용될 수 있다는 것을 보여주는 것으로, 본 발명의 실용성을 보여주고 있는 것으로 이해할 수 있다.
또한, 각 출력 변수(Cl, Cdt, Cdp, Cdf, Cm) 별로 시뮬레이션 결과 예측 모델의 성능이 서로 상이하게 나타나는 것을 알 수 있다. 이는, 각 출력 변수 별로 적합한 시뮬레이션 결과 예측 모델을 선정하는 경우, 시뮬레이션 결과 예측의 정확도가 향상될 수 있음을 시사하고 있는 것으로 이해될 수 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (17)

  1. 기 수행된 시뮬레이션 결과를 저장하고 관리하는 저장부;
    상기 기 수행된 시뮬레이션 결과를 이용하여, 복수의 후보 시뮬레이션 결과 예측 모델을 학습하고, k-접합 교차 검증에 따른 평균 오차를 이용하여 상기 복수의 후보 시뮬레이션 결과 예측 모델 중에서 시뮬레이션 결과 예측에 이용될 시뮬레이션 결과 예측 모델을 선정하며, 상기 선정된 시뮬레이션 결과 예측 모델을 이용하여 시뮬레이션 결과를 예측하는 예측부;
    시뮬레이션 요청을 입력받고 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 출력하는 인터페이스부를 포함하되,
    상기 복수의 후보 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델에 기반한 것인,
    시뮬레이션 결과 예측 장치.
  2. 제1 항에 있어서,
    상기 인터페이스부는,
    상기 저장부에 상기 시뮬레이션 요청에 대한 시뮬레이션 결과가 존재하는지 조회하고, 상기 조회 결과 상기 시뮬레이션 요청에 대한 시뮬레이션 결과가 존재하지 않는 경우 상기 예측부가 예측한 시뮬레이션 예측 결과를 출력하며, 상기 조회 결과 상기 시뮬레이션 요청에 대한 시뮬레이션 결과가 존재하는 경우, 상기 조회된 시뮬레이션 결과를 출력하는,
    시뮬레이션 결과 예측 장치.
  3. 제1 항에 있어서,
    상기 기 수행된 시뮬레이션 결과에서 시뮬레이션 입력 변수 및 시뮬레이션 출력 변수를 추출하고, 상기 추출된 시뮬레이션 입력 변수 및 상기 시뮬레이션 출력 변수를 기 정의된 포맷으로 변환하는 포맷 변환부를 더 포함하고,
    상기 저장부는 변환된 시뮬레이션 입력 변수 및 시뮬레이션 출력 변수를 저장하는,
    시뮬레이션 결과 예측 장치.
  4. 제1 항에 있어서,
    복수의 시뮬레이터에 포함되는 시뮬레이터 각각의 식별 정보, 상기 시뮬레이터 각각의 입력 변수 및 출력 변수 정보를 관리하는 메타데이터 관리부를 더 포함하고,
    상기 인터페이스부는 상기 복수의 시뮬레이터에 중 어느 하나의 시뮬레이터에 대한 선택 입력을 수신 받기 위한 제1 사용자 인터페이스를 제공하고, 상기 제1 사용자 인터페이스를 통해 상기 어느 하나의 시뮬레이터에 대한 선택 입력이 수신된 경우, 선택된 시뮬레이터의 입력 변수를 입력받기 위한 제2 사용자 인터페이스와 상기 선택된 시뮬레이터의 출력 변수를 출력하기 위한 제3 사용자 인터페이스를 제공하는,
    시뮬레이션 결과 예측 장치.
  5. 삭제
  6. 제1 항에 있어서,
    상기 기 수행된 시뮬레이션 결과는 제1 시뮬레이터에 의해 수행된 제1 시뮬레이션 결과 및 제2 시뮬레이터에 의해 수행된 제2 시뮬레이션 결과를 포함하고,
    상기 예측부는,
    상기 제1 시뮬레이션 결과를 이용하여 학습된 복수의 후보 시뮬레이션 결과 예측 모델 중에서 상기 제1 시뮬레이터의 시뮬레이션 결과 예측에 이용되는 제1 시뮬레이션 결과 예측 모델을 선정하고,
    상기 제2 시뮬레이션 결과를 이용하여 학습된 복수의 후보 시뮬레이션 결과 예측 모델 중에서 상기 제2 시뮬레이터의 시뮬레이션 결과 예측에 이용되는 제2 시뮬레이션 결과 예측 모델을 선정하는,
    시뮬레이션 결과 예측 장치.
  7. 제6 항에 있어서,
    상기 제1 시뮬레이션 결과 예측 모델과 상기 제2 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델에 기반한 것인,
    시뮬레이션 결과 예측 장치.
  8. 제1 항에 있어서,
    상기 서로 다른 기계 학습 모델은,
    랜덤 포레스트(random forest), 국소 회귀(local regression), k-최근접 이웃 회귀(k-nearest neighbor regression) 및 다층 신경망(multi-layer neural network)을 포함하는,
    시뮬레이션 결과 예측 장치.
  9. 제1 항에 있어서,
    상기 시뮬레이션 결과는 제1 시뮬레이션 출력 변수 및 제2 시뮬레이션 출력 변수를 포함하고,
    상기 예측부는,
    상기 제1 시뮬레이션 출력 변수의 값을 예측하는 제1 시뮬레이션 결과 예측 모델을 선정하고, 상기 제2 시뮬레이션 출력 변수의 값을 예측하는 제2 시뮬레이션 결과 예측 모델을 선정하되,
    상기 제1 시뮬레이션 결과 예측 모델과 상기 제2 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델에 기반한 것인,
    시뮬레이션 결과 예측 장치.
  10. 기 수행된 시뮬레이션 결과를 이용하여, 복수의 후보 시뮬레이션 결과 예측 모델을 학습하되, 상기 복수의 후보 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델에 기반한 것인, 단계;
    k-접합 교차 검증에 따른 평균 오차를 이용하여, 상기 복수의 후보 시뮬레이션 결과 예측 모델 중에서 시뮬레이션 결과 예측에 이용될 시뮬레이션 결과 예측 모델을 선정하는 단계;
    시뮬레이션 요청을 입력받는 단계;
    상기 선정된 시뮬레이션 결과 예측 모델을 이용하여 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 예측하는 단계; 및
    상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 출력하는 단계를 포함하는,
    시뮬레이션 결과 예측 방법.
  11. 제10 항에 있어서,
    상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 예측하는 단계는,
    상기 시뮬레이션 요청에 대한 시뮬레이션 결과가 존재하는지 조회하는 단계; 및
    상기 조회 결과 상기 시뮬레이션 요청에 대한 시뮬레이션 결과가 존재하지 않는 경우에 한하여 상기 시뮬레이션 결과를 예측하는 단계를 포함하고,
    상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 출력하는 단계는,
    상기 조회 결과 상기 시뮬레이션 요청에 대한 시뮬레이션 결과가 존재하는 경우 상기 조회된 시뮬레이션 결과를 출력하고, 상기 시뮬레이션 요청에 대한 시뮬레이션 결과가 존재하지 않는 경우 상기 예측된 시뮬레이션 결과를 출력하는 단계를 포함하는,
    시뮬레이션 결과 예측 방법.
  12. 삭제
  13. 제10 항에 있어서,
    상기 기 수행된 시뮬레이션 결과는 제1 시뮬레이터에 의해 수행된 제1 시뮬레이션 결과 및 제2 시뮬레이터에 의해 수행된 제2 시뮬레이션 결과를 포함하고,
    상기 시뮬레이션 결과 예측 모델을 선정하는 단계는,
    상기 제1 시뮬레이션 결과를 이용하여 학습된 복수의 후보 시뮬레이션 결과 예측 모델 중에서 상기 제1 시뮬레이터의 시뮬레이션 결과 예측에 이용되는 제1 시뮬레이션 결과 예측 모델을 선정하는 단계; 및
    상기 제2 시뮬레이션 결과를 이용하여 학습된 복수의 후보 시뮬레이션 결과 예측 모델 중에서 상기 제2 시뮬레이터의 시뮬레이션 결과 예측에 이용되는 제2 시뮬레이션 결과 예측 모델을 선정하는 단계를 포함하는,
    시뮬레이션 결과 예측 방법.
  14. 제13 항에 있어서,
    상기 제1 시뮬레이션 결과 예측 모델과 상기 제2 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델에 기반한 것인,
    시뮬레이션 결과 예측 방법.
  15. 제10 항에 있어서,
    상기 서로 다른 기계 학습 모델은,
    랜덤 포레스트(random forest), 국소 회귀(local regression), k-최근접 이웃 회귀(k-nearest neighbor regression) 및 다층 신경망(multi-layer neural network)을 포함하는,
    시뮬레이션 결과 예측 방법.
  16. 제10 항에 있어서,
    상기 시뮬레이션 결과는 제1 시뮬레이션 출력 변수 및 제2 시뮬레이션 출력 변수를 포함하고,
    상기 시뮬레이션 결과 예측 모델을 선정하는 단계는,
    상기 제1 시뮬레이션 출력 변수의 값을 예측하는 제1 시뮬레이션 결과 예측 모델을 선정하는 단계; 및
    상기 제2 시뮬레이션 출력 변수의 값을 예측하는 제2 시뮬레이션 결과 예측 모델을 선정하는 단계를 포함하되,
    상기 제1 시뮬레이션 결과 예측 모델과 상기 제2 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델에 기반한 것인,
    시뮬레이션 결과 예측 방법.
  17. 컴퓨팅 장치와 결합하여,
    기 수행된 시뮬레이션 결과를 이용하여, 복수의 후보 시뮬레이션 결과 예측 모델을 학습하되, 상기 복수의 후보 시뮬레이션 결과 예측 모델은 서로 다른 기계 학습 모델에 기반한 것인, 단계;
    k-접합 교차 검증에 따른 평균 오차를 이용하여, 상기 복수의 후보 시뮬레이션 결과 예측 모델 중에서 시뮬레이션 결과 예측에 이용될 시뮬레이션 결과 예측 모델을 선정하는 단계;
    시뮬레이션 요청을 입력받는 단계;
    상기 선정된 시뮬레이션 결과 예측 모델을 이용하여 상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 예측하는 단계; 및
    상기 시뮬레이션 요청에 대한 시뮬레이션 결과를 출력하는 단계를 실행시키기 위하여 기록매체에 저장된,
    컴퓨터 프로그램.
KR1020170000040A 2017-01-02 2017-01-02 시뮬레이션 결과 예측 방법 및 장치 KR101729694B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170000040A KR101729694B1 (ko) 2017-01-02 2017-01-02 시뮬레이션 결과 예측 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170000040A KR101729694B1 (ko) 2017-01-02 2017-01-02 시뮬레이션 결과 예측 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101729694B1 true KR101729694B1 (ko) 2017-04-25

Family

ID=58703536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170000040A KR101729694B1 (ko) 2017-01-02 2017-01-02 시뮬레이션 결과 예측 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101729694B1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101829279B1 (ko) * 2017-09-15 2018-02-19 한국과학기술정보연구원 시뮬레이션관리를 위한 장치 및 방법
KR101932608B1 (ko) * 2017-09-21 2018-12-27 충남대학교산학협력단 자전거 대여 시스템 관리 방법, 자전거 대여 시스템의 관리 서버, 및 컴퓨터 판독가능 기록 매체
KR102006211B1 (ko) * 2018-02-13 2019-08-02 국방과학연구소 제 1 시뮬레이터에서 이용되는 파이썬 스크립트를 변환하여, 제 2 시뮬레이터에서 이용되는 xml 스크립트를 생성하는 장치 및 방법
WO2019164125A1 (ko) * 2018-02-23 2019-08-29 주식회사 모비스 강화학습과 머신러닝 기법을 이용한 가속기 성능 최적화를 위한 제어 패러미터 결정 시스템
KR20190134199A (ko) * 2018-05-25 2019-12-04 (주) 아인스에스엔씨 교통 빅데이터 기계학습이 내장된 교통시스템 모델링방법
KR102159645B1 (ko) * 2019-05-28 2020-09-25 서울시립대학교 산학협력단 시뮬레이션 장치 및 방법
KR102170739B1 (ko) * 2020-03-23 2020-10-27 국방과학연구소 무기체계 환경/신뢰성시험용 이종 시험장비 인터페이스 장치
KR102213842B1 (ko) * 2020-10-20 2021-02-08 국방과학연구소 무기체계 환경/신뢰성 시험용 이종 시험장비 인터페이스 장치, 환경시험 시스템, 및 데이터 중간 장치
KR20210077566A (ko) * 2019-12-17 2021-06-25 경북대학교 산학협력단 시뮬레이션 실행 시간 예측 장치 및 예측 방법
KR20220081880A (ko) 2020-12-09 2022-06-16 (주) 아인스에스엔씨 디지털트윈을 이용한 이산사건 시스템 실시간 분석 및 실시간 동작 가시화 장치
KR20220153774A (ko) * 2021-05-12 2022-11-21 한국과학기술원 적응형 시스템의 통계적 검증 기반 예측적 적응 기법
KR102510060B1 (ko) * 2022-07-28 2023-03-14 주식회사 어니언소프트웨어 딥러닝 펌프 시뮬레이션을 통한 이상 데이터 확보 방법과 오토인코더 기반의　 이상 감지 모델 수립 방법과 시스템
WO2023038363A1 (ko) * 2021-09-07 2023-03-16 가톨릭대학교 산학협력단 비염 진단 장치, 방법 및 기록매체
US11631028B2 (en) 2018-10-30 2023-04-18 Samsung Electronics Co.. Ltd. Method of updating policy for controlling action of robot and electronic device performing the method
KR20230090859A (ko) * 2021-12-15 2023-06-22 한국기술교육대학교 산학협력단 디지털 트윈 기반의 예측 시뮬레이션 수행 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101490697B1 (ko) 2013-08-29 2015-02-06 한국과학기술정보연구원 시뮬레이션 데이터 기반의 동적 기능 메뉴를 제공하는 가시화 장치 및 이를 이용한 가시화 방법
KR101657495B1 (ko) * 2015-09-04 2016-09-30 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101490697B1 (ko) 2013-08-29 2015-02-06 한국과학기술정보연구원 시뮬레이션 데이터 기반의 동적 기능 메뉴를 제공하는 가시화 장치 및 이를 이용한 가시화 방법
KR101657495B1 (ko) * 2015-09-04 2016-09-30 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템 및 이를 이용한 영상 인식 방법

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101829279B1 (ko) * 2017-09-15 2018-02-19 한국과학기술정보연구원 시뮬레이션관리를 위한 장치 및 방법
KR101932608B1 (ko) * 2017-09-21 2018-12-27 충남대학교산학협력단 자전거 대여 시스템 관리 방법, 자전거 대여 시스템의 관리 서버, 및 컴퓨터 판독가능 기록 매체
KR102006211B1 (ko) * 2018-02-13 2019-08-02 국방과학연구소 제 1 시뮬레이터에서 이용되는 파이썬 스크립트를 변환하여, 제 2 시뮬레이터에서 이용되는 xml 스크립트를 생성하는 장치 및 방법
WO2019164125A1 (ko) * 2018-02-23 2019-08-29 주식회사 모비스 강화학습과 머신러닝 기법을 이용한 가속기 성능 최적화를 위한 제어 패러미터 결정 시스템
KR20190134199A (ko) * 2018-05-25 2019-12-04 (주) 아인스에스엔씨 교통 빅데이터 기계학습이 내장된 교통시스템 모델링방법
KR102057066B1 (ko) 2018-05-25 2020-01-14 (주)아인스에스엔씨 교통 빅데이터 기계학습이 내장된 교통시스템 모델링방법
US11631028B2 (en) 2018-10-30 2023-04-18 Samsung Electronics Co.. Ltd. Method of updating policy for controlling action of robot and electronic device performing the method
KR102159645B1 (ko) * 2019-05-28 2020-09-25 서울시립대학교 산학협력단 시뮬레이션 장치 및 방법
KR20210077566A (ko) * 2019-12-17 2021-06-25 경북대학교 산학협력단 시뮬레이션 실행 시간 예측 장치 및 예측 방법
KR102304321B1 (ko) * 2019-12-17 2021-09-24 경북대학교 산학협력단 시뮬레이션 실행 시간 예측 장치 및 예측 방법
KR102170739B1 (ko) * 2020-03-23 2020-10-27 국방과학연구소 무기체계 환경/신뢰성시험용 이종 시험장비 인터페이스 장치
KR102213842B1 (ko) * 2020-10-20 2021-02-08 국방과학연구소 무기체계 환경/신뢰성 시험용 이종 시험장비 인터페이스 장치, 환경시험 시스템, 및 데이터 중간 장치
KR20220081880A (ko) 2020-12-09 2022-06-16 (주) 아인스에스엔씨 디지털트윈을 이용한 이산사건 시스템 실시간 분석 및 실시간 동작 가시화 장치
KR20220153774A (ko) * 2021-05-12 2022-11-21 한국과학기술원 적응형 시스템의 통계적 검증 기반 예측적 적응 기법
KR102585570B1 (ko) 2021-05-12 2023-10-10 한국과학기술원 적응형 시스템의 통계적 검증 기반 예측적 적응 기법
WO2023038363A1 (ko) * 2021-09-07 2023-03-16 가톨릭대학교 산학협력단 비염 진단 장치, 방법 및 기록매체
KR20230090859A (ko) * 2021-12-15 2023-06-22 한국기술교육대학교 산학협력단 디지털 트윈 기반의 예측 시뮬레이션 수행 장치 및 방법
KR102665220B1 (ko) * 2021-12-15 2024-05-09 한국기술교육대학교 산학협력단 디지털 트윈 기반의 예측 시뮬레이션 수행 장치 및 방법
KR102510060B1 (ko) * 2022-07-28 2023-03-14 주식회사 어니언소프트웨어 딥러닝 펌프 시뮬레이션을 통한 이상 데이터 확보 방법과 오토인코더 기반의　 이상 감지 모델 수립 방법과 시스템

Similar Documents

Publication Publication Date Title
KR101729694B1 (ko) 시뮬레이션 결과 예측 방법 및 장치
US11741361B2 (en) Machine learning-based network model building method and apparatus
Liu et al. Cope with diverse data structures in multi-fidelity modeling: a Gaussian process method
US11144842B2 (en) Model adaptation and online learning for unstable environments
WO2021190597A1 (zh) 一种神经网络模型的处理方法以及相关设备
EP3726442A1 (en) Semantic modeling and machine learning-based generation of conceptual plans for manufacturing assemblies
CN105051693A (zh) 管理计算机服务器能力
CN102314533B (zh) 将计算出的曲线拟合到目标曲线的方法和系统
US20220076130A1 (en) Deep surrogate langevin sampling for multi-objective constraint black box optimization with applications to optimal inverse design problems
US20200394276A1 (en) Simulation-based optimization on a quantum computer
Sun et al. Evolutionary generative design of supercritical airfoils: an automated approach driven by small data
CN114648103A (zh) 用于处理深度学习网络的自动多目标硬件优化
US11409932B1 (en) C-PHY input/output driver modeling using artificial neural network and state space models
JP5969734B2 (ja) 分散モデル同定
EP4080789A1 (en) Enhanced uncertainty management for optical communication systems
KR102375880B1 (ko) 인공지능 모델 기반의 제조 공정에서의 견적 및 설계도 산출 시스템
Taouali et al. Hybrid kernel identification method based on support vector regression and regularisation network algorithms
Arhore et al. Optimisation of convolutional neural network architecture using genetic algorithm for the prediction of adhesively bonded joint strength
Zhang et al. Adaptive sampling with varying sampling cost for design space exploration
WO2022081230A1 (en) Autonomous control of supervisory setpoints using artificial intelligence
Sóbester et al. Design space dimensionality reduction through physics-based geometry re-parameterization
Filip et al. Optimal decisions for complex systems—Software packages
US20240135047A1 (en) Systems and methods for improving a design of article using expert emulation
US20240232449A9 (en) Systems and methods for improving a design of article using expert emulation
Fang et al. An active-learning probabilistic neural network for feasibility classification of constrained engineering optimization problems

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant