KR20190107117A

KR20190107117A - 시스템들의 자동화 및 제어를 위한 인지 공학 기술을 위한 시스템 및 방법

Info

Publication number: KR20190107117A
Application number: KR1020197024540A
Authority: KR
Inventors: 아르키메데스 마르티네즈 카네도; 산지브 스리바스타바; 리비오 댈로로
Original assignee: 지멘스 악티엔게젤샤프트
Priority date: 2017-01-24
Filing date: 2018-01-23
Publication date: 2019-09-18
Also published as: CA3051241A1; JP2020507157A; CN110462644A; EP3559870A1; WO2018140365A1; IL268227A; US20190370671A1

Abstract

인지 공학(cognitive engineering)을 수행하는 방법은, 적어도 하나의 사용자 툴(user tool)로부터 인간 지식을 추출하는 단계, 사이버-물리 시스템(CPS; cyber-physical system)으로부터 시스템 정보를 수신하는 단계, 인간 지식 및 수신된 시스템 정보를 디지털 트윈 그래프(DTG; digital twin graph)로 조직화(organizing)하는 단계, CPS와 관련된 엔지니어링 옵션(engineering option)을 생성하기 위해, DTG에 대해 하나 이상의 기계 학습 기법들을 수행하는 단계, 및 생성된 엔지니어링 옵션을 적어도 하나의 사용자 툴의 사용자에게 제공하는 단계를 포함한다. 방법은, 적어도 하나의 사용자 툴에서의 복수의 사용자 액션(user action)들을 기록하는 단계, 일련의 사용자 액션들을 생성하기 위해 복수의 사용자 액션들을 시간순으로 저장하는 단계, 및 복수의 저장된 일련의 사용자 액션들과 관련된 이력 데이터를 저장하는 단계를 포함할 수 있다.

Description

시스템들의 자동화 및 제어를 위한 인지 공학 기술을 위한 시스템 및 방법

[0001] 본 출원은, 2017년 1월 24일자로 출원되고 발명의 명칭이 "CENTAUR: Cognitive Engineering Technology for Automation and Control"인 미국 가특허 출원 일련 번호 제62/449,756호를 35 U.S.C. §119(e)에 따라 우선권으로 주장하며, 이 미국 가특허 출원은 인용에 의해 그 전체가 본원에 포함된다.

[0002] 본 출원은 자동화 및 제어에 관한 것이다. 더 구체적으로, 본 출원은 디지털 모델링 자동화(digitally modeling automation) 및 제어 시스템(control system)들에 관한 것이다.

[0003] 사이버-물리 시스템(CPS; Cyber-Physical System) 컴포넌트(component)들, 이를테면, 프로그램가능 로직 제어기(PLC; Programmable Logic Controller)들은 특정 작업(task)을 수행하도록 프로그래밍되지만(programmed), 이들은 자가-인식(self-awareness)을 달성할 수 없다. 더욱이, 현재의 CPS들은 인공 지능(AI; artificial intelligence)의 능력이 결핍되어 있다.

[0004] 현재, AI를 CPS에 통합하려는 시도들이 있다. 예컨대, 최근의 연구는, 새로운 능력들을 달성하기 위해 AI 기법들을 사용하여 PLC들 및 에지 디바이스(edge device)들, 이를테면, 스마트 센서(smart sensor)들이 프로그래밍될 수 있다는 것을 보였다. 그러나, 기계들이 빈번하게 인간의 대응부를 능가할 수 있더라도, 기계들은 대개 인간 운영자 또는 설계자의 도움으로, 더 효율적으로 작업하도록 만들어질 수 있다. 인간 지식과 결합된 센서 데이터(sensor data)에 기반하여 기계 학습(machine learning)을 레버리징(leveraging)함으로써 더 큰 능력을 제공하는 디바이스들 및 시스템들이 요구된다.

[0005] 본 발명의 실시예들의 양상들에 따르면, 인지 공학(cognitive engineering)을 수행하는 방법은, 적어도 하나의 사용자 툴(user tool)로부터 인간 지식을 추출하는 단계, 사이버-물리 시스템(CPS)으로부터 시스템 정보를 수신하는 단계, 인간 지식 및 수신된 시스템 정보를 디지털 트윈 그래프(DTG; digital twin graph)로 조직화(organizing)하는 단계, CPS와 관련된 엔지니어링 옵션(engineering option)을 생성하기 위해, DTG에 대해 하나 이상의 기계 학습 기법들을 수행하는 단계, 및 생성된 엔지니어링 옵션을 적어도 하나의 사용자 툴의 사용자에게 제공하는 단계를 포함한다.

[0006] 실시예에 따르면, 방법은, 적어도 하나의 사용자 툴에서의 복수의 사용자 액션(user action)들을 기록하는 단계, 일련의 사용자 액션들을 생성하기 위해 복수의 사용자 액션들을 시간순으로 저장하는 단계, 및 복수의 저장된 일련의 사용자 액션들과 관련된 이력 데이터를 저장하는 단계를 더 포함한다.

[0007] 실시예에서, 적어도 하나의 사용자 툴은 컴퓨터 지원 기술(CAx; computer aided technology) 엔지니어링 프론트 엔드(engineering front end)이다.

[0008] 다른 실시예에 따르면, 적어도 하나의 사용자 툴로부터 인간 지식을 추출하는 단계는, 컴퓨터 지원 기술(CAx)에서, 사용자에 의해 수행되는 시계열의 모델링 단계(time series of modeling step)들을 기록하는 단계를 포함한다. 다른 실시예들에서, 적어도 하나의 사용자 툴로부터 인간 지식을 추출하는 단계는, 컴퓨터 지원 기술(CAx)에서, 사용자에 의해 수행되는 시계열의 시뮬레이션 셋업 단계(time series of simulation setup step)들을 기록하는 단계를 포함한다.

[0009] 실시예들에 따르면, 적어도 하나의 사용자 툴로부터 인간 지식을 추출하는 단계는, 컴퓨터 지원 기술(CAx)에서, 사용자에 의해 수행되는 시계열의 재료 할당 단계(time series of material assignment step)들을 기록하는 단계를 포함한다.

[0010] 다른 실시예들의 양상들에 따르면, 제1항의 방법은, DTG를 계층화된 아키텍처(layered architecture)에 배열하는 단계를 더 포함하며, 계층화된 아키텍처는, DTG를 포함하는 코어(core), 도메인-특정 데이터(domain-specific data)의 공통적인 구문론적 및 의미론적 추상화(abstraction)를 제공하는 디지털 트윈 인터페이스 언어(digital twin interface language)를 정의하는 제1 계층, 인지적(cognitive) CPS의 컴포넌트들을 포함하는 제2 계층, 및 진보된 CPS 애플리케이션(advanced CPS application)들을 포함하는 제3 계층을 포함한다.

[0011] 추가의 실시예들에 따르면, 인지적 CPS의 컴포넌트들은, CPS의 자가-인식을 제공하기 위한 애플리케이션들, CPS의 자가-구성(self-configuration)을 제공하기 위한 애플리케이션들, CPS의 회복탄력적 아키텍처(resilient architecture)를 통한 자가-치유(self-healing)를 제공하기 위한 애플리케이션들, 및 CPS의 컴포넌트들의 생성적 설계(generative design)를 위한 애플리케이션들을 포함한다. 일부 실시예들에서, DTG는 시간의 경과에 따라 변화하도록 구성된다. DTG는: 노드(node)의 추가; 노드의 제거; 2개의 노드들을 연결하는 에지의 추가; 및 이전에 2개의 노드들을 연결한 에지의 제거 중 적어도 하나를 통해 시간의 경과에 따라 변화할 수 있다. 또한, 제1 시점과 제2 시점 사이에 발생하는 DTG의 변화는, 엔지니어링 옵션을 생성하기 위해 하나 이상의 기계 학습 기법들에 의해 사용될 수 있는 인과적 의존성(causal dependency)을 생성한다.

[0012] 실시예들에 따르면, 하나 이상의 기계 학습 기법들은 강화 학습(reinforcement learning), 생성적 적대 네트워크(generative adversarial network)들, 및/또는 심층 학습(deep learning)을 포함한다.

[0013] 일부 실시예들에서, DTG는 복수의 서브-그래프(sub-graph)들을 포함하고, 서브-그래프들 각각은 CPS의 컴포넌트를 나타내며, 제1 서브-그래프와 제2 서브-그래프를 연결하는 에지는 제1 서브-그래프에 의해 표현되는 제1 컴포넌트와 제2 서브-그래프에 의해 표현되는 제2 컴포넌트 사이의 관계를 나타낸다.

[0014] 다른 실시예들에서, DTG는 복수의 노드들 및 복수의 에지들을 포함하고, 각각의 에지는 복수의 노드들 중 2개의 노드들을 연결하고 그리고 각각의 에지는 연관된 2개의 노드들 사이의 관계를 나타내고, 그 관계는 CPS의 미래의 설계를 개선하기 위한 데이터와 관련된다.

[0015] 본 개시내용의 실시예들의 양상들에 따른 인지 공학을 위한 시스템은, 적어도 하나의 사용자 툴에서의 사용자 액션들을 추출 및 저장하기 위한 데이터베이스(database), 적어도 하나의 물리적 컴포넌트를 포함하는 사이버-물리 시스템(CPS), CPS를 나타내는 디지털 트윈 그래프를 작성하도록 구성된 적어도 하나의 물리적 컴포넌트 및 데이터베이스와 통신하는 컴퓨터 프로세서(computer processor), 및 컴퓨터 프로세서에 의해 실행가능하고 그리고 CPS의 적어도 하나의 엔지니어링 옵션을 생성하도록 구성된 적어도 하나의 기계 학습 기법을 포함한다. 시스템은, 적어도 하나의 사용자 툴에서 수행된 시간-시퀀스(time-sequence)의 사용자 액션들을 기록 및 저장하고 그리고 복수의 시간-시퀀스들의 사용자 액션들의 이력 기록을 데이터베이스에 저장하도록 구성된, 컴퓨터 프로세서에 의해 동작가능한 추출 툴(extraction tool)을 더 포함할 수 있다. 적어도 하나의 사용자 툴은 컴퓨터 지원 기술(CAx)을 포함할 수 있다.

[0016] 본 발명의 전술한 양상들 및 다른 양상들은, 첨부 도면들과 관련하여 읽혀질 때, 다음의 상세한 설명으로부터 최상으로 이해된다. 본 발명을 예시하는 목적을 위해, 현재 바람직한 실시예들이 도면들에 도시되지만, 본 발명은 개시된 특정 수단들로 제한되지 않는다는 것이 이해된다. 도면들에는 다음의 도면들이 포함된다:
[0017] 도 1은 본 개시내용의 실시예들의 양상들에 따른 디지털 트윈 그래프의 다이어그램(diagram)이다.
[0018] 도 2는 본 개시내용의 실시예들의 양상들에 따른 복수의 상호-관련된 그래프들을 포함하는 시스템의 다이어그램이다.
[0019] 도 3은 본 개시내용의 실시예들의 양상들에 따른 시간의 경과에 따른 디지털 트윈 그래프 변환의 예시이다.
[0020] 도 4는 본 개시내용의 실시예들의 양상들에 따른 지능형 설계를 위한 PiU(product in use) 데이터의 사용의 예시이다.
[0021] 도 5는 본 개시내용의 실시예들의 양상들에 따른, 과거의 경험에 기반하여 미래의 목표를 달성하기 위한 타임 라인(time line)의 예시이다.
[0022] 도 6은 본 개시내용의 실시예들의 양상들에 따른, 경험적 데이터 및 추출된 인간 지식에 기반한 기계 학습을 위한 아키텍처의 블록 다이어그램(block diagram)이다.
[0023] 도 7은 본 개시내용의 실시예들의 양상들을 구현하기 위한 컴퓨터 시스템의 블록 다이어그램이다.

[0024] 자동화 및 제어를 위한 인지 공학 기술(CENTAUR; cognitive engineering technology for automation and control)은, 이전에 알려지지 않은 새로운 자동화 및 제어 접근법들을 공동으로 발견하기 위해 인간의 지식이 인공 지능 시스템들과 짝을 이루는, 복잡한 사이버-물리 시스템(CPS)들의 설계, 엔지니어링, 및 운영을 위한 변형 접근법(transformational approach)이다. 발견된 접근법들은 전례없는 수준들의 성능, 신뢰성, 회복탄력성(resilience), 및 민첩성(agility)을 달성할 수 있다. 월스트리트(wall street) 계량 분석가(quantitative analyst)인 한 사람은 "어떤 사람도 기계보다 우수하지 않으며, 어떤 기계도 기계를 가진 사람보다 우수하지 않다"고 말했다. 이러한 관점에서, CENTAUR는 CPS들을 생성하는 것을 목표로 하는데, 그 CPS들은, 그 CPS들이 자신들과 자신들의 환경을 인식하고(자의식(self-consciousness)), 자기 자신들의 계획들을 설계하고(자가-계획수립(self-planning)), 그리고 문제들을 식별하고 스스로를 재구성한다(자가-치유(self-healing))는 점에서 살아있는 유기체들과 유사하게 인간들과 조화를 이루어 행동한다. 이러한 비전(vision)을 실현하기 위해, 디지털 트윈(Digital Twin)들이 생성되어, 실제 운영 환경(OE; operational environment) 및 실제 운영 환경(OE)에 포함된 CPS들과 함께 공동-진화하는 운영 환경(OE)의 살아있는 디지털 표현(living digital representation)들을 제공한다. CENTAUR는, 인간들로부터 유도된 지식과 결합된 인공 지능 시스템들이 CPS 및 사물 인터넷(IoT; Internet-of-Things)을 변환시킬 수 있는 방법의 예이다.

[0025] 디지털 트윈들의 도움으로, CENTAUR는, 복잡한 CPS들, 예컨대 고속 열차들이 설계될 수 있는 방식을 근본적으로 변환시킬 잠재력을 갖는다. 게다가, 디지털 트윈들은 또한, CPS들이 복합 시스템(SoS; Systems-of-Systems)(예컨대, IoT 디바이스들이 있는 공장들)에서 서로 상호작용하는 방법을 개선하는 데 도움을 줄 수 있다. CENTAUR와 같은 시스템은, 엔지니어(engineer)들이 오늘날 할 수 없는 것을 하도록 지원하여, 엔지니어들이 해결할 수 있는 문제들을 상당히 확장시키고 새로운 작업 방식들을 생성할 수 있다. 그러한 시스템을 이용하여, 엔지니어들은, 불확실성 및 알 수 없는 요인들의 영향들을 고려하면서 최적의 결과들을 달성하는 우수한 전략들 및 설계 시스템들을 개발할 수 있다. 다음은, CENTAUR가 가장 큰 영향을 미칠 5개의 양상들이다:

[0026] 1. 복잡성 다루기. CENTAUR는, 대규모 시스템들의 다양한 엘리먼트(element)들 사이의 상호작용들 및 관계들을 이해하면서 대량의 정보로부터 새로운 통찰력(insight)들을 생성하는 데 도움을 줄 것이다. 이러한 방식으로, 미래의 컨디션(condition)들이 예측될 수 있으며, 설계 결정들로 인한 의도하지 않은 결과들이 더 양호하게 이해될 수 있다.

[0027] 2. 도메인들에 걸쳐 전문지식 및 설계 의도 파악. CENTAUR는, 약화(attrition)로 인해 경험과 지식이 상실되는 노령화된 노동력의 문제를 우리가 해결하는 데 도움을 줄 것이고, 도메인들 전체에 걸친 문제들을 해결하기 위한 "전체적인 상황(big picture)"을 이해하는 것을 가능하게 한다.

[0028] 3. 데이터-중심 및 사실-중심 결정들. 전통적인 인간 전문지식에 의존하기보다는 또는 생성적 설계 방법들이 부과하는 것으로 제한되기보다는, CENTAUR는 기존 데이터에 기반하여, 가설들, 시나리오(scenario)들, 및 추론들을 제공함으로써 의사 결정들을 할 때 더 객관적일 것이다.

[0029] 4. 발견. CENTAUR는 새롭고 역발상적인 아이디어(idea)들을 발견하고 탐구하는 데 도움을 줄 것이다. 시뮬레이션과 데이터를 결합하는 하이브리드 접근법(hybrid approach)들의 광범위한 사용을 통해, CENTAUR는 기존의 그리고 이론적인 CPS 둘 모두를 나타내는 디지털 트윈들을 사용할 것이다. 실험들은 실세계 시스템들에서보다는 "인-실리코(in-silico)"로 실행될 수 있다.

[0030] 5. 감각 확장들. CENTAUR는 세계를 설명하는 방대한 양들의 원(raw) 데이터를 프로세싱(processing)하고 이해하는 것을 가능하게 할 것이다. 인지 공학 기술은, 인간 운영자들이 추론할 수 없는 정보의 검출 및 발견을 가능하게 하고, 기존의 그리고 미래의 설계들을 개선하기 위한 이러한 통찰력들의 사용을 가능하게 한다.

[0031] CENTAUR 아키텍처

[0032] CENTAUR에 대한 중심은 데이터이다. 종래 기술의 CPS 실행은 런타임 데이터(runtime data)를 강조하는데, 왜냐하면, 많은 CPS가 그들의 성능을 모니터링(monitor)하는 센서들로 계측되기 때문이다. 이러한 CPS는 데이터 아이템(data item)들 사이의 관계들을 설명하는 평면적인 의미론적 정의(flat semantic definition)들을 정의한다. 그러나, 이러한 의미론적 정의들은 정적이며, 변화하는 컨디션들에 적응할 수 없을 뿐만 아니라 그들은 과거 지식의 분석에 기반하여 업데이트될(updated) 수도 없다. 이러한 센서 데이터는 용이하게 이용가능하며, CPS의 운영에서 수백만 달러(dollar)를 절약하는 유용한 애플리케이션들에서 이용될 수 있다. 예컨대, 대형 가스 터빈(gas turbine)들(300MW)에 현재 배치되어 있는 고장예지 및 건전성관리(PHM; Prognostics and Health Monitoring) 애플리케이션들은 유례없는 효율성(예컨대, >60%)을 유지하는 데 도움을 주는 경쟁우위들 중 하나이다. 그러나, 통념(popular belief)에 반해, 런타임은 용이하게 이용가능한 CPS 데이터의 유일한 소스(source)는 아니다. 오히려, 전체 CPS 값 체인(chain)에 걸쳐 해결책들이 발견될 수 있다. 이러한 관점에서, CPS의 설계, 엔지니어링, 제조, 운영, 유지보수, 및 폐기의 프로세스(process)에 있어서 고유한 통찰력들이 획득될 수 있다. CENTAUR는 처음으로, 엄청나게 유용한 데이터의 2개의 미개발 소스들: EaW(Engineering-at-Work) 및 PiU(Product-in-Use)를 이용한다. EaW 및 PiU에 관한 세부사항들은 아래에서 더 상세하게 제공된다.

[0033] 도 1은 본 개시내용의 실시예들의 양상들에 따른 인지 공학 아키텍처(100)의 다이어그램이다. 기본 개념은, CPS의 디지털 트윈들을 생성 및 유지하기 위해, 2개의 신규한 형태들의 데이터 ― EaW(설계 데이터) 스트림(stream)들(140) 및 PiU 데이터 스트림들(150)(런타임 데이터) ― 를 활용하는 것이다. 상이한 디지털 트윈들은 물리적 시스템 및 사이버 시스템 둘 모두의 상이한 양상들을 커버(cover)할 수 있다. 이러한 트윈들을 디지털 트윈 그래프(101)(지식-인과관계 그래프(Knowledge-Causal Graph)들에 의해 실현됨)의 형태로 나타내는 것은, SoS에서의 또는 상이한 서브-시스템(sub-system)들 사이에서의 크로스-커팅(cross-cutting) 정보/지식을 자동으로 캡처(capture)할 의미론적 및 인과관계적 연결들을 가능하게 할 것이다. 지식-인과관계 그래프들은, 하나의 시점의 스냅샷(snapshot)이 아니라 타임라인(timeline)(102)의 일부에 걸친 일련의 지식-인과관계 그래프들로서 보여질 수 있다. 계층화된 아키텍처(100)로서 보면, DTG(101)는 코어에 있다. 제1 계층에서, 디지털 트윈 인터페이스 언어(120)는 도메인-특정 데이터(예컨대, 시계열 데이터, 센서 데이터, 제어 모델(control model)들, CAD 모델들 등)에 대한 공통적인 구문론적 및 의미론적 추상화(abstraction)를 제공한다. 이러한 추상화(120)는: a) 사용자가 커스텀 쿼리(custom query)들을 정의하는 것; b) 다양한 기계 학습(ML; machine learning) 툴들과의 상호작용들; c) 자율적 CPS 기능들을 가능하게 하기 위한 상호작용들; 및 d) 데이터베이스들과의 상호작용들을 가능하게 할 것이다. 이러한 언어 추상화(120)를 사용하여, 다른 ML 방법들(163)과 함께 다양한 ML 툴들, 이를테면, 강화 학습(160), 생성적 적대 네트워크들(161), 및 심층 학습(162)이, "인지적 CPS"로 지칭될 수 있는 것을 생성하는 데 활용될 수 있다. 이러한 개념은, 인체가 기능하는 방식들에 의해 영감을 받으며, 에지 디바이스들에 분산되어 있지만 "뇌(brain)"를 통해 중앙집중식으로 제어되는 지능과는 별도로 발생하는 능력들, 이를테면, 자의식(134), 자가-치유, 자가-인식(123), 자가-구성(122)을 나타낸다. 인지적 CPS는, CPS의 각각의 서브시스템(subsystem)에서 무엇이 발생하는지를 인식하고, 회복탄력적 아키텍처(131)를 포함한 자신의 개별적이고 집단적인 목표들을 달성하기 위해 자율적으로 행동하고 그리고 생성적 설계(120)를 구동할 수 있는 인체와 같이 작용할 것이다. 따라서, 제3 계층은, 진보된 CPS 애플리케이션들, 이를테면, 진보된 고장예지 및 건전성관리(PHM)(130), 자율 작업 스케줄링(autonomous task scheduling)(132), 및 자율 프로세스 계획수립(133)으로 이루어진다. 인간 및 그 인간의 지능과 결합될 때, CENTAUR는 임의의 사람, 그룹(group), 또는 컴퓨터가 이전에 행한 것보다 더 지능적으로 행동할 것이다.

[0034] CENTAUR에서의 지식 표현 및 대안적인 데이터 소스들

[0035] CENTAUR를 실현하기 위해, CPS에 대한 지식 표현 및 대안적인 데이터 소스들 둘 모두에서 돌파구(breakthrough)가 도입되었다. 첫 번째로, 지식 표현은 이종(heterogeneous) 정보 소스들의 지속적인 유입을 통해 캡처된다(captured). 데이터는 자동으로 추출되며, 기계 학습 알고리즘(machine learning algorithm)들이 효율적으로 동작할 수 있는 동적 그래프를 작성하는 데 사용된다. 게다가, 대안적인 데이터 소스들은 신규한 방식들로 사용되어 CPS의 설계 및 운영에 대한 신규한 통찰력들을 제공한다. 이러한 난제들은 동적 디지털 트윈 그래프 및 EaW 및 PiU 데이터 스트림들을 사용하여 극복된다.

[0036] 디지털 트윈 그래프

[0037] 디지털 트윈은, 실제 오브젝트(real object)와 함께 공동-진화하는 오브젝트의 살아있는 디지털 표현이다. 모든 각각의 오브젝트, 및 오브젝트들 사이의 상호작용들 및 상호관계들은 디지털 트윈 그래프(DTG)로 지칭되는 링크된-데이터 세트(linked-data set)들의 웹(web)에 유지된다. 종래 기술의 링크된-데이터 접근법들은 의미(semantics)를 강조하는 평면적 구조 또는 그래프에 의존한다. 그러나, 이러한 평면적 접근법은, 시간의 경과에 따른 그래프의 진화, 오브젝트들 사이의 알려진 그리고 신생의(emergent) 관계들, 불확실성, 및 기능적 능력들을 포함한 다른 매우 중요한 차원들을 배제시킨다.

[0038] 따라서, DTG의 목표들은:

● 논리적 표현들 또는 제1 원칙들만을 통해서는 이해될 수 없는 인과 관계들을 관리한다는 점에서 "표현적(expressive)"이고;

● 알고리즘들과 인간들이 지식 표현에서의 불확실성을 어셈블링(assemble)하고, 파퓰레이팅(populate)하고, 구성하고, 변화시키고, 그리고 해결할 것이라는 점에서, "민첩(agile)"하고;

● 그리고 프로세스 동안에 새로운 전문 지식 소스들을 통합시킨다는 점에서 "적응적(adaptive)"이다.

[0039] 도 2는, 실세계 오브젝트들(240)과 그들의 관계들이 디지털방식(digitally)으로 표현되는 DTG(101)가 어떻게 정보 패브릭(information fabric)인지를 도시한다. 실세계 사물 인터넷(IoT) 오브젝트들, 이를테면, 차량들(210), 사람들(220), 건물들, 비행기들, 고속도로들, 주택들, 운송 시스템들이 DTG로 표현된다. 실세계 오브젝트는 단일 노드에 의해 표시되는 것이 아니라 DTG(101)의 서브그래프(subgraph)(211, 221, 231)에 의해 표현된다. 예컨대, 차량 "T39BTT"(210)는 서브그래프(221)에서 다수의 DTU들(203)에 의해 표현된다. 서브그래프(221)의 DTU들은, 예컨대 CAD 설계, 서비스 기록(service record)들, 그것의 현재 상태(그것이 어디에 있는지, 그것의 속도 등), 그것의 제조 정보(그것이 어디에서 생산되었는지, 어느 기계들에 의해 생산되었는지 등)를 나타낸다. 유사하게, 다른 서브그래프(221)는 "John Doe"라는 사람을 나타내고, 그것의 DTU들은 그의 아이덴티티(identity), 건강 기록들, 어젠더(agenda) 등을 보유한다. 그들의 대응하는 서브그래프들(221, 211)을 통해 "John Doe"를 "T39BTT"라는 차량에 연결하는 에지(223)가 있으며, 이는, 예컨대 "John이 현재 T39BTT 차량을 운전하고 있음"을 나타낼 수 있다는 것을 주목한다. John이 그의 목적지에 도착하여 자신의 차량의 시동을 끄자마자, 이 "운전(driving)" 에지(223)는 DTG(101)로부터 사라질 것이다. DTG(101)가 변화하더라도, 모든 트랜잭션(transaction)들은 추가의 분석을 위해 근본적인 DTG에 의해 기록된다는 것을 주목한다. "John"과 그의 "T39BTT"라는 차량 사이의 이력 정보를 이용하면, 예컨대, John이 자신의 차량을 운전하여 출근하기 위해 다음 날 아침에 언제 깨어날지가 예측될 수 있고, OEM(231)은 이 정보를 사용하여, John이 잠자는 동안 무선을 통해(through the air) 소프트웨어 업데이트(software update)를 차량(210)에 푸시(push)할 수 있다. OEM(231)에 의한 이러한 업데이트는 또한, DTG(101)를 업데이트한다. 이들과 같은 상호작용들은 계속해서 DTG(101)를 업데이트(updating)한다. CENTAUR는 DTG(101)로부터 합성된 계층적 동적 베이지안 모델(HDBM; Hierarchical Dynamic Bayesian Model)들을 사용하여 불확실성 하의 추론(reasoning under uncertainty)을 시작할 것이다. HDBM들은 운영 환경의 엔티티(entity)들, 그들의 인과 관계들, 및 그들의 상태에 관한 신념(belief)들을 캡처할 것이다. 그런 다음, 확률론적 추론 알고리즘들은 풍부한 구조 및 연결들을 이용하여 연속적인 정보 스트림으로부터 시기적절한 통찰력들을 추출할 것이다.

[0040] DTG(101)는, 그래프가 노드들(203) 및 에지들(201)의 생성 및 제거와 함께 연속적으로 진화한다는 점에서 동적이다. 왜냐하면 이는, DTG(101)가 데이터, 쿼리들, 시뮬레이션, 모델들, 새로운 공급자들, 새로운 소비자들, 및 이들 사이의 동적 관계들에 의해 계속해서 업데이트되기 때문이다. DTG(101)가 수십억 개의 노드들(203) 및 에지들(201)을 갖는 큰 그래프로 이루어질 수 있더라도, 클라우드 플랫폼(cloud platform)들에서 실행되는 기존의 데이터베이스들(예컨대, GraphX, 링크된 데이터(Linked Data)) 및 알고리즘들(예컨대, Pregel, MapReduce)은 DTG(101)를 효율적으로 탐색하고 업데이트하는 데 도움을 줄 수 있다. DTG(101) 표현은 또한, 그래프-이론적 및 카테고리적 접근법(categorical approach)들에 기반하여 신규한 수학적 엔진(mathematical engine)들과의 원활한 통합에 적합하다. DTG(101)의 일정한 시공간 진화는 시계열의 스냅샷들의 관점에서 캡처된다. DTG(101)의 현재의 스냅샷은 운영 환경(OE) 및 OE의 컴포넌트들, 이를테면, CPS의 상태를 보고한다. 과거의 스냅샷들은, 지도 학습(supervised learning)을 이용한 알려진 패턴(pattern)들 및 자율 학습(unsupervised learning)을 이용한 알려지지 않은 패턴들을 식별하는 데 사용될 수 있는 이력 관점을 제공한다. 이러한 학습된 모델들이 생성된 후에, DTG(101)는 또한, 결과들을 예측하는 데 사용될 수 있다.

[0041] 도 3은 DTG의 스냅샷들의 예시이며, Tn에서 취해진 스냅샷은 4개의 노드들(303)({A,B,C,D}) 및 4개의 에지들(305)({e1, e2, e3, e4})로 이루어진다. T_n(301) 스냅샷과 T_n+1(310) 스냅샷 사이의 전이는 DTG 변환(315)으로 지칭되며, 그래프 구조는 동작들에 의해 수정된다. 이 경우, "e3 에지를 제거"(311)하고, 그리고 "e5 에지를 추가"(313)한다. 따라서, 결과적인 Tn+1(310) 스냅샷은 4개의 노드들({A,B,C,D}) 및 4개의 에지들({e1, e2, e4, e5})로 이루어진다. T_n+1(310)로부터 T_n+2(320)로의 제2 전이(325)는 "A를 제거"(321), "e5를 제거"(322), 31을 제거(323), "X를 추가"(326), "Y를 추가"(327), 및 "e6을 추가"(328) 동작들로 이루어진다. T_n+2(320)에서의 결과적인 그래프는 5개의 노드들({B,C,D,X,Y}) 및 3개의 에지들({e2, e4, e6})로 이루어진다. 실제로, 다른 그래프 아키텍처들은 하루당 수십억 번의 변화들로 스케일링(scale)되는 것으로 보여졌다. DTG는 디지털 트윈에 대한 유연한 컴퓨테이셔널 및 데이터 패브릭(computational and data fabric)을 제공한다.

[0042] DTG들의 일부 장점들은 예와 관련하여 더 양호하게 이해될 수 있다. 예컨대, 군사 시나리오(military scenario)에서, 비용-효율적으로 (재)태스킹될((re-)tasked) 수 있는 (할당된 그리고 할당되지 않은) 자원들의 세트를 식별하는 문제를 고려한다. 임무 또는 작업을 수행하는 것으로 알려진 이용가능한 자원들을 단순히 식별하기보다, DTG는 문제를 기능적 차원으로 끌어올려서, 자원이 수행할 수 있는 임무 또는 작업으로부터 자원을 분리시킨다. 이는, 전통적인 링크된-데이터 접근법들에서 일반적으로 발생하는 사일로 지식(siloed knowledge)으로부터 벗어나는 것을 가능하게 한다. 오히려 자원들은 다기능, 크로스-에이전시(cross-agency), 및 매우 민첩한 힘으로 보여질 수 있다. 따라서, 이는, 식별된 자원들 중 일부가 상이한 도메인들/에이전시들로부터 비롯된 것일 수 있는 자원 식별 문제에 대한 신규한 해결책을 초래할 수 있는데, 이는 문제를 해결하기 위한 전통적인 접근법들에서는 고려되지도 않았을 것이다. 이는 DTG에서 가능해지는데, 왜냐하면, 카테고리 이론적 의미(category theoretic sense)에서, 차원들은 카테고리들이고, 카테고리들 사이의 관계들은 카테고리들 간의 상호관계들 및 종속성들을 특정하는 맵핑(mapping)들(구조함수(functor)들)이기 때문이다. 키 인에이블러(key enabler)는 카테고리 이론이 구성적이라는 것인데, 이는, DTG에 저장된 지식은 동적이며(링크된-데이터 접근법들에서와 같이 정적이지 않음), 새로운 차원들, 관계들, 및 맵핑들이 지속적으로 구성되어 새로운 통찰력들을 생성하고 카테고리들의 등가성을 결정할 수 있다는 것을 의미한다.

[0043] EaW(Engineering-at-Work)

[0044] EaW 데이터는 설계 및 엔지니어링 동안에 인간들에 의해 생성되는 데이터를 지칭한다. 예컨대, CAx(컴퓨터 지원 X) 프론트-엔드는, 엔지니어링 액션들이 툴에 적용됨에 따라(예컨대, 모델링 단계들, 시뮬레이션 셋업, 재료 할당) 엔지니어링 액션들을 시계열 데이터로서 기록한다. 이러한 시계열 기록들은 동일한 설계 프로세스를 수행하는 다수의 엔지니어들로부터 비롯된다. 개별 사용자들이 익명을 유지할 수 있음을 보장하기 위해, 데이터는 익명화될 수 있다. 그런 다음, 이러한 기록들은, 인간들이 만든 요건들, 제약들, 및 엔지니어링 결정들(액션들로 구현됨) 사이의 상관관계들을 식별하는 기계 학습 알고리즘들을 위해 DTG에 저장된다. 그 결과는, 인간 설계자를 지원하는 결정 지원 시스템이다. 인간과 결합될 때, 시스템은 인간의 다음 단계들을 예상할 수 있으며, 임의의 가능한 에러(error)를 수정하고, 설계 결정의 실행가능성을 테스트(test)하고, 시뮬레이션을 셋업하기 위한 수동 노력을 감소시키고, 설계 공간 탐색들을 수행하도록 작용할 수 있다. EaW 데이터에 표현된 인간 액션들은 그들의 개별적인 전문지식, 판단, 직관력, 창의성, 문화적 배경, 및 도덕성들을 캡처한다. 따라서, 이러한 EaW 데이터는 추출된 인간 지식으로서 보여질 수 있다. 수천 시간의 EaW 데이터에 대한 액세스(access)를 이용한 인지적 설계 시스템은 다음을 할 수 있다:

● 가장 숙련된 엔지니어들의 "기업 비밀(trade secret)들"을 학습하고, 초보 엔지니어들을 교육시키는 것;

● 엔지니어들에게 더 자연스러운 인간-기계 상호작용들을 생성하고, 그들이 상이하게 생각하고 작업하도록 도움을 주는 것;

● 설계 의도를 설명들로 구체화하는 것(이는 설계 결정들이 최상의 결과들로 변환되는 방법을 우리가 더 양호하게 이해하는 것을 돕는다);

● 엔지니어들 스스로에게 발생하지 않았을 수 있는 새로운 통찰력들을 제공하는 것(예컨대, "당신이 Alice와 함께 작업할 때, 기계기술자들은 매우 만족하고 15% 더 생산적임").

[0045] EaW 데이터 스트림들은 엔지니어링 및 설계 툴들에서 생성된다. 사용자 액션들은 기록되고 저장될 수 있다. 저장된 데이터는 사용자 툴들로부터 자동으로 추출되어 인간 지식의 형태를 제공할 수 있다. 사용자 툴들에서 사용자가 따르는 작업흐름(예컨대, 사용자가 수행한 단계들의 순서)은 사용자가 수행한 것을 사용자가 "어떻게" 수행했는지의 스토리(story)를 제공한다. 수행된 단계들, 및 이들이 수행된 순서는 인간 거동을 캡처한다. 인간 거동은 인간 지식을 나타낸다. 저장된 지식은 디지털 트윈 그래프에 통합되고 기계 학습 기법들에 의해 재사용되어, 현재 및 미래 설계 선택들 및 운영 제어들을 개선시킬 수 있다.

[0046] EaW 데이터 스트림들은 시간의 경과에 따른 변화들의 인과성(causality)을 나타낸다. 과거 액션들의 인스턴스(instance)들이 캡처되어, 단지 현재 상태들뿐만 아니라, EaW 데이터 스트림들의 시간 간격에 걸쳐 변화하는 상이한 디지털 트윈 그래프들을 정의하는 시계열의 상이한 액션들을 제공한다.

[0047] PiU(Product-in-Use)

[0048] PiU 데이터는 런타임 데이터와 쉽게 혼동될 수 있다. PiU 데이터는, CPS가 사용되고 있는 동안 CPS가 생성하는 데이터를 지칭하며, 이는 차세대 CPS의 설계를 개선하는 데 활용할 수 있다. 이는, CPS가 사용되고 있는 동안 생성되지만 그것의 미래 운영을 최적화하는 데 사용되는 런타임 데이터와 상이하다. 수명주기 관점에서, PiU는 운영으로부터 (차세대) 설계로의 피드백 루프(feedback loop)를 가능하게 하는 반면, 런타임 데이터는 운영으로부터 (미래) 운영 또는 유지보수로의 피드포워드 루프(feedforward loop)를 가능하게 한다. 둘 사이의 다른 중요한 차이는, 런타임 데이터는 CPS 그 자체 및 CPS의 운영과 관련된 CPS의 거동을 캡처하는 반면, PiU 데이터는 CPS의 환경 및 다른 시스템들과의 CPS의 상호작용과 관련된 CPS의 거동을 캡처한다는 것이다. 예컨대, 차량의 rpm, 온도, 및 진동은, 연소를 최적화하고 마모 및 손상을 추정하는 데 사용될 수 있는 런타임 데이터이다. 동일한 차량의 위치, 지리적 및 기상 컨디션들, 운전자 인구통계, 및 활용 패턴들은, 차량의 선루프(sunroof)를 재설계하고 그리고 차량을 사용하기 더 편리하게 만드는 데 사용될 수 있는 PiU 데이터이다. 따라서, PiU 데이터에 대한 액세스를 이용한 인지적 설계 시스템은 예컨대 다음을 할 수 있다:

● 최종 사용자들에게 그들의 실제 요구들을 충족시키는 더 양호하게 기능하는 차세대 제품들을 제공하는 것;

● 설문조사들 또는 인터뷰(interview)들보다는 데이터 및 사용 패턴들에 기반하여 새로운 요건들을 제품 설계 주기에 신속하게 통합시키는 것;

● 긴급한 요건들을 자동으로 합성하는 것;

● 배치된 제품들의 소프트웨어 로직의 아웃-오브-더-박스(out-of-the-box) 컨디션 모니터링 및 개선(예컨대, 테슬라 펌웨어(Tesla firmware)는 자신들의 차량들의 기능성을 개선하기 위해 오버-디-에어(over-the-air)로 업데이트함);

● 새로운 제품들을 식별하기 위해 동일한 사용자에 의해 사용되는 상이한 제품들로부터의 다수의 PiU 소스들을 상호상관(cross-correlate)시키는 것;

● 제품 개발 조직들이 자신들의 시장들을 더 양호하게 세그먼트화(segment)할 수 있는 것.

[0049] 도 4는 PiU의 잠재적 이익의 예시이다. 하나의 비-제한적인 예에 따르면, CENTAUR는 바베큐(barbecue) 요리를 하는 사람들의 수백만 장의 픽처(picture)들 및 비디오(video)들을 분석할 수 있다. 라벨링(labeling) 후에, 수백만 개의 포크(fork)들(401) 및 주걱(spatula)들(403)은 바베큐 요리들에서 일반적으로 사용되는 가정용품들로서 식별된다. PiU 데이터 스트림들(405)의 형태의 이러한 지식은 DTG(407)로 표현되며, 심층 학습(409) 및 추론 알고리즘들(411)에 의해 사용되어, 둘 모두의 기능성들을 단일 가정용품으로 결합하는 잠재적인 새로운 제품(413)인 "스포크(spork)"에 대한 통찰력들 및 요건들을 생성할 수 있다. 새로운 제품(413)이 사용되고 DTG(407)를 업데이트하기 위해 제공됨에 따라, 추가의 PiU 데이터(417)가 생성될 수 있다. 그런 다음, EaW와 결합되어, CENTAUR는 아이디어를 설계자들(415)에게 제안하고, 그들을 새로운 제품의 엔지니어링 프로세스를 통해 단계별로 안내할 수 있다. 목표는 현재의 제품 설계 관행들과 비교하여 더 짧은 시간에 신규하고(novel), 유용하며(useful), 자명하지 않은(non-obvious) 제품들을 생산하는 것이다.

[0050] 도 5는 과거의 시점(t_p)(501), 현재 시간(t_c)(503), 및 미래의 시점(t_f)(505)을 포함하는 타임라인(500)의 예시이다. 미래의 시점(505)은 달성될 목표일 수 있다. 예컨대, 달성될 목표는 CPS의 서비스 수준일 수 있다. 그 목표는 다수의 방식들로 달성될 수 있다. 경로들(520)은, 시스템이 현재 시점(503)으로부터 시점(505)의 목표에 도달할 수 있는 다수의 방식들을 나타낸다. 유사하게, 과거(501)와 현재 시간(503) 사이의 경로는 다수의 경로들(510)을 포함할 수 있다. 과거의 지식을 사용하면, 제안된 액션들이 성공적인 결과를 초래하고 목표(505)를 달성할 가능성에 기반하여 미래의 액션들이 개발되고 확률적으로 분석될 수 있다.

[0051] 상술된 바와 같이, 본 개시내용에서 설명되는 실시예들에 따른 디지털 트윈 그래프들은 저장된 데이터에 대한 확률적 접근법을 채택하기 위해 종래의 평면적인 의미론적 구성(flat semantic construct)들을 넘어 확장된다. 따라서, EaW 데이터 스트림들에서 추출되고 저장된 지식 정보는 확률적 분포로서 캡처될 수 있다. DTG의 각각의 에지 및 노드는 확률 값과 연관될 수 있다. 일부 실시예들에서, 확률은 0과 1 사이에 있도록 구성될 수 있다. 확률 값 1은 비교적 확실한 예측된 결과를 나타낼 수 있는 반면 0에 가까운 확률 값은 높은 확률 값보다 가능성이 적은 예측된 결과를 나타낸다. 에지들 및 에지들의 연관된 확률 값들은 DTG의 인과 관계들에서의 불확실성을 나타낸다. 에지들을 확률적 분포로서 조직화함으로써, 본원에서 설명되는 실시예들에 따른 DTG들은 참 또는 거짓으로서 보여질 수 있을 뿐만 아니라 이러한 극단(extreme)들 사이에 있는 가능성들을 나타낼 수 있다.

[0052] 도 6은 본 개시내용의 실시예들의 양상들에 따른 인지 공학 아키텍처의 블록 다이어그램이다. 엔지니어링 툴들(601)은 인간 액션들 및 그러한 액션들의 순서를 캡처하고 시간의 경과에 따라 액션들을 저장한다. 액션들은 추출된 인간 지식(605)을 나타내는 EaW(engineering at work) 데이터(603)를 정의한다. 추출된 인간 지식(605)은 하나 이상의 디지털 트윈 그래프들(607)에 반영된다. 디지털 트윈 그래프들(607)은 시간의 경과에 따라 변화하고, DTG들의 과거 버전(past version)들은 DTG 이력 데이터(609)로서 저장된다. 추출된 인간 지식(605)은 DTG들(607)을 통해 DTG 이력 데이터(609)로 구현된다. 생산 데이터(613)는 CPS 시스템의 컴포넌트들과 연관된 센서들에 의해 캡처된 다양한 상태들 또는 컨디션들에 의해 캡처될 수 있다. 생산 데이터는 PiU(product in use) 데이터(615)로서 디지털 트윈 그래프들(607)에 제공된다. 생산 데이터(613)는 또한, DTG들(607)을 통해 DTG 이력 데이터(609)에 존재한다. 도 1에서 상술된 것들을 포함하는 기계 학습 기법들(611)은 DTG들(607) 및 DTG 이력 데이터(609)에 작용하여 최적화된 엔지니어링 및 운영 제어 액션들을 생성한다. 엔지니어링 개선들은 DTG들(607)에 다시 제공되며, 다른 수단을 통해서는 달성가능하지 않은 해결책들이 엔지니어들에게 제공된다. 최적화된 운영 액션들은 CPS 제어 시스템(617)의 제어기에 제공된다. CPS는 최적화된 제어 액션들을 CPS의 물리적 액추에이터(physical actuator)들 및 제어부들에 제공한다.

[0053] 도 7은 본 발명의 실시예들이 구현될 수 있는 예시적 컴퓨팅 환경(computing environment)(700)을 예시한다. 컴퓨터들 및 컴퓨팅 환경들, 이를테면, 컴퓨터 시스템(710) 및 컴퓨팅 환경(700)은 당업자들에게 알려져 있으며, 따라서 여기서는 간략히 설명된다.

[0054] 도 7에 도시된 바와 같이, 컴퓨터 시스템(710)은 통신 메커니즘(communication mechanism), 이를테면, 시스템 버스(system bus)(721) 또는 컴퓨터 시스템(710) 내에서 정보를 통신하기 위한 다른 통신 메커니즘을 포함할 수 있다. 컴퓨터 시스템(710)은, 시스템 버스(721)와 커플링된(coupled), 정보를 프로세싱하기 위한 하나 이상의 프로세서들(720)을 더 포함한다.

[0055] 프로세서들(720)은 하나 이상의 중앙 프로세싱 유닛(CPU; central processing unit)들, 그래픽 프로세싱 유닛(GPU; graphical processing unit)들, 또는 당해 기술분야에서 알려진 임의의 다른 프로세서를 포함할 수 있다. 더 일반적으로, 본원에서 사용되는 프로세서는, 작업들을 수행하기 위해, 컴퓨터 판독가능 매체 상에 저장된 기계-판독가능 명령들을 실행하기 위한 디바이스이고, 하드웨어(hardware) 및 펌웨어(firmware) 중 임의의 하나 또는 하드웨어와 펌웨어의 조합을 포함할 수 있다. 프로세서는 또한, 작업들을 수행하기 위해 실행가능한 기계-판독가능 명령들을 저장하는 메모리(memory)를 포함할 수 있다. 프로세서는, 실행가능 프로시저(executable procedure) 또는 정보 디바이스에 의한 사용을 위해 정보를 조작, 분석, 수정, 변환 또는 송신함으로써, 그리고/또는 정보를 출력 디바이스로 라우팅(routing)함으로써, 정보에 작용한다. 프로세서는, 예컨대 컴퓨터, 제어기 또는 마이크로프로세서(microprocessor)의 능력들을 사용하거나 또는 포함할 수 있고, 범용 컴퓨터에 의해 수행되지 않는 특수 목적 기능들을 수행하기 위해 실행가능한 명령들을 사용하여 컨디셔닝될(conditioned) 수 있다. 프로세서는 임의의 다른 프로세서와 커플링되어서(전기적으로 그리고/또는 실행가능 컴포넌트들을 포함하는 것으로서), 프로세서와 임의의 다른 프로세서 사이의 상호작용 및/또는 통신을 가능하게 할 수 있다. 사용자 인터페이스 프로세서 또는 생성기는, 디스플레이 이미지(display image)들 또는 그 부분들을 생성하기 위한 전자 회로 또는 소프트웨어 또는 그 둘의 조합을 포함하는 알려진 엘리먼트이다. 사용자 인터페이스는, 사용자가 프로세서 또는 다른 디바이스와 상호작용하는 것을 가능하게 하는 하나 이상의 디스플레이 이미지들을 포함한다.

[0056] 도 7을 계속 참조하면, 컴퓨터 시스템(710)은 또한, 시스템 버스(721)에 커플링되어, 프로세서들(720)에 의해 실행될 명령들 및 정보를 저장하기 위한 시스템 메모리(730)를 포함한다. 시스템 메모리(730)는 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 판독가능 저장 매체들, 이를테면, 판독 전용 메모리(ROM; read only memory)(731) 및/또는 랜덤 액세스 메모리(RAM; random access memory)(732)를 포함할 수 있다. RAM(732)은 다른 동적 저장 디바이스(들)(예컨대, 동적 RAM, 정적 RAM, 및 동기식 DRAM)를 포함할 수 있다. ROM(731)은 다른 정적 저장 디바이스(들)(예컨대, 프로그램가능 ROM(programmable ROM), 소거가능 PROM, 및 전기적 소거가능 PROM)를 포함할 수 있다. 게다가, 시스템 메모리(730)는, 프로세서들(720)에 의한 명령들의 실행 동안에 일시적 변수들 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 이를테면, 시동 동안, 컴퓨터 시스템(710) 내의 엘리먼트들 사이의 정보의 전달을 돕는 기본 루틴(basic routine)들을 포함하는 기본 입력/출력 시스템(733)(BIOS; basic input/output system)은 ROM(731)에 저장될 수 있다. RAM(732)은, 프로세서들(720)에 의해 즉시 액세스가능(accessible)하고 그리고/또는 프로세서들(720)에 의해 현재 동작되고 있는 데이터 및/또는 프로그램 모듈(program module)들을 포함할 수 있다. 시스템 메모리(730)는 부가적으로, 예컨대, 운영 시스템(734), 애플리케이션 프로그램들(735), 다른 프로그램 모듈들(736) 및 프로그램 데이터(737)를 포함할 수 있다.

[0057] 컴퓨터 시스템(710)은 또한, 정보 및 명령들을 저장하기 위한 하나 이상의 저장 디바이스들, 이를테면, 자기 하드 디스크(magnetic hard disk)(741) 및 제거가능 미디어 드라이브(removable media drive)(742)(예컨대, 플로피 디스크 드라이브(floppy disk drive), 콤팩트 디스크 드라이브(compact disc drive), 테이프 드라이브(tape drive), 및/또는 고체 상태 드라이브)를 제어하기 위해 시스템 버스(721)에 커플링된 디스크 제어기(740)를 포함한다. 저장 디바이스들은, 적절한 디바이스 인터페이스(예컨대, 소형 컴퓨터 시스템 인터페이스(SCSI; small computer system interface), 통합 디바이스 전자장치(IDE; integrated device electronics), 유니버셜 시리얼 버스(USB; Universal Serial Bus), 또는 파이어와이어(FireWire))를 사용하여 컴퓨터 시스템(710)에 추가될 수 있다.

[0058] 컴퓨터 시스템(710)은 또한, 정보를 컴퓨터 사용자에게 디스플레이(displaying)하기 위한 디스플레이 또는 모니터(monitor)(766), 이를테면, 음극선관(CRT; cathode ray tube) 또는 액정 디스플레이(LCD; liquid crystal display)를 제어하기 위해 시스템 버스(721)에 커플링된 디스플레이 제어기(765)를 포함할 수 있다. 컴퓨터 시스템은, 컴퓨터 사용자와 상호작용하고 정보를 프로세서들(720)에 제공하기 위한 입력 인터페이스(760) 및 하나 이상의 입력 디바이스들, 이를테면, 키보드(keyboard)(762) 및 포인팅 디바이스(pointing device)(761)를 포함한다. 포인팅 디바이스(761)는, 예컨대, 지시 정보 및 커맨드(command) 선택들을 프로세서들(720)에 통신하고 디스플레이(766) 상에서의 커서(cursor) 이동을 제어하기 위한 마우스(mouse), 라이트 펜(light pen), 트랙볼(trackball), 또는 포인팅 스틱(pointing stick)일 수 있다. 디스플레이(766)는, 입력이 포인팅 디바이스(761)에 의한 지시 정보 및 커맨드 선택들의 통신을 보충하거나 또는 대체하는 것을 가능하게 하는 터치 스크린 인터페이스(touch screen interface)를 제공할 수 있다. 일부 실시예들에서, 사용자가 착용가능한 증강 현실 디바이스(767)는, 사용자가 물리적 세계 및 가상 세계 둘 모두와 상호작용하는 것을 가능하게 하는 입력/출력 기능성을 제공할 수 있다. 증강 현실 디바이스(767)는 디스플레이 제어기(765) 및 사용자 입력 인터페이스(760)와 통신하여, 사용자가 디스플레이 제어기(765)에 의해 증강 현실 디바이스(767)에서 생성되는 가상 아이템들과 상호작용하는 것을 가능하게 한다. 사용자는 또한, 제스처(gesture)들을 제공할 수 있으며, 제스처들은 증강 현실 디바이스(767)에 의해 검출되고 입력 신호들로서 사용자 입력 인터페이스(760)에 송신된다.

[0059] 컴퓨터 시스템(710)은, 프로세서들(720)이 메모리, 이를테면, 시스템 메모리(730)에 포함된 하나 이상의 명령들의 하나 이상의 시퀀스(sequence)들을 실행하는 것에 대한 응답으로, 본 발명의 실시예들의 프로세싱 단계들 중 일부 또는 전부를 수행할 수 있다. 그러한 명령들은 다른 컴퓨터 판독가능 매체, 이를테면, 자기 하드 디스크(741) 또는 제거가능 미디어 드라이브(742)로부터 시스템 메모리(730)로 판독될 수 있다. 자기 하드 디스크(741)는 본 발명의 실시예들에 의해 사용되는 하나 이상의 데이터스토어(datastore)들 및 데이터 파일(file)들을 포함할 수 있다. 데이터스토어 콘텐츠(contents) 및 데이터 파일들은, 보안을 개선시키기 위해 암호화될 수 있다. 프로세서들(720)은 또한, 시스템 메모리(730)에 포함된 명령들의 하나 이상의 시퀀스들을 실행하기 위해 멀티-프로세싱 어레인지먼트(multi-processing arrangement)에서 이용될 수 있다. 대안적 실시예들에서, 하드-와이어드 회로(hard-wired circuitry)가 소프트웨어 명령들 대신에 또는 소프트웨어 명령들과 관련하여 사용될 수 있다. 따라서, 실시예들은 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.

[0060] 위에서 언급된 바와 같이, 컴퓨터 시스템(710)은, 본 발명의 실시예들에 따라 프로그래밍된(programmed) 명령들을 유지하고 데이터 구조들, 표(table)들, 기록(record)들, 또는 본원에서 설명된 다른 데이터를 포함하기 위한 적어도 하나의 컴퓨터 판독가능 매체 또는 메모리를 포함할 수 있다. 본원에서 사용된 "컴퓨터 판독가능 매체"라는 용어는, 실행을 위해 명령들을 프로세서들(720)에 제공하는 것에 참여하는 임의의 매체를 지칭한다. 컴퓨터 판독가능 매체는 비-일시적, 비-휘발성 매체들, 휘발성 매체들, 및 송신 매체들을 포함하는(그러나 이에 제한되지 않음) 많은 형태들을 취할 수 있다. 비-휘발성 매체들의 비-제한적인 예들은 광학 디스크들, 고체 상태 드라이브들, 자기 디스크들, 및 광자기 디스크(magneto-optical disk)들, 이를테면, 자기 하드 디스크(741) 또는 제거가능 미디어 드라이브(742)를 포함한다. 휘발성 매체들의 비-제한적인 예들은 동적 메모리, 이를테면, 시스템 메모리(730)를 포함한다. 송신 매체들의 비-제한적인 예들은, 시스템 버스(721)를 형성하는 와이어(wire)들을 포함하여 동축 케이블(coaxial cable)들, 구리 와이어, 및 광섬유들을 포함한다. 송신 매체들은 또한, 음향파 또는 광파, 이를테면, 라디오파(radio wave) 및 적외선 데이터 통신들 동안에 생성되는 것들의 형태를 취할 수 있다.

[0061] 컴퓨팅 환경(700)은, 하나 이상의 원격 컴퓨터들, 이를테면, 원격 컴퓨팅 디바이스(780)에 대한 논리적 연결들을 사용하여 네트워킹된 환경(networked environment)에서 동작하는 컴퓨터 시스템(710)을 더 포함할 수 있다. 원격 컴퓨팅 디바이스(780)는 퍼스널 컴퓨터(personal computer)(랩톱(laptop) 또는 데스크톱(desktop)), 모바일 디바이스(mobile device), 서버(server), 라우터(router), 네트워크 PC, 피어 디바이스(peer device) 또는 다른 공통 네트워크 노드(common network node)일 수 있고, 통상적으로, 컴퓨터 시스템(710)에 대해 위에서 설명된 엘리먼트들 중 많은 엘리먼트들 또는 전부를 포함한다. 네트워킹 환경(networking environment)에서 사용될 때, 컴퓨터 시스템(710)은 네트워크(771), 이를테면, 인터넷(Internet)을 통한 통신들을 확립하기 위한 모뎀(modem)(772)을 포함할 수 있다. 모뎀(772)은 사용자 네트워크 인터페이스(770)를 통해 또는 다른 적절한 메커니즘을 통해 시스템 버스(721)에 연결될 수 있다.

[0062] 네트워크(771)는, 인터넷, 인트라넷(intranet), 로컬 영역 네트워크(LAN; local area network), 광역 네트워크(WAN; wide area network), 메트로폴리탄 영역 네트워크(MAN; metropolitan area network), 직접 연결 또는 일련의 연결들, 셀룰러 전화 네트워크(cellular telephone network), 또는 컴퓨터 시스템(710)과 다른 컴퓨터들(예컨대, 원격 컴퓨팅 디바이스(780)) 사이의 통신을 가능하게 할 수 있는 임의의 다른 네트워크 또는 매체를 포함하는, 당해 기술분야에서 일반적으로 알려진 임의의 네트워크 또는 시스템일 수 있다. 네트워크(771)는 유선, 무선 또는 이들의 결합일 수 있다. 유선 연결들은, 이더넷(Ethernet), 유니버셜 시리얼 버스(USB), RJ-6 또는 당해 기술분야에서 일반적으로 알려진 임의의 다른 유선 연결을 사용하여 구현될 수 있다. 무선 연결들은, Wi-Fi, WiMAX, 및 블루투스(Bluetooth), 적외선, 셀룰러 네트워크들, 위성 또는 당해 기술분야에서 일반적으로 알려진 임의의 다른 무선 연결 방법론을 사용하여 구현될 수 있다. 부가적으로, 몇몇 네트워크들은, 네트워크(771)에서의 통신을 용이하게 하기 위해 서로 통신하거나 또는 단독으로 작동할 수 있다.

[0063] 본원에서 사용된 실행가능 애플리케이션은, 예컨대, 사용자 커맨드 또는 입력에 대한 응답으로, 미리결정된 기능들, 이를테면, 운영 시스템, 콘텍스트 데이터 획득 시스템(context data acquisition system) 또는 다른 정보 프로세싱 시스템의 미리결정된 기능들을 구현하도록 프로세서를 컨디셔닝(conditioning)하기 위한 코드(code) 또는 기계 판독가능 명령들을 포함한다. 실행가능 프로시저는 코드 또는 기계 판독가능 명령의 세그먼트(segment), 서브-루틴(sub-routine), 또는 하나 이상의 특정 프로세스들을 수행하기 위한 실행가능 애플리케이션의 코드 또는 부분의 다른 별개의 섹션(section)이다. 이러한 프로세스들은, 입력 데이터 및/또는 매개변수들을 수신하는 것, 수신된 입력 데이터에 대한 동작들을 수행하는 것 그리고/또는 수신된 입력 매개변수들에 대한 응답으로 기능들을 수행하는 것, 및 결과적 출력 데이터 및/또는 매개변수들을 제공하는 것을 포함할 수 있다.

[0064] 본원에서 사용된 그래픽 사용자 인터페이스(GUI; graphical user interface)는, 디스플레이 프로세서에 의해 생성되고 프로세서 또는 다른 디바이스와의 사용자 상호작용, 그리고 연관된 데이터 획득 및 프로세싱 기능들을 가능하게 하는 하나 이상의 디스플레이 이미지들을 포함한다. GUI는 또한, 실행가능 프로시저 또는 실행가능 애플리케이션을 포함한다. 실행가능 프로시저 또는 실행가능 애플리케이션은, GUI 디스플레이 이미지들을 표현하는 신호들을 생성하도록 디스플레이 프로세서를 컨디셔닝(condition)한다. 이러한 신호들은 디스플레이 디바이스에 공급되고, 디스플레이 디바이스는 사용자에 의한 보기를 위해 이미지를 디스플레이한다. 프로세서는, 실행가능 프로시저 또는 실행가능 애플리케이션의 제어 하에서, 입력 디바이스들로부터 수신된 신호들에 대한 응답으로 GUI 디스플레이 이미지들을 조작한다. 이러한 방식으로, 사용자는 입력 디바이스들을 사용하여 디스플레이 이미지와 상호작용할 수 있고, 이는 프로세서 또는 다른 디바이스와의 사용자 상호작용을 가능하게 한다.

[0065] 본원의 기능들 및 프로세스 단계들은 사용자 커맨드에 대한 응답으로 자동으로 또는 전체적으로 또는 부분적으로 수행될 수 있다. 자동으로 수행되는 활동(단계를 포함함)은, 활동의 사용자 직접 개시 없이, 하나 이상의 실행가능 명령들 또는 디바이스 동작에 대한 응답으로 수행된다.

[0066] 도면들의 시스템 및 프로세스들이 유일한 것은 아니다. 동일한 목적들을 달성하기 위해, 본 발명의 원리들에 따라, 다른 시스템들, 프로세스들 및 메뉴(menu)들이 도출될 수 있다. 본 발명이 특정 실시예들을 참조하여 설명되었지만, 본원에서 도시되고 설명된 실시예들 및 변형들은 예시 목적들만을 위한 것임이 이해되어야 한다. 본 발명의 범위를 벗어나지 않으면서, 현재 설계에 대한 수정들이 당업자들에 의해 구현될 수 있다. 본원에서 설명된 바와 같이, 하드웨어 컴포넌트들, 소프트웨어 컴포넌트들, 및/또는 이들의 결합들을 사용하여 다양한 시스템들, 서브시스템들, 에이전트(agent)들, 관리자들 및 프로세스들이 구현될 수 있다. 청구항 엘리먼트가 명백히 "~을 위한 수단"이라는 문구를 사용하여 언급되지 않는 한, 본원의 어떤 청구항 엘리먼트도 35 U.S.C. 112, 6항의 조항들 하에서 해석되어야 하는 것은 아니다.

Claims

적어도 하나의 사용자 툴(user tool)로부터 인간 지식을 추출하는 단계;
사이버-물리 시스템(CPS; cyber-physical system)으로부터 시스템 정보를 수신하는 단계;
상기 인간 지식 및 상기 수신된 시스템 정보를 디지털 트윈 그래프(DTG; digital twin graph)로 조직화(organizing)하는 단계;
상기 CPS와 관련된 엔지니어링 옵션(engineering option)을 생성하기 위해, 상기 DTG에 대해 하나 이상의 기계 학습 기법들을 수행하는 단계; 및
생성된 상기 엔지니어링 옵션을 상기 적어도 하나의 사용자 툴의 사용자에게 제공하는 단계를 포함하는,
인지 공학(cognitive engineering)을 수행하는 방법.
제1 항에 있어서,
상기 적어도 하나의 사용자 툴에서의 복수의 사용자 액션(user action)들을 기록하는 단계;
일련의 사용자 액션들을 생성하기 위해 상기 복수의 사용자 액션들을 시간순으로 저장하는 단계; 및
복수의 저장된 일련의 사용자 액션들과 관련된 이력 데이터(historical data)를 저장하는 단계를 더 포함하는,
인지 공학을 수행하는 방법.
제1 항에 있어서,
상기 적어도 하나의 사용자 툴은 컴퓨터 지원 기술(CAx; computer aided technology) 엔지니어링 프론트 엔드(engineering front end)인,
인지 공학을 수행하는 방법.
제1 항에 있어서,
상기 적어도 하나의 사용자 툴로부터 인간 지식을 추출하는 단계는,
컴퓨터 지원 기술(CAx)에서, 사용자에 의해 수행되는 시계열의 모델링 단계(time series of modeling step)들을 기록하는 단계를 포함하는,
인지 공학을 수행하는 방법.
제1 항에 있어서,
상기 적어도 하나의 사용자 툴로부터 인간 지식을 추출하는 단계는,
컴퓨터 지원 기술(CAx)에서, 사용자에 의해 수행되는 시계열의 시뮬레이션 셋업 단계(time series of simulation setup step)들을 기록하는 단계를 포함하는,
인지 공학을 수행하는 방법.
제1 항에 있어서,
상기 적어도 하나의 사용자 툴로부터 인간 지식을 추출하는 단계는,
컴퓨터 지원 기술(CAx)에서, 사용자에 의해 수행되는 시계열의 재료 할당 단계(time series of material assignment step)들을 기록하는 단계를 포함하는,
인지 공학을 수행하는 방법.
제1 항에 있어서,
상기 DTG를 계층화된 아키텍처(layered architecture)에 배열하는 단계를 더 포함하며,
상기 계층화된 아키텍처는,
상기 DTG를 포함하는 코어(core);
도메인-특정 데이터(domain-specific data)의 공통적인 구문론적 및 의미론적 추상화(abstraction)를 제공하는 디지털 트윈 인터페이스 언어(digital twin interface language)를 정의하는 제1 계층;
인지적(cognitive) CPS의 컴포넌트(component)들을 포함하는 제2 계층; 및
진보된 CPS 애플리케이션(advanced CPS application)들을 포함하는 제3 계층을 포함하는,
인지 공학을 수행하는 방법.
제7 항에 있어서,
상기 인지적 CPS의 컴포넌트들은,
상기 CPS의 자가-인식(self-awareness)을 제공하기 위한 애플리케이션들;
상기 CPS의 자가-구성(self-configuration)을 제공하기 위한 애플리케이션들;
상기 CPS의 회복탄력적 아키텍처(resilient architecture)를 통한 자가-치유(self-healing)를 제공하기 위한 애플리케이션들; 및
상기 CPS의 서브-시스템(sub-system)들 또는 컴포넌트들의 생성적 설계(generative design)를 위한 애플리케이션들을 포함하는,
인지 공학을 수행하는 방법.
제1 항에 있어서,
상기 DTG는 시간의 경과에 따라 변화하도록 구성되는,
인지 공학을 수행하는 방법.
제9 항에 있어서,
상기 DTG는,
노드(node)의 추가;
노드의 제거;
2개의 노드들을 연결하는 에지(edge)의 추가; 및
이전에 2개의 노드들을 연결한 에지의 제거
중 적어도 하나를 통해 시간의 경과에 따라 변화하는,
인지 공학을 수행하는 방법.
제10 항에 있어서,
제1 시점과 제2 시점 사이에 발생하는 상기 DTG의 변화는, 상기 엔지니어링 옵션을 생성하기 위해 상기 하나 이상의 기계 학습 기법들에 의해 사용될 수 있는 인과적 의존성(causal dependency)을 생성하는,
인지 공학을 수행하는 방법.
제1 항에 있어서,
상기 하나 이상의 기계 학습 기법들은 강화 학습(reinforcement learning)을 포함하는,
인지 공학을 수행하는 방법.
제1 항에 있어서,
상기 하나 이상의 기계 학습 기법들은 생성적 적대 네트워크(generative adversarial network)들을 포함하는,
인지 공학을 수행하는 방법.
제1 항에 있어서,
상기 하나 이상의 기계 학습 기법들은 심층 학습(deep learning)을 포함하는,
인지 공학을 수행하는 방법.
제1 항에 있어서,
상기 DTG는 복수의 서브-그래프(sub-graph)들을 포함하고, 상기 서브-그래프들 각각은 상기 CPS의 컴포넌트를 나타내는,
인지 공학을 수행하는 방법.
제15 항에 있어서,
상기 DTG는, 제1 서브-그래프와 제2 서브-그래프를 연결하는 에지를 포함하고, 상기 에지는 상기 제1 서브-그래프에 의해 표현되는 제1 컴포넌트와 상기 제2 서브-그래프에 의해 표현되는 제2 컴포넌트 사이의 관계를 나타내는,
인지 공학을 수행하는 방법.
제1 항에 있어서,
상기 DTG는 복수의 노드들 및 복수의 에지들을 포함하고, 각각의 에지는 상기 복수의 노드들 중 2개의 노드들을 연결하고 그리고 각각의 에지는 연관된 2개의 노드들 사이의 관계를 나타내고, 상기 관계는 상기 CPS의 미래의 설계를 개선하기 위한 데이터와 관련되는,
인지 공학을 수행하는 방법.
적어도 하나의 사용자 툴에서의 사용자 액션들을 추출 및 저장하기 위한 데이터베이스(database);
적어도 하나의 물리적 컴포넌트를 포함하는 사이버-물리 시스템(CPS);
상기 CPS를 나타내는 디지털 트윈 그래프를 작성하도록 구성된 상기 적어도 하나의 물리적 컴포넌트 및 상기 데이터베이스와 통신하는 컴퓨터 프로세서(computer processor); 및
상기 컴퓨터 프로세서에 의해 실행가능하고 그리고 상기 CPS의 적어도 하나의 엔지니어링 옵션을 생성하도록 구성된 적어도 하나의 기계 학습 기법을 포함하는,
인지 공학을 위한 시스템.
제18 항에 있어서,
상기 적어도 하나의 사용자 툴에서 수행된 시간-시퀀스(time-sequence)의 사용자 액션들을 기록 및 저장하고 그리고 복수의 시간-시퀀스들의 사용자 액션들의 이력 기록을 상기 데이터베이스에 저장하도록 구성된, 상기 컴퓨터 프로세서에 의해 동작가능한 추출 툴(extraction tool)를 더 포함하는,
인지 공학을 위한 시스템.
제18 항에 있어서,
상기 적어도 하나의 사용자 툴들은 컴퓨터 지원 기술(CAx)을 포함하는,
인지 공학을 위한 시스템.