WO2023128094A1 - 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법 - Google Patents

반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법 Download PDF

Info

Publication number
WO2023128094A1
WO2023128094A1 PCT/KR2022/009816 KR2022009816W WO2023128094A1 WO 2023128094 A1 WO2023128094 A1 WO 2023128094A1 KR 2022009816 W KR2022009816 W KR 2022009816W WO 2023128094 A1 WO2023128094 A1 WO 2023128094A1
Authority
WO
WIPO (PCT)
Prior art keywords
reinforcement learning
semiconductor
information
simulation
semiconductor device
Prior art date
Application number
PCT/KR2022/009816
Other languages
English (en)
French (fr)
Inventor
르팜투옌
민예린
김준호
윤도균
최규원
Original Assignee
주식회사 애자일소다
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 애자일소다 filed Critical 주식회사 애자일소다
Publication of WO2023128094A1 publication Critical patent/WO2023128094A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/39—Circuit design at the physical level
    • G06F30/392—Floor-planning or layout, e.g. partitioning or placement

Definitions

  • the present invention relates to a reinforcement learning apparatus and method for optimizing the location of semiconductor devices based on semiconductor design data, and more specifically, semiconductor design through reinforcement learning using simulation by configuring a learning environment based on user's semiconductor design data. It relates to a reinforcement learning apparatus and method for optimizing the position of an object based on semiconductor design data that determines the optimal position of a semiconductor element during a process.
  • the agent sequentially selects an action as the time step passes, and receives a reward based on the effect the action has on the environment.
  • FIG. 1 is a block diagram showing the configuration of a reinforcement learning apparatus according to the prior art.
  • the agent 10 determines an action (or action) A through learning of a reinforcement learning model. After learning, each action A affects the next state S, and the degree of success can be measured by reward R.
  • the environment 20 is all rules, such as actions that the agent 10 can take and rewards accordingly. States, actions, rewards, etc. are all components of the environment, and all predetermined things other than the agent 10 are the environment.
  • the present invention configures a learning environment based on the user's semiconductor design data and determines the optimal position of the semiconductor device during the design or manufacturing process through reinforcement learning using simulation.
  • An object of the present invention is to provide a reinforcement learning device and method for location optimization.
  • an embodiment of the present invention is a reinforcement learning device for optimizing the location of an object based on semiconductor design data, which includes semiconductor devices and standard cells based on design data including semiconductor netlist information.
  • Analyzing object information including, generating simulation data constituting a reinforcement learning environment in which arbitrary constraints are set for each analyzed individual object, requesting optimization information for at least one semiconductor device arrangement, Based on the state information including the arrangement information of the semiconductor element and standard cell to be used, and the action provided from the reinforcement learning agent, a simulation of the arrangement of the semiconductor element and the standard cell is performed, and the reinforcement learning agent a simulation engine providing reward information calculated based on connection information between the semiconductor device and the standard cell according to simulation results as feedback for decision making; a reinforcement learning agent that determines an action to optimize the placement of semiconductor devices and standard cells by performing reinforcement learning based on the state information and reward information provided from the simulation engine; and a design data unit for providing design data including semiconductor netlist information to the simulation engine, wherein the simulation engine generates compensation information based on a distance considering
  • simulation engine according to the embodiment is characterized in that an application program for visualizing through the web is additionally installed.
  • the simulation engine analyzes object information including semiconductor devices and standard cells based on design data including semiconductor netlist information to determine arbitrary constraints and reinforcement learning environments for each individual object.
  • a reinforcement learning environment configuration unit that generates simulation data constituting the simulation data and requests optimization information for disposing at least one semiconductor element from the reinforcement learning agent based on the simulation data; And based on the action received from the reinforcement learning agent, simulation of the arrangement of semiconductor elements and standard cells is performed, and state information including arrangement information of semiconductor elements and standard cells to be used for reinforcement learning and decision-making of the reinforcement learning agent Compensation information is calculated based on the connection information between the semiconductor device and the standard cell according to the simulation result as feedback for , and a distance considering the size of the semiconductor device according to the simulation result is generated as compensation information and provided to the reinforcement learning agent. It is characterized in that it includes a; simulation unit.
  • the compensation information according to the embodiment is characterized in that it is calculated based on connection information between the semiconductor device and the standard cell.
  • an embodiment of the present invention is a reinforcement learning method for optimizing the location of a semiconductor device based on semiconductor design data, a) when a simulation engine uploads design data including semiconductor netlist information, the semiconductor device and the standard cell generating simulation data constituting a reinforcement learning environment in which arbitrary constraints are set for each individual object by analyzing object information including; b) When the reinforcement learning agent receives an optimization request for the arrangement of semiconductor devices and standard cells based on the simulation data constituting the reinforcement learning environment from the simulation engine, the semiconductor devices and standards to be used for reinforcement learning collected from the simulation engine Determining an action to optimize the arrangement of the semiconductor device and the standard cell by performing reinforcement learning based on state information including cell arrangement information and reward information; and c) the simulation engine performs a simulation to configure the reinforcement learning environment for the semiconductor device and the standard cell based on the action provided from the reinforcement learning agent, and provides feedback on the decision-making of the reinforcement learning agent according to the simulation result.
  • the design data of step a) according to the embodiment is characterized in that a semiconductor data file including CAD data or netlist data.
  • simulation data of step a) is characterized in that it further comprises the step of converting an XML (eXtensible Markup Language) file to be used through the Web.
  • XML eXtensible Markup Language
  • the present invention has an advantage of improving design accuracy by providing a learning environment similar to real life based on data designed by a user in the process of designing a semiconductor.
  • the present invention has an advantage of improving work efficiency by automatically determining the position of an optimized semiconductor device through reinforcement learning based on user-designed data.
  • 1 is a block diagram showing the configuration of a general reinforcement learning device
  • FIG. 2 is a block diagram showing the configuration of a reinforcement learning device for optimizing the position of an object based on semiconductor design data according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of a simulation engine of a reinforcement learning apparatus for optimizing the position of an object based on semiconductor design data according to the embodiment of FIG. 2;
  • FIG. 4 is a flowchart illustrating a reinforcement learning method for optimizing the position of an object based on semiconductor design data according to an embodiment of the present invention.
  • the reinforcement learning apparatus 100 for optimizing the position of a semiconductor device based on semiconductor design data configures a learning environment based on a user's semiconductor design data. It may be configured to include a simulation engine 110, a reinforcement learning agent 120, and a design data unit 130 to generate and provide an optimal position of a semiconductor device during a semiconductor design process through reinforcement learning using simulation. .
  • the simulation engine 110 is a component that creates an environment for reinforcement learning, and interacts with the reinforcement learning agent 120 through simulation of the arrangement of semiconductor devices based on an action provided from the reinforcement learning agent 120. It may be configured to include a reinforcement learning environment configuration unit 111 and a simulation unit 112 to configure a reinforcement learning environment by implementing a virtual environment for learning.
  • the simulation engine 110 may include a web-based graphic library (not shown) to be visualized through the web, or an XML (eXtensible Markup Language) file to be visualized and used through the web. can also be converted to
  • the reinforcement learning environment configuration unit 111 analyzes object information such as semiconductor devices and standard cells based on design data including semiconductor netlist information to create arbitrary constraints and reinforcement learning environments for each individual object. It is possible to generate the simulation data that constitutes it.
  • the design data is data including semiconductor netlist information, and includes semiconductor device entering a reinforcement learning state and standard cell information.
  • the netlist is a result after circuit synthesis, and information on arbitrary design components and their connection states are listed, and methods used by circuit designers to create circuits that satisfy desired functions or , implementation in HDL (Hardware, Description Language) language, or a method of directly drawing a circuit using a CAD tool.
  • HDL Hard, Description Language
  • the HDL language is used in an easy-to-implement way by ordinary people, so if it needs to be applied to actual hardware, for example, if it is implemented in a chip, a circuit synthesis process is performed, and the input and The output and the form of the adder they use is called a netlist, and the result of synthesis here can be output in the form of a single file, which is called a netlist file.
  • the circuit itself may be expressed as a netlist file.
  • the netlist file created in this way can be implemented as a real chip through layout.
  • the design data may include individual files because individual constraints may be required to receive information of each object, for example, semiconductor devices and standard cells, and may preferably be composed of semiconductor data files.
  • the type of file may consist of a file such as '.v' file or 'ctl' written in HDL used in electronic circuits and systems.
  • the design data may be a semiconductor data file created by a user so that a learning environment similar to a real environment may be provided, or may be CAD data.
  • the reinforcement learning environment configuration unit 111 transfers state information to be used for reinforcement learning and simulation-based reward information to the reinforcement learning agent 120, and takes actions to the reinforcement learning agent 120. can request
  • the reinforcement learning environment configuration unit 111 may request optimization information for disposition of at least one semiconductor element from the reinforcement learning agent 120 based on the generated simulation data constituting the reinforcement learning environment.
  • the simulation unit 112 performs simulation on the arrangement of semiconductor elements based on state information including arrangement information of semiconductor elements to be used for reinforcement learning and actions provided from the reinforcement learning agent 120, and the reinforcement learning agent 120 Compensation information according to simulation results may be provided to the reinforcement learning agent 120 as feedback on the decision-making.
  • compensation information may be calculated based on connection information between the semiconductor device and the standard cell.
  • the reinforcement learning agent 120 performs reinforcement learning based on state information and reward information provided from the simulation engine 110 to determine an action to optimize the arrangement of semiconductor devices, and is configured to include a reinforcement learning algorithm.
  • the reinforcement learning algorithm can use either a value-based approach or a policy-based approach to find the optimal policy for maximizing the reward, and the optimal policy in the value-based approach is based on the agent's experience. Derived from the approximated optimal value function, the policy-based approach learns the optimal policy decoupled from the value function approximation and the trained policy is improved towards the approximated function.
  • the design data unit 130 is a component that provides semiconductor design data including entire object information to the simulation engine 110, and may be a server system or a user terminal in which semiconductor design data is stored.
  • the design data unit 130 may be connected to the simulation engine 110 through a network.
  • step S100 information on each object is received in step S100, and individual constraints are set for each individual object in the design process.
  • step S100 the simulation engine 110 uses each object of the semiconductor data file, for example, a semiconductor device, a standard cell, etc., to complete the setting of restrictions for each individual object, setting the set information as learning environment information to create a reinforcement learning environment. Creates the simulation data that constitutes it.
  • object of the semiconductor data file for example, a semiconductor device, a standard cell, etc.
  • the reinforcement learning agent 120 receives an optimization request for arranging semiconductor devices based on simulation data constituting a reinforcement learning environment from the simulation engine 110 .
  • the reinforcement learning agent 120 determines an action to optimize the arrangement of semiconductor devices through reinforcement learning (S300).
  • the simulation engine 110 performs a simulation of the arrangement of semiconductor devices based on the action provided from the reinforcement learning agent 120 (S400).
  • the simulation engine 110 Based on the progress simulated in step S400, the simulation engine 110 generates compensation information based on the connection information between the semiconductor device and the standard cell (S500), and the generated compensation information is provided to the reinforcement learning agent 120. .
  • the simulation engine 110 when the simulation engine 110 provides a state including environment information to the reinforcement learning agent 120, and the reinforcement learning agent 120 determines an optimal action through reinforcement learning based on the provided state, the simulation engine ( 110) generates a reward for the simulation result through simulation based on the action and provides it to the reinforcement learning agent 120, so that the reinforcement learning agent 120 can determine the next action by reflecting the reward information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Architecture (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)
  • Semiconductor Integrated Circuits (AREA)

Abstract

반도체 설계 데이터 기반의 반도체 소자의 위치 최적화를 위한 강화학습 장치 및 방법을 개시한다. 본 발명은 사용자의 반도체 설계 데이터를 기반으로 학습 환경을 구성하여 시뮬레이션을 이용한 강화학습을 통해 반도체 설계 과정 중에 반도체 소자의 최적 위치를 제공할 수 있다. [대표도] 도 2

Description

반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법
본 발명은 반도체 설계 데이터 기반의 반도체 소자 위치 최적화를 위한 강화학습 장치 및 방법에 관한 발명으로서, 더욱 상세하게는 사용자의 반도체 설계 데이터를 기반으로 학습 환경을 구성하여 시뮬레이션을 이용한 강화학습을 통해 반도체 설계 과정 중에 반도체 소자의 최적 위치를 결정하는 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법에 관한 것이다.
반도체 제조를 위해서는 반도체 설계 단계가 필요하다.
주문 받은 반도체를 제작하기 위해 다양한 조건들을 만족시켜야 하고, 설계 단계에서 작업자들은 수작업으로 설계를 진행하고 있다.
작업자는 수작업을 통해 반도체 소자들을 배치함에 있어 최적의 위치를 찾아 설계를 진행해야만 하여 작업 시간 및 인력이 증가하고, 업무 효율이 현저하게 낮아지는 문제점이 있다.
또한, 각 작업자마다 노하우가 다르기 때문에 양산 제품에 대한 결과물이 일관되지 않는 문제점이 있다.
강화 학습은 환경(environment)과 상호작용하며 목표를 달성하는 에이전트를 다루는 학습 방법으로서, 인공 지능 분야에서 많이 사용되고 있다.
이러한 강화 학습은 학습의 행동 주체인 강화 학습 에이전트(Agent)가 어떤 행동을 해야 더 많은 보상(Reward)을 받을지 알아내는 것을 목적으로 한다.
즉, 정해진 답이 없는 상태에서도 보상을 최대화시키기 위해 무엇을 할 것인가를 배우는 것으로서, 입력과 출력이 명확한 관계를 갖고 있는 상황에서 사전에 어떤 행위를 할 것인지 듣고 하는 것이 아니라, 시행착오를 거치면서 보상을 최대화시키는 것을 배우는 과정을 거친다.
또한, 에이전트는 시간 스텝이 흘러감에 따라 순차적으로 액션을 선택하게 되고, 상기 액션이 환경에 끼친 영향에 기반하여 보상(reward)을 받게 된다.
도 1은 종래 기술에 따른 강화 학습 장치의 구성을 나타낸 블록도로서, 도 1에 나타낸 바와 같이, 에이전트(10)가 강화 학습 모델의 학습을 통해 액션(Action, 또는 행동) A를 결정하는 방법을 학습시키고, 각 액션인 A는 그 다음 상태(state) S에 영향을 끼치며, 성공한 정도는 보상(Reward) R로 측정할 수 있다.
즉, 보상은 강화 학습 모델을 통해 학습을 진행할 경우, 어떤 상태(State)에 따라 에이전트(10)가 결정하는 액션(행동)에 대한 보상 점수로서, 학습에 따른 에이전트(10)의 의사 결정에 대한 일종의 피드백이다.
환경(20)은 에이전트(10)가 취할 수 있는 행동, 그에 따른 보상 등 모든 규칙으로서, 상태, 액션, 보상 등은 모두 환경의 구성요소이고, 에이전트(10) 이외의 모든 정해진 것들이 환경이다.
한편, 강화 학습을 통해 에이전트(10)는 미래의 보상이 최대가 되도록 액션을 취하게 되므로, 보상을 어떻게 책정하느냐에 따라 학습 결과에 많은 영향이 발생한다.
이러한 문제점을 해결하기 위하여, 본 발명은 사용자의 반도체 설계 데이터를 기반으로 학습 환경을 구성하여 시뮬레이션을 이용한 강화학습을 통해 설계 또는 제조 과정 중에 반도체 소자의 최적 위치를 결정하는 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치로서, 반도체 넷리스트(Netlist) 정보가 포함된 설계 데이터를 기반으로 반도체 소자와 스탠다드 셀을 포함한 물체 정보를 분석하고, 분석된 개별 물체 별로 임의의 제한(Constraint)이 설정된 강화학습 환경을 구성하는 시뮬레이션 데이터를 생성하며, 적어도 하나의 반도체 소자 배치를 위한 최적화 정보를 요청하되, 강화학습에 이용될 반도체 소자와 스탠다드 셀의 배치 정보를 포함한 상태(State) 정보와, 강화학습 에이전트로부터 제공된 액션(Action)을 기반으로 상기 반도체 소자와 스탠다드 셀의 배치에 대한 시뮬레이션을 수행하고, 강화학습 에이전트의 의사결정에 대한 피드백으로 시뮬레이션 결과에 따라 상기 반도체 소자와 스탠다드 셀의 연결 정보에 기반하여 산출되는 보상(Reward) 정보를 제공하는 시뮬레이션 엔진; 상기 시뮬레이션 엔진으로부터 제공받은 상태 정보와 보상 정보를 기반으로 강화학습을 수행하여 반도체 소자와 스탠다드 셀의 배치가 최적화되도록 액션을 결정하는 강화학습 에이전트; 및 상기 시뮬레이션 엔진으로 반도체 넷리스트(Netlist) 정보가 포함된 설계 데이터를 제공하는 설계 데이터부;를 포함하고, 상기 시뮬레이션 엔진은 시뮬레이션 결과에 따른 반도체 소자의 크기를 고려한 거리를 보상 정보로 생성하여 상기 강화학습 에이전트로 제공하며, 상기 강화학습 에이전트는 상기 보상 정보를 기 배치된 반도체 소자와의 거리, 위치 관계, 반도체 소자와 스탠다드 셀을 연결하는 와이어 길이에 반영하여 상기 반도체 소자가 최적의 위치에 배치되도록 강화학습 알고리즘을 이용한 학습을 통해 액션을 결정하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 설계 데이터는 캐드(CAD) 데이터 또는 넷리스트(Netlist) 데이터를 포함한 반도체 데이터 파일인 것을 특징으로 한다.
또한, 상기 실시 예에 따른 시뮬레이션 엔진은 웹(Web)을 통해 시각화하는 응용 프로그램이 추가 설치된 것을 특징으로 한다.
또한, 상기 실시 예에 따른 시뮬레이션 엔진은 반도체 넷리스트(Netlist) 정보가 포함된 설계 데이터를 기반으로 반도체 소자와 스탠다드 셀을 포함한 물체 정보를 분석하여 개별 물체 별로 임의의 제한(Constraint)과 강화학습 환경을 구성하는 시뮬레이션 데이터를 생성하고, 상기 시뮬레이션 데이터에 기반하여 상기 강화학습 에이전트로 적어도 하나의 반도체 소자 배치를 위한 최적화 정보를 요청하는 강화학습 환경 구성부; 및 상기 강화학습 에이전트로부터 수신된 액션을 기반으로 반도체 소자와 스탠다드 셀의 배치에 대한 시뮬레이션을 수행하고, 강화학습에 이용될 반도체 소자와 스탠다드 셀의 배치 정보를 포함한 상태 정보와 강화학습 에이전트의 의사결정에 대한 피드백으로 시뮬레이션 결과에 따라 상기 반도체 소자와 스탠다드 셀의 연결 정보에 기반하여 보상 정보를 산출하되, 시뮬레이션 결과에 따른 반도체 소자의 크기를 고려한 거리를 보상 정보로 생성하여 상기 강화학습 에이전트로 제공하는 시뮬레이션부;를 포함하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 보상 정보는 반도체 소자와 스탠다드 셀의 연결 정보에 기반하여 산출되는 것을 특징으로 한다.
또한, 본 발명의 일 실시 예는 반도체 설계 데이터 기반의 반도체 소자 위치 최적화를 위한 강화학습 방법으로서, a) 시뮬레이션 엔진이 반도체 넷리스트(Netlist) 정보가 포함한 설계 데이터가 업로드되면, 반도체 소자와 스탠다드 셀을 포함한 물체 정보를 분석하여 개별 물체 별로 임의의 제한(Constraint)이 설정된 강화학습 환경을 구성하는 시뮬레이션 데이터를 생성하는 단계; b) 강화학습 에이전트가 상기 시뮬레이션 엔진으로부터 강화학습 환경을 구성하는 시뮬레이션 데이터에 기반한 반도체 소자와 스탠다드 셀의 배치를 위한 최적화 요청을 수신하면, 상기 시뮬레이션 엔진으로부터 수집되는 강화학습에 이용될 반도체 소자와 스탠다드 셀의 배치 정보를 포함한 상태(State) 정보와 보상(Reward) 정보에 기반한 강화학습을 수행하여 상기 반도체 소자와 스탠다드 셀의 배치가 최적화되도록 액션(Action)을 결정하는 단계; 및 c) 상기 시뮬레이션 엔진이 강화학습 에이전트로부터 제공되는 액션을 기반으로 상기 반도체 소자와 스탠다드 셀에 대한 강화학습 환경을 구성하는 시뮬레이션을 수행하고, 강화학습 에이전트의 의사결정에 대한 피드백으로 시뮬레이션 결과에 따라 상기 반도체 소자와 스탠다드 셀의 연결 정보에 기반하여 산출되는 보상 정보와, 강화학습에 이용될 반도체 소자와 스탠다드 셀의 배치 정보를 포함한 상태 정보를 상기 강화학습 에이전트에 제공하는 단계;를 포함하며, 상기 시뮬레이션 엔진은 시뮬레이션 결과에 따른 반도체 소자의 크기를 고려한 거리를 보상 정보로 생성하여 상기 강화학습 에이전트로 제공하고, 상기 강화학습 에이전트는 상기 보상 정보를 기 배치된 반도체 소자와의 거리, 위치 관계, 반도체 소자와 스탠다드 셀을 연결하는 와이어 길이에 반영하여 상기 반도체 소자가 최적의 위치에 배치되도록 강화학습 알고리즘을 이용한 학습을 통해 액션을 결정하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 a) 단계의 설계 데이터는 캐드(CAD) 데이터 또는 넷리스트(Netlist) 데이터를 포함한 반도체 데이터 파일인 것을 특징으로 한다.
또한, 상기 실시 예에 따른 a) 단계의 시뮬레이션 데이터는 웹(Web)을 통해 사용되도록 XML(eXtensible Markup Language) 파일로 변환되는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은 사용자의 반도체 설계 데이터를 기반으로 학습 환경을 구성하여 시뮬레이션을 이용한 강화학습을 통해 반도체 설계 과정 중에 반도체 소자의 최적 위치를 결정하여 제공할 수 있는 장점이 있다.
또한, 본 발명은 사용자가 반도체 설계를 진행하는 과정에서 사용자가 설계한 데이터를 기반으로 실제와 유사한 학습 환경을 제공함으로써, 설계 정확도를 향상시킬 수 있는 장점이 있다.
또한, 본 발명은 사용자가 설계한 데이터를 기반으로 강화학습을 통해 최적화된 반도체 소자의 위치를 자동으로 결정함으로써, 업무 효율을 향상시킬 수 있는 장점이 있다.
또한, 작업자마다 다른 노하우를 통일함으로써 결과물의 편차를 최소화하고 동일한 품질의 제품을 양산할 수 있는 장점이 있다.
도1은 일반적인 강화 학습 장치의 구성을 나타낸 블록도.
도2는 본 발명의 일 실시 예에 따른 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치의 구성을 나타낸 블록도.
도3은 도2의 실시 예에 따른 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치의 시뮬레이션 엔진 구성을 나타낸 블록도.
도4는 본 발명의 일 실시 예에 따른 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 방법을 설명하기 위해 나타낸 흐름도.
이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다.
또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.
본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.
또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다.
또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 반도체 설계 데이터 기반의 반도체 소자 위치 최적화를 위한 강화학습 장치 및 방법의 바람직한 실시예를 상세하게 설명한다.
도2는 본 발명의 일 실시 예에 따른 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치의 구성을 나타낸 블록도이고, 도3은 도2의 실시 예에 따른 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치의 시뮬레이션 엔진 구성을 나타낸 블록도이다.
도2 및 도3을 참조하면, 본 발명의 일 실시 예에 따른 반도체 설계 데이터 기반의 반도체 소자의 위치 최적화를 위한 강화학습 장치(100)는, 사용자의 반도체 설계 데이터를 기반으로 학습 환경을 구성하여 시뮬레이션을 이용한 강화학습을 통해 반도체 설계 과정 중에 반도체 소자의 최적 위치를 생성하여 제공할 수 있도록 시뮬레이션 엔진(110)과, 강화학습 에이전트(120)와 설계 데이터부(130)를 포함하여 구성될 수 있다.
시뮬레이션 엔진(110)은 강화학습을 위한 환경을 만드는 구성으로서, 강화학습 에이전트(120)로부터 제공된 액션(Action)을 기반으로 반도체 소자의 배치에 대한 시뮬레이션을 통해 강화학습 에이전트(120)와 상호작용하면서 학습하는 가상의 환경을 구현하여 강화 학습 환경을 구성하도록 강화학습 환경 구성부(111)와, 시뮬레이션부(112)를 포함하여 구성될 수 있다.
또한, 시뮬레이션 엔진(110)은 강화학습 에이전트(120)의 모델을 훈련하기 위한 강화학습 알고리즘을 적용할 수 있도록 API가 구성될 수 있다.
여기서 APIP는 강화학습 에이전트(120)로 정보를 전달할 수 있고, 강화학습 에이전트(120)를 위한 'Python' 등과 같은 프로그램 사이의 인터페이스를 수행할 수도 있다.
또한, 시뮬레이션 엔진(110)은 웹(Web)을 통해 시각화 할 수 있도록 웹 기반의 그래픽 라이브러리(미도시)를 포함하여 구성될 수도 있고, 웹을 통해 시각화하여 사용할 수 있도록 XML(eXtensible Markup Language) 파일로 변환할 수도 있다.
즉, 호환성이 있는 웹 브라우저에서 인터랙티브한 3D 그래픽을 사용할 수 있도록 구성할 수 있다.
강화학습 환경 구성부(111)는 반도체 넷리스트(Netlist) 정보가 포함된 설계 데이터를 기반으로 반도체 소자와 스탠다드 셀 등의 물체 정보를 분석하여 개별 물체 별로 임의의 제한(Constraint)과 강화학습 환경을 구성하는 시뮬레이션 데이터를 생성할 수 있다.
여기서, 설계 데이터는 반도체 넷리스트(Netlist) 정보가 포함된 데이터로서, 강화학습 상태로 들어가는 반도체 소자 및 스탠다드 셀 정보를 포함하고 있다.
또한, 넷리스트는 회로 합성(circuit synthesis) 후 나오는 결과로서, 임의의 설계 구성 소자들과 이들의 연결 상태에 대한 정보가 나열되고, 회로 설계자들이 원하는 기능을 만족하는 회로를 만들때 사용하는 방법이나, HDL(Hardware, Description Language) 언어로 구현을 하거나, CAD 툴을 써서 직접 회로를 그리는 방법을 포함할 수 있다.
이때, HDL 언어를 사용하는 경우 일반 사람들이 구현하기 쉬운 방법으로 사용하기 때문에 실제 하드웨어에 적용해야 하는 경우, 예를 들어 칩으로 구현하는 경우 회로 합성(synthesis) 과정을 수행하고, 구성 소자의 입력과 출력 그리고 이들이 사용하는 adder의 형태를 넷리스트(Netlist)라고 하며, 여기서 합성의 결과는 하나의 파일 형태로 출력될 수 있는데 이를 넷리스트 파일이라고 한다.
또한, CAD 툴을 사용하는 경우에는 회로 자체가 넷리스트 파일로 표현될 수도 있다.
이렇게 만들어진 넷리스트 파일은 레이아웃을 통해 실제 칩으로 구현 가능한 형태의
또한, 설계 데이터는 각 물체, 예를 들어 반도체 소자 및 스탠다드 셀들의 정보를 받아서 개별 제한(Constraint)을 설정이 요구될 수 있어 개별 파일을 포함할 수 있고, 바람직하게는 반도체 데이터 파일로 구성될 수 있으며, 파일의 타입은 전자회로 및 시스템에 사용되는 HDL로 작성된 '.v' 파일 또는 'ctl' 등의 파일로 구성될 수 있다.
또한, 설계 데이터는 실제 환경과 유사한 학습 환경이 제공될 수 있도록 사용자가 작성한 반도체 데이터 파일일 수 있고, 캐드(CAD) 데이터일 수도 있다.
또한, 강화학습 환경 구성부(111)는 강화학습 에이전트(120)로 강화학습에 이용될 상태(State) 정보와, 시뮬레이션에 기반한 보상(Reward) 정보를 전달하고, 강화학습 에이전트(120)로 액션을 요청할 수 있다.
즉, 강화학습 환경 구성부(111)는 생성된 강화학습 환경을 구성하는 시뮬레이션 데이터에 기반하여 강화학습 에이전트(120)로 적어도 하나의 반도체 소자 배치를 위한 최적화 정보를 요청할 수 있다.
시뮬레이션부(112)는 강화학습에 이용될 반도체 소자의 배치 정보를 포함한 상태 정보와, 강화학습 에이전트(120)로부터 제공된 액션을 기반으로 반도체 소자 배치에 대한 시뮬레이션을 수행하고, 강화학습 에이전트(120)의 의사결정에 대한 피드백으로 시뮬레이션 결과에 따른 보상 정보를 강화학습 에이전트(120)로 제공할 수 있다.
여기서, 보상 정보는 반도체 소자와 스탠다드 셀의 연결 정보에 기반하여 산출될 수 있다.
강화학습 에이전트(120)는 시뮬레이션 엔진(110)으로부터 제공받은 상태 정보와 보상 정보를 기반으로 강화학습을 수행하여 반도체 소자의 배치가 최적화되도록 액션을 결정하는 구성으로서, 강화학습 알고리즘을 포함하여 구성될 수 있다.
여기서, 강화학습 알고리즘은 보상을 최대화하기 위한 최적의 정책을 찾기 위해, 가치 기반 접근 방식과 정책 기반 접근 방식 중 어느 하나를 이용할 수 있고, 가치 기반 접근 방식에서 최적의 정책은 에이전트의 경험을 기반으로 근사된 최적 가치 함수에서 파생되며, 정책 기반 접근 방식은 가치 함수 근사에서 분리된 최적의 정책을 학습하고 훈련된 정책이 근사치 함수 방향으로 개선된다.
또한, 강화학습 알고리즘은 반도체 소자 사이의 거리, 반도체 소자와 스탠다드 셀을 연결하는 와이어의 길이 등이 최적의 위치에 배치되는 액션을 결정할 수 있도록 강화학습 에이전트(120)의 학습이 이루어지게 한다.
설계 데이터부(130)는 시뮬레이션 엔진(110)으로 전체 물체 정보를 포함한 반도체 설계 데이터를 제공하는 구성으로서, 반도체 설계 데이터가 저장된 서버 시스템 또는 사용자 단말일 수 있다.
또한, 설계 데이터부(130)는 시뮬레이션 엔진(110)과 네트워크를 통해 연결될 수도 있다.
다음은 본 발명의 일 실시 예에 따른 반도체 설계 데이터 기반의 반도체 소자의 위치 최적화를 위한 강화학습 방법을 설명한다.
도4는 본 발명의 일 실시 예에 따른 반도체 설계 데이터 기반의 반도체 소자의 위치 최적화를 위한 강화학습 방법을 설명하기 위해 나타낸 흐름도이다.
도2 내지 도4를 참조하면, 본 발명의 일 실시 예에 따른 반도체 설계 데이터 기반의 반도체 소자의 위치 최적화를 위한 강화학습 방법은, 설계 데이터부(130)로부터 반도체 설계 데이터가 업로드되면, 시뮬레이션 엔진(110)이 반도체 넷리스트(Netlist) 정보가 포함된 설계 데이터를 기반으로 반도체 소자와 스탠다드 셀 등의 물체 정보를 분석하여 개별 물체 별로 임의의 제한(Constraint)과 강화학습 환경을 구성하는 시뮬레이션 데이터를 생성(S100)한다.
즉, S100 단계에서 업로드 되는 설계 데이터는 반도체 데이터 파일로서, 강화학습 상태(State)로 들어가는 반도체 소자 및 스탠다드 셀 정보를 포함하고 있다.
즉, S100 단계에서 각 물체들의 정보를 받고, 개별 물체 별로 설계 과정에서 개별 제한(Constraint)을 설정한다.
또한, S100 단계에서 시뮬레이션 엔진(110)은 반도체 데이터 파일의 각 물체 예를 들어, 반도체 소자, 스탠다드 셀 등을 이용하여 개별 물체 별로 제한 설정이 완료되면 설정된 정보를 학습 환경 정보로 하여 강화학습 환경을 구성하는 시뮬레이션 데이터를 생성한다.
또한, S100 단계에서 시뮬레이션 엔진(110)은 웹을 통해 시각화하여 사용할 수 있도록 XML(eXtensible Markup Language) 파일로 변환할 수도 있다.
계속해서, 강화학습 에이전트(120)는 시뮬레이션 엔진(110)으로부터 강화학습 환경을 구성하는 시뮬레이션 데이터에 기반한 반도체 소자를 배치하는 최적화 요청을 수신한다.
강화학습 에이전트(120)는 반도체 소자를 배치하는 최적화 요청이 수신되면, 시뮬레이션 엔진(110)으로부터 수집되는 강화학습에 이용될 반도체 소자의 배치 정보를 포함한 상태(State) 정보와 보상(Reward) 정보에 기반한 강화학습을 수행(S200)한다.
즉, 강화학습 에이전트(120)는 강화학습 알고리즘을 이용하여 반도체 소자를배치하고, 이때, 기 배치된 반도체 소자와의 거리, 위치 관계, 반도체 소자와 스탠다드 셀을 연결하는 와이어 길이 등이 최적의 위치에 배치되는 액션을 결정할 수 있도록 학습한다.
또한, 강화학습 에이전트(120)는 강화학습을 통해 반도체 소자의 배치가 최적화되도록 액션(Action)을 결정(S300)한다.
계속해서, 시뮬레이션 엔진(110)은 강화학습 에이전트(120)로부터 제공되는 액션을 기반으로 반도체 소자의 배치에 대한 시뮬레이션을 수행(S400)한다.
S400 단계에서 시뮬레이션된 수행 경과를 기반으로 시뮬레이션 엔진(110)은 반도체 소자와 스탠다드셀의 연결 정보에 기반하여 보상 정보를 생성(S500)하고, 생성된 보상 정보는 강화학습 에이전트(120)로 제공된다.
또한, 보상 정보는 반도체 소자의 크기를 고려하여 거리가 결정될 수도 있다.
따라서, 시뮬레이션 엔진(110)에서 강화학습 에이전트(120)로 환경 정보를 포함한 상태를 제공하고, 강화학습 에이전트(120)가 제공된 상태를 기반으로 강화학습을 통해 최적의 액션을 결정하면, 시뮬레이션 엔진(110)은 액션을 기반으로 시뮬레이션을 통해 시뮬레이션 결과에 대한 보상을 생성하여 강화학습 에이전트(120)에 제공함으로써, 강화학습 에이전트(120)가 보상 정보를 반영하여 다음 액션을 결정할 수 있도록 한다.
또한, 사용자의 반도체 설계 데이터를 기반으로 학습 환경을 구성하여 시뮬레이션을 이용한 강화학습을 통해 반도체 설계 과정 중에 반도체 소자의 최적 위치를 생성하여 제공할 수 있다.
또한, 사용자가 반도체 설계를 진행하는 과정에서 사용자가 설계한 데이터를 기반으로 실제와 유사한 학습 환경을 제공함으로써, 설계 정확도를 향상시킬 수 있고, 사용자가 설계한 데이터를 기반으로 강화학습을 통해 최적화된 타겟 물체의 위치를 자동으로 생성함으로써, 업무 효율을 향상시킬 수 있다.
상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.
또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
[부호의 설명]
100 : 강화학습 장치
110 : 시뮬레이션 엔진
111 : 강화학습 환경 구성부
112 : 시뮬레이션부
120 : 강화학습 에이전트
130 : 설계 데이터부

Claims (8)

  1. 반도체 넷리스트(Netlist) 정보가 포함된 설계 데이터를 기반으로 반도체 소자와 스탠다드 셀을 포함한 물체 정보를 분석하고, 분석된 개별 물체 별로 임의의 제한(Constraint)이 설정된 강화학습 환경을 구성하는 시뮬레이션 데이터를 생성하며, 적어도 하나의 반도체 소자 배치를 위한 최적화 정보를 요청하되, 강화학습에 이용될 반도체 소자와 스탠다드 셀의 배치 정보를 포함한 상태(State) 정보와, 강화학습 에이전트(120)로부터 제공된 액션(Action)을 기반으로 상기 반도체 소자와 스탠다드 셀의 배치에 대한 시뮬레이션을 수행하고, 강화학습 에이전트(120)의 의사결정에 대한 피드백으로 시뮬레이션 결과에 따라 상기 반도체 소자와 스탠다드 셀의 연결 정보에 기반하여 산출되는 보상(Reward) 정보를 제공하는 시뮬레이션 엔진(110);
    상기 시뮬레이션 엔진(110)으로부터 제공받은 상태 정보와 보상 정보를 기반으로 강화학습을 수행하여 반도체 소자와 스탠다드 셀의 배치가 최적화되도록 액션을 결정하는 강화학습 에이전트(120); 및
    상기 시뮬레이션 엔진(110)으로 반도체 넷리스트(Netlist) 정보가 포함된 설계 데이터를 제공하는 설계 데이터부(130);를 포함하고,
    상기 시뮬레이션 엔진(110)은 시뮬레이션 결과에 따른 반도체 소자의 크기를 고려한 거리를 보상 정보로 생성하여 상기 강화학습 에이전트(120)로 제공하며,
    상기 강화학습 에이전트(120)는 상기 보상 정보를 기 배치된 반도체 소자와의 거리, 위치 관계, 반도체 소자와 스탠다드 셀을 연결하는 와이어 길이에 반영하여 상기 반도체 소자가 최적의 위치에 배치되도록 강화학습 알고리즘을 이용한 학습을 통해 액션을 결정하는 것을 특징으로 하는 반도체 설계 데이터 기반의 반도체 소자 위치 최적화를 위한 강화학습 장치.
  2. 제 1 항에 있어서,
    상기 설계 데이터는 캐드(CAD) 데이터 또는 넷리스트(Netlist) 데이터를 포함한 반도체 데이터 파일인 것을 특징으로 하는 반도체 설계 데이터 기반의 반도체 소자 위치 최적화를 위한 강화학습 장치.
  3. 제 1 항에 있어서,
    상기 시뮬레이션 엔진(110)은 웹(Web)을 통해 시각화하는 응용 프로그램이 추가 설치된 것을 특징으로 하는 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치.
  4. 제 1 항에 있어서,
    상기 시뮬레이션 엔진(110)은 반도체 넷리스트(Netlist) 정보가 포함된 설계 데이터를 기반으로 반도체 소자와 스탠다드 셀을 포함한 물체 정보를 분석하여 개별 물체 별로 임의의 제한(Constraint)과 강화학습 환경을 구성하는 시뮬레이션 데이터를 생성하고, 상기 시뮬레이션 데이터에 기반하여 상기 강화학습 에이전트(120)로 적어도 하나의 반도체 소자 배치를 위한 최적화 정보를 요청하는 강화학습 환경 구성부(111); 및
    상기 강화학습 에이전트(120)로부터 수신된 액션을 기반으로 반도체 소자와 스탠다드 셀의 배치에 대한 시뮬레이션을 수행하고, 강화학습에 이용될 반도체 소자와 스탠다드 셀의 배치 정보를 포함한 상태 정보와 강화학습 에이전트(120)의 의사결정에 대한 피드백으로 시뮬레이션 결과에 따라 상기 반도체 소자와 스탠다드 셀의 연결 정보에 기반하여 보상 정보를 산출하되, 시뮬레이션 결과에 따른 반도체 소자의 크기를 고려한 거리를 보상 정보로 생성하여 상기 강화학습 에이전트(120)로 제공하는 시뮬레이션부(112);를 포함하는 것을 특징으로 하는 반도체 설계 데이터 기반의 반도체 소자 위치 최적화를 위한 강화학습 장치.
  5. 제 4 항에 있어서,
    상기 보상 정보는 반도체 소자와 스탠다드 셀의 연결 정보에 기반하여 산출되는 것을 특징으로 하는 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치.
  6. a) 시뮬레이션 엔진(110)이 반도체 넷리스트(Netlist) 정보가 포함한 설계 데이터가 업로드되면, 반도체 소자와 스탠다드 셀을 포함한 물체 정보를 분석하여 개별 물체 별로 임의의 제한(Constraint)이 설정된 강화학습 환경을 구성하는 시뮬레이션 데이터를 생성하는 단계;
    b) 강화학습 에이전트(120)가 상기 시뮬레이션 엔진(110)으로부터 강화학습 환경을 구성하는 시뮬레이션 데이터에 기반한 반도체 소자와 스탠다드 셀의 배치를 위한 최적화 요청을 수신하면, 상기 시뮬레이션 엔진(110)으로부터 수집되는 강화학습에 이용될 반도체 소자와 스탠다드 셀의 배치 정보를 포함한 상태(State) 정보와 보상(Reward) 정보에 기반한 강화학습을 수행하여 상기 반도체 소자와 스탠다드 셀의 배치가 최적화되도록 액션(Action)을 결정하는 단계; 및
    c) 상기 시뮬레이션 엔진(110)이 강화학습 에이전트(120)로부터 제공되는 액션을 기반으로 상기 반도체 소자와 스탠다드 셀에 대한 강화학습 환경을 구성하는 시뮬레이션을 수행하고, 강화학습 에이전트(120)의 의사결정에 대한 피드백으로 시뮬레이션 결과에 따라 상기 반도체 소자와 스탠다드 셀의 연결 정보에 기반하여 산출되는 보상 정보와, 강화학습에 이용될 반도체 소자와 스탠다드 셀의 배치 정보를 포함한 상태 정보를 상기 강화학습 에이전트(120)에 제공하는 단계;를 포함하며,
    상기 시뮬레이션 엔진(110)은 시뮬레이션 결과에 따른 반도체 소자의 크기를 고려한 거리를 보상 정보로 생성하여 상기 강화학습 에이전트(120)로 제공하고,
    상기 강화학습 에이전트(120)는 상기 보상 정보를 기 배치된 반도체 소자와의 거리, 위치 관계, 반도체 소자와 스탠다드 셀을 연결하는 와이어 길이에 반영하여 상기 반도체 소자가 최적의 위치에 배치되도록 강화학습 알고리즘을 이용한 학습을 통해 액션을 결정하는 것을 특징으로 하는 반도체 설계 데이터 기반의 반도체 소자의 위치 최적화를 위한 강화학습 방법.
  7. 제 6 항에 있어서,
    상기 a) 단계의 설계 데이터는 캐드(CAD) 데이터 또는 넷리스트(Netlist) 데이터를 포함한 반도체 데이터 파일인 것을 특징으로 하는 반도체 설계 데이터 기반의 반도체 소자 위치 최적화를 위한 강화학습 방법.
  8. 제 6 항에 있어서,
    상기 a) 단계의 시뮬레이션 데이터는 웹(Web)을 통해 사용되도록 XML(eXtensible Markup Language) 파일로 변환되는 단계를 더 포함하는 것을 특징으로 하는 반도체 설계 데이터 기반의 반도체 소자 위치 최적화를 위한 강화학습 방법.
PCT/KR2022/009816 2021-12-28 2022-07-07 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법 WO2023128094A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0190143 2021-12-28
KR1020210190143A KR102416931B1 (ko) 2021-12-28 2021-12-28 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023128094A1 true WO2023128094A1 (ko) 2023-07-06

Family

ID=82400339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009816 WO2023128094A1 (ko) 2021-12-28 2022-07-07 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법

Country Status (4)

Country Link
US (1) US20230205954A1 (ko)
KR (1) KR102416931B1 (ko)
TW (1) TW202326498A (ko)
WO (1) WO2023128094A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102416931B1 (ko) * 2021-12-28 2022-07-06 주식회사 애자일소다 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법
KR102461202B1 (ko) * 2022-07-15 2022-10-31 주식회사 애자일소다 화물 적재 및 하역 시스템의 강화학습 장치 및 방법
KR102507253B1 (ko) * 2022-09-01 2023-03-08 주식회사 애자일소다 사용자 데이터 기반의 물체 위치 최적화를 위한 강화학습 장치
KR102603130B1 (ko) * 2022-12-27 2023-11-17 주식회사 애자일소다 강화학습 기반의 면적 및 매크로 배치 최적화를 위한 설계 시스템 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200030428A (ko) * 2018-09-11 2020-03-20 삼성전자주식회사 표준 셀 설계 시스템, 그것의 표준 셀 설계 최적화 방법, 및 반도체 설계 시스템
US20200175216A1 (en) * 2018-12-04 2020-06-04 Google Llc Generating integrated circuit floorplans using neural networks
JP2020149270A (ja) * 2019-03-13 2020-09-17 東芝情報システム株式会社 回路適正化装置及び回路適正化方法
KR102195433B1 (ko) * 2020-04-07 2020-12-28 주식회사 애자일소다 학습의 목표와 보상을 연계한 데이터 기반 강화 학습 장치 및 방법
KR20210126033A (ko) * 2019-02-15 2021-10-19 가부시키가이샤 한도오따이 에네루기 켄큐쇼 파라미터 탐색 방법
KR102416931B1 (ko) * 2021-12-28 2022-07-06 주식회사 애자일소다 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210064445A (ko) 2019-11-25 2021-06-03 삼성전자주식회사 반도체 공정 시뮬레이션 시스템 및 그것의 시뮬레이션 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200030428A (ko) * 2018-09-11 2020-03-20 삼성전자주식회사 표준 셀 설계 시스템, 그것의 표준 셀 설계 최적화 방법, 및 반도체 설계 시스템
US20200175216A1 (en) * 2018-12-04 2020-06-04 Google Llc Generating integrated circuit floorplans using neural networks
KR20210126033A (ko) * 2019-02-15 2021-10-19 가부시키가이샤 한도오따이 에네루기 켄큐쇼 파라미터 탐색 방법
JP2020149270A (ja) * 2019-03-13 2020-09-17 東芝情報システム株式会社 回路適正化装置及び回路適正化方法
KR102195433B1 (ko) * 2020-04-07 2020-12-28 주식회사 애자일소다 학습의 목표와 보상을 연계한 데이터 기반 강화 학습 장치 및 방법
KR102416931B1 (ko) * 2021-12-28 2022-07-06 주식회사 애자일소다 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법

Also Published As

Publication number Publication date
KR102416931B1 (ko) 2022-07-06
TW202326498A (zh) 2023-07-01
KR102416931B9 (ko) 2023-08-04
US20230205954A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
WO2023128094A1 (ko) 반도체 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법
WO2023043018A1 (ko) 설계 데이터 기반의 물체의 위치 최적화를 위한 강화학습 장치 및 방법
WO2023128093A1 (ko) 반도체 설계에서 사용자 학습 환경 기반의 강화학습 장치 및 방법
WO2023043019A1 (ko) 사용자 학습 환경 기반의 강화학습 장치 및 방법
WO2016159497A1 (ko) 학습 정보를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2020218758A1 (ko) 학습자 맞춤형 교육 서비스를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2022145981A1 (ko) 자동학습 기반 시계열 데이터 예측 및 제어 방법 및 장치
WO2019027070A1 (ko) 웹 사이트 제작 지원 서버 및 이에 의한 웹 사이트 제작 지원 방법
WO2023101165A1 (ko) 생산 계획 수립 장치 및 방법
WO2021015386A1 (ko) 데이터 기반 강화 학습 장치 및 방법
WO2011065660A4 (ko) 계산 시뮬레이션 모사 시스템 및 그 방법
WO2018199356A1 (ko) 웹기반 가상풍동을 이용한 유동장 자동해석 방법 및 시스템
US8155941B2 (en) Simulation apparatus, simulation system, and simulation method
WO2022004978A1 (ko) 건축 장식재 디자인 업무 시스템 및 방법
WO2010071384A2 (en) Standardization system and method for robot fabrication and robot service implementation system
WO2009116748A2 (ko) 예약된 컴포넌트 컨테이너 기반 소프트웨어 개발 방법 및 장치
WO2020101121A1 (ko) 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말
WO2013032054A1 (ko) 온라인 게임 서버-테스트 통합 장치
WO2023033420A1 (ko) 비주얼 스크립트를 이용한 디지털 트윈 구축 시스템, 방법 및 이를 위한 장치
WO2021261708A1 (ko) 정보시스템을 설계하여 프로그램과 데이터베이스를 자동으로 생성하고 테스트를 자동 수행하는 소프트웨어 공학플랫폼
WO2020184892A1 (ko) 모바일 앱 사용자의 빅데이터 분석 모델 실시간 생성을 위한 딥러닝 오차 최소화 시스템 및 그 제어방법
WO2023095945A1 (ko) 모델 학습을 위한 합성 데이터 생성 장치 및 방법
WO2020005048A1 (ko) 페트리 넷 모델링을 이용한 산업용 사물 인터넷 시스템에 구비되는 드론의 검증방법
WO2023090784A1 (ko) 단일 엔드포인트를 이용한 ai 모델 운영 장치 및 방법
WO2022131397A1 (ko) Cnn-rnn 아키텍처 전환형 연산 가속장치 설계 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22916249

Country of ref document: EP

Kind code of ref document: A1