JP6902113B2 - ＳＭＤＰの階層の同期によるシステムオンチップ（ＳｏＣ）回路の設計システムおよび方法 - Google Patents

ＳＭＤＰの階層の同期によるシステムオンチップ（ＳｏＣ）回路の設計システムおよび方法 Download PDF

Info

Publication number
JP6902113B2
JP6902113B2 JP2019558331A JP2019558331A JP6902113B2 JP 6902113 B2 JP6902113 B2 JP 6902113B2 JP 2019558331 A JP2019558331 A JP 2019558331A JP 2019558331 A JP2019558331 A JP 2019558331A JP 6902113 B2 JP6902113 B2 JP 6902113B2
Authority
JP
Japan
Prior art keywords
soc
domain
smdp
design
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019558331A
Other languages
English (en)
Other versions
JP2020514932A (ja
Inventor
ナガラジャ ナジェンドラ
ナガラジャ ナジェンドラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alphaics Corp
Original Assignee
Alphaics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alphaics Corp filed Critical Alphaics Corp
Publication of JP2020514932A publication Critical patent/JP2020514932A/ja
Application granted granted Critical
Publication of JP6902113B2 publication Critical patent/JP6902113B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/32—Circuit design at the digital level
    • G06F30/327—Logic synthesis; Behaviour synthesis, e.g. mapping logic, HDL to netlist, high-level language to RTL or netlist
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/32—Circuit design at the digital level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/32—Circuit design at the digital level
    • G06F30/33—Design verification, e.g. functional simulation or model checking
    • G06F30/3323—Design verification, e.g. functional simulation or model checking using formal methods, e.g. equivalence checking or property checking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2115/00—Details relating to the type of the circuit
    • G06F2115/02—System on chip [SoC] design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)

Description

［関連出願の相互参照］
本出願は、「システムオンチップ回路を設計するためのコンピュータ実装システムおよびその方法」と題する、２０１７年１月８日に出願された米国仮特許出願第６２／４４３８０３号の優先権を主張し、また、「人工知能および強化学習によるシステムオンチップ（ＳｏＣ）回路の設計システムおよび方法」と題する、２０１７年４月２７日に出願された別の米国非仮特許出願第１５／４９９８３２号の優先権を主張し、また、「ＳＭＤＰの階層の同期によるシステムオンチップ（ＳｏＣ）回路の設計システムおよび方法」と題する、２０１７年９月７日に出願された別の分割出願第１５／６９７８０３号の優先権を主張する。上述の出願の内容は、参照によりその全体が本明細書に含まれる。
本明細書の実施形態は、集積回路（ＩＣ）を設計するための装置／システムに関する。本明細書の実施形態は、特には、システムオンチップ（ＳｏＣ）のようなＩＣを設計するための装置／システムに関する。本明細書の実施形態は、より具体的には、人工知能（ＡＩ）および強化学習技術を使用してシステムオンチップ（ＳｏＣ）を設計するためのシステムおよび方法に関する。
システムオンチップ（ＳＯＣ）は、電気／電子システムのすべての構成要素を単一のチップに統合した集積回路（ＩＣ）である。集積回路は、通常、とりわけ単一のチップ基板上に埋め込まれた、デジタル機能、アナログ機能、混合信号機能、および無線周波数機能を含む。集積回路は、通常、ハードウェア（例えば、マイクロプロセッサ、およびマイクロコントローラ）に加えて、ハードウェアの機能および実装を制御するために必要なソフトウェアも含む。
通常、ＳｏＣは、そこに含まれるべきハードウェア要素に対応する、事前に認定されたハードウェアブロックから、該ハードウェア要素の機能を制御するソフトウェアドライバと共に開発される。通常、ハードウェア要素は、既知のコンピュータ支援設計（ＣＡＤ）ツールを使用して組み立てられ、対応するソフトウェアモジュールは、ＳｏＣ回路のアーキテクチャの完成後に、ソフトウェアの統合開発環境を使用して統合される。
通常のＳｏＣ回路の設計フローは、手作業で細分化され実装される。さらに、（ＳｏＣ回路の）設計フローを物理設計に変換するプロセスは、（対応する設計フローが）手作業によって実装および細分化される性質のために、（設計関連の）エラーがないわけではない。通常、（ＳｏＣ回路の）設計フローから物理設計への変換の重要な部分を形成する（ＳｏＣ回路の論理設計が設計仕様をコンファームしているかどうかを判断するための）機能検証には、ＳｏＣ回路の設計が複雑であり、またＳｏＣ回路の設計全体を完全に検証するために必要な考えられるテストケース／テストシナリオが膨大である結果、（とりわけ、時間、マンパワーに関する）最大のリソースプールが要求される。通常、ＳｏＣ回路の設計段階では、複数の形式および実装手順の使用とともに、複数の個別のツールが使用される。
現在、ＳｏＣの設計プロセスは、システム仕様、アーキテクチャ設計、機能および論理設計、回路設計、物理設計、物理検証、およびチップの製造を受け取るステップを含む。さらに、各プロセスは、相関性の高いデータを生成する。現在のところ、チップの設計プロセスにおいて生成されたデータの一般化および学習可能性のために利用可能なシステムおよび方法は存在しない。
ＳｏＣチップの既存の設計プロセスは、手作業でのチップの設計プロセスにＡＩフレームワークを実装することについて教示していない。ＡＩフレームワークは、チップの設計プロセスの自動化を助け、それによって設計プロセスを迅速に、素早く、かつ効率的にする。さらに、ＡＩフレームワークは、チップの設計プロセス中に生成されたデータの学習に役立つ。
したがって、ＳｏＣ回路の設計プロセスに関連するリスクを軽減し、（ＳｏＣ回路の）設計プロセスを費用効果があるものにすることとは別に、設計品質を改善し、かつＳｏＣの設計回路を達成するために費やされる時間を短縮する必要がある。さらに、ＳｏＣ回路の設計および実装に伴う複雑さ、ならびに複数の個別ツールおよび複数の設計形式の利用に伴う複雑さのために、効率性を改善するべくＳｏＣの設計プロセスを自動化する必要がある。さらに、将来的なＳｏＣ設計で使用するための、現在のＳｏＣ設計からの学習可能性、推論および予測のためのシステムが必要である。
本明細書では、上記の欠点、不利益および問題に対処するが、それは、以下の明細書を読解し検討することによって理解されるであろう。
本明細書の実施形態の主な目的は、人工知能に基づいて実装されるＳｏＣの設計フレームワークを開発することである。
本明細書の実施形態の別の目的は、ＳｏＣ回路設計の設計および実装を改善するために強化学習技術を採用した、ＳｏＣの設計フレームワークを提供することである。
本明細書の実施形態のさらに別の目的は、ＳｏＣの設計および実装に最適化された人工知能ベースのフレームワークを提供することである。
本明細書の実施形態のさらに別の目的は、ＳｏＣの将来的な設計に使用することが可能である、ＳｏＣの設計から学習して推論するための方法を提供することでる。
本明細書の実施形態のさらに別の目的は、ＳｏＣの設計および実装のプロセスが自動化された、ＳｏＣの設計フレームワークを提供することである。
本明細書の実施形態のさらに別の目的は、ＳＭＤＰの階層を同期させることによって、ＳｏＣの設計フレームワークを提供することである。
本明細書の実施形態のさらに別の目的は、構成が柔軟でモジュール式である、ＳｏＣの設計フレームワークを提供することである。
本明細書の実施形態のさらに別の目的は、ＳｏＣの設計および実装プロセスに関連するリスクおよび不確実性が低減された、ＳｏＣの設計フレームワークを提供することである。
本明細書の実施形態のさらに別の目的は、最適なＳｏＣ構成を生成する、ＳｏＣの設計フレームワークを提供することである。
本明細書の実施形態のさらに別の目的は、ＳｏＣの設計アーキテクチャに関する容易な洞察を提供してＳｏＣ回路の容易なカスタマイズを可能にする、ＳｏＣの設計フレームワークを提供することである。
本明細書の実施形態におけるこれらの、あるいは他の目的および利点は、添付の図面と併せて以下の詳細な説明から明らかになるであろう。
本明細書の実施形態は、人工知能に組み込まれて、強化学習技術を適応させて実装するように構成された、ＳｏＣの設計フレームワークを開示している。本明細書の実施形態に開示されるＳｏＣの設計フレームワークは、ＳｏＣ回路の設計に関連する意思決定プロセスにおける複雑さを軽減するように設計されている。ＳｏＣ回路の設計に関連する決定事項は多数あり、通常は異種性である。本明細書の実施形態におけるＳｏＣの設計フレームワークは、多数の異種性の決定を一般化された同種の決定に一般化するように構成されており、一般化された決定は、ＳｏＣ回路の設計を完成させて実装するために利用される。本明細書の実施形態に開示されるＳｏＣの設計フレームワークは、人工知能と強化学習原理との組み合わせを利用して、ＳｏＣ回路の設計および実装に関する最適な決定に到達するように設計されている。
本明細書の一実施形態によれば、ＳＭＤＰの階層を同期させることによってＳｏＣを設計するための方法が開示される。ＳｏＣ仕様またはデータベースからのチップトポロジが初期化される。初期化するステップは、受け取ったＳｏＣ仕様入力およびチップデータベースライブラリから取得される、チップ、チップスケルトン、クロック、入出力、パーティションに関する詳細を抽出することを含む。複数のドメインおよび複数のサブドメインは、マルコフ決定過程（ＭＤＰ）、セミマルコフ決定過程（ＳＭＤＰ）、階層型抽象機械（ＨＡＭ）およびＭＡＸ−Ｑの形式で人工知能（ＡＩ）設定によって作成され、チップ固有のグラフライブラリが生成される。人工知能設定は、ＡＩエージェント、ＡＩ環境、およびタスクの組み合わせを含む。ＡＩ設定は、定義済みの探索および利用のアルゴリズム、ならびに強化学習技術を使用して作成される。各ドメインのＱ値は、ＡＩエージェントを使用して生成される。ＡＩエージェントは、各ドメインのＱ値を抽出するためにタスクを通じてＡＩ環境と相互作用するように構成されている。チップトポロジは、ＨＡＭ制約を伴うマルコフ決定過程（ＭＤＰ）に関連付けられる。チップトポロジは、複数のＳＭＤＰまたはＭＤＰに分岐している。複数のＳＭＤＰまたはＭＤＰが有効化される。さらに、有効化された複数のＳＭＤＰまたはＭＤＰは、事前設定されたＱ値または事前設定された目標を達成すると終了する。複数のＳＭＤＰまたはＭＤＰは、終了後に同期される。同じレベルの複数のサブドメインが有効化される。さらに、有効化された複数のサブドメインは、事前設定されたＱ値または事前設定された目標を達成すると終了する。その後、複数のサブドメインは、終了後に同期される。複数のＳＭＤＰまたはＭＤＰの物理検証が開始される。ＳｏＣの計画を最適化するために、各ドメインおよびサブドメインの抽出されたＱ値は、ビッグデータデータベースのＳＭＤＰ Ｑテーブルの形式で階層型ＳＭＤＰ構造に格納される。このようにして、ＳｏＣを設計するための最適なチップアーキテクチャが取得される。最適なチップアーキテクチャは、ＳＭＤＰ Ｑテーブルの最上位レベルの最大Ｑ値に対応する。
本明細書の一実施形態によれば、複数のサブドメインの各々のバックアップは、階層型ディープＳＭＤＰネットワーク（ＨＤＳＮ）を通じて階層的に行われる。抽出されたＱ値を格納するステップは、リーフレベルのＭＤＰおよびオプションマクロ用のＱテーブルにＱ値を格納することを含む。
本明細書の一実施形態によれば、事前設定されたＱ値を達成するために、強化学習技術が実行されて終了する。強化学習技術は、該強化学習技術が実行されて、ドメインごとに、Ｑ値が事前設定された閾値未満に収束すると、あるいはＳｏＣドメインごとに、Ｑ値の変化が事前設定された閾値未満に減少すると終了する。あるいは、強化学習技術は、該強化学習技術が実行されて、特定のドメインごとに、定義済みのエピソード数が完了すると終了する。本明細書の一実施形態によれば、強化学習技術は、該強化学習技術が実行されて、特定のドメインごとに、定義済みの目標性能または定義済みの終了状態に達すると終了する。強化学習技術は、該強化学習技術が実行されて、ドメインごとに定義済みの階層的に最適な状態に達すると終了する。
本明細書の一実施形態によれば、ＡＩエージェントは、グラフデータベースと、Ｑ値およびニューラルネットワークの重みを保持するデータベースと、に推論をフィードバックするように構成されている。ＡＩエージェントの例には、限定しないが、ＳｏＣ Ｎｏｃエージェント、ＳｏＣ 電力エージェント、ＳｏＣ物理エージェント、ＳｏＣマルチプロセッサエージェント、ＳｏＣセキュリティエージェント、およびＳｏＣクロックエージェントが含まれる。ＡＩエージェント（以下、ＡＩエージェントという）は、各ドメインのＱ値を生成するように構成されている。ＡＩエージェントは、各ドメインのＱ値を抽出するためのタスクを通じて、ＡＩ環境と相互作用するように構成されている。その後、ＳｏＣの計画を最適化するために、各ドメインおよびサブドメインの抽出されたＱ値は、ビッグデータベースのＳＭＤＰ Ｑテーブルの形式で階層型ＳＭＤＰ構造に格納される。
本明細書の一実施形態によれば、強化学習プロセスが各ドメインに対して開始され、Ｑ値が抽出される。続いて、ＭＤＰ、ＳＭＤＰ、およびＭＤＰの階層のいずれかの初期化プロセスを通じて、各ドメインの最大Ｑ値が決定される。その後、ＳＭＤＰ Ｑテーブルの最上位レベルの最大Ｑ値に対応する、最適なチップアーキテクチャが推定される。その後、最適なチップアーキテクチャは、学習および推論のためにデータベースに格納される。最適なチップアーキテクチャおよび生成されたチップ固有のグラフライブラリに基づいて、所望のＳｏＣ構成が生成されて最適化される。最大Ｑ値から最適なチップアーキテクチャを取得するステップは、最適なＱ値に関連する最適な方策を導出し、当該導出された最適な方策に関連する行動を実行することを含む。
本明細書の一実施形態によれば、Ｑテーブルの上位レベルのＱ値が計算されるときに、下位レベルのＳＭＤＰ、ＭＤＰおよびオプションマクロのＱ値の間の関係が、ディープニューラルネットワークを使用して決定される。下位レベルのＳＭＤＰ、ＭＤＰおよびオプションマクロのＱ値は、Ｑテーブルの上位レベルのＱ値に関連している。ディープニューラルネットワークは、回帰ネットワーク、畳み込みネットワーク、ＬＳＴＭ、ＧＡＮおよびこれらのネットワークの階層からなる群から選択される。Ｑテーブルの複数のＱ値間の関係関数を推定するための重みの最適値を取得するために、階層型ディープＳＭＤＰネットワーク（ＨＤＳＮ）がトレーニングされ、あるいは採用される。トレーニングによって取得される重みの最適値を使用して、階層型ＲＬ設定において、上位レベルのＱ値を下位レベルのＱ値の関数として推定するプロセスが決定される。閾値Ｑ値の適切なレベルを決定して１つのセミマルコフ決定過程（ＳＭＤＰ）を終了し、並行して別のＳＭＤＰを開始することによって、ＨＤＳＮがさらにトレーニングされ、あるいは採用され、階層型ＲＬ実装の同じレベルでＳＭＤＰ間の同期メカニズムが決定される。本明細書の一実施形態によれば、最大Ｑ値から最適なチップアーキテクチャを取得するステップは、最適なＱ値に関連する最適な方策を導出し、導出された最適な方策に関連する行動を実行することを含む。また、下位レベルのＳＭＤＰおよびＭＤＰの関係は、Ｑテーブルの上位レベルのＱ値を計算する際に、ニューラルネットワークを使用して決定される。
本明細書の一実施形態によれば、複数のドメインは、ＳｏＣ通信およびネットワークオンチップ、ＳｏＣ電力最適化、ＳｏＣクロッキング、ＳｏＣ物理設計、ＳｏＣ論理検証、ＳｏＣ物理検証、ＳｏＣタイミング、ＳｏＣ ＤＲＣ（デザインルールチェック）、ＳｏＣ ＥＲＣ（電気的ルールチェック）、およびＳｏＣパッケージを含む。複数のサブドメインは、ＳｏＣスループット最適化、ＳｏＣ動的電力最適化、ＳｏＣタイミング最適化、ＳｏＣ配置最適化、ＳｏＣ安全機能、ＳｏＣセキュリティ機能、配置、フロアプラン、入力／出力およびルーティングを含む。
本明細書の一実施形態によれば、ＡＩ設定の複数のドメインおよび複数のサブドメインを作成するステップは、ドメインおよびサブドメインに関連付けられたタスクを複数のエージェントに設定することを含む。さらに、ＡＩ環境は、１つまたは複数のＡＩエージェントに報酬および観測を提供するように設定される。また、１つまたは複数のＡＩエージェントは、複数のドメインおよびサブドメインに関するフィードバックを受け取るように設定される。
本明細書の一実施形態によれば、所望のＳｏＣ構成を最適化して生成するステップは、階層的に最適なＳＭＤＰ、ＭＤＰまたはオプションマクロまたはすべての組み合わせに基づいて、最適なＳｏＣを設計するための計画プロセスを開始することを含む。さらに、ＭＤＰ、ＳＭＤＰおよびオプションのモデルは、ルックアップテーブルモデル、線形期待モデル、線形ガウスモデル、ガウスプロセスモデル、およびディープビリーフネットワークモデルからなる群から選択される、決定論的または確率論的モデルを使用して作成される。また、複数のＡＩドメインおよびサブドメインから受け取ったリアルタイムなフィードバックに基づいて導出されたシミュレーションモデルを使用することにより、複数のＡＩドメインの計画および学習プロセスが並行して実行される。ＳｏＣについて学習した情報を事前設定された形式で格納することによって、計画されたＳｏＣの階層表現が１つまたは複数のデータベースに格納される。その後、ＳｏＣに関する計画され格納された情報は、データベースから階層的に取得されて、当該データベースから新しいＳｏＣ設計がデバッグおよび作成される。
本明細書の一実施形態によれば、強化学習プロセスは、相互に異なるデータ構造で格納された複数のデータベースへのアクセスに基づいて、ＡＩ環境、ＡＩエージェント、タスクおよび実験を含む、シングルステップで、あるいは複数のステップで階層的に実行される。複数のデータ構造は、グラフ、文書および表を含む。ＡＩ設定は、一連の環境、エージェント、タスクおよび実験を用いて、ＳｏＣ設計の各ドメインに対して作成される。ＡＩ設定は、各ドメインおよびサブドメインのエージェントと環境との相互作用を用いて、強化学習プロセスを実行するように構成されている。学習情報は、強化学習プロセスの出力または結果であり、ＳｏＣの設計において構成された各ドメインおよびサブドメインに固有のデータベースに、Ｑ値またはニューラルの重みの形式で格納される。
本明細書の一実施形態によれば、ＭＤＰおよびＳＭＤＰ、オプションマクロ、ＨＡＭおよび最大Ｑ値が抽出されて、ＳｏＣの設計において構成された各ドメインおよびサブドメインについて、データベース（例えば、ＮｏＳＱＬデータベース、ＳＱＬデータベースまたはグラフデータベース）に格納される。
本明細書の一実施形態によれば、推論は、抽出されたＳＭＤＰ、オプションマクロ、ＭＤＰ、ＨＡＭ、ｍａｘ−Ｑ関数から生成される。生成された推論は、文書データベース、グラフデータベースまたはＳＱＬデータベースの形式で格納される。文書データベース、グラフデータベースまたはＳＱＬデータベースの形式で格納された推論は、抽出されたＭＤＰ、ＳＭＤＰまたはオプションマクロの形式で、あるいはエピソード設定の一連の環境、エージェント、タスクおよび実験として、ドメイン固有のＡＩ設定にロードされる。ＳｏＣの設計ドメインごとの推論が抽出されると、エピソード実験設定またはＭＤＰまたはＳＭＤＰまたはＨＡＭまたはＭＡＸＱ設定の形式の各ＳｏＣドメインのＡＩ設定は、オプションマクロの有無に関わらず相互作用して最適なチップアーキテクチャ（ＯＣＡ）に達する。
本明細書の一実施形態によれば、強化学習で使用される方策勾配法に基づいて、抽出されたＭＤＰ、ＳＭＤＰ、オプションマクロ、ＨＡＭ ＭＡＸＱについて、状態を行動へマッピングする新しい方策が検証され、検証された新しい方策は、ＳｏＣの設計におけるＡＩ ＳＯＣドメインおよび任意のＡＩサブドメインの各々のデータベースに格納される。あるドメインに生成された新しい方策は、別のＡＩ ＳｏＣドメインに生成された方策で最適化および反復されてコンテキストが導出され、階層的に最適な、マルチドメイン単位、およびサブドメイン単位の最適な方策が取得される。階層的に最適であり、かつ個々に最適である方策は、方程式、関数、ＳＷ、オプションマクロを通じて将来的な使用のためにデータベースに格納され、すべてのＡＩ ＳｏＣドメインおよびサブドメインの将来の学習アプリケーションで参照される。
本明細書の一実施形態によれば、ＳＭＤＰが互いに依存関係を有しない場合（例えば、有効電力のＳＭＤＰと配置のＳＭＤＰ）、同期は、ただ１つのＳＭＤＰが他のＳＭＤＰと通信してそれが最終状態に達したことを通知する。同期は、ＳＭＤＰが最終状態に達したことを示唆する、グローバルブロードキャスト信号の１つである。同期プロセスには、ＳＭＤＰタイミングあるいはＳＭＤＰの検証でバグが見つかったときに、終了したＳＭＤＰに、タイムクロージャのメトリックのような最終結果をグローバルデータベースにアップロードさせることも含まれる。あるいは、ＳＭＤＰが他のＳＭＤＰに依存している場合、これらのＳＭＤＰの各々は、ロックステップまたは反復ループで動作する。ＳＭＤＰが他のＳＭＤＰと通信する場合（例えば、論理検証および論理設計）、同期プロセスは個別の同期状態を含む。各ＳＭＤＰは、それぞれの最終結果を伝え、バグ修正、最適化を待ち、その設計がＰＤまたは合成に送るのに最適な形状であることを要求する。本明細書の一実施形態によれば、同期は、２つ以上のＳＭＤＰを使用し、多くのＳＭＤＰ、オプションマクロ、およびＭＤＰの間で最終結果を共有することを含む。
本明細書の実施形態のこれらおよび他の態様は、以下の説明および添付の図面と併せて検討することにより、よりよく認識され、理解されるであろう。しかしながら、以下の説明では、好ましい実施形態およびその多数の具体的な詳細が示されているが、限定としてではなく例示として与えられていることを理解されたい。本発明の精神から逸脱することなく、本明細書の実施形態の範囲内で多くの変更および修正を加えることが可能であり、本明細書の実施形態はそのような修正すべてを含む。
当業者であれば、他の目的、特徴および利点は、以下の説明および添付の図面から明らかになるであろう。
本明細書の一実施形態による、ＳＭＤＰの階層を同期させることによって、ＳｏＣを設計するための方法を説明するフローチャートである。 本明細書の一実施形態による、階層型多目的ＡＩを用いたＡＩ駆動の設計設定を使用したＳｏＣを設計するための方法を説明するフローチャートである。 本明細書の一実施形態による、ＳｏＣの設計フレームワークにおけるドメインおよびサブドメインごとに設定された人工知能（ＡＩ）の論理設計のブロック図である。 本明細書の一実施形態による、ＳｏＣの設計フレームワークに実装されたＡＩフレームワークの機能ブロック図である。 本明細書の一実施形態による、階層型強化学習用に構成されたＡＩフレームワークのブロック図である。 本明細書の一実施形態による、ＳｏＣの設計フレームワークにおけるメインＭＤＰとＳＭＤＰとの間の相互作用プロセスを説明するフローチャートである。 本明細書の一実施形態による、ＳｏＣの設計フレームワークにおけるＳｏＣの各設計ドメインについて、Ｑ値の収束時に強化学習（ＲＬ）プロセスを終了させる方法を説明するフローチャートである。 本明細書の一実施形態による、ＳｏＣの設計フレームワークにおけるＳｏＣの各設計ドメインについて、定義済みの実験数が個別に完了したときに強化学習（ＲＬ）プロセスを終了させる方法を説明するフローチャートである。 本明細書の一実施形態による、ＳｏＣの設計フレームワークにおけるＳｏＣの各設計ドメインについて、定義済みの目標性能または目標状態に個々に到達し、あるいはそれを個々に達成したときに強化学習（ＲＬ）プロセスを終了させる方法を説明するフローチャートである。 本明細書の一実施形態による、トップダウンアプローチによるＳｏＣ設計フレームワークにおけるＳｏＣの各設計ドメインについて、個別に導出された定義済みの階層的に最適な状態または目標に到達し、あるいはそれを達成したときに強化学習（ＲＬ）プロセスを終了させる方法を説明するフローチャートを示す図である。 本明細書の一実施形態による、ＳｏＣ設計プロセスにおいてＳＭＤＰの階層を同期させる方法を説明するフローチャートを、図１１Ｂとともに示す図である。 本明細書の一実施形態による、ＳｏＣ設計プロセスにおいてＳＭＤＰの階層を同期させる方法を説明するフローチャートを、図１１Ａとともに示す図である。 本明細書の一実施形態による、ＳｏＣの設計プロセスにおいてＳＱＬスキーマまたは文書データベースに格納される階層型Ｑテーブルの平面図または概略図である。 本明細書の一実施形態による、ＳｏＣの設計プロセスにおけるＨＤＳＮでの経験再生に使用されるディープニューラルネットワークのブロック図または概略図である。 本明細書の一実施形態による、ＳｏＣの設計プロセスにおける階層型強化学習のＡＩフローを使用して最適なチップアーキテクチャ（ＯＣＡ）を生成するためのシステムの機能ブロック図である。 本明細書の一実施形態による、強化学習プロセスを用いたＳｏＣの設計プロセスにおいてドメインごとにＭＤＰを抽出する方法を説明するフローチャートである。 本明細書の一実施形態による、ＳｏＣの設計プロセスにおけるビッグデータフレームワークの機能ブロック図である。 本明細書の一実施形態による、ＳｏＣの設計プロセスにおけるＳｏＣドメインおよびサブドメインを抽象化する方法を説明するフローチャートである。 本明細書の一実施形態による、ＳｏＣ設計のためのデータベースアーキテクチャのブロック図である。
本明細書における実施形態の特定の特徴は、いくつかの図面に示されているが、他の図面には示されていない。これは、本明細書の実施形態に従って各特徴を他の特徴のうちのいずれかまたはすべてと組み合わせることができるがために、単に便宜上行ったものである。
以下の詳細な説明において、本明細書の一部を形成する添付の図面を参照して、実施され得る特定の実施形態を例示する。これらの実施形態は、当業者が実施形態を実施できるように十分詳細に説明されており、実施形態の範囲から逸脱することなく他の変更がなされ得ることが理解されよう。したがって、以下の詳細な説明は、限定的な意味で解釈されるべきではない。
本明細書の実施形態は、人工知能が組み込まれて強化学習技術を適応させ実施するように構成されたＳｏＣの設計フレームワークを開示している。本明細書の実施形態に開示されるＳｏＣの設計フレームワークは、ＳｏＣ回路の設計に関連する意思決定プロセスにおける複雑さを軽減するように設計されている。ＳｏＣ回路の設計に関連する意思決定は多数あり、通常は異種性である。本明細書の実施形態のＳｏＣの設計フレームワークは、多種の異種性の決定を、ＳｏＣ回路の設計を完成させて実施するために現在利用されている、複数の一般化された同種の決定に一般化するように構成されている。本明細書の実施形態に開示されるＳｏＣの設計フレームワークは、人工知能と強化学習原理との組み合わせを利用して、ＳｏＣ回路の設計および実装に関する最適な決定に到達するように設計されている。
本明細書の一実施形態によれば、ＳＭＤＰの階層を同期させることによってＳｏＣを設計するための方法が開示される。ＳｏＣ仕様またはデータベースからのチップトポロジが初期化される。初期化するステップは、受け取ったＳｏＣ仕様入力およびチップデータベースライブラリから取得される、チップ、チップスケルトン、クロック、入出力、パーティションに関する詳細を抽出することを含む。複数のドメインおよび複数のサブドメインは、マルコフ決定過程（ＭＤＰ）、セミマルコフ決定過程（ＳＭＤＰ）、階層型抽象機械（ＨＡＭ）およびＭＡＸ−Ｑの形式で人工知能（ＡＩ）設定によって作成され、チップ固有のグラフライブラリが生成される。人工知能設定は、ＡＩエージェント、ＡＩ環境、およびタスクの組み合わせを含む。ＡＩ設定は、定義済みの探索および利用のアルゴリズム、ならびに強化学習技術を使用して作成される。各ドメインのＱ値は、ＡＩエージェントを使用して生成される。ＡＩエージェントは、各ドメインのＱ値を抽出するためにタスクを通じてＡＩ環境と相互作用するように構成されている。チップトポロジは、ＨＡＭ制約を伴うマルコフ決定過程（ＭＤＰ）に関連付けられる。チップトポロジは、複数のＳＭＤＰまたはＭＤＰに分岐している。複数のＳＭＤＰまたはＭＤＰが有効化される。さらに、有効化された複数のＳＭＤＰまたはＭＤＰは、事前設定されたＱ値または事前設定された目標を達成すると終了する。複数のＳＭＤＰまたはＭＤＰは、終了後に同期される。同じレベルの複数のサブドメインが有効化される。さらに、有効化された複数のサブドメインは、事前設定されたＱ値または事前設定された目標を達成すると終了する。その後、複数のサブドメインは、終了後に同期される。複数のＳＭＤＰまたはＭＤＰの物理検証が開始される。ＳｏＣの計画を最適化するために、各ドメインおよびサブドメインの抽出されたＱ値は、ビッグデータデータベースのＳＭＤＰ Ｑテーブルの形式で階層的ＳＭＤＰ構造に格納される。このようにして、ＳｏＣを設計するための最適なチップアーキテクチャが取得される。最適なチップアーキテクチャは、ＳＭＤＰ Ｑテーブルの最上位レベルの最大Ｑ値に対応する。
本明細書の一実施形態によれば、複数のサブドメインの各々のバックアップは、階層型ディープＳＭＤＰネットワーク（ＨＤＳＮ）を通じて階層的に行われる。抽出されたＱ値を格納するステップは、リーフレベルのＭＤＰおよびオプションマクロ用のＱテーブルにＱ値を格納することを含む。
本明細書の一実施形態によれば、事前設定されたＱ値を達成するために、強化学習技術が実行されて終了する。強化学習技術は、該強化学習技術が実行されて、ドメインごとに、Ｑ値が事前設定された閾値未満に収束すると、あるいはＳｏＣドメインごとに、Ｑ値の変化が事前設定された閾値未満に減少すると終了する。あるいは、強化学習技術は、該強化学習技術が実行されて、特定のドメインごとに、定義済みのエピソード数が完了すると終了する。本明細書の一実施形態によれば、強化学習技術は、該強化学習技術が実行されて、特定のドメインごとに、定義済みの目標性能または定義済みの終了状態に達すると終了する。強化学習技術は、該強化学習技術が実行されて、ドメインごとに定義済みの階層的に最適な状態に達すると終了する。
本明細書の一実施形態によれば、ＡＩエージェントは、グラフデータベースと、Ｑ値およびニューラルネットワークの重みを保持するデーベースと、に推論をフィードバックするように構成されている。ＡＩエージェントの例には、限定しないが、ＳｏＣ Ｎｏｃエージェント、ＳｏＣ 電力エージェント、ＳｏＣ物理エージェント、ＳｏＣマルチプロセッサエージェント、ＳｏＣセキュリティエージェントおよびＳｏＣクロックエージェントが含まれる。ＡＩエージェント（以下、ＡＩエージェントという）は、各ドメインについてＱ値を生成するように構成されている。ＡＩエージェントは、各ドメインのＱ値を抽出するためのタスクを通じて、ＡＩ環境と相互作用するように構成されている。その後、ＳｏＣの計画を最適化するために、各ドメインおよびサブドメインの抽出されたＱ値は、ビッグデータベースのＳＭＤＰ Ｑテーブルの形式で階層型ＳＭＤＰ構造に格納される。
本明細書の一実施形態によれば、強化学習プロセスが各ドメインに対して開始され、Ｑ値が抽出される。続いて、ＭＤＰ、ＳＭＤＰ、およびＭＤＰの階層のいずれかの初期化プロセスを通じて、各ドメインの最大Ｑ値が決定される。その後、ＳＭＤＰ Ｑテーブルの最上位レベルの最大Ｑ値に対応する、最適なチップアーキテクチャが推定される。その後、最適なチップアーキテクチャは、学習および推論のためにデータベースに格納される。最適なチップアーキテクチャおよび生成されたチップ固有のグラフライブラリに基づいて、所望のＳｏＣ構成が生成されて最適化される。最大Ｑ値から最適なチップアーキテクチャを取得するステップは、最適Ｑ値に関連する最適な方策を導出し、導出された最適な方策に関連する行動を実行することを含む。
本明細書の一実施形態によれば、Ｑテーブルの上位レベルのＱ値が計算されるときに、下位レベルのＳＭＤＰ、ＭＤＰおよびオプションマクロのＱ値の間の関係が、ディープニューラルネットワークを使用して決定される。下位レベルのＳＭＤＰ、ＭＤＰおよびオプションマクロのＱ値は、Ｑテーブルの上位レベルのＱ値に関連している。ディープニューラルネットワークは、回帰ネットワーク、畳み込みネットワーク、ＬＳＴＭ、ＧＡＮおよびこれらのネットワークの階層からなる群から選択される。Ｑテーブルの複数のＱ値間の関係関数を推定するための重みの最適値を取得するために、階層型ディープＳＭＤＰネットワーク（ＨＤＳＮ）がトレーニングされ、あるいは採用される。トレーニングによって取得される重みの最適値を使用して、階層型ＲＬ設定において、上位レベルのＱ値を下位のＱ値の関数として推定するプロセスが決定される。閾値Ｑ値の適切なレベルを決定して１つのセミマルコフ決定過程（ＳＭＤＰ）を終了し、並行して別のＳＭＤＰを開始することによって、ＨＤＳＮがさらにトレーニングされ、あるいは採用され、階層型ＲＬ実装の同じレベルでＳＭＤＰ間の同期メカニズムが決定される。本明細書の一実施形態によれば、最大Ｑ値から最適なチップアーキテクチャを取得するステップは、最適なＱ値に関連する最適な方策を導出し、導出された最適な方策に関連する行動を実行することを含む。さらに、下位レベルのＳＭＤＰおよびＭＤＰの関係は、Ｑテーブルの上位レベルのＱ値が計算される際に、ニューラルネットワークを使用して決定される。
本明細書の一実施形態によれば、複数のドメインは、ＳｏＣ通信およびネットワークオンチップ、ＳｏＣ電力最適化、ＳｏＣクロッキング、ＳｏＣ物理設計、ＳｏＣ論理検証、ＳｏＣ物理検証、ＳｏＣタイミング、ＳｏＣ ＤＲＣ（デザインルールチェック）、ＳｏＣ ＥＲＣ（電気的ルールチェック）、およびＳｏＣパッケージを含む。複数のサブドメインは、ＳｏＣスループット最適化、ＳｏＣ動的電力最適化、ＳｏＣタイミング最適化、ＳｏＣ配置最適化、ＳｏＣ安全機能、ＳｏＣセキュリティ機能、配置、フロアプラン、入力／出力およびルーティングを含む。
本明細書の一実施形態によれば、ＡＩ設定の複数のドメインおよび複数のサブドメインを作成するステップは、ドメインおよびサブドメインに関連付けられたタスクを複数のエージェントに設定することを含む。さらに、ＡＩ環境は、１つまたは複数のＡＩエージェントに報酬および観測を提供するように設定される。また、１つまたは複数のＡＩエージェントは、複数のドメインおよびサブドメインに関するフィードバックを受け取るように設定される。
本明細書の一実施形態によれば、所望のＳｏＣ構成を最適化して生成するステップは、階層的に最適なＳＭＰＤ、ＭＤＰまたはオプションマクロまたはすべての組み合わせに基づいて、最適なＳｏＣを設計するための計画プロセスを開始することを含む。さらに、ＭＤＰ、ＳＭＤＰおよびオプションのモデルは、ルックアップテーブルモデル、線形期待モデル、線形ガウスモデル、ガウスプロセスモデル、およびディープビリーフネットワークモデルからなる群から選択される、決定論的または確率論的モデルを使用して作成される。また、複数のＡＩドメインおよびサブドメインから受け取ったリアルタイムなフィードバックに基づいて導出されたシミュレーションモデルを使用することにより、複数のＡＩモデルの計画および学習プロセスが並行して実行される。ＳｏＣについて学習した情報を事前設定された形式で格納することによって、計画されたＳｏＣの階層表現が１つまたは複数のデータベースに格納される。その後、ＳｏＣに関する、計画され格納された情報は、データベースから階層的に取得され、当該データベースから新しいＳｏＣ設計がデバッグおよび作成される。
本明細書の一実施形態によれば、強化学習プロセスは、相互に異なる複数のデータ構造で格納された複数のデータベースへのアクセスに基づいて、ＡＩ環境、ＡＩエージェント、タスクおよび実験を含む、シングルステップで、あるいは複数のステップで階層的に実行される。複数のデータ構造は、グラフ、文書および表を含む。ＡＩ設定は、一連の環境、エージェント、タスクおよび実験を用いて、ＳｏＣ設計の各ドメインに対して作成される。ＡＩ設定は、各ドメインおよびサブドメインのエージェントと環境との相互作用を用いて、強化学習プロセスを実行するように構成されている。学習情報は、強化学習プロセスの出力または結果であり、ＳｏＣの設計において構成された各ドメインおよびサブドメインに固有のデータベースに、Ｑ値またはニューラルの重みの形式で格納される。
本明細書の一実施形態によれば、ＭＤＰおよびＳＭＤＰ、オプションマクロ、ＨＡＭおよび最大Ｑ値が抽出されて、ＳｏＣの設計において構成された各ドメインおよびサブドメインについて、データベース（例えば、ＮｏＳＱＬデータベース、ＳＱＬデータベースまたはグラフデータベース）に格納される。
本明細書の一実施形態によれば、推論は、抽出されたＳＭＤＰ、オプションマクロ、ＭＤＰ、ＨＡＭ、ｍａｘ−Ｑ関数から生成される。生成された推論は、文書データベース、グラフデータベースまたはＳＱＬデータベースの形式で保存される。文書データベース、グラフデータベースまたはＳＱＬデータベースの形式で格納された推論は、抽出されたＭＤＰ、ＳＭＤＰまたはオプションマクロの形式で、あるいはエピソード設定の一連の環境、エージェント、タスクおよび実験として、ドメイン固有のＡＩ設定にロードされる。ＳｏＣの設計ドメインごとの推論が抽出されると、エピソード実験設定またはＭＤＰまたはＳＭＤＰまたはＨＡＭまたはＭＡＸＱ設定の形式の各ＳｏＣドメインのＡＩ設定は、オプションマクロの有無に関わらず相互作用して最適なチップアーキテクチャ（ＯＣＡ）に達する。
本発明の一実施形態によれば、強化学習で使用される方策勾配法に基づいて、抽出されたＭＤＰ、ＳＭＤＰ、オプションマクロ、ＨＡＭ ＭＡＸＱについて、状態を行動にマッピングする新しい方策が検証され、検証された新しい方策は、ＳｏＣの設計におけるＡＩ ＳＯＣドメインおよび任意のＡＩサブドメインの各々のデータベースに格納される。あるドメインに生成された新しい方策は、別のＡＩ ＳｏＣドメインに生成された方策で最適化および反復されてコンテキストが導出され、階層的に最適な、マルチドメイン単位およびサブドメイン単位の最適な方策が取得される。階層的に最適であり、かつ個々に最適である方策は、方程式、関数、ＳＷ、オプションマクロを通じて将来的な使用のためにデータベースに格納され、すべてのＡＩ ＳｏＣドメインおよびサブドメインの将来の学習アプリケーションで参照される。
本明細書の一実施形態によれば、ＳＭＤＰが互いに依存関係を有しない場合（例えば、有効電力ＳＭＤＰおよび配置のＳＭＤＰ）、同期は、ただ１つのＳＭＤＰが他のＳＭＤＰと通信してそれが最終状態に達したことを通知する。同期は、ＳＭＤＰが最終状態に達したことを示唆する、グローバルブロードキャスト信号の１つである。同期プロセスには、終了したＳＭＤＰに、タイミングＳＭＤＰによるタイムクロージャのメトリックやＳＭＤＰの検証で見つかったバグなどのその最終結果を、グローバルデータベースにアップロードさせることも含まれる。あるいは、ＳＭＤＰが他のＳＭＤＰに依存している場合、これらのＳＭＤＰの各々は、ロックステップまたは反復ループで動作する。ＳＭＤＰが他のＳＭＤＰと通信する場合（例えば、論理検証および論理設計）、同期プロセスは個別の同期状態を含む。各ＳＭＤＰは、それぞれの最終結果を伝え、バグ修正、最適化を待ち、その設計がＰＤまたは合成に送るのに最適な形状であることを要求する。本明細書の一実施形態によれば、同期は、２つ以上のＳＭＤＰを使用し、多くのＳＭＤＰ、オプションマクロ、およびＭＤＰの間で最終結果を共有することを含む。
図１は、本発明の一実施形態による、ＳＭＤＰの階層を同期させることによってＳｏＣを設計するための方法を説明するフローチャートを示す。本明細書の実施形態によれば、ＳｏＣ回路全体は、プロセッサ、デジタル設計、回路設計プロセスとともに、強化学習実験の実装に続いて、階層モデルの形式で（最適性を重視して）表される。
この方法は、ＳｏＣ仕様入力を受け取るステップ（１０１）を含む。さらに、受け取ったＳｏＣ仕様入力およびチップデータベースライブラリから取得した、チップ、チップスケルトン、クロック、入出力、パーティションに関する詳細を抽出することによって、（ＳｏＣの）チップ設計を初期化する。ＳｏＣのチップ設計フローの初期化には、ライブラリの初期化が含まれる（１０２）。ライブラリを初期化するプロセスでは、ファウンドリのテクノロジライブラリ、ＡＩ ＳＯＣＤデータベースの標準インタフェースＩＰ、データベースのプロセッサＩＰ、および再利用されるその他の標準ＩＰなどの標準ライブラリが、チップデータベースにロードされる。これらのライブラリは、ＳｏＣ仕様入力を解析した後にチップデータベースにまとめられる。ＳｏＣ仕様入力は、チップの仕様、または以前のチップに加えてテキストもしくはｘｍｌ形式のディスクリプションにおける変更を表すデータベースのうちの少なくとも１つである。取り込まれたライブラリ、および特定のＳｏＣ仕様またはデータベースは、ＩＯ，チップスケルトン、関連ＩＰおよびチップのパーティションを提供する。続いて、マルコフ決定過程（ＭＤＰ）、セミマルコフ決定過程（ＳＭＤＰ）、階層的抽象マシン（ＨＡＭ）、およびＭＡＸ−Ｑの形式の人工知能（ＡＩ）設定によって、複数のドメインおよび複数のサブドメインを作成し、チップ固有のグラフライブラリを生成する（１０３）。人工知能設定には、ＡＩエージェント、ＡＩ環境、およびタスクの組み合わせが含まれる。ＡＩ設定は、事前定義された探索および利用のアルゴリズム、および強化学習技術を使用して作成される。各ドメインのＱ値は、ＡＩエージェントを使用して生成される。ＡＩエージェントは、タスクを通じでＡＩ環境と相互作用し、ドメインごとにＱ値を抽出するように構成されている（１０４）。チップトポロジは、ＨＡＭ制約を伴うマルコフ決定過程（ＭＤＰ）に関連付けられる。チップトポロジは、複数のＳＭＤＰまたはＭＤＰに分岐している。複数のＳＭＤＰまたはＭＤＰが有効化される（１０５）。さらに、有効化された複数のＳＭＤＰまたはＭＤＰは、事前設定されたＱ値または事前設定された目標を達成すると終了する。複数のＳＭＤＰまたはＭＤＰは、終了後に同期される（１０６）。同じレベルの複数のサブドメインが有効化される。さらに、有効化された複数のサブドメインは、事前設定されたＱ値または事前設定された目標を達成すると終了する。その後、複数のサブドメインは、終了後に同期される。
複数のＳＭＤＰまたはＭＤＰの物理検証を開始する。ＳｏＣの計画を最適化するために、各ドメインおよびサブドメインの抽出されたＱ値を、ビッグデータデータベースのＳＭＤＰ Ｑテーブルの形式で階層型ＳＭＤＰ構造に格納する（１０７）。続いて、ＭＤＰ、ＳＭＤＰ、およびＭＤＰの階層のうちのいずれかの初期化プロセスを通じて、各ドメインの最大Ｑ値を決定する。その後、ＳＭＤＰ Ｑテーブルの最上位レベルの最大Ｑ値に対応する、最適なチップアーキテクチャを推定する（１０８）。このようにして、ＳｏＣを設計するための最適なチップアーキテクチャを取得する。その後、最適なチップアーキテクチャを、学習および推論のためにデータベースに格納する。最適なチップアーキテクチャおよび生成されたチップ固有のグラフライブラリに基づいて、所望のＳｏＣ構成を生成して最適化する（１０９）。最大Ｑ値から最適なチップアーキテクチャを取得するステップは、最適なＱ値に関連する最適な方策を導出し、当該導出された最適な方策に関連する行動を実行することを含む。
本明細書の一実施形態によれば、複数のサブドメインの各々のバックアップは、階層型ディープＳＭＤＰネットワーク（ＨＤＳＮ）を通じて階層的に行われる。抽出されたＱ値を格納するステップは、リーフレベルのＭＤＰおよびオプションマクロのＱテーブルにＱ値を格納することを含む。
本明細書の一実施形態によれば、事前設定されたＱ値を達成するために、強化学習技術が実行されて終了する。強化学習技術は、該強化学習技術が実行されて、ドメインごとに、Ｑ値が事前設定された閾値未満に収束すると、あるいはＳｏＣドメインごとに、Ｑ値の変化が事前設定された閾値未満に減少すると終了する。あるいは、強化学習技術は、該強化学習技術が実行されて、特定のドメインごとに、定義済みのエピソード数が完了すると終了する。本明細書の一実施形態によれば、強化学習技術は、該強化学習技術が実行されて、特定のドメインごとに、定義済みの目標性能または定義済みの終了状態に達すると終了する。強化学習技術は、該強化学習技術が実行されて、ドメインごとに定義済みの階層的に最適な状態に達すると終了する。
本明細書の一実施形態によれば、多目的ＡＩエージェントは、グラフデータベースと、Ｑ値およびニューラルネットワークの重みを保持するデータベースと、に推論をフィードバックするように構成されている。推論／学習データを格納するデータベースは、「転移学習」プロセスに用いられる。「転移学習」プロセスは、論理的に近い一連のタスクが既に学習されている場合に、学習されていないが転移学習手段を使用して推定される類似のタスクに、学習されたタスクを転移するプロセスとして定義される。多目的エージェントの例には、限定しないが、ＳｏＣ Ｎｏｃエージェント、ＳｏＣ 電力エージェント、ＳｏＣ物理エージェント、ＳｏＣマルチプロセッサエージェント、ＳｏＣセキュリティエージェントおよびＳｏＣクロックエージェントが含まれる。多目的エージェント（以下、ＡＩエージェントという）は、各ドメインのＱ値を生成するように構成されている（１０４）。ＡＩエージェントは、各ドメインのＱ値を抽出するためのＡＩタスクを通じて、ＡＩ環境と相互作用するように構成されている。
本明細書の一実施形態によれば、階層型ＳＭＤＰ構造の各ドメインおよびサブドメインの抽出されたＱ値は、ＳｏＣの設計計画プロセスを最適化するために、ＳＭＤＰ Ｑテーブルの形式で階層的にビッグデータデータベースに格納される。Ｑ値を抽出するために、各ドメインに対して強化学習プロセスを開始する。ドメインは、ＮｏＣ生成、電力最適化、インタフェース統合、論理検証、論理合成、レイアウト前のタイミングクロージャ、物理設計、レイアウト後のタイミングクロージャおよび物理検証のいずれかである。
図２は、本明細書の一実施形態による、階層型多目的ＡＩを用いたＡＩ駆動の設計設定を使用したＳｏＣを設計するための方法を説明するフローチャートを示す。ＳｏＣ仕様入力を受け取る（２１０）。チップ設計技術、およびチップ設計プロセスに関連して必要とされる規格に関する詳細を格納するために、抽象グラフデータベースライブラリを作成する。さらに、チップ設計知識ライブラリと、一般的なハードウェアおよびソフトウェアライブラリも作成して維持する（２１１）。受け取ったＳｏＣ仕様入力およびチップデータベースライブラリまたはグラフデータベースライブラリから、チップ、チップスケルトン、クロック、入出力、パーティションに関する詳細が取得される。受け取ったＳｏＣ仕様入力およびチップデータベースライブラリまたはグラフデータベースライブラリから取得した、チップ、チップスケルトン、クロック、入出力、パーティションに関する抽出された詳細に基づいて、（ＳｏＣの）チップ設計を初期化する（２１２）。初期化後、所望のＳｏＣ構成をさらに最適化して生成するために、様々なドメインについて、ＭＤＰ、ＳＭＤＰ、ＨＡＭおよびＭＡＸ−Ｑの形式でＡＩを設定する。ＡＩ設定は、多目的ＡＩエージェントを意味する。ドメインのＡＩ設定には、環境を伴う多目的ＡＩエージェントと、複数のタスクと、が含まれる。ドメインのＡＩ設定を、第１のドメイン、第２のドメイン、そして第３のドメインのように、複数のドメインに対して実行して繰り返す（２１３，２１４，２１５）。次に、複数のドメインに設定したＡＩから受け取られたデータをコンパイルすることによって、多目的ＡＩ環境、エージェントおよびタスクを設定する（２１６）。チップ固有のグラフライブラリおよびデータベースは、多目的ＡＩ環境、エージェントおよびタスクから受け取った出力データに基づいてＡＩ環境を使用して生成される。さらに、チップ固有のグラフライブラリおよびデータベースに格納されたデータを、複数のドメインに対して設定されたＡＩにフィードバックループで供給する（２１７）。チップの多目的ＡＩエージェントは、各ドメインのＱ値を生成するように構成されている。ＡＩエージェントは、各ドメインのＱ値を抽出するためのタスクを通じて、ＡＩ環境と相互作用するように構成されている。続いて、階層型ＳＭＤＰの各ドメインおよびサブドメインの抽出されたＱ値は、ＳｏＣの設計計画プロセスを最適化するために、ＳＭＤＰ Ｑテーブルの形式で階層的にビッグデータデータベースに格納される。さらに、最適なＱ値から、最適なチップアーキテクチャが得られる（２１８）。
本明細書の一実施形態によれば、ＨＡＭ、オプションおよびＭａｘ−Ｑ学習の組み合わせを使用して、エンドツーエンドのＳｏＣ設計フレームワークを達成する。Ｍａｘ−Ｑ学習は、Ｑ値を取得するために、あるいは複数のＳＭＤＰにわたって解決策を同時に学習するために、ＳｏＣの設計全体をＳＭＤＰの階層に分類することを含む。Ｍａｘ−Ｑ学習のプロセスでは、コアＳＭＤＰが複数のサブタスク｛Ｍ０，Ｍ１，Ｍ２，Ｍ３，．．．ＭＮ｝に分割され、Ｍ０を解くと、Ｍ全体が解かれる。集合ＭがタスクであるＭａｘ−Ｑの古典的な定義に代わって、本明細書の実施形態によれば、それらはＨＡＭなどの制約を伴う再帰的Ｍａｘ−Ｑである。Ｍ０，Ｍ１，Ｍ２，．．．ＭＮのそれぞれは、別のＭａｘ−Ｑを再帰的に表している。
本明細書の一実施形態によれば、Ｑテーブルの上位レベルのＱ値が計算されるときに、下位レベルのＳＭＤＰ、ＭＤＰおよびオプションマクロのＱ値の間の関係が、ディープニューラルネットワークを使用して決定される。下位レベルのＳＭＤＰ、ＭＤＰおよびオプションマクロのＱ値は、Ｑテーブルの上位レベルのＱ値に関連している。ディープニューラルネットワークは、回帰ネットワーク、畳み込みネットワーク、ＬＳＴＭ、ＧＡＮおよびこれらのネットワークの階層からなる群から選択される。さらに、Ｑテーブルの複数のＱ値間の関係関数を推定するための重みの最適値を取得するために、階層型ディープＳＭＤＰネットワーク（ＨＤＳＮ）がトレーニングされる。重みの最適値は、ニューラルネットワークをトレーニングすることによって取得される。この最適値を使用して、階層型ＲＬ設定において、上位レベルのＱ値を下位レベルのＱ値の関数として推定するプロセスが決定される。閾値Ｑ値の適切なレベルを決定して１つのセミマルコフ決定過程（ＳＭＤＰ）を終了し、並行して別のＳＭＤＰを開始することによって、ＨＤＳＮがさらにトレーニングされ、あるいは採用され、階層型ＲＬ実装の同じレベルでＳＭＤＰ間の同期メカニズムが決定される。
本明細書の一実施形態によれば、ＳｏＣドメインの各々、すなわちネットワークオンチップ（ＮｏＣ）生成、電力最適化、インタフェース統合、論理検証、論理合成、レイアウト前のタイミングクロージャ、物理設計、レイアウト後のタイミングクロージャおよび物理検証は、貪欲法または調整された貪欲法などのアルゴリズムを実装（実行）して、その利用と探索とのバランスをとるように構成されている。その後、Ｑ値が収束すると、あるいは所定の実験数が完了すると、あるいは所定の結果の品質（ＱｏＲ）基準が満たされると、各ＳｏＣドメインから引き出された推論の数に基づいて学習が推定される。「状態」を「行動」へマッピングするための対応する新しい方策（これは、学習の結果である）が考案されて、ドメイン固有のデータベースに格納される。あるドメインで学習された新しい方策は、別の関連するドメインで学習された方策と最適化および結合／反復され、階層的に関連する最適な方策が生成される。通常、あるドメインで学習された新しい方策は、別のＡＩ ＳｏＣドメインで学習された方策で最適化および反復されて、コンテキストが導出され、階層的に最適な、マルチドメイン単位およびサブドメイン単位の最適な方策が取得される。そのような階層的に関連する最適な方策は、方策に基づく方法（policy-based method）、価値に基づく方法（value-based method）および強化学習のアクタークリティック法（actor-critic method）のうちの少なくとも１つに基づいて生成される。ＳｏＣドメイン全体で実装されている学習方法には、ＤＱＮ、線形関数、ウィンドウ関数、回帰関数、および価値関数近似が含まれる。階層的に最適であり、かつ個々に最適な方策は、方程式、関数、ＳＷ、オプションマクロの形式でデータベースに保存され、すべてのＡＩ ＳｏＣドメインおよびサブドメインの将来の学習アプリケーションで再利用および参照される。
本明細書の一実施形態によれば、ＡＩ環境との相互作用を使用して、また、各ドメインおよびサブドメインに必要な精度に合わせて、各ＳｏＣドメインおよび対応するサブドメインに対して環境モデルおよびオプションが構築される。各ＳｏＣドメインおよびサブドメインに対するトレーニングモデルを構築するために、教師付き強化学習の原理を利用する。トレーニングモデルは、ルックアップテーブルモデル、線形期待モデル、線形ガウスモデル、ガウスプロセスモデル、あるいはＭＤＰ、ＳＭＤＰおよびオプションマクロを一緒にモデル化するように設計または構成された任意の他の同様の決定論的または確率論的モデルのいずれかである。
図３は、本明細書の一実施形態による、ＳｏＣの設計フレームワークにおけるドメインおよびサブドメインごとに設定された人工知能（ＡＩ）の論理設計のブロック図を示す。Ｓｏｃの設計フレームワークにおけるドメインおよびサブドメインごとに設定された人工知能（ＡＩ）の論理設計は、オプション、ＭＡＸＱフレームワーク、ＨＡＭおよび任意の他の同様の技術を使用した、階層型強化学習（ＲＬ）プロセスまたは技術を実行するように構成されている。マルコフ決定過程（ＭＤＰ）は、最初にメインＳｏＣの設計用に派生し、該ＭＤＰは階層タスクを実行する。ドメインに固有のＱ値またはニューラルの重みを利用して、マルコフ決定過程（ＭＤＰ）またはセミマルコフ決定過程（ＳＭＤＰ）またはオプションマクロまたはＨＡＭまたはＭａｘ−Ｑ値を抽出する。続いて、抽出した値を、ドメイン固有のデータベースに格納する。抽出されたＳＭＤＰまたはＭＤＰ、ＨＡＭまたはオプションマクロまたはＭａｘ−Ｑ値を、ＳｏＣの回路設計に関連する推論を生成するために利用する。そして次に、それらをドメイン固有の人工知能の設定にロードし、それによって推論間の相互作用を開始して、最適なチップアーキテクチャ（ＯＣＡ）を生成する。
図３を参照すると、人工知能の論理設計タスク２２２と人工知能の論理設計エージェント２２５とを含む、人工知能の論理設計設定２２０が示されている。人工知能の論理設計環境２２４を含む人工知能（ＡＩ）の論理設計タスク２２２は、ＡＩの論理設計エージェント２２５と相互作用し、観測を行い、適切な行動を開始し、続いて（実行された）行動に対する報酬を受け取るように構成されている。ＡＩの論理設計エージェント２２５は、ＡＩの論理設計環境２２４との相互作用から学習するための学習モジュールとして設計されている。ＡＩの論理設計エージェント２２５は、実行／実施された行動／動作に対して、ＡＩの論理設計環境２２４から観測および報酬を獲得または収集するために、ＡＩ環境２２４内で様々な行動を実行するように構成されている。
図４は、本発明の一実施形態による、ＳｏＣの設計フレームワークに実装されたＡＩフレームワークの機能ブロック図を示す。図４を参照すると、チップ設計プロセスのためのＡＩフレームワーク３０３は、汎用ハードウェアＩＰブロック３０１、汎用ソフトウェアＩＰブロック３０２から入力を受け取る。ＡＩフレームワークは、最適なチップ設計を提供するように構成されている。最適なチップ設計は、アプリケーションソフトウェア開発３０４およびソフトウェアテスト３０５に提供される。さらに、最適なチップ設計は、アプリケーションプロトタイプ３０６においてハードウェア／ソフトウェア検証を受ける。最適なチップ設計は、プロトタイプＩＣ製造３０７に提供される。検証後、最適なチップ設計は、量産ＩＣ製造３０８に送られる。
図５は、本明細書の一実施形態による、階層型強化学習用に構成されたＡＩフレームワークのブロック図を示す。図５を参照すると、多目的ＡＩは、多目的強化学習エージェントは、初期化プロセス５０２を実行した後に、サンプルチップの記述ファイル５０１から受け取った入力に基づいて、環境との相互作用から学習するように設計および構成されている。チップの多目的エージェントの例には、限定しないが、ＳｏＣ Ｎｏｃエージェント５０３、ＳｏＣ電力エージェント５０４、ＳｏＣ物理エージェント５０５、ＳｏＣマルチプロセッサエージェント５０７、ＳｏＣセキュリティエージェント、およびＳｏＣクロックエージェント５０６が含まれる。ＡＩフレームワークは、非常にモジュール的な設計であるため、複数の同様のエージェントを追加し、それらをＡＩ環境およびａｌｐｈａ ＤＢと呼ばれるビッグデータデータベースにプラグインする。ビッグデータ推論エンジン５１２は、複数の多目的強化学習エージェント５０３，５０４，５０５，５０６，５０７と相互作用して、検証エージェント５０９による検証プロセスの実行後に、ライブラリ５１０に格納するための推論を受け取るように構成されている。強化学習エージェントの出力は、ＳｏＣの設計を計画するために、ＧＤＳ（グラフィックデータベースシステム）およびドライバ５０８に供給される。
本明細書の一実施形態によれば、ＡＩフレームワークは、複数のブロックを互いに接続し、それによってＳｏＣの接続および統合を確立するための、ＳｏＣ通信およびネットワークオンチップ（ＮｏＣ）モジュールを含む。ＮｏＣは、ＳｏＣ通信ＡＩエージェント５０３を使用して実装される。
本明細書の一実施形態によれば、ＳｏＣ電力最適化モジュールには、ＳｏＣ 電力エージェント５０４を使用して、漏電および動的電力などのＳｏＣの様々な電力成分を最適化し、電子移動によるハードウェアの経年劣化がハードウェア性能に及ぼす影響を低減するための技術がロードされている。
本明細書の一実施形態によれば、ＳｏＣクロックモジュールは、ＳｏＣ全体のクロック設計のためのドメインであり、ＳｏＣクロックエージェント５０６を使用したクロックの大域的かつ局所的な最適化を含む。これには、推定およびクロックツリーの最適化も含まれる。
本明細書の一実施形態によれば、ＳｏＣの配置およびフロアプランが最適に達する。ＳｏＣの配置およびフロアプランには、強化学習アルゴリズムおよび方策にしたがって論理ブロックを配置することが含まれる。ＳｏＣの配置およびフロアプランには、パワーアイランドを作成することが含まれるが、配置によってタイミングと電力とを最適化するための方策を作成することに限定されない。
本明細書の一実施形態によれば、ＳｏＣ物理エージェント５０５を使用して、電力、トランジスタの物理レイアウト、物理遅延フォーマットおよび物理的な電力ルーティングなどの情報を含むセルの物理ライブラリに論理設計をマッピングすることによって、ＳｏＣ物理設計が実行される。
本明細書の一実施形態によれば、ＳｏＣ論理検証モジュールは、検証エージェント５０９を使用してチップ論理を検証するように構成されている。検証プロセスでは、様々な検証プロセスを使用してバグを報告するためのメトリックを収集し、ＳｏＣの品質を向上させ、ＳｏＣの機能に対する信頼性を提供する。
本明細書の一実施形態によれば、ＳｏＣ物理検証モジュールは、検証エージェント５０９を使用して、ＳｏＣの物理的実装を検証するように設計されている。検証プロセスには、ＬＶＳ対ＤＲＳ、レイアウト後のタイミング、ルーティング、ＩＲドロップ、電源機能の正確性、電気的ルールチェックの検証が含まれる。さらに、これらすべての要因を考慮して（ＳｏＣ回路の）物理設計のための最適なトレードオフを提供するために、このドメインで様々な方策が検討される。
本明細書の一実施形態によれば、ＳｏＣタイミングモジュールは、レイアウト前およびレイアウト後のタイミングクロージャを実行するように設計されている。タイミングクロージャでは、設定時間およびホールド時間の解決や、偽パスの割り当てなどの特定の行動と方策を実行する。
本明細書の一実施形態によれば、ＳｏＣ ＤＲＣ（デザインルールチェック）、ＳｏＣ ＥＲＣ（電気的ルールチェック）は、ディープ強化学習技術を使用して、ＥＲＣおよびＤＲＣのクロージャ方策を学習し、適用し、計画するように設計および構成されている。
本明細書の一実施形態によれば、包装関連の方策および行動は、ＳｏＣ包装プロセスにおいて学習される。方策は、基板設計、ピンの多重化、パディング、パワーボールの割り当て、Ｉ／Ｏピンなどにかかる可能性のあるＰＣＢ負荷に関する。包装の種類を選択するための方策も、このドメイン内のすべてのタスクの後に学習される。
図６は、本発明の一実施形態による、ＳｏＣ設計フレームワークにおける主要なＭＤＰとＳＭＤＰとの間の相互作用プロセスを説明するフローチャートを示す。図６を参照すると、ＡＩフレームワークは、ＭＤＰ、オプション、ＭＡＸＱフレームワーク、ＨＡＭおよび他の任意の同様の技術を使用して、階層型強化学習（ＲＬ）プロセスを実行するように構成されている。マルコフ決定過程（ＭＤＰ）は、最初は、ＳｏＣの設計仕様から派生する。ＳｏＣの設計では、意思決定を行わずに長期間にわたって連続的なタスクが必要になるため、ＭＤＰではなくセミマルコフ決定過程（ＳＭＤＰ）が使用される。ＳｏＣの設計用のメインＭＤＰまたはマルチエージェントサポートが作成される（５２０）。メインＭＤＰは、ＳｏＣの設計における複数のドメインに対応する複数のＳＭＤＰ（５２０ａ，５２０ｂ，．．．５２０ｎ）に分割される。各ドメインについて、複数のサブドメイン（５２１ａ，５２１ｂ，．．．５２１ｎ）が作成される。各サブドメインは、複数のオプションマクロ（５２２ａ，５２２ｂ，．．．５２２ｎ）を取得するために、強化学習アルゴリズムを実行するように構成されている。オプション／マクロは、最適なチップアーキテクチャ（ＯＣＡ）に到達する際に使用される。
本明細書の一実施形態によれば、ＳＭＤＰは、長期間にわたる閉ループ動作に焦点を合わせるように設定されており、オプションマクロと呼ばれる。ＳｏＣの設計では、多くの決定が、閉ループ形式で一定期間にわたって拡張される。したがって、ＡＩフレームワークは、ＳｏＣの設計アクティビティでオプションマクロを使用するように設計されている。オプションマクロは、より小さな階層的タスクに適用されてＨＲＬを形成する。オプションマクロは、ＳｏＣ ＡＩサブドメインにわたって適用されて、ＳｏＣの設計において人間レベルのインテリジェンスを取得する。オプションマクロには、時間的に拡張された行動を含むためのプリミティブな行動の一般化が含まれる。例えば、設定時間違反を修正するプロセスは、データパスのリタイミング、クロックパスのバッファリング、パス内のセルのＶＴタイプの変更、リフロー計画などのタスクを含む。これらのタスクはそれぞれ、ＥＤＡツールを使用して閉フィードバックループに合わせて拡張されるオプションマクロとして含まれている。
本明細書の一実施形態によれば、オプションマクロまたはオプションを使用して、最適なチップアーキテクチャ（ＯＣＡ）に到達する。各オプションは、方策π：Ｓ×Ａ→［０，１］、終了条件β：Ｓ＋→［０，１］、および初期状態Ｉ⊆Ｓを含む。オプションは、トリプレットパラメータ［π，β，Ｉ］によって定義される。オプションの中には、トリプレットをデータベースに格納し、方策をわずかに変更することによって、ＡＩ設定の過去の実験から派生したものもある。方策は、オプションと次の行動との間のマッピングである。方策をわずかに変更することで、実行する必要のある行動の分布が得られる。さらに、エージェントは、一連の行動を含む。選択されたオプションがＳＭＤＰの遷移を使用して終了すると、エージェントは別の行動を開始する。オプションマクロは、特定のタイムアウトメカニズムを伴うマルコフまたはセミマルコフの１つである。したがって、オプションマクロは、例えば、タイミングクロージャの問題に関するフロアプランおよび配置の最適化や、設計の検証範囲を証明するためにエージェントによって実行される、実行時間が長い検証テストケースなどの、ＯＣＡの反復最適化パートに使用される。
本明細書の一実施形態によれば、ＡＩフレームワークには、ｍａｘ−Ｑおよび抽象機械の階層（Hierarchies of Abstract Machines：ＨＡＭ）フレームワークで実装されたＳＭＤＰが組み込まれており、ＳｏＣのためのより高速で最適なアーキテクチャおよび設計クロージャが実現されている。ＳＭＤＰは、Ｍａｘ−ＱフレームワークとＨＡＭを展開する。これらは、セミマルコフオプション（ＳＭＯ）である。ＳＭＯは、オプションを選択する方策で利用できるものよりも詳細な状態をオプションが表していることを示している。さらに、ＨＡＭを使用して、方策の改善のために、エージェントＳＭＤＰによって学習された方策に制約が適用される。さらにまた、ＨＡＭを使用して、ＳＭＤＰの階層全体に制約が適用される。各ＳＭＤＰドメインには独自のＨＡＭがあり、階層内の上位ＳＭＤＰタスクから下位ＳＭＤＰタスクへのマッピングに関する制約を提供している。また、ＨＡＭは、ＳＭＤＰの階層を関連付ける方法を提供する。ＳｏＣの設計は常に階層的であるため、ＨＡＭは、設計の階層（ＩＰからＳｏＣ上まで）およびタスクの階層（最適なチップ仕様の抽出から、最適なチップアーキテクチャ（ＯＣＡ）、ＧＤＳＩＩテープアウト、レイアウトまで）に提供する最適なＲＬアルゴリズムを決定する上で大きな役割を果たす。本明細書の一実施形態によれば、ＨＡＭは、ＳＭＤＰに対する制約、ならびに低レベルのタスクとより高いレベルのタスクとの間の関係を導出するために使用される。
本明細書の一実施形態によれば、ＨＡＭは、ＡＩサブドメインＳＭＤＰを呼び出すために本明細書で使用されるような４つの状態を含む。これらの状態は、すべてのＳＭＤＰまたはＭＤＰで実行され、次のＳＭＤＰ、ＭＤＰおよびオプションマクロをいつ呼び出すかを決定する。本明細書の一実施形態によれば、ＡＩフレームワークには、ＡＩ ＳＯＣＤ行動状態、ＡＩ ＳＯＣＤ呼状態、ＳＩ ＳＯＣＤ選択状態、ＡＩ ＳＯＣＤ停止状態が含まれる。ＡＩ ＳＯＣＤ行動状態は、ＡＩ ＳＯＣＤの階層環境で行動を実行する。さらに、ＡＩ ＳＯＣＤ呼状態は、サブルーチンとして別のＡＩ ＳＯＣＤ ＨＡＭまたはＳＭＤＰを実行する。ＡＩ ＳＯＣＤ選択状態は、非決定論的にＡＩ ＳＯＣＤのＳＭＤＰを選択する。ＡＩ ＳＯＣＤ停止状態は、マシンの実行を停止し、制御を前の呼状態に戻す。ＡＩ ＳＯＣＤ ＨＡＭまたはＳＭＤＰの最上位レベルの階層はチップトップエージェントであり、ドメイン固有のＨＡＭを持つ他のすべてのエージェントを呼び出す。ＨＡＭベースのＳＭＤＰはそれぞれ多目的であり、ベクトル化された報酬、行動およびＱ値を持っている。
本明細書の一実施形態によれば、ＳｏＣの設計フレームワークには、次のモジュール／ドメインが含まれる。
ＳｏＣ通信およびネットワークオンチップ（ＮｏＣ）：このモジュールは、ブロックを互いに接続し、それによってＳｏＣの接続および統合を確立する。また、このモジュールは、ＳｏＣ通信ＡＩエージェントを使用して実装される。このサブドメインでは、単一または複数のＳＤＭＰ（Ｍａｘ−Ｑ、ＨＡＭ、またはオプションの実装とすることができる）によって表される単一または複数のエージェントの主な目的は、最適な通信を生み出すことである。このＳＯＣ ＡＩサブドメインは、単一または複数のタイプのエージェントに報酬と観測を提供する環境を含む。報酬および観測は、ＳｏＣエンドポイント（マスタとスレーブであって、例示的なマスタはプロセッサであり、スレーブはメモリポートまたはコンフィギュレーション・インタフェースである）間の通信の容易さに関連している。単一または複数のエージェントは、待ち時間の短縮、消費電力、システムのスループットの向上、最適な通信トポロジ（ＮｏＣトポロジ）、物理的に設計されたチップの輻湊の低減に関するフィードバックを、所与の行動（データパスのバッファリング、データパスのリタイミング、マスタとスレーブのクラスタへの最グループ化、パワーアイランドの作成、専用チャネルを介した接続ワイヤの再ルーティングによる輻湊の低減など）に対する良い報酬として環境から提供する。さらに、このドメインは、これらの行動の組み合わせとして方策を作成および発見し、最適なＳｏＣ通信アーキテクチャを取得するためにそれらを実装するように構成されている。これらのＡＩ ＳＯＣドメインＮｏＣエージェントはＮｏＣ環境と相互作用して、ＭＤＰを抽出し、方策勾配を実施し、結果として得られたＱ値をビッグデータベースに格納し、最適なＳｏＣ通信構造を計画するように構成されている。
ＳｏＣ電力最適化：このモジュールには、ＳｏＣ電力エージェントを使用して、漏電および動的電力などのＳｏＣの様々な電力成分を最適化する技術や、電子の移動によるハードウェアの経年劣化がハードウェアのパフォーマンスに及ぼす影響を低減する技術が組み込まれている。ＳｏＣ電力最適化サブドメインは、エージェントの行動に基づいて、消費電力の増減に関してエージェントにフィードバックを提供するように構成された環境を含む。このＡＩ ＳＯＣサブドメインは、パフォーマンスと様々な電力成分とのバランスをとるように構成された、１つ以上の電力エージェントを含む。環境は、スループット、クロック周波数、ならびに特定のブロックまたはＳｏＣ全体の漏電電力および動的電力などの消費電力測定値などの、パフォーマンス測定値に関するフィードバックを提供するように構成されている。このＡＩ ＳＯＣＤサブドメインは、パフォーマンスあたりのＳｏＣ電力消費を最適化するために、ＨＡＭ制約を使用してＭａｘ−ｑフレームワークのさらなる階層を実装するように構成されている。エージェントによってとられる行動は、クロックゲーティング、ブロックのパワーコラプス、ＳｏＣのパーティショニング、パワーレールの再設計などである。これらのＡＩ ＳＯＣドメイン電力エージェントは、電力環境と相互作用して、ＭＤＰを抽出し、方策勾配を実施し、結果として得られるＱ値をビッグデータベースに格納し、最適な電力構造を計画するように構成されている。
ＳｏＣクロッキング：このドメインは、ＳｏＣ全体のクロック設計のドメインであり、ＳｏＣクロックエージェントを使用してクロッキングを広域的かつ局所的に最適化する。これには、推定およびクロックツリーの最適化も含まれる。
ＳｏＣクロッキングＡＩ ＳＯＣサブドメインは、必要とされるＰＬＬの数、推定クロック電力、クロックルーティングの輻湊およびクロックスキューに関して生じ得る問題についてのフィードバックを提供するように構成された環境を有する。１つまたは複数のエージェントを含むこのＡＩ ＳＯＣドメインは、ＰＬＬの挿入、クロック生成論理（ＣＧＬ）、クロックゲーティングおよびクロックプログラミングレジスタの実装の行動を実行するように構成されている。これらのＡＩ ＳＯＣドメインのクロックエージェントは、クロック環境と相互作用して、ＭＤＰを抽出し、方策勾配を実装し、結果として得られるＱ値をビッグデータベースに格納し、最適なクロック回路を計画するように構成されている。
ＳｏＣ配置およびフロアプラン：このドメインでは、ＳｏＣフロアプランを最適化する。これには、強化学習アルゴリズムおよび方策に従う論理ブロックの配置が含まれる。これには、パワーアイランドの作成が含まれ、（これに限定されないが）配置によるタイミングおよび電力を最適化するための方策の作成が含まれる。
ＳｏＣ配置およびフロアプランＡＩ ＳＯＣドメインは、配置およびフロアプラン環境を実装するように構成されており、これは、フロアプランおよび配置ＥＤＡツールへのフックとして機能する。環境は、フロアプランおよび配置ＥＤＡツールをデータベースとして使用し、それらをラップして、輻湊、タイミング、利用可能なルーティングチャネル、ルーティング使用率および結果の品質（ＱｏＲ）などの様々な報酬および観測を取得するように構成されている。それらは、ツール固有の形式である場合があるが、ＡＩフレームワークがＥＤＡベンダー間で移動できるように、ＡＩフレームワークの汎用フォーマットに変換される。このＡＩ ＳＯＣドメインは、説明したように、ＨＡＭおよびＭａｘ−Ｑの実装に従って１つ以上のサブドメインを実装するように設計されている。各サブドメインは、最適な配置およびフロアプランを導出するために１つ以上のエージェントを実装するようにも構成されている。エージェントが実行する行動には、限定しないが、設計内のサブブロックの移動、バッファの追加、サブブロックの再形成および設計のタイミングクロージャ、配置およびＳｏＣフロアプランに最適なＱｏＲを得るための他のＡＩ ＳｏＣドメインとの相互作用が含まれる。
ＳｏＣ物理設計：このドメインでは、ＳｏＣ物理設計を実行する。これには、ＳｏＣ物理エージェントを使用して、電力、トランジスタの物理レイアウト、物理遅延フォーマットおよび物理電力ルーティングなどの情報を含むセルの物理ライブラリに、論理設計をマッピングすることが含まれる。ＳｏＣ物理設計ＡＩ ＳｏＣドメインは、ルーティングの輻湊、タイミング、電力解析、電力ルーティングなどの物理的な設計品質に対する観測と報酬を提供するための環境を実装するように構成されている。このＡＩ ＳｏＣドメインは、論理設計をテクノロジライブラリにマッピングするために、物理設計に関連する複数のサブドメインを実装するように構成されている。また、バッファリング、電力ルーティングの変更、電源スイッチの挿入、クロックゲートの挿入、データパスのリタイミング、追加のＰＬＬの削除または追加などの行動を実行する１つ以上のエージェントを実装するようにも構成されている。エージェントは、別のＡＩ ＳｏＣドメインおよびサブドメインと相互作用して、最適なＳｏＣ物理設計を取得するようにも構成されている。さらに、このＡＩ ＳｏＣドメインおよびそのサブドメインは、ツール固有の形式から一般的な形式の観測を取得するために、様々なＥＤＡツールへのフックを実装するように構成されている。
ＳｏＣ論理検証：このモジュールでは、検証エージェントを使用してチップ論理を検証する。検証プロセスには、ＳｏＣの品質を改善し、ＳｏＣの機能に対する確実性を提供するための、様々な検証、メトリックの収集、およびバグの報告が含まれる。ＳｏＣ論理検証ＡＩ ＡｏＣドメインは、設計に含まれるバグ、検証範囲、テストケースの失敗、アサーションの失敗、デバッグログの推論に関する観測を提供するための環境を実装するように構成されている。このＡＩ ＳｏＣドメインはまた、ＳｏＣの検証クロージャを取得するために、Ｍａｘ−Ｑ、ＨＡＭおよびオプションフレームワークに従って１つ以上のサブドメインを実装するように構成されている。このＡＩ ＳｏＣドメインの各ＡＩ ＳｏＣサブドメインは、テスト機能のライブラリを使用してテストケースを生成すること、機能シミュレータＥＤＡツールによりテストケースを実行すること、検証ログファイル、カバレッジログファイルの読み取りなどのデバッグアクション、各テストの最後に、設計のバグを修正し、データベースにアクセスしてＱ値を格納すること、などの行動を実行するために、１つ以上のエージェントを実装するように構成されている。実行した検証量や、テストケースの生成などの行動後に閉じられたバグの数を反映する、複数のＱ値がある。また、設計上のバグ修正は、Ｍａｘ−Ｑ、オプションまたはＨＡＭまたはコンビネーションハイブリッドの実装において、より大きな個別のＳＭＤＰによって行われる。また、このＡＩ ＳＯＣドメインおよびそのサブドメインに関連するエージェントは、最上位レベルのＳｏＣ ＭＤＰなどの別のＡＩ ＳＯＣドメインとデータベースを介して相互作用して、検証済みの最適なＳｏＣ回路を取得し、検証可能な最高のカバレッジを閉じるように構成されている。このＡＩ ＳｏＣドメインは、コードカバレッジ、アサーションカバレッジ、およびテストケースの開始と終了などの情報観測を取得するために、様々なＥＤＡ機能シミュレータおよびデバックツールへのフックを実装するように構成されている。
ＳｏＣ物理検証：モジュールは、検証エージェントを使用して、ＳｏＣの物理的実装を検証する。検証プロセスには、ＬＶＳ対ＤＲＣ、レイアウト後のタイミング、ルーティング、ＩＲドロップ、電源機能の正確性、電気ルールチェックの検証が含まれる。さらに、これらすべての要因を考慮して（ＳｏＣ回路の）物理設計のための最適なトレードオフを提供するために、このドメインにおいて様々な方策が検討される。
ＳｏＣ物理検証ＡＩ ＳｏＣドメインは、ＬＶＳ，ＤＲＣエラー、ログ、レイアウト後のタイミング、ＩＰドロップおよび物理設計のＱｏＲに関する観測を提供するための環境を実装するように構成されている。これらの観測は、ＥＤＡツールから環境によって取得され、ＥＤＡツールはさらに処理されてツール固有の形式から一般的な形式を生成し、報酬または観測としてエージェントに提供される。このＡＩ ＳｏＣドメインは、ハイブリッドＭＡＸ−ＱおよびＨＡＭフレームワークを介して複数のＡＩ ＳＯＣサブドメイン、オプションマクロを実装するように構成されている。これらの各サブドメインのエージェントによって取られる行動には、限定しないが、ライブラリの再マッピング、ＥＲＣエラーの報告、データベースからの標準修正の取得、データベースへのＱ値の更新などが含まれる。
ＳｏＣタイミング：ドメインは、レイアウト前およびレイアウト後のタイミングクロージャを含む。タイミングクロージャは、セットアップ時間とホールド時間の解決、偽パスの割り当てなどの特定の行動や方策を実行することを含む。ＳｏＣタイミングＡＩＳｏＣドメインは、ＳｏＣのタイミングを閉じることを主な目的としている。タイミング違反には、セットアップおよびホールド違反、偽パス、マルチサイクルパス、および一般的な例外が含まれる。タイミングクロージャＡＩドメインの環境は、タイミングクロージャツールにフックされて、セットアップタイム違反、ホールドタイム違反、合計ネガティブスラック、そして最悪の場合はネガティブスラックおよびクロストーク違反についての報酬および観測を提供する。ＡＩ ＳｏＣタイミングエージェントは、前述のハイブリッドＨＡＭ制約を使用して実装された1つ以上のレベルのＭａｘ−Ｑ再帰構造を含むように構成されている。このＡＩ ＳｏＣドメインおよびそのサブドメインは、エージェントを実装するように構成されており、その主な行動は、リタイミング、データパスの再設計、ならびにクロックツリーのバランス調整によって、セットアップおよびホールド違反を修正することである。これらの各行動は、オプションとしても実装されている。
ＳｏＣ ＤＲＣ（デザインルールチェック），ＳｏＣ ＥＲＣ（電気的ルールチェック）：このドメインでは、ディープ強化学習技術を使用して、ＥＲＣおよびＤＲＣクロージャの方策が学習され、適用され、そして計画される。ＳｏＣ ＤＲＣ／ＥＲＣ ＡＩサブドメインは、フローティングＧＮＤネットおよび未接続のＶＤＤ／ＶＣＣピン、パワーネットの短絡、適切なレベルシフタなしのパワードメインクロッシング、およびアイソレーションセルなどのＥＲＣ違反の効率的な修正を実装するように構成されている。ＤＲＣ違反には、金属間の間隔規則、最小幅規則、ビア規則が含まれ、別の規則セットはＬＶＳ規則であり、これにより、生成されるレイアウトが物理設計の前に生成されるネットリストと同等になる。短絡、開口、および回路パラメータの不一致をチェックする。このＡＩ ＳｏＣドメインは、上記で示唆されたように、ＨＡＭ制約を用いて階層型Ｍａｘ−Ｑフレームワークを実装するように構成されている。このＡＩ ＳｏＣドメインはまた、浮動接地を接続することによって浮動接地を固定するための動作を行うように構成され、短絡を分離することによって短絡を除去して短絡ＶＤＤを修正する、１つまたは複数のエージェントを実装するように構成されている。これらは、浮動型のネットを固定し、レイアウトのパラメータを修正することにより、ＬＶＳ違反を修正するための行動を実行するように構成されているため、ネットリストと同等になる。エージェントはまた、ＤＲＣを修正するための行動を実行するように構成されているため、設計規則に従って金属間の間隔がもたらされ、プロセス規則の定義に従ってルートの幅が設定される。
ＳｏＣパッケージ：このドメインでは、パッケージ関連の方策および行動が学習される。方策は、基板設計、ピン多重化、パディング、パワーボールの割り当て、Ｉ／ＯピンへのＰＣＢ負荷の可能性などに関する。パッケージのタイプを選択する方策もまた、このドメイン内のすべてのタスクの後に学習される。ＳｏＣパッケージＡＩ ＳＯＣドメインでは、最適なパッケージ、Ｉ／Ｏ、基板設計を提供する。このＡＩ ＳＯＣドメインは、Ｉ／Ｏモデル、Ｉ／Ｏセルライブラリ、基板モデル、ＰＣＢモデル、パッドリング構成、およびピンマ多重化にフックされる環境を実装するように構成されてる。環境は、Ｉ／Ｏ制約が満たされていること、基板制約が満たされているか、あるいは満たされていないこと、Ｉ／ＯモデルがＩ／Ｏ負荷および駆動要求を満たすために機能的に適しているか、あるいは認定されていること、ＤＲＣを満たすＩ／Ｏセルの能力、ボードの負荷を駆動するために必要な電力および過渡特性、ならびにボードコンポーネントからの電流のシンクに関する、フィードバック、観測および報酬を提供するように構成されている。また、Ｉ／Ｏの最適な利用を提供するために、ピン多重化での同時実行性など、Ｉ／Ｏの使用に関連するシナリオについても観測される。
本明細書の一実施形態によれば、上述のドメインは、ＡＩフレームワークを使用して実装される。各ドメインは、ＡＩ論理設計環境、ＡＩ論理設計エージェント、ＡＩ論理設計タスク、ＡＩ論理設計実験を組み込むように構成されている。本明細書の実施形態によって想定されるＳｏＣ設計フレームワークは、前述のすべてのモジュールの実験から学習を抽出し、当該学習結果を、好ましくはＱ値またはニューラルネットワークの重みまたはルックアップテーブルの形式で、あるいは他の任意の適切な形式で、データベースに格納することを目的としている。例えば、Ｑ値は、方策の反復に関するＢｅｌｌｍａｎ方程式から導出される。あるいは、Ｑ値は、オプションまたはマクロまたはＨＡＭもしくはＭａｘ−ｑメソッドから導出し、ＭＤＰを導出するためのデータベースに格納される。
通常、Ｑ値は、方策πが与えられたときの行動に対して特定の状態の値を提供する、行動価値関数として解釈される。Ｑ値は、次の関数により定義される：
ｑπ（ｓ，ａ）＝Ｅπ［Ｇｔ｜Ｓｔ＝ｓ，Ａｔ＝ａ］
ここで、ｑπはＱ値であり、Ｇｔは状態「ｓ」および行動「ａ」からの方策に対する総報酬であり、ＳｔおよびＡｔは、状態空間および行動空間である。Ｑ値は、学習過程で生成され、プログラム変数としてデータベースに格納される。状態「ｓ」からの総価値を定義する価値関数はさておき、方策πは次のように定義される：
Ｖπ（ｓ）＝Ｅπ［Ｇｔ｜Ｓｔ＝ｓ］
価値関数近似を伴うまたは伴わない価値は、学習過程の終わりに、ローカルプログラム変数または個別のデータベースに格納される。
本明細書の一実施形態によれば、強化学習（ＲＬ）アルゴリズムは、ＳｏＣドメインごとに、Ｑ値が事前設定された閾値を下回って収束すると終了する。あるいは、強化学習（ＲＬ）アルゴリズムは、定義済みの実験／エピソード数が完了すると終了する。さらに、強化学習（ＲＬ）アルゴリズムは、それが所定の目標性能または終了状態に達すると終了する。所定の状態の例には、チップ間の通信ドメイン設定におけるＮｏＣ（ネットワークオンチップ）の定義済みのスループット目標、またはチップの動的電力の定義済みの電力数、または定義済みのクロックスキュー、または定義済みのクロック数が含まれる。それでも、強化学習（ＲＬ）アルゴリズムは、定義済みの階層的に最適な目標または状態に達すると終了する。
図７は、Ｑ値の収束時の強化学習（ＲＬ）アルゴリズムの終了に含まれるステップを示すフローチャートを示す。本明細書の一実施形態によれば、ＳｏＣの設計に対応する複数のドメインを用いたＡＩ設定によって強化学習を開始する（６０１）。さらに、ドメイン固有のＡＩエージェント、ドメイン固有の環境、およびドメイン固有のタスクを使用して、ドメインのＡＩ設定を行う。さらなる最適化を行い、かつ所望のＳｏＣ構成を生成するために、初期化され、コンパイルされ、最適化されていないチップデータベース用のＭＤＰ、ＳＭＤＰ、ＨＡＭおよびＭＡＸ−Ｑの形式で、ドメインＡＩを設定する。さらに、ＡＩ実験の設定をＳｏＣドメインごとに行う。ＡＩ実験の設定には、利用および探索を実行するために、貪欲アルゴリズムまたは調整された貪欲アルゴリズムなどのアルゴリズムを実装（実行）するように、各ＳｏＣドメインを構成することが含まれる（６０２）。続いて、ドメイン固有のＡＩエージェントは、ＡＩタスクを介してドメイン固有の環境と相互作用し、特定のドメインに関するＱ値を抽出するように構成されている。さらに、抽出したＱ値を、データベース／ビックデータに格納する（６０３）。Ｑ値が収束するまで、あるいはＱ値の変化率が事前設定された閾値λ未満となるまで、このプロセスを各ドメインに対して継続する（６０４）。各ＳｏＣドメインのＱ値から導出された推論の数に基づいて学習を推定する。したがって、学習の結果である新規の方策を考案／導出し、ドメイン固有のデータベースに格納する。特定のドメインで学習された新規の方策を、関連する別のドメインで学習された方策を用いて最適化し、組み合わせ／反復し、ＳｏＣを計画するための階層的に関連する最適な方策を生成する（６０５）。
図８は、本明細書の一実施形態による、ＳｏＣの設計フレームワークにおいて、ＳｏＣの設計ドメインごとに定義済みの実験数またはエピソードを個々に完了した際に、強化学習（ＲＬ）プロセスを終了する方法を説明するフローチャートを示す。本明細書の一実施形態によれば、ＳｏＣの設計に対応する複数のドメインを用いたＡＩ設定によって強化学習を開始する（７０１）。さらに、ドメイン固有のＡＩエージェント、ドメイン固有の環境、およびドメイン固有のタスクを使用して、ドメインのＡＩ設定を行う。さらなる最適化を行い、かつ所望のＳｏＣ構成を生成するために、初期化され、コンパイルされ、最適化されていないチップデータベース用のＭＤＰ、ＳＭＤＰ、ＨＡＭおよびＭＡＸ−Ｑの形式で、ドメインＡＩを設定する。さらに、ＡＩ実験の設定をＳｏＣドメインごとに行う。ＡＩ実験の設定には、利用および探索を実行するために、貪欲アルゴリズムまたは調整された貪欲アルゴリズムなどのアルゴリズムを実装（実行）するように、各ＳｏＣドメインを構成することが含まれる（７０２）。続いて、ドメイン固有のＡＩエージェントは、ＡＩタスクを介してドメイン固有の環境と相互作用し、特定のドメインに関するＱ値を抽出する。さらに、抽出したＱ値を、データベース／ビッグデータに格納する（７０３）。定義済みの数の実験／エピソードが完了したら、強化学習（ＲＬ）アルゴリズムを終了する（７０４）。各ＳｏＣドメインのＱ値から導出された推論の数に基づいて学習を推定する。学習の結果である対応する新規の方策を考案／導出し、ドメイン固有のデータベースに格納する。特定のドメインで学習された新規の方策を、関連する別のドメインで学習された方策を用いて最適化し、組み合わせ／反復し、ＳｏＣを計画するための階層的に関連する最適な方策を生成する（７０５）。
図９は、本明細書の一実施形態による、ＳｏＣの設計フレームワークにおいて、ＳｏＣの設計ドメインごとに定義済みの目標性能または目標状態に個別に到達し、あるいはそれを達成した際に、強化学習（ＲＬ）プロセスを終了する方法を説明するフローチャートを示す。本明細書の一実施形態によれば、ＳｏＣの設計に対応する複数のドメインを用いたＡＩ設定によって強化学習を開始する（８０１）。さらに、ドメイン固有のＡＩエージェント、ドメイン固有の環境、およびドメイン固有のタスクを使用して、ドメインのＡＩ設定を行う。さらなる最適化を行い、かつ所望のＳｏＣ構成を生成するために、初期化され、コンパイルされ、最適化されていないチップデータベース用のＭＤＰ、ＳＭＤＰ、ＨＡＭおよびＭＡＸ−Ｑの形式で、ドメインＡＩを設定する。さらに、ＡＩ実験の設定をＳｏＣドメインごとに行う。ＡＩ実験の設定には、利用および探索を実行するために、貪欲アルゴリズムまたは調整された貪欲アルゴリズムなどのアルゴリズムを実装（実行）するように、各ＳｏＣドメインを構成することが含まれる（８０２）。続いて、ドメイン固有のＡＩエージェントは、ＡＩタスクを介してドメイン固有の環境と相互作用し、特定のドメインに関するＱ値を抽出する。さらに、抽出したＱ値を、データベース／ビッグデータに格納する（８０３）。強化学習（ＲＬ）アルゴリズムは、定義済みの目標性能または終了状態に到達すると終了する（８０４）。各ＳｏＣドメインのＱ値から導出された推論の数に基づいて学習を推定する。学習の結果である対応する新規の方策を考案／導出し、ドメイン固有のデータベースに格納する。特定のドメインで学習された新規の方策を、関連する別のドメインで学習された方策を用いて最適化し、組み合わせ／反復し、ＳｏＣを計画するための階層的に関連する最適な方策を生成する（８０５）。
図１０は、本明細書の一実施形態による、ＳｏＣ設計フレームワークにおいて、トップダウンアプローチによって、ＳｏＣの設計ドメインごとに個別に導出された定義済みの階層的に最適な状態または目標に到達し、あるいはそれを達成した際に、強化学習（ＲＬ）プロセスを終了する方法を説明するフローチャートを示す。本明細書の一実施形態によれば、ＳｏＣ設計に対応する複数のドメインを用いたＡＩ設定によって強化学習を開始する（９０１）。さらに、ドメイン固有のＡＩエージェント、ドメイン固有の環境、およびドメイン固有のタスクを使用して、ドメインのＡＩ設定を行う。さらなる最適化を行い、かつ所望のＳｏＣ構成を生成するために、初期化され、コンパイルされ、最適化されていないチップデータベース用のＭＤＰ、ＳＭＤＰ、ＨＡＭおよびＭＡＸ−Ｑの形式で、ドメインのＡＩ設定を行う。さらに、ＡＩ実験の設定をＳｏＣドメインごとに行う。ＡＩ実験の設定には、利用および探索を実行するために、貪欲アルゴリズムまたは調整された貪欲アルゴリズムなどのアルゴリズムを実装（実行）するように、各ＳｏＣドメインを構成することが含まれる（９０２）。続いて、ドメイン固有のＡＩエージェントは、タスクを介してドメイン固有の環境と相互作用し、特定のドメインに関するＱ値を抽出する。さらに、抽出したＱ値を、データベース／ビッグデータに格納する（９０３）。強化学習（ＲＬ）アルゴリズムは、事前設定された階層的に最適な状態に到達すると終了する（９０４）。各ＳｏＣドメインのＱ値から導出された推論の数に基づいて学習を推定する。学習の結果である対応する新規の方策を考案し、ドメイン固有のデータベースに格納する。特定のドメインで学習された新規の方策を、関連する別のドメインで学習された方策を用いて最適化し、組み合わせ／反復し、ＳｏＣを計画するための階層的に関連する最適な方策を生成する（９０５）。
図１１Ａおよび１１Ｂは、本明細書の一実施形態による、ＳｏＣの設計プロセスにおいてＳＭＤＰの階層を同期させる方法を説明するフローチャートを示す図である。この方法は、仕様またはデータベースからチップトポロジを初期化するステップを含む（１１０１）。さらに、チップトポロジを、ＨＡＭ制約を伴うマルコフ決定過程（ＭＤＰ）に関連付ける（１１０２）。続いて、チップトポロジを、複数のＳＭＤＰまたはＭＤＰに関連付ける。複数のＳＭＤＰまたはＭＤＰを有効にする（１１０３）。続いて、事前設定されたＱ値または事前設定された目標が達成され、有効になった複数のＳＭＤＰまたはＭＤＰが終了したら、複数のＳＭＤＰまたはＭＤＰを同期する（１１０４）。同じ階層の複数のサブドメインを有効にする（１１０５）。事前設定されたＱ値または事前設定された目標が達成されると、有効になった複数のサブドメインが終了する（１１０６）。さらに、事前設定されたＱ値または事前設定された目標が達成され、有効になった複数のサブドメインが終了したら、複数のサブドメインを同期する（１１０７）。同期されたサブドメインに従属しているサブドメインを有効にする（１１０８）。従属サブドメインは、事前設定された目標を達成した後に終了する（１１０９）。続いて、複数のＳＭＤＰの物理検証を開始する（１１１０）。物理検証プロセスは、事前設定された目標実験回数を達成した後に終了する（１１１１）。これにより、ＳｏＣ設計のための最適なチップアーキテクチャが得られる。このチップ設計を、ＧＤＳ（グラフィックデータベースシステム）に格納し、チップ製造のためのファウンドリに転送する（１１１２）。
本明細書の一実施形態によれば、あるＳＭＤＰが他のＳＭＤＰに依存していない（例えば、有効電力ＳＭＤＰおよび配置ＳＭＤＰ）場合、あるＳＭＤＰに、該ＳＭＤＰが最終状態に達したことを他のＳＭＤＰと通信させることによって同期が行われる。同期は、ＳＭＤＰが終了状態に達したことを示唆するグローバルブロードキャスト信号の１つである。終了したＳＭＤＰはまた、ＳＭＤＰタイミングあるいはＳＭＤＰの検証でバグが見つかったときに、タイムクロージャのような最終結果をグローバルデータベースにアップロードするように構成されている。あるいは、あるＳＭＤＰが他のＳＭＤＰに依存している場合、各ＳＭＤＰはロックステップまたは反復ループで動作する。各ＳＭＤＰは、別々の同期状態の他のＳＭＤＰ（例えば、論理検証ＳＭＤＰと論理設計ＳＭＤＰ）と通信する。各ＳＭＤＰは、それぞれの最終結果を伝え、バグ修正、最適化を待ち、その設計がＰＤまたは合成に送るのに最適な形状であることを要求する。
本明細書の一実施形態によれば、２つ以上のＳＭＤＰが同期プロセスに関与して、その最終結果が複数のＳＭＤＰ、オプションマクロおよびＭＤＰの間で共有される。
図１２は、本明細書の一実施形態による、ＳｏＣ設計のプロセスにおける、ＳＱＬスキーマまたは文書データベースに格納された階層型Ｑテーブルの平面図または概略図を示す。ＡＩフレームワークは、リーフレベルのオプションマクロまたはＭＤＰから、ＡＩ ＳＯＣＤの最上層ＳＭＤＰへの階層バックアップを実行するように構成されている。ＨＡＭ制約の呼状態の間に、１つのＳＭＤＰが他のＳＭＤＰを呼び出す場合、状態のＨＡＭフレームワークはＳＭＤＰを同期するために使用される。
本明細書の一実施形態によれば、Ｍａｘ−Ｑのフレームワークに基づいて、ＳｏＣの全体設計を修正する。ＳｏＣＤ１２０１は、最上層のＳｏＣ設計タスクであり、ＳｏＣＤ０，ＳｏＣＤ１，ＳｏＣＤ２，．．．ＳｏＣＤＮに分解される。これらのＳｏＣＤの各々は、複数のＡＩ ＳｏＣドメイン１２０１ａ，１２０１ｂ，１２０１ｃ，１２０１ｄにマッピングされる。一例では、ルートタスクＳｏＣＤが方策πを実行し、タスクの階層｛ＳｏＣＤ０，ＳｏＣＤ１，ＳｏＣＤ２，．．．ＳｏＣＤＮ｝は、方策｛π０，π１，π２，．．．πＮ｝（これらがまとまって方策πを表す）を実行するために使用される。さらに、各ドメインは、サブドメイン１２０２ａ、１２０２ｂ、１２０２ｃにさらに分割されて、再帰的Ｍａｘ−Ｑ、ＨＡＭまたはエンドポイントオプション／マクロ１２０４などの方策およびＳＭＤＰの階層を実装する。
本明細書の一実施形態によれば、ＳＭＤＰのＱ学習は、ＳｏＣＤサブドメインを使用してＡＩフレームワークにわたって適用される。Ｑ値は、次式によって与えられる：
Figure 0006902113
 ここで、Ｑπ（ｉ，ｓ，ａ）は、ｉ番目のＳＭＤＰの方策πｉに従うＱ値であり、Ｖπは、方策πに従う行動ａを伴う状態Ｓでの価値関数であり、Ｐｉπは、方策πに従う次の状態への遷移確率である。
本明細書の一実施形態によれば、Ｑ値の格納および使用法は、Ｍａｘ−Ｑフレームワークの再帰的構造のために非常に異なる。ＳＭＤＰの各階層で異なるＱ値が生成される。そのため、Ｑ値の式は次式によって与えられる：
Figure 0006902113
 ここで、ｉ１，ｉ２，ｉ３，．．．ｉｎ，は、関係する反復ＳＭＤＰによって導入され、ｎは、Ｑ値のｎ番目の階層を示している。ＳＭＤＰの数百万の階層が関係しており、何十億ものＱ値があるため、Ｑ値はデータベースに格納される。現在のＳｏＣの設計におけるＱ値を組み合わせて最終的なＱ値を取得することを可能にするために、データベースは、１００ペタバイトの容量を有する。
最上層のＳＭＤＰの最終的なＱ値は、次式で表される：
Figure 0006902113
Ｑ値は、最上層のＳＭＤＰの所与の状態における、すべての階層的ＳＭＤＰのＱ値の関数である。Ｑ値関数は、合計を実行する前に各報酬をスケーリングすることを必要とする。すべての他のＱ値のスケール係数は、ディープニューラルネット（ＤＮＮ）によって決定される。
図１２を参照すると、階層的ＳＭＤＰ構造のＱ値は、テーブルベースのデータベース（ＭＹＳＱＬおよびＭＳＳＱＬなど）またはドキュメントベースのデータベース（ＮＯＳＱＬ、Ｍｏｎｇｏｄｂなど）またはグラフデータベースに格納される。各データベースには、子ＳＭＤＰのＱ値を指す外部キーまたはポインタが含まれている。さらに、最上層のＳＭＤＰのＱ値は、エントリ状態からのより下層のＳＭＤＰの最大Ｑ値に依存する。最上層のＳＭＤＰのＱ値をより下層のＱ値にマッピングするプロセスは、最下層のＭＤＰまたはオプションマクロに達するまで階層を下って続く。最上層のＳＭＤＰのＱ値は、次式により与えられる：
Figure 0006902113
 ここで、ｇｉ（φ）およびｆ（）は、ディープニューラルネットワーク上でのトレーニングを使用して取得され、Ｑｉπ（ｓ，ａ）は、子ＳＭＤＰのｉ番目の階層のＱ値である。
本明細書の一実施形態によれば、ディープニューラルネットワークは、階層的ディープＳＭＤＰネットワーク（ＨＤＳＮ）またはディープＭａｘ−ＱネットワークまたはディープＨＡＭネットワークである。（ＤＱＮとは異なり）ＨＤＳＮでは、経験再生は階層的であり、１つ以上のディープニューラルネットワークを使用して、ＳＭＤＰ間の関係を取得し、さらに異なるＱ値間の関係関数近似を取得する。ＨＤＳＮでは、次に、経験再生を使用して、異なるＳＭＤＰのＱ値間の関係を取得する。
図１３は、本明細書の一実施形態による、ＳｏＣの設計プロセスにおけるＨＤＳＮでの経験再生に使用されるディープニューラルネットワークのブロック図または概略図を示す。ＨＤＳＮは、階層的ＡＩにおける異なるＳＭＤＰ間の関係を取得するために使用される。さらに、ＨＤＳＮは、異なるＱ値間の関係関数近似を得るように構成されている。
本明細書の一実施形態によれば、より下層のＳＭＤＰテーブルから取得されたＳＭＤＰのＱ値は、より上層のＱ値を取得するためにＤＮＮを通過する。このように、ＤＮＮは、より下層のＱ値をより上層のＳＭＤＰのＱ値に変換するために使用される。さらに、Ｑ値の階層は、ＤＮＮを介してネットワーク化されている。ＳＭＤＰの階層ごとに異なるネットワーク構成が使用されている。ＯＣＡ（最適なチップアーキテクチャ）は、Ｑテーブル、ＳＭＤＰ、すべての階層にわたるそれらの間の関係の集合として定義される。最適なチップアーキテクチャ（ＯＣＡ）は、最上層のＳＭＤＰの最大Ｑ値に対応する。
本明細書の一実施形態によれば、最上層のＳＭＤＰの最大Ｑ値は、ＡＩ ＳＯＣドメインにわたって取得される。ＡＩ ＳｏＣドメインは、再帰的なＭａｘ−Ｑフレームワークにさらに分解されるか、ＨＡＭ選択状態またはＭａｘ−ＱとＨＡＭとの組み合わせを通じて呼び出される。例えば、ＳｏＣのフロントエンドの統合は、純粋にＭＡＸ−Ｑ値関数の分解であり、一方で、ボトムアップ合成は、１つのモジュールレベルの合成の完了後に、異なる状態の合成またはサブブロック合成を要求するＨＡＭである。Ｍａｘ−Ｑは、機能検証でも使用され、ここでは、チップ全体の検証値関数が、ブロックレベルの検証、最上層検証の階層的タスクに分割される。検証プロセスは、ブロックレベルの検証が完了したことを確認するために実行される。したがって、ＡＩ ＳｏＣ設計は、最上層のＳＭＤＰの最大Ｑ値を達成するためにいくつかのＳＭＤＰに分割され、ＯＣＡは、最上層のＳＭＤＰの最大Ｑ値から取得される。
図１４は、本明細書の一実施形態による、ＳｏＣ設計プロセスにおける階層的強化学習のＡＩフローを使用して最適なチップアーキテクチャ（ＯＣＡ）を生成するためのシステムの機能ブロック図を示す。本明細書の一実施形態によれば、ＡＩの階層的強化学習に基づくチップアーキテクト・オプティマイザは、アプリケーションソフトウェアの仕様１４０１、コンポーネントコストのメトリック１４０２、コンポーネント性能のメトリック１４０４、システム記述言語（ＳＤＬ）を介したソフトウェア機能１４０３、およびチップ記述言語（ＳＤＬ）を介したハードウェア機能１４０５からの入力を受け取るように構成されている。チップアーキテクト・オプティマイザ１４０６はさらに、チップ通信最適化、チップ入出力最適化、チップ配置最適化、チップＤＦＴ／ＤＦＤ最適化、およびチップ検証最適化を実行するように構成されている。最後に、最適なチップアーキテクチャ１４０７が生成される。
図１５は、本明細書の一実施形態による、強化学習プロセスを使用したＳｏＣの設計プロセスにおける、ドメインごとにＭＤＰを抽出する方法を説明するフローチャートを示す。本明細書の一実施形態によれば、環境の試行錯誤学習を、複数のシングルステップアクションで実行する。各ステップアクションは、状態に関連付けられている（１４１０）。ステップの実行は、Ｎ回の反復後に終了する。各エピソード／ステップについての価値関数（Ｖ＊）およびＱ値を、各ＳＭＤＰのデータベース（例えば、アルファＤＢ）に格納する（１４１２）。ＥＤＡツールと相互作用するときのアーキテクチャのパフォーマンスや結果など、価値関数およびｑ値における大きなばらつきとして状態を識別する（１４１３）。Ｎ回のステップからのサンプル状態を取得し、遷移の何らかの確率分布を伴うＭＤＰを形成する（１４１４）。ＭＤＰが精密化されて、最適なＱ値に見られる収束。その後、バックアップを行い、最上層ＭＤＰの価値関数および行動価値を取得する（１４１５）。ＭＤＰが精密化され、集束されると、最適なＱ値が得られる。（１４１６）このようにして、最上層のＭＤＰが終了する（１４１７）。
図１６は、本明細書の一実施形態による、ＳｏＣ設計プロセスにおけるビッグデータフレームワークの機能ブロック図を示す。階層型強化学習、またはディープ階層型強化学習、または環境からの学習と学習データからのチップアーキテクチャの計画とを含む強化学習の任意の方法を使用して、強化学習を階層的に実行する（１６０１）。学習データをデータベースに格納する。格納されたデータには、Ｑ値、ＳＭＤＰ行動価値テーブル、価値関数、関数近似に使用されるニューラルネットワークの重み、およびＳＭＤＰ間の関係が含まれる（１６０２）。格納されたデータは、ＳｏＣに関する学習情報のために引き出される。格納されたデータを使用して、様々なＭＤＰ、ＳＭＤＰ、オプションマクロ、ＨＡＭおよびＭａｘ−ＱなどのＨＲＬ構造を導出することによって、ＳｏＣのＡＩ計画を実行する（１６０３）。将来の再利用のために、計画されたＳｏＣ情報を格納する。計画され、格納されたＳｏＣ情報には、複数のＭＤＰ、計画されたＳＭＤＰ、ＨＲＬ構造、ＯＣＡ、および推論などの情報が含まれる（１６０４）。
図１７は、本明細書の一実施形態による、ＳｏＣ設計プロセスにおいてＳｏＣドメインおよびサブドメインを抽象化する方法を説明するフローチャートを示す。電子システム設計のための新しい仕様は、ビッグデータプロセッサ（１７００）に格納された学習情報および推論を使用することから得られる。ビッグデータプロセッサ（１７００）は、古くて既存のＰＣＢ設計からボードレベルのＰＣＢ情報を受け取って使用する。該プロセッサは、データベースからのＳｏＣ設計からの、既存のコンポーネント仕様および学習情報の機械可読形式を使用する。ビッグデータプロセッサ（１７００）は、チップ機能のビッグデータ（１７０１）、コンポーネント性能のビッグデータ（１７０２）、顧客の要求およびビジネスインテリジェンスのビッグデータ（１７０３）、プロセスおよびテクノロジノードのビッグデータ（１７０４）、リアルタイムな情報検索およびテクノロジリサーチ（１７０５）を受け取って利用するように構成されている。
学習情報を組み合わせることによって、ビッグデータプロセッサ１７００は、新しい電子システムに関する洞察を提供するように構成されている。ビッグデータプロセッサが使用する他の情報は、コンポーネントのコスト、品質、および可用性である。ビッグデータプロセッサの出力には、新しい電子コンポーネント１７０６のコスト、コンポーネント性能１７０７、アプリケーションソフトウェア仕様１７０８、ＣＤＬ１７０９、ならびにＳＤＬ１７１０、アプリケーション、および新しい電子システムをターゲットにしたＳｏＣに関心がある可能性のあるターゲット顧客の推定値が含まれる。
図１８は、本明細書の一実施形態による、ＳｏＣ設計のためのデータベースアーキテクチャのブロック図を示す。図１８を参照すると、ＡＩベースのＳｏＣチップ設計を生成するためのデータベーススキームには、ＣＬＤパーサ１８０１、リレーショナルデータベース１８０２、入出力リングおよびチップ境界１８０３、グラフデータベース１８０４、物理データベース１８０５、およびチップトポロジ８０６が含まれる。
電子システム設計の新しい仕様は、ビッグデータプロセッサに格納された学習情報および推論を使用することから得られる。ビッグデータプロセッサは、古い既存のＰＣＢ設計からのボードレベルのＰＣＢ情報を使用する。それは、既存のコンポーネント仕様の機械可読フォーマットと、データベースからのＳｏＣ設計からの学習情報と、を使用する。ビッグデータプロセッサは、学習情報を組み合わせることによって、新しい電子システムの洞察を提供する。ビッグデータプロセッサに格納されているその他の情報は、コンポーネントのコスト、品質および可用性である。ビッグデータプロセッサの出力には、新しい電子システムのコスト、アプリケーション、および新しい電子システムを対象としたＳｏＣに関心のある対象顧客の見積もりが含まれる。
本明細書の一実施形態によれば、いくつかの新しい方策は実験中に学習され、いくつかの選択肢が発見され、ＳｏＣアーキテクチャおよび回路を設計する際に適用される。すべてのＳＭＤＰのＱテーブルが最適なＱ値で満たされ、関連するＤＮＮがＳＭＤＰ階層間の関係関数を近似するように構成されると、最適なＳｏＣアーキテクチャが最上位レベルのＳＭＤＰから導出される。ＳｏＣアーキテクチャでは、ＰｏＲ ＳｏＣを正しく取得する必要があり、これは、機能ＳＭＤＰドメインを介して行われる。次に、各ＡＩ ＳｏＣサブドメインにマッピングされている、パワードメインアーキテクチャ、ＮｏＣアーキテクチャおよび設計パーティショニング，クロッキングを介して正しいＩＰおよび内部接続を選択する必要がある。最適な方策は、格納されたＱ値に基づいて学習される。トレーニングされたデータベースから、将来のＳｏＣ回路が得られる。
技術的な利点には、ＳｏＣ設計、および、人工知能を組み込み、強化学習の原理を実装したフレームワークが実現されることが含まれる。本明細書の実施形態のＳｏＣ設計フレームワークは、ＳｏＣ回路の設計に関連するリスクおよび不確実性を軽減する。さらに、ＳｏＣフレームワークを使用すると、回路設計者は、これまで未踏の設計スペースを探索できるようになるだけでなく、ＳｏＣ回路のアーキテクチャを積極的に試すことができるようになる。さらに、本明細書の実施形態によって開示されるＳｏＣ設計フレームワークはまた、ＳｏＣ回路設計に関連する創造性を高めながら、その中のバグの発生を低減する。さらに、当該ＳｏＣフレームワークはまた、回路設計者が（ＳｏＣ回路）設計アーキテクチャで実験することを可能にしながら、ＳｏＣ回路の設計についての洞察を得ることを可能にする。さらに、ＳｏＣ設計フレームワークは、ＳｏＣ回路の設計と実装に関連する応答時間（ターンアラウンドタイム）も短縮する。
特定の実施形態の前述の説明は、本明細書の実施形態の一般的な性質を十分に明らかにしているので、当業者は、現在の知識を適用することによって、一般的な概念から逸脱することなく、特定の実施形態などの様々な応用に容易に変更を加え、かつ／あるいはそれに適応させることができ、したがって、そのような変更および適応は、開示された実施形態の均等物の意味および範囲内で理解されるべきである。
本明細書で使用されている表現または用語は説明を目的としており、限定を目的としていないことを理解されたい。したがって、本明細書の実施形態は好ましい実施形態に関して説明されているが、当業者は、本明細書の実施形態が修正を加えて実施され得ることを認識するであろう。しかしながら、すべてのそのような修正は特許請求の範囲内にあるとみなされる。

Claims (9)

  1. 非一時的コンピュータ可読媒体に格納され、ＳＭＤＰの階層を同期させることによってＳｏＣを設計するためのハードウェアプロセッサおよびメモリを含むコンピューティングデバイスで実行される、コンピュータ可読命令を含むコンピュータ実装方法であって、当該方法は、
    ＳｏＣ仕様またはデータベースからのチップトポロジを初期化するステップであって、受け取ったＳｏＣ仕様入力およびチップデータベースライブラリから取得した、チップ、チップスケルトン、クロック、入出力、パーティションに関する詳細を抽出することを含むステップと、
    人工知能（ＡＩ）設定の複数のドメインおよび複数のサブドメインを、マルコフ決定過程（ＭＤＰ）、セミマルコフ決定過程（ＳＭＤＰ）、階層的抽象機械（ＨＡＭ）およびＭＡＸ−Ｑの形式で作成して、チップ固有のグラフライブラリを生成するステップであって、前記人工知能設定が、ＡＩエージェント、ＡＩ環境、およびタスクの組み合わせを含み、前記ＡＩ設定が、定義済みの探索および利用アルゴリズム、ならびに強化学習技術を使用して作成されるステップと、
    ＡＩエージェントを使用して各ドメインのＱ値を生成するステップであって、当該ＡＩエージェントが、各ドメインのＱ値を抽出するためのタスクを通じて、ＡＩ環境と相互作用するように構成されているステップと、
    前記チップトポロジを、ＨＡＭ制約を伴うマルコフ決定過程（ＭＤＰ）に関連付けるステップと、
    前記チップトポロジを複数のＳＭＤＰまたはＭＤＰに分岐させるステップと、
    前記複数のＳＭＤＰまたはＭＤＰを有効化するステップであって、当該複数の有効化されたＳＭＤＰまたはＭＤＰは、事前設定されたＱ値または事前設定された目標を達成すると終了するステップと、
    終了後に、前記複数のＳＭＤＰまたはＭＤＰを同期させるステップと、
    同じレベルの複数のサブドメインを有効化するステップであって、前記複数の有効化されたサブドメインは、事前設定されたＱ値または事前設定された目標を達成すると終了するステップと、
    終了後に、前記複数のサブドメインを同期させるステップと、
    前記複数のＳＭＤＰまたはＭＤＰの物理検証を開始するステップと、
    ＳｏＣの計画を最適化するために、各ドメインおよびサブドメインの前記抽出されたＱ値を、ビッグデータデータベースのＳＭＤＰ Ｑテーブルの形式で階層型ＳＭＤＰ構造に格納するステップと、
    ＳｏＣ設計のために最適なチップアーキテクチャを取得するステップであって、当該最適なチップアーキテクチャが、ＳＭＤＰ Ｑテーブルにおける最上位レベルの最大Ｑ値に対応するステップと、を含む方法。
  2. 前記複数のサブドメインの各々のバックアップを、階層型ディープＳＭＤＰネットワーク（ＨＤＳＮ）を介して階層的に実行するステップをさらに含む、請求項１に記載の方法。
  3. 前記抽出されたＱ値を格納する前記ステップが、リーフレベルのＭＤＰおよびオプションマクロ用のＱテーブルにＱ値を格納することを含む、請求項１に記載の方法。
  4. 事前設定されたＱ値を達成する前記ステップが、
    ドメインおよびＳｏＣドメインごとに強化学習プロセスを実行し、Ｑ値がドメインごとに事前設定された閾値未満に収束すると、ドメインごとに当該強化学習プロセスが終了し、Ｑ値の変化がドメインごとに事前設定された閾値未満に減少すると、ドメインごとに当該強化学習プロセスが終了するステップと、
    特定のドメインごとに強化学習プロセスを実行し、特定のドメインごとに定義済みのエピソード数を完了すると、特定のドメインごとに当該強化学習プロセスが終了するステップと、
    特定のドメインごとに強化学習プロセスを実行し、特定のドメインごとに定義済みの目標性能または定義済みの終了状態に達すると、特定のドメインごとに当該強化学習プロセスが終了するステップと、
    ドメインごとに強化学習プロセスを実行し、ドメインごとに定義済みの階層的に最適な状態が達成されると、ドメインごとに当該強化学習プロセスが終了するステップと、を含む、請求項１に記載の方法。
  5. 前記複数のサブドメインを同期させる前記ステップが、第１のサブドメインの完了後に第２のサブドメインの実行をトリガすることをさらに含む、請求項１に記載の方法。
  6. 前記複数のドメインが、ＳｏＣ通信およびネットワークオンチップ、ＳｏＣ電力最適化、ＳｏＣクロッキング、ＳｏＣ物理設計、ＳｏＣ論理検証、ＳｏＣ物理検証、ＳｏＣタイミング、ＳｏＣ ＤＲＣ（デザインルールチェック）、ＳｏＣ ＥＲＣ（電気的ルールチェック）、およびＳｏＣパッケージを含む、請求項１に記載の方法。
  7. 前記複数のサブドメインが、ＳｏＣスループット最適化、ＳｏＣ動的電力最適化、ＳｏＣタイミング最適化、ＳｏＣ配置最適化、ＳｏＣ安全機能、ＳｏＣセキュリティ機能、配置、フロアプラン、入力／出力およびルーティングを含む、請求項１に記載の方法。
  8. 前記最大Ｑ値から最適なチップアーキテクチャを取得する前記ステップが、前記最適なＱ値に関連する最適な方策を導出し、当該導出された最適なポリシーに関連する行動を実行することを含む、請求項１に記載の方法。
  9. 前記Ｑテーブルの上位レベルのＱ値が計算されるときに、下位レベルのＳＭＤＰとＭＤＰとの関係がニューラルネットワークを使用して決定される、請求項１に記載の方法。
JP2019558331A 2017-01-08 2017-09-25 ＳＭＤＰの階層の同期によるシステムオンチップ（ＳｏＣ）回路の設計システムおよび方法 Active JP6902113B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762443803P 2017-01-08 2017-01-08
US62/443,803 2017-01-08
US15/499,832 2017-04-27
US15/499,832 US9792397B1 (en) 2017-01-08 2017-04-27 System and method for designing system on chip (SoC) circuits through artificial intelligence and reinforcement learning
US15/697,803 US9892223B1 (en) 2017-01-08 2017-09-07 System and method for designing system on chip (SoC) circuits by synchronizing a hierarchy of SMDPs
US15/697,803 2017-09-07
PCT/US2017/053238 WO2018128654A1 (en) 2017-01-08 2017-09-25 System and method for designing system on chip (soc) circuits by synchronizing a hierarchy of smdps

Publications (2)

Publication Number Publication Date
JP2020514932A JP2020514932A (ja) 2020-05-21
JP6902113B2 true JP6902113B2 (ja) 2021-07-14

Family

ID=60021764

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019558331A Active JP6902113B2 (ja) 2017-01-08 2017-09-25 ＳＭＤＰの階層の同期によるシステムオンチップ（ＳｏＣ）回路の設計システムおよび方法
JP2019558330A Active JP6902112B2 (ja) 2017-01-08 2017-09-25 人工知能および強化学習によるシステムオンチップ（ＳｏＣ）回路の設計システムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019558330A Active JP6902112B2 (ja) 2017-01-08 2017-09-25 人工知能および強化学習によるシステムオンチップ（ＳｏＣ）回路の設計システムおよび方法

Country Status (3)

Country Link
US (2) US9792397B1 (ja)
JP (2) JP6902113B2 (ja)
WO (2) WO2018128653A1 (ja)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270053B2 (en) * 2016-07-08 2022-03-08 efabless corporation Systems and methods for assembling and developing an SoC efficiently using templates and designer input data
US9792397B1 (en) * 2017-01-08 2017-10-17 Alphaics Corporation System and method for designing system on chip (SoC) circuits through artificial intelligence and reinforcement learning
US20180198682A1 (en) * 2017-01-10 2018-07-12 Netspeed Systems, Inc. Strategies for NoC Construction Using Machine Learning
US10063496B2 (en) * 2017-01-10 2018-08-28 Netspeed Systems Inc. Buffer sizing of a NoC through machine learning
JP6546213B2 (ja) * 2017-04-13 2019-07-17 ファナック株式会社 回路構成最適化装置及び機械学習装置
US10949595B2 (en) * 2017-06-22 2021-03-16 Semiconductor Energy Laboratory Co., Ltd. Layout design system and layout design method
US10515182B2 (en) * 2017-06-30 2019-12-24 Advanced Micro Devices, Inc. Auto detection of select power domain regions in a nested multi power domain design
US11568273B2 (en) 2017-11-14 2023-01-31 International Business Machines Corporation Multi-dimensional cognition for unified cognition in cognitive assistance
US11544576B2 (en) * 2017-11-14 2023-01-03 International Business Machines Corporation Unified cognition for a virtual personal cognitive assistant of an entity when consuming multiple, distinct domains at different points in time
US11443196B2 (en) 2017-11-14 2022-09-13 International Business Machines Corporation Unified cognition for a virtual personal cognitive assistant when cognition is embodied across multiple embodied cognition object instances
CN109871558A (zh) * 2017-12-04 2019-06-11 石家庄创天电子科技有限公司 基于人工智能进行电路设计的方法及装置
US10558775B2 (en) 2017-12-20 2020-02-11 International Business Machines Corporation Memory element graph-based placement in integrated circuit design
US10803223B2 (en) * 2017-12-31 2020-10-13 Arteris, Inc. System and method for designing a chip floorplan using machine learning
US10817634B2 (en) * 2018-01-19 2020-10-27 Synopsys, Inc. Machine-learning circuit optimization using quantized prediction functions
US11568236B2 (en) 2018-01-25 2023-01-31 The Research Foundation For The State University Of New York Framework and methods of diverse exploration for fast and safe policy improvement
US10983910B2 (en) 2018-02-22 2021-04-20 Netspeed Systems, Inc. Bandwidth weighting mechanism based network-on-chip (NoC) configuration
US20190287028A1 (en) * 2018-03-15 2019-09-19 Arm Ltd. Systems, devices, and/or processes for behavioral content processing
US20210004735A1 (en) * 2018-03-22 2021-01-07 Siemens Corporation System and method for collaborative decentralized planning using deep reinforcement learning agents in an asynchronous environment
US11288409B2 (en) 2018-04-30 2022-03-29 Hamilton Sundstrand Corporation Method and system for designing electrical machines using reinforcement learning
US10699050B2 (en) 2018-05-03 2020-06-30 International Business Machines Corporation Front-end-of-line shape merging cell placement and optimization
CN112135716B (zh) * 2018-05-18 2023-11-03 谷歌有限责任公司 数据高效的分层强化学习
KR20190136431A (ko) 2018-05-30 2019-12-10 삼성전자주식회사 뉴럴 네트워크 시스템, 이를 포함하는 어플리케이션 프로세서 및 뉴럴 네트워크 시스템의 동작방법
US10796068B2 (en) * 2018-09-11 2020-10-06 Samsung Electronics Co., Ltd. Standard cell design system, standard cell design optimization method thereof, and semiconductor design system
US10943049B2 (en) * 2018-09-28 2021-03-09 Taiwan Semiconductor Manufacturing Co., Ltd. Rule check violation prediction systems and methods
EP3637256A1 (en) * 2018-10-12 2020-04-15 IMEC vzw Exploring an unexplored domain by parallel reinforcement
US11556406B2 (en) 2018-12-03 2023-01-17 Synopsys, Inc. Automatic root cause analysis of complex static violations by static information repository exploration
KR102611938B1 (ko) * 2018-12-04 2023-12-08 구글 엘엘씨 신경망을 사용한 통합 회로 플로어 플랜 생성
KR20200099252A (ko) 2019-02-13 2020-08-24 삼성전자주식회사 회로 디자인을 검증하기 위한 검증 벡터를 생성하는 장치, 회로 디자인 시스템 및 이의 강화 학습 방법
JP6995451B2 (ja) * 2019-03-13 2022-01-14 東芝情報システム株式会社 回路適正化装置及び回路適正化方法
JP7413353B2 (ja) * 2019-03-20 2024-01-15 株式会社半導体エネルギー研究所 配線レイアウト設計方法、プログラム、および記録媒体
CN109961147B (zh) * 2019-03-20 2023-08-29 西北大学 一种基于Q-Learning算法的自动化模型压缩方法
CN110019151B (zh) * 2019-04-11 2024-03-15 深圳市腾讯计算机系统有限公司 数据库性能调整方法、装置、设备、系统及存储介质
WO2020229904A1 (en) * 2019-05-10 2020-11-19 Tata Consultancy Services Limited System and method for actor based simulation of complex system using reinforcement learning
KR20200131056A (ko) * 2019-05-13 2020-11-23 삼성전자주식회사 강화 학습 기반의 시스템 검증 방법 및 장치
US11521116B2 (en) 2019-06-25 2022-12-06 Nxp Usa, Inc. Self-optimizing multi-core integrated circuit
US11126772B1 (en) * 2019-07-15 2021-09-21 Dialog Semiconductor (Uk) Limited Tools and methods for designing a circuit, and circuits made thereby
KR20210012730A (ko) 2019-07-26 2021-02-03 삼성전자주식회사 인공지능 모델의 학습 방법 및 전자 장치
US11275882B1 (en) * 2019-07-26 2022-03-15 Cadence Design Systems, Inc. System, method, and computer program product for group and isolation prediction using machine learning and applications in analog placement and sizing
US11087060B1 (en) * 2019-07-29 2021-08-10 Cadence Design Systems, Inc. System, method, and computer program product for the integration of machine learning predictors in an automatic placement associated with an electronic design
US10885260B1 (en) 2019-09-04 2021-01-05 International Business Machines Corporation Fin-based fill cell optimization
US11221897B2 (en) * 2019-09-11 2022-01-11 International Business Machines Corporation Managing device maintenance via artificial intelligence
US11030367B2 (en) 2019-09-11 2021-06-08 International Business Machines Corporation Out-of-context feedback hierarchical large block synthesis (HLBS) optimization
US11366948B2 (en) * 2019-10-18 2022-06-21 Synopsys, Inc. Machine-learning enhanced compiler
US11665776B2 (en) 2019-12-27 2023-05-30 Arteris, Inc. System and method for synthesis of a network-on-chip for deadlock-free transformation
US10990724B1 (en) 2019-12-27 2021-04-27 Arteris, Inc. System and method for incremental topology synthesis of a network-on-chip
US11558259B2 (en) 2019-12-27 2023-01-17 Arteris, Inc. System and method for generating and using physical roadmaps in network synthesis
US11657203B2 (en) 2019-12-27 2023-05-23 Arteris, Inc. Multi-phase topology synthesis of a network-on-chip (NoC)
US11836641B2 (en) * 2020-03-14 2023-12-05 Synopsys, Inc. Machine learning-based prediction of metrics at early-stage circuit design
US11418448B2 (en) 2020-04-09 2022-08-16 Arteris, Inc. System and method for synthesis of a network-on-chip to determine optimal path with load balancing
US11287869B2 (en) * 2020-04-30 2022-03-29 Marvell Asia Pte Ltd System and methods for on-chip memory (OCM) port throttling for machine learning operations
US12019967B2 (en) * 2020-05-04 2024-06-25 Nvidia Corporation Routing connections in integrated circuits based on reinforcement learning
JP7466643B2 (ja) * 2020-06-09 2024-04-12 三菱電機株式会社 学習装置、推論装置、学習方法、および推論方法
DE102020118805A1 (de) * 2020-07-16 2022-01-20 Dr. Ing. H.C. F. Porsche Aktiengesellschaft System und Verfahren zum autonomen Konstruieren und/oder Designen von zumindest einer Komponente für ein Bauteil
CN112039767B (zh) * 2020-08-11 2021-08-31 山东大学 基于强化学习的多数据中心节能路由方法及系统
CN112270158B (zh) * 2020-09-15 2022-11-18 海宁利伊电子科技有限公司 一种基于深度强化学习的封装地过孔打孔分布优化方法
JP7376450B2 (ja) * 2020-09-29 2023-11-08 本田技研工業株式会社 学習済モデルの構築方法、及び、その学習済モデルを用いた設計支援装置
US11601357B2 (en) 2020-12-22 2023-03-07 Arteris, Inc. System and method for generation of quality metrics for optimization tasks in topology synthesis of a network
US11281827B1 (en) 2020-12-26 2022-03-22 Arteris, Inc. Optimization of parameters for synthesis of a topology using a discriminant function module
US11449655B2 (en) 2020-12-30 2022-09-20 Arteris, Inc. Synthesis of a network-on-chip (NoC) using performance constraints and objectives
US11956127B2 (en) 2021-03-10 2024-04-09 Arteris, Inc. Incremental topology modification of a network-on-chip
US11775720B2 (en) 2021-07-02 2023-10-03 International Business Machines Corporation Integrated circuit development using machine learning-based prediction of power, performance, and area
US20230139623A1 (en) * 2021-11-02 2023-05-04 Nvidia Corporation Data path circuit design using reinforcement learning
KR102474856B1 (ko) 2021-11-18 2022-12-06 주식회사 마키나락스 인공지능 기반의 반도체 설계 자동화 방법
CN114444240B (zh) * 2022-01-28 2022-09-09 暨南大学 一种面向信息物理融合系统的延迟和寿命优化方法
US12067335B2 (en) 2022-04-11 2024-08-20 Arteris, Inc. Automatic configuration of pipeline modules in an electronics system
US20230367696A1 (en) * 2022-05-13 2023-11-16 Microsoft Technology Licensing, Llc Simulated training for reinforcement learning
WO2023205820A2 (en) * 2022-07-22 2023-10-26 Futurewei Technologies, Inc. Anomalous design handling in single step design space exploration
CN115374739B (zh) * 2022-10-21 2022-12-27 中诚华隆计算机技术有限公司 基于可信计算平台的可信计算芯片的设计方法及计算设备
KR102632950B1 (ko) * 2022-12-26 2024-02-05 주식회사 애자일소다 일반화 모델을 이용한 반도체 배치 시스템 및 방법
KR102603130B1 (ko) * 2022-12-27 2023-11-17 주식회사 애자일소다 강화학습 기반의 면적 및 매크로 배치 최적화를 위한 설계 시스템 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004288205A (ja) * 2004-05-10 2004-10-14 Matsushita Electric Ind Co Ltd 半導体集積回路装置の設計方法
US7937678B2 (en) * 2008-06-11 2011-05-03 Infineon Technologies Ag System and method for integrated circuit planar netlist interpretation
US8793119B2 (en) * 2009-07-13 2014-07-29 At&T Intellectual Property I, L.P. System and method for generating manually designed and automatically optimized spoken dialog systems
US9090255B2 (en) * 2012-07-12 2015-07-28 Honda Motor Co., Ltd. Hybrid vehicle fuel efficiency using inverse reinforcement learning
US8839171B1 (en) * 2013-03-31 2014-09-16 Atrenta, Inc. Method of global design closure at top level and driving of downstream implementation flow
JP6269121B2 (ja) * 2014-02-06 2018-01-31 富士通株式会社 情報処理装置、評価関数学習方法およびプログラム
US9530412B2 (en) * 2014-08-29 2016-12-27 At&T Intellectual Property I, L.P. System and method for multi-agent architecture for interactive machines
US10101786B2 (en) * 2014-12-22 2018-10-16 Intel Corporation Holistic global performance and power management
US10102320B2 (en) * 2015-02-26 2018-10-16 Autodesk, Inc. Predictive multi-user client-server electronic circuit design system utilizing machine learning techniques
US9792397B1 (en) * 2017-01-08 2017-10-17 Alphaics Corporation System and method for designing system on chip (SoC) circuits through artificial intelligence and reinforcement learning

Also Published As

Publication number Publication date
JP2020506491A (ja) 2020-02-27
WO2018128654A1 (en) 2018-07-12
WO2018128653A1 (en) 2018-07-12
US9792397B1 (en) 2017-10-17
JP2020514932A (ja) 2020-05-21
US9892223B1 (en) 2018-02-13
JP6902112B2 (ja) 2021-07-14

Similar Documents

Publication Publication Date Title
JP6902113B2 (ja) ＳＭＤＰの階層の同期によるシステムオンチップ（ＳｏＣ）回路の設計システムおよび方法
US10372859B2 (en) System and method for designing system on chip (SoC) circuits using single instruction multiple agent (SIMA) instructions
JP7413580B2 (ja) ニューラルネットワークを使用した集積回路フロアプランの生成
US8839171B1 (en) Method of global design closure at top level and driving of downstream implementation flow
US7694249B2 (en) Various methods and apparatuses for estimating characteristics of an electronic system's design
US11836641B2 (en) Machine learning-based prediction of metrics at early-stage circuit design
JP3119646B2 (ja) 再コンフュギュレーション可能なハードウェアシステムの評価装置及び演算処理方法
US11256845B2 (en) Machine-learning driven prediction in integrated circuit design
US10915685B1 (en) Circuit stage credit based approaches to static timing analysis of integrated circuits
US8701059B2 (en) Method and system for repartitioning a hierarchical circuit design
US11669665B1 (en) Application-specific integrated circuit (ASIC) synthesis based on lookup table (LUT) mapping and optimization
US20240169135A1 (en) Reinforcement learning (rl) based chip design optimization using trained graph convolutional networks (gcn) for ultra-fast cost function calculation
KR101275486B1 (ko) 순차적 등가성 검사를 위한 재구성된 설계를 준비하기 위한 방법
US11022634B1 (en) Rail block context generation for block-level rail voltage drop analysis
Bushnell Design automation: automated full-custom VLSI layout using the ULYSSES design environment
Li et al. iPD: An Open-source intelligent Physical Design Toolchain
US11847396B1 (en) Integrated circuit design using multi-bit combinational cells
CN115510802A (zh) 用于预测详细布线拓扑和轨道使用的机器学习模型
US9892227B1 (en) Systems, methods and storage media for clock tree power estimation at register transfer level
US20200410152A1 (en) System and method of timing characterization for semiconductor circuit
Liu et al. Simultaneous technology mapping and placement for delay minimization
US11816409B1 (en) Strongly connected component (SCC) graph representation for interactive analysis of overlapping loops in emulation and prototyping
US11526642B1 (en) Clock network power estimation for logical designs
US20220284161A1 (en) Automated design hierarchy identification and simplified reduced model generation for static verification of circuit designs
CN115730508A (zh) 使用设计和辅助构造的基于监督机器学习的存储器和运行时间预测

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210618

R150 Certificate of patent or registration of utility model

Ref document number: 6902113

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150