JP2024009787A - 人工ニューラルネットワークの最適なアーキテクチャを特定するための方法 - Google Patents

人工ニューラルネットワークの最適なアーキテクチャを特定するための方法 Download PDF

Info

Publication number
JP2024009787A
JP2024009787A JP2023112838A JP2023112838A JP2024009787A JP 2024009787 A JP2024009787 A JP 2024009787A JP 2023112838 A JP2023112838 A JP 2023112838A JP 2023112838 A JP2023112838 A JP 2023112838A JP 2024009787 A JP2024009787 A JP 2024009787A
Authority
JP
Japan
Prior art keywords
artificial neural
neural network
trajectory
directed graph
architecture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023112838A
Other languages
English (en)
Inventor
ヘンドリク メッツェン ヤン
Hendrik Metzen Jan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2024009787A publication Critical patent/JP2024009787A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Feedback Control In General (AREA)

Abstract

【課題】本発明は、人工ニューラルネットワークの最適なアーキテクチャを特定するための方法に関する。【解決手段】本方法（１）は、人工ニューラルネットワークの最適なアーキテクチャを特定するステップ（６）であって、人工ニューラルネットワークの最適なアーキテクチャは、特定された軌道がアーキテクチャ探索のための中断基準を満たすまで、規定されたストラテジに基づいて始端ノードから終端ノードへの軌道を特定するステップ（７）と、特定された軌道に対する報酬を決定するステップ（８）と、軌道に対して決定された報酬と、軌道に沿ってエッジに対応付けられたフローとに基づいて、特定された軌道に対するコスト関数を決定するステップ（９）と、軌道に沿ってエッジに対応付けられたフローを、コスト関数に基づいてその都度更新するステップ（１０）とを繰り返すことによって特定される、ステップ（６）を含み、中断基準を満たしている軌道は、最適なアーキテクチャを表す。【選択図】図１

Description

本発明は、最適なアーキテクチャを特定する際のリソースを節約することができると同時に、最適なアーキテクチャを特定する際の精度を高めることもできる、人工ニューラルネットワークの最適なアーキテクチャを特定するための方法に関する。
機械学習のアルゴリズムは、データ処理システムによる特定のタスクの実行が、このタスクのためにデータ処理システムを元々明示的にプログラミングすることなく可能となるようにこのデータ処理システムをトレーニングするために、統計学の方法を使用することに基づいている。機械学習の目標は、データから学習することができかつ予測を行うことができるアルゴリズムを構築することにある。このようなアルゴリズムは、例えば、データを分類することができる数学モデルを作成する。
機械学習のこのようなアルゴリズムの一例は、人工ニューラルネットワークである。このような人工ニューラルネットワークは、生物学的ニューロンをもとに方針を決定し、既存のトレーニングデータから未知のシステム特性を学習し、続いて、学習したシステム特性を未知の入力変数にも適用することを可能にする。ニューラルネットワークは、理想化されたニューロンを含む複数の層から構成されており、これらの層は、ネットワークのトポロジに従って種々異なるように相互に接続されている。入力層とも称される第１の層は、入力値を検出して伝送し、入力層におけるニューロンの個数は、処理されるべき入力信号の個数に対応する。最後の層は、出力層とも称され、提供されるべき出力値の個数と同一の個数のニューロンを含む。さらに、入力層と出力層との間には、しばしば隠れ層とも称される少なくとも１つの中間層が設けられており、中間層の個数、並びに、これらの層におけるニューロンの個数及び／又は種類は、ニューラルネットワークによって解決されるべき具体的なタスクに依存している。
しかしながら、人工ニューラルネットワークのアーキテクチャを開発すること、即ち、ネットワークの外観又はネットワークにおける層の個数を決定することと、個々の層におけるニューロンの個数及び／又は種類を決定することとは、通常、特にリソース消費に関して非常に複雑である。アーキテクチャの開発を最適化するために、特定の問題に対する最適なアーキテクチャを自動的に開発するニューラルアーキテクチャ探索（Neural Architecture Search：ＮＡＳ）が開発された。ＮＡＳアルゴリズムは、まず始めに、種々異なるモジュール及びコンフィギュレーションから人工ニューラルネットワークのためのアーキテクチャを構成し、続いて、このアーキテクチャがトレーニングデータのセットを用いてトレーニングされ、続いて、得られた結果が性能に関して評価される。続いて、この評価に基づいて、性能に関してより最適であると予想される新しいアーキテクチャを特定することができ、続いてここでも、このアーキテクチャがトレーニングデータに基づいてトレーニングされ、続いてここでも、得られた結果が性能に関して評価される。アーキテクチャの変更によって改善を達成することがもはや不可能となるまで、これらのステップを繰り返すことができ、通常、より最適なアーキテクチャを特定するために、勾配に基づく方法が使用される。
特に人工ニューラルネットワークの性能は、特に、選択されたアーキテクチャに依存している。しかしながら、この場合、人工ニューラルネットワークのための実際の最適なアーキテクチャを特定することが通常は困難であることが欠点であると判明しており、それにもかかわらず、最適なアーキテクチャを特定することは、通常、高いリソース消費に結び付いている。
独国特許出願公開第１０２０１９２１４６２５号明細書からは、人工ニューラルネットワークを作成するための方法が公知である。同方法は、複数の異なるデータセットを提供することと、複数のハイパーパラメータを初期化することと、人工ニューラルネットワークを学習させることと、学習させられた人工ニューラルネットワークを評価することと、評価に依存してハイパーパラメータを最適化することと、最適化されたハイパーパラメータを使用して、人工ニューラルネットワークを改めて学習させることと、を含む。
独国特許出願公開第１０２０１９２１４６２５号明細書
したがって、本発明の基礎となる課題は、人工ニューラルネットワークのための最適なアーキテクチャを特定するための改善された方法を提示することである。
上記の課題は、請求項１に記載の特徴による、人工ニューラルネットワークの最適なアーキテクチャを特定するための方法によって解決される。
さらに、上記の課題は、請求項７に記載の特徴による、人工ニューラルネットワークの最適なアーキテクチャを特定するためのシステムによっても解決される。
発明の開示
本発明の一実施形態によれば、上記の課題は、人工ニューラルネットワークの最適なアーキテクチャを特定するための方法であって、当該方法は、人工ニューラルネットワークの複数の可能なアーキテクチャの集合を提供するステップと、人工ニューラルネットワークの複数の可能なアーキテクチャの集合を、有向グラフに表示するステップであって、有向グラフのノードは、複数の可能なアーキテクチャのうちの１つの可能なアーキテクチャのそれぞれ１つの部分集合をシンボリックに表し、始端ノードは、入力層をシンボリックに表し、有向グラフの終端ノードは、出力層を含むそれぞれ１つの部分集合をシンボリックに表し、有向グラフのエッジは、部分集合間の可能なリンクをシンボリックに表す、ステップと、有向グラフのそれぞれのエッジごとに、当該対応するエッジへの１つのフローを対応付けるステップと、有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジを規定するステップと、人工ニューラルネットワークの最適なアーキテクチャを特定するステップであって、人工ニューラルネットワークの最適なアーキテクチャは、規定されたストラテジに基づいて始端ノードから終端ノードへの軌道を特定するステップと、特定された軌道に対する報酬を決定するステップと、軌道に対して決定された報酬と、軌道に沿ってエッジに対応付けられたフローとに基づいて、特定された軌道に対するコスト関数を決定するステップと、軌道に沿ってエッジに対応付けられたフローを、コスト関数に基づいてその都度更新するステップとを繰り返すことによって特定される、ステップとを含み、特定された軌道がアーキテクチャ探索のための中断基準を満たすまで、軌道を特定するステップと、報酬を決定するステップと、コスト関数を決定するステップと、フローを更新するステップとが繰り返され、中断基準を満たしている軌道は、最適なアーキテクチャを表す、方法によって解決される。
本明細書における複数の可能なアーキテクチャの集合とは、人工ニューラルネットワークの複数の可能なアーキテクチャ又は対応する探索空間であると理解される。
さらに、有向グラフとは、ノードと個々のノードを接続するエッジとを含むグラフであり、エッジとは、有向エッジ、即ち、１つの方向にのみ通過することができるエッジである。
有向グラフのそれぞれのノードが、複数の可能なアーキテクチャのうちの１つの可能なアーキテクチャのそれぞれ１つの部分集合をシンボリックに表すということは、それぞれのノードが、人工ニューラルネットワークの複数の可能なアーキテクチャのうちの少なくとも１つの可能なアーキテクチャの部分集合をシンボリックに表し、それぞれのノードが、それぞれ１つの他の部分集合をシンボリックに表すことができ、全体として人工ニューラルネットワークの全ての可能なアーキテクチャが、有向グラフに含まれるように又は有向グラフに表示されるように、これらの部分集合を、有向グラフの個々のノードに分布させることができるということを意味する。部分集合は、対応する可能なアーキテクチャのそれぞれ少なくとも１つの層を含み又は特徴付ける。
さらに、有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジとは、軌道を取得するために有向グラフの個々のノードを選択するときの基礎とする計画又は設定であると理解される。
軌道とは、特に、始端ノードと、終端ノードのうちの１つとの間の一貫した経路を指す。
さらに、報酬又はリワードとは、対応する軌道によって表されるアーキテクチャを評価することによって決定することができる値であって、対応するアーキテクチャによって達成することができる改善の値であると理解される。
さらに、コスト関数又は損失とは、軌道に沿ってエッジに対応付けられたフローに基づいて予測される、特定された軌道に対する報酬と、軌道に対して決定された実際の報酬との間の損失又は誤差であると理解される。
さらに、アーキテクチャ探索のための中断基準とは、事前に規定された基準を指し、特定されたアーキテクチャ、又は、特定された軌道によって表されるアーキテクチャがこの中断基準を満たすと、最適なアーキテクチャの特定が終了させられる。
アーキテクチャが、特定された軌道によって表されるということは、特定された軌道に沿ったノードによってシンボリックに表される部分集合を対応してリンクさせることによって、アーキテクチャが形成されるということを意味する。
したがって、本発明に係る方法は、人工ニューラルネットワークの最適なアーキテクチャを特定するための公知の通常の方法とは、報酬自体が最適化されるのではなく、潜在的なアーキテクチャがそれぞれこれらのアーキテクチャに対応付けられた報酬に基づいてチェック又はテストされるという点において異なっている。さらに、本発明に係る方法は、人工ニューラルネットワークの最適なアーキテクチャを特定するための公知の通常の方法とは、例えば、より最適なアーキテクチャを特定するために勾配が推定されるのではなく、有向グラフの個々のエッジに、又は、人工ニューラルネットワークの可能なアーキテクチャの部分集合間の対応付けに、対応付けられたフロー又は値が最適化されて、実際の状況に適合させられるという点において異なっている。
報酬自体が最適化されるのではなく、潜在的なアーキテクチャがそれぞれこれらのアーキテクチャに対応付けられた報酬に基づいてチェック又はテストされるということは、最適なアーキテクチャを特定する際の精度と、特に実際に最適なアーキテクチャを発見することができる確率も高めることができるという利点を有する。
さらに、勾配が推定されるのではなく、有向グラフの個々のエッジに、又は、人工ニューラルネットワークの可能なアーキテクチャの部分集合間の対応付けに、対応付けられたフロー又は値が最適化されて、実際の状況に適合させられるということは、例えばノイズの影響をより受けにくくなり、かつ、最適なアーキテクチャを特定するために必要とされる反復が全体としてより少なくなるという利点を有し、これにより、最適なアーキテクチャを特定するために必要とされるリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することが可能となる。
したがって、全体として、人工ニューラルネットワークのための最適なアーキテクチャを特定するための改善された方法が提示される。
有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジを、以下のようにして規定することができ、即ち、有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジが、有向グラフのそれぞれのノードごとに、特定されるべき軌道が有向グラフの当該対応するノードを通過する確率を示し、確率が、有向グラフのうちの、当該対応するノードまで延在するエッジに対応付けられたフローにそれぞれ比例し、最高の確率を有するエッジ、及び／又は、確率に比例しているエッジをその都度選択することによって、軌道が特定されるように、有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジを規定することができる。
確率が、有向グラフのうちの、当該対応するノードまで延在するエッジに対応付けられたフローにそれぞれ比例しているということは、この確率が高くなればなるほど、有向グラフのうちの、当該対応するノードまで延在するエッジに対応付けられたフローがより大きくなるということを意味する。
さらに、最高の確率を有するエッジがその都度選択されるということは、それぞれノードから軌道に沿って出発又は発信した、最高の確率値を有するエッジ、又は、対応する最高のフローを有するエッジが、軌道の一部として選択されることによって、軌道が特定されるということを意味する。
代替的に、例えば、確率に比例しているエッジを選択するものとしてもよい。
したがって、ストラテジは、確率分布を再現し得る又は確率分布に基づき得るものであり、これにより、最適なアーキテクチャの特定と、特にフローの適合とを、リソースが集中的に必要となる手間のかかる適合が必要とされることなく、人工ニューラルネットワークに関連して公知の関数によって簡単に実施することが可能となる。
ストラテジが、有向グラフのそれぞれのノードごとに、特定されるべき軌道が有向グラフの当該対応するノードを通過する確率を示し、確率が、有向グラフのうちの、当該対応するノードまで延在するエッジに対応付けられたフローにそれぞれ比例し、最高の確率を有するエッジをその都度選択することによって、軌道が特定されるということは、１つの好ましい実施形態にすぎない。したがって、追加的に例えば、所定の時点に所定の確率を逸脱して他のエッジを追従することもできるということを、ストラテジが設定することもでき、これにより、特に、エッジとフローとの初期時の対応付けがランダムに実施される場合に、本方法をより迅速に収束させることが可能となる。
一実施形態においては、軌道に対する報酬は、少なくとも１つの目標コンポーネントのハードウェア状況に基づいて決定される。
目標コンポーネントとは、相応にトレーニングされた人工ニューラルネットワークが続いて適用されるサーバ又はクライアントであると理解される。
さらに、少なくとも１つの目標コンポーネントのハードウェア状況とは、特に、人工ニューラルネットワークを使用するために提供される、少なくとも１つの目標コンポーネントのリソース、例えば、メモリ容量及び／又はプロセッサ容量に関する情報であると理解される。
したがって、相応にトレーニングされた人工ニューラルネットワークが続いて適用されるデータ処理システムの状況が、人工ニューラルネットワークの最適なアーキテクチャを特定する際に考慮される。
本発明のさらなる実施形態によれば、人工ニューラルネットワークをトレーニングするための方法であって、人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するステップと、人工ニューラルネットワークのための最適なアーキテクチャを提供するステップであって、最適なアーキテクチャは、人工ニューラルネットワークの最適なアーキテクチャを特定するための上述した方法によって特定される、提供するステップと、トレーニングデータと最適なアーキテクチャとに基づいて、人工ニューラルネットワークをトレーニングするステップと、を含む方法も提示される。
したがって、人工ニューラルネットワークのための最適なアーキテクチャを特定するための改善された方法によって特定された最適なアーキテクチャに基づいている、人工ニューラルネットワークをトレーニングするための方法が提示される。報酬自体が最適化されるのではなく、潜在的なアーキテクチャがそれぞれこれらのアーキテクチャに対応付けられた報酬に基づいてチェック又はテストされるということは、最適なアーキテクチャを特定する際の精度と、特に実際に最適なアーキテクチャを発見することができる確率も高めることができるという利点を有する。さらに、勾配が推定されるのではなく、有向グラフの個々のエッジに、又は、人工ニューラルネットワークの可能なアーキテクチャの部分集合間の対応付けに、対応付けられたフロー又は値が最適化されて、実際の状況に適合させられるということは、例えばノイズの影響をより受けにくくなり、かつ、最適なアーキテクチャを特定するために必要とされる反復が全体としてより少なくなるという利点を有し、これにより、最適なアーキテクチャを特定するために必要とされるリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することが可能となる。
トレーニングデータは、センサデータを含み得る。
検出器、（測定量又は測定）記録器、又は、（測定）感知器とも称されるセンサは、特定の物理的又は化学的な特性、及び／又は、自身の周辺環境の物質的な性質を、定性的に又は測定量として定量的に検出することができる技術的な構成部品である。
したがって、本方法が実施される本来のデータ処理システムの外部の状況を簡単に検出して、人工ニューラルネットワークをトレーニングする際に考慮することができる。
さらに、本発明のさらなる実施形態によれば、人工ニューラルネットワークに基づいて制御可能なシステムを制御するための方法であって、制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するステップであって、人工ニューラルネットワークは、人工ニューラルネットワークをトレーニングするための上述した方法によってトレーニングされている、提供するステップと、提供された人工ニューラルネットワークに基づいて制御可能なシステムを制御するステップと、を含む方法も提示される。
制御可能なシステムは、特に、ロボットシステムであるものとしてよく、ロボットシステムは、例えば、自動車の組込システム、及び／又は、自動車の機能であるものとしてよい。
したがって、人工ニューラルネットワークに基づいて制御可能なシステムを制御するための方法であって、人工ニューラルネットワークが、人工ニューラルネットワークのための最適なアーキテクチャを特定するための改善された方法によって特定された最適なアーキテクチャに基づいている、方法が提示される。報酬自体が最適化されるのではなく、潜在的なアーキテクチャがそれぞれこれらのアーキテクチャに対応付けられた報酬に基づいてチェック又はテストされるということは、最適なアーキテクチャを特定する際の精度と、特に実際に最適なアーキテクチャを発見することができる確率も高めることができるという利点を有する。さらに、勾配が推定されるのではなく、有向グラフの個々のエッジに、又は、人工ニューラルネットワークの可能なアーキテクチャの部分集合間の対応付けに、対応付けられたフロー又は値が最適化されて、実際の状況に適合させられるということは、例えばノイズの影響をより受けにくくなり、かつ、最適なアーキテクチャを特定するために必要とされる反復が全体としてより少なくなるという利点を有し、これにより、最適なアーキテクチャを特定するために必要とされるリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することが可能となる。
さらに、本発明のさらなる実施形態によれば、人工ニューラルネットワークの最適なアーキテクチャを特定するためのシステムであって、人工ニューラルネットワークの複数の可能なアーキテクチャの集合を提供するように構成された提供ユニットと、人工ニューラルネットワークの複数の可能なアーキテクチャの集合を、有向グラフに写像するように構成された写像ユニットであって、有向グラフのノードは、複数の可能なアーキテクチャのうちの１つの可能なアーキテクチャのそれぞれ１つの部分集合をシンボリックに表し、始端ノードは、入力層をシンボリックに表し、有向グラフの終端ノードは、出力層を含むそれぞれ１つの部分集合をシンボリックに表し、有向グラフのエッジは、それぞれ部分集合間の可能なリンクをシンボリックに表す、写像ユニットと、有向グラフのそれぞれのエッジごとに、当該対応するエッジへのそれぞれ１つのフローを対応付けるように構成された対応付けユニットと、有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジを規定するように構成された規定ユニットと、特定ユニットであって、当該特定ユニットは、規定されたストラテジに基づいて始端ノードから終端ノードへの軌道を特定するステップと、特定された軌道に対する報酬を決定するステップと、軌道に対して決定された報酬と、軌道に沿ってエッジに対応付けられたフローとに基づいて、特定された軌道に対するコスト関数を決定するステップと、軌道に沿ってエッジに対応付けられたフローを、コスト関数に基づいてその都度更新するステップとを繰り返すことによって、人工ニューラルネットワークの最適なアーキテクチャを特定するように構成されており、特定された軌道がアーキテクチャ探索のための中断基準を満たすまで、軌道を特定するステップと、報酬を決定するステップと、コスト関数を決定するステップと、フローを更新するステップとが繰り返され、中断基準を満たしている軌道は、最適なアーキテクチャを表す、特定ユニットと、を含むシステムも提示される。
したがって、人工ニューラルネットワークのための最適なアーキテクチャを特定するための改善されたシステムが提示される。報酬自体が最適化されるのではなく、潜在的なアーキテクチャがそれぞれこれらのアーキテクチャに対応付けられた報酬に基づいてチェック又はテストされるということは、最適なアーキテクチャを特定する際の精度と、特に実際に最適なアーキテクチャを発見することができる確率も高めることができるという利点を有する。さらに、勾配が推定されるのではなく、有向グラフの個々のエッジに、又は、人工ニューラルネットワークの可能なアーキテクチャの部分集合間の対応付けに、対応付けられたフロー又は値が最適化されて、実際の状況に適合させられるということは、例えばノイズの影響をより受けにくくなり、かつ、最適なアーキテクチャを特定するために必要とされる反復が全体としてより少なくなるという利点を有し、これにより、最適なアーキテクチャを特定するために必要とされるリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することが可能となる。
有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジは、有向グラフのそれぞれのノードごとに、特定されるべき軌道が有向グラフの当該対応するノードを通過する確率を示すことができ、確率は、有向グラフのうちの、当該対応するノードまで延在するエッジに対応付けられたフローにそれぞれ比例し、特定ユニットは、最高の確率を有するエッジをその都度選択することによって、軌道を特定するように構成されている。したがって、ストラテジは、確率分布を再現し得る又は確率分布に基づき得るものであり、これにより、最適なアーキテクチャの特定と、特にフローの適合とを、リソースが集中的に必要となる手間のかかる適合が必要とされることなく、人工ニューラルネットワークに関連して公知の関数によって簡単に実施することが可能となる。
ストラテジが、有向グラフのそれぞれのノードごとに、特定されるべき軌道が有向グラフの当該対応するノードを通過する確率を示し、確率が、有向グラフのうちの、当該対応するノードまで延在するエッジに対応付けられたフローにそれぞれ比例し、特定ユニットが、最高の確率を有するエッジをその都度選択することによって、軌道を特定するように構成されているということは、１つの好ましい実施形態にすぎない。したがって、追加的に例えば、所定の時点に所定の確率を逸脱して他のエッジを追従することもできるということを、ストラテジが設定することもでき、これにより、特に、エッジとフローとの初期時の対応付けがランダムに実施される場合に、本方法をより迅速に収束させることが可能となる。
さらに、一実施形態においては、特定ユニットは、軌道に対する報酬を、少なくとも１つの目標コンポーネントのハードウェア状況に基づいて決定するように構成されている。したがって、相応にトレーニングされた人工ニューラルネットワークが続いて適用されるデータ処理システムの状況が、人工ニューラルネットワークの最適なアーキテクチャを特定する際に考慮される。
さらに、本発明のさらなる実施形態によれば、人工ニューラルネットワークをトレーニングするためのシステムであって、人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するように構成された第１の提供ユニットと、人工ニューラルネットワークのための最適なアーキテクチャを提供するように構成された第２の提供ユニットであって、最適なアーキテクチャは、人工ニューラルネットワークのための最適なアーキテクチャを特定するための上述したシステムによって特定される、第２の提供ユニットと、トレーニングデータと最適なアーキテクチャとに基づいて、人工ニューラルネットワークをトレーニングするように構成されたトレーニングユニットと、を含むシステムも提示される。
したがって、人工ニューラルネットワークのための最適なアーキテクチャを特定するための改善されたシステムによって特定された最適なアーキテクチャに基づいている、人工ニューラルネットワークをトレーニングするためのシステムが提示される。報酬自体が最適化されるのではなく、潜在的なアーキテクチャがそれぞれこれらのアーキテクチャに対応付けられた報酬に基づいてチェック又はテストされるということは、最適なアーキテクチャを特定する際の精度と、特に実際に最適なアーキテクチャを発見することができる確率も高めることができるという利点を有する。さらに、勾配が推定されるのではなく、有向グラフの個々のエッジに、又は、人工ニューラルネットワークの可能なアーキテクチャの部分集合間の対応付けに、対応付けられたフロー又は値が最適化されて、実際の状況に適合させられるということは、例えばノイズの影響をより受けにくくなり、かつ、最適なアーキテクチャを特定するために必要とされる反復が全体としてより少なくなるという利点を有し、これにより、最適なアーキテクチャを特定するために必要とされるリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することが可能となる。
ここでも、トレーニングデータは、センサデータを含み得る。したがって、本方法が実施される本来のデータ処理システムの外部の状況を簡単に検出して、人工ニューラルネットワークをトレーニングする際に考慮することができる。
さらに、本発明のさらなる実施形態によれば、人工ニューラルネットワークに基づいて制御可能なシステムを制御するためのシステムであって、制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するように構成された提供ユニットであって、人工ニューラルネットワークは、人工ニューラルネットワークをトレーニングするための上述したシステムによってトレーニングされている、提供ユニットと、提供された人工ニューラルネットワークに基づいて制御可能なシステムを制御するように構成された制御ユニットと、を含むシステムも提示される。
したがって、人工ニューラルネットワークに基づいて制御可能なシステムを制御するためのシステムであって、人工ニューラルネットワークが、人工ニューラルネットワークのための最適なアーキテクチャを特定するための改善されたシステムによって特定された最適なアーキテクチャに基づいている、システムが提示される。報酬自体が最適化されるのではなく、潜在的なアーキテクチャがそれぞれこれらのアーキテクチャに対応付けられた報酬に基づいてチェック又はテストされるということは、最適なアーキテクチャを特定する際の精度と、特に実際に最適なアーキテクチャを発見することができる確率も高めることができるという利点を有する。さらに、勾配が推定されるのではなく、有向グラフの個々のエッジに、又は、人工ニューラルネットワークの可能なアーキテクチャの部分集合間の対応付けに、対応付けられたフロー又は値が最適化されて、実際の状況に適合させられるということは、例えばノイズの影響をより受けにくくなり、かつ、最適なアーキテクチャを特定するために必要とされる反復が全体としてより少なくなるという利点を有し、これにより、最適なアーキテクチャを特定するために必要とされるリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することが可能となる。
さらに、本発明のさらなる実施形態によれば、コンピュータ上で実行された場合に、人工ニューラルネットワークの最適なアーキテクチャを特定するための上述した方法を実施するためのプログラムコードを含むコンピュータプログラムも提示される。
さらに、本発明のさらなる実施形態によれば、コンピュータ上で実行された場合に、人工ニューラルネットワークの最適なアーキテクチャを特定するための上述した方法を実施するためのコンピュータプログラムのプログラムコードを含むコンピュータ可読データ担体も提示される。
コンピュータプログラムと、コンピュータ可読データ担体とは、人工ニューラルネットワークのための最適なアーキテクチャを特定するための改善された方法を実施するように構成されているという利点をそれぞれ有する。報酬自体が最適化されるのではなく、潜在的なアーキテクチャがそれぞれこれらのアーキテクチャに対応付けられた報酬に基づいてチェック又はテストされるということは、最適なアーキテクチャを特定する際の精度と、特に実際に最適なアーキテクチャを発見することができる確率も高めることができるという利点を有する。さらに、勾配が推定されるのではなく、有向グラフの個々のエッジに、又は、人工ニューラルネットワークの可能なアーキテクチャの部分集合間の対応付けに、対応付けられたフロー又は値が最適化されて、実際の状況に適合させられるということは、例えばノイズの影響をより受けにくくなり、かつ、最適なアーキテクチャを特定するために必要とされる反復が全体としてより少なくなるという利点を有し、これにより、最適なアーキテクチャを特定するために必要とされるリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することが可能となる。
要約すると、本発明によれば、最適なアーキテクチャを特定する際のリソースを節約することができると同時に、最適なアーキテクチャを特定する際の精度を高めることもできる、人工ニューラルネットワークの最適なアーキテクチャを特定するための方法が提示されるということが認められる。
記載されている実施形態及び発展形態は、任意に相互に組合せ可能である。
本発明のさらなる可能な実施形態、発展形態及び実装形態は、実施例に関して上記又は下記で説明される本発明の特徴の、明示的には挙げられていない組合せも含む。
添付の図面は、本発明の実施形態のさらなる理解を提供するためのものである。これらの図面は、実施形態を図示しており、明細書に関連して本発明の原理及び概念を説明するために使用される。
その他の実施形態及び上記の利点の多くは、図面に関して明らかとなる。図示されている図面の要素は、必ずしも相互に縮尺通りに図示されているとは限らない。
本発明の実施形態による人工ニューラルネットワークの最適なアーキテクチャを特定するための方法のフローチャートである。 本発明の実施形態による人工ニューラルネットワークの最適なアーキテクチャを特定するためのシステムの概略ブロック図である。
図面の各図における同一の参照符号は、別段の記載がない限り、同一の又は機能的に同等の要素、構成部品又はコンポーネントを指す。
図１は、本発明の実施形態による人工ニューラルネットワーク１の最適なアーキテクチャを特定するための方法のフローチャートを示す。
ニューラルアーキテクチャ探索（Neural Architecture Search：ＮＡＳ）とは、一般的に、所定の問題に対する人工ニューラルネットワークの最適なアーキテクチャを自動的に開発するための方法であると理解される。このニューラルアーキテクチャ探索は、人工ニューラルネットワークの複雑な手動設計を不要にし、機械学習の自動化の１つのサブ領域である。
スケーラブルなニューラルアーキテクチャ探索方法は、勾配に基づく方法である。探索空間に含まれている、人工ニューラルネットワークのための全ての可能なアーキテクチャから、スーパーグラフが形成され、個々の可能なアーキテクチャは、スーパーグラフのサブグラフである。スーパーグラフのノードは、複数の可能なアーキテクチャのうちの１つの可能なアーキテクチャのそれぞれ１つの部分集合をシンボリックに表し、１つのノードは、それぞれ特に人工ニューラルネットワークの厳密に１つの可能な層をシンボリックに表すことができ、始端ノードは、人工ニューラルネットワークの入力層をシンボリックに表し、有向グラフの終端ノードは、複数の可能なアーキテクチャのうちの１つの可能なアーキテクチャの、出力層を含むそれぞれ１つの部分集合をシンボリックに表し、エッジは、部分集合間の可能なリンクをシンボリックに表し、それぞれのエッジには、それぞれノードを選択するためのストラテジに基づいてパラメータが対応付けられている。さらに、報酬又は収益が最大であるスーパーグラフに基づいてアーキテクチャを発見することが試みられ、人工ニューラルネットワークのための最適なアーキテクチャを特定するために勾配降下法が使用される。
図１は、方法１を示し、当該方法１は、人工ニューラルネットワークの複数の可能なアーキテクチャの集合又は対応する探索空間を提供するステップ２と、人工ニューラルネットワークの複数の可能なアーキテクチャの集合を、有向グラフに表示するステップ３であって、有向グラフのノードは、複数の可能なアーキテクチャのうちの１つの可能なアーキテクチャのそれぞれ１つの部分集合をシンボリックに表し、始端ノードは、入力層をシンボリックに表し、有向グラフの終端ノードは、出力層を含むそれぞれ１つの部分集合をシンボリックに表し、有向グラフのエッジは、部分集合間の可能なリンクをシンボリックに表す、ステップ３と、有向グラフのそれぞれのエッジごとに、当該対応するエッジへの１つのフローを対応付けるステップ４と、有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジを規定するステップ５と、人工ニューラルネットワークの最適なアーキテクチャを特定するステップ６であって、人工ニューラルネットワークの最適なアーキテクチャは、規定されたストラテジに基づいて始端ノードから終端ノードへの軌道を特定するステップ７と、特定された軌道に対する報酬を決定するステップ８と、軌道に対して決定された報酬と、軌道に沿ってエッジに対応付けられたフローとに基づいて、特定された軌道に対するコスト関数を決定するステップ９と、軌道に沿ってエッジに対応付けられたフローを、コスト関数に基づいてその都度更新するステップ１０とを繰り返すことによって特定される、ステップ６と、を含み、ステップ１１において、このようにして特定された軌道がアーキテクチャ探索のための中断基準を満たしているかどうかがチェックされ、このようにして特定された軌道が中断基準を満たしていない場合には、特定された軌道が中断基準を満たすまで、軌道を特定するステップ７と、報酬を決定するステップ８と、コスト関数を決定するステップ９と、フローを更新するステップとが繰り返され、ステップ１１において、このようにして特定された軌道が中断基準を満たしていると判定された場合には、この中断基準を満たしている軌道が、最適なアーキテクチャを表し、ステップ１２において、この最適なアーキテクチャが出力され、人工ニューラルネットワークをトレーニングするために提供される。
報酬自体が最適化されるのではなく、潜在的なアーキテクチャがそれぞれこれらのアーキテクチャに対応付けられた報酬に基づいてチェック又はテストされるということは、最適なアーキテクチャを特定する際の精度と、特に実際に最適なアーキテクチャを発見することができる確率も高めることができるという利点を有する。
さらに、勾配が推定されるのではなく、有向グラフの個々のエッジに、又は、人工ニューラルネットワークの可能なアーキテクチャの部分集合間の対応付けに、対応付けられたフロー又は値が最適化されて、実際の状況に適合させられるということは、例えばノイズの影響をより受けにくくなり、かつ、最適なアーキテクチャを特定するために必要とされる反復が全体としてより少なくなるという利点を有し、これにより、最適なアーキテクチャを特定するために必要とされるリソース、例えば、メモリ容量及び／又はプロセッサ容量を節約することが可能となる。
したがって、全体として、人工ニューラルネットワーク１のための最適なアーキテクチャを特定するための改善された方法が提示される。
特に、図１は、勾配に基づくアプローチの代わりにフロー方法の使用に基づいている方法１を示す。
複数の可能なアーキテクチャの集合、ひいては有向グラフ又はスーパーグラフも、ラベル付けされたトレーニングデータに基づくことができ、例えば、人工ニューラルネットワークをトレーニングするためのラベル付けされたセンサデータに基づくことができる。
さらに、図１の実施形態によれば、有向グラフにおけるそれぞれのノードは、人工ニューラルネットワークの厳密に１つの可能な層をシンボリックに表す。図示の方法１に基づいてアーキテクチャを、特にシーケンシャルに構築することができ、即ち、それぞれの層を個々に選択することができ、又は、どの層をどの時点で挿入すべきかをそれぞれ個々に決定することができる。このために、特に、有向グラフの個々のエッジの選択に該当するアクションの所定のセットに対して、有向グラフのリンクを設定することができる。
さらに、特定された軌道に対する報酬を決定するステップ８を、例えば、ここでも、特定された軌道によって表されるアーキテクチャが、ラベル付けされたトレーニングデータに基づいてトレーニングされるように実施することができ、得られた結果は、続いて、検証され、又は、性能に関して評価される。
さらに、ステップ９におけるコスト関数は、例えば、フローマッチングオブジェクティブ（Flow Matching Objective）を決定することによって決定可能である。しかしながらさらに、コスト関数を、例えば、詳細釣り合いオブジェクティブ（Detailed Balance Objective）及びバックワードポリシー（Backward Policy）又は軌道釣り合いオブジェクティブ（Trajectory Balance Objective）を決定することによって、決定するものとしてもよい。
さらに、軌道に沿ってエッジに対応付けられたフローを、コスト関数に基づいてその都度更新するステップ１０は、バックトラッキングアルゴリズムを使用することを含み得る。
さらに、特定された軌道に対して決定された報酬が、報酬に関する所定の目標範囲内に位置するとすぐに方法１がステップ１１を進めるように、中断基準を選択することができる。
さらに、初期フロー値は、ランダムに選択可能である。
さらに、有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジは、フロー値に基づくことができる。
図１の実施形態によれば、有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジは、有向グラフのそれぞれのノードごとに、特定されるべき軌道が有向グラフの当該対応するノードを通過する確率を示し、この確率は、有向グラフのうちの、事前に選択されたノードから当該対応するノードまで延在するエッジに対応付けられたフローにそれぞれ比例し、最高の確率を有するエッジ、及び／又は、確率に比例しているエッジをその都度選択することによって、軌道が特定される。
さらに、追加的に、所定の時点に所定の確率を逸脱して他のエッジを追従することもできるということを、ストラテジが設定する。
さらに、図１の実施形態によれば、軌道に対する報酬は、少なくとも１つの目標コンポーネントのハードウェア状況にも基づいて決定される。例えば、それぞれ軌道によって表されるアーキテクチャと、トレーニングデータとに基づいてトレーニングされた人工ニューラルネットワークの性能を決定する際に、ハードウェア要件を共に考慮することができ、ハードウェア特性には、重み付け係数を付与することができ、この重み付け係数が大きく選択されればされるほど、ハードウェア要件により大きい重点が置かれることとなる。
方法１によって特定された最適なアーキテクチャは、続いて、対応する人工ニューラルネットワークを、対応するラベル付けされたトレーニングデータに基づいてトレーニングするために使用可能である。
特に、人工ニューラルネットワークを、制御可能なシステムを制御するためにトレーニングすることができ、続いて、制御可能なシステムを制御するために使用することができ、制御可能なシステムは、例えば、自動車の組込システム、又は、自律運転自動車の機能であるものとしてよい。
しかしながら、さらに、人工ニューラルネットワークを、画像データを分類するために、特にローレベル特徴、例えば、エッジ又はピクセル属性に基づいたデジタル画像データを分類するためにトレーニングすることもできる。さらに、対応するローレベル特徴に焦点を当てた分類結果を分析するために、画像処理アルゴリズムを使用することができる。
図２は、本発明の実施形態による人工ニューラルネットワーク２０の最適なアーキテクチャを特定するためのシステムの概略ブロック図を示す。
図２の実施形態によれば、システム２０は、人工ニューラルネットワークの複数の可能なアーキテクチャの集合を提供するように構成された提供ユニット２１と、人工ニューラルネットワークの複数の可能なアーキテクチャの集合を、有向グラフに写像するように構成された写像ユニット２２であって、有向グラフのノードは、複数の可能なアーキテクチャのうちの１つの可能なアーキテクチャのそれぞれ１つの部分集合をシンボリックに表し、始端ノードは、入力層をシンボリックに表し、有向グラフの終端ノードは、出力層を含むそれぞれ１つの部分集合をシンボリックに表し、有向グラフのエッジは、部分集合間の可能なリンクをシンボリックに表す、写像ユニット２２と、有向グラフのそれぞれのエッジごとに、当該対応するエッジへのそれぞれ１つのフローを対応付けるように構成された対応付けユニット２３と、有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジを規定するように構成された規定ユニット２４と、特定ユニット２５であって、特定ユニット２５は、規定されたストラテジに基づいて始端ノードから終端ノードへの軌道を特定するステップと、特定された軌道に対する報酬を決定するステップと、軌道に対して決定された報酬と、軌道に沿ってエッジに対応付けられたフローとに基づいて、特定された軌道に対するコスト関数を決定するステップと、軌道に沿ってエッジに対応付けられたフローを、コスト関数に基づいてその都度更新するステップとを繰り返すことによって、人工ニューラルネットワークの最適なアーキテクチャを特定するように構成されており、特定された軌道がアーキテクチャ探索のための中断基準を満たすまで、軌道を特定するステップと、報酬を決定するステップと、コスト関数を決定するステップと、フローを更新するステップとが繰り返され、中断基準を満たしている軌道は、最適なアーキテクチャを表す、特定ユニット２５と、を含む。
提供ユニットは、特に、対応するデータを受信するように構成された受信機であるものとしてよい。さらに、写像ユニット、対応付けユニット、規定ユニット及び特定ユニットは、それぞれ、例えばメモリに格納された、プロセッサによって実行可能なコードに基づいて実現可能である。
ここでも、有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジは、有向グラフのそれぞれのノードごとに、特定されるべき軌道が有向グラフの当該対応するノードを通過する確率を示し、この確率は、有向グラフのうちの、当該対応するノードまで延在するエッジに対応付けられたフローにそれぞれ比例し、特定ユニットは、最高の確率を有するエッジをその都度選択することによって、軌道を特定するように構成されている。
図２の実施形態によれば、さらにここでも、特定ユニット２５は、軌道に対する報酬を、少なくとも１つの目標コンポーネントのハードウェア状況に基づいて決定するように構成されている。
さらに、システム２０は、特に、人工ニューラルネットワークの最適なアーキテクチャを特定するための上述した方法を実施するように構成可能である。

Claims (14)

  1. 人工ニューラルネットワークの最適なアーキテクチャを特定するための方法であって、
    当該方法（１）は、
    ・前記人工ニューラルネットワークの複数の可能なアーキテクチャの集合を提供するステップ（２）と、
    ・前記人工ニューラルネットワークの前記複数の可能なアーキテクチャの集合を、有向グラフに写像するステップ（３）であって、前記有向グラフのノードは、前記複数の可能なアーキテクチャのうちの１つの可能なアーキテクチャのそれぞれ１つの部分集合をシンボリックに表し、始端ノードは、入力層をシンボリックに表し、前記有向グラフの終端ノードは、出力層を含むそれぞれ１つの部分集合をシンボリックに表し、前記有向グラフのエッジは、それぞれ前記部分集合間の可能なリンクをシンボリックに表す、ステップ（３）と、
    ・前記有向グラフのそれぞれのエッジごとに、当該対応するエッジへの１つのフローを対応付けるステップ（４）と、
    ・前記有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジを規定するステップ（５）と、
    ・前記人工ニューラルネットワークの最適なアーキテクチャを特定するステップ（６）であって、前記人工ニューラルネットワークの最適なアーキテクチャは、規定された前記ストラテジに基づいて前記始端ノードから終端ノードへの軌道を特定するステップ（７）と、特定された前記軌道に対する報酬を決定するステップ（８）と、前記軌道に対して決定された前記報酬と、前記軌道に沿って前記エッジに対応付けられたフローとに基づいて、特定された前記軌道に対するコスト関数を決定するステップ（９）と、前記軌道に沿って前記エッジに対応付けられた前記フローを、前記コスト関数に基づいてその都度更新するステップ（１０）とを繰り返すことによって特定される、ステップ（６）と、
    を含み、
    特定された軌道がアーキテクチャ探索のための中断基準を満たすまで、前記軌道を特定するステップ（７）と、前記報酬を決定するステップ（８）と、前記コスト関数を決定するステップ（９）と、前記フローを更新するステップ（１０）とが繰り返され、
    前記中断基準を満たしている軌道は、前記最適なアーキテクチャを表す、方法。
  2. 前記有向グラフに基づいて最適なアーキテクチャを特定するための前記ストラテジは、前記有向グラフのそれぞれのノードごとに、特定されるべき軌道が前記有向グラフの当該対応するノードを通過する確率を示し、
    前記確率は、前記有向グラフのうちの、当該対応するノードまで延在するエッジに対応付けられたフローにそれぞれ比例し、
    最高の確率を有するエッジ、及び／又は、前記確率に比例しているエッジをその都度選択することによって、前記軌道が特定される、
    請求項１に記載の方法。
  3. 特定された前記軌道に対する前記報酬は、少なくとも１つの目標コンポーネントのハードウェア状況に基づいて決定される、
    請求項１又は２に記載の方法。
  4. 人工ニューラルネットワークをトレーニングするための方法であって、
    ・前記人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するステップと、
    ・前記人工ニューラルネットワークのための最適なアーキテクチャを提供するステップであって、前記最適なアーキテクチャは、請求項１乃至３のいずれか一項に記載の人工ニューラルネットワークの最適なアーキテクチャを特定するための方法によって特定される、ステップと、
    ・前記トレーニングデータと前記最適なアーキテクチャとに基づいて、前記人工ニューラルネットワークをトレーニングするステップと、
    を含む方法。
  5. 前記トレーニングデータは、センサデータを含む、
    請求項４に記載の方法。
  6. 人工ニューラルネットワークに基づいて制御可能なシステムを制御するための方法であって、
    ・前記制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するステップであって、前記人工ニューラルネットワークは、請求項４又は５に記載の人工ニューラルネットワークをトレーニングするための方法によってトレーニングされている、ステップと、
    ・提供された前記人工ニューラルネットワークに基づいて前記制御可能なシステムを制御するステップと、
    を含む方法。
  7. 人工ニューラルネットワークの最適なアーキテクチャを特定するためのシステムであって、
    前記人工ニューラルネットワークの複数の可能なアーキテクチャの集合を提供するように構成された提供ユニット（２１）と、
    前記人工ニューラルネットワークの前記複数の可能なアーキテクチャの集合を、有向グラフに写像するように構成された写像ユニット（２２）であって、前記有向グラフのノードは、前記複数の可能なアーキテクチャのうちの１つの可能なアーキテクチャのそれぞれ１つの部分集合をシンボリックに表し、始端ノードは、入力層をシンボリックに表し、前記有向グラフの終端ノードは、出力層を含むそれぞれ１つの部分集合をシンボリックに表し、前記有向グラフのエッジは、それぞれ前記部分集合間の可能なリンクをシンボリックに表す、写像ユニット（２２）と、
    前記有向グラフのそれぞれのエッジごとに、当該対応するエッジへのそれぞれ１つのフローを対応付けるように構成された対応付けユニット（２３）と、
    前記有向グラフに基づいて最適なアーキテクチャを特定するためのストラテジを規定するように構成された規定ユニット（２４）と、
    特定ユニット（２５）であって、当該特定ユニット（２５）は、規定された前記ストラテジに基づいて前記始端ノードから終端ノードへの軌道を特定するステップと、特定された前記軌道に対する報酬を決定するステップと、前記軌道に対して決定された報酬と、前記軌道に沿って前記エッジに対応付けられたフローとに基づいて、特定された前記軌道に対するコスト関数を決定するステップと、前記軌道に沿って前記エッジに対応付けられた前記フローを、前記コスト関数に基づいてその都度更新するステップとを繰り返すことによって、前記人工ニューラルネットワークの最適なアーキテクチャを特定するように構成されており、特定された軌道がアーキテクチャ探索のための中断基準を満たすまで、前記軌道を特定するステップと、前記報酬を決定するステップと、前記コスト関数を決定するステップと、前記フローを更新するステップとが繰り返され、前記中断基準を満たしている軌道は、前記最適なアーキテクチャを表す、特定ユニット（２５）と、
    を含むシステム。
  8. 前記有向グラフに基づいて最適なアーキテクチャを特定するための前記ストラテジは、前記有向グラフのそれぞれのノードごとに、特定されるべき軌道が前記有向グラフの当該対応するノードを通過する確率を示し、
    前記確率は、前記有向グラフのうちの、当該対応するノードまで延在するエッジに対応付けられたフローにそれぞれ比例し、
    前記特定ユニット（２５）は、最高の確率を有するエッジをその都度選択することによって、前記軌道を特定するように構成されている、
    請求項７に記載のシステム。
  9. 前記特定ユニット（２５）は、前記軌道に対する前記報酬を、少なくとも１つの目標コンポーネントのハードウェア状況に基づいて決定するように構成されている、
    請求項７又は８に記載のシステム。
  10. 人工ニューラルネットワークをトレーニングするためのシステムであって、
    前記人工ニューラルネットワークをトレーニングするためのトレーニングデータを提供するように構成された第１の提供ユニットと、
    前記人工ニューラルネットワークのための最適なアーキテクチャを提供するように構成された第２の提供ユニットであって、前記最適なアーキテクチャは、請求項７乃至９のいずれか一項に記載の人工ニューラルネットワークのための最適なアーキテクチャを特定するためのシステムによって特定される、第２の提供ユニットと、
    前記トレーニングデータと前記最適なアーキテクチャとに基づいて、前記人工ニューラルネットワークをトレーニングするように構成されたトレーニングユニットと、
    を含むシステム。
  11. 前記トレーニングデータは、センサデータを含む、
    請求項１０に記載のシステム。
  12. 人工ニューラルネットワークに基づいて制御可能なシステムを制御するためのシステムであって、
    前記制御可能なシステムを制御するようにトレーニングされた人工ニューラルネットワークを提供するように構成された提供ユニットであって、前記人工ニューラルネットワークは、請求項１０又は１１に記載の人工ニューラルネットワークをトレーニングするためのシステムによってトレーニングされている、提供ユニットと、
    提供された前記人工ニューラルネットワークに基づいて前記制御可能なシステムを制御するように構成された制御ユニットと、
    を含むシステム。
  13. コンピュータ上で実行された場合に、請求項１乃至３のいずれか一項に記載の人工ニューラルネットワークの最適なアーキテクチャを特定するための方法を実施するためのプログラムコードを含むコンピュータプログラム。
  14. コンピュータ上で実行された場合に、請求項１乃至３のいずれか一項に記載の人工ニューラルネットワークの最適なアーキテクチャを特定するための方法を実施するためのコンピュータプログラムのプログラムコードを含むコンピュータ可読データ担体。
JP2023112838A 2022-07-11 2023-07-10 人工ニューラルネットワークの最適なアーキテクチャを特定するための方法 Pending JP2024009787A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022207072.0A DE102022207072A1 (de) 2022-07-11 2022-07-11 Verfahren zum Ermitteln einer optimalen Architektur eines künstlichen neuronalen Netzes
DE102022207072.0 2022-07-11

Publications (1)

Publication Number Publication Date
JP2024009787A true JP2024009787A (ja) 2024-01-23

Family

ID=89387079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023112838A Pending JP2024009787A (ja) 2022-07-11 2023-07-10 人工ニューラルネットワークの最適なアーキテクチャを特定するための方法

Country Status (4)

Country Link
US (1) US20240013026A1 (ja)
JP (1) JP2024009787A (ja)
CN (1) CN117391215A (ja)
DE (1) DE102022207072A1 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019214625A1 (de) 2019-09-25 2021-03-25 Albert-Ludwigs-Universität Freiburg Verfahren, Vorrichtung und Computerprogramm zum Erstellen eines künstlichen neuronalen Netzes

Also Published As

Publication number Publication date
US20240013026A1 (en) 2024-01-11
CN117391215A (zh) 2024-01-12
DE102022207072A1 (de) 2024-01-11

Similar Documents

Publication Publication Date Title
KR102582194B1 (ko) 선택적 역전파
US10824959B1 (en) Explainers for machine learning classifiers
US20190205792A1 (en) Automated generation of workflows
WO2020028762A1 (en) Neural network orchestration
US20210012183A1 (en) Method and device for ascertaining a network configuration of a neural network
CN110046706A (zh) 模型生成方法、装置及服务器
CN110222848A (zh) 计算机执行的集成模型的确定方法及装置
JP2017182319A (ja) 機械学習装置
EP3502978A1 (en) Meta-learning system
WO2020078235A1 (en) Boosting ai identification learning
CN111291886B (zh) 神经网络模型的融合训练方法及装置
US11657280B1 (en) Reinforcement learning techniques for network-based transfer learning
KR20210066545A (ko) 반도체 소자의 시뮬레이션을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
US20230206054A1 (en) Expedited Assessment and Ranking of Model Quality in Machine Learning
KR101827124B1 (ko) 운전자의 주행 패턴 인식 시스템 및 방법
CN110263136A (zh) 基于强化学习模型向用户推送对象的方法和装置
AU2020103207A4 (en) A novel method of introducing basic elementary disturbances for testing machine learning models
KR20220014744A (ko) 강화 학습을 기반으로 한 데이터 전처리 시스템 및 방법
JP6701467B2 (ja) 学習装置および学習方法
JP2024009787A (ja) 人工ニューラルネットワークの最適なアーキテクチャを特定するための方法
EP3614314B1 (en) Method and apparatus for generating chemical structure using neural network
CN110717537A (zh) 训练用户分类模型、执行用户分类预测的方法及装置
US10785108B1 (en) Intelligent learning and management of a networked architecture
US20240177004A1 (en) Method for training an artificial neural network
KR102584409B1 (ko) 인공지능 학습모델 성능저하 감지 방법 및 장치