JP7357225B2 - 推論実行方法 - Google Patents

推論実行方法 Download PDF

Info

Publication number
JP7357225B2
JP7357225B2 JP2020058978A JP2020058978A JP7357225B2 JP 7357225 B2 JP7357225 B2 JP 7357225B2 JP 2020058978 A JP2020058978 A JP 2020058978A JP 2020058978 A JP2020058978 A JP 2020058978A JP 7357225 B2 JP7357225 B2 JP 7357225B2
Authority
JP
Japan
Prior art keywords
inference
neural network
candidates
data
execution device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020058978A
Other languages
English (en)
Other versions
JP2021157653A (ja
Inventor
隆 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020058978A priority Critical patent/JP7357225B2/ja
Priority to DE112021000097.7T priority patent/DE112021000097T5/de
Priority to PCT/JP2021/000756 priority patent/WO2021192497A1/ja
Publication of JP2021157653A publication Critical patent/JP2021157653A/ja
Priority to US17/675,582 priority patent/US20220172027A1/en
Application granted granted Critical
Publication of JP7357225B2 publication Critical patent/JP7357225B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Description

本開示は、推論用ニューラルネットワークを用いてデータに対して推論を実行する推論実行方法等に関する。
従来、ニューラルネットワークの事前学習を固定小数点演算の統計データに基づいて再定義する学習プログラムが提案されている（特許文献１参照）。
特許第６５２８８９３号公報
しかしながら、学習フェーズで生成した学習プログラムよりも推論フェーズの動作を行う推論プログラムの数値表現の定義域は縮小する。したがって、推論フェーズにおいて精度劣化が発生する場合がある。
そこで、本開示は、推論フェーズにおける精度劣化を抑制することが可能な推論実行方法等を提供する。
本開示の一態様に係る推論実行方法は、少なくとも１つの情報処理回路が推論用ニューラルネットワークを用いてデータに対して推論を実行するための推論実行方法であって、学習が行われた１つの学習用ニューラルネットワークから生成された複数の推論用ニューラルネットワーク候補の中から前記推論用ニューラルネットワークを選択し、前記データを順次取得し、前記推論用ニューラルネットワークを用いて、順次取得された前記データに対して前記推論を順次実行し、順次実行された前記推論の結果を順次出力し、前記データが順次取得され、前記推論が順次実行され、前記推論の結果が順次出力される推論実行期間中に、前記データを用いて、前記複数の推論用ニューラルネットワーク候補のうち１つ以上の推論用ニューラルネットワーク候補のそれぞれを評価し、評価結果に従って、前記１つ以上の推論用ニューラルネットワーク候補の中から新たな推論用ニューラルネットワークを選択することにより、前記複数の推論用ニューラルネットワーク候補の中から前記新たな推論用ニューラルネットワークを選択し、前記推論の実行に用いられる前記推論用ニューラルネットワークを前記新たな推論用ニューラルネットワークに切り替える。
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意の組み合わせで実現されてもよい。
本開示の一態様に係る推論実行方法によって、推論フェーズにおける精度劣化を抑制することが可能である。
図１は、参考例における学習実行装置の動作を示す概念図である。 図２Ａは、学習フェーズのデータ値の分布を示すグラフである。 図２Ｂは、推論フェーズのデータ値の分布を示すグラフである。 図３Ａは、ダイナミックレンジが狭く分解能が細かい場合のデータ値の分布を示すグラフである。 図３Ｂは、ダイナミックレンジが広く分解能が粗い場合のデータ値の分布を示すグラフである。 図４は、参考例における推論実行装置の動作を示す概念図である。 図５は、実施の形態における学習実行装置及び推論実行装置の構成を示すブロック図である。 図６は、実施の形態における学習実行装置の動作を示すフローチャートである。 図７は、実施の形態における推論実行装置の動作を示すフローチャートである。 図８は、実施の形態における学習実行装置の動作を示す概念図である。 図９は、実施の形態における推論実行装置の動作を示す概念図である。 図１０は、実施の形態における推論実行装置の動作の具体例を示す概念図である。 図１１は、実施の形態における観測処理を示す概念図である。 図１２Ａは、実施の形態における精度劣化判定の第１具体例を示す概念図である。 図１２Ｂは、実施の形態における精度劣化判定の第２具体例を示す概念図である。 図１２Ｃは、実施の形態における精度劣化判定の第３具体例を示す概念図である。 図１２Ｄは、実施の形態における精度劣化判定の第４具体例を示す概念図である。 図１３は、実施の形態における推論用ニューラルネットワークの切り替えのタイミングを示すタイミング図である。 図１４は、実施の形態における推論実行装置の動作の具体例を示すフローチャートである。 図１５は、実施の形態における推論用ニューラルネットワーク候補と環境状態候補との関係を示す概念図である。 図１６は、実施の形態における環境状態に基づく選択処理を示す概念図である。 図１７は、実施の形態における切り替え処理の具体例を示す概念図である。
例えば、高精度な画像認識に畳み込みニューラルネットワーク（ＣＮＮ）を用いることが注目されている。畳み込みニューラルネットワーク等のニューラルネットワーク（ＮＮ）の動作フェーズとして、学習フェーズと推論フェーズとがある。
学習フェーズでは、訓練用データを用いて、ニューラルネットワークに対する学習が行われる。具体的には、ニューラルネットワークへ入力された訓練データに対してニューラルネットワークから正解データが出力されるように、ニューラルネットワークのパラメータが調整される。推論フェーズでは、学習が行われたニューラルネットワークに実データが入力され、ニューラルネットワークから実データに対する推論の結果が出力される。
学習フェーズでは、大量の訓練データを用いて、ニューラルネットワークのパラメータが調整される。そのため、学習フェーズの演算量は大きい。したがって、処理性能の高い装置が、学習フェーズの動作を行うことが多い。一方、推論フェーズの演算量は、学習フェーズの演算量に比べて小さい。また、実データが用いられる環境において、処理性能の高い装置を準備することが困難な場合がある。したがって、処理性能の低い装置が、推論フェーズの動作を行うことが多い。
より具体的には、処理性能の高い汎用コンピュータで学習フェーズの動作が行われ、処理性能の低い組み込み装置で推論フェーズの動作が行われることが多い。したがって、学習フェーズで用いられるニューラルネットワークの数値フォーマットと、推論フェーズで用いられるニューラルネットワークの数値フォーマットとが互いに異なることが多い。
具体的には、学習フェーズでは、３２ビットの浮動小数点（ｆｐ３２ｂｉｔ）が用いられ、推論フェーズでは、８ビットの整数（ｉｎｔ８ｂｉｔ）が用いられる。すなわち、学習フェーズでは、ニューラルネットワークにおいて用いられる数値、例えばニューラルネットワークのパラメータ及びデータ値（具体的には入力データ、中間データ及び出力データ等の値）等が、３２ビットの浮動小数点で表現される。推論フェーズでは、ニューラルネットワークにおいて用いられる数値が８ビットの整数で表現される。
例えば、汎用コンピュータでｆｐ３２ｂｉｔのニューラルネットワークが得られる。そして、ｆｐ３２ｂｉｔのニューラルネットワークは、組み込み装置で利用可能になるように、ｉｎｔ８ｂｉｔのニューラルネットワークに変換される。これにより、処理性能の高い汎用コンピュータで行われた学習の結果に従って、処理性能の低い組み込み装置で推論フェーズの動作を行うことが可能になる。
図１は、参考例における学習実行装置の動作を示す概念図である。図１の例において、学習実行装置１００は、学習用ニューラルネットワーク１１０（学習用ＮＮ１１０）に対して、訓練用データセット１２０（訓練用ＤＳ１２０）を用いて、学習を行う。例えば、学習実行装置１００は、処理性能の高い汎用コンピュータであって、学習用ニューラルネットワーク１１０は、ｆｐ３２ｂｉｔのＣＮＮである。
次に、学習実行装置１００は、学習が行われた学習用ニューラルネットワーク１１０を推論用ニューラルネットワーク１４０（推論用ＮＮ１４０）に変換することにより、推論用ニューラルネットワーク１４０を生成する。例えば、推論用ニューラルネットワーク１４０は、ｉｎｔ８ｂｉｔのＣＮＮである。学習実行装置１００は、変換において、変換用データセット１３０（変換用ＤＳ１３０）を用いてもよい。変換用データセット１３０は、訓練用データセット１２０のサブセットでもよい。
例えば、学習実行装置１００は、変換用データセット１３０を学習用ニューラルネットワーク１１０に入力する。そして、学習実行装置１００は、学習用ニューラルネットワーク１１０のデータ値がｉｎｔ８ｂｉｔで可能な限り適切に表現されるように、学習用ニューラルネットワーク１１０のパラメータセットを調整する。これにより、学習実行装置１００は、学習用ニューラルネットワーク１１０を変換して、推論用ニューラルネットワーク１４０を生成する。
生成された推論用ニューラルネットワーク１４０は、組み込み装置等に導入されて、推論に用いられる。
図２Ａは、学習フェーズのデータ値の分布を示すグラフである。例えば、学習フェーズのデータ値は、汎用コンピュータにおいてｆｐ３２ｂｉｔで表現される。したがって、学習フェーズのデータ値は、最小値から最大値に亘って細かく表現される。
図２Ｂは、推論フェーズのデータ値の分布を示すグラフである。例えば、推論フェーズのデータ値は、組み込み装置においてｉｎｔ８ｂｉｔで表現される。したがって、推論フェーズのデータ値は、学習フェーズのデータ値に比べて、粗く表現される。推論フェーズのデータ値がどのように表現されるかは、数値フォーマットの変換において、ダイナミックレンジ（Ｄレンジ）と分解能とをどのように設定するかに依存する。
ダイナミックレンジは、表現可能な最小値及び最大値の範囲、つまり表現可能な値の範囲に対応する。分解能は、表現可能な値の単位、つまり表現可能な値の細かさに対応する。ｉｎｔ８ｂｉｔで表現可能な値の数は、ｆｐ３２ｂｉｔで表現可能な値の数よりも少ない。したがって、例えば、図１に示された学習実行装置１００は、学習用ニューラルネットワーク１１０の変換において、ダイナミックレンジを狭くしたり、分解能を粗くしたりする。ここで、ダイナミックレンジと分解能とは、トレードオフの関係を有する。
具体的には、分解能が細かくなると、ダイナミックレンジが狭くなる。一方、ダイナミックレンジが広くなると、分解能が粗くなる。
図３Ａは、ダイナミックレンジが狭く分解能が細かい場合のデータ値の分布を示すグラフである。この例では、分解能が細かいため、ダイナミックレンジが狭い。したがって、ダイナミックレンジが飽和する。そして、表現可能な最大値よりも大きい値、及び、表現可能な最小値よりも小さい値の発生によって、データ値の精度が劣化し、推論の精度が劣化する。
図３Ｂは、ダイナミックレンジが広く分解能が粗い場合のデータ値の分布を示すグラフである。この例では、ダイナミックレンジが広いため、分解能が粗い。したがって、データ値の精度が劣化し、推論の精度が劣化する。
図４は、参考例における推論実行装置の動作を示す概念図である。図４の例において、推論実行装置２００は、推論用ニューラルネットワーク１４０を用いて、入力映像に対して、車両を検知するための推論を実行し、推論の結果として検知した車両を検知枠で囲んだ映像を出力する。図４の出力映像は、推論実行装置２００によって出力される映像の例である。
例えば、推論実行装置２００は、処理性能の低い組み込み装置であって、推論用ニューラルネットワーク１４０は、図１に示された学習実行装置１００によってｆｐ３２ｂｉｔのＣＮＮから生成されたｉｎｔ８ｂｉｔのＣＮＮである。上述した通り、ｆｐ３２ｂｉｔのＣＮＮに比べて、ｉｎｔ８ｂｉｔのＣＮＮでは、表現可能な値の数が少ないため、推論の精度が劣化する可能性が高い。したがって、図４の例のように、誤検知及び未検知が発生する可能性が高い。
また、図１に示された学習実行装置１００によって、変換用データセット１３０を用いて推論用ニューラルネットワーク１４０が生成されるとしても、変換用データセット１３０のデータパターンを用いて決定したダイナミックレンジと分解能を持つ推論プログラムが全てのセンサ入力に対して適切でない可能性がある。したがって、一部のセンサ入力において精度劣化が発生する可能性がある。
また、上述の特許文献１には、学習フェーズにおいて小数点位置を決定することが示されている。しかしながら、上述したように、処理性能の低い組み込み装置等で推論が行われる推論フェーズでは、処理性能の高い汎用コンピュータで学習が行われる学習フェーズに比べて、表現可能な値の数が少ない数値フォーマットが用いられる場合がある。したがって、精度劣化が発生する可能性がある。
そこで、本開示の一態様に係る推論実行方法は、少なくとも１つの情報処理回路が推論用ニューラルネットワークを用いてデータに対して推論を実行するための推論実行方法であって、学習が行われた１つの学習用ニューラルネットワークから生成された複数の推論用ニューラルネットワーク候補の中から前記推論用ニューラルネットワークを選択し、前記データを順次取得し、前記推論用ニューラルネットワークを用いて、順次取得された前記データに対して前記推論を順次実行し、順次実行された前記推論の結果を順次出力し、前記データが順次取得され、前記推論が順次実行され、前記推論の結果が順次出力される推論実行期間中に、前記複数の推論用ニューラルネットワーク候補の中から新たな推論用ニューラルネットワークを選択し、前記推論の実行に用いられる前記推論用ニューラルネットワークを前記新たな推論用ニューラルネットワークに切り替える。
これにより、推論フェーズにおいて、複数の推論用ニューラルネットワーク候補の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
例えば、前記複数の推論用ニューラルネットワーク候補は、互いに異なるダイナミックレンジと、互いに異なる分解能とを有する。
これにより、ダイナミックレンジ及び分解能が異なる複数の推論用ニューラルネットワーク候補の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、前記複数の推論用ニューラルネットワーク候補は、前記データがセンシングによって取得される環境状態の複数の候補である複数の環境状態候補にそれぞれ対応する。
これにより、複数の環境状態候補にそれぞれ対応する複数の推論用ニューラルネットワーク候補の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、前記環境状態は、場所、照度又は時間帯に関する属性を含む。
これにより、複数の場所、複数の照度、又は、複数の時間帯にそれぞれ対応する複数の推論用ニューラルネットワーク候補の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、前記推論実行期間中に、前記データを用いて、前記複数の推論用ニューラルネットワーク候補のうち１つ以上の推論用ニューラルネットワーク候補のそれぞれを評価し、評価結果に従って、前記１つ以上の推論用ニューラルネットワーク候補の中から前記新たな推論用ニューラルネットワークを選択する。
これにより、複数の推論用ニューラルネットワーク候補の中から評価結果に従って推論用ニューラルネットワークを適切に選択することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、前記推論実行期間中に、前記複数の推論用ニューラルネットワーク候補のうち、前記推論におけるデータ値を許容範囲に含むダイナミックレンジを有する少なくとも１つの推論用ニューラルネットワーク候補の中で、最も高い分解能を有するニューラルネットワークを前記新たな推論用ニューラルネットワークとして選択する。
これにより、複数の推論用ニューラルネットワーク候補の中から、データ値を適切に表現することが可能な推論用ニューラルネットワークを選択することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、さらに、前記環境状態を計測する計測器から前記環境状態を取得し、前記推論実行期間中に、前記環境状態に従って、前記複数の環境状態候補にそれぞれ対応する前記複数の推論用ニューラルネットワーク候補の中から、前記環境状態に対応するニューラルネットワークを前記新たな推論用ニューラルネットワークとして選択する。
これにより、複数の推論用ニューラルネットワーク候補の中から環境状態に従って推論用ニューラルネットワークを適切に選択することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、前記推論実行期間中に、前記推論の精度劣化の有無を判定し、前記精度劣化があると判定された場合に、前記新たな推論用ニューラルネットワークを選択し、前記推論用ニューラルネットワークを前記新たな推論用ニューラルネットワークに切り替える。
これにより、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、前記推論実行期間中に、前記推論におけるデータ値、及び、前記推論の結果に関する尤度のうち、少なくとも一方に従って、前記精度劣化の有無を判定する。
これにより、データ値又は尤度に従って、精度劣化の有無を適切に判定することが可能になる場合がある。したがって、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。
また、例えば、前記データ値が第１範囲内でない場合に、前記精度劣化があると判定する。
これにより、データ値がダイナミックレンジ等の範囲を超える場合に、精度劣化があると適切に判定することが可能になる場合がある。したがって、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。
また、例えば、前記データ値を予測し、予測された前記データ値が第２範囲内でない場合に、前記精度劣化があると判定する。
これにより、予測されたデータ値がダイナミックレンジ等の範囲を超える場合に、精度劣化があると適切に判定することが可能になる場合がある。したがって、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。
また、例えば、前記データの第１区間に亘って継続的に前記データ値が第３範囲内である場合に、前記精度劣化があると判定する。
これにより、ダイナミックレンジが大きく、継続してデータ値が範囲内に含まれる場合に、精度劣化があると適切に判定することが可能になる場合がある。したがって、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。
また、例えば、前記データの第２区間に亘って継続的に前記尤度が基準よりも低い場合に、前記精度劣化があると判定する。
これにより、継続して適切な尤度が得られない場合に、精度劣化があると適切に判定することが可能になる場合がある。したがって、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。
また、例えば、前記推論実行期間中に、周期的に、前記新たな推論用ニューラルネットワークを選択し、前記推論用ニューラルネットワークを前記新たな推論用ニューラルネットワークに切り替える。
これにより、周期的に、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに切り替えることが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、さらに、前記データがセンシングによって取得される環境状態を計測する計測器から前記環境状態を取得し、前記推論実行期間中に、前記環境状態が変化した場合に、前記新たな推論用ニューラルネットワークを選択し、前記推論用ニューラルネットワークを前記新たな推論用ニューラルネットワークに切り替える。
これにより、環境状態の変化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに切り替えることが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、さらに、前記１つの学習用ニューラルネットワークから前記複数の推論用ニューラルネットワーク候補を生成する。
これにより、学習が行われた１つの学習用ニューラルネットワークから、複数の推論用ニューラルネットワーク候補を適切に取得することが可能になる場合がある。したがって、複数の推論用ニューラルネットワーク候補の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合があり、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、さらに、複数のデータセットを取得し、前記１つの学習用ニューラルネットワークから、前記複数のデータセットに従って、前記複数のデータセットにそれぞれ対応する前記複数の推論用ニューラルネットワーク候補を生成する。
これにより、複数のデータセットに従って、複数の推論用ニューラルネットワーク候補を適切に生成することが可能になる場合がある。したがって、適切に生成された複数の推論用ニューラルネットワーク候補の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合があり、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、本開示の一態様に係るプログラムは、前記推論実行方法を前記少なくとも１つの情報処理回路に実行させる。
これにより、プログラムに従って、複数の推論用ニューラルネットワーク候補の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合がある。したがって、プログラムによって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
図５は、実施の形態における学習実行装置及び推論実行装置の構成を示すブロック図である。図５のように、学習実行装置３００は、情報処理回路３５０及びメモリ３６０を備え、推論実行装置４００は、情報処理回路４５０及びメモリ４６０を備える。
学習実行装置３００は、複数の情報処理回路３５０及び複数のメモリ３６０を備えていてもよい。また、推論実行装置４００は、複数の情報処理回路４５０及び複数のメモリ４６０を備えていてもよい。また、学習実行装置３００は、メモリ３６０を備えなくてもよく、メモリ３６０は、学習実行装置３００の外部のメモリであってもよい。また、推論実行装置４００は、メモリ４６０を備えなくてもよく、メモリ４６０は、推論実行装置４００の外部のメモリであってもよい。
学習実行装置３００は、学習を実行する装置である。例えば、学習実行装置３００は、上記の学習実行装置１００に対応する装置であってもよく、処理性能の高い汎用コンピュータであってもよい。情報処理回路３５０は、情報処理を行う回路である。情報処理回路３５０は、汎用プロセッサであってもよいし、専用回路であってもよい。
学習実行装置３００が行う動作は、主に、情報処理回路３５０によって行われる。以下、情報処理回路３５０が行う動作を学習実行装置３００が行う動作として説明する場合がある。
例えば、学習実行装置３００の情報処理回路３５０は、学習用ニューラルネットワークに対して学習を実行する。そして、情報処理回路３５０は、学習が実行された学習用ニューラルネットワークから複数の推論用ニューラルネットワーク候補を生成し、複数の推論用ニューラルネットワーク候補を学習実行装置３００のメモリ３６０に格納する。
また、学習実行装置３００のメモリ３６０には、学習用ニューラルネットワークに対して学習を実行するためのプログラムが記憶されていてもよい。学習実行装置３００の情報処理回路３５０は、メモリ３６０に記憶されているプログラムを読み出して実行することにより、学習用ニューラルネットワークに対して学習を実行してもよい。
さらに、メモリ３６０には、学習用ニューラルネットワークが記憶されていてもよいし、学習用ニューラルネットワークに対して学習を実行するための訓練用データセットが記憶されていてもよい。
推論実行装置４００は、推論を実行する装置である。例えば、推論実行装置４００は、上記の推論実行装置２００に対応する装置であってもよく、処理性能の低い組み込み装置であってもよい。推論実行装置４００は、センサ５１０及び５２０に接続されていてもよい。情報処理回路４５０は、情報処理を行う回路である。情報処理回路４５０は、汎用プロセッサであってもよいし、専用回路であってもよい。
推論実行装置４００が行う動作は、主に、情報処理回路４５０によって行われる。以下、情報処理回路４５０が行う動作を推論実行装置４００が行う動作として説明する場合がある。
例えば、推論実行装置４００のメモリ４６０には、学習実行装置３００で生成された複数の推論用ニューラルネットワーク候補が格納される。複数の推論用ニューラルネットワーク候補は、学習実行装置３００のメモリ３６０から推論実行装置４００のメモリ４６０へコピーされることで、メモリ４６０に格納されてもよい。
そして、推論実行装置４００の情報処理回路４５０は、複数の推論用ニューラルネットワーク候補のうちの１つを推論用ニューラルネットワークとして用いて、センサ５１０から得られるデータに対して推論を実行する。
また、推論実行装置４００のメモリ４６０には、推論用ニューラルネットワークを用いて推論を実行するためのプログラムが記憶されていてもよい。推論実行装置４００の情報処理回路４５０は、メモリ４６０に記憶されているプログラムを読み出して実行することにより、推論用ニューラルネットワークを用いて推論を実行してもよい。
センサ５１０は、センシングによってデータを取得するセンサである。例えば、センサ５１０は、センシングによって映像を取得するイメージセンサである。センサ５１０は、音のセンシングによって音を示すデータを取得するセンサであってもよいし、においのセンシングによってにおいを示すデータを取得するセンサであってもよい。例えば、センサ５１０で取得されるデータは、時間的に変化する連続データある。
以下の説明では、主に、映像が、センサ５１０によって取得され、推論対象のデータとして用いられる。しかし、他のデータが、センサ５１０によって取得され、推論対象のデータとして用いられてもよい。
センサ５２０は、環境状態を計測するセンサである。具体的には、センサ５２０は、データがセンシングによって取得される環境状態を計測する。センサ５２０によって計測される環境状態は、センサ５１０によってデータが取得される際の場所、照度又は時間帯に関連していてもよい。
例えば、センサ５２０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍｕ）に対応する位置センサであってもよい。あるいは、センサ５２０は、照度センサであってもよい。また、センサ５２０は、環境状態を計測する計測器とも表現され得る。センサ５２０は、計測器として、センサ５１０によってデータが取得される際の時間帯を計測してもよい。センサ５２０は、複数のセンサの組み合わせであってもよい。
センサ５１０によって取得されたデータが推論実行装置４００に入力され、センサ５１０によって取得されたデータに対して、推論が行われる。具体的には、センサ５１０によって取得されたデータは映像であって、映像に対して車両又は歩行者などの物体の検知が推論として行われる。センサ５２０によって計測された環境状態は、推論用ニューラルネットワークの切り替えに用いられてもよい。
図６は、図５に示された学習実行装置３００の動作を示すフローチャートである。まず、学習実行装置３００は、学習用ニューラルネットワークに対して学習を行う（Ｓ１０１）。例えば、学習用ニューラルネットワークは、ｆｐ３２ｂｉｔのＣＮＮである。
そして、学習実行装置３００は、学習が行われた１つの学習用ニューラルネットワークから、複数の推論用ニューラルネットワーク候補を生成する（Ｓ１０２）。例えば、複数の推論用ニューラルネットワーク候補のそれぞれは、ｉｎｔ８ｂｉｔのＣＮＮである。複数の推論用ニューラルネットワーク候補は、パラメータ及びデータ値等の数値に対して、互いに異なるダイナミックレンジ、及び、互いに異なる分解能を有する。
図７は、図５に示された推論実行装置４００の動作を示すフローチャートである。まず、推論実行装置４００は、複数の推論用ニューラルネットワーク候補の中から推論用ニューラルネットワークを選択する（Ｓ２０１）。複数の推論用ニューラルネットワーク候補は、学習用ニューラルネットワークから学習実行装置３００で生成された複数のニューラルネットワークである。
次に、推論実行装置４００は、推論用ニューラルネットワークに入力されるデータを取得する（Ｓ２０２）。例えば、推論実行装置４００は、車両を検知するための映像を取得する。次に、推論実行装置４００は、推論用ニューラルネットワークを用いて、推論を実行する（Ｓ２０３）。例えば、推論実行装置４００は、取得したデータに対して、車両を検知するための推論を実行する。次に、推論実行装置４００は、推論の結果を出力する（Ｓ２０４）。例えば、推論実行装置４００は、車両の検知結果を出力する。
次に、推論実行装置４００は、推論用ニューラルネットワークの再選択条件が満たされるか否かを判定する（Ｓ２０５）。例えば、再選択条件は、精度劣化があること、環境状態が変化したこと、及び、周期的なタイミングに該当することの少なくとも１つであってもよい。
より具体的には、例えば、推論実行装置４００は、精度劣化がある場合、環境状態が変化した場合、及び、周期的なタイミングに該当する場合のいずれかにおいて、再選択条件が満たされると判定してもよい。あるいは、推論実行装置４００は、周期的なタイミングにおいて、精度劣化があるか否か、又は、環境状態が変化したか否かを判定し、精度劣化がある場合において、又は、環境状態が変化した場合において、再選択条件が満たされると判定してもよい。
再選択条件が満たされない場合（Ｓ２０５でＮｏ）、データの取得（Ｓ２０２）から処理が繰り返される。
再選択条件が満たされる場合（Ｓ２０５でＹｅｓ）、推論実行装置４００は、複数の推論用ニューラルネットワーク候補の中から新たな推論用ニューラルネットワークを選択する（Ｓ２０６）。そして、推論実行装置４００は、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに切り替える（Ｓ２０７）。そして、データの取得（Ｓ２０２）から処理が繰り返される。推論実行装置４００は、終了条件が満たされる場合に、一連の処理を終了してもよい。
これにより、推論実行装置４００は、複数の推論用ニューラルネットワーク候補の中から適応的に推論用ニューラルネットワークを適用することができる。したがって、推論実行装置４００は、精度劣化を抑制することができる。以下、学習実行装置３００及び推論実行装置４００のより具体的な動作を示す。
図８は、図５に示された学習実行装置３００の動作を示す概念図である。学習実行装置３００は、学習用ニューラルネットワーク３１０（学習用ＮＮ３１０）に対して、訓練用データセット３２０（訓練用ＤＳ３２０）を用いて、学習を行う。例えば、学習用ニューラルネットワーク３１０は、ｆｐ３２ｂｉｔのＣＮＮである。
具体的には、学習用ニューラルネットワーク３１０へ入力された訓練用データセット３２０に対して学習用ニューラルネットワーク３１０から正解データが出力されるように、学習用ニューラルネットワーク３１０のパラメータセットが調整される。
次に、学習実行装置３００は、学習が行われた１つの学習用ニューラルネットワーク３１０を３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３（候補３４１、３４２及び３４３）に変換する。これにより、学習実行装置３００は、３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３を生成する。例えば、３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３のそれぞれは、ｉｎｔ８ｂｉｔのＣＮＮである。
学習実行装置３００は、変換において、３つの変換用データセット３３１、３３２及び３３３（変換用ＤＳ３３１、３３２及び３３３）を用いてもよい。３つの変換用データセット３３１、３３２及び３３３のそれぞれは、訓練用データセット３２０のサブセットでもよい。
例えば、学習実行装置３００は、変換用データセット３３１を学習用ニューラルネットワーク３１０に入力する。そして、学習実行装置３００は、学習用ニューラルネットワーク３１０のデータ値がｉｎｔ８ｂｉｔで可能な限り適切に表現されるように、学習用ニューラルネットワーク３１０のパラメータセットを調整する。これにより、学習実行装置３００は、学習用ニューラルネットワーク３１０を変換して、推論用ニューラルネットワーク候補３４１を生成する。
同様に、学習実行装置３００は、変換用データセット３３２を用いて、学習用ニューラルネットワーク３１０を変換して、推論用ニューラルネットワーク候補３４２を生成する。また、学習実行装置３００は、変換用データセット３３３を用いて、学習用ニューラルネットワーク３１０を変換して、推論用ニューラルネットワーク候補３４３を生成する。
上記に従って、学習実行装置３００は、学習用ニューラルネットワーク３１０から、ダイナミックレンジ及び分解能が互いに異なる３つの量子化ニューラルネットワークを３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３として生成する。
学習実行装置３００は、ユーザによって指定されたダイナミックレンジ及び分解能の少なくとも一方に従って、学習用ニューラルネットワーク３１０から、３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３を生成してもよい。ダイナミックレンジ及び分解能は、学習用ニューラルネットワーク３１０の中間層毎に指定されてもよい。
例えば、変換用データセット３３１が学習用ニューラルネットワーク３１０に入力された場合のデータ値がユーザによって中間層毎に観測されてもよい。そして、中間層毎に、観測されたデータ値に従って、ダイナミックレンジ及び分解能がユーザによって指定されてもよい。そして、ユーザによって指定されたダイナミックレンジ又は分解能に従って、学習用ニューラルネットワーク３１０が変換され、推論用ニューラルネットワーク候補３４１が生成されてもよい。
同様に、変換用データセット３３２を用いて、学習用ニューラルネットワーク３１０のデータ値がユーザによって観測され、ダイナミックレンジ及び分解能がユーザによって指定されることにより、推論用ニューラルネットワーク候補３４２が生成されてもよい。また、変換用データセット３３３を用いて、学習用ニューラルネットワーク３１０のデータ値がユーザによって観測され、ダイナミックレンジ及び分解能がユーザによって指定されることにより、推論用ニューラルネットワーク候補３４３が生成されてもよい。
３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３は、それぞれ、３つのパラメータセット３６１、３６２及び３６３で表現されてもよい。ここで、３つのパラメータセット３６１、３６２及び３６３のそれぞれは、ニューラルネットワークの各層のパラメータ値を示す。そして、３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３を表す３つのパラメータセット３６１、３６２及び３６３が、パラメータ設定情報３７０として、学習実行装置３００のメモリ３６０に格納されてもよい。
生成された３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３は、推論実行装置４００に導入されて、推論に用いられる。そのため、３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３を表す３つのパラメータセット３６１、３６２及び３６３が、推論実行装置４００のメモリ４６０に格納されてもよい。
図９は、図５に示された推論実行装置４００の動作を示す概念図である。例えば、推論実行装置４００は、入力映像に対して、車両を検知するための推論を実行し、推論の結果を出力映像として出力する。
その際、推論実行装置４００は、３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３の中から、推論用ニューラルネットワークを選択する。３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３のそれぞれは、学習実行装置３００によってｆｐ３２ｂｉｔのＣＮＮから生成されたｉｎｔ８ｂｉｔのＣＮＮである。そして、推論実行装置４００は、推論用ニューラルネットワークを用いて、推論を実行する。
図４に示された推論実行装置２００は、固定のパラメータセットを有する固定の推論用ニューラルネットワーク１４０を用いて、推論を実行する。そのため、誤検知及び未検知等が発生する。一方、図９に示された推論実行装置４００は、３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３の中から推論用ニューラルネットワークを切り替えて、推論を実行することができる。
具体的には、推論実行装置４００は、評価シーンに対応する入力映像に対して、３つの推論用ニューラルネットワーク候補３４１、３４２及び３４３のそれぞれのパラメータセットを評価し、入力映像に適したパラメータセットを選択することができる。つまり、推論実行装置４００は、入力映像に対してパラメータセットを動的に切り替えることができる。したがって、推論実行装置４００は、誤検知及び未検知の発生を抑制することができる。
図１０は、図５に示された推論実行装置４００の動作の具体例を示す概念図である。例えば、推論実行装置４００は、複数の推論用ニューラルネットワーク候補３４１～３４３の中から選択される推論用ニューラルネットワーク３４０（推論用ＮＮ３４０）を用いて、入力映像に対して推論を実行する。
さらに、推論の実行時において、推論実行装置４００は、推論用ニューラルネットワーク３４０を評価する。例えば、推論実行装置４００は、推論の結果に関する尤度と、中間層のデータ値を観測し、推論の精度を評価する。その際、推論実行装置４００は、評価関数に従って、推論用ニューラルネットワーク３４０の評価値を算出してもよい。
具体的には、推論実行装置４００は、推論用ニューラルネットワーク３４０のデータ値がダイナミックレンジに対応する範囲に含まれているか等に従って、推論用ニューラルネットワーク３４０を評価してもよい。入力映像が時間ｔに対して変化するため、推論用ニューラルネットワーク３４０の評価値も時間ｔに対して変化する。
例えば、推論実行装置４００は、推論用ニューラルネットワーク３４０の評価結果（つまり評価値）の低下を精度劣化の予兆と判定する。推論実行装置４００は、評価値が閾値を下回った場合、精度劣化があると判定してもよい。
精度劣化があると判定された場合、推論実行装置４００は、複数の候補３４１～３４３のそれぞれを評価する。推論実行装置４００は、推論用ニューラルネットワーク３４０として選択されている候補を除いて、複数の候補３４１～３４３のそれぞれを評価してもよい。推論実行装置４００は、推論用ニューラルネットワーク３４０の評価と同じように、入力映像を用いて、複数の候補３４１～３４３のそれぞれを評価してもよい。
具体的には、推論実行装置４００は、評価関数に従って、候補３４１～３４３のそれぞれの評価値を算出してもよい。例えば、推論実行装置４００は、候補３４１～３４３のそれぞれに入力映像を入力し、候補３４１～３４３のそれぞれにおいてデータ値がダイナミックレンジに対応する範囲に含まれているか等に従って、候補３４１～３４３のそれぞれを評価してもよい。そして、推論実行装置４００は、評価結果の高い候補を選択し、選択された候補に推論用ニューラルネットワーク３４０を切り替える。
例えば、推論実行装置４００は、候補３４１～３４３のうち、ダイナミックレンジに対応する範囲にデータ値が含まれる少なくとも１つの候補の中で、最も高い分解能を有する候補を選択して、選択された候補に推論用ニューラルネットワーク３４０を切り替える。
これにより、推論実行装置４００は、適切なダイナミックレンジ及び分解能に従って、推論を実行することができる。したがって、推論実行装置４００は、推論の結果を適切に出力することができる。
図１１は、図５に示された推論実行装置４００が行う観測処理を示す概念図である。例えば、候補３４１～３４３のそれぞれは、入力層、複数の中間層、及び、出力層を含む。候補３４１～３４３から選択される推論用ニューラルネットワーク３４０も、入力層、複数の中間層、及び、出力層を含む。
例えば、推論用ニューラルネットワーク３４０の第１中間層（中間層＃１）は、５ビットに対応するダイナミックレンジと、１１ビットに対応する分解能を有する。また、推論用ニューラルネットワーク３４０の第２中間層（中間層＃２）は、７ビットに対応するダイナミックレンジと、９ビットに対応する分解能を有する。推論用ニューラルネットワーク３４０の出力層は、車両クラス及び歩行者クラスを含む複数のクラスのそれぞれの尤度を示す。
このような推論用ニューラルネットワーク３４０に対して、入力映像が入力された場合におけるデータ値及び尤度のそれぞれの変化がモニタリングされる。そして、モニタリングされたデータ値及び尤度の少なくとも一方に従って、推論用ニューラルネットワーク３４０が評価され、精度劣化の有無が判定される。具体的には、ダイナミックレンジの飽和境界に対するデータ値の分布、又は、尤度の高さに従って、精度劣化の有無が判定される。
図１２Ａは、図５に示された推論実行装置４００が行う精度劣化判定の第１具体例を示す概念図である。例えば、推論実行装置４００は、データ値が第１閾値範囲内でない場合、精度劣化があると判定する。つまり、推論実行装置４００は、データ値が第１閾値範囲を超えたことを精度劣化の予兆として検知する。第１閾値範囲は、ダイナミックレンジに対応する最大範囲に対して８０％等の割合で定められてもよい。
例えば、データ値が、ダイナミックレンジに対応する最大範囲を超えた場合、データ値が適切に表現されず、精度劣化が発生すると想定される。したがって、データ値が第１閾値範囲を超えるか否かに従って、精度劣化があるか否かを判定することは有用である。
図１２Ｂは、図５に示された推論実行装置４００が行う精度劣化判定の第２具体例を示す概念図である。例えば、推論実行装置４００は、データ値を予測し、予測されたデータ値が第２閾値範囲内でない場合、精度劣化があると判定する。つまり、推論実行装置４００は、予測されたデータ値が第２閾値範囲を超えたことを精度劣化の予兆として検知する。
具体的には、推論実行装置４００は、Ｎ－１の時点におけるデータ値と、Ｎの時点におけるデータ値との差に従って、Ｎ＋１の時点におけるデータ値を予測する。より具体的には、推論実行装置４００は、Ｎ－１の時点におけるデータ値と、Ｎの時点におけるデータ値との差に、Ｎの時点におけるデータ値を加算することで、Ｎ＋１の時点におけるデータ値を予測する。そして、推論実行装置４００は、予測されたデータ値が第２閾値範囲を超えるか否かによって、精度劣化があるか否かを判定する。
Ｎ－１の時点、Ｎの時点、及び、Ｎ＋１の時点は、それぞれ、入力映像におけるＮ－１番目のフレーム、Ｎ番目のフレーム、及び、Ｎ＋１番目のフレームに対応していてもよい。第２閾値範囲は、図１２Ａの例の第１閾値範囲と同様に、ダイナミックレンジに対応する最大範囲に対して８０％等の割合で定められてもよい。あるいは、図１２Ａの例の第１閾値範囲とは異なる割合で、第２閾値範囲が定められてもよい。つまり、第２閾値範囲は、第１閾値範囲と同じであってもよいし、第１閾値範囲と異なっていてもよい。
図１２Ｃは、図５に示された推論実行装置４００が行う精度劣化判定の第３具体例を示す概念図である。例えば、推論実行装置４００は、入力映像であるデータの第１区間に亘って継続的にデータ値が第３閾値範囲内である場合、精度劣化があると判定する。つまり、推論実行装置４００は、第１区間に亘って継続的にデータ値が第３閾値範囲内であることを精度劣化の予兆として検知する。
第１区間は、データに対する時間的な区間である。第１区間は、１０分間等の時間間隔であってもよいし、入力映像であるデータに対して５００フレーム等のデータ量で定められてもよい。第３閾値範囲は、ダイナミックレンジに対応する最大範囲に対して５０％等の割合で定められてもよい。第３閾値範囲は、第１閾値範囲及び第２閾値範囲の少なくとも一方と同じであってもよいし、第１閾値範囲とも第２閾値範囲とも異なっていてもよい。特に、第３閾値範囲は、第１閾値範囲及び第２閾値範囲に比べて小さくてもよい。
例えば、データ値が小さい範囲で継続的に推移している場合、分解能が粗い状態が続いていると想定される。したがって、第１区間に亘って継続的にデータ値が第３閾値範囲内であるか否かに従って、精度劣化があるか否かを判定することは有用である。
図１２Ｄは、図５に示された推論実行装置４００が行う精度劣化判定の第４具体例を示す概念図である。例えば、推論実行装置４００は、入力映像であるデータの第２区間に亘って継続的に尤度が基準よりも低い場合、精度劣化があると判定する。つまり、推論実行装置４００は、第２区間に亘って継続的に尤度が基準よりも低いことを精度劣化の予兆として検知する。
具体的には、推論実行装置４００は、基準である尤度閾値よりも出力層における尤度が低い状態が継続している場合に、精度劣化があると判定してもよい。この尤度閾値は、他のクラスによって相対的に定められてもよい。つまり、推論実行装置４００は、評価対象のクラスの尤度と、他のクラスの尤度との差が小さい状態が継続している場合に、精度劣化があると判定してもよい。評価対象のクラスは、尤度が最も高いクラスであってもよい。他のクラスは、尤度が次に高いクラスであってもよい。
第２区間は、図１２Ｃの例の第１区間と同様に、データに対する時間的な区間である。第２区間は、１０分間等の時間間隔であってもよいし、入力映像であるデータに対して５００フレーム等のデータ量で定められてもよい。第２区間の長さは、第１区間の長さと同じであってもよいし、異なっていてもよい。
例えば、高い尤度が得られない状態が継続している場合、適切な推論が実行されていない可能性がある。つまり、高い尤度が得られない状態が継続している場合、精度劣化が発生している可能性がある。したがって、第２区間に亘って継続的に尤度が基準よりも低いか否かに従って、精度劣化があるか否かを判定することは有用である。
上記の４つの精度劣化判定条件は、組み合わされてもよい。例えば、推論実行装置４００は、４つの精度劣化判定条件のうち、１つの精度劣化判定条件が満たされる場合に、推論実行装置４００は、精度劣化があると判定してもよい。あるいは、４つの精度劣化判定条件のうち、２つ以上の精度劣化判定条件が満たされる場合に、精度劣化があると判定してもよい。
特に、第３具体例と第４具体例とは、組み合わされてもよい。具体的には、推論実行装置４００は、判定処理区間に亘って継続的にデータ値が第３閾値範囲内であり、かつ、同じ判定処理区間に亘って継続的に尤度が基準よりも低い場合、精度劣化があると判定してもよい。これにより、精度劣化があるか否かが適切に判定される。
また、推論実行装置４００は、センサ５２０から取得される環境状態に従って、精度劣化があるか否かを判定してもよい。例えば、推論実行装置４００は、センサ５２０から取得される環境状態が変化した場合、精度劣化があると判定してもよい。具体的には、推論実行装置４００は、センサ５２０から取得される環境状態が第１環境状態候補に対応する第１区分から第２環境状態候補に対応する第２区分へ変化した場合、精度劣化があると判定してもよい。
図１３は、図５に示された推論実行装置４００において用いられる推論用ニューラルネットワークの切り替えのタイミングを示すタイミング図である。推論実行装置４００は、精度劣化があると判定された場合、つまり、精度劣化の予兆が検知された場合、複数の推論用ニューラルネットワーク候補の評価に従って、新たな推論用ニューラルネットワークを選択する。そして、推論実行装置４００は、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに切り替える。
図１３の例において、第３フレーム（フレーム＃３）において、精度劣化の予兆が検知され、第４フレーム（フレーム＃４）及び第５フレーム（フレーム＃５）を用いて、複数の推論用ニューラルネットワーク候補が評価される。そして、推論用ニューラルネットワークは、評価結果に従って複数の推論用ニューラルネットワーク候補の中から選択される新たな推論用ニューラルネットワークに切り替えられる。
そして、第６フレーム（フレーム＃６）以降において、新たな推論用ニューラルネットワークを用いて推論が実行される。すなわち、第５フレーム（フレーム＃５）まで、旧パラメータセットの推論用ニューラルネットワークが用いられ、第６フレーム（フレーム＃６）から、新パラメータセットの新たな推論用ニューラルネットワークが用いられる。
図１４は、図５に示された推論実行装置４００の動作の具体例を示すフローチャートである。まず、推論実行装置４００は、複数の推論用ニューラルネットワーク候補の中から推論用ニューラルネットワークを選択する（Ｓ３０１）。この時、推論実行装置４００は、複数の推論用ニューラルネットワーク候補の中から、平均的な推論用ニューラルネットワーク候補を推論用ニューラルネットワークとして選択してもよい。
次に、推論実行装置４００は、推論用ニューラルネットワークに入力するための入力映像を取得する（Ｓ３０２）。例えば、推論実行装置４００は、入力映像をＮフレーム毎に取得する。つまり、推論実行装置４００は、入力映像のＮフレームを取得した後、次の処理を行う。
次に、推論実行装置４００は、取得された入力映像に対して、推論用ニューラルネットワークを用いて推論を実行する（Ｓ３０３）。次に、推論実行装置４００は、推論の結果を出力する（Ｓ３０４）。
また、推論実行装置４００は、推論用ニューラルネットワークを評価する（Ｓ３０５）。すなわち、推論実行装置４００は、推論用ニューラルネットワークのパラメータセットを評価する。そして、推論実行装置４００は、評価の結果を評価値として導出する。推論実行装置４００は、入力映像に対して推論用ニューラルネットワークを用いて推論を実行する際に、推論用ニューラルネットワークをモニタリングし、推論用ニューラルネットワークを評価してもよい。
そして、推論実行装置４００は、評価値が閾値以下であるか否かを判定する（Ｓ３０６）。評価値が閾値以下でないと判定された場合（Ｓ３０６でＮｏ）、つまり、評価値が閾値よりも高いと判定された場合、推論実行装置４００は、入力映像の取得（Ｓ３０２）から処理を繰り返す。
評価値が閾値以下であると判定された場合（Ｓ３０６でＹｅｓ）、推論実行装置４００は、複数の推論用ニューラルネットワーク候補に対して、評価対象範囲［Ｓ，Ｇ］を決定する（Ｓ３０７）。
つまり、推論実行装置４００は、複数のインデックス値によってそれぞれ示される複数の推論用ニューラルネットワーク候補のうちの評価対象の１つ以上の推論用ニューラルネットワーク候補を示すインデックス範囲を決定する。Ｓは、評価対象の１つ以上の推論用ニューラルネットワーク候補を示すインデックス範囲のうちの最小インデックス値である。Ｇは、評価対象の１つ以上の推論用ニューラルネットワーク候補を示すインデックス範囲のうちの最大インデックス値である。
次に、推論実行装置４００は、評価対象の推論用ニューラルネットワーク候補を示すインデックス値であるｉにＳを代入する（Ｓ３０８）。次に、推論実行装置４００は、ｉによって示される推論用ニューラルネットワーク候補［ｉ］を用いて、入力映像に対して推論を実行する（Ｓ３０９）。
また、推論実行装置４００は、推論用ニューラルネットワーク候補［ｉ］を評価する（Ｓ３１０）。すなわち、推論実行装置４００は、推論用ニューラルネットワーク候補［ｉ］のパラメータセットを評価する。そして、推論実行装置４００は、評価の結果を評価値として導出する。推論実行装置４００は、入力映像に対して推論用ニューラルネットワーク候補［ｉ］を用いて推論を実行する際に、推論用ニューラルネットワーク候補［ｉ］をモニタリングし、推論用ニューラルネットワーク候補［ｉ］を評価してもよい。
次に、推論実行装置４００は、ｉがＧに等しいか否かを判定する（Ｓ３１１）。ｉがＧに等しくないと判定された場合（Ｓ３１１でＮｏ）、推論実行装置４００は、ｉに１を加算する（Ｓ３１２）。そして、推論実行装置４００は、推論の実行（Ｓ３０９）から、処理を繰り返す。
ｉがＧに等しいと判定された場合（Ｓ３１１でＹｅｓ）、推論実行装置４００は、評価対象の１つ以上の推論用ニューラルネットワーク候補に対する１つ以上の評価値に従って、新たな推論用ニューラルネットワークを選択する（Ｓ３１３）。例えば、推論実行装置４００は、評価値が最も高い推論用ニューラルネットワーク候補を新たな推論用ニューラルネットワークとして選択する。そして、推論実行装置４００は、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに切り替える（Ｓ３１４）。
推論実行装置４００は、センサ５２０によって計測された環境状態に従って、複数の推論用ニューラルネットワーク候補の中から、環境状態に対応する推論用ニューラルネットワークを選択してもよい。そのため、学習実行装置３００は、複数の環境状態候補に対応する複数の推論用ニューラルネットワーク候補を生成してもよい。
図１５は、図５に示された学習実行装置３００によって生成される推論用ニューラルネットワーク候補と環境状態候補との関係を示す概念図である。図８に示された例と同様に、学習実行装置３００は、複数の推論用ニューラルネットワーク候補３４１～３４３を生成する。図１５に示された例では、さらに、複数の推論用ニューラルネットワーク候補３４１～３４３が、複数の環境状態候補にそれぞれ対応付けられる。
具体的には、図１５の例において、推論用ニューラルネットワーク候補３４１には、市街地及び人込みの場所と、７０ｋｌｘ、日中及び晴れの照度とに対応付けられる。推論用ニューラルネットワーク候補３４２には、環状線の場所と、９ｋｌｘ、日中及び曇りの照度とに対応付けられる。推論用ニューラルネットワーク候補３４３には、高速道路の場所と、０．０５ｋｌｘ、夜間及び晴れの照度とに対応付けられる。
このような対応付けは、複数の変換用データセット３３１～３３３に従って定められてもよい。
つまり、変換用データセット３３１は、市街地及び人込みの場所と、７０ｋｌｘ、日中及び晴れの照度とに対応するデータセットであってもよい。また、変換用データセット３３２は、環状線の場所と、９ｋｌｘ、日中及び曇りの照度とに対応するデータセットであってもよい。また、変換用データセット３３３は、市街地及び人込みの場所と、高速道路の場所と、０．０５ｋｌｘ、夜間及び晴れの照度とに対応するデータセットであってもよい。
学習実行装置３００は、複数の推論用ニューラルネットワーク候補３４１～３４３と、複数の環境状態候補と、それらの対応関係とを示す情報を学習実行装置３００のメモリ３６０に格納してもよい。そして、それらを示す情報が、学習実行装置３００のメモリ３６０から推論実行装置４００のメモリ４６０へコピーされてもよい。
図１６は、図５に示された推論実行装置４００が環境状態に従って行う選択処理を示す概念図である。
例えば、推論実行装置４００は、センサ５２０から環境状態を取得する。センサ５２０として、場所の情報を取得するための位置センサ、及び、照度の情報を取得するための照度センサが用いられてもよい。
そして、推論実行装置４００は、センサ５２０から取得された環境状態に従って、複数の推論用ニューラルネットワーク候補３４１～３４３のうち、環境状態に対応する推論用ニューラルネットワーク候補を新たな推論用ニューラルネットワークとして選択する。そして、推論実行装置４００は、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに切り替える。
図１５及び図１６の例において、場所と照度とが用いられているが、場所、照度、又は、これらの両方に代えて、他の情報が用いられてもよいし、これらの両方に加えて他の情報が用いられてもよい。例えば、時間帯が、用いられてもよい。
図１７は、図５に示された推論実行装置４００が行う切り替え処理の具体例を示す概念図である。例えば、推論実行装置４００の情報処理回路４５０は、演算回路４７０及びメモリコントローラ４８０を含む。メモリ４６０には、複数の推論用ニューラルネットワーク候補３４１～３４３にそれぞれ対応する複数のパラメータセット３６１～３６３が記憶されている。
この例において、演算回路４７０は、フレーム毎に、読み出し対象のパラメータセットを読み出す。具体的には、まず、演算回路４７０は、メモリコントローラ４８０を介して、複数のパラメータセット３６１～３６３のうち、選択された推論用ニューラルネットワーク候補３４１に対応するパラメータセット３６１を読み出し対象のパラメータセットとして読み出す。そして、演算回路４７０は、パラメータセット３６１を用いて推論を実行する。
メモリコントローラ４８０は、メモリ４６０に対するアクセスを仲介する役割を有する。演算回路４７０は、推論用ニューラルネットワークの切り替えにおいて、読み出し対象のパラメータセットを指し示すポインタを更新する。具体的には、この例において、演算回路４７０は、パラメータセット３６１を指し示すポインタから、パラメータセット３６２を指し示すポインタへ、読み出し対象のパラメータセットを指し示すポインタを更新する。
これにより、演算回路４７０は、メモリコントローラ４８０を介して、複数のパラメータセット３６１～３６３のうち、新たな推論用ニューラルネットワーク候補３４２に対応するパラメータセット３６２を読み出し対象のパラメータセットとして読み出す。そして、演算回路４７０は、パラメータセット３６２を用いて推論を実行する。
これにより、推論実行装置４００は、複数のパラメータセット３６１～３６３のうち、読み出し対象のパラメータセットを適切に切り替えることができる。つまり、推論実行装置４００は、複数の推論用ニューラルネットワーク候補３４１～３４３のうち、推論用ニューラルネットワークを適切に切り替えることができる。
推論用ニューラルネットワークの切り替えは、精度劣化があると判定されたタイミングで行われてもよいし、環境状態が変化したタイミングで行われてもよいし、一定間隔に対応する周期的なタイミングで行われてもよい。また、推論用ニューラルネットワークは、入力映像などを用いる評価に従って選択されてもよいし、環境状態に従って選択されてもよい。
また、ニューラルネットワークは、畳み込みニューラルネットワークに限られず、他のニューラルネットワークであってもよい。また、複数の推論用ニューラルネットワーク候補の数は、３つに限られず、２つであってもよいし、４つ以上であってもよい。
以上の通り、例えば、本開示の一態様に係る推論実行方法では、少なくとも１つの情報処理回路（４５０）が、推論用ニューラルネットワークを用いてデータに対して推論を実行する。
具体的には、例えば、学習が行われた１つの学習用ニューラルネットワークから生成された複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から推論用ニューラルネットワークが選択される（Ｓ２０１）。そして、データが順次取得され（Ｓ２０２）、推論用ニューラルネットワークを用いて、順次取得されたデータに対して推論が順次実行され（Ｓ２０３）、順次実行された推論の結果が順次出力される（Ｓ２０４）。
また、推論実行期間中に、複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から新たな推論用ニューラルネットワークが選択される（Ｓ２０６）。ここで、推論実行期間は、データが順次取得され、推論が順次実行され、推論の結果が順次出力される期間である。そして、推論の実行に用いられる推論用ニューラルネットワークが新たな推論用ニューラルネットワークに切り替えられる（Ｓ２０７）。
これにより、推論フェーズにおいて、複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、複数の推論用ニューラルネットワーク候補（３４１～３４３）は、互いに異なるダイナミックレンジと、互いに異なる分解能とを有していてもよい。これにより、ダイナミックレンジ及び分解能が異なる複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、複数の推論用ニューラルネットワーク候補（３４１～３４３）は、データがセンシングによって取得される環境状態の複数の候補である複数の環境状態候補にそれぞれ対応していてもよい。これにより、複数の環境状態候補にそれぞれ対応する複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、環境状態は、場所、照度又は時間帯に関する属性を含んでいてもよい。これにより、複数の場所、複数の照度、又は、複数の時間帯にそれぞれ対応する複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、推論実行期間中に、順次取得されたデータを用いて、複数の推論用ニューラルネットワーク候補（３４１～３４３）のうち１つ以上の推論用ニューラルネットワーク候補のそれぞれが評価されてもよい。そして、評価結果に従って、１つ以上の推論用ニューラルネットワーク候補の中から新たな推論用ニューラルネットワークが選択されてもよい。
これにより、複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から評価結果に従って推論用ニューラルネットワークを適切に選択することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、推論におけるデータ値を許容範囲に含むダイナミックレンジを有する少なくとも１つの推論用ニューラルネットワーク候補の中で、最も高い分解能を有するニューラルネットワークが新たな推論用ニューラルネットワークとして選択せれてもよい。
これにより、複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から、データ値を適切に表現することが可能な推論用ニューラルネットワークを選択することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、環境状態を計測する計測器（５２０）から環境状態が取得されてもよい。そして、環境状態に従って、複数の環境状態候補にそれぞれ対応する複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から、環境状態に対応するニューラルネットワークが新たな推論用ニューラルネットワークとして選択されてもよい。
これにより、複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から環境状態に従って推論用ニューラルネットワークを適切に選択することが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、推論実行期間中に、推論の精度劣化の有無が判定されてもよい。そして、精度劣化があると判定された場合に、新たな推論用ニューラルネットワークが選択されてもよい。そして、推論用ニューラルネットワークが新たな推論用ニューラルネットワークに切り替えられてもよい。
これにより、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、推論実行期間中に、推論におけるデータ値、及び、推論の結果に関する尤度のうち、少なくとも一方に従って、精度劣化の有無が判定されてもよい。これにより、データ値又は尤度に従って、精度劣化の有無を適切に判定することが可能になる場合がある。したがって、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。
また、例えば、データ値が第１範囲内でない場合に、精度劣化があると判定されてもよい。これにより、データ値がダイナミックレンジ等の範囲を超える場合に、精度劣化があると適切に判定することが可能になる場合がある。したがって、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。
また、例えば、データ値が予測されてもよい。そして、予測されたデータ値が第２範囲内でない場合に、精度劣化があると判定されてもよい。これにより、予測されたデータ値がダイナミックレンジ等の範囲を超える場合に、精度劣化があると適切に判定することが可能になる場合がある。したがって、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。
また、例えば、データの第１区間に亘って継続的にデータ値が第３範囲内である場合に、精度劣化があると判定されてもよい。これにより、ダイナミックレンジが大きく、継続してデータ値が範囲内に含まれる場合に、精度劣化があると適切に判定することが可能になる場合がある。したがって、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。
また、例えば、データの第２区間に亘って継続的に尤度が基準よりも低い場合に、精度劣化があると判定されてもよい。これにより、継続して適切な尤度が得られない場合に、精度劣化があると適切に判定することが可能になる場合がある。したがって、推論の精度劣化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに適切に切り替えることが可能になる場合がある。
また、例えば、推論実行期間中に、周期的に、新たな推論用ニューラルネットワークが選択されてもよい。そして、推論用ニューラルネットワークが新たな推論用ニューラルネットワークに切り替えられてもよい。これにより、周期的に、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに切り替えることが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、さらに、データがセンシングによって取得される環境状態を計測する計測器（５２０）から環境状態が取得されてもよい。そして、推論実行期間中に、環境状態が変化した場合に、新たな推論用ニューラルネットワークが選択されてもよい。そして、推論用ニューラルネットワークが新たな推論用ニューラルネットワークに切り替えられてもよい。
これにより、環境状態の変化に従って、推論用ニューラルネットワークを新たな推論用ニューラルネットワークに切り替えることが可能になる場合がある。したがって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、１つの学習用ニューラルネットワークから複数の推論用ニューラルネットワーク候補（３４１～３４３）が生成されてもよい。
これにより、学習が行われた１つの学習用ニューラルネットワークから、複数の推論用ニューラルネットワーク候補（３４１～３４３）を適切に取得することが可能になる場合がある。したがって、複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合があり、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、複数のデータセットが取得されてもよい。そして、１つの学習用ニューラルネットワークから、複数のデータセットに従って、複数のデータセットにそれぞれ対応する複数の推論用ニューラルネットワーク候補（３４１～３４３）が生成されてもよい。
これにより、複数のデータセットに従って、複数の推論用ニューラルネットワーク候補（３４１～３４３）を適切に生成することが可能になる場合がある。したがって、適切に生成された複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合があり、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、本開示の一態様に係るプログラムは、推論実行方法を少なくとも１つの情報処理回路（４５０）に実行させてもよい。これにより、プログラムに従って、複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から適応的に推論用ニューラルネットワークを適用することが可能になる場合がある。したがって、プログラムによって、推論フェーズにおける精度劣化を抑制することが可能になる場合がある。
また、例えば、本開示の一態様に係る推論実行装置（４００）は、推論用ニューラルネットワークを用いてデータに対して推論を実行してもよい。また、推論実行装置（４００）は、情報処理回路（４５０）と、メモリ（４６０）とを備えていてもよい。また、メモリ（４６０）には、学習が行われた１つの学習用ニューラルネットワークから生成された複数の推論用ニューラルネットワーク候補（３４１～３４３）が記録されていてもよい。
また、情報処理回路（４５０）は、複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から推論用ニューラルネットワークを選択してもよい。そして、情報処理回路（４５０）は、データを順次取得し、推論用ニューラルネットワークを用いて、順次取得されたデータに対して推論を順次実行し、順次実行された推論の結果を順次出力してもよい。
また、情報処理回路（４５０）は、推論実行期間中に、複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から新たな推論用ニューラルネットワークを選択してもよい。そして、情報処理回路（４５０）は、推論の実行に用いられる推論用ニューラルネットワークを新たな推論用ニューラルネットワークに切り替えてもよい。
これにより、推論実行装置（４００）は、推論フェーズにおいて、複数の推論用ニューラルネットワーク候補（３４１～３４３）の中から適応的に推論用ニューラルネットワークを適用することができる可能性がある。したがって、推論実行装置（４００）は、推論フェーズにおける精度劣化を抑制することができる可能性がある。
また、例えば、推論におけるデータ値は、推論の途中の段階における中間データの値であってもよい。より具体的には、推論におけるデータ値は、推論用ニューラルネットワーク又はその候補を用いて推論が実行される場合に、推論用ニューラルネットワーク又はその候補の中間層から出力される中間出力データの値であってもよい。推論におけるデータ値は、実行値と表現されてもよい。また、推論におけるデータ値は、推論における中間データの最小値又は最大値であってもよい。
以上、学習実行装置及び推論実行装置の態様を実施の形態に従って説明したが、学習実行装置及び推論実行装置の態様は、実施の形態に限定されない。実施の形態に対して当業者が思いつく変形が施されてもよいし、実施の形態における複数の構成要素が任意に組み合わされてもよい。
例えば、実施の形態において特定の構成要素によって実行される処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。また、説明に用いられた第１及び第２等の序数は、適宜、付け替えられてもよい。また、構成要素などに対して、序数が新たに与えられてもよいし、取り除かれてもよい。
また、学習実行装置及び推論実行装置の各構成要素が行うステップを含む学習実行方法又は推論実行方法が任意の装置又はシステムによって実行されてもよい。例えば、学習実行方法又は推論実行方法の一部又は全部が、プロセッサ、メモリ及び入出力回路等を備えるコンピュータ（例えば情報処理回路）によって実行されてもよい。その際、コンピュータに学習実行方法又は推論実行方法を実行させるためのプログラムがコンピュータによって実行されることにより、学習実行方法又は推論実行方法が実行されてもよい。
また、非一時的なコンピュータ読み取り可能な記録媒体に、上記のプログラムが記録されていてもよい。
また、学習実行装置及び推論実行装置の各構成要素は、専用のハードウェアで構成されてもよいし、上記のプログラム等を実行する汎用のハードウェアで構成されてもよいし、これらの組み合わせで構成されてもよい。また、汎用のハードウェアは、プログラムが記録されたメモリ、及び、メモリからプログラムを読み出して実行する汎用のプロセッサ等で構成されてもよい。ここで、メモリは、半導体メモリ又はハードディスク等でもよいし、汎用のプロセッサは、ＣＰＵ等でもよい。
また、専用のハードウェアが、メモリ及び専用のプロセッサ等で構成されてもよい。例えば、専用のプロセッサが、データを記録するためのメモリを参照して、上記の学習実行方法又は推論実行方法を実行してもよい。
また、学習実行装置及び推論実行装置の各構成要素は、電気回路であってもよい。これらの電気回路は、全体として１つの電気回路を構成してもよいし、それぞれ別々の電気回路であってもよい。また、これらの電気回路は、専用のハードウェアに対応していてもよいし、上記のプログラム等を実行する汎用のハードウェアに対応していてもよい。
また、学習実行装置、推論実行装置、学習実行方法及び推論実行方法は、それぞれ、単に、学習装置、推論装置、学習方法及び推論方法とも表現され得る。また、学習実行装置及び推論実行装置のそれぞれは、分散して配置される複数の装置で構成されていてもよい。また、推論実行方法は、学習実行装置によって行われる学習実行方法を含んでいてもよい。また、学習実行装置及び推論実行装置を備える学習推論システムが、学習実行方法及び推論実行方法を含む学習推論方法を実行してもよい。
本開示は、推論用ニューラルネットワークを用いてデータに対して推論を実行する推論実行方法に利用可能であり、物体の検知を行う検知システム、及び、物体の識別を行う識別システム等に適用可能である。
１００、３００ 学習実行装置
１１０、３１０ 学習用ニューラルネットワーク（学習用ＮＮ）
１２０、３２０ 訓練用データセット（訓練用ＤＳ）
１３０、３３１、３３２、３３３ 変換用データセット（変換用ＤＳ）
１４０、３４０ 推論用ニューラルネットワーク（推論用ＮＮ）
２００、４００ 推論実行装置
３４１、３４２、３４３ 推論用ニューラルネットワーク候補（候補）
３５０、４５０ 情報処理回路
３６０、４６０ メモリ
３６１、３６２、３６３ パラメータセット
３７０ パラメータ設定情報
４７０ 演算回路
４８０ メモリコントローラ
５１０、５２０ センサ

Claims (17)

  1. 少なくとも１つの情報処理回路が推論用ニューラルネットワークを用いてデータに対して推論を実行するための推論実行方法であって、
    学習が行われた１つの学習用ニューラルネットワークから生成された複数の推論用ニューラルネットワーク候補の中から前記推論用ニューラルネットワークを選択し、
    前記データを順次取得し、
    前記推論用ニューラルネットワークを用いて、順次取得された前記データに対して前記推論を順次実行し、
    順次実行された前記推論の結果を順次出力し、
    前記データが順次取得され、前記推論が順次実行され、前記推論の結果が順次出力される推論実行期間中に、前記データを用いて、前記複数の推論用ニューラルネットワーク候補のうち１つ以上の推論用ニューラルネットワーク候補のそれぞれを評価し、評価結果に従って、前記１つ以上の推論用ニューラルネットワーク候補の中から新たな推論用ニューラルネットワークを選択することにより、前記複数の推論用ニューラルネットワーク候補の中から前記新たな推論用ニューラルネットワークを選択し、前記推論の実行に用いられる前記推論用ニューラルネットワークを前記新たな推論用ニューラルネットワークに切り替える
    推論実行方法。
  2. 前記複数の推論用ニューラルネットワーク候補は、互いに異なるダイナミックレンジと、互いに異なる分解能とを有する
    請求項１に記載の推論実行方法。
  3. 前記複数の推論用ニューラルネットワーク候補は、前記データがセンシングによって取得される環境状態の複数の候補である複数の環境状態候補にそれぞれ対応する
    請求項１又は２に記載の推論実行方法。
  4. 前記環境状態は、場所、照度又は時間帯に関する属性を含む
    請求項３に記載の推論実行方法。
  5. 前記推論実行期間中に、前記複数の推論用ニューラルネットワーク候補のうち、前記推論におけるデータ値を許容範囲に含むダイナミックレンジを有する少なくとも１つの推論用ニューラルネットワーク候補の中で、最も高い分解能を有するニューラルネットワークを前記新たな推論用ニューラルネットワークとして選択する
    請求項１～４のいずれか１項に記載の推論実行方法。
  6. さらに、前記環境状態を計測する計測器から前記環境状態を取得し、
    前記推論実行期間中に、前記環境状態に従って、前記複数の環境状態候補にそれぞれ対応する前記複数の推論用ニューラルネットワーク候補の中から、前記環境状態に対応するニューラルネットワークを前記新たな推論用ニューラルネットワークとして選択する
    請求項３又は４に記載の推論実行方法。
  7. 前記推論実行期間中に、前記推論の精度劣化の有無を判定し、前記精度劣化があると判定された場合に、前記新たな推論用ニューラルネットワークを選択し、前記推論用ニューラルネットワークを前記新たな推論用ニューラルネットワークに切り替える
    請求項１～６のいずれか１項に記載の推論実行方法。
  8. 前記推論実行期間中に、前記推論におけるデータ値、及び、前記推論の結果に関する尤度のうち、少なくとも一方に従って、前記精度劣化の有無を判定する
    請求項７に記載の推論実行方法。
  9. 前記データ値が第１範囲内でない場合に、前記精度劣化があると判定する
    請求項８に記載の推論実行方法。
  10. 前記データ値を予測し、予測された前記データ値が第２範囲内でない場合に、前記精度劣化があると判定する
    請求項８又は９に記載の推論実行方法。
  11. 前記データの第１区間に亘って継続的に前記データ値が第３範囲内である場合に、前記精度劣化があると判定する
    請求項８～１０のいずれか１項に記載の推論実行方法。
  12. 前記データの第２区間に亘って継続的に前記尤度が基準よりも低い場合に、前記精度劣化があると判定する
    請求項８～１１のいずれか１項に記載の推論実行方法。
  13. 前記推論実行期間中に、周期的に、前記新たな推論用ニューラルネットワークを選択し、前記推論用ニューラルネットワークを前記新たな推論用ニューラルネットワークに切り替える
    請求項１～１２のいずれか１項に記載の推論実行方法。
  14. さらに、前記データがセンシングによって取得される環境状態を計測する計測器から前記環境状態を取得し、
    前記推論実行期間中に、前記環境状態が変化した場合に、前記新たな推論用ニューラルネットワークを選択し、前記推論用ニューラルネットワークを前記新たな推論用ニューラルネットワークに切り替える
    請求項１～１３のいずれか１項に記載の推論実行方法。
  15. さらに、前記１つの学習用ニューラルネットワークから前記複数の推論用ニューラルネットワーク候補を生成する
    請求項１～１４のいずれか１項に記載の推論実行方法。
  16. さらに、複数のデータセットを取得し、
    前記１つの学習用ニューラルネットワークから、前記複数のデータセットに従って、前記複数のデータセットにそれぞれ対応する前記複数の推論用ニューラルネットワーク候補を生成する
    請求項１５に記載の推論実行方法。
  17. 請求項１～１６のいずれか１項に記載の推論実行方法を前記少なくとも１つの情報処理回路に実行させるためのプログラム。
JP2020058978A 2020-03-27 2020-03-27 推論実行方法 Active JP7357225B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020058978A JP7357225B2 (ja) 2020-03-27 2020-03-27 推論実行方法
DE112021000097.7T DE112021000097T5 (de) 2020-03-27 2021-01-13 Inferenzausführungsverfahren
PCT/JP2021/000756 WO2021192497A1 (ja) 2020-03-27 2021-01-13 推論実行方法
US17/675,582 US20220172027A1 (en) 2020-03-27 2022-02-18 Inference execution method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020058978A JP7357225B2 (ja) 2020-03-27 2020-03-27 推論実行方法

Publications (2)

Publication Number Publication Date
JP2021157653A JP2021157653A (ja) 2021-10-07
JP7357225B2 true JP7357225B2 (ja) 2023-10-06

Family

ID=77891698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020058978A Active JP7357225B2 (ja) 2020-03-27 2020-03-27 推論実行方法

Country Status (4)

Country Link
US (1) US20220172027A1 (ja)
JP (1) JP7357225B2 (ja)
DE (1) DE112021000097T5 (ja)
WO (1) WO2021192497A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024106294A1 (ja) * 2022-11-14 2024-05-23 ソフトバンクグループ株式会社 情報処理装置、プログラム及び情報処理システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016191966A (ja) 2015-03-30 2016-11-10 株式会社メガチップス クラスタリング装置及び機械学習装置
JP2019032833A (ja) 2017-08-04 2019-02-28 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 固定小数点量子化ニューラルネットワークのための方法及び装置
WO2019187372A1 (ja) 2018-03-30 2019-10-03 Ｎｅｃソリューションイノベータ株式会社 予測システム、モデル生成システム、方法およびプログラム
JP2019175266A (ja) 2018-03-29 2019-10-10 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 動作生成装置、モデル生成装置、動作生成方法及びプログラム
JP2019204458A (ja) 2018-05-25 2019-11-28 清水建設株式会社 電力需要予測システム、学習装置及び電力需要予測方法
JP6671694B1 (ja) 2018-11-30 2020-03-25 株式会社クロスコンパス 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
JP2020144555A (ja) 2019-03-05 2020-09-10 ダイキン工業株式会社 設備機器の制御システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0228893Y2 (ja) 1984-09-12 1990-08-02
JP3035106B2 (ja) * 1993-03-11 2000-04-17 株式会社東芝 大規模情報認識回路
US10325352B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Method and device for transforming CNN layers to optimize CNN parameter quantization to be used for mobile devices or compact networks with high precision via hardware optimization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016191966A (ja) 2015-03-30 2016-11-10 株式会社メガチップス クラスタリング装置及び機械学習装置
JP2019032833A (ja) 2017-08-04 2019-02-28 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 固定小数点量子化ニューラルネットワークのための方法及び装置
JP2019175266A (ja) 2018-03-29 2019-10-10 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 動作生成装置、モデル生成装置、動作生成方法及びプログラム
WO2019187372A1 (ja) 2018-03-30 2019-10-03 Ｎｅｃソリューションイノベータ株式会社 予測システム、モデル生成システム、方法およびプログラム
JP2019204458A (ja) 2018-05-25 2019-11-28 清水建設株式会社 電力需要予測システム、学習装置及び電力需要予測方法
JP6671694B1 (ja) 2018-11-30 2020-03-25 株式会社クロスコンパス 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
JP2020144555A (ja) 2019-03-05 2020-09-10 ダイキン工業株式会社 設備機器の制御システム

Also Published As

Publication number Publication date
US20220172027A1 (en) 2022-06-02
WO2021192497A1 (ja) 2021-09-30
JP2021157653A (ja) 2021-10-07
DE112021000097T5 (de) 2022-05-25

Similar Documents

Publication Publication Date Title
US11250591B2 (en) Target detection method, system, and non-volatile storage medium
JP6509275B2 (ja) 画像の背景差分に用いられる背景モデルを更新する方法及び装置
CN111652367A (zh) 一种数据处理方法及相关产品
CN107230215B (zh) 数据处理装置、运动检测方法、集成电路制造系统
JP7357225B2 (ja) 推論実行方法
CN112396254A (zh) 目的地预测方法、装置、介质及电子设备
CN114936085A (zh) 基于深度学习算法的etl调度方法及装置
JP7055259B2 (ja) ラベリング装置及び学習装置
KR20040091271A (ko) 영상 분할을 위한 임계치 결정 방법
JPWO2018179151A1 (ja) 映像解析装置、映像解析方法、および映像解析プログラム
JP2020504383A (ja) 画像前景の検出装置、検出方法及び電子機器
KR20210086233A (ko) 완화된 프루닝을 통한 행렬 데이터 처리 방법 및 그 장치
US20150286892A1 (en) Image processing apparatus and image processing method
KR102091473B1 (ko) 이벤트 기반 센서를 이용한 피사체의 움직임 분석 방법
Kharinov et al. Object detection in color image
CN110780820A (zh) 一种连续存储空间确定方法、装置及电子设备和存储介质
JP7500504B2 (ja) 情報処理装置、情報処理方法およびプログラム
TWI700929B (zh) 曝光補償方法及其攝影設備
CN111027592B (zh) 细粒度对象流量分析方法和装置
JP7107797B2 (ja) 情報処理方法及び情報処理システム
CN113807407A (zh) 目标检测模型训练方法、模型性能检测方法及装置
US10783658B2 (en) Image processing method
CN112396627A (zh) 一种目标跟踪方法及装置、计算机可读存储介质
KR20030005409A (ko) 이미지 품질에 대한 알고리즘들의 랜덤 시스템을최적화하기 위한 스케일러블 확장형 시스템 및 방법
WO2017056320A1 (ja) プログラム生成装置、プログラム生成方法および生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230908

R151 Written notification of patent or utility model registration

Ref document number: 7357225

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350