JPWO2020161799A1 - 学習装置、学習方法、及び推定装置 - Google Patents

学習装置、学習方法、及び推定装置 Download PDF

Info

Publication number
JPWO2020161799A1
JPWO2020161799A1 JP2020570242A JP2020570242A JPWO2020161799A1 JP WO2020161799 A1 JPWO2020161799 A1 JP WO2020161799A1 JP 2020570242 A JP2020570242 A JP 2020570242A JP 2020570242 A JP2020570242 A JP 2020570242A JP WO2020161799 A1 JPWO2020161799 A1 JP WO2020161799A1
Authority
JP
Japan
Prior art keywords
parameter
learning
light
value
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020570242A
Other languages
English (en)
Other versions
JP7251558B2 (ja
Inventor
貴裕 戸泉
竜一 赤司
有加 荻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020161799A1 publication Critical patent/JPWO2020161799A1/ja
Application granted granted Critical
Publication of JP7251558B2 publication Critical patent/JP7251558B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Optical Communication System (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Studio Devices (AREA)

Abstract

学習装置（１０）にて光変換部（１１）は、学習対象からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部（１３）は、光変換部（１１）から出力された光を感知する。推定部（１５Ａ）は、センシング部（１３）で感知された光に基づいて、設定問題の答えについての推定結果を形成する。更新部（１５Ｂ）は、推定部（１５Ａ）による推定結果に基づいて、光変換部（１１）のパラメータの更新値を算出し、算出された更新値によって光変換部（１１）のパラメータの設定値を更新する。そして、光変換部（１１）は、互いに独立してパラメータの設定値が設定される複数の光学デバイス（１２）を含んでいる。

Description

本開示は、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置に関する。
種々の設定問題の答えを推定する推定装置が提案されている（例えば、特許文献１）。特許文献１に開示されている装置の設定問題は、ライトフィールドを取得することである。具体的には、特許文献１に開示されているライトフィールド取得装置は、画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、符号化開口部（つまり、光変換部）の符号化開口形状の設定を制御する。これにより、特許文献１に開示されているライトフィールド取得装置は、画像素子の画素数よりも少ないデータ量であるシーンのライトフィールドを高解像度で取得することができる。
特開２０１６−１５７９９９号公報
本発明者らは、光変換部に互いに独立してパラメータの設定値が設定される複数の光学デバイスを含めることによって、設定問題の答えをより精度良く推定可能な推定装置を実現できることを見出した。そして、本発明者らは、該複数の光学デバイスに設定されるパラメータの設定値を学習する学習装置を提案する。
本開示の目的は、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習できる、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置を提供することにある。
第１の態様にかかる学習装置は、学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。
第２の態様にかかる推定装置は、入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。
第３の態様にかかる学習方法は、学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する。
第４の態様にかかる非一時的なコンピュータ可読媒体は、学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる、制御プログラムが格納している。
本開示により、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習できる、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置を提供することができる。
第１実施形態における学習装置の一例を示すブロック図である。 第２実施形態における学習装置の一例を示すブロック図である。 第２実施形態における学習装置の処理動作の一例を示すフローチャートである。 第３実施形態における学習装置の一例を示すブロック図である。 第４実施形態における推定装置の一例を示すブロック図である。 制御装置のハードウェア構成例を示す図である。
以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
＜第１実施形態＞
図１は、第１実施形態における学習装置の一例を示すブロック図である。図１において学習装置１０は、光変換部１１と、センシング部１３と、制御部（制御装置）１５とを有している。
光変換部１１は、学習対象（例えば、学習画像）からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。例えば、光変換部１１は、互いに独立してパラメータの設定値が設定される光学デバイス１２−１〜１２−Ｎ（Ｎは、２以上の自然数）を含んでいる。以下では、光学デバイス１２−１〜１２−Ｎを互いに区別しない場合には光学デバイス１２−１〜１２−Ｎを総称して単に光学デバイス１２と呼ぶことがある。光学デバイス１２−１〜１２−Ｎは、互いに同種の光学デバイスであってもよいし、複数種類の光学デバイスを含んでいてもよい。例えば、光変換部１１は、入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも１つを実行する。
センシング部１３は、光変換部１１から出力された光を感知する。センシング部１３は、例えば、イメージセンサである。すなわち、センシング部１３は、感知した光を電気信号に変換し、得られた光電気信号を制御部１５へ出力する。なお、図１において光変換部１１とセンシング部１３とを点線で繋いでいるが、この点線は、光路を意味している。
制御部１５は、推定部１５Ａと、更新部１５Ｂとを有している。
推定部１５Ａは、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。設定問題は、例えば、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、３次元画像生成である。すなわち、推定部１５Ａは、設定問題に応じた画像解析処理を実行する機能部である。例えば設定問題が赤色の物体を認識することである場合、推定部１５Ａは、赤色の物体の画像を含む学習画像であれば推定結果として「１」を形成して出力し、赤色の物体の画像を含まない学習画像であれば推定結果として「０」を形成して出力する。また、例えば設定問題がライトフィールドを生成することである場合、推定部１５Ａは、推定結果としてライトフィールドを形成して出力することになる。
更新部１５Ｂは、推定部１５Ａによる推定結果に基づいて、光変換部１１のパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。
以上のように第１実施形態によれば、学習装置１０にて光変換部１１は、学習対象からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部１３は、光変換部１１から出力された光を感知する。推定部１５Ａは、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。更新部１５Ｂは、推定部１５Ａによる推定結果に基づいて、光変換部１１のパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。そして、光変換部１１は、互いに独立してパラメータの設定値が設定される光学デバイス１２−１〜１２−Ｎ（Ｎは、２以上の自然数）を含んでいる。
この学習装置１０の構成により、光学デバイス１２−１〜１２−Ｎ（Ｎは、２以上の自然数）と同じ複数の光学デバイスとセンシング部と推定部とを含む推定装置（不図示）において該複数の光学デバイスに設定されるパラメータの設定値を学習することができる。そして、該推定装置（不図示）では、光学デバイスが１つの場合に比べて、複数の光学デバイスによってより多くの情報を含む光を推定処理に用いることができるので、該推定装置（不図示）は、設定問題の答えをより精度良く推定することが可能となる。すなわち、学習装置１０によれば、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習することができる。なお、該推定装置（不図示）においては、ハードウェアのニューラルネットワークを、複数の光学デバイスによって実現できている。このため、該推定装置（不図示）の推定部による計算量を削減することができるので、該推定装置（不図示）は、処理能力の劣るエッジ端末にも適用することができる。
＜第２実施形態＞
第２実施形態は、より具体的な実施形態に関する。
＜学習装置の構成例＞
図２は、第２実施形態における学習装置の一例を示すブロック図である。図２において学習装置２０は、光変換部１１と、センシング部１３と、表示部２１と、制御部（制御装置）２２とを含む。制御部２２は、推定部２２Ａと、更新部２２Ｂと、学習制御部２２Ｃとを含む。
表示部２１は、学習制御部２２Ｃによる制御により、学習画像を表示する。これにより、学習画像に対応する光が、光変換部１１へ入力されることになる。なお、図２において表示部２１と光変換部１１とを点線で繋いでいるが、この点線は、光路を意味している。
光変換部１１は、第１実施形態で説明したように、光学デバイス１２−１〜１２−Ｎ（Ｎは、２以上の自然数）を含んでいる。ここでは、一例として、光学デバイス１２−１〜１２−Ｎは、液晶デバイスを含んでおり、光学デバイス１２−１が液晶デバイスであるものとして説明する。
光学デバイス１２−１は、例えば、第１の偏光板と、第１の偏光板と偏光方向が９０°回転している第２の偏光板と、カラーフィルタと、第１の偏光板と第２の偏光板との間に挟まれた液晶ユニットとを含んでいる。この液晶ユニットに印可する電気信号（つまり、パラメータの設定値）を制御することによって、例えば液晶ユニットの透過率を制御することができる。この制御は、液晶ユニットの画素単位で制御することができる。すなわち、液晶デバイスは、画素単位でパラメータの設定値に応じた光特性が強調された光を出力することができる。
又は、光学デバイス１２−１は、液晶ユニットを有している。この液晶ユニットに印可する電気信号（つまり、パラメータの設定値）を制御することによって、この液晶ユニットにおける液晶のらせん構造を制御して、選択的に反射される光の波長を制御してもよい。この制御は、液晶ユニットの画素単位で制御することができる。すなわち、液晶デバイスは、画素単位でパラメータの設定値に応じた光特性が強調された光を出力することができる。
なお、光学デバイス１２には、例えば、液晶デバイスの他に又は液晶デバイスに代えて、液体レンズ、可変形鏡（デフォーマブルミラー）、マイクロチャンネルプレート型光電子増倍管等が用いられてもよい。液体レンズは、電気信号により焦点を調整可能なデバイスである。また、可変形鏡（デフォーマブルミラー）は、電気信号により反射方向を制御可能なデバイスである。また、マイクロチャンネルプレート型光電子増倍管は、入射光をデバイス内で電子に変換し内部で増幅して入射光より強い光を出力するデバイスである。
学習制御部２２Ｃは、光変換部１１におけるパラメータの設定値の学習を制御する。例えば、学習制御部２２Ｃは、表示部２１に表示される学習画像を切り替える。また、学習制御部２２Ｃは、光変換部１１におけるパラメータの設定値の学習処理におけるパラメータの初期値として、光学シミュレーションによって得られたパラメータ値を用いてもよい。これにより、光学シミュレーションによって得られたパラメータ値のファインチューニングを行うことができる。この場合、例えば、学習制御部２２Ｃは、光学デバイス１２−１〜１２−Ｎのそれぞれをモデル化した光学モデルを用いてシミュレートを行い、誤差逆伝播法によって勾配を計算して、光学モデルのパラメータの最適化を行ってもよい。このパラメータの値が、上記の初期値として用いられる。なお、推定部２２Ａがニューラルネットを含む場合には、学習制御部２２Ｃは、該ニューラルネットの学習を制御してもよい。
推定部２２Ａは、第１実施形態の推定部１５Ａと同様に、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。推定部２２Ａは、例えば、ニューラルネットワークを含んでいる。
更新部２２Ｂは、推定部２２Ａによる推定結果と正解との誤差に関する目的関数を用いて勾配を算出する。そして、更新部２２Ｂは、算出された勾配に基づいてパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。更新部２２Ｂは、推定部２２Ａに含まれるニューラルネットワークのパラメータ（重み、バイアス）を更新してもよい。この推定部２２Ａに含まれるニューラルネットワークのパラメータ（重み、バイアス）の更新処理における勾配演算には、ニューラルネットワークの学習において用いられる誤差逆伝播法を用いることができる。
ここで、光変換部１１における光の入出力現象は、制御部２２（つまり、計算機）の外で起こるため、ニューラルネットワークの学習において用いられる誤差逆伝播法を用いることができない。そこで、更新部２２Ｂは、乱数を用いて摂動ベクトルを形成し、推定部２２Ａによる推定結果と正解との誤差に関する目的関数及び前記形成された摂動ベクトルを用いて勾配を算出する。そして、更新部２２Ｂは、算出された勾配に基づいてパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。
この勾配の計算では、パラメータベクトルをpとし、その乱数摂動ベクトルをeとする。光変換部１１のニューラルネット全体をf(x, p)とすると、更新部２２Ｂは、入力画像バッチxに対して、f(x, p)とf(x, p+e)を計算する。一般的な勾配計算であれば、パラメータベクトルpの各要素のスカラー値piに対してそれぞれ独立に計算して勾配を求めるため、パラメータの要素数と同数の演算回数が必要となる。一方で、乱数摂動による計算では、摂動eをベクトルで計算するため、演算回数は２回でよい。その代わり、更新部２２Ｂは、摂動ベクトルeを乱数で生成する。例えば、更新部２２Ｂは、乱数をベルヌーイ分布を用いて計算する。これにより、摂動ベクトルeの各要素は、−１又は１の値をとる。また、更新部２２Ｂは、eにハイパーパラメータaを乗算することで、勾配演算のための微分幅を制御することができる。なお、乱数には各イテレーションで同じものが用いられてもよいし、又は、イテレーション毎に異なる乱数が用いられてもよい。乱数摂動はベクトルに限らず、行列、3階以上のテンソルにも適用できる。勾配の更新には、例えば、確率的勾配降下法やＡｄａｍ等が用いられてもよい。また、乱数の計算には、ベルヌーイ分布の他に、例えば、０を平均とする一様分布やガウス分布が用いられてもよい。
＜学習装置の動作例＞
以上の構成を有する学習装置２０の処理動作の一例について説明する。図３は、第２実施形態における学習装置の処理動作の一例を示すフローチャートである。
学習制御部２２Ｃは、光変換部１１に対して、パラメータの初期値を設定する（ステップＳ１０１）。上記の通り、パラメータの初期値として、光学シミュレーションによって得られたパラメータ値が用いられてもよい。
学習制御部２２Ｃは、表示部２１に学習画像を表示させる（ステップＳ１０２）。これにより、学習画像に対応する光が、光変換部１１へ入力されることになる。
光変換部１１は、学習画像からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する（ステップＳ１０３）。
センシング部１３は、光変換部１１から出力された光を感知する（ステップＳ１０４）。
推定部１５Ａは、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する（ステップＳ１０５）。
更新部２２Ｂは、推定部２２Ａによる推定結果と正解との誤差に関する目的関数を用いて勾配を算出する（ステップＳ１０６）。
学習制御部２２Ｃは、終了条件が満たされているか否かを判定する（ステップＳ１０７）。学習制御部２２Ｃは、例えば、更新部２２Ｂにて今回算出された勾配の符号が前回算出された勾配の符号と異なる場合、目的関数の最小値（又は、極小値）に到達したと見なせるので、終了条件が満たされたと判定する。そして、終了条件が満たされたときには（ステップＳ１０７ＹＥＳ）、処理フローが終了する。
終了条件が満たされていない場合（ステップＳ１０７ＮＯ）、学習制御部２２Ｃは、更新部２２Ｂに対して、算出された勾配に基づいてパラメータの更新値を算出させ、算出された更新値によって光変換部１１のパラメータの設定値を更新させる（ステップＳ１０８）。
学習制御部２２Ｃは、学習画像を切り替えて表示部２１に表示させる（ステップＳ１０９）。
なお、以上の説明では、単一画像毎での学習を前提に説明を行ったが、これに限定されるものではなく、バッチ学習又はミニバッチ学習が行われてもよい。
＜第３実施形態＞
上記の第２実施形態では、１つのタイミングで光学デバイス１２−１〜１２−Ｎの全てをパラメータの更新対象デバイスとすることを前提に説明を行った。これに対して、第３実施形態は、光学デバイス１２−１〜１２−Ｎのうちで更新対象デバイスが順次切り替えられる実施形態に関する。
図４は、第３実施形態における学習装置の一例を示すブロック図である。図４において学習装置３０は、制御部（制御装置）３１を有する。制御部３１は、更新部３１Ａと、学習制御部３１Ｂとを有する。
学習制御部３１Ｂは、光学デバイス１２−１〜１２−Ｎのうちで更新対象デバイスを順次切り替え、更新対象デバイスの切り替えに応じて表示部２１に表示される学習画像を切り替えるとともに、更新部３１Ａに対して更新対象デバイス単位でパラメータの設定値を更新させる。
ここで、光学デバイス１２−１〜１２−Ｎのすべてが液晶デバイスであるものとする。このとき、学習制御部３１Ｂは、光学デバイス１２−１〜１２−Ｎのうちで更新対象デバイスを選択する。そして、学習制御部３１Ｂは、光学デバイス１２−１〜１２−Ｎのうちで更新対象デバイス以外のパラメータの設定値を、最大の透過率となるように設定する。そして、学習制御部３１Ｂは、更新部３１Ａに対して、推定部２２Ａによる推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって、更新対象デバイスについての勾配を算出させる。ここで、更新対象デバイス以外の光学デバイス１２のパラメータの設定値が最大の透過率となるように設定されることにより、光変換部１１から出力される光は、更新対象デバイス以外の光学デバイス１２による影響を受けていないと見なすことができる。このため、更新対象デバイスの入力と出力とが数値化できるため、誤差逆伝播法を、勾配の計算に用いることができる。そして、学習制御部３１Ｂは、１つの更新対象デバイスについてパラメータを最適化した後に、更新対象デバイスを切り替えて、切り替えられた更新対象デバイスについてのパラメータの学習を進める。すなわち、ここでは、Stackedオートエンコーダの最適化の要領で、光学デバイス１２−１〜１２−Ｎのパラメータの学習が行われている。
なお、学習制御部３１Ｂは、１つの更新対象デバイスについてバッチ学習を進め、該バッチ学習が完了した場合、まだ学習が行われていない光学デバイス１２を次の更新対象デバイスとしてランダムに選択して、該選択された更新対象デバイスについて学習を進めてもよい。
＜第４実施形態＞
第４実施形態は、第１実施形態から第３実施形態で説明した学習装置によって学習されたパラメータ値が設定された推定装置に関する。
図５は、第４実施形態における推定装置の一例を示すブロック図である。図５において推定装置５０は、光変換部５１と、センシング部５３と、制御部（制御装置）５５と、取得部５７とを有している。
光変換部５１は、入力された光を用いて、パラメータの設定値に応じた光を出力する。光変換部５１は、互いに独立してパラメータの設定値が設定される光学デバイス５２−１〜５２−Ｎ（Ｎは、２以上の自然数）を含んでいる。光学デバイス５２−１〜５２−Ｎは、第１実施形態から第３実施形態の光学デバイス１２−１〜１２−Ｎにそれぞれ対応しており、学習装置１０，２０，３０にて学習されたパラメータ値が設定される。すなわち、光変換部５１は、第１実施形態から第３実施形態の光変換部１１と同様の構成を有している。
センシング部５３は、光変換部５１から出力された光を感知する。すなわち、センシング部５３は、第１実施形態から第３実施形態のセンシング部１３と同様の構成を有している。
制御部５５は、推定部５５Ａと、設定部５５Ｂとを有する。
推定部５５Ａは、センシング部５３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。すなわち、推定部５５Ａは、第１実施形態から第３実施形態の推定部１５Ａ，２２Ａと同じ構成を有している。
設定部５５Ｂは、取得部５７にて取得されたパラメータ値を、光変換部５１の光学デバイス１２−１〜１２−Ｎにそれぞれ設定する。
取得部５７は、学習装置１０，２０，３０にて学習されたパラメータ値を取得する。取得部５７は、学習装置１０，２０，３０からパラメータ値を有線通信又は無線通信によって取得する通信部であってもよい。又は、取得部５７は、推定装置５０と学習装置１０，２０，３０とを繋ぐケーブルが接続されるインタフェース部であってもよい。取得部５７が学習装置１０，２０，３０にて学習されたパラメータ値を取得することにより、例えば、光学デバイス５２−１〜５２−Ｎに設定されるパラメータ値をダウンロードすることができる。また、本実施形態における光学デバイスは計算機の外部にあるので、デバイス出荷時にパラメータ値を設定し、さらにエッジ端末においてパラメータに直接アクセスできなくすることもできる。これによりエッジ端末のパラメータはハッキングできなくなる。
以上のように第４実施形態によれば、推定装置５０にて光変換部５１は、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部５３は、光変換部５１から出力された光を感知する。推定部５５Ａは、センシング部５３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。そして、光変換部５１は、互いに独立してパラメータの設定値が設定される光学デバイス５２−１〜５２−Ｎ（Ｎは、２以上の自然数）を含んでいる。
この推定装置５０の構成により、光変換部５１が互いに独立してパラメータの設定値が設定される光学デバイス５２−１〜５２−Ｎを含んでいるので、光学デバイスが１つの場合に比べて、複数の光学デバイスによってより多くの情報を含む光を推定処理に用いることができる。これにより、推定装置５０は、設定問題の答えをより精度良く推定することができる。また、光学デバイス５２−１〜５２−Ｎによってハードウェアのニューラルネットワークを実現できるので、推定部５５Ａによる計算量を削減することができる。これにより、推定装置５０を処理能力の劣るエッジ端末にも適用することができる。
＜他の実施形態＞
＜１＞第１実施形態から第４実施形態の光変換部１１，５１は、センシング部１３，５３の露光時間内においてパラメータの設定値を第１設定値から第２設定値へ切り替えてもよい。例えば、光変換部１１は、光学デバイス１２−１〜１２−Ｎの全てに、更新部１５Ｂ，２２Ｂ，３１Ａによって更新されたパラメータ値を設定する状態と、光学デバイス１２−１〜１２−Ｎの一部の光学デバイスのパラメータ値を最大の透過率となるように切り替えた状態とを、センシング部１３の露光時間内に切り替える。これにより、センシング部１３では２つの状態の画像が足し合わさった画像を表現することができる。すなわち、この操作によって、ニューラルネットにおけるadd層を表現することができる。又は、足し合わせではなく、上記の２つの状態の画像をセンシング部１３に並べるようにしてもよい。これにより、ニューラルネットにおけるconcatenate層を表現することができる。このような方法によれば、U-netなどで用いられるskip connectionが可能となる。光変換部５１及びセンシング部５３についても同様である。
＜２＞図６は、制御装置のハードウェア構成例を示す図である。図６において制御装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。
第１実施形態から第４実施形態の制御装置（制御部）１５，２２，３１，５５は、それぞれ、図６に示したハードウェア構成を有することができる。第１実施形態から第４実施形態の制御装置１５，２２，３１，５５の推定部１５Ａ，２２Ａ，５５Ａと、更新部１５Ｂ，２２Ｂ，３１Ａと、学習制御部２２Ｃ，３１Ｂと、設定部５５Ｂとは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、制御装置１５，２２，３１，５５に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって制御装置１５，２２，３１，５５に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを制御装置１５，２２，３１，５５に供給できる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
学習装置。
（付記２）
前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
付記１記載の学習装置。
（付記３）
前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
付記２記載の学習装置。
（付記４）
前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
付記２又は３に記載の学習装置。
（付記５）
前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
付記１記載の学習装置。
（付記６）
前記複数の光学デバイスは、液晶デバイスを含み、
前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
付記１から５のいずれか１項に記載の学習装置。
（付記７）
前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
付記６記載の学習装置。
（付記８）
前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第１設定値から第２設定値へ切り替える、
付記１から７のいずれか１項に記載の学習装置。
（付記９）
前記推定手段は、ニューラルネットを含み、
前記更新手段は、前記ニューラルネットのパラメータをさらに更新する、
付記１から８のいずれか１項に記載の学習装置。
（付記１０）
学習処理における前記パラメータの設定値の初期値として、光学シミュレーションによって得られたパラメータ値が用いられる、
付記１から９のいずれか１項に記載の学習装置。
（付記１１）
前記光変換手段は、前記入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも１つを実行する、
付記１から１０のいずれか１項に記載の学習装置。
（付記１２）
前記設定問題は、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、３次元画像生成である、
付記１から１１のいずれか１項に記載の学習装置。
（付記１３）
入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
推定装置。
（付記１４）
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
学習方法。
（付記１５）
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
１０ 学習装置
１１ 光変換部
１２ 光学デバイス
１３ センシング部
１５ 制御部（制御装置）
１５Ａ 推定部
１５Ｂ 更新部
２０ 学習装置
２１ 表示部
２２ 制御部（制御装置）
２２Ａ 推定部
２２Ｂ 更新部
２２Ｃ 学習制御部
３０ 学習装置
３１ 制御部（制御装置）
３１Ａ 更新部
３１Ｂ 学習制御部
５０ 推定装置
５１ 光変換部
５３ センシング部
５５ 制御部（制御装置）
５５Ａ 推定部
５５Ｂ 設定部
５７ 取得部
設定部５５Ｂは、取得部５７にて取得されたパラメータ値を、光変換部５１の光学デバイス５２−１〜５２−Ｎにそれぞれ設定する。

Claims (15)

  1. 学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
    前記光変換手段から出力された光を感知するセンシング手段と、
    前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
    前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
    を具備し、
    前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
    学習装置。
  2. 前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
    請求項１記載の学習装置。
  3. 前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
    請求項２記載の学習装置。
  4. 前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
    請求項２又は３に記載の学習装置。
  5. 前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
    請求項１記載の学習装置。
  6. 前記複数の光学デバイスは、液晶デバイスを含み、
    前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
    請求項１から５のいずれか１項に記載の学習装置。
  7. 前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
    請求項６記載の学習装置。
  8. 前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第１設定値から第２設定値へ切り替える、
    請求項１から７のいずれか１項に記載の学習装置。
  9. 前記推定手段は、ニューラルネットを含み、
    前記更新手段は、前記ニューラルネットのパラメータをさらに更新する、
    請求項１から８のいずれか１項に記載の学習装置。
  10. 学習処理における前記パラメータの設定値の初期値として、光学シミュレーションによって得られたパラメータ値が用いられる、
    請求項１から９のいずれか１項に記載の学習装置。
  11. 前記光変換手段は、前記入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも１つを実行する、
    請求項１から１０のいずれか１項に記載の学習装置。
  12. 前記設定問題は、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、３次元画像生成である、
    請求項１から１１のいずれか１項に記載の学習装置。
  13. 入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
    前記光変換手段から出力された光を感知するセンシング手段と、
    前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
    を具備し、
    前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
    推定装置。
  14. 学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
    前記推定結果に基づいて、前記パラメータの更新値を算出し、
    前記算出された更新値によって前記パラメータの設定値を更新する、
    学習方法。
  15. 学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
    前記推定結果に基づいて、前記パラメータの更新値を算出し、
    前記算出された更新値によって前記パラメータの設定値を更新する、
    処理を、学習装置に実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
JP2020570242A 2019-02-05 2019-02-05 学習装置、学習方法、及び推定装置 Active JP7251558B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/004045 WO2020161799A1 (ja) 2019-02-05 2019-02-05 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置

Publications (2)

Publication Number Publication Date
JPWO2020161799A1 true JPWO2020161799A1 (ja) 2021-11-25
JP7251558B2 JP7251558B2 (ja) 2023-04-04

Family

ID=71948159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020570242A Active JP7251558B2 (ja) 2019-02-05 2019-02-05 学習装置、学習方法、及び推定装置

Country Status (5)

Country Link
US (1) US11825185B2 (ja)
EP (1) EP3923566A4 (ja)
JP (1) JP7251558B2 (ja)
CN (1) CN113491105B (ja)
WO (1) WO2020161799A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228024A (ja) * 2000-02-16 2001-08-24 Univ Saitama 分光画像撮像装置
JP2018097407A (ja) * 2016-12-08 2018-06-21 日本電信電話株式会社 摂動学習装置とその方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7294817B2 (en) * 2004-05-06 2007-11-13 Siemens Power Generation, Inc. System and methods for determining nonuniformity correction parameters in detector-array imaging
JP4413261B2 (ja) * 2008-01-10 2010-02-10 シャープ株式会社 撮像装置及び光軸制御方法
CN101718940B (zh) 2009-11-17 2012-06-27 武汉光迅科技股份有限公司 实现掺铒光纤放大器快速收敛的控制装置及控制方法
JP6230161B2 (ja) 2015-02-23 2017-11-15 日本電信電話株式会社 ライトフィールド取得装置及びライトフィールド取得方法
US10176554B2 (en) * 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
JP2017194498A (ja) 2016-04-18 2017-10-26 キヤノン株式会社 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体
JP6948128B2 (ja) 2017-01-13 2021-10-13 キヤノン株式会社 映像監視装置及びその制御方法及びシステム
CN109186657B (zh) 2018-09-26 2022-03-08 Oppo广东移动通信有限公司 接近传感器参数校准方法、装置、终端设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228024A (ja) * 2000-02-16 2001-08-24 Univ Saitama 分光画像撮像装置
JP2018097407A (ja) * 2016-12-08 2018-06-21 日本電信電話株式会社 摂動学習装置とその方法

Also Published As

Publication number Publication date
EP3923566A4 (en) 2022-03-23
CN113491105B (zh) 2023-09-12
WO2020161799A1 (ja) 2020-08-13
US11825185B2 (en) 2023-11-21
JP7251558B2 (ja) 2023-04-04
US20220132027A1 (en) 2022-04-28
CN113491105A (zh) 2021-10-08
EP3923566A1 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
US9420276B2 (en) Calibration of light-field camera geometry via robust fitting
US7469202B2 (en) System and method for optimizing optical and digital system designs
KR20210018850A (ko) 비디오 수복 방법 및 장치, 전자 기기 및 기억 매체
Akpinar et al. Learning wavefront coding for extended depth of field imaging
US11508038B2 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
JP7028322B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US11972542B2 (en) Optical correction via machine learning
US11967040B2 (en) Information processing apparatus, control method thereof, imaging device, and storage medium
CN110244523B (zh) 一体化光刻方法及光刻系统
Shi et al. Rapid all-in-focus imaging via physical neural network optical encoding
JP2020177582A (ja) 学習装置、学習方法、プログラムおよび認識装置
JP7251558B2 (ja) 学習装置、学習方法、及び推定装置
CN116399259A (zh) 一种基于结构光三维测量的Gamma校正方法及系统
JP2017103756A (ja) 画像データ処理装置及び方法
KR102345607B1 (ko) 광학소자 설계 방법 및 그 장치
JP2020030569A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
CN111726592B (zh) 获取图像信号处理器的架构的方法和装置
JP5611439B2 (ja) 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム
Lehmann et al. Resolution and accuracy of non-linear regression of PSF with artificial neural networks
EP2517172A1 (en) Filter setup learning for binary sensor
Zhang et al. Fruit fly optimization based least square support vector regression for blind image restoration
CN114554170B (zh) 多传感器白平衡同步的方法和使用该方法的电子装置
US20240193732A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2017034595A (ja) 画像処理装置、撮像装置および画像処理プログラム
CN116958060A (zh) 一种基于机器学习的检测相对水平的方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230306

R151 Written notification of patent or utility model registration

Ref document number: 7251558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151