JP7251558B2 - 学習装置、学習方法、及び推定装置 - Google Patents
学習装置、学習方法、及び推定装置 Download PDFInfo
- Publication number
- JP7251558B2 JP7251558B2 JP2020570242A JP2020570242A JP7251558B2 JP 7251558 B2 JP7251558 B2 JP 7251558B2 JP 2020570242 A JP2020570242 A JP 2020570242A JP 2020570242 A JP2020570242 A JP 2020570242A JP 7251558 B2 JP7251558 B2 JP 7251558B2
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- light
- learning
- value
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Optical Communication System (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Studio Devices (AREA)
Description
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する。
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる、制御プログラムが格納している。
図1は、第1実施形態における学習装置の一例を示すブロック図である。図1において学習装置10は、光変換部11と、センシング部13と、制御部(制御装置)15とを有している。
第2実施形態は、より具体的な実施形態に関する。
図2は、第2実施形態における学習装置の一例を示すブロック図である。図2において学習装置20は、光変換部11と、センシング部13と、表示部21と、制御部(制御装置)22とを含む。制御部22は、推定部22Aと、更新部22Bと、学習制御部22Cとを含む。
以上の構成を有する学習装置20の処理動作の一例について説明する。図3は、第2実施形態における学習装置の処理動作の一例を示すフローチャートである。
上記の第2実施形態では、1つのタイミングで光学デバイス12-1~12-Nの全てをパラメータの更新対象デバイスとすることを前提に説明を行った。これに対して、第3実施形態は、光学デバイス12-1~12-Nのうちで更新対象デバイスが順次切り替えられる実施形態に関する。
第4実施形態は、第1実施形態から第3実施形態で説明した学習装置によって学習されたパラメータ値が設定された推定装置に関する。
<1>第1実施形態から第4実施形態の光変換部11,51は、センシング部13,53の露光時間内においてパラメータの設定値を第1設定値から第2設定値へ切り替えてもよい。例えば、光変換部11は、光学デバイス12-1~12-Nの全てに、更新部15B,22B,31Aによって更新されたパラメータ値を設定する状態と、光学デバイス12-1~12-Nの一部の光学デバイスのパラメータ値を最大の透過率となるように切り替えた状態とを、センシング部13の露光時間内に切り替える。これにより、センシング部13では2つの状態の画像が足し合わさった画像を表現することができる。すなわち、この操作によって、ニューラルネットにおけるadd層を表現することができる。又は、足し合わせではなく、上記の2つの状態の画像をセンシング部13に並べるようにしてもよい。これにより、ニューラルネットにおけるconcatenate層を表現することができる。このような方法によれば、U-netなどで用いられるskip connectionが可能となる。光変換部51及びセンシング部53についても同様である。
<2>図6は、制御装置のハードウェア構成例を示す図である。図6において制御装置100は、プロセッサ101と、メモリ102とを有している。プロセッサ101は、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、又はCPU(Central Processing Unit)であってもよい。プロセッサ101は、複数のプロセッサを含んでもよい。メモリ102は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ102は、プロセッサ101から離れて配置されたストレージを含んでもよい。この場合、プロセッサ101は、図示されていないI/Oインタフェースを介してメモリ102にアクセスしてもよい。
学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
学習装置。
前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
付記1記載の学習装置。
前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
付記2記載の学習装置。
前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
付記2又は3に記載の学習装置。
前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
付記1記載の学習装置。
前記複数の光学デバイスは、液晶デバイスを含み、
前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
付記1から5のいずれか1項に記載の学習装置。
前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
付記6記載の学習装置。
前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第1設定値から第2設定値へ切り替える、
付記1から7のいずれか1項に記載の学習装置。
前記推定手段は、ニューラルネットを含み、
前記更新手段は、前記ニューラルネットのパラメータをさらに更新する、
付記1から8のいずれか1項に記載の学習装置。
学習処理における前記パラメータの設定値の初期値として、光学シミュレーションによって得られたパラメータ値が用いられる、
付記1から9のいずれか1項に記載の学習装置。
前記光変換手段は、前記入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも1つを実行する、
付記1から10のいずれか1項に記載の学習装置。
前記設定問題は、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、3次元画像生成である、
付記1から11のいずれか1項に記載の学習装置。
入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
推定装置。
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
学習方法。
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
11 光変換部
12 光学デバイス
13 センシング部
15 制御部(制御装置)
15A 推定部
15B 更新部
20 学習装置
21 表示部
22 制御部(制御装置)
22A 推定部
22B 更新部
22C 学習制御部
30 学習装置
31 制御部(制御装置)
31A 更新部
31B 学習制御部
50 推定装置
51 光変換部
53 センシング部
55 制御部(制御装置)
55A 推定部
55B 設定部
57 取得部
Claims (9)
- 学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含み、
前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第1設定値から第2設定値へ切り替える、
学習装置。 - 前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
請求項1記載の学習装置。 - 前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
請求項2記載の学習装置。 - 前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
請求項2又は3に記載の学習装置。 - 前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
請求項1記載の学習装置。 - 前記複数の光学デバイスは、液晶デバイスを含み、
前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
請求項1から5のいずれか1項に記載の学習装置。 - 前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
請求項6記載の学習装置。 - 入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含み、
前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第1設定値から第2設定値へ切り替える、
推定装置。 - 学習装置によって実行される学習方法であって、
複数の光学デバイスを含む光変換手段が、学習対象からの光を入力し、前記入力された光を用いて、センシング手段の露光時間内においてパラメータの設定値を第1設定値から第2設定値へ切り替えながら、前記パラメータの設定値に応じた光を出力することと、
前記センシング手段が、前記光変換手段から出力された光を感知することと、
推定手段が、前記感知された光に基づいて、設定問題の答えについての推定結果を形成することと、
更新手段が、前記推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新することと、
を含む、
学習方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/004045 WO2020161799A1 (ja) | 2019-02-05 | 2019-02-05 | 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020161799A1 JPWO2020161799A1 (ja) | 2021-11-25 |
JP7251558B2 true JP7251558B2 (ja) | 2023-04-04 |
Family
ID=71948159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020570242A Active JP7251558B2 (ja) | 2019-02-05 | 2019-02-05 | 学習装置、学習方法、及び推定装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11825185B2 (ja) |
EP (1) | EP3923566A4 (ja) |
JP (1) | JP7251558B2 (ja) |
CN (1) | CN113491105B (ja) |
WO (1) | WO2020161799A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001228024A (ja) | 2000-02-16 | 2001-08-24 | Univ Saitama | 分光画像撮像装置 |
JP2018097407A (ja) | 2016-12-08 | 2018-06-21 | 日本電信電話株式会社 | 摂動学習装置とその方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7294817B2 (en) * | 2004-05-06 | 2007-11-13 | Siemens Power Generation, Inc. | System and methods for determining nonuniformity correction parameters in detector-array imaging |
JP4413261B2 (ja) * | 2008-01-10 | 2010-02-10 | シャープ株式会社 | 撮像装置及び光軸制御方法 |
CN101718940B (zh) | 2009-11-17 | 2012-06-27 | 武汉光迅科技股份有限公司 | 实现掺铒光纤放大器快速收敛的控制装置及控制方法 |
JP6230161B2 (ja) | 2015-02-23 | 2017-11-15 | 日本電信電話株式会社 | ライトフィールド取得装置及びライトフィールド取得方法 |
US10176554B2 (en) * | 2015-10-05 | 2019-01-08 | Google Llc | Camera calibration using synthetic images |
JP2017194498A (ja) | 2016-04-18 | 2017-10-26 | キヤノン株式会社 | 焦点検出装置およびその方法、撮像装置、プログラム、記憶媒体 |
JP6948128B2 (ja) | 2017-01-13 | 2021-10-13 | キヤノン株式会社 | 映像監視装置及びその制御方法及びシステム |
CN109186657B (zh) | 2018-09-26 | 2022-03-08 | Oppo广东移动通信有限公司 | 接近传感器参数校准方法、装置、终端设备及存储介质 |
-
2019
- 2019-02-05 EP EP19914303.3A patent/EP3923566A4/en not_active Withdrawn
- 2019-02-05 CN CN201980093446.4A patent/CN113491105B/zh active Active
- 2019-02-05 JP JP2020570242A patent/JP7251558B2/ja active Active
- 2019-02-05 US US17/428,110 patent/US11825185B2/en active Active
- 2019-02-05 WO PCT/JP2019/004045 patent/WO2020161799A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001228024A (ja) | 2000-02-16 | 2001-08-24 | Univ Saitama | 分光画像撮像装置 |
JP2018097407A (ja) | 2016-12-08 | 2018-06-21 | 日本電信電話株式会社 | 摂動学習装置とその方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3923566A4 (en) | 2022-03-23 |
CN113491105B (zh) | 2023-09-12 |
WO2020161799A1 (ja) | 2020-08-13 |
US11825185B2 (en) | 2023-11-21 |
US20220132027A1 (en) | 2022-04-28 |
CN113491105A (zh) | 2021-10-08 |
JPWO2020161799A1 (ja) | 2021-11-25 |
EP3923566A1 (en) | 2021-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9344690B2 (en) | Image demosaicing | |
US11755913B2 (en) | Convolutional neural networks, particularly for image analysis | |
US20090143874A1 (en) | System And Method For Optimizing Optical And Digital System Designs | |
Akpinar et al. | Learning wavefront coding for extended depth of field imaging | |
US11967040B2 (en) | Information processing apparatus, control method thereof, imaging device, and storage medium | |
JPWO2020012523A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
EP4044110A1 (en) | Method for generating image data with reduced noise, and electronic device for performing same | |
JP2018055516A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
Pinilla et al. | Hybrid diffractive optics design via hardware-in-the-loop methodology for achromatic extended-depth-of-field imaging | |
CN110244523B (zh) | 一体化光刻方法及光刻系统 | |
KR20220056067A (ko) | 노이즈 저감 처리된 이미지 데이터를 생성하는 방법 및 이를 수행하는 전자 장치 | |
JP7251558B2 (ja) | 学習装置、学習方法、及び推定装置 | |
Shi et al. | Rapid all-in-focus imaging via physical neural network optical encoding | |
US20220358346A1 (en) | Systems, methods, and media for generating and using spiking neural networks with improved efficiency | |
JP2020177582A (ja) | 学習装置、学習方法、プログラムおよび認識装置 | |
CN115272423B (zh) | 一种训练光流估计模型的方法、装置和可读存储介质 | |
CN115294405B (zh) | 农作物病害分类模型的构建方法、装置、设备及介质 | |
CN116399259A (zh) | 一种基于结构光三维测量的Gamma校正方法及系统 | |
CN116051370A (zh) | 晶粒图像的拼接方法,装置,电子设备 | |
US9210386B2 (en) | Filter setup learning for binary sensor | |
US11526735B2 (en) | Neuromorphic neuron apparatus for artificial neural networks | |
US20200372363A1 (en) | Method of Training Artificial Neural Network Using Sparse Connectivity Learning | |
Lehmann et al. | Resolution and accuracy of non-linear regression of PSF with artificial neural networks | |
KR20210011868A (ko) | 디스플레이 장치 및 이의 제어 방법 | |
Zhang et al. | Fruit fly optimization based least square support vector regression for blind image restoration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230306 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7251558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |