JP7451407B2 - センサ装置、電子機器、センサシステム及び制御方法 - Google Patents
センサ装置、電子機器、センサシステム及び制御方法 Download PDFInfo
- Publication number
- JP7451407B2 JP7451407B2 JP2020536817A JP2020536817A JP7451407B2 JP 7451407 B2 JP7451407 B2 JP 7451407B2 JP 2020536817 A JP2020536817 A JP 2020536817A JP 2020536817 A JP2020536817 A JP 2020536817A JP 7451407 B2 JP7451407 B2 JP 7451407B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- sensor
- fpga
- circuit
- sensor information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000012545 processing Methods 0.000 claims description 185
- 238000004458 analytical method Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 46
- 238000004891 communication Methods 0.000 description 156
- 230000006866 deterioration Effects 0.000 description 85
- 238000012937 correction Methods 0.000 description 52
- 238000010586 diagram Methods 0.000 description 51
- 238000001514 detection method Methods 0.000 description 43
- 238000003384 imaging method Methods 0.000 description 32
- 230000000694 effects Effects 0.000 description 31
- 238000006243 chemical reaction Methods 0.000 description 24
- 239000011159 matrix material Substances 0.000 description 22
- 238000010801 machine learning Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 15
- 230000007547 defect Effects 0.000 description 11
- 238000003705 background correction Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 238000000926 separation method Methods 0.000 description 8
- 238000007405 data analysis Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Power Engineering (AREA)
- Neurology (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Studio Devices (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
- Selective Calling Equipment (AREA)
- Image Processing (AREA)
Description
1.はじめに
2.第1の実施形態
2.1 システム構成
2.2 デバイス構成
2.3 スタック構造
2.4 イメージセンサの動作
2.5 各処理とチップとの関係
2.6 イメージセンサの劣化補正
2.7 劣化補正の手順
2.8 画像データの解析(機械学習)
2.9 動作フロー
2.9.1 通信デバイス側の動作
2.9.2 サーバ側の動作
2.10 設定データ/回路データの変更
2.11 高速処理の手法
2.12 作用・効果
3.第2の実施形態
3.1 デバイス構成
3.2 チップ構成
3.3 作用・効果
4.第3の実施形態
4.1 デバイス構成
4.2 チップ構成
4.3 作用・効果
5.第4の実施形態
5.1 デバイス構成
5.2 チップ構成
5.3 作用・効果
6.第5の実施形態
6.1 デバイス構成
6.2 チップ構成
6.3 作用・効果
7.第6の実施形態
7.1 デバイス構成
7.2 デバイス構成の変形例
7.3 作用・効果
8.第7の実施形態
8.1 デバイス構成
8.2 DNN解析処理
8.3 動作フロー
8.4 作用・効果
9.第8の実施形態
10.応用例
現在、カメラモジュールなどのセンサを搭載するデバイスとしては、例えば、スマートフォンや携帯電話機などのウェアラブル端末、定点カメラや監視カメラなどの固定された撮像デバイス、ドローン、自動車、家庭内ロボット、ファクトリーオートメーション(FA)ロボット、監視ロボット、自律ロボットなどの移動するデバイス、医療機器等、種々のデバイスが存在するが、これらのデバイスでは、仕様頻度や使用年数が増えることにより、カメラの経年劣化が発生する。例えば、カメラが経年劣化した場合に浮上する問題としては、以下のような項目を例示することができる。
まず、第1の実施形態について、図面を参照して詳細に説明する。なお、本実施形態では、劣化を補正する対象のセンサをイメージセンサとし、それを搭載するデバイスを通信デバイスとした場合を例示する。ただし、センサは、イメージセンサに限られず、温度センサや湿度センサや放射線計測器などの種々のセンサを適用することが可能である。
図1は、本実施形態に係るセンサシステム1の概略構成例を示す模式図である。図1に示すように、センサシステム1は、通信機能を備えた1台以上の通信デバイス2と、サーバ3とが、ネットワーク4を介して接続された構成を備える。
図2は、本実施形態に係る電子機器としての通信デバイスの概略構成例を示すブロック図である。図2に示すように、通信デバイス2は、例えば、固体撮像装置としてのイメージセンサ10と、送受信部18とを備える。イメージセンサ10は、例えば、受光部11と、高速信号処理回路12と、フレキシブルロジック回路13と、メインプロセッサ14と、メモリ15と、ドライバ16と、不揮発性メモリ17とを含んで構成される。
図3は、本実施形態に係るイメージセンサのチップ構成を示す模式図である。なお、図3では、簡略化のため、ドライバ16と不揮発性メモリ17とが省略されている。
つづいて、図2に示す通信デバイス2におけるイメージセンサ10の動作について、図6を用いて説明する。
以上の流れにおいて、光電変換101は、例えば、受光部11の光センサアレイ111において実行される。また、A/D及びCDS201は、例えば、高速信号処理回路12のADC122及びCDS回路123において実行される。
上述した構成において、イメージセンサ10の例えば光センサアレイ111は、仕様頻度や使用年数が増えることにより経年劣化する。このようなイメージセンサ10の劣化は、例えば、FPGA131の回路構成やそのパラメータを変更することで補正することができる。
サーバ3側で画像データを解析して通信デバイス2におけるフレキシブルロジック回路13の設定及び/又は回路構成を変更する手順としては、以下のような手法を例示することができる。
第2に、サーバ3側で画像データを解析する(機械学習)。
第3に、サーバ3において解析結果に基づいて設定データ及び/又は回路データを生成する。
第4に、生成された設定データ及び/又は回路データをサーバ3から通信デバイス2へフィードバックする(バイナリデータ転送)。
第5に、通信デバイス2において受信した設定データ及び/回路データをメモリ15のプログラマブルメモリ領域152における所定の番地に書き込む。
第6に、プログラマブルメモリ領域152内の設定データ及び/又は回路データをロードすることで、FPGA131に新規回路を構成したり、FPGA131に実現された回路構成のパラメータを変更したりする。
イメージセンサ10の劣化の状態は、例えば、イメージセンサ10で取得された画像データを解析することで、判断することができる。画像データの解析では、例えば、イメージセンサ10で取得した画像データをサーバ3側で保管しておき、画像データの解析時に、保管しておいた画像データと新たに取得された画像データとを比較することで、イメージセンサ10が劣化しているか否かを判断することが可能である。
つづいて、イメージセンサ10の劣化を検出して補正する際の動作を、フローチャートを用いて詳細に説明する。図7は、本実施形態に係る通信デバイスの概略動作例を示すフローチャートである。図8は、本実施形態に係るサーバの概略動作例を示すフローチャートである。
図7に示すように、通信デバイス2は、まず、常時又は定期的に、サーバ3に対して、イメージセンサ10で取得された画像データの解析を要求し(ステップS101)、サーバ3から解析の許可応答を受信するのを待機する(ステップS102のNO)。サーバ3から解析の許可応答を受信すると(ステップS102のYES)、通信デバイス2は、解析の繰返し回数を管理する値Nに1をセットする(ステップS103)。つづいて、通信デバイス2は、イメージセンサ10を駆動して画像データを取得する(ステップS104)。この際に取得される画像データは、図6に例示した各段階の処理が施された処理済み画像データであってよい。
図8に示すように、サーバ3は、本動作を起動後、通信デバイス2から解析要求を受信するまで待機し(ステップS131のNO)、解析要求を受信すると(ステップS131のYES)、まず、解析要求を送信した通信デバイス2を特定する(ステップS132)。
また、画像データの解析から特定されたイメージセンサ10の劣化状態に応じて変更される項目(設定データ及び回路データ)の例を、図9の表に示す。
次に、本実施形態に係る通信デバイス2が実行する高速処理の手法について、従来と比較しつつ説明する。
以上で説明したように、本実施形態によれば、イメージセンサ10で取得された画像データに基づき、画像劣化を補正するように、FPGA131のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ10が劣化した場合でも正確な画像データを取得することが可能になる。
次に、第2の実施形態について、図面を参照して詳細に説明する。上述した第1の実施形態では、受光部11と高速信号処理回路12とが異なるチップ(受光チップ110及びアナログ・ロジックチップ120。図3参照)に作り込まれていた場合を例示した。これに対し、第2の実施形態では、受光部11と高速信号処理回路12とが同一のチップに作り込まれている場合について、例を挙げて説明する。なお、以下の説明において、第1の実施形態と同様の構成、動作及び効果については、それを引用することで、その重複する説明を省略する。
図16は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図16に示すように、本実施形態に係るイメージセンサ20は、例えば、受光部+高速信号処理回路21と、フレキシブルロジック回路13と、メインプロセッサ14と、メモリ15と、ドライバ16と、不揮発性メモリ17とを含んで構成される。フレキシブルロジック回路13、メインプロセッサ14、メモリ15、ドライバ16及び不揮発性メモリ17、並びに、送受信部18は、第1の実施形態において図2を用いて説明したそれらと同様であってよい。
図17は、本実施形態に係るイメージセンサのチップ構成を示す模式図である。なお、図17では、図3と同様に、簡略化のため、ドライバ16と不揮発性メモリ17とが省略されている。
以上のような構成によっても、第1の実施形態と同様に、イメージセンサ20で取得された画像データに基づき、画像劣化を補正するように、FPGA131のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ20が劣化した場合でも正確な画像データを取得することが可能になる。
また、上述した第1の実施形態では、高速信号処理回路12の直下にメモリ15を配置した場合を例示したが、メモリ15の位置は、高速信号処理回路12の直下に限定されない。そこで第3の実施形態では、メモリ15をスタック構造における最下層に配置した場合について、例を挙げて説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それを引用することで、その重複する説明を省略する。
図18は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図18に示すように、本実施形態に係るイメージセンサ30では、例えば、第1の実施形態において図2を用いて説明したイメージセンサ10と同様の構成において、メモリ15が最下層であるメインプロセッサ14の下層に配置された構成を備える。また、イメージセンサ30は、イメージセンサ10における高速信号処理回路12が信号処理回路32に置き換えられている。信号処理回路32は、高速信号処理回路12のような高速な読出しが可能な信号処理回路であってもよいし、高速信号処理回路12よりも低速な読出しを実行する信号処理回路であってもよい。また、その他の構成は、第1の実施形態において図2を用いて説明した構成と同様であってよい。
図19は、本実施形態に係るイメージセンサのチップ構成を示す模式図である。なお、図19では、図3と同様に、簡略化のため、ドライバ16と不揮発性メモリ17とが省略されている。
以上のような構成によっても、上述した実施形態と同様に、イメージセンサ30で取得された画像データに基づき、画像劣化を補正するように、FPGA131のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ30が劣化した場合でも正確な画像データを取得することが可能になる。
また、上述した第3の実施形態では、受光部11と信号処理回路32とが異なるチップ(受光チップ110及びアナログ・ロジックチップ120。図19参照)に作り込まれていた場合を例示した。これに対し、第4の実施形態では、受光部11と信号処理回路32とが同一のチップに作り込まれている場合について、例を挙げて説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それを引用することで、その重複する説明を省略する。
図20は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図20に示すように、本実施形態に係るイメージセンサ40は、例えば、受光部+信号処理回路41と、フレキシブルロジック回路13と、メインプロセッサ14と、メモリ15と、ドライバ16と、不揮発性メモリ17とを含んで構成される。フレキシブルロジック回路13、メインプロセッサ14、メモリ15、ドライバ16及び不揮発性メモリ17、並びに、送受信部18は、第1の実施形態において図2を用いて説明したそれらと同様であってよい。
図21は、本実施形態に係るイメージセンサのチップ構成を示す模式図である。なお、図21では、図3と同様に、簡略化のため、ドライバ16と不揮発性メモリ17とが省略されている。
以上のような構成によっても、上述した実施形態と同様に、イメージセンサ40で取得された画像データに基づき、画像劣化を補正するように、FPGA131のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ40が劣化した場合でも正確な画像データを取得することが可能になる。
また、上述した第4の実施形態では、受光部11と信号処理回路32とが同一の受光チップ110(図21参照)に作り込まれていた場合を例示した。これに対し、第5の実施形態では、信号処理回路32とフレキシブルロジック回路13とが同一のチップに作り込まれている場合について、例を挙げて説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それを引用することで、その重複する説明を省略する。
図22は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図22に示すように、本実施形態に係るイメージセンサ50は、例えば、受光部11と、信号処理回路+フレキシブルロジック回路53と、メインプロセッサ14と、メモリ15と、ドライバ16と、不揮発性メモリ17とを含んで構成される。受光部11、メインプロセッサ14、メモリ15、ドライバ16及び不揮発性メモリ17、並びに、送受信部18は、第1の実施形態において図2を用いて説明したそれらと同様であってよい。
図23は、本実施形態に係るイメージセンサのチップ構成を示す模式図である。なお、図23では、図3と同様に、簡略化のため、ドライバ16と不揮発性メモリ17とが省略されている。
以上のような構成によっても、上述した実施形態と同様に、イメージセンサ50で取得された画像データに基づき、画像劣化を補正するように、FPGA131のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ50が劣化した場合でも正確な画像データを取得することが可能になる。
上述した第1~第5の実施形態では、イメージセンサ10、20、30、40又は50で取得した画像データをサーバ3側で解析することでその劣化の原因を特定し、特定された劣化原因に基づいて、サーバ3がFPGA131の設定データ及び/又は回路データの更新データを生成する場合について例示した。これに対し、第6の実施形態では、通信デバイス側で画像データの解析から更新データの生成までを実行する場合について、例を挙げて説明する。
図24は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図24に示すように、本実施形態に係る通信デバイスにおけるイメージセンサ10は、例えば、第1の実施形態において図2を用いて説明したイメージセンサ10と同様の構成を備える。ただし、本実施形態では、例えば、メインプロセッサ14が、メモリ15内に格納されている処理済み画像データを解析してその劣化の原因を特定し、特定された劣化原因に基づいて、FPGA131の設定データ及び/又は回路データの更新データを生成する。生成された設定データ及び/又は回路データの更新データは、上述した実施形態と同様に、メモリ15における所定のプログラマブルメモリ領域152内に格納され、FPGA131に設定される。
なお、図24では、第1の実施形態をベースとした場合を例示したが、ベースとなるイメージセンサの構成は、第1の実施形態に限られない。例えば、図25に示すように、第2の実施形態に係るイメージセンサ20をベースとすることも可能であるし、図26に示すように、第3の実施形態に係るイメージセンサ30をベースとすることも可能であるし、図27に示すように、第4の実施形態に係るイメージセンサ40をベースとすることも可能であるし、図28に示すように、第5の実施形態に係るイメージセンサ50をベースとすることも可能である。
以上のように、画像データの解析から更新データの生成までを通信デバイス側で行なう構成とした場合でも、上述した実施形態と同様に、イメージセンサ10、20、30、40又は50で取得された画像データに基づき、画像劣化を補正するように、FPGA131のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ10、20、30、40又は50が劣化した場合でも正確な画像データを取得することが可能になる。
上述した第6の実施形態では、メインプロセッサ14が機械学習を実行して学習済みモデルを作成し、それを用いて設定データ及び/又は回路データの更新データを生成する場合について例示したが、通信デバイス側で画像データの解析から更新データの生成までを実行する場合、通信デバイス内に機械学習を実行する専用のチップが設けられてもよい。
図29は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図29に示すように、本実施形態に係る通信デバイスにおけるイメージセンサ60は、例えば、第6の実施形態において図24を用いて説明したイメージセンサ10と同様の構成に対し、機械学習を実行するDNN(Deep Neural Network)回路61が追加された構成を備える。DNN回路61は、例えば、フレキシブルロジック回路13とメインプロセッサ14との間の層に配置されてもよい。
図30は、本実施形態に係るDNN解析処理(機械学習処理)の一例を説明するための図である。図30に示すように、DNN解析ステップS600では、例えば、第1の実施形態において図6を用いて例示した、光電変換ステップS100、信号処理ステップS200、ベースステップS300、制御系ステップS400、及び、絵作りステップS500の5つのステップのうち、信号処理ステップS200、ベースステップS300、制御系ステップS400、及び、絵作りステップS500それぞれの処理の結果が入力層に与えられる。DNN解析ステップS600は、入力層から隠れ層を介して出力層までの各層のノード(ニューロンともいう)間を結ぶ各エッジの重みを求めることで、画像データの劣化を低減するのに最適となる設定データ及び/又は回路データを出力層に出現させる学習済みモデルが作成される。
つづいて、イメージセンサ60の劣化を検出して補正する際の動作を、フローチャートを用いて詳細に説明する。図31は、本実施形態に係る動作の概略例を示すフローチャートである。
以上のように、DNN回路61を通信デバイス側に組み込むことで、通信デバイス側で機械学習に基づいて、画像データの解析から更新データの生成までを行なうことが可能となる。それにより、イメージセンサ10、20、30、40又は50が劣化した場合でも正確な画像データを取得することが可能になる。
また、上述した実施形態のうち、第1~第5の実施形態では、サーバ3側で画像データの解析から更新データの生成までを実行する場合を例示し、第6の実施形態では、通信デバイス側で画像データの解析から更新データの生成までを実行する場合を例示したが、画像データの解析から更新データの生成までを実行する構成は、サーバ3と通信デバイスとの何れか一方に限定されない。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
(1)
センサ情報を取得するセンサと、
前記センサで取得された前記センサ情報に所定の処理を実行するFPGA(Field-Programmable Gate Array)と、
前記FPGAに前記所定の処理を実行させるためのデータを記憶するメモリと、
を備えるセンサ装置。
(2)
前記メモリ内の前記データは、前記センサ情報の解析結果に応じて更新される前記(1)に記載のセンサ装置。
(3)
前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記FPGAを更新するための更新データを受信する受信部と、
をさらに備え、
前記メモリ内の前記データは、前記更新データで更新される
前記(1)又は(2)に記載のセンサ装置。
(4)
前記送信部は、無線により前記センサ情報を所定のネットワークへ送信し、
前記受信部は、無線により前記所定のネットワークから前記更新データを受信する
前記(3)に記載のセンサ装置。
(5)
前記センサ情報を暗号化する暗号化部と、
前記更新データの暗号化を解除する復号部と、
をさらに備える前記(4)に記載のセンサ装置。
(6)
前記センサ情報を解析し、当該解析の結果に応じて前記FPGAを更新するための更新データを生成し、当該生成された更新データで前記メモリ内の前記データを更新するプロセッサをさらに備える前記(1)又は(2)に記載のセンサ装置。
(7)
前記センサ情報を機械学習により解析するDNN(Deep Neural Network)回路をさらに備え、
前記プロセッサは、前記DNN回路による前記機械学習の結果に基づいて前記センサ情報を解析する前記(6)に記載のセンサ装置。
(8)
前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記FPGAを更新するための更新データを受信する受信部と、
前記センサ情報を解析し、当該解析の結果に応じて前記FPGAを更新するための更新データを生成するプロセッサと、
前記センサ情報を、前記送信部を介して前記所定のネットワークへ送信するか、前記プロセッサに入力するかを切り替える切替部と、
をさらに備え、
前記メモリ内の前記データは、前記受信部で受信された前記更新データ、又は、前記プロセッサで生成された前記更新データで更新される
前記(1)又は(2)に記載のセンサ装置。
(9)
前記センサ情報は、画像データであり、
前記センサは、複数の光電変換素子を備える受光部と、前記受光部から画像データを読み出す信号処理回路とを含む
前記(1)~(8)の何れか1項に記載のセンサ装置。
(10)
前記所定の処理は、黒レベル処理と、欠陥補正と、シェーディング補正と、歪み補正と、自動露光、自動フォーカス、自動ホワイトバランス調整と、同期処理と、リニアマトリックス処理と、ガンマ補正と、輝度色彩分離と、エッジ強調処理と、色差マトリックス処理と、リサイズ・ズームとのうち少なくとも1つを含む前記(9)に記載のセンサ装置。
(11)
前記データは、前記FPGAに前記所定の処理を実行する回路構成を組み込むための回路データと、前記回路構成に設定するパラメータを含む設定データとを含む前記(1)~(10)の何れか1項に記載のセンサ装置。
(12)
前記FPGAと連携して前記所定の処理を実行するプロセッサをさらに備える前記(1)又は(2)に記載のセンサ装置。
(13)
前記センサを備える第1チップと、
前記FPGAを備える第2チップと、
前記メモリを備える第3チップと、
をさらに備え、
前記第1~第3チップが積層されたスタック構造を備える
前記(1)~(12)の何れか1項に記載のセンサ装置。
(14)
前記第3チップは前記第1チップと前記第2チップとの間に位置する前記(13)に記載のセンサ装置。
(15)
前記FPGAと連携して前記所定の処理を実行するプロセッサを備える第4チップをさらに備え、
前記スタック構造は、前記第1~第4チップが積層された構造を備える前記(13)又は(14)に記載のセンサ装置。
(16)
前記第1チップは、前記スタック構造の最上層に位置し、
前記第4チップは、前記スタック構造の最下層に位置する
前記(15)に記載のセンサ装置。
(17)
前記センサ情報は、画像データであり、
前記センサは、複数の光電変換素子を備える受光部と、前記受光部から画像データを読み出す信号処理回路とを含み、
前記第1チップは、前記受光部を備える第5チップと、前記信号処理回路を備える第6チップとを含む
前記(13)~(16)の何れか1項に記載のセンサ装置。
(18)
センサ情報を取得するセンサと、
前記センサで取得された前記センサ情報に所定の処理を実行するFPGAと、
前記FPGAに前記所定の処理を実行させるためのデータを記憶するメモリと、
を備える電子機器。
(19)
電子機器とサーバとが所定のネットワークを介して接続されたセンサシステムであって、
前記電子機器は、
センサ情報を取得するセンサと、
前記センサで取得された前記センサ情報に所定の処理を実行するFPGAと、
前記FPGAに前記所定の処理を実行させるためのデータを記憶するメモリと、
前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記FPGAを更新するための更新データを受信する受信部と、
を備え、
前記サーバは、前記所定のネットワークを介して前記電子機器から受信した前記センサ情報を解析し、当該解析の結果に応じて前記FPGAを更新するための前記更新データを生成し、当該生成された更新データを前記所定のネットワークへ送信し、
前記メモリ内の前記データは、前記受信部が前記所定のネットワークを介して受信した前記更新データで更新される
センサシステム。
(20)
センサで取得されたセンサ情報を解析するステップと、
前記センサ情報の解析結果に応じて、前記センサ情報に所定の処理を実行するFPGAの回路構成及び前記回路構成の設定値のうちの少なくとも1つを変更するステップと、
を備える制御方法。
2 通信デバイス
3 サーバ
10、20、30、40、50、60 イメージセンサ
11 受光部
12 高速信号処理回路
13 フレキシブルロジック回路
14 メインプロセッサ
15 メモリ
16 ドライバ
17 不揮発性メモリ
18 送受信部
21 受光部+高速信号処理回路
32 信号処理回路
41 受光部+信号処理回路
53 信号処理回路+フレキシブルロジック回路
61 DNN回路
110 受光チップ
111 光センサアレイ
120 アナログ・ロジックチップ
121 画素回路
122 ADC
123 CDS回路
124 ゲイン調整回路
130 フレキシブルロジックチップ
131 FPGA
132 ロジック回路
140 プロセッサチップ
141 MPU
150 メモリチップ
151 メモリ領域
152 プログラマブルメモリ領域
181 DAC
182 送信アンテナ
183 ADC
184 受信アンテナ
101 光電変換
201 A/D,CDS
301 黒レベル処理
302 欠陥補正
303 シェーディング補正
304 歪み補正
401 制御系補正
501 AE,AF,AWB
502 同期処理
503 リニアマトリックス処理
504 ガンマ補正
505 輝度色彩分離
506 エッジ強調処理
507 色差マトリックス処理
508 リサイズ・ズーム
509 出力IF処理
Claims (4)
- センサ情報を取得するセンサと、
前記センサで取得された前記センサ情報に所定の処理を実行するFPGA(Field-Programmable Gate Array)と、
前記FPGAに前記所定の処理を実行させるためのデータを記憶するメモリと、
前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記FPGAを更新するための更新データを受信する受信部と、
前記センサ情報を解析し、当該解析の結果に応じて前記FPGAを更新するための更新データを生成するプロセッサと、
前記センサ情報を、前記送信部を介して前記所定のネットワークへ送信するか、前記プロセッサに入力するかを切り替える切替部と、
を備え、
前記メモリ内の前記データは、前記受信部で受信された前記更新データ、又は、前記プロセッサで生成された前記更新データで更新される
センサ装置。 - センサ情報を取得するセンサと、
前記センサで取得された前記センサ情報に所定の処理を実行するFPGAと、
前記FPGAに前記所定の処理を実行させるためのデータを記憶するメモリと、
前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記FPGAを更新するための更新データを受信する受信部と、
前記センサ情報を解析し、当該解析の結果に応じて前記FPGAを更新するための更新データを生成するプロセッサと、
前記センサ情報を、前記送信部を介して前記所定のネットワークへ送信するか、前記プロセッサに入力するかを切り替える切替部と、
を備え、
前記メモリ内の前記データは、前記受信部で受信された前記更新データ、又は、前記プロセッサで生成された前記更新データで更新される
電子機器。 - 電子機器とサーバとが所定のネットワークを介して接続されたセンサシステムであって、
前記電子機器は、
センサ情報を取得するセンサと、
前記センサで取得された前記センサ情報に所定の処理を実行するFPGAと、
前記FPGAに前記所定の処理を実行させるためのデータを記憶するメモリと、
前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記FPGAを更新するための更新データを受信する受信部と、
前記センサ情報を解析し、当該解析の結果に応じて前記FPGAを更新するための更新データを生成するプロセッサと、
前記センサ情報を、前記送信部を介して前記所定のネットワークへ送信するか、前記プロセッサに入力するかを切り替える切替部と、
を備え、
前記サーバは、前記所定のネットワークを介して前記電子機器から受信した前記センサ情報を解析し、当該解析の結果に応じて前記FPGAを更新するための前記更新データを生成し、当該生成された更新データを前記所定のネットワークへ送信し、
前記メモリ内の前記データは、前記受信部が前記所定のネットワークを介して受信した前記更新データ、又は、前記プロセッサで生成された前記更新データで更新される
センサシステム。 - センサでセンサ情報を取得するステップと、
FPGAに所定の処理を実行させるためのデータをメモリに記憶するステップと、
前記FPGAで前記センサ情報に前記所定の処理を実行するステップと、
前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信するステップと、
前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記FPGAを更新するための更新データを受信するステップと、
プロセッサで、前記センサ情報を解析し、当該解析の結果に応じて前記FPGAを更新するための更新データを生成するステップと、
前記センサ情報を、前記所定のネットワークへ送信するか、前記プロセッサに入力するかを切り替えるステップと、
を備え、
前記メモリ内の前記データは、受信された前記更新データ、又は、前記プロセッサで生成された前記更新データで更新される
制御方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018230398 | 2018-12-07 | ||
JP2018230398 | 2018-12-07 | ||
PCT/JP2019/041441 WO2020116046A1 (ja) | 2018-12-07 | 2019-10-23 | センサ装置、電子機器、センサシステム及び制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020116046A1 JPWO2020116046A1 (ja) | 2021-10-14 |
JP7451407B2 true JP7451407B2 (ja) | 2024-03-18 |
Family
ID=70975322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020536817A Active JP7451407B2 (ja) | 2018-12-07 | 2019-10-23 | センサ装置、電子機器、センサシステム及び制御方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11457143B2 (ja) |
JP (1) | JP7451407B2 (ja) |
KR (1) | KR20210098839A (ja) |
CN (1) | CN111656144B (ja) |
DE (1) | DE112019000317T5 (ja) |
TW (1) | TWI811479B (ja) |
WO (1) | WO2020116046A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11320821B2 (en) * | 2018-12-11 | 2022-05-03 | Airbus Helicopters | Drone for industrial activities |
JP2020136903A (ja) * | 2019-02-19 | 2020-08-31 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および電子機器 |
US10782759B1 (en) | 2019-04-23 | 2020-09-22 | Arbor Company, Lllp | Systems and methods for integrating batteries with stacked integrated circuit die elements |
JP2021122106A (ja) * | 2020-01-31 | 2021-08-26 | キヤノン株式会社 | 撮像装置、学習装置、撮像装置の制御方法、学習方法、学習済みモデルおよびプログラム |
KR102567207B1 (ko) | 2020-06-29 | 2023-08-16 | 아르보 컴퍼니 엘엘엘피 | 5g 프로세서 독립형 모뎀과 함께 3d 다이 스태킹 재구성 가능 프로세서 모듈을 사용하는 모바일 iot 에지 디바이스 |
JP7355717B2 (ja) * | 2020-07-30 | 2023-10-03 | トヨタテクニカルディベロップメント株式会社 | 映像変換システム、映像変換方法及び映像変換プログラム |
US11582414B2 (en) * | 2020-09-24 | 2023-02-14 | Canon Kabushiki Kaisha | Signal processing apparatus, photoelectric conversion apparatus, photoelectric conversion system, control method of signal processing apparatus, and non-transitory computer-readable storage medium |
JP2022062835A (ja) * | 2020-10-09 | 2022-04-21 | キヤノン株式会社 | 撮像装置、収差補正方法およびプログラム |
KR20220061351A (ko) * | 2020-11-06 | 2022-05-13 | 삼성전자주식회사 | 이미지 센서 및 이미지 센싱 장치 |
JP2022133135A (ja) * | 2021-03-01 | 2022-09-13 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、情報処理装置 |
CN118034785B (zh) * | 2024-04-11 | 2024-06-11 | 清华大学 | 指令压缩方法、装置、加速器及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160356632A1 (en) | 2015-06-02 | 2016-12-08 | Empire Technology Development Llc | Sensor degradation compensation |
JP2017129951A (ja) | 2016-01-19 | 2017-07-27 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
JP2017191566A (ja) | 2016-04-15 | 2017-10-19 | オムロン株式会社 | 画像処理装置、画像処理方法、情報処理プログラム、および記録媒体 |
WO2017192096A1 (en) | 2016-05-06 | 2017-11-09 | Smoltek Ab | Assembly platform |
WO2018204487A1 (en) | 2017-05-02 | 2018-11-08 | De Rochemont L Pierre | High speed semiconductor chip stack |
JP2019106059A (ja) | 2017-12-13 | 2019-06-27 | 日立オートモティブシステムズ株式会社 | 演算システム、サーバ、車載装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0682821B2 (ja) * | 1988-04-13 | 1994-10-19 | 工業技術院長 | 固体撮像装置 |
JP3033575B1 (ja) | 1999-02-17 | 2000-04-17 | 日本電気株式会社 | 画像処理装置 |
JP2005035396A (ja) * | 2003-07-15 | 2005-02-10 | Stanley Electric Co Ltd | 車載用情報処理装置 |
JP5747327B2 (ja) * | 2011-08-26 | 2015-07-15 | 学校法人 名城大学 | 情報セキュリティシステム,ホスト,デバイス,その制御方法 |
US9496247B2 (en) * | 2013-08-26 | 2016-11-15 | Optiz, Inc. | Integrated camera module and method of making same |
JP2015061164A (ja) * | 2013-09-18 | 2015-03-30 | 株式会社リコー | 電子機器、データ通信システム、および情報処理方法 |
KR101545951B1 (ko) * | 2013-12-02 | 2015-08-21 | (주)실리콘화일 | 이미지 처리 패키지 및 이를 구비하는 카메라 모듈 |
CN105427449A (zh) * | 2015-10-30 | 2016-03-23 | 新达通科技股份有限公司 | 一种纸币图像光补偿校正方法及验钞识别装置、atm机 |
JP2018026682A (ja) | 2016-08-09 | 2018-02-15 | 株式会社Jvcケンウッド | 撮像装置、設定装置、画像解析装置、画像解析システム、及び設定方法 |
JP2018055648A (ja) * | 2016-09-30 | 2018-04-05 | 株式会社日立製作所 | アクセラレーションシステム及びアクセラレーション方法 |
JP6661522B2 (ja) * | 2016-12-12 | 2020-03-11 | 株式会社日立製作所 | 衛星画像処理システム及び方法 |
US20180370502A1 (en) * | 2017-06-27 | 2018-12-27 | Dura Operating, Llc | Method and system for autonomous emergency self-learning braking for a vehicle |
TWM555538U (zh) * | 2017-10-12 | 2018-02-11 | 天鉞電子股份有限公司 | 照明監視設備 |
-
2019
- 2019-10-23 CN CN201980010155.4A patent/CN111656144B/zh active Active
- 2019-10-23 US US16/964,683 patent/US11457143B2/en active Active
- 2019-10-23 KR KR1020207021409A patent/KR20210098839A/ko not_active Application Discontinuation
- 2019-10-23 JP JP2020536817A patent/JP7451407B2/ja active Active
- 2019-10-23 WO PCT/JP2019/041441 patent/WO2020116046A1/ja active Application Filing
- 2019-10-23 DE DE112019000317.8T patent/DE112019000317T5/de active Pending
- 2019-11-08 TW TW108140571A patent/TWI811479B/zh active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160356632A1 (en) | 2015-06-02 | 2016-12-08 | Empire Technology Development Llc | Sensor degradation compensation |
JP2017129951A (ja) | 2016-01-19 | 2017-07-27 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
JP2017191566A (ja) | 2016-04-15 | 2017-10-19 | オムロン株式会社 | 画像処理装置、画像処理方法、情報処理プログラム、および記録媒体 |
WO2017192096A1 (en) | 2016-05-06 | 2017-11-09 | Smoltek Ab | Assembly platform |
WO2018204487A1 (en) | 2017-05-02 | 2018-11-08 | De Rochemont L Pierre | High speed semiconductor chip stack |
JP2019106059A (ja) | 2017-12-13 | 2019-06-27 | 日立オートモティブシステムズ株式会社 | 演算システム、サーバ、車載装置 |
Also Published As
Publication number | Publication date |
---|---|
US20200351440A1 (en) | 2020-11-05 |
DE112019000317T5 (de) | 2020-10-08 |
US11457143B2 (en) | 2022-09-27 |
JPWO2020116046A1 (ja) | 2021-10-14 |
TW202038088A (zh) | 2020-10-16 |
TWI811479B (zh) | 2023-08-11 |
KR20210098839A (ko) | 2021-08-11 |
CN111656144B (zh) | 2024-08-16 |
WO2020116046A1 (ja) | 2020-06-11 |
CN111656144A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7451407B2 (ja) | センサ装置、電子機器、センサシステム及び制御方法 | |
US10957029B2 (en) | Image processing device and image processing method | |
CN109565546B (zh) | 图像处理设备、信息生成设备以及信息生成方法 | |
US10885389B2 (en) | Image processing device, image processing method, learning device, and learning method | |
US10704957B2 (en) | Imaging device and imaging method | |
JP6977722B2 (ja) | 撮像装置、および画像処理システム | |
JPWO2018016151A1 (ja) | 画像処理装置と画像処理方法 | |
US20230013424A1 (en) | Information processing apparatus, information processing method, program, imaging apparatus, and imaging system | |
JP6981416B2 (ja) | 画像処理装置と画像処理方法 | |
WO2021246303A1 (ja) | 測距装置、電子機器、センサシステム及び制御方法 | |
JP7059185B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
WO2024150690A1 (ja) | 固体撮像装置 | |
WO2024101210A1 (ja) | 情報処理装置 | |
WO2021229983A1 (ja) | 撮像装置及びプログラム | |
TW202433943A (zh) | 固態攝像裝置 | |
JP2019103046A (ja) | 撮像システム、画像処理装置、及び、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7451407 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |