JP7387104B1 - 撮像装置および撮像装置の制御方法 - Google Patents
撮像装置および撮像装置の制御方法 Download PDFInfo
- Publication number
- JP7387104B1 JP7387104B1 JP2022174141A JP2022174141A JP7387104B1 JP 7387104 B1 JP7387104 B1 JP 7387104B1 JP 2022174141 A JP2022174141 A JP 2022174141A JP 2022174141 A JP2022174141 A JP 2022174141A JP 7387104 B1 JP7387104 B1 JP 7387104B1
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- learning model
- processing
- calculation
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000010801 machine learning Methods 0.000 claims abstract description 209
- 238000004364 calculation method Methods 0.000 claims abstract description 200
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000013139 quantization Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 16
- 230000000717 retained effect Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明の実施形態に係る撮像装置は、被写体像を電気信号に変換するための複数の画素を備えるイメージセンサを備える撮像装置であって、複数の演算層を含む第1の機械学習モデルを用いて前記複数の画素から得られる信号を処理するための第1の機械学習演算手段と、前記第1の機械学習演算手段によって処理された信号に対して所定の画像処理を行う画像処理手段と、前記画像処理手段の結果である画像データを保持するための保持手段と、前記第1の機械学習モデルと異なる第2の機械学習モデルを用いて前記保持手段に保持された画像データを処理するための第2の機械学習演算手段とを備え、前記第1の機械学習モデルは少なくとも畳み込み演算を行う第1の畳み込み演算層の演算結果である行列の各要素に対して低ビット化するための量子化演算を行う量子化演算層と、前記量子化演算層の演算結果に基づいて畳み込み演算を行う第2の畳み込み演算層を含むことを特徴とする。
本発明の実施形態について、図1から図8を参照して説明する。図1は、本実施形態に係る撮像装置1000を示す図である。
図1は本実施形態に係る撮像装置の機能ブロック図である。同図を参照しながら、本実施形態に係る撮像装置1000について説明する。撮像装置1000はレンズ等の光学部材等の所定の集光装置によって生成される被写体像を取得するための装置で、一例としてデジタルカメラ、監視カメラおよび車載カメラ等であるが、スマートフォンやロボット等であって撮像手段を備える装置であれば本発明を適用することができる。なお、本実施形態に係る発明はバッテリー駆動などの消費電力量が限定されている組み込み機器などの製品に適用することが好適である。
例えば、第1機械学習演算部200の各機能を構成するために、プログラム処理を実行するプロセッサと、ニューラルネットワークに関する演算を実行するアクセラレータとを組み合わせてもよい。具体的には、畳み込み演算や量子化演算を繰り返し実行するためのニューラルネットワーク演算用アクセラレータを、プロセッサと組み合わせて用いてもよい。
例えば、第2機械学習演算部900の各機能を構成するために、プログラム処理を実行するプロセッサと、ニューラルネットワークに関する演算を実行するアクセラレータとを組み合わせてもよい。具体的には、畳み込み演算等を繰り返し実行するためのニューラルネットワーク演算用アクセラレータを、プロセッサと組み合わせて用いてもよい。
また、機械学習モデルにおいてブレを低減するように学習した場合には、ブレが発生する可能性がある露光時間に応じて制御するようにしてもよい。一例として、露光時間が1/15秒よりも長い場合には機械学習モデルを用いた処理を行うように制御するようにしてもよい。
第1の実施形態においては、第1機械学習演算部200と内部バスIBとをセンサI/F300を介して接続する例を示した。図9は第2の実施形態に係る撮像装置1100の機能ブロック図を示した図である。第1の実施形態における撮像装置1000と同一の構成については同一の符号を用いて示しており、その説明は省略する場合がある。
実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれ
る。また、上述の実施形態および変形例において示した構成要素は適宜に組み合わせて構
成することが可能である。
例えば、上記実施形態に記載の第1機械学習演算部200及び第2機械学習演算部900において演算対象となるデータは単一の形式に限定されず、静止画像、動画像、音声、文字、数値およびこれらの組み合わせで構成することが可能である。なお、第1機械学習演算部200及び第2機械学習演算部900に入力されるデータは、光センサ、温度計、Global Positioning System(GPS)計測器、角速度計測器、風速計などの物理量測定器における測定結果などと組み合わせてもよい。周辺機器から有線または無線通信経由で受信する基地局情報、車両・船舶等の情報、天候情報、混雑状況に関する情報などの周辺情報や金融情報や個人情報等の異なる情報を組み合わせてもよい。
撮像装置1000または撮像装置1100は、バッテリー等で駆動する携帯電話などの通信機器、パーソナルコンピュータなどのスマートデバイス、デジタルカメラ、ゲーム機器、ロボット製品などのモバイル機器を想定するが、これに限られるものではない。Power on Ethernet(PoE)などでの供給可能なピーク電力制限、製品発熱の低減または長時間駆動の要請が高い製品に利用することでも他の先行例にない効果を得ることができる。
例えば、車両や船舶などに搭載される車載カメラや、公共施設や路上などに設けられる監視カメラ等に適用することで長時間の撮影を実現できるだけでなく、軽量化や高耐久化にも寄与する。また、テレビやディスプレイ等の表示デバイス、医療カメラや手術ロボット等の医療機器、製造現場や建築現場で使用される作業ロボットなどにも適用することで同様の効果を奏することができる。
第1機械学習演算部200及び第2機械学習演算部900は、その一部または全部を一つ以上のプロセッサを用いて実現してもよい。例えば、第1機械学習演算部200及び第2機械学習演算部900は、入力層または出力層の一部または全部をプロセッサによるソフトウェア処理により実現してもよい。ソフトウェア処理により実現する入力層または出力層の一部は、例えば、データの正規化や変換である。これにより、様々な形式の入力形式または出力形式に対応できる。なお、プロセッサで実行するソフトウェアは、通信手段や外部メディアを用いて書き換え可能に構成してもよい。
第2機械学習演算部900における処理の一部をクラウド上のGraphics Processing Unit(GPU)等を組み合わせることで実現してもよい。第2機械学習演算部900は、撮像装置1000または撮像装置1100で行った処理に加えて、クラウド上でさらに処理を行ったり、クラウド上での処理に加えて処理を行ったりすることで、より複雑な処理を少ないリソースで実現できる。
第1機械学習演算部200と第2機械学習演算部900とでは、量子化演算を含むか否かにおいて差分があるため、それぞれで動作する機械学習モデルについて学習方法を異ならせるようにしてもよい。一例として、第1機械学習演算部200において動作する機械学習モデルは量子化演算を含むネットワークを生成した後に量子化演算を含んだ形で学習する学習ステップを含む方法(以下、QAT方式という。)を採用することが好適である。このようにQAT方式で学習することにより、量子化による演算精度の低下を低減することが可能となる。一方で、QAT方式は学習方法や学習パラメータの設計などが必要になるため、汎用性が低下する場合がある。そのため、第2機械学習演算部900において動作する機械学習モデルにおいてはQAT方式を用いずに学習することが好ましい。このように第1機械学習演算部200および第2機械学習演算部900のいずれかで用いるかどうかで機械学習モデルの学習方法を決定することが好ましい。
200 第1機械学習演算部
300 センサI/F
400 ISP
500 入出力部
600 表示部
700 CPU
800 メモリ
900 第2機械学習演算部
1000 第1の実施形態に係る撮像装置
1100 第2の実施形態に係る撮像装置
Claims (18)
- 被写体像を電気信号に変換するための複数の画素を備えるイメージセンサを備える撮像装置であって、
複数の演算層を含む第1の機械学習モデルを用いて前記複数の画素から得られる信号を処理するための第1の機械学習演算手段と、
前記第1の機械学習演算手段によって処理された信号に対して所定の画像処理を行う画像処理手段と、
前記画像処理手段の結果である画像データを保持するための保持手段と、
前記第1の機械学習モデルと異なる第2の機械学習モデルを用いて前記保持手段に保持された画像データを処理するための第2の機械学習演算手段とを備え、
前記第1の機械学習モデルは少なくとも畳み込み演算を行う第1の畳み込み演算層の演算結果である行列の各要素に対して低ビット化するための量子化演算を行う量子化演算層と、前記量子化演算層の演算結果に基づいて畳み込み演算を行う第2の畳み込み演算層を含むことを特徴とする撮像装置。 - 前記第2の機械学習モデルは前記第1の機械学習モデルとは異なるネットワーク構造を備え、少なくとも畳み込み演算を行う畳み込み演算層と畳み込み演算結果に対してプーリング演算を行うプーリング層とを含むことを特徴とする請求項1に記載の撮像装置。
- 前記イメージセンサを制御するための同期信号を生成するための制御手段をさらに備え、
前記第1の機械学習演算手段における処理は前記同期信号に同期して行われることを特徴とする請求項1に記載の撮像装置。 - 前記第1の機械学習演算手段は前記第1の機械学習モデルを用いて処理した結果をさらに後処理するための後処理手段を含み、
前記後処理手段は前記同期信号に基づいて前記第1の機械学習モデルを用いて処理した結果に対してヘッダ情報または同期信号を付加する処理を行うことを特徴とする請求項3に記載の撮像装置。 - 前記第1の機械学習モデルに含まれる量子化演算層は畳み込み演算層の演算結果を8bit以下の値に量子化することを特徴とする請求項1に記載の撮像装置。
- 前記イメージセンサは前記複数の画素におけるアナログ信号をデジタル信号に変換する変換手段をさらに備え、
前記第1の機械学習モデルに含まれる量子化演算層は畳み込み演算層の演算結果を前記変換手段による分解能以下の値に量子化することを特徴とする請求項1に記載の撮像装置。 - 前記画像処理手段において行う所定の画像処理には少なくともデモザイク処理及び符号化圧縮処理を含むことを特徴とする請求項1に記載の撮像装置。
- 前記第1の機械学習モデルは前記複数の画素の信号に含まれるノイズを低減するための推論演算を行い、
前記第2の機械学習モデルは前記画像データにおいて所定の検出対象を検出する処理を行うことを特徴とする請求項1に記載の撮像装置。 - 前記画像処理手段の結果である画像データを表示するための表示手段をさらに備え、
前記表示手段は前記表示手段に表示する画像データに対応する前記第2の機械学習モデルにおける検出対象の検出結果を表示することを特徴とする請求項8に記載の撮像装置。 - 前記第1の機械学習演算手段は前記イメージセンサが出力する所定の単位で前記複数の画素の信号に対する推論演算を行い、
前記第2の機械学習演算手段は前記保持手段に保持された画像データの単位で所定の検出対象を検出する処理を行うことを特徴とする請求項1に記載の撮像装置。 - 前記所定の単位には8bit以上の画素値が1500以上含まれ、
前記第1の機械学習演算手段及び前記画像処理手段は前記単位に基づいてパイプライン的に順次処理を行うことを特徴とする請求項10に記載の撮像装置。 - 前記第1の機械学習演算手段は前記イメージセンサが出力する所定の単位で前記複数の画素の信号を一時的に保持するバッファ手段をさらに備え、
前記第1の機械学習演算手段が前記バッファ手段に一時的に保持された前記複数の画素の信号に対して第1の機械学習モデルを用いた処理を行うために読み出すデータレートは、前記バッファ手段に入力する際の前記複数の画素の信号のデータレートより遅いことを特徴とする請求項10または11に記載の撮像装置。 - 前記第1の機械学習演算手段は複数の機械学習モデルを切り替えるための切り替え手段をさらに備え、
前記第1の機械学習演算手段は前記イメージセンサにおける露出条件に基づいて機械学習モデルを切り替えることを特徴とする請求項1に記載の撮像装置。 - 前記第2の機械学習演算手段は複数の機械学習モデルを切り替えるための切り替え手段をさらに備え、
前記第2の機械学習演算手段において切り替える複数の機械学習モデルは人体の少なくとも一部を検出する機械学習モデルを含むことを特徴とする請求項13に記載の撮像装置。 - 前記第1の機械学習演算手段は複数の機械学習モデルを切り替えるための切り替え手段をさらに備え、
前記第1の機械学習演算手段は動作モードに基づいて機械学習モデルを切り替えることを特徴とする請求項1に記載の撮像装置。 - 前記動作モードには静止画モード、動画モードおよび夜景モードのうち少なくとも一つを含むことを特徴とする請求項15に記載の撮像装置。
- 前記第1の機械学習演算手段における前記第1の機械学習モデルは、前記第2の機械学習モデルとは異なる学習方法を用いて外部装置において事前に学習された学習済みの機械学習モデルであって、
前記学習方法には前記第1の機械学習モデルに量子化演算を含んだ形で行う学習ステップが含まれていることを特徴とする請求項1に記載の撮像装置。 - 被写体像を電気信号に変換するための複数の画素を備えるイメージセンサを備える撮像装置の制御方法であって、
複数の演算層を含む第1の機械学習モデルを用いて前記複数の画素の信号を処理するための第1の機械学習演算ステップと、
前記第1の機械学習演算ステップによって処理された信号に対して所定の画像処理を行う画像処理ステップと、
前記画像処理ステップの結果である画像データを保持するための保持ステップと、
前記第1の機械学習モデルと異なる第2の機械学習モデルを用いて前記保持ステップに保持された画像データを処理するための第2の機械学習演算ステップとを備え、
前記第1の機械学習モデルは少なくとも畳み込み演算を行う第1の畳み込み演算ステップの演算結果である行列の各要素に対して低ビット化するための量子化演算を行う量子化演算ステップと、前記量子化演算ステップの演算結果に基づいて畳み込み演算を行う第2の畳み込み演算ステップを含むことを特徴とする撮像装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022174141A JP7387104B1 (ja) | 2022-10-31 | 2022-10-31 | 撮像装置および撮像装置の制御方法 |
PCT/JP2023/036403 WO2024095692A1 (ja) | 2022-10-31 | 2023-10-05 | 撮像装置および撮像装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022174141A JP7387104B1 (ja) | 2022-10-31 | 2022-10-31 | 撮像装置および撮像装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7387104B1 true JP7387104B1 (ja) | 2023-11-28 |
JP2024065329A JP2024065329A (ja) | 2024-05-15 |
Family
ID=88917957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022174141A Active JP7387104B1 (ja) | 2022-10-31 | 2022-10-31 | 撮像装置および撮像装置の制御方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7387104B1 (ja) |
WO (1) | WO2024095692A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019129169A (ja) | 2018-01-22 | 2019-08-01 | 株式会社日立ハイテクノロジーズ | 画像評価方法及び画像評価装置 |
CN113206929A (zh) | 2020-01-30 | 2021-08-03 | 三星电子株式会社 | 图像数据处理方法和传感器装置 |
JP2022501982A (ja) | 2018-09-13 | 2022-01-06 | スペクトル オプティックス インコーポレイテッド | ニューラルネットワークを使用した写真の露出不足補正 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107230187B (zh) * | 2016-03-25 | 2022-05-24 | 北京三星通信技术研究有限公司 | 多媒体信息处理的方法和装置 |
CN112532892B (zh) * | 2019-09-19 | 2022-04-12 | 华为技术有限公司 | 图像处理方法及电子装置 |
-
2022
- 2022-10-31 JP JP2022174141A patent/JP7387104B1/ja active Active
-
2023
- 2023-10-05 WO PCT/JP2023/036403 patent/WO2024095692A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019129169A (ja) | 2018-01-22 | 2019-08-01 | 株式会社日立ハイテクノロジーズ | 画像評価方法及び画像評価装置 |
JP2022501982A (ja) | 2018-09-13 | 2022-01-06 | スペクトル オプティックス インコーポレイテッド | ニューラルネットワークを使用した写真の露出不足補正 |
CN113206929A (zh) | 2020-01-30 | 2021-08-03 | 三星电子株式会社 | 图像数据处理方法和传感器装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2024065329A (ja) | 2024-05-15 |
WO2024095692A1 (ja) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220207680A1 (en) | Image Processing Method and Apparatus | |
US11042770B2 (en) | Artificial intelligence based image data processing method and image sensor | |
US20210006755A1 (en) | Image processing device including neural network processor and operating method thereof | |
US8570334B2 (en) | Image processing device capable of efficiently correcting image data and imaging apparatus capable of performing the same | |
KR101939628B1 (ko) | 모션 검출 방법 및 모션 검출기 | |
US10089548B2 (en) | Image recognition device and image recognition method | |
US11514371B2 (en) | Low latency image processing using byproduct decompressed images | |
US20060274177A1 (en) | Image processing apparatus | |
JPWO2018003124A1 (ja) | 撮像装置、撮像方法及び撮像プログラム | |
US9131158B2 (en) | Moving-image capturing apparatus and electronic zoom method for moving image | |
US20200211159A1 (en) | Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same | |
CN113132612A (zh) | 一种图像稳像处理方法、终端拍摄方法、介质及系统 | |
JP2015053644A (ja) | 撮像装置 | |
KR20220030877A (ko) | 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서 | |
JP2003189186A (ja) | 撮像装置 | |
CN117768774A (zh) | 图像处理器、图像处理方法、拍摄装置和电子设备 | |
JP7387104B1 (ja) | 撮像装置および撮像装置の制御方法 | |
US11302035B2 (en) | Processing images using hybrid infinite impulse response (TTR) and finite impulse response (FIR) convolution block | |
US20230105329A1 (en) | Image signal processor and image sensor including the image signal processor | |
JP4547321B2 (ja) | 動きベクトル検出装置及び撮像装置 | |
CN113287147A (zh) | 一种图像处理方法及装置 | |
US11671704B2 (en) | Electronic device including a plurality of image sensors and method for thereof | |
US9001267B2 (en) | Method and apparatus for tightly coupled, low power image processing | |
US11270412B2 (en) | Image signal processor, method, and system for environmental mapping | |
JP4556803B2 (ja) | 画像処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221031 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7387104 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |