JP7443002B2 - 画像解析装置、画像解析方法、及びプログラム - Google Patents
画像解析装置、画像解析方法、及びプログラム Download PDFInfo
- Publication number
- JP7443002B2 JP7443002B2 JP2019167189A JP2019167189A JP7443002B2 JP 7443002 B2 JP7443002 B2 JP 7443002B2 JP 2019167189 A JP2019167189 A JP 2019167189A JP 2019167189 A JP2019167189 A JP 2019167189A JP 7443002 B2 JP7443002 B2 JP 7443002B2
- Authority
- JP
- Japan
- Prior art keywords
- flow rate
- image analysis
- image
- time
- detection line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010191 image analysis Methods 0.000 title claims description 45
- 238000003703 image analysis method Methods 0.000 title claims 3
- 238000001514 detection method Methods 0.000 claims description 40
- 238000013528 artificial neural network Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 29
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Description
撮影された画像中の人物の数を計測する方法としては、機械学習によって得たニューラルネットワークを用いて画像から人数を推定する方法(非特許文献1)がある。また、複数カメラの監視画像から得た人数推定結果を利用して広域での混雑度を推定する方法も(特許文献1)で提案されている。一方、画像中の人の流れを解析する方法としては、オプティカルフローの属性を集計して群衆の非定常状態を判定する方法(特許文献2)がある。また連続する異なる時刻に撮像された2フレームの画像を入力して人物の密度分布および移動ベクトルの分布を推定するニューラルネットワークを用いた人流解析システム(特許文献3)もある。
一方、特許文献3に記載の方法は、人の流れと共に人数を同時に把握することができるものの、画面内を通過する人数を計測する方向と関連させて把握することはできない。
図1は、本発明の実施形態に係る画像解析装置の機能構成を示す図である。
図1に示すように、本実施形態の画像解析装置は、機能構成として、取得部101、設定部102、流量推定部103、通過数推定部104、および、表示部105を有している。図1の機能構成の詳細な説明は後述する。
図2に示すように、本実施形態の画像解析装置は、ハードウェア構成として、演算処理装置201、記憶装置202、入力装置203、及び出力装置204を含んでいる。なお、各装置は、互いに通信可能に構成され、バス等により接続されている。
出力装置204は、液晶パネル、外部モニタ等であり、画像や本実施形態に係る画像解析の結果等を含む各種の情報を表示等することで出力する。
なお、画像解析装置のハードウェア構成は、上述した構成に限られるものではない。例えば、画像解析装置は、各種の装置間で通信を行うためのI/O装置を備えてもよい。I/O装置は、メモリーカード、USBケーブル等の入出力部、有線、無線等による送受信部である。
図1に示した画像解析装置において、取得部101は、カメラによって撮像された画像データを取得する。画像データは、時系列の画像データである。
表示部105は、通過数推定部104で求めた通過数の解析結果、および、流量推定部103で推定した流量マップを表示する。
ステップS301に進むと、取得部101は、監視カメラで撮像したフレーム毎の画像データを取得する。このとき取得される画像データは、R(赤),G(緑),B(青)の各色8ビットの画素からなる二次元データである。取得部101は、この画像データを時系列に順次取得する。本実施形態の画像解析装置では、図3のステップS301~ステップS304の処理を、取得したフレーム毎に繰り返し行う。
図6の入力層610は、時刻tとその次の時刻t+1の両画像のRGBの各2次元配列データと、流量計測方向を表す単位ベクトルの水平および垂直方向成分を2次元配列に拡張したデータとを連結して8チャネルの入力データを構成する。畳込み層620は、入力層610から入力データを受け取り、2次元畳込み演算、非線形変換、および、プーリング処理を所定回数繰り返す。2次元畳込み演算は、事前学習で得たフィルタ群を用いて行われ、所定チャネル数の特徴マップを得る。非線形変換は、例えばReLU(Rectified Linear Unit)等を用いる。プーリング処理は、2次元畳込み演算で得た特徴マップの隣接する2×2のデータの最大値あるいは平均値を求めて特徴マップのサイズを縦横2分の1に縮小する。逆畳込み層630は、畳込み層620で得た特徴マップを受け取り、2次元逆畳込み演算、および、非線形変換を所定回数繰り返す。2次元逆畳込み演算は、事前学習で得たフィルタ群を用いて行われ、所定チャネル数の特徴マップを得る。このとき得られる特徴マップのサイズは、元の特徴マップの2倍になる。このニューラルネットワークは、流量計測方向に対して予め通過流量が分かっている連続する2フレームの画像を訓練データとして学習したものである。
通過数推定部104の処理を、図7を用いて説明する。
通過数推定部104は、まず、検知線Lを囲み且つ検知線に平行な線方向に長い矩形Rを設定する。そして、流量推定部103で得た流量の分布から、矩形R内の値をマイナスの値毎およびプラスの値毎に、絶対値の総和を取る。そして通過数推定部104は、それらマイナスの値毎とプラスの値毎の絶対値の総和に対し、矩形Rの幅に応じた適切な正規化処理を行い、夫々、検知線Lに対して画像の奥から手前に通過する人数、検知線Lに対して画像の手前から奥に通過する人数とする。
例えば、検知線に応じた流量計測方向について最適な流量推定を行うフィルタを生成するようニューラルネットワークが構成されてもよい。このようなニューラルネットワークは、参考文献2に開示されているFMN(filter-manifold network)を用いて構成できる。参考文献2では、群衆の人数推定を行うニューラルネットワークにカメラの向き情報に応じたフィルタを生成するようFMNの学習を行って、人数推定が行われている。
また本実施形態では、カメラで撮影した画像から画像中の人の流れを解析する場合を例に挙げて説明した、対象物は人物以外の物体(例えば車両や動物など)であってもよく、本実施形態は様々な対象物の流れの解析に広く適用可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
Claims (12)
- 撮影された時系列の画像を取得する取得手段と、
前記時系列の画像の中で対象物の流量を計測するための検知線の方向、および、前記時系列の画像において前記検知線と交差する方向に前記対象物の流量を計測する方向を設定する設定手段と、
前記時系列の画像から取得した複数の画像と前記流量を計測する方向とを入力とするニューラルネットワークに基づいて推定された前記対象物の流量の分布を示す情報と、前記対象物の流量を計測する方向を示す情報とを表示する表示手段と、
を有することを特徴とする画像解析装置。 - 前記推定された流量の分布と前記検知線とを基に、前記検知線を通過する前記対象物の数を計測する計測手段を有することを特徴とすることを請求項1に記載の画像解析装置。
- 前記表示手段は、前記対象物の流量の分布を表すマップを生成することを特徴とする請求項1または2に記載の画像解析装置。
- 前記表示手段は、前記流量の分布を表すマップを表示することを特徴とする請求項3に記載の画像解析装置。
- 前記設定手段は、前記画像に対してユーザによって入力された線分を基に、前記対象物の流量を計測する方向を設定することを特徴とする請求項1から4のいずれか1項に記載の画像解析装置。
- 前記設定手段は、前記時系列の画像からオプティカルフローを検出して前記対象物が移動する主方向を決定し、前記主方向を基に前記流量を計測する方向を設定することを特徴とする請求項1から5のいずれか1項に記載の画像解析装置。
- 前記表示手段は、前記時系列の画像から取得した前記画像のサイズを縮小した画像、あるいは正規化した画像を用いて推定された、前記対象物の流量の分布を示す情報を表示することを特徴とする請求項1から6のいずれか1項に記載の画像解析装置。
- 前記表示手段は、前記時系列の画像から取得した前記画像を小領域に分割して、前記小領域ごとに推定した流量を統合することで推定された、前記対象物の流量の分布を示す情報を表示することを特徴とする請求項1から6のいずれか1項に記載の画像解析装置。
- 前記ニューラルネットワークは、前記検知線の方向と交差する方向である前記対象物の流量を計測する方向に対して前記対象物の流量の分布を推定する畳み込み演算を行うフィルタを生成することを特徴とする請求項1から8のいずれか1項に記載の画像解析装置。
- 前記ニューラルネットワークは、前記対象物の流量を計測する方向に基づいて特徴マップを推定する1つ以上の畳み込み層、および、前記特徴マップに基づいて前記対象物の流量の分布を推定する1つ以上の逆畳み込み層を有し、
前記表示手段は、前記対象物の流量を計測する方向に基づいて、前記畳み込み層および逆畳み込み層からいずれかを選択することを特徴とする請求項9に記載の画像解析装置。 - 画像解析装置が実行する画像解析方法であって、
撮影された時系列の画像を取得する取得工程と、
前記時系列の画像の中で対象物の流量を計測するための検知線の方向、および、前記時系列の画像において前記検知線と交差する方向に前記対象物の流量を計測する方向を設定する設定工程と、
前記時系列の画像から取得した複数の画像と前記流量を計測する方向とを入力とするニューラルネットワークに基づいて推定された前記対象物の流量の分布を示す情報と、前記対象物の流量を計測する方向を示す情報とを表示する表示工程と、
を有することを特徴とする画像解析方法。 - コンピュータを、請求項1から10のいずれか1項に記載の画像解析装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019167189A JP7443002B2 (ja) | 2019-09-13 | 2019-09-13 | 画像解析装置、画像解析方法、及びプログラム |
US17/016,067 US11915430B2 (en) | 2019-09-13 | 2020-09-09 | Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019167189A JP7443002B2 (ja) | 2019-09-13 | 2019-09-13 | 画像解析装置、画像解析方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021043866A JP2021043866A (ja) | 2021-03-18 |
JP2021043866A5 JP2021043866A5 (ja) | 2022-09-20 |
JP7443002B2 true JP7443002B2 (ja) | 2024-03-05 |
Family
ID=74864180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019167189A Active JP7443002B2 (ja) | 2019-09-13 | 2019-09-13 | 画像解析装置、画像解析方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11915430B2 (ja) |
JP (1) | JP7443002B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110941999B (zh) * | 2019-11-12 | 2023-02-17 | 通号通信信息集团有限公司 | 一种人群计数系统中自适应计算高斯核大小的方法 |
US11373425B2 (en) * | 2020-06-02 | 2022-06-28 | The Nielsen Company (U.S.), Llc | Methods and apparatus for monitoring an audience of media based on thermal imaging |
US11595723B2 (en) | 2020-08-20 | 2023-02-28 | The Nielsen Company (Us), Llc | Methods and apparatus to determine an audience composition based on voice recognition |
US11763591B2 (en) | 2020-08-20 | 2023-09-19 | The Nielsen Company (Us), Llc | Methods and apparatus to determine an audience composition based on voice recognition, thermal imaging, and facial recognition |
US11553247B2 (en) | 2020-08-20 | 2023-01-10 | The Nielsen Company (Us), Llc | Methods and apparatus to determine an audience composition based on thermal imaging and facial recognition |
WO2023170864A1 (ja) * | 2022-03-10 | 2023-09-14 | 日本電気株式会社 | ルート算出装置、ルート算出方法、および記録媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010198566A (ja) | 2009-02-27 | 2010-09-09 | Nec Corp | 人数計測装置、方法及びプログラム |
WO2017038160A1 (ja) | 2015-09-01 | 2017-03-09 | 日本電気株式会社 | 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム |
JP2017118324A (ja) | 2015-12-24 | 2017-06-29 | パナソニックIpマネジメント株式会社 | 動線分析システム及び動線分析方法 |
JP2018180619A (ja) | 2017-04-04 | 2018-11-15 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6295367B1 (en) * | 1997-06-19 | 2001-09-25 | Emtera Corporation | System and method for tracking movement of objects in a scene using correspondence graphs |
US6263088B1 (en) * | 1997-06-19 | 2001-07-17 | Ncr Corporation | System and method for tracking movement of objects in a scene |
US6185314B1 (en) * | 1997-06-19 | 2001-02-06 | Ncr Corporation | System and method for matching image information to object model information |
JP5400718B2 (ja) | 2010-07-12 | 2014-01-29 | 株式会社日立国際電気 | 監視システムおよび監視方法 |
JP6270433B2 (ja) | 2013-11-26 | 2018-01-31 | キヤノン株式会社 | 情報処理装置、情報処理方法、情報処理システム |
JP6969871B2 (ja) * | 2015-01-14 | 2021-11-24 | 日本電気株式会社 | 移動状況推定装置、移動状況推定方法およびプログラム |
KR101558258B1 (ko) * | 2015-02-04 | 2015-10-12 | (주)유디피 | Tof카메라를 이용한 피플 카운터 및 그 카운트 방법 |
JP5915960B1 (ja) * | 2015-04-17 | 2016-05-11 | パナソニックIpマネジメント株式会社 | 動線分析システム及び動線分析方法 |
WO2016172870A1 (zh) * | 2015-04-29 | 2016-11-03 | 北京旷视科技有限公司 | 视频监控方法、视频监控系统以及计算机程序产品 |
WO2017122258A1 (ja) * | 2016-01-12 | 2017-07-20 | 株式会社日立国際電気 | 混雑状況監視システム |
US10497130B2 (en) * | 2016-05-10 | 2019-12-03 | Panasonic Intellectual Property Management Co., Ltd. | Moving information analyzing system and moving information analyzing method |
GB2562018A (en) * | 2016-09-15 | 2018-11-07 | Vivacity Labs Ltd | A method and system for analyzing the movement of bodies in a traffic system |
JP7130368B2 (ja) | 2017-01-13 | 2022-09-05 | キヤノン株式会社 | 情報処理装置および情報処理システム |
JP6898165B2 (ja) * | 2017-07-18 | 2021-07-07 | パナソニック株式会社 | 人流分析方法、人流分析装置及び人流分析システム |
JP6968645B2 (ja) * | 2017-10-02 | 2021-11-17 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
TWI686748B (zh) * | 2018-12-07 | 2020-03-01 | 國立交通大學 | 人流分析系統及人流分析方法 |
-
2019
- 2019-09-13 JP JP2019167189A patent/JP7443002B2/ja active Active
-
2020
- 2020-09-09 US US17/016,067 patent/US11915430B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010198566A (ja) | 2009-02-27 | 2010-09-09 | Nec Corp | 人数計測装置、方法及びプログラム |
WO2017038160A1 (ja) | 2015-09-01 | 2017-03-09 | 日本電気株式会社 | 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム |
JP2017118324A (ja) | 2015-12-24 | 2017-06-29 | パナソニックIpマネジメント株式会社 | 動線分析システム及び動線分析方法 |
JP2018180619A (ja) | 2017-04-04 | 2018-11-15 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
二木徹(外3名),多人数を高速にカウントする映像解析ソフトウェア,画像ラボ,日本,日本工業出版株式会社,2017年03月10日,第28巻, 第3号,p.53-57 |
Also Published As
Publication number | Publication date |
---|---|
US11915430B2 (en) | 2024-02-27 |
JP2021043866A (ja) | 2021-03-18 |
US20210082127A1 (en) | 2021-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7443002B2 (ja) | 画像解析装置、画像解析方法、及びプログラム | |
US11747898B2 (en) | Method and apparatus with gaze estimation | |
US20170132785A1 (en) | Method and system for evaluating the quality of a surgical procedure from in-vivo video | |
JP7057959B2 (ja) | 動作解析装置 | |
CN113408508B (zh) | 基于Transformer的非接触式心率测量方法 | |
CN106709932A (zh) | 一种人脸位置跟踪方法、装置和电子设备 | |
CN104486618B (zh) | 视频图像的噪声检测方法及装置 | |
US6421462B1 (en) | Technique for differencing an image | |
JP2018022340A (ja) | 画像処理装置、情報処理方法及びプログラム | |
CN110458895A (zh) | 图像坐标系的转换方法、装置、设备及存储介质 | |
JP2018180619A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN104700405B (zh) | 一种前景检测方法和系统 | |
KR20180130869A (ko) | 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템 | |
CN110879982A (zh) | 一种人群计数系统及方法 | |
CN109543510A (zh) | 人流密度估计方法、装置和电子设备 | |
US6434271B1 (en) | Technique for locating objects within an image | |
CN108334878A (zh) | 视频图像检测方法和装置 | |
CN111178276A (zh) | 图像处理方法、图像处理设备及计算机可读存储介质 | |
JP2020170252A (ja) | 画像処理装置、情報処理方法及びプログラム | |
CN116884036A (zh) | 基于YOLOv5DA的生猪姿态检测方法、装置、设备及介质 | |
WO2012153868A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
CN115953438A (zh) | 光流估计方法及装置、芯片及电子设备 | |
JP7190871B2 (ja) | 画像解析装置、画像解析方法、及びプログラム | |
WO2018169843A1 (en) | Generation of alpha masks of video frames | |
JP7309392B2 (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220909 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240221 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7443002 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |