JP7392264B2 - 情報処理装置及び顔認識システム - Google Patents
情報処理装置及び顔認識システム Download PDFInfo
- Publication number
- JP7392264B2 JP7392264B2 JP2019033126A JP2019033126A JP7392264B2 JP 7392264 B2 JP7392264 B2 JP 7392264B2 JP 2019033126 A JP2019033126 A JP 2019033126A JP 2019033126 A JP2019033126 A JP 2019033126A JP 7392264 B2 JP7392264 B2 JP 7392264B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image data
- information processing
- processing device
- face recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 65
- 230000001815 facial effect Effects 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 description 157
- 238000000034 method Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 30
- 238000012795 verification Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 102100021934 Cyclin-D1-binding protein 1 Human genes 0.000 description 5
- 102100037922 Disco-interacting protein 2 homolog A Human genes 0.000 description 5
- 206010016035 Face presentation Diseases 0.000 description 5
- 101000897488 Homo sapiens Cyclin-D1-binding protein 1 Proteins 0.000 description 5
- 101000805876 Homo sapiens Disco-interacting protein 2 homolog A Proteins 0.000 description 5
- 101000651236 Homo sapiens NCK-interacting protein with SH3 domain Proteins 0.000 description 5
- 101000955093 Homo sapiens WD repeat-containing protein 3 Proteins 0.000 description 5
- 101000840469 Arabidopsis thaliana Isochorismate synthase 1, chloroplastic Proteins 0.000 description 4
- 101100156776 Oryza sativa subsp. japonica WOX1 gene Proteins 0.000 description 4
- 101100365603 Phytophthora infestans (strain T30-4) SFI2 gene Proteins 0.000 description 4
- 101100365604 Phytophthora infestans (strain T30-4) SFI3 gene Proteins 0.000 description 4
- 101100365605 Phytophthora infestans (strain T30-4) SFI4 gene Proteins 0.000 description 4
- 101150075910 SRT1 gene Proteins 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 102100022907 Acrosin-binding protein Human genes 0.000 description 3
- 101100162403 Arabidopsis thaliana ALEU gene Proteins 0.000 description 3
- 101100064323 Arabidopsis thaliana DTX47 gene Proteins 0.000 description 3
- 101100056797 Canis lupus familiaris SAG gene Proteins 0.000 description 3
- 101000739146 Homo sapiens Protein SFI1 homolog Proteins 0.000 description 3
- 101000880769 Homo sapiens Protein SSX1 Proteins 0.000 description 3
- 101000880770 Homo sapiens Protein SSX2 Proteins 0.000 description 3
- 102100037271 Protein SFI1 homolog Human genes 0.000 description 3
- 102100037687 Protein SSX1 Human genes 0.000 description 3
- 102100037686 Protein SSX2 Human genes 0.000 description 3
- 102100031798 Protein eva-1 homolog A Human genes 0.000 description 3
- 101150026676 SID1 gene Proteins 0.000 description 3
- 101100532512 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SAG1 gene Proteins 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 101100256921 Ajellomyces capsulatus SID3 gene Proteins 0.000 description 2
- 101100366400 Schizosaccharomyces pombe (strain 972 / ATCC 24843) spg1 gene Proteins 0.000 description 2
- 206010038743 Restlessness Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
- Alarm Systems (AREA)
Description
[1-1.顔認識システムの構成]
図1に示すように第1の実施の形態による顔認識システム1は、例えば同一店舗内に設置された顔認識カメラ2、顔認識サーバ4、ルータ8及びWi-Fi(登録商標)アクセスポイント10と、携帯端末6とにより構成されている。
図2に示すように顔認識カメラ2は、処理装置20、OS(Operating System)26、カメラ撮像部28、顔認識処理部30及びWeb(World Wide Web)サービス部32により構成されている。処理装置20は、通常のPC(Personal Computer)と同等の構成であり、CPU(Central Processing Unit)21、メモリ22、補助記憶装置としてのSSD(Solid State Drive)23及び通信部24が搭載されている。CPU21は、図示しないROM(Read Only Memory)から所定のプログラムを読み出して図示しないRAM(Random Access Memory)をワークメモリとして用いて各種演算を行い顔認識カメラ2を統轄制御して種々の処理を実行する。メモリ22は、不揮発性の記憶装置である。SSD23は、後述する通過履歴情報及び顔データベースを記憶する。通過履歴情報は、カメラ撮像部28が撮像した、人物の顔を含む全身の画像を複数人分記憶したデータである。顔データベースは、通過履歴情報から管理者により選択された人物の顔画像である登録顔画像が顔画像データとして登録されたデータである。
図3に示すように顔認識サーバ4は、処理装置40、OS44及び顔認識処理部46により構成されている。処理装置40は、通常のPCと同等の構成であり、CPU41、メモリ42及び通信部43が搭載されている。CPU41は、図示しないROMから所定のプログラムを読み出して図示しないRAMをワークメモリとして用いて各種演算を行い顔認識サーバ4を統轄制御して種々の処理を実行する。メモリ42は、不揮発性の記憶装置である。通信部43は、ルータ8(図1)に接続されており、顔認識カメラ2及び携帯端末6とデータを送受信する。OS44は、処理装置40と、該処理装置40の外部とのI/Oインターフェースとして機能する。
図4に示すように携帯端末6は、処理装置50、OS56及び顔認識情報操作アプリケーション58により構成されており、管理者により操作される。処理装置50は、CPU51、メモリ52、通信部53及び操作表示部54が搭載されている。CPU51は、図示しないROMから所定のプログラムを読み出して図示しないRAMをワークメモリとして用いて各種演算を行い携帯端末6を統轄制御して種々の処理を実行する。メモリ52は、不揮発性の記憶装置である。通信部53は、Wi-Fiアクセスポイント10に接続されており、顔認識カメラ2及び顔認識サーバ4とデータを送受信する。操作表示部54は、例えばLCD(Liquid Crystal Display)とタッチパネルとが一体化されており、各種画面を表示すると共に利用者の操作指示を受け付ける。OS56は、処理装置50と、該処理装置50の外部とのI/Oインターフェースとして機能する。
ここで、顔認識カメラ2における後述する顔認識処理に関係する基本的な機能を機能ブロック図により表すと、図5のようになる。顔認識カメラ2のCPU21(図2)は所定の顔認識プログラムを実行することにより、取得部60、記憶部62、算定部64及び送信部66の各機能ブロックを実現する。
次に、顔認識カメラ2による顔認識処理の具体的な処理手順について、図6に示すフローチャートを用いて詳細に説明する。CPU21は、顔認識処理プログラムを実行することにより図6に示す顔認識処理手順RT1を開始し、ステップSP1へ移る。ステップSP1においてCPU21は、顔認識処理部30により、カメラ撮像部28から撮像データを読み出して顔認識処理を開始し、ステップSP2へ移る。ステップSP2においてCPU21は、顔認識処理の最初の処理として、撮像画像中から被写体の顔を検出する顔検出処理を顔認識処理部30により行い、ステップSP3へ移る。具体的に顔認識処理部30は、顔検出処理において、顔が写っているかどうか、撮像データにより示される撮像画像中を探索する。ステップSP3においてCPU21は、撮像画像中で顔を発見したか否かを顔認識処理部30により判定する。ここで否定結果が得られると、CPU21はステップSP1へ戻り、上述した処理を繰り返す。
次に顔認識システム1による、主に顔認識カメラ2と顔認識サーバ4との間のデータの流れを示す顔認識処理手順RT2について、図7のシーケンスチャートを用いて説明する。ステップSP21において顔認識カメラ2のCPU21は、一致度が一定以上の顔候補を登録顔画像中で複数発見した場合、上述した判定依頼を通信部24により顔認識サーバ4へ送信する。ここで顔認識処理部30は、顔照合処理において1人に絞り込めずに例えば3人の顔候補にまで絞り込めた場合、これら3人(例えば顔A、顔B及び顔C)の登録顔画像を示す3枚の登録顔画像データそのものと、これら登録顔画像と類似であると判定した、1枚の顔Sの照合顔画像を示す照合顔画像データそのものとを、判定依頼として顔認識サーバ4へ送信する。このとき顔認識処理部30は、複数の画像データをどのような順序で顔認識サーバ4へ送信したかをメモリ22に記憶する。具体的に顔認識処理部30は、例えば顔S、顔A、顔B、顔Cの順序で画像データを顔認識サーバ4へ送信した場合、そのデータ送信順序を記憶する。
次に、顔認識カメラ2による通過履歴情報作成処理の具体的な処理手順について、図8に示すフローチャートを用いて詳細に説明する。CPU21は、顔認識処理手順RT1(図6)のステップSP4において図8に示す通過履歴情報作成処理手順SRT1を開始し、ステップSP31へ移る。ステップSP31においてCPU21は、撮像画像中で発見した顔が、直前の撮像画像における顔と同一人物であるか否かを顔認識処理部30により判定する。ここで肯定結果が得られると、このときCPU21はステップSP35へ移り、通過履歴情報作成処理手順SRT1を終了し、顔認識処理手順RT1(図6)のステップSP5へ移る。このように顔認識処理部30は、撮像画像中で発見した顔を常にトラッキングしており、同一人物と判定してトラッキングし続けている最中は、その顔の人物を新たに通過履歴情報には追加しない。
管理者は、携帯端末6(図4)の顔認識情報操作アプリケーション58を操作して顔認識カメラ2のWebサービス部32を呼び出すことにより、処理装置20に保存された通過履歴情報を適宜読み出し、携帯端末6の操作表示部54に図9に示す通過履歴情報表示画面DIP1として表示させる。
顔認識情報操作アプリケーション58は、アラーム通知ステータスがONになったことを検知すると、照合顔画像を顔認識カメラ2の顔認識処理部30からWebサービス部32を経由して取り出すと共に、該照合顔画像と一致していると判断された登録顔画像を顔認識カメラ2の顔データベースからWebサービス部32を経由して取り出して、図11に示す類似顔提示画面DIP3を携帯端末6の操作表示部54に表示させる。
以上の構成において顔認識システム1は、顔認識カメラ2において、記憶部62に記憶している複数の登録顔画像を参照し、人物の顔が撮像された撮像画像から抽出した照合顔画像と対比して登録顔画像毎に一致率を算定し、登録顔画像と、該登録顔画像に対応する一致率とを出力し、照合顔画像との一致率が所定閾値以上の登録顔画像が複数ある場合に、照合顔画像と、一致率が所定閾値以上の複数の登録顔画像とを顔認識サーバ4に送信し、顔認識サーバ4において、顔認識カメラ2から受信した複数の登録顔画像を参照し、顔認識カメラ2から受信した照合顔画像と対比して登録顔画像毎に一致率を算定し、照合顔画像との一致率が所定閾値以上の1つの登録顔画像がある場合に、該登録顔画像を示すデータ送信順番を顔認識カメラ2に返信するようにした。
[2-1.顔認識システムの構成]
図1に示すように、第2の実施の形態による顔認識システム101は、第1の実施の形態による顔認識システム1と比較して、顔認識カメラ2及び顔認識サーバ4に代わる顔認識カメラ102及び顔認識サーバ104を有する点において相違するものの、他の点については同様に構成されている。
図2に示すように、第2の実施の形態による顔認識カメラ102は、第1の実施の形態による顔認識カメラ2と比較して、処理装置20のCPU21に代わる処理装置120のCPU121を有する点において相違するものの、他の点については同様に構成されている。
図3に示すように、第2の実施の形態による顔認識サーバ104は、第1の実施の形態による顔認識サーバ4と比較して、処理装置40のCPU41に代わる処理装置140のCPU141を有する点において相違するものの、他の点については同様に構成されている。また顔認識サーバ104は、起動時において、顔認識カメラ102のSSD23に記憶された顔データベースを顔認識カメラ102から取得してメモリ42に記憶することにより、顔認識サーバ104が保持している顔データベースを、顔認識カメラ102が保持している顔データベースと同期を取る。
次に顔認識システム101による顔認識処理手順RT102について、図7と対応するステップに同一符号を付した図12のシーケンスチャートを用いて説明する。電源が投入されるとステップSP131において顔認識サーバ104のCPU141は、顔認識カメラ102のSSD23に記憶された顔データベースを顔認識カメラ102から取得する要求である顔データベース取得要求を顔認識カメラ102へ送信する。
なお上述した第1の実施の形態においては、顔認識処理手順RT2のステップSP24において、一致した顔を示すデータ送信順番を判定結果として顔認識サーバ4から顔認識カメラ2へ送信する場合について述べた。本発明はこれに限らず、一致した顔を示す画像データそのものを顔認識サーバ4から顔認識カメラ2へ送信しても良い。
Claims (12)
- 人物の顔が撮像された撮像データを取得する取得部と、
複数の顔画像データを記憶している記憶部と、
前記顔画像データを参照し、前記撮像データと対比して前記顔画像データ毎に一致率を算定し、前記顔画像データと、該顔画像データに対応する一致率とを出力する算定部と、
前記撮像データとの一致率が所定閾値以上の前記顔画像データが1つのみの場合は、前記撮像データと、前記顔画像データを示す照合対象データとを他の情報処理装置に送信しない一方、前記撮像データとの一致率が前記所定閾値以上の前記顔画像データが複数ある場合は、前記撮像データと、一致率が前記所定閾値以上の複数の前記顔画像データを示す前記照合対象データとを前記他の情報処理装置に送信する送信部と
を有する情報処理装置。 - 前記他の情報処理装置は、前記算定部よりも精密な画像対比機能を持つ
請求項1に記載の情報処理装置。 - 前記他の情報処理装置は、前記情報処理装置から受信した前記照合対象データに基づく複数の前記顔画像データを参照し、前記情報処理装置から受信した前記撮像データと対比して前記顔画像データ毎に一致率を算定し、前記撮像データとの一致率が所定閾値以上の1つの前記顔画像データである判定済顔画像データがある場合に、該判定済顔画像データを示すデータを前記情報処理装置に返信する
請求項1又は請求項2に記載の情報処理装置。 - 人物の顔を撮像し前記撮像データを前記取得部へ出力する撮像部
をさらに有する請求項1乃至請求項3の何れかに記載の情報処理装置。 - 前記算定部は、前記撮像データから人物の顔部分を照合顔画像データとして抽出し、
前記送信部は、前記照合顔画像データと前記照合対象データとを前記他の情報処理装置に送信する
請求項1に記載の情報処理装置。 - 前記情報処理装置と前記他の情報処理装置とは、ネットワークにより接続されている
請求項1に記載の情報処理装置。 - 前記送信部は、前記撮像データと、前記照合対象データとしての一致率が前記所定閾値以上の複数の前記顔画像データとを前記他の情報処理装置に送信する
請求項3に記載の情報処理装置。 - 前記他の情報処理装置は、前記情報処理装置から受信した複数の前記顔画像データにおける前記判定済顔画像データを示す順番を前記情報処理装置へ返信する
請求項7に記載の情報処理装置。 - 前記他の情報処理装置は、前記判定済顔画像データを前記情報処理装置へ返信する
請求項7に記載の情報処理装置。 - 前記送信部は、前記撮像データと、一致率が前記所定閾値以上の複数の前記顔画像データを示す前記照合対象データとしての複数の識別情報とを前記他の情報処理装置に送信し、
前記他の情報処理装置は、
前記情報処理装置と同様の内容の複数の前記顔画像データを前記情報処理装置から取得して記憶しており、
前記情報処理装置から受信した前記識別情報に対応する、前記情報処理装置から受信して記憶した前記顔画像データを参照し、前記情報処理装置から受信した前記撮像データと対比して前記顔画像データ毎に一致率を算定し、前記撮像データとの一致率が所定閾値以上の1つの前記顔画像データである判定済顔画像データがある場合に、該判定済顔画像データを示す前記識別情報を前記情報処理装置に返信する
請求項1に記載の情報処理装置。 - 前記他の情報処理装置は、
前記情報処理装置から前記照合対象データを受信するまでは、前記照合対象データを保持していない
請求項3に記載の情報処理装置。 - 情報処理装置とサーバとからなる顔認識システムにおいて、
前記情報処理装置は、
人物の顔が撮像された撮像データを取得する取得部と、
複数の顔画像データを記憶している記憶部と、
前記顔画像データを参照し、前記撮像データと対比して前記顔画像データ毎に一致率を算定し、前記顔画像データと、該顔画像データに対応する一致率とを出力する算定部と、
前記撮像データとの一致率が所定閾値以上の前記顔画像データが1つのみの場合は、前記撮像データと、前記顔画像データを示す照合対象データとを前記サーバに送信しない一方、前記撮像データとの一致率が前記所定閾値以上の前記顔画像データが複数ある場合は、前記撮像データと、一致率が前記所定閾値以上の複数の前記顔画像データを示す前記照合対象データとを前記サーバに送信する送信部と
を有し、
前記サーバは、
前記情報処理装置から受信した前記照合対象データに基づく複数の前記顔画像データを参照し、前記情報処理装置から受信した前記撮像データと対比して前記顔画像データ毎に一致率を算定し、前記撮像データとの一致率が所定閾値以上の1つの前記顔画像データである判定済顔画像データがある場合に、該判定済顔画像データを示すデータを前記情報処理装置に返信する制御部
を有する顔認識システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019033126A JP7392264B2 (ja) | 2019-02-26 | 2019-02-26 | 情報処理装置及び顔認識システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019033126A JP7392264B2 (ja) | 2019-02-26 | 2019-02-26 | 情報処理装置及び顔認識システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020140239A JP2020140239A (ja) | 2020-09-03 |
JP7392264B2 true JP7392264B2 (ja) | 2023-12-06 |
Family
ID=72264933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019033126A Active JP7392264B2 (ja) | 2019-02-26 | 2019-02-26 | 情報処理装置及び顔認識システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7392264B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003187352A (ja) | 2001-12-14 | 2003-07-04 | Nippon Signal Co Ltd:The | 特定人物検出システム |
JP2004259253A (ja) | 2003-02-05 | 2004-09-16 | Fuji Photo Film Co Ltd | 本人認証装置 |
JP2008176653A (ja) | 2007-01-19 | 2008-07-31 | Omron Corp | 監視装置および方法、並びにプログラム |
JP2012133411A (ja) | 2010-12-17 | 2012-07-12 | Glory Ltd | 顔照合システム、顔照合装置及び顔照合方法 |
JP2014182480A (ja) | 2013-03-18 | 2014-09-29 | Toshiba Corp | 人物認識装置、及び方法 |
US20170330028A1 (en) | 2015-11-16 | 2017-11-16 | MorphoTrak, LLC | Facial matching system |
-
2019
- 2019-02-26 JP JP2019033126A patent/JP7392264B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003187352A (ja) | 2001-12-14 | 2003-07-04 | Nippon Signal Co Ltd:The | 特定人物検出システム |
JP2004259253A (ja) | 2003-02-05 | 2004-09-16 | Fuji Photo Film Co Ltd | 本人認証装置 |
JP2008176653A (ja) | 2007-01-19 | 2008-07-31 | Omron Corp | 監視装置および方法、並びにプログラム |
JP2012133411A (ja) | 2010-12-17 | 2012-07-12 | Glory Ltd | 顔照合システム、顔照合装置及び顔照合方法 |
JP2014182480A (ja) | 2013-03-18 | 2014-09-29 | Toshiba Corp | 人物認識装置、及び方法 |
US20170330028A1 (en) | 2015-11-16 | 2017-11-16 | MorphoTrak, LLC | Facial matching system |
Also Published As
Publication number | Publication date |
---|---|
JP2020140239A (ja) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3051511B1 (en) | Mobile terminal device, call-to-action system, call-to-action method, call-to-action program, and safety verification system | |
US9003030B2 (en) | Detecting relative crowd density via client devices | |
JP5950484B2 (ja) | 防犯システム | |
US20120321143A1 (en) | Broadcast Identifier Enhanced Facial Recognition of Images | |
US9706380B1 (en) | Providing emergency notification and tracking data from a mobile device | |
WO2015126825A1 (en) | Method and system for providing code scanning result information | |
WO2017217314A1 (ja) | 応対装置、応対システム、応対方法、及び記録媒体 | |
WO2018179558A1 (ja) | 通信装置、通信システムおよびコンテンツ収集方法 | |
JP6776700B2 (ja) | 災害用情報管理システム、および、災害用情報管理方法 | |
JP2020052856A (ja) | 救援支援サーバ、救援支援システム及びプログラム | |
WO2015016262A1 (ja) | 情報処理装置、認証システム、認証方法、及びプログラム | |
JP2015233204A (ja) | 画像記録装置及び画像記録方法 | |
JP2013077110A (ja) | サーバ装置、プログラム及び通信システム | |
JP7392264B2 (ja) | 情報処理装置及び顔認識システム | |
US20190295065A1 (en) | Affiliated store labeling method, affiliated store labeling device, and affiliated store labeling system for wireless lan fingerprint | |
JP6982168B2 (ja) | 顔照合システム | |
JP2014042170A (ja) | 撮影システム、撮影支援方法、撮影装置及びその制御方法、管理装置及びその制御方法、並びにプログラム | |
EP3432593B1 (en) | Data-flow control device and data-flow control method | |
KR20080090035A (ko) | 웹 서비스를 이용한 방문자 식별 시스템 및 방법 | |
JP5980004B2 (ja) | 入退管理システム及び端末装置 | |
WO2017179143A1 (ja) | 通信端末識別情報特定処理システム | |
WO2022162713A1 (ja) | サーバ装置、システム、サーバ装置の制御方法及び記憶媒体 | |
KR20180051015A (ko) | 사진의 얼굴을 자동인식하여 미아를 식별할 수 있는 연락처 연동 얼굴인식 기반의 미아 찾기 방법 및 이를 이용한 미아 찾기 시스템 | |
JP2020017228A (ja) | 所在不明者探索装置、撮影端末装置、通知端末装置、及びプログラム | |
JP2020136714A (ja) | 情報処理装置および監視方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191115 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7392264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |