JP7193104B1 - 行動体同定システム - Google Patents

行動体同定システム Download PDF

Info

Publication number
JP7193104B1
JP7193104B1 JP2022133966A JP2022133966A JP7193104B1 JP 7193104 B1 JP7193104 B1 JP 7193104B1 JP 2022133966 A JP2022133966 A JP 2022133966A JP 2022133966 A JP2022133966 A JP 2022133966A JP 7193104 B1 JP7193104 B1 JP 7193104B1
Authority
JP
Japan
Prior art keywords
sample
target
feature amount
point
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022133966A
Other languages
English (en)
Other versions
JP2023078062A (ja
Inventor
政啓 若狭
フゥン ドゥック ビ
ズン ティエン チャン
ニヤット ヴェット ブイ
ジェースワル ニティシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asilla Inc
Original Assignee
Asilla Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asilla Inc filed Critical Asilla Inc
Application granted granted Critical
Publication of JP7193104B1 publication Critical patent/JP7193104B1/ja
Publication of JP2023078062A publication Critical patent/JP2023078062A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】 特徴情報の記憶時からの時間経過を考慮して高精度な同定を行うことが可能な行動体同定システムを提供する。【解決手段】 記憶部2は、サンプル画像Yに映ったサンプル行動体Bの第1の着目点に関する第1のサンプル特徴量及び第2の着目点に関する第2のサンプル特徴量を記憶している。同定部5は、検出された第1の対象特徴量及び第2の対象特徴量と、第1のサンプル特徴量及び第2のサンプル特徴量と、に基づき、対象行動体Aとサンプル行動体Bとの同定を行う。記憶部2は、サンプル画像Yの撮影時期に関するサンプル時期情報を更に記憶している。取得部3は、対象画像Xの撮影時期に関する対象時期情報を更に取得し、同定部5は、サンプル時期情報から対象時期情報までの経過時間を算出し、算出された経過時間に応じて第1の着目点にかける重みと第2の着目点にかける重みの割合を変化させて、同定を行う。【選択図】図3

Description

本発明は、画像に映った対象行動体と、記憶されているサンプル行動体と、の同定を行うための行動体同定システムに関する。
従来より、行動体の特徴的な動作に基づき、時系列画像に映った行動体を高精度に特定することの可能な行動体特定システムが知られている(例えば、特許文献1参照)。
特許第6793383号
上記技術では、検出された動作と、記憶されている動作と、に基づき行動体の同定を行っているが、高精度な同定を行うためには、動作以外にも外観等の様々な種類の特徴情報を考慮することが好ましい。
しかしながら、外観等の特徴情報は時間経過と共に変化することが考えられるため、同定時には、記憶されている外観等の特徴情報は、同定に用いるのに適したものではなくなっている可能性がある。
そこで、本発明は、特徴情報の記憶時からの時間経過を考慮して高精度な同定を行うことが可能な行動体同定システムを提供することを目的としている。
本発明は、画像又は映像に映った行動体の外観に関する第1の着目点及び動作に関する第2の着目点に関する特徴量に基づき行動体の同定を行うための行動体同定システムであって、サンプル画像に映ったサンプル行動体の前記第1の着目点に関する第1のサンプル特徴量及び前記第2の着目点に関する第2のサンプル特徴量を記憶した記憶部と、対象画像を取得する取得部と、前記対象画像に映った対象行動体の前記第1の着目点に関する第1の対象特徴量及び前記第2の着目点に関する第2の対象特徴量を検出する検出部と、前記検出された第1の対象特徴量及び第2の対象特徴量と、前記第1のサンプル特徴量及び第2のサンプル特徴量と、に基づき、前記対象行動体と前記サンプル行動体との同定を行う同定部と、を備え、前記記憶部は、前記サンプル画像の撮影時期、又は、前記第1のサンプル特徴量及び第2のサンプル特徴量の記憶時期に関するサンプル時期情報を更に記憶しており、前記取得部は、前記対象画像の撮影時期又は取得時期に関する対象時期情報を更に取得し、前記同定部は、前記サンプル時期情報から前記対象時期情報までの経過時間を算出し、前記算出された経過時間が第1の所定値より短い場合には第1の着目点にかける重みを増加させ、前記算出された経過時間が前記第1の所定値以上に設定された第2の所定値より長い場合には第2の着目点にかける重みを増加させることで、前記行動体の実体の経時的変化を考慮した前記同定を行うことを特徴とする行動体同定システムを提供している。
このような構成によれば、着目点の種類ごとに経過時間に応じた適切な重みが加えられるので、高精度な同定を行うことが可能となる。
また、前記第1の所定値又は前記第2の所定値は、前記第1の着目点又は前記第2の着目点の種類ごとに個別に設定されていることが好ましい。
このような構成によれば、より高精度な同定を行うことが可能となる。
また、本発明の別の観点によれば、上記行動体同定システムに対応する行動体同定プログラム及び行動体同定方法を提供している。
本発明の行動体同定システムによれば、特徴情報の記憶時からの時間経過を考慮して高精度な同定を行うことが可能となる。
本発明の実施の形態による対象画像及びサンプル画像の説明図 本発明の実施の形態による行動体同定システムのブロック図 本発明の実施の形態による行動体同定システムのフローチャート
以下、本発明の実施の形態による行動体同定システム1について、図1-図3を参照して説明する。
行動体同定システム1は、図1に示すように、画像(映像)Xに映った対象行動体Aの外観又は動作における第1の着目点及び第2の着目点に関する特徴量に基づき行動体の同定を行うためのものである。本実施の形態では、行動体として、人間を例に説明を行う。
行動体同定システム1は、図2に示すように、記憶部2と、取得部3と、検出部4と、同定部5と、を備えている。
記憶部2は、サンプル画像Yに映ったサンプル行動体Bの第1の着目点に関する第1のサンプル特徴量及び第2の着目点に関する第2のサンプル特徴量を記憶している。本実施の形態では、サンプル画像Yから検出された第1のサンプル特徴量及び第2のサンプル特徴量を記憶しており、サンプル画像Y自体は記憶していないものとする。
また、本実施の形態では、第1の着目点は、行動体の外観に関するもの、第2の着目点は、行動体の動作に関するものとして説明を行う。
行動体の外観としては、顔、体格、髪型、服装、持ち物等が考えられ、行動体の動作としては、特徴的な動作(癖、仕草等)、歩容等が考えられる。
本実施の形態では、記憶部2は、このような第1のサンプル特徴量及び第2のサンプル特徴量を多数のサンプル行動体Bのそれぞれについて記憶しているものとする。
また、記憶部2は、サンプル画像Yの撮影時期、又は、第1のサンプル特徴量及び第2のサンプル特徴量の記憶時期に関するサンプル時期情報を、各サンプル行動体Bの第1のサンプル特徴量及び第2のサンプル特徴量と紐づけて更に記憶している。
取得部3は、対象画像(映像)Xを取得する。また、本実施の形態では、取得部3は、対象画像Xの撮影時期又は取得時期に関する対象時期情報を更に取得する。
検出部4は、対象画像Xに映った対象行動体Aの第1の着目点に関する第1の対象特徴量及び第2の着目点に関する第2の対象特徴量を検出する。
例えば、記憶部2に記憶された第1のサンプル特徴量が「顔」であった場合には、第1の対象特徴量として、「顔」の特徴量を検出し、記憶部2に記憶された第2のサンプル特徴量が「歩容」であった場合には、第2の対象特徴量として、「歩容」の特徴量を検出することとなる。
動作の特徴量の検出としては、様々な方法が考えられるが、例えば、対象行動体Aを公知のトラッキング方法等でトラッキングして各関節の動きを特徴量として検出する方法が考えられる。
同定部5は、検出された第1の対象特徴量及び第2の対象特徴量と、第1のサンプル特徴量及び第2のサンプル特徴量と、に基づき、対象行動体Aとサンプル行動体Bとの同定を行う。
ここで、上記同定を行うために用いられる第1のサンプル特徴量及び第2のサンプル特徴量の信頼度は、時間経過と共に変化することが考えられる。
例えば、髪型、服装、持ち物等は、日にちが異なれば、大きく変化している可能性がある(図1の例では、対象行動体Aとサンプル行動体Bが同一人物であったとしても、日付が異なれば、帽子、鞄の有無等は高確率で変化する)。また、顔、体格等は、数か月~数年経過すれば、大きく変化している可能性がある。一方、特徴的な動作(癖、仕草等)、歩容等は、数年経過していても、大きく変化している可能性は低い。
そこで、本実施の形態では、同定部5は、サンプル時期情報から対象時期情報までの経過時間を算出し、算出された経過時間が第1の所定値より短い場合には第1の着目点(外観)にかける重みを増加させ、算出された経過時間が第1の所定値以上に設定された第2の所定値より長い場合には第2の着目点(動作)にかける重みを増加させることで、行動体A、Bの実体の経時的変化を考慮した同定を行う。
例えば、経過時間が短い(例えば、同じ日にち)場合には(第1の所定値より短い場合には)、外観に関する第1の着目点にかける重みを増加させることが考えられる(結果として、動作に関する第2の着目点にかける重みは減少させることとなる)。一方、経過時間が長い(例えば、数年)場合には(第2の所定値より長い場合には)、動作に関する第2の着目点にかける重みを、外観に関する第1の着目点にかける重みより増加させることが考えられる(結果として、外観に関する第1の着目点にかける重みは減少させることとなる)。このようにして、着目点の種類ごとに経過時間に応じた適切な重みを加えることで、高精度な同定を行うことが可能となる。
なお、本実施の形態では、記憶部2に記憶された各サンプル行動体Bについてサンプル時期情報から対象時期情報までの経過時間を算出し、算出された各経過時間に応じて第1の着目点にかける重みと第2の着目点にかける重みの割合を変化させて、対象行動体Aと各サンプル行動体Bとの同定を行うが、所定以上の一致度を有する複数のサンプル行動体Bの中で最も一致度の高いサンプル行動体Bを対象行動体Aとして決定しても良いし、所定以上の一致度を有する複数のサンプル行動体Bを対象行動体Aの候補として決定しても良い。
また、上記同定により「対象行動体Aは一のサンプル行動体Bと同一の行動体である」と判断された場合には、検出された第1の対象特徴量及び第2の対象特徴量を、第1のサンプル特徴量及び第2のサンプル特徴量として記憶部2に新たに記憶することが好ましい。
この場合、古い第1のサンプル特徴量及び第2のサンプル特徴量を削除しても良いし、古い第1のサンプル特徴量及び第2のサンプル特徴量を新たに記憶された第1のサンプル特徴量及び第2のサンプル特徴量に紐づけ、次回以降は、双方(複数セットの第1のサンプル特徴量及び第2のサンプル特徴量)を用いての同定を行っても良い。
更に、複数セットの第1のサンプル特徴量及び第2のサンプル特徴量を用いて同定を行う場合には、古い第1のサンプル特徴量及び第2のサンプル特徴量よりも、新しい第1のサンプル特徴量及び第2のサンプル特徴量の少なくとも一方にかける重みの割合の方が大きくなるようにしても良い。すなわち、経過時間に応じて第1の着目点にかける重みと第2の着目点にかける重みの割合を変化させることとなる。
続いて、図3のフローチャートを用いて、行動体同定システム1の動作について説明する。
まず、対象画像X及び対象時期情報を取得すると(S1:YES)、第1の対象特徴量及び第2の対象特徴量を検出する(S2)。
続いて、サンプル時期情報から対象時期情報までの経過時間を算出し(S3)、算出された経過時間が第1の所定値より短い場合には第1の着目点にかける重みを増加させ、算出された経過時間が第1の所定値以上に設定された第2の所定値より長い場合には第2の着目点にかける重みを増加させることで(S4)、サンプル行動体と対象行動体Aの実体の経時的変化を考慮した同定を行う(S5)。
なお、対象時期情報は、対象画像Xと同時に取得されなくても、S3で経過時間を算出するまでに取得されていれば良い。
以上説明したように、本実施の形態による行動体同定システム1では、サンプル時期情報から対象時期情報までの経過時間を算出し、算出された経過時間が第1の所定値より短い場合には第1の着目点にかける重みを増加させ、算出された経過時間が第1の所定値以上に設定された第2の所定値より長い場合には第2の着目点にかける重みを増加させることで、行動体A、Bの実体の経時的変化を考慮した同定を行う。
このような構成によれば、経過時間によって大きく変化する可能性の高い外観と、経過時間によって大きく変化する可能性の低い動作と、で重みを変化させるので、高精度な同定を行うことが可能となる。
尚、本発明の行動体同定システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。
例えば、上記実施の形態では、単純に、算出された経過時間が第1の所定値より短い場合には第1の着目点(外観)にかける重みを増加させ、算出された経過時間が第2の所定値より長い場合には第2の着目点(動作)にかける重みを増加させた例を挙げたが、各着目点の中でもその種類ごとに所定値を個別に設定しても良い。例えば、同じ外観であっても、顔、体格の方が、帽子、鞄の有無よりも時間経過による変化の可能性が低いので、顔、体格に関しては、帽子、鞄の有無に設定した第1の所定値よりも長い第1の所定値に設定することが考えられる。これにより、より高精度な同定を行うことが可能となる。
また、上記実施の形態では、全てのサンプル行動体Bについて、サンプル時期情報から対象時期情報までの経過時間を算出したが、これに限らない。例えば、検出された第1の対象特徴量及び第2の対象特徴量に基づき、記憶部2に記憶された多数のサンプル行動体Bの中から所定以上の一致度を有する複数のサンプル行動体Bを対象行動体の候補として決定し、当該複数のサンプル行動体Bについて経過時間に応じて重みの割合を変化させて同定を行っても良い。
また、上記実施の形態では、映像を用いて同定を行ったが、単一の画像を用いて同定を行っても良い。着目点が外観の場合には、単一の画像であっても同定可能なことは当然であるが、着目点が動作の場合でも、行動体の姿勢から動作の特徴量を推定して同定を行うことが可能である。
また、上記実施の形態では、一の対象行動体Aが対象画像Xに映っている例を用いて説明を行ったが、複数の対象行動体Aが対象画像に映っている場合に複数の対象行動体Aのそれぞれについて同定を用いてもよいことはもちろんである。
また、上記実施の形態では、対象行動体A及びサンプル行動体Bとして人間を例に説明したが、動物やロボットについて使用することも可能である。
また、本発明は、行動体同定システム(コントローラ)が行う処理に相当するプログラム又は方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、CD-ROM等が考えられるが、それに限定されるものではない。
1 行動体同定システム
2 記憶部
3 取得部
4 検出部
5 同定部
6 推定部
A 対象行動体
B サンプル行動体
X 対象画像
Y サンプル画像

Claims (4)

  1. 画像又は映像に映った行動体の外観に関する第1の着目点及び動作に関する第2の着目点に関する特徴量に基づき行動体の同定を行うための行動体同定システムであって、
    サンプル画像に映ったサンプル行動体の前記第1の着目点に関する第1のサンプル特徴量及び前記第2の着目点に関する第2のサンプル特徴量を記憶した記憶部と、
    対象画像を取得する取得部と、
    前記対象画像に映った対象行動体の前記第1の着目点に関する第1の対象特徴量及び前記第2の着目点に関する第2の対象特徴量を検出する検出部と、
    前記検出された第1の対象特徴量及び第2の対象特徴量と、前記第1のサンプル特徴量及び第2のサンプル特徴量と、に基づき、前記対象行動体と前記サンプル行動体との同定を行う同定部と、
    を備え、
    前記記憶部は、前記サンプル画像の撮影時期、又は、前記第1のサンプル特徴量及び第2のサンプル特徴量の記憶時期に関するサンプル時期情報を更に記憶しており、
    前記取得部は、前記対象画像の撮影時期又は取得時期に関する対象時期情報を更に取得し、
    前記同定部は、前記サンプル時期情報から前記対象時期情報までの経過時間を算出し、前記算出された経過時間が第1の所定値より短い場合には第1の着目点にかける重みを増加させ、前記算出された経過時間が前記第1の所定値以上に設定された第2の所定値より長い場合には第2の着目点にかける重みを増加させることで、前記行動体の実体の経時的変化を考慮した前記同定を行うことを特徴とする行動体同定システム。
  2. 前記第1の所定値又は前記第2の所定値は、前記第1の着目点又は前記第2の着目点の種類ごとに個別に設定されていることを特徴とする請求項1に記載の行動体同定システム。
  3. 画像又は映像に映った行動体の外観に関する第1の着目点及び動作に関する第2の着目点に関する特徴量に基づき行動体の同定を行うために、サンプル画像に映ったサンプル行動体の前記第1の着目点に関する第1のサンプル特徴量及び前記第2の着目点に関する第2のサンプル特徴量が記憶されるコンピュータに実行させるプログラムであって、
    対象画像を取得するステップと、
    前記対象画像に映った対象行動体の前記第1の着目点に関する第1の対象特徴量及び前記第2の着目点に関する第2の対象特徴量を検出するステップと、
    前記検出された第1の対象特徴量及び第2の対象特徴量と、前記第1のサンプル特徴量及び第2のサンプル特徴量と、に基づき、前記対象行動体と前記サンプル行動体との同定を行うステップと、
    を備え、
    前記コンピュータは、前記サンプル画像の撮影時期、又は、前記第1のサンプル特徴量及び第2のサンプル特徴量の記憶時期に関するサンプル時期情報を更に記憶しており、
    前記取得するステップでは、前記対象画像の撮影時期又は取得時期に関する対象時期情報を更に取得し、
    前記同定するステップでは、前記サンプル時期情報から前記対象時期情報までの経過時間を算出し、前記算出された経過時間が第1の所定値より短い場合には第1の着目点にかける重みを増加させ、前記算出された経過時間が前記第1の所定値以上に設定された第2の所定値より長い場合には第2の着目点にかける重みを増加させることで、前記行動体の実体の経時的変化を考慮した前記同定を行うことを特徴とする行動体同定プログラム。
  4. 画像又は映像に映った行動体の外観に関する第1の着目点及び動作に関する第2の着目点に関する特徴量に基づき行動体の同定を行うために、サンプル画像に映ったサンプル行動体の前記第1の着目点に関する第1のサンプル特徴量及び前記第2の着目点に関する第2のサンプル特徴量が記憶されるコンピュータで実行される方法であって、
    対象画像を取得するステップと、
    前記対象画像に映った対象行動体の前記第1の着目点に関する第1の対象特徴量及び前記第2の着目点に関する第2の対象特徴量を検出するステップと、
    前記検出された第1の対象特徴量及び第2の対象特徴量と、前記第1のサンプル特徴量及び第2のサンプル特徴量と、に基づき、前記対象行動体と前記サンプル行動体との同定を行うステップと、
    を備え、
    前記コンピュータは、前記サンプル画像の撮影時期、又は、前記第1のサンプル特徴量及び第2のサンプル特徴量の記憶時期に関するサンプル時期情報を更に記憶しており、
    前記取得するステップでは、前記対象画像の撮影時期又は取得時期に関する対象時期情報を更に取得し、
    前記同定するステップでは、前記サンプル時期情報から前記対象時期情報までの経過時間を算出し、前記算出された経過時間が第1の所定値より短い場合には第1の着目点にかける重みを増加させ、前記算出された経過時間が前記第1の所定値以上に設定された第2の所定値より長い場合には第2の着目点にかける重みを増加させることで、前記行動体の実体の経時的変化を考慮した前記同定を行うことを特徴とする行動体同定方法。
JP2022133966A 2021-11-25 2022-08-25 行動体同定システム Active JP7193104B1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021191057 2021-11-25
JP2021191057 2021-11-25
JP2022080310 2022-05-16
JP2022080310 2022-05-16

Publications (2)

Publication Number Publication Date
JP7193104B1 true JP7193104B1 (ja) 2022-12-20
JP2023078062A JP2023078062A (ja) 2023-06-06

Family

ID=84534619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022133966A Active JP7193104B1 (ja) 2021-11-25 2022-08-25 行動体同定システム

Country Status (1)

Country Link
JP (1) JP7193104B1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316746A (ja) 2002-04-25 2003-11-07 Toshiba Corp 人物認識システム
WO2006013765A1 (ja) 2004-08-03 2006-02-09 Matsushita Electric Industrial Co., Ltd. 人物判定装置及び人物検索追跡装置
JP2010239992A (ja) 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物同定装置、人物同定方法、及び人物同定プログラム
JP2011118812A (ja) 2009-12-07 2011-06-16 Toyota Motor Corp 接近者情報記録装置及び接近者威嚇装置。
JP2011130203A (ja) 2009-12-17 2011-06-30 Canon Inc 映像情報処理方法及びその装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316746A (ja) 2002-04-25 2003-11-07 Toshiba Corp 人物認識システム
WO2006013765A1 (ja) 2004-08-03 2006-02-09 Matsushita Electric Industrial Co., Ltd. 人物判定装置及び人物検索追跡装置
JP2010239992A (ja) 2009-03-31 2010-10-28 Sogo Keibi Hosho Co Ltd 人物同定装置、人物同定方法、及び人物同定プログラム
JP2011118812A (ja) 2009-12-07 2011-06-16 Toyota Motor Corp 接近者情報記録装置及び接近者威嚇装置。
JP2011130203A (ja) 2009-12-17 2011-06-30 Canon Inc 映像情報処理方法及びその装置

Also Published As

Publication number Publication date
JP2023078062A (ja) 2023-06-06

Similar Documents

Publication Publication Date Title
CN107784282B (zh) 对象属性的识别方法、装置及系统
Chattopadhyay et al. Frontal gait recognition from incomplete sequences using RGB-D camera
CN109729395B (zh) 视频质量评估方法、装置、存储介质和计算机设备
JP5077164B2 (ja) 追跡装置及び追跡方法
CN110598559B (zh) 检测运动方向的方法、装置、计算机设备和存储介质
US20130335571A1 (en) Vision based target tracking for constrained environments
CN112183252A (zh) 视频的动作识别方法、装置、计算机设备和存储介质
CN109447672A (zh) 应用推荐方法、装置、存储介质和计算机设备
JP2017053795A (ja) 情報処理装置、位置姿勢計測方法、及び位置姿勢計測プログラム
US11494702B2 (en) Task estimation method and information processing apparatus
CN110532895B (zh) 人脸识别过程中的欺诈行为检测方法、装置及设备
CN109961103B (zh) 特征提取模型的训练方法、图像特征的提取方法及装置
JP6725381B2 (ja) 画像照合装置および画像照合方法
JP7193104B1 (ja) 行動体同定システム
JP2018081654A (ja) 検索装置、表示装置および検索方法
Malawski et al. Real-time action detection and analysis in fencing footwork
JP6590477B2 (ja) 情報処理装置、情報処理方法、プログラム
CN111507244B (zh) Bmi检测方法、装置以及电子设备
CN111385813B (zh) 用于重复活动序列中的循环持续时间测量的系统和方法
CN115527265A (zh) 一种基于体育训练的动作捕捉方法及系统
CN108230284B (zh) 一种运动轨迹确定方法及装置
CN109993312A (zh) 一种设备及其信息处理方法、计算机存储介质
KR20220098314A (ko) 뉴럴 네트워크의 트레이닝 방법과 장치 및 관련 대상 검출 방법과 장치
JPWO2022024272A5 (ja)
JP2020064568A (ja) 映像解析システム、学習装置、及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221130

R150 Certificate of patent or registration of utility model

Ref document number: 7193104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150