JP7152817B1 - 動画像分析プログラム - Google Patents
動画像分析プログラム Download PDFInfo
- Publication number
- JP7152817B1 JP7152817B1 JP2021572316A JP2021572316A JP7152817B1 JP 7152817 B1 JP7152817 B1 JP 7152817B1 JP 2021572316 A JP2021572316 A JP 2021572316A JP 2021572316 A JP2021572316 A JP 2021572316A JP 7152817 B1 JP7152817 B1 JP 7152817B1
- Authority
- JP
- Japan
- Prior art keywords
- participant
- unit
- moving image
- change
- biological reaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 92
- 238000004458 analytical method Methods 0.000 claims abstract description 91
- 238000011156 evaluation Methods 0.000 claims abstract description 45
- 230000008859 change Effects 0.000 claims description 74
- 238000010191 image analysis Methods 0.000 claims description 28
- 230000008512 biological response Effects 0.000 claims description 3
- 230000004424 eye movement Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 13
- 230000008921 facial expression Effects 0.000 description 16
- 230000008451 emotion Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 8
- 230000002996 emotional effect Effects 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Signal Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
複数人の参加者でオンラインセッションが行われる環境において、オンラインセッション中に参加者が画面に表示されているか否かによらず、前記参加者を撮影することによって得られる動画像をもとに前記参加者の反応を解析する動画像分析システムであって、
前記オンラインセッション中に前記参加者を撮影することによって得られる動画像を取得する動画像取得部と、
前記動画像取得部により取得された動画像に基づいて、前記参加者について生体反応の変化を解析する解析部と、
前記解析結果に関する目標情報を読み込む目標読込部と、
読み込んだ前記目標情報と、前記参加者の解析結果とを比較して評価する評価部と、を備える、
動画像分析システム
が得られる。
[項目1]
複数人の参加者でオンラインセッションが行われる環境において、オンラインセッション中に参加者が画面に表示されているか否かによらず、前記参加者を撮影することによって得られる動画像をもとに前記参加者の反応を解析する動画像分析システムであって、
前記オンラインセッション中に前記参加者を撮影することによって得られる動画像を取得する動画像取得部と、
前記動画像取得部により取得された動画像に基づいて、前記参加者について生体反応の変化を解析する解析部と、
前記解析結果に関する目標情報を読み込む目標読込部と、
読み込んだ前記目標情報と、前記参加者の解析結果とを比較して評価する評価部と、を備える、
動画像分析システム。
[項目2]
項目1に記載の動画像分析システムであって、
前記目標情報は、時系列に設定された前記生体反応の変化の目標値であり、
前記評価部は、前記参加者の前記生体反応の変化が、前記目標値を満たしているか否かを評価する、
動画像分析システム。
[項目3]
項目2に記載の動画像分析システムであって、
前記評価の結果、所定期間における前記参加者の生体反応の変化のトレンドが、前記目標値から所定の閾値以上乖離した場合に、専門家端末へ通知を行う通知部を更に備える、
動画像分析システム。
[項目4]
項目1乃至項目3のいずれかに記載の動画像分析システムであって、
前記評価の結果を前記参加者に提供する評価提供部を更に備える、
動画像分析システム。
[項目5]
項目1乃至項目4のいずれかに記載の動画像分析システムの構成を備えた動画像分析装置。
[項目6]
項目1乃至項目4いずれかに記載の動画像分析システムの構成を動画像分析装置に機能させる動画像分析プログラム。
[項目7]
項目1乃至項目4のいずれかに記載の動画像分析システムの構成をステップとして実行する動画像分析方法。
本実施形態のビデオセッション評価システムは、複数人でビデオセッション(以下、一方向及び双方向含めてオンラインセッションという)が行われる環境において、当該複数人の中の解析対象者について他者とは異なる特異的な感情(自分または他人の言動に対して起こる気持ち。快・不快またはその程度など)を解析し評価するシステムである。オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された端末をインターネットなどの通信ネットワークを介してサーバに接続し、当該サーバを通じて複数の端末間で動画像をやり取りできるようにしたものである。オンラインセッションで扱う動画像には、端末を使用するユーザの顔画像や音声が含まれる。また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。各端末の画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のうち1人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。端末を使用してオンラインセッションに参加する複数のユーザのうち、何れか1人または複数人を解析対象者として指定することが可能である。例えば、オンラインセッションの主導者、進行者または管理者(以下、まとめて主催者という)が何れかのユーザを解析対象者として指定する。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。なお、解析対象者を指定せず全ての参加者を解析対象としてもよい。また、オンラインセッションの主導者、進行者または管理者(以下、まとめて主催者という)が何れかのユーザを解析対象者として指定することも可能である。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。
以下に説明する各機能ブロック、機能単位、機能モジュールは、例えばコンピュータに備えられたハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。本明細書において説明するシステム及び端末による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る情報共有支援装置10の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することが可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
図3に示されるように、ビデオセッションサービス端末が提供するビデオセッションサービス(以下、単に「本サービス」と言うことがある」)は、ユーザ端末10、20に対して双方向に画像および音声によって通信が可能となるものである。本サービスは、ユーザ端末のディスプレイに相手のユーザ端末のカメラ部で取得した動画像を表示し、相手のユーザ端末のマイク部で取得した音声をスピーカーから出力可能となっている。また、本サービスは双方の又はいずれかのユーザ端末によって、動画像及び音声(これらを合わせて「動画像等」という)を少なくともいずれかのユーザ端末上の記憶部に記録(レコーディング)することが可能に構成されている。記録された動画像情報Vs(以下「記録情報」という)は、記録を開始したユーザ端末にキャッシュされつついずれかのユーザ端末のローカルのみに記録されることとなる。ユーザは、必要があれば当該記録情報を本サービスの利用の範囲内で自分で視聴、他者に共有等行うこともできる。
図4は、本実施形態による構成例を示すブロック図である。図4に示すように、本実施形態のビデオセッション評価システムは、ユーザ端末10が有する機能構成として実現される。すなわち、ユーザ端末10はその機能として、動画像取得部11、生体反応解析部12、特異判定部13、関連事象特定部14、クラスタリング部15および解析結果通知部16を備えている。
図5に示すように、本実施形態のビデオセッション評価システムは、機能構成として、動画像取得部11、生体反応解析部12および反応情報提示部13aを備えていてもよい。
図6は、本実施形態による構成例を示すブロック図である。図6に示すように、本実施形態のビデオセッション評価システムは、機能構成として、上述した実施の形態1と類似する機能については同一つの参照符号を付して説明を省略することがある。
(1)すべてをユーザ端末のみで処理
図9に示されるように、解析部による処理をビデオセッションを行っている端末で行うことにより、(一定の処理能力は必要なものの)ビデオセッションを行っている時間と同時に(リアルタイムに)分析・評価結果を得ることができる。
(2)ユーザ端末と評価端末とで処理
図10に示されるように、ネットワーク等で接続された評価端末に解析部を備えさせることとしてもよい。この場合、ユーザ端末で取得された動画像は、ビデオセッションと同時に又は事後的に評価端末に共有され、評価端末における解析部によって分析・評価されたのちに、オブジェクト50及びオブジェクト100の情報がユーザ端末に動画像データと共に又は別に(即ち、少なくとも解析データを含む情報が)共有され表示部に表示される。
本発明の実施の形態による動画像分析システム(以下、単に「システム」という)は、複数人の参加者でオンラインセッションが行われる環境において、当該参加者の全員又は特定の参加者のみを撮影することによって得られる動画像をもとに参加者の反応を解析・分析するものである。分析は、オンラインセッション中に参加者が画面に表示されているか否かによらず行われるものとしてもよい。
動画像分析システム。
30 ビデオセッションサービス端末
40 評価端末
Claims (5)
- 複数人の参加者でオンラインセッションが行われる環境において、前記参加者を撮影することによって得られる動画像をもとに前記参加者の反応を解析する動画像分析システムであって、
前記オンラインセッション中に前記参加者を撮影することによって得られる動画像を取得する動画像取得部と、
前記動画像取得部により取得された動画像に基づいて、前記参加者について生体反応の変化を解析する解析部と、
前記解析結果に関する目標情報を読み込む目標読込部と、
読み込んだ前記目標情報と、前記参加者の解析結果とを比較して評価する評価部と、を備え、
前記評価の結果、所定期間における前記参加者の生体反応の変化のトレンドが、前記目標情報から所定の閾値以上乖離した場合に、専門家端末へ通知を行う通知部を更に備える、
動画像分析システム。 - 請求項1に記載の動画像分析システムであって、
前記目標情報は、時系列に設定された前記生体反応の変化の目標値であり、
前記評価部は、前記参加者の前記生体反応の変化が、前記目標値を満たしているか否かを評価する、
動画像分析システム。 - 請求項1又は請求項2に記載の動画像分析システムであって、
前記評価の結果を前記参加者に提供する評価提供部を更に備える、
動画像分析システム。 - 請求項1に記載の動画像分析システムであって、
前記解析部は、前記複数人の参加者のそれぞれについて目線の動きを解析して前記目線の方向を示すヒートマップを生成し、生成されたヒートマップと他の参加者について生成されたヒートマップとの対比により、前記参加者について解析された前記生体反応の変化が、前記他の参加者について解析された前記生体反応の変化と比べて特異的か否かを判定する、
動画像分析システム。 - 請求項1に記載の動画像分析システムであって、
前記解析部は、前記参加者について解析された前記生体反応の変化が他の前記参加者について解析された前記生体反応の変化と比べて特異的か否かを判定し、前記参加者に特異的であると判定された生体反応の変化が起きたときに前記参加者、他の前記参加者又環境の少なくとも1つに関して発生している事象を特定し、前記参加者の前記生体反応の変化と前記事象との相関の程度を解析し、前記相関が一定レベル以上であると判定された場合にその相関の解析結果に基づいて前記参加者又は前記事象をクラスタリングする、
動画像分析システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022013829A JP7152819B1 (ja) | 2021-03-24 | 2022-02-01 | 動画像分析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/012360 WO2022201383A1 (ja) | 2021-03-24 | 2021-03-24 | 動画像分析プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022013829A Division JP7152819B1 (ja) | 2021-03-24 | 2022-02-01 | 動画像分析プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022201383A1 JPWO2022201383A1 (ja) | 2022-09-29 |
JP7152817B1 true JP7152817B1 (ja) | 2022-10-13 |
JPWO2022201383A5 JPWO2022201383A5 (ja) | 2023-02-20 |
Family
ID=83396646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021572316A Active JP7152817B1 (ja) | 2021-03-24 | 2021-03-24 | 動画像分析プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11935329B2 (ja) |
JP (1) | JP7152817B1 (ja) |
WO (1) | WO2022201383A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120290508A1 (en) * | 2011-05-09 | 2012-11-15 | Anurag Bist | System and Method for Personalized Media Rating and Related Emotional Profile Analytics |
JP2015186127A (ja) * | 2014-03-25 | 2015-10-22 | ブラザー工業株式会社 | プログラム及びサーバ装置 |
JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
JP2019148852A (ja) * | 2018-02-26 | 2019-09-05 | 京セラドキュメントソリューションズ株式会社 | 理解度判定システムおよび理解度判定プログラム |
JP2021022909A (ja) * | 2019-07-30 | 2021-02-18 | 株式会社リコー | 情報処理装置、情報処理プログラム、情報処理システム、情報処理方法 |
JP2021027917A (ja) * | 2019-08-09 | 2021-02-25 | 美津濃株式会社 | 情報処理装置、情報処理システム、および機械学習装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3201355B2 (ja) | 1998-08-28 | 2001-08-20 | 日本電気株式会社 | 感情解析システム |
JP2011154665A (ja) | 2010-01-25 | 2011-08-11 | Opn Corp | 表情変化分析システム |
JP2011186521A (ja) | 2010-03-04 | 2011-09-22 | Nec Corp | 感情推定装置および感情推定方法 |
JP5300795B2 (ja) | 2010-06-28 | 2013-09-25 | 日本電信電話株式会社 | 顔表情増幅装置、表情認識装置、顔表情増幅方法、表情認識方法、及びプログラム |
JP5917841B2 (ja) | 2011-06-15 | 2016-05-18 | 日産自動車株式会社 | 気分判定装置及び気分判定装置の作動方法 |
JP6420329B2 (ja) | 2014-05-13 | 2018-11-07 | 有限会社セルリバース | 情緒及び雰囲気データ入力、表示及び分析装置 |
WO2016178329A1 (ja) | 2015-05-07 | 2016-11-10 | ソニー株式会社 | 情報処理システム、制御方法、および記憶媒体 |
CN106562792B (zh) | 2015-10-08 | 2021-08-06 | 松下电器(美国)知识产权公司 | 信息提示装置的控制方法和信息提示装置 |
JP6801459B2 (ja) | 2017-01-10 | 2020-12-16 | 日本電気株式会社 | 情報処理装置、いじめ発見方法、情報処理システム、および、コンピュータプログラム |
JP2019058625A (ja) | 2017-09-26 | 2019-04-18 | 株式会社エモスタ | 感情読み取り装置及び感情解析方法 |
JP2020048610A (ja) | 2018-09-21 | 2020-04-02 | 富士ゼロックス株式会社 | 状態評価システム |
JP2020086559A (ja) | 2018-11-16 | 2020-06-04 | 具亨 西川 | 感情分析システム |
-
2021
- 2021-03-24 JP JP2021572316A patent/JP7152817B1/ja active Active
- 2021-03-24 US US18/552,384 patent/US11935329B2/en active Active
- 2021-03-24 WO PCT/JP2021/012360 patent/WO2022201383A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120290508A1 (en) * | 2011-05-09 | 2012-11-15 | Anurag Bist | System and Method for Personalized Media Rating and Related Emotional Profile Analytics |
JP2015186127A (ja) * | 2014-03-25 | 2015-10-22 | ブラザー工業株式会社 | プログラム及びサーバ装置 |
JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
JP2019148852A (ja) * | 2018-02-26 | 2019-09-05 | 京セラドキュメントソリューションズ株式会社 | 理解度判定システムおよび理解度判定プログラム |
JP2021022909A (ja) * | 2019-07-30 | 2021-02-18 | 株式会社リコー | 情報処理装置、情報処理プログラム、情報処理システム、情報処理方法 |
JP2021027917A (ja) * | 2019-08-09 | 2021-02-25 | 美津濃株式会社 | 情報処理装置、情報処理システム、および機械学習装置 |
Also Published As
Publication number | Publication date |
---|---|
US11935329B2 (en) | 2024-03-19 |
US20240062586A1 (en) | 2024-02-22 |
JPWO2022201383A1 (ja) | 2022-09-29 |
WO2022201383A1 (ja) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022230156A1 (ja) | 動画像分析システム | |
JP7152817B1 (ja) | 動画像分析プログラム | |
JP7152819B1 (ja) | 動画像分析プログラム | |
JP7121433B1 (ja) | 動画像分析プログラム | |
JP7138997B1 (ja) | ビデオミーティング評価端末 | |
JP7121436B1 (ja) | 動画像分析プログラム | |
JP7197955B1 (ja) | ビデオミーティング評価端末 | |
WO2022201265A1 (ja) | 動画像分析プログラム | |
JP7138990B1 (ja) | 動画像分析システム | |
WO2022230050A1 (ja) | 動画像分析システム | |
WO2022230065A1 (ja) | 動画像分析システム | |
WO2022230049A1 (ja) | 動画像分析システム | |
JP7156743B1 (ja) | 動画像分析システム | |
JP7156742B1 (ja) | 動画像分析システム | |
WO2022254489A1 (ja) | 動画像分析システム | |
JP7121439B1 (ja) | 動画像分析システム | |
WO2022230051A1 (ja) | 動画像分析システム | |
WO2022230070A1 (ja) | 動画像分析システム | |
WO2022201267A1 (ja) | 動画像分析プログラム | |
WO2022254492A1 (ja) | 動画像分析システム | |
WO2022201268A1 (ja) | 動画像分析プログラム | |
WO2022201264A1 (ja) | 動画像分析プログラム | |
WO2022201271A1 (ja) | 動画像分析プログラム | |
WO2022201269A1 (ja) | 動画像分析プログラム | |
WO2022264217A1 (ja) | 動画像分析システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220622 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220622 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220922 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7152817 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |