JP7472707B2 - 異常判定システムおよび異常判定方法 - Google Patents

異常判定システムおよび異常判定方法 Download PDF

Info

Publication number
JP7472707B2
JP7472707B2 JP2020129419A JP2020129419A JP7472707B2 JP 7472707 B2 JP7472707 B2 JP 7472707B2 JP 2020129419 A JP2020129419 A JP 2020129419A JP 2020129419 A JP2020129419 A JP 2020129419A JP 7472707 B2 JP7472707 B2 JP 7472707B2
Authority
JP
Japan
Prior art keywords
image data
determination unit
state
abnormality
air blowing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020129419A
Other languages
English (en)
Other versions
JP2022026111A (ja
Inventor
雄貴 三宅
雄喜 木村
信彰 高▲瀬▼
正一 鮫島
正佳 ▲高▼倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Original Assignee
Meidensha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp filed Critical Meidensha Corp
Priority to JP2020129419A priority Critical patent/JP7472707B2/ja
Publication of JP2022026111A publication Critical patent/JP2022026111A/ja
Application granted granted Critical
Publication of JP7472707B2 publication Critical patent/JP7472707B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing And Monitoring For Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、異常判定システムおよび異常判定方法に関する。
従来、下水、汚水等を処理するために、汚水を反応槽に導入し、送風機によって汚水中に空気を供給(散気)することが行われている。反応槽に散気することによって、微生物による浄化作用を維持、促進させ汚水を浄化する。浄化された処理水は、次の工程に送られるか、そのまま放流される。この散気による処理中、空気の供給状態に異常が生じると反応槽の浄化機能が低下、あるいは損なわれる。その場合、処理が不完全な汚水が、次工程に送られ、最終的には外部に放流されることにより、環境汚染が生じてしまう。
特許文献1には、上述のような異常状態を検出するための異常検出装置が開示されている。この文献では、送風機から浄化槽中の散気装置に空気を供給する送気配管に気圧センサを接続し、送気配管中の気圧を観測し、観測された気圧が通常時の気圧の変動幅よりも大きい場合に気圧異常信号を出力する装置が記載されている。
近年では、画像処理によって異常を判定する手段も応用されるようになってきている。特許文献2には、画像処理の算出結果に基づいて所定の事象が生じているか否かを判定する画像処理装置が開示されている。長短の異なる時間間隔で算出された2つの特徴量に基づいてさらに算出された値を閾値で評価することによって事象を判定することが記載されている。
特開2005-169310号公報 特開2018-136895号公報
特許文献1においては、異常を検知する指標は送気配管内の気圧のみであるため、気圧を監視する気圧センサに異常が生ずる、あるいは気圧センサに接続される送気配管の経路に障害が生じた場合には、実際の浄化槽の運転状態を正しく把握できなくなる恐れがある。
特許文献2における判定手段は、画像のみの1系統の情報による判定であるので、実情を正確に反映しない恐れがある。
本発明は、上述した実情に鑑みてなされたものであり、確度の高い異常判定を行うことが可能な異常判定システムおよび異常判定方法を提供することを課題とする。
本発明は、上記課題を解決するため、以下の手段を採用する。
すなわち、本発明の異常判定システムは、反応槽と送風機を備えた処理装置の異常判定システムであって、前記送風機の送風量を保存する送風量データ記憶部と、前記送風量に基づいて送風状態の判定を行う送風量データ状態判定部と、前記反応槽を撮影した画像データを保存する画像データ記憶部と、前記画像データを解析し特徴量を算出する画像処理部と、前記特徴量に基づいて送風状態の判定を行う画像データ状態判定部と、前記送風量データ状態判定部と前記画像データ状態判定部との出力に基づいて異常を判定する異常判定部と、を備える。
このような発明によれば、送風量と画像データとからそれぞれ判定された送風状態に基づいて、異常の判定が行われるので、送風量だけではなく複数の観点に基づいて、確度の高い異常判定を行うことができる。
本発明の一態様においては、前記特徴量は、画素ごとの移動ベクトルであり、前記画像データ状態判定部は、前記移動ベクトルの絶対値の平均値に基づいて送風状態の判定を行う。
このような構成によれば、画像処理の結果として適切な特徴量を使用して送風状態の判定を行うことができる。
本発明の一態様においては、前記特徴量は、画素ごとの移動ベクトルであり、前記画像データ状態判定部は、前記移動ベクトルの平均合成ベクトル長に基づいて送風状態の判定を行う。
このような構成によれば、送風状態の判定を移動ベクトルの平均合成ベクトル長に基づいて行うので、撮影画像のフレームレートが低い場合でも送風状態の判定を適切に行うことができる。
本発明の一態様においては、前記特徴量は、画像の類似度であり、前記画像データ状態判定部は、前記類似度に基づいて送風状態の判定を行う。
このような構成によれば、送風状態の判定を画像の類似度に基づいて行うので、画像処理におけるパラメータ設定を比較的容易にして送風状態の判定を行うことができる。
本発明の一態様においては、前記異常判定部は、前記送風量データ状態判定部と前記画像データ状態判定部との送風状態の判定結果が一定時間連続して異なったとき異常と判定する。
このような構成によれば、送風量データ状態判定部と画像データ状態判定部との送風状態の判定結果が一定時間連続して異なったときに異常の判定が行われるので、より確実な状態の把握ができる。
本発明の異常判定の方法は、反応槽と送風機を備えた処理装置の異常判定方法であって、前記送風機の送風量を測定すること、前記測定した送風量に基づいて送風状態の判定を行うこと、前記反応槽を撮影すること、前記撮影した画像データを解析し特徴量を算出すること、前記特徴量に基づいて送風状態の判定を行うこと、前記送風量に基づく判定と前記特徴量に基づく判定に基づいて異常を判定すること、を含む。
このような発明によれば、送風量と画像データとからそれぞれ判定された送風状態に基づいて、異常の判定が行われるので、送風量だけではなく複数の観点に基づいて、確度の高い異常判定を行うことができる。
本発明によれば、確度の高い異常判定を行うことが可能な異常判定システムおよび異常判定方法を提供することができる。
本発明の実施形態に係る異常判定システムを含む全体の構成を示す概略図である。 本発明の実施形態に係る異常判定システムの構成を示す機能ブロック図である。 本発明の実施形態に係る画像処理部の特徴量算出を説明するための画像図である。 本発明の実施形態に係る画像処理部の特徴量算出を説明するための画像図である。 本発明の実施形態に係る画像処理部の特徴量算出を説明するための画像図である。 本発明の実施形態に係る画像処理部の特徴量算出を説明するためのベクトル図である。
(第1実施形態)
以下、添付図面を参照して、本発明の実施の形態について説明する。
図1は、本実施形態に係る異常判定システムを含む全体の構成を示す概略図であって、反応槽2と送風機3を備えた処理装置100の異常判定システム1が示されている。処理装置100は、反応槽2と送風機3に加え、反応槽2に空気を散気する散気装置4、送風機3から散気装置4への空気の流通を開閉するバルブ5、送風機3から散気装置4への空気の送風量を測定する送風量測定機器6、反応槽の水面を撮影するカメラ7を備えている。
異常判定システム1は、画像データ記憶部8、画像処理部9、画像データ状態判定部10、送風量データ記憶部11、送風量データ状態判定部12、異常判定部14を備えている。異常判定システム1は、例えばパーソナルコンピュータ等の情報処理装置である。画像データ記憶部8、送風量データ記憶部11は、上記情報処理装置内外に設けられた半導体メモリや磁気ディスクなどの記憶装置によって実現される。また、画像処理部9、画像データ状態判定部10、送風量データ状態判定部12、および異常判定部14は、上記情報処理装置内のCPUやGPUによって実行されるソフトウェア、プログラムであってよい。
図1に示すように、反応槽2に流入した汚水は微生物により生物処理され浄化される。このときに微生物が有機物を分解することに伴い増殖し、これが活性汚泥を形成する。好気性微生物で有機物を分解するときには、活性汚泥中の微生物に酸素を供給するため空気を送り込む必要がある。反応槽2内の下部には散気装置4が複数設けられ、送風機3から空気が供給されるようになっている。散気装置4に通じる配管には、風量調整バルブ5が設けられ、そのバルブ5の開閉により送風量を調整する。送風量を調整することにより反応槽2内の溶存酸素量であるDO(Dissolved Oxygen)値が調整され、生物処理の進行が調整される。送風量は送風量測定機器6により常時取得される。
正常に送風されている場合、反応槽2の水面には気泡が発生し、送風の勢いで速く流れる。一方で、送風されていない場合、水の流れはほとんどなく、気泡は発生しない。流れのない状態の汚水は時間が経過すると、スカムという厚い膜状の物質が浮かび上がる。発生したスカムは反応槽2内の水の流れに従って、ゆっくりと移動する。
図2は、本実施形態における異常判定システム1の構成をさらに詳細に示す機能ブロック図である。本実施形態では、図2に示す構成要素を用いて、送風システムの異常検知を行う。図2に示されるように、送風量測定機器6によって測定された送風量は、送風量データ記憶部11に送信され記憶される。カメラ7によって撮影された反応槽2の水面の画像データは、画像データ記憶部8に送信され記憶される。画像データ記憶部8に送信され記憶された画像データは、画像処理部9に送信される。画像処理部9は、後述する動作によって画像データを処理し、特徴量を算出する。算出された特徴量は、画像データ状態判定部10に送信され、画像データ状態判定部10では、受信した特徴量に基づいて、処理装置100の送風状態の判定、すなわち「運転状態」と「停止状態」を判定する。画像データ状態判定部10で判定された出力は、異常判定部14に送信される。
送風量データ記憶部11に記憶された送風量のデータは、送風量データ状態判定部12に送信される。送風量データ状態判定部12は、受信した送風量のデータに基づいて、運転状態か停止状態の判定を行う。送風量のデータが任意の閾値以上の場合「運転状態」とし、閾値以下の場合「停止状態」と判定する。送風量データ状態判定部12の判定結果は、異常判定部14に送信される。異常判定部14は、画像データ状態判定部10と送風量データ状態判定部12とから送信された判定結果に基づいて処理装置100の状態判定を行う。判定結果は、図示しない異常判定システム1が実装されている情報処理機器のディスプレ等に表示する(矢印a)。
異常判定部14の状態判定は、画像データ状態判定部10と送風量データ状態判定部12との判定結果とを比較し、双方が同一の結果を出力している場合、一致した「運転状態」または「停止状態」のどちらかの結果を出力する(矢印a)。双方の出力結果が異なる場合、「送風システムの異常あり」としてアラートを発生させる(矢印a)。あるいは、画像データ状態判定部10と送風量データ状態判定部12との判定結果が異なる状態が定められた時間以上継続した場合に「送風システムの異常あり」としてアラートを発生するようにしてよい(矢印a)。
次に、画像処理部9と画像データ状態判定部10の動作を詳細に説明する。図3、図4に送風状態の反応槽2の水面画像イメージと送風停止状態の反応槽2の水面画像イメージをそれぞれ示す。図3に示すように送風時では散気装置4からの曝気により水面には気泡Kが発生し、水面を速く流れる。図3において、破線で示される円は、実線で示される気泡Kの過去の画像を例示的に示している。図4に示すように、送風停止時ではスカムSが水面に浮かび上がり、ゆっくりと流れる。図4において、破線で示される楕円は、実線で示されるスカムSの過去の画像を例示的に示している。
本実施形態では、上記図3、図4の状態の考察に基づき、まず画像データにオプティカルフローを適用し、画素ごとの移動ベクトルを取得し、この移動ベクトルの絶対値の平均の大小により送風状態の判定を行う。
具体的には、画像処理部9ではまず、画像データ記憶部8に記憶されている反応槽2の画像にオプティカルフローを適用し、画素ごとの移動ベクトルを算出する。
画素xの移動ベクトルを次式[数1]で表す。
Figure 0007472707000001
画像データ状態判定部10では、判定の評価指標としてオプティカルフローにより得られた移動ベクトルの絶対値の平均を次式[数2]により算出する。
Figure 0007472707000002
ここで、rは画素の1つを表す。その後、上記[数2]の移動ベクトルの絶対値の平均と定められた閾値との関係により「運転状態」または「停止状態」の判定を行う。移動ベクトルの絶対値の平均が閾値より大きい場合、「運転状態」と判定し、閾値より小さい場合、「停止状態」と判定する。
以下上述したように、この画像データ状態判定部10の判定と送風量データ状態判定部12の判定に基づいて、異常判定部14で状態判定が行われる。
以上述べたように、本実施形態では、反応槽2の水面を撮影した画像データにオプティカルフローを適用し、画素ごとの移動ベクトルを取得する。取得した移動ベクトルの絶対値の平均を定められた閾値で評価することで、処理装置100の状態を判定する。この判定結果と送風量データによる状態判定の結果から、最終的な状態を判定するので、送風量データだけではなく複数の観点に基づいて、確度の高い状態判定を行うことができる。
また、画像データのみを入力とし異常判定を行う構成では、処理装置100に異常がなくとも点検や修理時など故意に送風機3を停止させる際に、異常と判定し、無意味にアラートを発生させてしまう恐れがある。本実施形態では、画像と送風量データの両方から送風状態を判定し、判定結果が等しい場合は異常と判定せず、それぞれの判定結果が異なる場合にのみ異常と判定するため、処理装置100に異常がある場合にのみアラートを発生させることができる。
(第2実施形態)
本実施形態の異常判定システム1が第1実施形態と異なるのは、画像データ状態判定部10の評価指標である。その他の構成については、第1実施形態と同様であるので、図1、図2の構成は、本実施形態と同じである。したがって、これらの構成については、その説明を省略する。
画像撮影のフレームレートが高い場合は低い場合に比べ、ネットワークの設備、回線に要求する性能が上がる。また、録画する場合はデータが大容量になる。そのため、画像のフレームレートが低い場合でも画像から送風状態を判定できることが望ましい。しかし、フレームレートが低い場合、画像2枚では送風時の気泡の動きを捉えることができなくなる。また、水面を詳細に観測するため、カメラの設置位置を水面に近くした場合も、画像2枚では気泡の動きを捉えることができなくなる。本実施形態では、これらの課題に鑑み、流れる気泡の動きを捉えることが困難な場合でも、送風状態を判定する演算処理を採用する。
図5に気泡Kの動きを捉えることが困難な場合の水面画像イメージを示す。画像を撮影してから、次に画像を撮影するまでの間に気泡Kが流れ、フレームアウトすることによりオプティカルフローで移動を正確に検出することはできず、ランダム方向に移動ベクトルが発生する。このような場合でも送風停止時は、図4と同様で浮き上がったスカムSがゆっくりと流れるため動きを捉えることができる。
そのため、移動方向の偏りを評価指標とし、移動方向が四方八方にばらついており指標の値が小さいときは「運転状態」、移動方向が一致しており評価指標の値が大きい場合は「停止状態」と判定する。以下では画像データ状態判定部10の演算の具体的に示す。
画像処理部9において、画像データにオプティカルフローを適用して移動ベクトル[数1]を得る動作は第1実施形態と同様である。本実施形態では、画像データ状態判定部10において、得られた移動ベクトル[数1]を利用し、流れている物体の方向の偏りを平均合成ベクトル長として次式[数3]により評価する。
Figure 0007472707000003
例として角度が2つの場合の平均合成ベクトル長の算出を図6に示す。図6では、ejθ1とejθ2の2つの移動ベクトルを合成して平均化することによってベクトル
Figure 0007472707000004
が算出されていることがわかる。
画像データ状態判定部10は、平均合成ベクトル長が定められた閾値より大きい場合「停止状態」と判定し、閾値より小さい場合「運転状態」と判定する。
また、送風機3が正常に運転している場合でも、気泡Kの動きが偶然同一方向に揃い、画像からの判定を行う画像データ状態判定部10が「停止状態」と判定する可能性がある。そのため、異常判定部14では画像データ状態判定部10と送風量データ状態判定部12との判定結果が一定時間連続して異なった場合「送風システムの異常あり」としてアラートを発生させる。その後の処理は第1実施形態と同様である。
本実施形態では、第1実施形態と同様の作用効果に加え、送風状態の判定を移動ベクトルの平均合成ベクトル長に基づいて行うので、撮影画像のフレームレートが低い場合やカメラの設置位置が水面に近く、流れている泡を追うことが困難な場合でも、画像から送風状態の判定を適切に行うことができる。
(第3実施形態)
本実施形態の異常判定システム1が第1実施形態と異なるのは、画像処理部9の画像処理と画像データ状態判定部10の評価指標である。その他の構成については、第1実施形態と同様であるので、図1、図2の構成は、本実施形態と同じである。したがって、これらの構成については、その説明を省略する。
本実施形態の画像処理部9ではまず、反応槽2の画像データ記憶部8に記憶されている画像から時系列前後の2枚の画像のマッチングを行い、その類似度を算出する。マッチング(類似度の算出)の手法はNCC(Normalized Cross Correlation)、POC(Phase-Only Correlation)などが挙げられる。
送風機3が正常に運転している場合、気泡Kが速く動いているので、類似度は小さくなる。送風機3が停止している場合、スカムSはほとんど移動しておらず、類似度は大きくなる。このように、類似度の大小から送風状態の判定が可能なことから、画像処理部9では、画像の類似度を算出し、その結果を画像データ状態判定部10に送信する。画像データ状態判定部10では、受信した類似度を評価指標にし、定められた閾値との関係で運転状態と停止状態の判定を行う。類似度が閾値より小さい場合「運転状態」、類似度が閾値より大きい場合「停止状態」として判定する。その他の処理は第1実施形態と同様である。
本実施形態では、第1実施形態と同様の作用効果に加え、送風状態の判定を画像の類似度に基づいて行うので、画像処理におけるパラメータ設定を比較的容易にして送風状態の判定を行うことができる。すなわち、第1実施形態と第2実施形態では、水面の変化をオプティカルフローにより検知するが、フレームレートやカメラの設置位置で処理や閾値を変更する必要があった。本実施形態では画像の類似度で状態を評価するので、フレームレートやカメラの設置位置に左右されず、同一の演算処理および評価指標で異常判定を行うことができる。
上述の実施形態では、送風量データ状態判定部12は、送風量データを定められた閾値を用いて評価したが、これに限定されず、送風量データ記憶部11に長期のデータが得られた場合は、標準偏差等の統計的手法で、閾値を再評価して設定しなおしてもよい。画像データ状態判定部の閾値についても同様に操作してよい。
1 異常判定システム
2 反応槽
3 送風機
8 画像データ記憶部
9 画像処理部
10 画像データ状態判定部
11 送風量データ記憶部
12 送風量データ状態判定部
14 異常判定部
100 処理装置

Claims (6)

  1. 反応槽と送風機を備えた処理装置の異常判定システムであって、
    前記送風機の送風量を保存する送風量データ記憶部と、
    前記送風量に基づいて送風状態の判定を行う送風量データ状態判定部と、
    前記反応槽を撮影した画像データを保存する画像データ記憶部と、
    前記画像データを解析し特徴量を算出する画像処理部と、
    前記特徴量に基づいて送風状態の判定を行う画像データ状態判定部と、
    前記送風量データ状態判定部と前記画像データ状態判定部とから出力される送風状態の比較に基づいて異常を判定する異常判定部と、を備える異常判定システム。
  2. 前記特徴量は、画素ごとの移動ベクトルであり、前記画像データ状態判定部は、前記移動ベクトルの絶対値の平均値に基づいて送風状態の判定を行う、請求項1に記載の異常判定システム。
  3. 前記特徴量は、画素ごとの移動ベクトルであり、前記画像データ状態判定部は、前記移動ベクトルの平均合成ベクトル長に基づいて送風状態の判定を行う、請求項1に記載の異常判定システム。
  4. 前記特徴量は、画像の類似度であり、前記画像データ状態判定部は、前記類似度に基づいて送風状態の判定を行う、請求項1に記載の異常判定システム。
  5. 前記異常判定部は、前記送風量データ状態判定部と前記画像データ状態判定部との送風状態の判定結果が一定時間連続して異なったとき異常と判定する、請求項1から4のいずれか1項に記載の異常判定システム。
  6. 反応槽と送風機を備えた処理装置の異常判定方法であって、
    前記送風機の送風量を測定すること、
    前記測定した送風量に基づいて送風状態の判定を行うこと、
    前記反応槽を撮影すること、
    前記撮影した画像データを解析し特徴量を算出すること、
    前記特徴量に基づいて送風状態の判定を行うこと、
    前記送風量に基づく送風状態の判定と前記特徴量に基づく送風状態の判定との比較に基づいて異常を判定すること、を含む異常判定方法。
JP2020129419A 2020-07-30 2020-07-30 異常判定システムおよび異常判定方法 Active JP7472707B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020129419A JP7472707B2 (ja) 2020-07-30 2020-07-30 異常判定システムおよび異常判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020129419A JP7472707B2 (ja) 2020-07-30 2020-07-30 異常判定システムおよび異常判定方法

Publications (2)

Publication Number Publication Date
JP2022026111A JP2022026111A (ja) 2022-02-10
JP7472707B2 true JP7472707B2 (ja) 2024-04-23

Family

ID=80264907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020129419A Active JP7472707B2 (ja) 2020-07-30 2020-07-30 異常判定システムおよび異常判定方法

Country Status (1)

Country Link
JP (1) JP7472707B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011036840A (ja) 2009-08-18 2011-02-24 Fuji Clean Co Ltd 水処理装置監視システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011036840A (ja) 2009-08-18 2011-02-24 Fuji Clean Co Ltd 水処理装置監視システム

Also Published As

Publication number Publication date
JP2022026111A (ja) 2022-02-10

Similar Documents

Publication Publication Date Title
DK2920572T3 (en) DETERMINATION OF LIQUID PHASE TURBIDITY OF MULTIFASE WASTE
DE602004012500D1 (de) Verfahren zur Diagnose eines zyklischen Systems
JP2007187575A (ja) 水質監視装置および水質監視方法
JP7472707B2 (ja) 異常判定システムおよび異常判定方法
CN112508950B (zh) 异常检测方法和装置
WO2023048017A1 (ja) 水質監視システム
CN113252544A (zh) 一种炼油装置腐蚀监测系统和方法
KR20230138276A (ko) 인공지능에 기반하여, 물 환경 시스템의 센서 보정을 하는 방법 및 장치
CN1998033B (zh) 利用电化学电池的气体监控器和操作方法
JP7484535B2 (ja) 異常判定システムおよび異常判定方法
CN114193647B (zh) 一种基于图像处理的橡胶塑炼机控制方法及装置
WO2022049941A1 (ja) 流下装置、水質検査システムおよび水質検査方法
JP6582757B2 (ja) 水質測定方法及び装置
JP2007212350A (ja) 流速計測装置
KR102303406B1 (ko) 산업설비의 이상유무 진단장치 및 방법
JPH07219623A (ja) 計測器の異常検知装置
JP2008212915A (ja) 六価クロム含有排水の還元処理後の排水に含まれる還元剤の適正濃度維持方法および装置
JPS63142259A (ja) 水棲動物画像監視装置及びその方法
JP2000331169A (ja) 画像の動きベクトル計測方法及び装置
CN116434508B (zh) 基于物联网的防撞监测大数据预警系统及方法
US20230212032A1 (en) Apparatus and method for controlling output for chemical dosing optimization for water treatment plant
WO2024135087A1 (ja) 測定装置
CN118275436A (zh) 一种油液在线监测控制方法、装置及系统
JP2000010627A (ja) 計測器の異常値検出方法およびその装置
CN116862855A (zh) 一种基于图像处理的水润尾轴泄漏监测方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240325

R150 Certificate of patent or registration of utility model

Ref document number: 7472707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150