JP6908330B2 - 水道使用判定装置、水道使用判定プログラム、水道使用判定検針方法 - Google Patents

水道使用判定装置、水道使用判定プログラム、水道使用判定検針方法 Download PDF

Info

Publication number
JP6908330B2
JP6908330B2 JP2017125501A JP2017125501A JP6908330B2 JP 6908330 B2 JP6908330 B2 JP 6908330B2 JP 2017125501 A JP2017125501 A JP 2017125501A JP 2017125501 A JP2017125501 A JP 2017125501A JP 6908330 B2 JP6908330 B2 JP 6908330B2
Authority
JP
Japan
Prior art keywords
integrated value
image
meter
images
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017125501A
Other languages
English (en)
Other versions
JP2019007897A (ja
Inventor
千紗 平川
千紗 平川
藤田 稔
稔 藤田
佐藤 義之
義之 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Digital Solutions Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Digital Solutions Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Digital Solutions Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Digital Solutions Corp
Priority to JP2017125501A priority Critical patent/JP6908330B2/ja
Publication of JP2019007897A publication Critical patent/JP2019007897A/ja
Application granted granted Critical
Publication of JP6908330B2 publication Critical patent/JP6908330B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Volume Flow (AREA)
  • Details Of Flowmeters (AREA)

Description

本発明の実施形態は、水道メータから水道水を使用中か否かを判定する技術に関する。
従来、水道などを供給する水道事業者による課金業務は、水道を使用する家庭毎に、作業員が水道の使用量を示す水道メータを検針する検針作業によって行われる。このようなメータの検針作業において、作業員は、その時点において水道が使用中であるか否かについても判定し、水道使用中であって且つ水道の使用者が不在である場合は、漏水の可能性があることが使用者に報知される。
水道メータは、水道が使用中である場合に水の流量に応じた速さで回転するパイロットを有しており、作業員は、このパイロットを視認することによって、水道が使用中であるか否かを判定する。
また、関連する技術として、水道メータの直読式指示部を撮影する撮像部と、撮像部が撮影した画像を解析して、直読式指示部が写っている部分を抽出する画像抽出部とを備え、水道検針員の作業負荷を軽減することにより検針の効率を高める水道検針装置、が知られている(特許文献1)。
特開2017−75893号公報
しかしながら、水道メータは視認が容易ではない位置に設置されている場合が多く、視認が困難である設置場所において、特にパイロットの回転が遅い場合には、水道が使用中であることを作業員が見逃してしまう、という問題があった。
本発明の実施形態は、上述した問題点を解決するためになされたものであり、より容易に水道が使用中であるか否かを判定することができる技術を提供することを目的とする。
上述した課題を解決するため、本発明の実施形態は、水道メータの状態に基づいて該水道メータが設置された水道が使用中であるか否かを判定する水道使用判定装置であって、前記水道メータの表示部が撮像された第1撮像画像と、該第1撮像画像とは異なるタイミングにおいて前記表示部が撮像された第2撮像画像とを取得する画像取得部と、前記第1撮像画像及び前記第2撮像画像のそれぞれから、前記表示部におけるパイロットを含む領域の部分画像であるパイロット画像を抽出する領域抽出部と、前記2つのパイロット画像のそれぞれに基づいて、前記パイロットにおいて環状に配置され互いに周方向に離間された複数の片部を強調するように二値化した2つの第1二値化画像を個別に生成し、該2つの第1二値化画像のそれぞれにおける前記片部を示す領域の差分を前記パイロットの変動量として算出する変動量算出部と、前記変動量が所定の第1閾値以上である場合、前記水道が使用中であると判定する第1判定部とを備える。
実施形態に係る水道使用判定装置が組み込まれたメータ読取装置を含むメータ読取システムの全体構成を示す図である。 水道メータの構成を示す概略図である。 水道メータの表示部の構成を示す概略図である。 水道使用判定装置のハードウェア構成を示すブロック図である。 水道使用判定装置の機能構成を示すブロック図である。 水道使用判定装置の全体動作を示すフローチャートである。 撮像画像を示す図である。 領域抽出処理の動作を示すフローチャートである。 濃淡画像を示す図である。 境界線と中心点とを示す図である。 回転画像を示す図である。 回転画像における基準点を示す図である。 回転画像における領域基準点を示す図である。 濃淡画像における領域基準点を示す図である。 濃淡画像における抽出領域を示す図である。 パイロット判定処理の動作を示すフローチャートである。 パイロット領域画像を示す図である。 赤色が強調されたパイロット領域画像を示す図である。 二値化されたパイロット領域画像を示す図である。 膨張されたパイロット領域画像を示す図である。 重心を一致させたパイロット領域画像を示す図である。 パイロット領域画像における差分領域を示す図である。 変動量として差分領域を示す図である。 積算値メータ判定処理の動作を示すフローチャートである。 積算値メータ領域画像を示す図である。 赤色が強調された積算値メータ領域画像を示す図である。 二値化された積算値メータ領域画像を示す図である。 最初の対象画素を示す図である。 輪郭の探索パターンを示す図である。 対象画素及び探索範囲を示す図である。 積算値メータ領域画像における重心と先端を示す図である。 積算値針の回転角度の算出方法を示す図である。 積算値針の先端位置と回転角度との関係を示す図である。 積算値針の先端位置と変換された回転角度との関係を示す図である。
以下、本発明の実施形態について図面を参照しつつ説明する。
(全体構成)
実施形態に係る水道使用判定装置が組み込まれたメータ読取装置を含むメータ読取システム、水道使用判定装置による判定対象である水道メータの構成、水道メータの表示部の構成について説明する。図1は、実施形態に係るメータ読取装置を含むメータ読取システムの全体構成を示す図である。図2は、水道メータの構成を示す概略図である。図3は、水道メータの表示部の構成を示す概略図である。
図1に示すように、メータ読取システムは、水道メータ9の表示部93に表示される水の流量を読み取り、読み取った流量を無線通信により送信するメータ読取装置1と、送信された流量を受信するスマートフォン2とを備える。
水道メータ9は、図2に示すように、水の流量を計測する本体部90と、本体部90に水を流入させる流入口91と、本体部90から水を流出させる流出口92と、本体部90の上部に設けられて本体部90により計測された水の流量に係る情報を表示する表示部93とを備える。水道メータ9は、使用時には表示部93が上方を向くように設置される。
表示部93は、図3に示すように、円盤状に構成された表示盤930、視認可能に表示盤930に設けられたパイロット931、1L単位の第1積算値メータ932、10L単位の第2積算値メータ933、流量を立方メートル単位の数値により示すカウンタ部934を備える。
表示盤930は、少なくともカウンタ部934が設けられる領域が半円状に黒に着色され、それ以外の領域が白に着色され、これらの領域の境界部は直線となっている。カウンタ部934は、4桁もしくは5桁の整数と1桁の小数により流量を示し、これらの数値は、それぞれ、側面部に0〜9の数値が円環状に配置された数字ドラムが回転することにより変化される。4桁もしくは5桁の整数を示す数字ドラムはそれぞれ背景色が黒に着色されるとともに数字が白に着色され、1桁の小数を示す数字ドラムは背景色が白に着色されるとともに数字が赤に着色されているものとする。なお、整数を示す数字ドラムは、背景色の輝度と数字の色の輝度とが互いに異なるものであればよい。また、これらの数字ドラムは、本体部90と表示盤930とにより構成される空間に内蔵されており、表示盤930に設けられた開口から外部より視認可能となっているものとする。また、水道メータ9の設置時には、表示盤930の面方向は水平方向を向くものとする。
パイロット931は、水道が使用中であることを示す指標であり、水道メータ9に流れる水の流量に応じた速さで表示盤930の面方向と直交する回転軸周りに回転しこの回転軸と軸心と中心が一致した円形の回転部を有し、この回転部の中央には回転軸の軸心と中心が一致して回転部より縮径された赤色の円形部が形成されるとともに、回転部の周壁から径外方向に突出する3つの片部が回転部の周方向に互いに離間して形成される。ここで、これら3つの片部は円形部と同様に赤色に着色され、また、3つの片部それぞれは隣接する他の片部に対して120°だけ周方向に離間するようになっている。
積算値メータ932及び積算値メータ933は、それぞれ、表示盤930の面上に表示される円形に形成され、環状に0〜9の数字が順に配列された目盛部と、表示盤930の面方向と直交し、目盛部の中心と軸心が一致する回転軸に接続された積算値針とを有する。ここで、目盛部は表示盤930において白色に着色された領域において黒色で表示され、積算値針はパイロットの円形部及び片部と同様に赤色に着色される。また、積算値針は、回転軸に接続される側の一端である基部から、目盛部の数字を指し示す側の他端である先端部にかけて、先細るような形状に形成される。なお、積算値メータ932において、積算値針は水道メータ9に水が1L流れる毎に目盛部を一周するように構成され、また、積算値メータ933において、積算値針は水道メータ9に水が10L流れる毎に目盛部を一周するように構成される。
メータ読取装置1は、図1に示すように、本体部10と、本体部10に内蔵される水道使用判定装置11と、本体部10の下部に設けられた略円筒状の撮像フード12と、撮像フード12内に設けられたカメラ13と、カメラ13による撮像対象に対して照射光を照射するLED13aと、メータ読取装置1を操作するための操作部14と、メータ読取装置1に係る各種情報を表示するディスプレイ15とを備える。メータ読取装置1は、水道メータ9の表示部93におけるカウンタ部934の整数部を読み取るものであり、そのため、撮像フード12は本体部90上に載置可能に構成され、カメラ13は撮像フード12に対して表示盤930の略全体を撮像可能に設けられるものとする。また、メータ読取装置1の使用者は、カメラ13の撮像領域内に表示盤930の大部分、少なくともパイロット931、積算値メータ932、積算値メータ933、及びカウンタ部934が含まれるように、メータ読取装置1を水道メータ9上に載置するものとする。
(水道使用判定装置の構成)
水道使用判定装置のハードウェア構成及び機能構成について説明する。図4は、水道使用判定装置のハードウェア構成を示すブロック図である。図5は、水道使用判定装置の機能構成を示すブロック図である。
水道使用判定装置11は、図4に示すように、ハードウェアとして、MPU(Micro Processing Unit)110、メモリ111、記憶装置112、通信部113、入出力I/F(interface)114を備える。MPU110及びメモリ111は、協働して各種機能を実行し、記憶装置112は各種機能により実行される処理に用いられる各種データを記憶する。通信部113は、スマートフォン2との通信を行う。入出力I/F114は、カメラ13、LED13a、操作部14、ディスプレイ15とのデータ入出力を行う。
また、水道使用判定装置11は、図5に示すように、MPU110及びメモリ111により実行される機能として、画像取得部101、回転補正部102、領域抽出部103、変動量算出部104、第1判定部105、角度算出部106、第2判定部107、報知部108を備える。画像取得部101は、カメラ13により撮像された撮像画像を取得する。回転補正部103は、水道メータ9の表示部93が正立するように撮像画像を回転させる。領域抽出部103は、パイロット931を含む領域の部分画像、第1積算値メータ932を含む領域の部分画像、及び第2積算値メータ933を含む領域の部分画像をそれぞれ抽出する。変動量算出部104は、領域抽出部103により抽出されたパイロット931を含む領域の部分画像に基づいてパイロット931の変動量を算出する。第1判定部105は、変動量算出部104に算出されたパイロット931の変動量に基づいて、水道メータ9が設置された家庭において水道を使用中であるか否かを判定する。角度算出部106は、領域抽出部103により抽出された第1積算値メータ932を含む領域の部分画像、及び第2積算値メータ933を含む領域の部分画像に基づいて、第1積算値メータ932の積算値針の回転角度を算出する。第2判定部107は、角度算出部106により算出された第2積算値メータ932の積算値針の回転角度に基づいて、水道を使用中であるか否かを判定する。報知部108は、第1判定部105及び第2判定部107による判定結果をディスプレイ15に表示することにより、水道の使用状態を作業者に報知する。
(水道使用判定装置の全体動作)
水道使用判定装置の全体動作について説明する。図6は、水道使用判定装置の全体動作を示すフローチャートである。図7は、撮像画像を示す図である。
図6に示すように、まず、画像取得部101がカメラ13により水道メータ9の表示部93が撮像された第1撮像画像として、図7に示すようなカラー画像を取得する(S101)。更に、画像取得部101は、第1撮像画像が撮像された所定時間後に同様に撮像された第2撮像画像を取得する(S102)。なお、以降の説明において、第1撮像画像と第2撮像画像とを区別しない場合、これらを撮像画像と総称する。
撮像画像の取得後、後に詳述する領域抽出処理が実行される(S103)。この領域抽出処理は、撮像画像においてパイロット931が含まれる領域の部分画像をパイロット画像として抽出するとともに、積算値メータ932、積算値メータ933のそれぞれが含まれる領域の部分画像を第1積算値メータ画像、第2積算値メータ画像としてそれぞれ抽出する。
領域抽出処理の実行後、後に詳述するパイロット判定処理が実行される(S104)。このパイロット判定処理は、領域抽出処理により抽出されたパイロット画像に基づいて、水道が使用中であるか否かを判定する処理である。
次に、角度算出部106は、パイロット判定処理により水道が使用中であると判定されたか否かを判定する(S105)。
水道が使用中であると判定されない場合(S105,NO)、後に詳述する積算値メータ判定処理が実行される(S106)。この積算値メータ判定処理は、領域抽出処理により抽出された第1積算値メータ画像及び第2積算値メータ画像に基づいて、水道が使用中であるか否かを判定する処理である。積算値メータ判定処理においては、第1積算値メータ932と第2積算値メータ933のいずれかを対象として、その積算値針の変動に基づいて、水道が使用中であるか否かを判定する。
次に、報知部108は、積算値判定処理により水道が使用中であると判定されたか否かを判定する(S107)。
水道が使用中であると判定されない場合(S108,NO)、報知部108は、メータ読取装置1のディスプレイ15に水道が使用中ではない旨を報知する(S108)。
一方、水道が使用中であると判定された場合(S108、YES)、報知部108は、ディスプレイ15に水道が使用中である旨を報知する(S109)。
また、ステップS105において、水道が使用中であると判定された場合(S105,YES)、報知部108は、ディスプレイ15に水道が使用中である旨を報知する(S109)。
(領域抽出処理)
次に領域抽出の動作について説明する。図8は、領域抽出処理の動作を示すフローチャートである。図9は、濃淡画像を示す図である。図10は、境界線と中心点とを示す図である。図11は、回転画像を示す図である。図12は、回転画像における基準点を示す図である。図13は、回転画像における領域基準点を示す図である。図14は、濃淡画像における領域基準点を示す図である。図15は、濃淡画像における抽出領域を示す図である。
図8に示すように、まず、回転補正部102は、2つの撮像画像(第1撮像画像及び第2撮像画像)のそれぞれを、図9に示すような赤色を除去した濃淡画像に変換する(S201)。ここで、回転補正部102は、撮像画像のR成分画像、G成分画像、B成分画像のそれぞれに対して、それぞれに個別に設定された係数を画素値に乗じた画像を生成し、これら3つの画像の画素値を加算することによって、2つの撮像画像をそれぞれ濃淡画像に変換する。また、本実施の形態において、赤色の除去とは、パイロット931、積算値メータ932、及び積算値メータ933における赤色に着色された部分が、変換後の濃淡画像において、表示盤930において白に着色された部分と近似する輝度となることを意味し、R成分画像、G成分画像、B成分画像のそれぞれに対する係数は、このような結果をもたらすことを意図して予め設定されるものとする。
次に、回転補正部102は、表示盤930における境界部、すなわち、黒に着色された半円状の領域の直線部分を、境界線Lとして2つの濃淡画像からそれぞれ検出する(S202)。ここで、回転補正部102は、濃淡画像のエッジを強調して所定の閾値により二値化した二値化画像に対して線を1ピクセル幅だけ残す細線化処理を行った細線化画像を生成し、この細線化画像にハフ変換を実行することにより、図10に示すように、濃淡画像における境界線Lを検出する。
境界線Lの検出後、回転補正部102は、図10に示すように、境界線Lの中点を中心点Cとし、水平線y=0と境界線Lとがなす角を検出し、この角が0°となるように2つの濃淡画像を回転させて図11に示すように表示部93を正立させた2つの回転画像を2つの濃淡画像から生成する(S203)。
次に、領域抽出部103は、2つの回転画像それぞれにおけるカウンタ部934を検出する(S204)。このカウンタ部934の検出は、所定高さ及び所定幅を有する矩形のウィンドウWINを境界線Lから所定距離だけ上方に離間した位置にセットすることによって行われる。具体的には、領域抽出部103は、このウィンドウWINを回転画像の左右方向一端から他端に向けて1ピクセルずつ移動させながら、ウィンドウWIN内を二値化してx座標毎に算出される合計輝度値であるx方向射影Pxを算出し、ウィンドウWIN内の射影Pxの合計が最大となる位置に最初のウィンドウWINをセットする。更に、領域抽出部103は、この最初のウィンドウWINに右方向及び左方向に隣接するウィンドウWINを順次セットし、隣接するウィンドウWIN内に文字が存在する場合にはこのウィンドウWINの位置を確定し、文字が存在しない場合には一方(右方向または左方向)へのウィンドウWINのセットを停止して逆方へのウィンドウWINのセットを開始し、逆方においても文字が存在しない場合に全てのウィンドウWINの位置が確定する。このような処理によって、領域抽出部103は、カウンタ部934において並置される数字の位置を確定する。なお、文字が存在するか否かの判定は、ウィンドウWIN内の合計輝度値に基づいて行われるものとする。
カウンタ部934の検出後、領域抽出部103は、2つの回転画像それぞれに対して基準点Oを決定する(S205)。この基準点Oは、そのy座標が回転画像の生成に用いた中心点Cのy座標であり、そのx座標が検出されたカウンタ部934の位置に基づく。領域抽出部103は、図12に示すように、最も左側に位置するウィンドウWINの左側端部のx座標をX1とし、最も右側に位置するウィンドウWINの左側端部のx座標をXnとし、ウィンドウWINの幅をWとした場合、(Xn+W+X1)/2の式により、カウンタ部934の左右方向中央位置のx座標を算出し、これを基準点Oのx座標とする。このようにカウンタ部934の中央に基準点Oを合わせることによって、撮像画像の撮像時における様々な条件の差異に基づくブレの影響を低減することができる。
基準点Oの決定後、領域抽出部103は、2つの回転画像それぞれに対して、基準点Oに基づいて、図13に示すように、パイロット座標ROI1を決定し(S206)、第1積算値メータ座標ROI2及び第2積算値メータ座標ROI3を決定する(S207)。ここで、パイロット座標ROI1は、パイロット931が含まれる領域を設定する際に基準とする座標であり、第1積算値メータ座標ROI2、第2積算値メータ座標ROI3は、それぞれ、積算値メータ932、積算値メータ933のそれぞれが含まれる領域を設定する際に基準とする座標である。これらの座標ROI1〜ROI3のそれぞれは、基準点Oに対する相対的位置を示すパラメータに基づいて設定され、このパラメータは予め定められているものとする。
次に、領域抽出部103は、2つの回転画像のそれぞれに設定されたパイロット座標ROI1、第1積算値メータ座標ROI2、第2積算値メータ座標ROI3を、図14に示すように、濃淡画像の座標系に変換する(S208)。ここで、領域抽出部103は、中心点Cを中心として、濃淡画像における境界線Lと水平線yとがなす角度(図10参照)だけ、濃淡画像から回転画像を生成する際の回転方向とは逆方向に、座標ROI1〜ROI3を回転させることによって、座標系の変換を行う。
座標ROI1〜ROI3の座標系の変換後、領域抽出部103は、2つの撮像画像から、それぞれに対応する回転画像に設定され座標系を変換されたパイロット座標ROI1に基づく部分画像であるパイロット画像を個別に抽出し(S209)、同様に、2つの撮像画像から、それぞれに対応する回転画像に設定され座標系を変換された第1積算値メータ座標ROI2、第2積算値メータ座標ROI3のそれぞれに基づく部分画像である第1積算値メータ画像及び第2積算値メータ画像を個別に抽出する(S210)。ここで、領域抽出部103は、2つの撮像画像それぞれに対し、図15に示すように、パイロット座標ROI1に基づくパイロット領域P、第1積算値メータ座標ROI2に基づく第1積算値メータ領域M1、第2積算値メータ座標ROI3に基づく第2積算値メータ領域M2を設定し、これらの領域から部分画像を抽出する。
(パイロット判定処理)
次に、パイロット判定処理の動作について説明する。図16は、パイロット判定処理の動作を示すフローチャートである。図17は、パイロット領域画像を示す図である。図18は、赤色が強調されたパイロット領域画像を示す図である。図19は、二値化されたパイロット領域画像を示す図である。図20は、膨張されたパイロット領域画像を示す図である。図21は、重心を一致させたパイロット領域画像を示す図である。図22は、パイロット領域画像における差分領域を示す図である。図23は、変動量として差分領域を示す図である。
図16に示すように、まず、変動量算出部104は、図17に示すような、2つの撮像画像それぞれに対応するパイロット画像から、図18に示すような赤色抽出画像を生成する(S301)。ここで、変動量算出部104は、パイロット画像のR成分画像、G成分画像、B成分画像のそれぞれに対して、それぞれに個別に設定された係数を画素値に乗じた画像を生成し、これら3つの画像の画素値を加算した濃淡画像を、赤色が抽出された、即ち赤色が強調された赤色抽出画像として生成する。また、本実施の形態において、赤色の抽出とは、パイロット931における赤色に着色された部分が、濃淡画像上において、表示盤930における他の部分より著しく高い輝度となることを意味する。パイロット画像に基づくR成分画像、G成分画像、B成分画像のそれぞれに対する係数は、このような結果をもたらすことを意図して予め設定されるものとし、R成分画像に対する係数を他の成分画像に対する係数よりも大きく設定すると良い。
赤色抽出画像の生成後、変動量算出部104は、2つの撮像画像それぞれに対応するパイロット画像に基づく赤色抽出画像を所定の閾値により二値化して、図19に示すような二値化画像を生成する(S302)。図19に示す二値化画像においては、パイロット931において赤色に着色された中央部の円形部と片部の一部が白画素として示されている。
二値化画像の生成後、変動量算出部104は、2つの二値化画像それぞれに対して、パイロット931の円形部の特定を行う(S303)。ここで、変動量算出部104は、二値化画像における白画素に対するラベリング処理を行い、ラベル付けされた領域のうち、その面積が最も大きい領域を円形部として特定する。
次に、変動量算出部104は、2つの二値化画像それぞれに対して、円形部として特定した領域の重心を算出する(S304)。なお、重心の算出後、2つの二値化画像において円形部として特定された領域は除去、即ち黒画素とされる。
重心が算出された後、変動量算出部104は、2つの二値化画像に基づいて、第1撮像画像が撮像された時点と第2撮像画像が撮像された時点とにおけるパイロット931の差異を、パイロット931の変動量として算出する(S305)。
ここで、パイロット931の変動量の算出方法について図20〜図23を用いて説明する。まず、変動量算出部104は、図20に示すように、第1撮像画像に対応するパイロット画像に基づく二値化画像を二値化画像A、第2撮像画像に対応するパイロット画像に基づく二値化画像を二値化画像Bとした場合、二値化画像A、二値化画像Bのそれぞれについて、白画素、即ち片部に該当する部分を膨張させた膨張画像A’、膨張画像B’を生成する。その後、変動量算出部104は、図21に示すように、互いの重心が重なるように二値化画像Aと膨張画像B’とを重ね合わせるとともに、同様に互いの重心が重なるように二値化画像Bと膨張画像A’とを重ね合わせる。
次に、変動量算出部104は、二値化画像と膨張画像とが重心で重ね合わされた状態において、図22に示すように、二値化画像の白画素領域において膨張画像の白画素領域と重複しない領域における総画素数を差分として算出する。この差分は、上述の二値画像A、二値化画像B、膨張画像A’、膨張画像B’をそれぞれAb(x,y)、Bb(x,y)、Abm(x,y)、Bbm(x,y)とし、二値画像Aと膨張画像B’との差分をD(x,y)、二値化画像Bと膨張画像A’との差分をD(x,y)とした場合、それぞれ、D(x,y)=Ab(x,y)−Bbm(x,y)の式、D(x,y)=Bb(x,y)−Abm(x,y)の式により求められる。なお、これらの式において、負の値は0と見做すものとする。このように、差分の算出において、二値化画像同士の差分ではなく、二値化画像と膨張画像との差分を算出することによって、パイロット931自体の状態に起因しない、第1撮像画像と第2撮像画像との撮影時における外的要因、具体的には明るさや撮影位置の差異を誤差として吸収することができる。
差分D及び差分Dの算出後、変動量算出部104は、異なる時点で撮像されたパイロット931の変動量として、図23に示すような、差分D及び差分Dとを合わせた差分Dを、D(x,y)=D(x,y)|D(x,y)の式により算出する。
このようにパイロット931の変動量を算出した後、図16に示すように、第1判定部105は、変動量が予め設定された第1閾値以上であるか否かを判定する(S306)。
変動量が第1閾値以上である場合(S306,YES)、第1判定部105は、水道メータ9が設置された家庭において水道が使用されていると判定する(S307)。
一方、変動量が第1閾値以上でない場合(S306,NO)、第1判定部105は、水道メータ9が設置された家庭において水道が使用されていないと判定する(S308)。
このように、本実施形態に係る水道使用判定装置11は、第1のタイミングで撮像された第1撮像画像に基づくパイロット画像と、第1のタイミングから所定時間後のタイミングで撮像された第2撮像画像に基づくパイロット画像との差分を変動量として算出し、この変動量に基づいてパイロット931が回転したか否か、即ち水道が使用中であるか否かを判定する。これにより、作業員が視認によりパイロット931の回転を確認する場合と比較して、より容易に水道が使用中であるか否かを判定することが容易となる。この利点は、特に、水道メータ9の表示部93の視認が困難である環境において顕著となる。
(積算値メータ判定処理)
積算値メータ判定処理の動作について説明する。図24は、積算値メータ判定処理の動作を示すフローチャートである。図25は、積算値メータ領域画像を示す図である。図26は、赤色が強調された積算値メータ領域画像を示す図である。図27は、二値化された積算値メータ領域画像を示す図である。図28は、最初の対象画素を示す図である。図29は、輪郭の探索パターンを示す図である。図30は、対象画素及び探索範囲を示す図である。図31は、積算値メータ領域画像における重心と先端を示す図である。図32は、積算値針の回転角度の算出方法を示す図である。図33は、積算値針の先端位置と回転角度との関係を示す図である。図34は、積算値針の先端位置と変換された回転角度との関係を示す図である。
図24に示すように、まず、角度算出部106は、第1撮像画像及び第2撮像画像のそれぞれに基づく、図25に示すような第1積算値メータ画像及び図示しない第2積算値メータ画像のそれぞれから、図26に示すような赤色抽出画像を生成する(S401)。ここで、角度算出部106は、パイロット画像から赤色抽出画像を生成する際と同様に、第1積算値メータ画像及び第2積算値メータ画像それぞれのR成分画像、G成分画像、B成分画像のそれぞれに対して、それぞれの成分画像に個別に設定された係数を画素値に乗じた画像を生成し、これら3つの画像の画素値を加算した濃淡画像を、赤色が抽出された、即ち赤色が強調された赤色抽出画像として生成する。また、本実施の形態において、赤色の抽出とは、第1積算値メータ932及び第2積算値メータ933における赤色に着色された部分、即ち積算値針が、濃淡画像上において、表示盤930における他の部分より著しく高い輝度となることを意味する。第1積算値メータ画像及び第2積算値メータ画像に基づくR成分画像、G成分画像、B成分画像のそれぞれに対する係数は、このような結果をもたらすことを意図して予め設定されるものとし、R成分画像に対する係数を他の成分画像に対する係数よりも大きく設定すると良い。
赤色抽出画像の生成後、角度算出部106は、2つの撮像画像それぞれに対応する第1積算値メータ画像及び第2積算値メータ画像に基づく赤色抽出画像を所定の閾値により二値化して、図27に示すような二値化画像を生成する(S402)。図27に示す二値化画像においては、第1積算値メータ932において赤色に着色された積算値針が白画素として示されている。
二値化画像の生成後、角度算出部106は、4つの二値化画像、即ち第1撮像画像及び第2撮像画像のそれぞれから抽出された第1積算値メータ画像及び第2積算値メータ画像のそれぞれに基づく二値化画像の全てに対して、積算値針の特定を行う(S403)。ここで、角度算出部106は、二値化画像における白画素に対するラベリング処理を行い、ラベル付けされた領域のうち、その面積が最も大きい領域を積算値針領域として特定する。
積算値針の特定後、角度算出部106は、4つの二値化画像それぞれに対して、積算値針領域の重心(図31参照)を算出する(S404)。なお、ここで算出する重心については、二値化画像が基づく第1撮像画像または第2撮像画像上の座標を算出するものとする。
次に、角度算出部106は、第1積算値メータ画像に基づく2つの二値化画像それぞれに対して、積算値針領域の輪郭を検出する(S405)。ここで、積算値針領域の輪郭とは、積算針領域を構成する全ての白画素において、8近傍の画素の少なくとも1つが黒画素であるような白画素の集合を意味し、積算針領域と他の領域との境界部分を意味する。
輪郭の検出後、角度算出部106は、第1積算値メータ画像に基づく2つの二値化画像それぞれに対して、積算値針の先端を検出する(S406)。ここで、積算値針の先端とは、積算値針領域において先に算出した重心から最も遠い位置にある画素である。また、重心と同様に、ここで算出する先端については、二値化画像が基づく第1撮像画像または第2撮像画像上の座標を算出するものとする。
ここで、輪郭の検出と積算値針の先端の検出とについて、図28〜図31を参照して説明する。輪郭の検出及び積算値針の先端の検出は、実質的には同時に行われる処理である。まず、角度算出部106は、図28に示すように、二値化画像を左上からラスタスキャンし、最初に検出した白画素を最初の対象画素とし、この対象画素と先に算出した重心との離間距離を算出して対象画素の座標と離間距離とを対応付けて一時的に記憶する。その後、角度算出部106は、積算値針領域の輪郭を構成する白画素を対象画素として選択しつつ、対象画素と重心との離間距離を算出し、一時的に記憶された離間距離との比較を行い、算出した離間距離が記憶された離間距離よりも大きい場合、記憶された対象画素の座標及び離間距離を現在の対象画素の座標及び離間距離に置き換えて一時的に記憶する。
現在の対象画素から次の画素を選択する際、角度算出部106は、図29の(a)〜(d)に示すような、対象画素の8近傍に対する探索順序を定めた4つのいずれかの探索パターンに基づく探索を行う。図29に示す探索パターンにおいて、0は対象画素、1〜8は8近傍画素であり、1〜8は探索順序を示す。角度算出部106は、いずれかの探索パターンを選択し、この探索パターンに定められた探索順序に従って画素を順次選択し、選択した画素が白画素であり且つ輪郭を構成する画素である場合に対象画素とし、次の探索へ移行する。ここで、角度算出部106は、現在の対象画素についてどの探索パターンを用いるかを、現在の対象画素に対する前回の対象画素の位置に基づいて選択する。具体的には、前回の対象画素の位置が現在の対象画素に対して6または7の位置に該当する探索パターンを選択する。なお、最初の対象画素については前回の対象画素が存在しないため、予め決められた探索パターンを用いるものとする。また、最初の対象画素が再度対象画素となった時点で、輪郭の検出及び積算値針の先端の検出を終了する。
この輪郭検出方法によれば、図28に示した二値化画像において輪郭の検出を行った場合、図30に示すように、まず、角度算出部106は、最初に選択された対象画素については、最初の探索範囲として、図29に示した探索パターン(a)を選択する。この探索パターン(a)による1番目の近傍画素において選択された画素が対象画素となるため、角度算出部106は、この対象画素に対して前回の対象画素となる最初の対象画素の位置が7番目の近傍画素に該当する探索パターン(d)を選択し、この探索パターン(d)により2回目の探索範囲の探索を行う。積算値針領域の輪郭を構成する全ての白画素を対象画素として選択した時点で、図31に示すように積算値針における先端の座標が確定する。
このように輪郭の検出及び先端の検出が行われた後、図24に示すように、角度算出部106は、2つの撮像画像それぞれについて算出された4つの重心座標及び2つの先端座標に基づいて、第1積算値メータ932の積算値針の回転角度を算出する(S407)。
ここで、積算値針の回転角度の算出方法について、図32〜図34を参照して説明する。図32に示すように、角度算出部106は、2つの撮像画像それぞれについて、第1積算値針の重心座標と第2積算値針の重心座標とを結ぶ線分LCと第1積算値針の重心座標と先端座標とを結ぶ線分LTとを設定する。更に、角度算出部106は、線分LCをベクトルC、線分LTをベクトルTとし、これらの内積をI=C・T、外積をO=C×Tとし、第1積算値メータ932の回転角度として線分LCと線分LTとがなす角度θを以下の式により求める。
Figure 0006908330
この式により求められる回転角度θは、−180°≦θ<180°の範囲で求められ、線分LCを含む直線をx軸とし、これに直交する軸をy軸とした場合、第1積算値メータ932の積算値針の先端の位置と回転角度θとの関係は図33に示すように+の回転方向と−の回転方向とを有するものとなる。この回転角度θは、2つの撮像画像それぞれについて求められ、2つの回転角度θの回転変動、即ち回転角度の差を算出するために用いられる。この計算を容易にするため、角度算出部106は、回転角度θを、図34に示すように、回転方向が一律に定められた0°≦θ<360°の範囲となるように変換する。
2つの撮像画像それぞれについて積算値針の回転角度θを算出した後、図24に示すように、角度算出部106は、第1のタイミング及び第2のタイミングにおける第1積算値メータ932の積算値針の回転角度の変動角度として、第1撮像画像について算出された回転角度θと、第2撮像画像について算出された回転角度θとの差を算出する(S408)。
次に、第2判定部107は、算出された変動角度が、予め設定された第2閾値以上であるか否かを判定する(S409)。
変動角度が第2閾値以上である場合(S409,YES)、第2判定部107は、水道メータ9が設置された家庭において水道が使用されていると判定する(S410)。
一方、変動角度が第1閾値以上でない場合(S409,NO)、第2判定部107は、水道メータ9が設置された家庭において水道が使用されていないと判定する(S411)。
上述したように、第1積算値メータ932の変動角度により水道の使用状態を判定することにより、実際には水道が使用されているにも関わらず、パイロット931が2つの撮像タイミングにおいて120°、240°または360°だけ回転したために、水道が使用されていないと誤判定されることを防ぐことができる。また、第1積算値メータ932の積算値針の回転角度を算出する際、第1積算値メータ932の重心と第2積算値メータ933の重心とを結ぶ線分を基準とすることによって、第1積算値メータ932自体の状態に起因しない、第1撮像画像と第2撮像画像との撮影時における外的要因、具体的には撮影位置の差異の影響を低減することができる。
本実施の形態において、水道使用判定プログラムは上述した水道使用判定装置11の内部に予めインストールされているものとして記載したが、本発明における水道使用判定プログラムは記憶媒体に記憶されたものも含まれる。ここで記憶媒体とは、磁気テープ、磁気ディスク(ハードディスクドライブ等)、光ディスク(CD−ROM、DVDディスク等)、光磁気ディスク(MO等)、フラッシュメモリ等、欠陥検査装置に対し脱着可能な媒体や、さらにネットワークを介することで伝送可能な媒体等、上述した水道使用判定装置としてのコンピュータで読み取りや実行が可能な全ての媒体をいう。
発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
11 水道使用判定装置、101 画像取得部、103 領域抽出部、104 変動量算出部、105 第1判定部。

Claims (5)

  1. 水道メータの状態に基づいて該水道メータが設置された水道が使用中であるか否かを判定する水道使用判定装置であって、
    前記水道メータの表示部が撮像された第1撮像画像と、該第1撮像画像とは異なるタイミングにおいて前記表示部が撮像された第2撮像画像とを取得する画像取得部と、
    前記第1撮像画像及び前記第2撮像画像のそれぞれから、前記表示部におけるパイロットを含む領域の部分画像であるパイロット画像を抽出するとともに、前記第1撮像画像及び前記第2撮像画像のそれぞれから、前記表示部において、前記水道の流量の積算値を所定の単位で示す環状の目盛を指し示し、基部から先端にかけて先細る形状に形成された積算値針を有する第1積算値メータを含む領域の部分画像である2つの第1積算値メータ画像を抽出する領域抽出部と、
    前記2つのパイロット画像のそれぞれに基づいて、前記パイロットにおいて環状に配置され互いに周方向に離間された複数の片部を強調するように二値化した2つの第1二値化画像を個別に生成し、該2つの第1二値化画像のそれぞれにおける前記片部を示す領域の差分を前記パイロットの変動量として算出する変動量算出部と、
    前記変動量が所定の第1閾値以上である場合、前記水道が使用中であると判定する第1判定部と
    前記2つの第1積算値メータ画像のそれぞれに基づいて、前記積算値針を強調するように二値化した2つの第2二値化画像を個別に生成し、該2つの第2二値化画像それぞれに基づいて前記第1撮像画像及び前記第2撮像画像それぞれにおける前記第1積算値メータの積算値針の重心位置と先端位置とを個別に算出し、該重心位置及び先端位置に基づいて前記第1撮像画像及び前記第2撮像画像それぞれについて前記積算値針の2つの回転角度を個別に算出し、該2つの回転角度の差を前記第1積算値メータの積算値針の変動角度として算出する角度算出部と、
    前記変動角度が所定の第2閾値以上である場合、前記水道が使用中であると判定する第2判定部と
    を備える水道使用判定装置。
  2. 前記変動量算出部は、前記2つの第1二値化画像のそれぞれを、前記パイロットの回転軸の軸心と中心が一致し、前記複数の片部と同色に着色された円形部を前記複数の片部とともに強調するように生成し、前記2つの第1二値化画像のそれぞれにおいて前記円形部の重心位置を個別に算出し、前記2つの第1二値化画像のそれぞれにおける前記円形部の重心位置を互いに一致させた状態において前記変動量を算出することを特徴とする請求項に記載の水道使用判定装置。
  3. 前記領域抽出部は、前記第1撮像画像及び前記第2撮像画像のそれぞれから、前記水道の流量の積算値を前記第1積算値メータとは異なる単位で示す環状の目盛を指し示し、基部から先端にかけて先細る形状に形成された積算値針を有する第2積算値メータを含む領域の部分画像である2つの第2積算値メータ画像を更に抽出することを特徴とし、
    前記角度算出部は、更に、前記2つの第2積算値メータ画像のそれぞれに基づいて、前記第2積算値メータの積算値針を強調するように二値化した2つの第3二値化画像を個別に生成し、該2つの第3二値化画像それぞれに基づいて前記第2積算値メータの積算値針の重心位置と先端位置とを個別に算出し、前記第1撮像画像及び前記第2撮像画像それぞれについて、前記第1積算値メータの積算値針の重心位置と前記第2積算値メータの積算値針の重心位置とを結ぶ第1線分と、前記第1積算値メータの積算値針の重心位置と先端位置とを結ぶ第2線分とがなす角度を前記2つの回転角度として個別に算出することを特徴とする請求項に記載の水道使用判定装置。
  4. 水道メータの状態に基づいて該水道メータが設置された水道が使用中であるか否かを判定する水道使用判定プログラムであって、
    コンピュータを、
    前記水道メータの表示部が撮像された第1撮像画像と、該第1撮像画像とは異なるタイミングにおいて前記表示部が撮像された第2撮像画像とを取得する画像取得部と、
    前記第1撮像画像及び前記第2撮像画像のそれぞれから、前記表示部におけるパイロットを含む領域の部分画像であるパイロット画像を抽出するとともに、前記第1撮像画像及び前記第2撮像画像のそれぞれから、前記表示部において、前記水道の流量の積算値を所定の単位で示す環状の目盛を指し示し、基部から先端にかけて先細る形状に形成された積算値針を有する第1積算値メータを含む領域の部分画像である2つの第1積算値メータ画像を抽出する領域抽出部と、
    前記2つのパイロット画像のそれぞれに基づいて、前記パイロットにおいて環状に配置され互いに周方向に離間された複数の片部を強調するように二値化した2つの第1二値化画像を個別に生成し、該2つの第1二値化画像のそれぞれにおける前記片部を示す領域の差分を前記パイロットの変動量として算出する変動量算出部と、
    前記変動量が所定の第1閾値以上である場合、前記水道が使用中であると判定する第1判定部と、
    前記2つの第1積算値メータ画像のそれぞれに基づいて、前記積算値針を強調するように二値化した2つの第2二値化画像を個別に生成し、該2つの第2二値化画像それぞれに基づいて前記第1撮像画像及び前記第2撮像画像それぞれにおける前記第1積算値メータの積算値針の重心位置と先端位置とを個別に算出し、該重心位置及び先端位置に基づいて前記第1撮像画像及び前記第2撮像画像それぞれについて前記積算値針の2つの回転角度を個別に算出し、該2つの回転角度の差を前記第1積算値メータの積算値針の変動角度として算出する角度算出部と、
    前記変動角度が所定の第2閾値以上である場合、前記水道が使用中であると判定する第2判定部
    として機能させる水道使用判定プログラム。
  5. 水道メータの状態に基づいて該水道メータが設置された水道が使用中であるか否かを判定する水道使用判定方法であって、
    コンピュータが
    前記水道メータの表示部が撮像された第1撮像画像と、該第1撮像画像とは異なるタイミングにおいて前記表示部が撮像された第2撮像画像とを取得し、
    前記第1撮像画像及び前記第2撮像画像のそれぞれから、前記表示部におけるパイロットを含む領域の部分画像であるパイロット画像を抽出し、
    前記第1撮像画像及び前記第2撮像画像のそれぞれから、前記表示部において、前記水道の流量の積算値を所定の単位で示す環状の目盛を指し示し、基部から先端にかけて先細る形状に形成された積算値針を有する第1積算値メータを含む領域の部分画像である2つの第1積算値メータ画像を抽出し、
    前記2つのパイロット画像のそれぞれに基づいて、前記パイロットにおいて環状に配置され互いに周方向に離間された複数の片部を強調するように二値化した2つの第1二値化画像を個別に生成し、該2つの第1二値化画像のそれぞれにおける前記片部を示す領域の差分を前記パイロットの変動量として算出し、
    前記変動量が所定の第1閾値以上である場合、前記水道が使用中であると判定し、
    前記2つの第1積算値メータ画像のそれぞれに基づいて、前記積算値針を強調するように二値化した2つの第2二値化画像を個別に生成し、該2つの第2二値化画像それぞれに基づいて前記第1撮像画像及び前記第2撮像画像それぞれにおける前記第1積算値メータの積算値針の重心位置と先端位置とを個別に算出し、該重心位置及び先端位置に基づいて前記第1撮像画像及び前記第2撮像画像それぞれについて前記積算値針の2つの回転角度を個別に算出し、該2つの回転角度の差を前記第1積算値メータの積算値針の変動角度として算出し、
    前記変動角度が所定の第2閾値以上である場合、前記水道が使用中であると判定する
    水道使用判定方法。
JP2017125501A 2017-06-27 2017-06-27 水道使用判定装置、水道使用判定プログラム、水道使用判定検針方法 Active JP6908330B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017125501A JP6908330B2 (ja) 2017-06-27 2017-06-27 水道使用判定装置、水道使用判定プログラム、水道使用判定検針方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017125501A JP6908330B2 (ja) 2017-06-27 2017-06-27 水道使用判定装置、水道使用判定プログラム、水道使用判定検針方法

Publications (2)

Publication Number Publication Date
JP2019007897A JP2019007897A (ja) 2019-01-17
JP6908330B2 true JP6908330B2 (ja) 2021-07-21

Family

ID=65026810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017125501A Active JP6908330B2 (ja) 2017-06-27 2017-06-27 水道使用判定装置、水道使用判定プログラム、水道使用判定検針方法

Country Status (1)

Country Link
JP (1) JP6908330B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181465A (ja) * 2019-04-26 2020-11-05 Gmoクラウド株式会社 メータ読取システム、メータ読取方法及びプログラム
JP2020181466A (ja) * 2019-04-26 2020-11-05 Gmoクラウド株式会社 メータ読取システム、メータ読取方法及びプログラム
CN117894022B (zh) * 2024-01-16 2024-06-11 宁波泉通仪表科技有限公司 一种机电转化误差测试方法、系统、存储介质及智能终端

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10288541A (ja) * 1997-04-14 1998-10-27 Meidensha Corp 計測器における対象物画像抽出方法および計測器における指針の指示精度検査方法
JP2002257612A (ja) * 2001-02-27 2002-09-11 Osaka Gas Co Ltd ガスメータ用遠隔監視装置及びガスメータ用遠隔検針装置
JP2002288777A (ja) * 2001-03-23 2002-10-04 Mitsubishi Electric Corp 自動検針装置および自動検針方法
JP4498203B2 (ja) * 2005-04-27 2010-07-07 中国電力株式会社 メータ認識システム、メータ認識方法、およびメータ認識プログラム
JP2013003032A (ja) * 2011-06-20 2013-01-07 Hochiki Corp 水道メータ検知装置
JP6483455B2 (ja) * 2015-02-02 2019-03-13 株式会社東芝 漏水検出装置
JP5933798B1 (ja) * 2015-10-16 2016-06-15 株式会社ネフロンジャパン 漏水検知装置
JP5879455B1 (ja) * 2015-10-16 2016-03-08 株式会社ネフロンジャパン 水道検針装置

Also Published As

Publication number Publication date
JP2019007897A (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
US9841277B2 (en) Graphical feedback during 3D scanning operations for obtaining optimal scan resolution
CN106875444B (zh) 一种目标物定位方法及装置
JP6908330B2 (ja) 水道使用判定装置、水道使用判定プログラム、水道使用判定検針方法
US10148895B2 (en) Generating a combined infrared/visible light image having an enhanced transition between different types of image information
JP5010001B2 (ja) 立体映像ディスプレイパネルの評価方法およびシステム
JP5799273B2 (ja) 寸法計測装置、寸法計測方法、寸法計測システム、プログラム
CN108007388A (zh) 一种基于机器视觉的转盘角度高精度在线测量方法
CN105812790B (zh) 图像传感器感光面与光轴垂直度的评测方法及光学测试卡
US9064178B2 (en) Edge detection apparatus, program and method for edge detection
CN106845514B (zh) 一种基于深度学习的指针式表盘的读数判断方法和装置
WO2009088053A1 (ja) 測定装置および方法、並びに、プログラム
JP2009259036A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム
JP2015127668A (ja) 計測装置、システムおよびプログラム
CN108027233B (zh) 用于测量物体上或附近的特征的方法及装置
JP2017032335A (ja) 情報処理装置、情報処理方法、プログラム
CN107766784A (zh) 一种新型视频人数统计算法
JP5919212B2 (ja) 目視照合支援装置およびその制御方法
CN107066638B (zh) 位置检测装置、位置检测方法、信息处理程序及记录介质
CN108076332A (zh) 数字黑电平混合的系统和方法
US20190273845A1 (en) Vibration monitoring of an object using a video camera
JP6744126B2 (ja) 文字認識装置、文字認識プログラム、文字認識方法
JP2017129942A (ja) 情報処理装置、情報処理方法およびプログラム
JP6615486B2 (ja) カメラキャリブレーション装置、方法及びプログラム
JP2006120133A (ja) アナログメータの自動読取方法および装置およびプログラム
JP5219090B2 (ja) 3次元形状測定装置、3次元形状測定方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20180406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210629

R150 Certificate of patent or registration of utility model

Ref document number: 6908330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350