JP6316176B2 - 点検履歴管理システム、点検履歴管理方法 - Google Patents
点検履歴管理システム、点検履歴管理方法 Download PDFInfo
- Publication number
- JP6316176B2 JP6316176B2 JP2014242174A JP2014242174A JP6316176B2 JP 6316176 B2 JP6316176 B2 JP 6316176B2 JP 2014242174 A JP2014242174 A JP 2014242174A JP 2014242174 A JP2014242174 A JP 2014242174A JP 6316176 B2 JP6316176 B2 JP 6316176B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- screen
- inspection object
- height
- history
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
図1は、本発明の実施形態1に係る点検履歴管理システム1000の全体構成を示すブロック図である。点検履歴管理システム1000は、例えば電力配電設備における電柱などの点検対象物に対する点検履歴を管理するシステムである。点検履歴管理システム1000は、サーバ100と1以上の携帯情報端末200を備え、これらはネットワーク300を介して接続されている。
ユーザ(点検対象設備を点検する巡視員)は、携帯情報端末200を持って点検対象設備へ移動し、点検作業を開始する。ユーザは、以下に説明する手順により、携帯情報端末200を用いて点検対象設備の画像を撮影し、携帯情報端末200の画面上で点検対象設備に対してアノテーションを付与する。
ユーザは、携帯情報端末200の画面上で、点検対象設備の根元にカーソルを合わせ、撮影距離を算出するよう指示するボタンを押下する。アプリケーションプログラム271は、後述の図12で説明する手法により、携帯情報端末200から点検対象設備までの距離を算出する。
アプリケーションプログラム271は、位置取得部240が取得した携帯情報端末200の位置、3軸加速度センサ281と3軸地磁気センサ282の検出値から算出される携帯情報端末200が向いている方角、S901で算出した撮影距離、設備データ141が格納している位置1412に基づいて、点検対象設備の設備IDを特定する。例えば、特開2013−222335号公報が記載している方法を用いて設備IDを特定することができるが、これに限られるものではない。
アプリケーションプログラム271は、撮影距離と点検対象設備の高さを用いて、表示部220上に映る点検対象物の位置と大きさを算出する。アプリケーションプログラム271はさらに、携帯情報端末200の姿勢角の変化に応じて、点検対象物の位置を追従する。携帯情報端末200の姿勢角の変化に応じて点検対象物の位置を追従する方法は、センサベーストラッキング手法と呼ばれており、一般的な方法であるので、詳細な説明は割愛する。本ステップは、携帯情報端末200の姿勢などが変化しても、画面上における点検対象設備(またはアノテーション)の位置と実際の点検対象設備の位置との間の対応関係を保持し続けるためのものである。本ステップの具体例については後述の図13Aと図13Bで改めて説明する。
アプリケーションプログラム271は、ステップS903で特定した設備IDをキーにして点検履歴データ142を検索し、過去の点検履歴レコードを取得する。アプリケーションプログラム271はさらに、携帯情報端末200の現在の撮影条件を用いて、過去の点検履歴に対応するアノテーションを表示部220上に表示すべき座標を算出し、その算出した座標上に過去のアノテーションを表示する。現在の撮影条件とは、具体的には、撮影日時1442、撮影位置(緯度、経度)1444、撮影方角1445、撮影距離1443、姿勢角1446である。過去のアノテーションを表示する座標を算出する手法の具体例については後述する。
ユーザは、表示部220が表示している過去のアノテーション(=過去の点検履歴)を参照しながら、点検対象設備の異常有無をチェックする。過去に発見された設備異常箇所を把握しながら点検することにより、抜け漏れ無く点検を実施できる。
ユーザは、今回の点検結果を記録するため、携帯情報端末200を用いて、点検対象設備の写真を撮影する。
アプリケーションプログラム271は、各センサの検出値などを用いて撮影条件(撮影日時1442、撮影位置(緯度、経度)1444、撮影方角1445、撮影距離1443、姿勢角1446)を取得し、画像データ144としてサーバ100上に格納する。
表示部220は、S906において撮影された点検対象設備の画像を表示する。ユーザは画面上の任意の位置に点検結果としてアノテーションを入力する。アプリケーション271は、後述の図14と図17で説明する手法を用いて、画面上におけるアノテーションの位置を実設備におけるアノテーション位置に変換する。アプリケーション271は、求めたアノテーション位置を、実設備におけるアノテーション位置1428としてサーバ100上に格納する。
ユーザは、該当日の巡視点検が全て終了したか否かをチェックする。該当日の巡視点検が終了していない場合は、点検対象設備を変更し、S901に戻って同様の処理を繰り返す。該当日の巡視点検が全て終了している場合は、ステップS910へ進む。
ユーザは点検を終了し、拠点に戻る(S910)。ユーザは拠点に戻った後、点検結果を確認する(S911)。
アプリケーションプログラム271は、位置取得部240より携帯情報端末200の現在位置を取得し、メモリ270に格納する。
アプリケーションプログラム271は、メモリ270に格納されている前回取得した位置情報と今回取得した位置情報を比較し、前回取得した位置から変化しているか否かをチェックする。位置の変化量があらかじめ設定した閾値より小さければステップS1000に戻り、閾値以上であればステップS1002へ進む。
アプリケーションプログラム271は、携帯情報端末200の現在の位置をサーバ100に送信する。
サーバ100の点検履歴管理プログラム161は、携帯情報端末200から受信した位置周辺の地図データ143、設備データ141、点検履歴データ142をデータベース140から検索し、検索したデータを携帯情報端末200に送信する。
アプリケーションプログラム271は、サーバ100から受け取ったデータを受信し、メモリ270に格納する(S1004)。アプリケーションプログラム271は、例えば現在位置周辺の地図を表示部220上に表示している場合、ステップS1004において受信したデータを用いて、表示内容を更新する(S1005)。
アプリケーションプログラム271は、3軸加速度センサ281と3軸地磁気センサ282からそれぞれ検出値を取得し、メモリ270に格納する。
アプリケーションプログラム271は、メモリ270に格納されている前回取得したセンサ値と今回取得したセンサ値を比較し、前回取得した位置から変化しているか否かをチェックする。位置の変化量があらかじめ設定した閾値より小さければステップS1100に戻り、閾値以上であればステップS1102へ進む。
アプリケーションプログラム271は、3軸加速度センサ281と3軸地磁気センサ282からそれぞれ検出値を改めて取得し、これら検出値に基づき携帯情報端末200の姿勢角と方角を算出する(S1102)。アプリケーションプログラム271は、メモリ270に計算結果を格納する(S1103)。
アプリケーションプログラム271は、表示部220上に撮影部290が撮影した画像を表示するとともに、アノテーションリストを表示する。アノテーションリストの具体例については後述する。
ユーザは、アノテーションリストからアノテーションを選択し、表示部220に表示されている撮影画像中の点検対象設備上の任意位置に対して、点検結果を示すアノテーションを付与する。
アプリケーションプログラム271は、画像撮影時の撮影条件、および画面上におけるアノテーションの位置から、実設備におけるアノテーション位置1428を算出する。具体例については後述の図17A〜図17Cで説明する。
ユーザは、点検結果の入力が全て完了したかをチェックする。完了していなければステップS1401に戻って同様の処理を繰り返し、完了していればステップS1404に進む(S1403)。アプリケーションプログラム271は、撮影画像とステップS1402の算出結果をメモリ270に保存する(S1404)。
以上のように、本実施形態1に係る点検履歴管理システム1000は、携帯情報端末200の位置、姿勢角、撮影方角などの撮影条件に基づき、点検対象設備に対して画面上で付加するアノテーションの実設備上における位置を、自動的に計算する。これにより、アノテーション位置を登録するための作業負担を軽減し、点検作業を効率化することができる。
実施形態1では、実設備上におけるアノテーション位置を自動的に算出して点検履歴データ142として登録する例を説明した。本発明の実施形態2では、過去の点検において点検対象設備に対して付加されたアノテーションを表示部220上で再生する具体的な動作例について説明する。点検履歴管理システム1000の構成は実施形態1と同様であるため、以下では過去のアノテーションを再生する動作について主に説明する。
アプリケーションプログラム271は、ステップS902で特定された設備IDをキーにして、点検履歴データ142を検索する。検索はサーバ100が保持している点検履歴データ142に対して実施してもよいし、図10のフローチャートによってサーバ100から逐次取得した現在位置周辺の点検履歴データ142に対して実施してもよい。
点検履歴データ142内に該当する点検履歴データ142が存在する場合はステップS1802へ進み、存在しない場合は本フローチャートを終了する。
アプリケーションプログラム271は、図19A〜図19Cで説明する手法にしたがって、実設備におけるアノテーション位置1428と現在の撮影条件に基づき、現在の撮影条件の下で画面上において見えるアノテーション位置を算出する。
アプリケーションプログラム271は、ステップS1801において取得した全ての点検履歴データ142を処理したか否かをチェックする。全ての点検履歴データ142に対して処理が完了した場合はステップS1804へ進み、それ以外であればステップS1802に戻って同様の処理を繰り返す。
アプリケーションプログラム271は、表示部220上のステップS1802で算出した位置において、過去のアノテーションを重畳表示する。
以上のように、本実施形態2に係る点検履歴管理システム1000は、実設備におけるアノテーション位置1428と現在の撮影条件に基づき、表示部220上における過去のアノテーションの位置を算出し、その位置に過去のアノテーションを表示する。これによりユーザは、過去の点検履歴に対する注意を促されるので、点検において着目すべき箇所をあらかじめ把握することができる。したがって、異常の見落としを抑制して点検作業の信頼性を向上させることができる。
本発明の実施形態3では、サーバ100が提供する管理画面例について説明する。点検履歴管理システム1000の構成は実施形態1〜2と同様であるため、以下ではサーバ100が提供する画面について主に説明する。
本発明は上記した実施形態の形態に限定されるものではなく、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。
Claims (15)
- 点検対象物の点検履歴を管理する計算機、
前記計算機が管理する前記点検履歴を画面表示する端末装置、
を有し、
前記計算機は、
前記点検対象物の設置面からの高さを記述した点検対象物データを格納する記憶装置を備え、
前記端末装置は、
前記点検対象物の画像を撮影する撮像部、
前記撮像部が撮影した前記点検対象物の画像を画面上に表示するとともに前記画面上における前記点検対象物の点検位置を入力する位置入力を受け取る表示入力部、
前記撮像部が前記点検対象物の画像を撮影するときにおける前記点検対象物から前記撮像部までの距離を取得する距離取得部、
前記画面上における前記点検位置の前記点検対象物上における高さを求める点検位置算出部、
を備え、
前記点検位置算出部は、
前記距離取得部が取得した前記距離、および前記点検対象物データが記述している前記点検対象物の高さを用いて、前記画面上における前記点検対象物の位置および大きさを算出し、
前記点検位置算出部は、
前記画面上における前記点検位置の座標と、前記画面上における前記点検対象物の位置および大きさとの間の相関関係にしたがって、前記点検位置の前記点検対象物上における高さを求め、その求めた高さを前記点検対象物の識別子と対応付けて前記記憶装置に格納する
ことを特徴とする点検履歴管理システム。 - 前記端末装置は、前記端末装置の姿勢角を検出する姿勢角センサを備え、
前記表示入力部は、前記画面上における前記点検対象物の根元箇所を指定する指定入力を受け取り、
前記距離取得部は、前記表示入力部が前記指定入力を受け取った時点における前記姿勢角と、前記点検対象物の設置面から前記端末装置までの高さを用いて、前記点検対象物から前記撮像部までの距離を算出する
ことを特徴とする請求項1記載の点検履歴管理システム。 - 前記点検位置算出部は、
前記距離取得部が取得した前記距離、前記点検対象物データが記述している前記点検対象物の高さ、および前記画面のサイズを用いて、前記画面上における前記点検対象物の高さを算出し、
前記算出した前記画面上における前記点検対象物の高さ、および前記画面上における前記点検位置の座標に基づき、前記点検位置の前記点検対象物上における高さを求める
ことを特徴とする請求項1記載の点検履歴管理システム。 - 前記端末装置は、
前記端末装置の位置を取得する位置取得部、
前記端末装置が向いている方角を取得する方角取得部、
を備え、
前記点検位置算出部は、
前記画面上における前記点検位置の座標、前記位置取得部が取得した前記端末装置の位置、および前記方角取得部が取得した前記端末装置が向いている方角を用いて、前記点検対象物の中心から見た前記点検位置の方角を算出し、その求めた方角を前記点検対象物の識別子と対応付けて前記記憶装置に格納する
ことを特徴とする請求項1記載の点検履歴管理システム。 - 前記端末装置は、
前記撮像部が撮影している前記点検対象物を特定し、特定した前記点検対象物に対応する前記点検位置の前記点検対象物上における高さを前記記憶装置から取得する、点検履歴取得部を備え、
前記点検位置算出部は、
前記距離取得部が取得した前記距離、前記点検対象物データが記述している前記点検対象物の高さ、および前記画面のサイズを用いて、前記画面上における前記点検対象物の高さを算出し、
算出した前記画面上における前記点検対象物の高さに応じて、前記点検履歴取得部が取得した前記点検位置の前記点検対象物上における高さを、前記画面上における前記点検位置に変換し、変換後の前記点検位置を前記画面上に表示する
ことを特徴とする請求項1記載の点検履歴管理システム。 - 前記点検位置算出部は、
前記点検履歴取得部が取得した前記点検位置の前記点検対象物上における高さを前記画面上における前記点検位置に変換した結果、前記点検位置が前記画面内に収まらない場合は、その旨のメッセージを前記画面上に表示する
ことを特徴とする請求項5記載の点検履歴管理システム。 - 前記端末装置は、
前記撮像部が撮影している前記点検対象物を特定し、特定した前記点検対象物の中心から見た前記点検位置の方角を前記記憶装置から取得する、点検履歴取得部を備え、
前記点検位置算出部は、
前記位置取得部が取得した前記端末装置の位置、および前記方角取得部が取得した前記端末装置が向いている方角に応じて、前記点検履歴取得部が取得した前記点検対象物の中心から見た前記点検位置の方角を、前記画面上における前記点検位置に変換し、変換後の前記点検位置を前記画面上に表示する
ことを特徴とする請求項4記載の点検履歴管理システム。 - 前記点検位置算出部は、
前記点検履歴取得部が取得した前記点検対象物の中心から見た前記点検位置の方角を前記画面上における前記点検位置に変換した結果、前記点検位置が前記撮像部から見て前記点検対象物の裏側に存在する場合は、その旨のメッセージを前記画面上に表示する
ことを特徴とする請求項7記載の点検履歴管理システム。 - 前記表示入力部は、前記位置入力と併せて、前記点検位置に対する点検結果を示す点検結果入力を受け取り、
前記点検位置算出部は、前記点検結果入力が示す前記点検結果を記述する点検結果データを、前記点検対象物の識別子および前記画面上における前記点検位置と対応付けて前記記憶装置に格納する
ことを特徴とする請求項1記載の点検履歴管理システム。 - 前記点検位置算出部は、前記点検位置を前記画面上に表示するとき、前記点検位置に対応する前記点検結果データを前記点検位置と併せて前記画面上に再現する
ことを特徴とする請求項9記載の点検履歴管理システム。 - 前記表示入力部は、前記点検結果入力として、
前記点検位置において発見された異常種別または異常を発見した機器種別を記述する情報、
前記点検結果を記述する文字列または音声、
前記点検位置の画像を撮影すべき旨を指示する撮影指示入力、
の少なくともいずれかを受け取り、
前記点検位置算出部は、
前記表示入力部が前記点検結果入力として、前記異常種別、前記機器種別、前記文字列、または前記音声を受け取った場合は、前記点検結果データとしてこれら情報を記述するデータを前記記憶装置に格納し、
前記表示入力部が前記点検結果入力として前記撮影指示入力を受け取った場合は、前記点検結果データとして前記点検位置の画像を前記記憶装置に格納する
ことを特徴とする請求項9記載の点検履歴管理システム。 - 前記表示入力部は、前記点検結果入力として、前記点検位置において発見した異常の優先度を指定する情報を受け取り、
前記点検位置算出部は、前記優先度が所定閾値以上である場合は、前記点検結果データを前記点検位置と併せて前記画面上に再生する際に、その旨のアラートを出力する
ことを特徴とする請求項9記載の点検履歴管理システム。 - 前記記憶装置は、複数の前記点検対象物それぞれに関する前記点検履歴および各前記点検対象物の位置を格納しており、
前記計算機は、各前記点検対象物の位置および各前記点検対象物の前記点検履歴を画面表示する
ことを特徴とする請求項1記載の点検履歴管理システム。 - 前記計算機は、各前記点検対象物の前記点検履歴として、前記点検位置の前記点検対象物上における高さを画面表示する
ことを特徴とする請求項13記載の点検履歴管理システム。 - 点検対象物の点検履歴を管理する点検履歴管理システムを用いて前記点検履歴を管理する方法であって、
前記点検履歴管理システムは、
点検対象物の点検履歴を管理する計算機、
前記計算機が管理する前記点検履歴を画面表示する端末装置、
を有し、
前記計算機は、
前記点検対象物の設置面からの高さを記述した点検対象物データを格納する記憶装置を備え、
前記方法は、
前記端末装置を用いて前記点検対象物の画像を撮影する撮像ステップ、
前記撮像ステップにおいて撮影した前記点検対象物の画像を前記端末装置の画面上に表示するとともに前記画面上における前記点検対象物の点検位置を入力する位置入力を受け取る表示入力ステップ、
前記撮像ステップにおいて前記点検対象物の画像を撮影するときにおける前記点検対象物から前記端末装置までの距離を取得する距離取得ステップ、
前記画面上における前記点検位置の前記点検対象物上における高さを求める点検位置算出ステップ、
を有し、
前記点検位置算出ステップにおいては、
前記距離取得ステップにおいて取得した前記距離、および前記点検対象物データが記述している前記点検対象物の高さを用いて、前記画面上における前記点検対象物の位置および大きさを算出し、
前記点検位置算出ステップにおいては、
前記画面上における前記点検位置の座標と、前記画面上における前記点検対象物の位置および大きさとの間の相関関係にしたがって、前記点検位置の前記点検対象物上における高さを求め、その求めた高さを前記点検対象物の識別子と対応付けて前記記憶装置に格納する
ことを特徴とする点検履歴管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014242174A JP6316176B2 (ja) | 2014-11-28 | 2014-11-28 | 点検履歴管理システム、点検履歴管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014242174A JP6316176B2 (ja) | 2014-11-28 | 2014-11-28 | 点検履歴管理システム、点検履歴管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016103218A JP2016103218A (ja) | 2016-06-02 |
JP6316176B2 true JP6316176B2 (ja) | 2018-04-25 |
Family
ID=56089019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014242174A Active JP6316176B2 (ja) | 2014-11-28 | 2014-11-28 | 点検履歴管理システム、点検履歴管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6316176B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018105117A1 (ja) * | 2016-12-09 | 2018-06-14 | 三菱電機ビルテクノサービス株式会社 | 工事写真管理システム |
JP2018169649A (ja) * | 2017-03-29 | 2018-11-01 | 三菱電機株式会社 | 監視システムおよび監視用の端末 |
JP6796092B2 (ja) | 2018-01-17 | 2020-12-02 | 株式会社東芝 | 情報処理装置、情報処理方法及びプログラム |
JP6799869B1 (ja) * | 2019-10-08 | 2020-12-16 | 有限会社Hometec | 点検支援システム、及び点検支援方法 |
JP7459038B2 (ja) | 2021-12-09 | 2024-04-01 | Lineヤフー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7458362B2 (ja) | 2021-12-09 | 2024-03-29 | Lineヤフー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010165321A (ja) * | 2009-01-19 | 2010-07-29 | Toshiba Corp | 配電盤点検システム |
JP2012252499A (ja) * | 2011-06-02 | 2012-12-20 | Shimizu Corp | 検査対象管理支援装置、検査対象管理支援方法、プログラム |
JP2013015385A (ja) * | 2011-07-04 | 2013-01-24 | Nippon Telegr & Teleph Corp <Ntt> | 3次元デジタル記録システム |
JP2014146217A (ja) * | 2013-01-30 | 2014-08-14 | Hitachi Ltd | 設備保全情報管理方法及びシステム |
JP6049511B2 (ja) * | 2013-03-21 | 2016-12-21 | 三菱重工業株式会社 | 点検支援装置、点検支援方法およびプログラム |
-
2014
- 2014-11-28 JP JP2014242174A patent/JP6316176B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016103218A (ja) | 2016-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6316176B2 (ja) | 点検履歴管理システム、点検履歴管理方法 | |
US10750083B2 (en) | Systems and methods for processing digital image data representing multiple views of an object of interest | |
JP6020986B2 (ja) | 対象物特定システム、対象物特定サーバ及び対象物特定端末 | |
JP6364241B2 (ja) | 点検支援装置、点検支援方法、点検支援プログラム | |
KR101977703B1 (ko) | 단말의 촬영 제어 방법 및 그 단말 | |
JP2016018463A (ja) | 状態変化管理システム及び状態変化管理方法 | |
US20160180468A1 (en) | Systems, methods, and apparatus for object classification based on localized information | |
JP2015001756A (ja) | 状態変化管理システム、状態変化管理サーバ及び状態変化管理端末 | |
KR20140133640A (ko) | 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치 | |
JP2013538377A (ja) | 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング | |
CN107329671B (zh) | 模型显示方法和装置 | |
US20180157682A1 (en) | Image information processing system | |
JP5315424B2 (ja) | 画像表示制御装置及びその制御方法 | |
CA2630947C (en) | User interface for selecting a photo tag | |
JP6132811B2 (ja) | プログラム及び情報処理装置 | |
JP6121268B2 (ja) | 進捗管理端末、進捗管理システム、進捗管理方法、および、進捗管理プログラム | |
US20170097755A1 (en) | Facilitating Analysis of a Electrical Power System | |
US11048345B2 (en) | Image processing device and image processing method | |
WO2016088178A1 (ja) | 情報処理システム、情報処理方法、及び記憶媒体 | |
CN110990728A (zh) | 兴趣点信息的管理方法、装置、设备及存储介质 | |
CN114238859A (zh) | 数据处理系统、方法、电子设备以及存储介质 | |
CN112685279B (zh) | 脚本录制方法、装置、终端设备 | |
JP6509546B2 (ja) | 画像検索システム及び画像検索方法 | |
JP2019002747A (ja) | 目的地特定システム | |
CN108062786B (zh) | 以三维信息模型为基础的综合感知定位技术应用系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180327 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6316176 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |