JP6989481B2 - 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム - Google Patents

点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム Download PDF

Info

Publication number
JP6989481B2
JP6989481B2 JP2018223307A JP2018223307A JP6989481B2 JP 6989481 B2 JP6989481 B2 JP 6989481B2 JP 2018223307 A JP2018223307 A JP 2018223307A JP 2018223307 A JP2018223307 A JP 2018223307A JP 6989481 B2 JP6989481 B2 JP 6989481B2
Authority
JP
Japan
Prior art keywords
inspection
unit
image
time
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018223307A
Other languages
English (en)
Other versions
JP2020084669A (ja
Inventor
一孝 奈良
博夫 森上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
THE FURUKAW ELECTRIC CO., LTD.
Original Assignee
THE FURUKAW ELECTRIC CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by THE FURUKAW ELECTRIC CO., LTD. filed Critical THE FURUKAW ELECTRIC CO., LTD.
Priority to JP2018223307A priority Critical patent/JP6989481B2/ja
Publication of JP2020084669A publication Critical patent/JP2020084669A/ja
Application granted granted Critical
Publication of JP6989481B2 publication Critical patent/JP6989481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Bridges Or Land Bridges (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラムに関する。
橋梁やトンネル等の構造物は、時間の経過に応じて損傷が生じるため、定期的に検査をして当該損傷の状況を把握する必要がある。そして、従来、当該損傷の状況を把握するために、損傷図が用いられている(例えば、非特許文献1参照)。
当該損傷図は、CAD等によって作成された図面であって、橋梁やトンネル等の点検対象物の構造を表した図面(以下、対象物図面と記載)上に点検箇所の損傷内容が記載されたものである。
そして、従来、橋梁やトンネル等の点検対象物を点検する作業者は、損傷図を利用して以下に示すように当該点検対象物の点検を行っている。
作業者は、点検を行う点検対象物に応じた損傷図(印刷した紙面)と、点検箇所を撮影するカメラとを現場(点検対象物の場所)に持って行く。現場において、作業者は、損傷図を確認しながら点検を行う点検箇所を把握し、当該損傷図上の当該点検箇所に番号等の記号を記載する。また、作業者は、当該記号と同一の記号を記載した紙(以下、判別紙と記載)とともに当該点検箇所をカメラにて撮影する。
以上の作業を点検対象物における全ての点検箇所について行う。なお、上述した記号は、各点検箇所について異なる記号に設定する。
そして、作業者は、損傷図上に記載した記号と撮影画像内に映り込んだ判別紙の記号とを照合し、全ての撮影画像についてどの点検箇所で撮影を行ったかを整理する。
橋梁定期点検要領 平成26年6月 国土交通省 道路局 国道・防災課 インターネット(URL:http://www.mlit.go.jp/road/ir/ir-council/pdf/yobo3_1_6.pdf)
しかしながら、従来の点検作業では、(1)損傷図上に記号を記載する作業、(2)判別紙に記号を記載する作業、及び、(3)損傷図上に記載した記号と撮影画像内に映り込んだ判別紙の記号とを照合して全ての撮影画像を整理する作業等の当該(1)〜(3)の煩雑な作業を作業者に強いることとなる。
そこで、点検作業を容易に行うことができ、利便性を向上させることができる技術が要望されている。
本発明は、上記に鑑みてなされたものであって、利便性を向上させることができる点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラムを提供することを目的とする。
本発明に係る点検支援装置は、点検対象物の構造を表した対象物図面に関する図面情報と、前記対象物図面上の複数の点検箇所毎にそれぞれ設定された複数の点検箇所情報と、前記点検箇所情報毎に関連付けられ、前記点検箇所情報における点検箇所の過去の点検結果を示す点検結果情報とを記録する第1記録部と、前記図面情報に基づく前記対象物図面上に、前記複数の点検箇所情報における点検箇所毎に、点検箇所の点検の開始時刻及び終了時刻をそれぞれ設定するための第1画像と、点検箇所の過去の点検結果の表示を指示するための第2画像とを重畳して表示部に表示させる表示制御部と、前記表示部に表示された前記対象物図面上の複数の前記第1画像のいずれかの第1画像を選択する第1操作と、前記表示部に表示された前記対象物図面上の複数の前記第2画像のいずれかの第2画像を選択する第2操作とをそれぞれ受け付ける操作受付部と、前記第1操作に応じて、選択された前記第1画像に対応する前記点検箇所情報と、点検箇所の点検の開始時刻を示す第1点検開始時刻と、点検箇所の点検の終了時刻を示す第1点検終了時刻とを特定する特定部と、前記第1記録部に記録された前記複数の点検箇所情報のうち前記特定部にて特定された前記点検箇所情報に対して、前記特定部にて特定された前記第1点検開始時刻及び前記第1点検終了時刻を関連付けて前記第1記録部に記録する記録制御部とを備え、前記表示制御部は、前記第2操作に応じて、選択された前記第2画像に対応する前記点検箇所情報に関連付けられた前記点検結果情報に基づく過去の点検結果を前記対象物図面上に重畳して前記表示部に表示させる
本発明に係る点検支援装置では、上記発明において、前記点検箇所情報は、前記点検箇所情報における点検箇所を示す前記対象物図面上の座標位置である。
本発明に係る点検支援装置では、上記発明において、前記操作受付部は、前記第1操作と、前記第2操作と、前記表示部に表示された前記対象物図面上の前記複数の第1画像及び前記複数の第2画像以外の任意の位置を選択する新規点検操作とをそれぞれ受け付け、前記特定部は、前記新規点検操作に応じて、選択された前記対象物図面上の座標位置と、点検箇所の点検の開始時刻を示す第2点検開始時刻と、点検箇所の点検の終了時刻を示す第2点検終了時刻とを特定し、前記記録制御部は、前記特定部にて特定された前記座標位置、前記第2点検開始時刻、及び前記第2点検終了時刻を関連付けて前記第1記録部に記録する。
本発明に係る点検支援装置では、上記発明において、点検箇所を撮影して撮影画像を生成する撮影部と、前記撮影画像と前記撮影部による撮影時刻とが関連付けられて記録される第2記録部とをさらに備え、前記記録制御部は、前記第1記録部に記録されている前記第1点検開始時刻及び前記第1点検終了時刻と、前記第2記録部に記録されている前記撮影時刻とに基づいて、前記点検箇所情報と前記撮影画像とを関連付ける。
本発明に係る点検支援システムは、撮影装置と、前記撮影装置との間で通信可能に接続される上述した点検支援装置とを備える点検支援システムであって、前記撮影装置は、点検箇所を撮影して撮影画像を生成する撮影部と、前記撮影画像と前記撮影部による撮影時刻とが関連付けられて記録される第2記録部とを備え、前記記録制御部は、前記第1記録部に記録されている前記第1点検開始時刻及び前記第1点検終了時刻と、前記第2記録部に記録されている前記撮影時刻とに基づいて、前記点検箇所情報と前記撮影画像とを関連付ける。
本発明に係る点検支援システムは、撮影装置と、上述した点検支援装置と、前記撮影装置及び前記点検支援装置との間で通信可能に接続される作業端末装置とを備える点検支援システムであって、前記撮影装置は、点検箇所を撮影して撮影画像を生成する撮影部と、前記撮影画像と前記撮影部による撮影時刻とが関連付けられて記録される第2記録部とを備え、前記作業端末装置は、前記第1記録部に記録されている前記第1点検開始時刻及び前記第1点検終了時刻と、前記第2記録部に記録されている前記撮影時刻とに基づいて、前記点検箇所情報と前記撮影画像とを関連付ける関連付け部を備える。
本発明に係る点検支援方法は、点検支援装置のプロセッサが実行する点検支援方法であって、点検対象物の構造を表した対象物図面上に、前記対象物図面上の複数の点検箇所毎にそれぞれ設定された複数の点検箇所情報における点検箇所毎に、点検箇所の点検の開始時刻及び終了時刻をそれぞれ設定するための第1画像と、点検箇所の過去の点検結果の表示を指示するための第2画像とを重畳して表示部に表示させ、第1操作に応じて、選択された前記第1画像に対応する前記点検箇所情報と、点検箇所の点検の開始時刻を示す点検開始時刻と、点検箇所の点検の終了時刻を示す点検終了時刻とを特定し、特定した前記点検箇所情報、前記点検開始時刻、及び前記点検終了時刻を関連付けて記録部に記録し、第2操作に応じて、選択された前記第2画像に対応する前記点検箇所情報に関連付けられた過去の点検結果を前記対象物図面上に重畳して前記表示部に表示させる
本発明に係る点検支援プログラムは、点検支援装置のプロセッサに実行させる点検支援プログラムであって、前記点検支援プログラムは、前記プロセッサに以下の実行を指示する:点検対象物の構造を表した対象物図面上に、前記対象物図面上の複数の点検箇所毎にそれぞれ設定された複数の点検箇所情報における点検箇所毎に、点検箇所の点検の開始時刻及び終了時刻をそれぞれ設定するための第1画像と、点検箇所の過去の点検結果の表示を指示するための第2画像とを重畳して表示部に表示させ、第1操作に応じて、選択された前記第1画像に対応する前記点検箇所情報と、点検箇所の点検の開始時刻を示す点検開始時刻と、点検箇所の点検の終了時刻を示す点検終了時刻とを特定し、特定した前記点検箇所情報、前記点検開始時刻、及び前記点検終了時刻を関連付けて記録部に記録し、第2操作に応じて、選択された前記第2画像に対応する前記点検箇所情報に関連付けられた過去の点検結果を前記対象物図面上に重畳して前記表示部に表示させる
本発明に係る点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラムによれば、利便性を向上させることができる。
図1は、実施の形態1に係る点検支援システムを示す図である。 図2は、撮影装置の構成を示すブロック図である。 図3は、点検支援装置の構成を示すブロック図である。 図4は、撮影装置の動作を示すフローチャートである。 図5は、点検支援装置の第1動作を示すフローチャートである。 図6は、ステップS2Aを説明する図である。 図7は、ステップS2Aを説明する図である。 図8は、ステップS2Cを説明する図である。 図9は、ステップS2Fを説明する図である。 図10は、ステップS2Kを説明する図である。 図11は、点検支援装置の第2動作を示すフローチャートである。 図12は、ステップS2Nを説明する図である。 図13は、実施の形態2に係る第1動作を示すフローチャートである。 図14は、ステップS2C´を説明する図である。 図15は、ステップS2C´を説明する図である。 図16は、点検結果情報に基づく過去の点検結果の一例を示す図である。 図17は、点検結果情報に基づく過去の点検結果の一例を示す図である。 図18は、ステップS2F´を説明する図である。 図19は、ステップS2S,S2K´を説明する図である。 図20は、実施の形態3に係る点検支援システムを示す図である。 図21は、作業端末装置の構成を示すブロック図である。 図22は、作業端末装置の動作を示すフローチャートである。
以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
(実施の形態1)
〔点検支援システムの概略構成〕
図1は、本実施の形態1に係る点検支援システム1を示す図である。
点検支援システム1は、橋梁やトンネル等の点検対象物に関する損傷図を参照しつつ当該点検対象物の点検を行うにあたって、当該点検を支援するシステムである。本実施の形態1では、点検支援システム1は、図1に示すように、点検箇所の撮影と損傷図の表示とを互いに独立した撮影装置2及び点検支援装置3の2台を用いて行うシステムである。すなわち、点検対象物の点検を行うにあたって、当該点検を行う作業者は、点検支援装置3を操作する作業者(以下、第1作業者と記載)と、撮影装置2を操作する作業者(以下、第2作業者と記載)との複数人で構成される。
なお、第1作業者と第2作業者とは、同一人物であってもよい。また、点検支援システム1は、撮影装置2を1台のみ備えた構成に限らず、撮影装置2を複数台備えた構成としても構わない。
〔撮影装置の構成〕
図2は、撮影装置2の構成を示すブロック図である。
撮影装置2は、例えば、デジタルカメラ等で構成されている。この撮影装置2は、図2に示すように、第2制御部21と、第2記録部22と、第2通信部23と、第2入力部24と、第2表示部25と、第2撮影部26とを備え、当該各部21〜26がバス27を介して接続された構成である。
第2制御部21は、CPU(Central Processing Unit)やFPGA(Field-Programmable Gate Array)等で構成され、第2記録部22に記録されたプログラムにしたがって、撮影装置2全体の動作を制御する。なお、第2制御部21の機能については、後述する「撮影装置の動作」において説明する。
第2記録部22は、第2制御部21が実行するプログラム、当該第2制御部21の処理に必要な情報、当該第2制御部21が処理した情報等を記録する。
第2通信部23は、第2制御部21による制御の下、点検支援装置3との間で各種データの無線通信を所定のプロトコルに従って行う。なお、本実施の形態1では、撮影装置2と点検支援装置3との間では、無線通信が行われるものとして説明するが、これに限らず、有線通信が行われても構わない。また、無線通信を行う場合には、例えば、ブルートゥース(登録商標)を利用する。一方、有線通信を行う場合には、例えば、USB(登録商標)を利用する。
第2入力部24は、ユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた操作信号を第2制御部21に出力する。
第2表示部25は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイで構成され、第2制御部21による制御の下、種々の画像を表示する。なお、第2入力部24の機能の一部または全部がタッチパネルとして第2表示部25の表面に配置されてもよい。
第2撮影部26は、本発明に係る撮影部に相当する。この第2撮影部26は、具体的な図示は省略したが、レンズユニットと、撮像素子と、信号処理部とを備える。当該レンズユニットは、被写体像を取り込んで当該撮像素子の撮像面に結像する。当該撮像素子は、当該レンズユニットが結像した被写体像を受光して電気信号に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。当該信号処理部は、当該撮像素子からの電気信号に対して信号処理(例えばA/D変換等)を行って画像データ(本発明に係る撮影画像に相当、以下、撮影画像と記載)を出力する。
〔点検支援装置の構成〕
図3は、点検支援装置3の構成を示すブロック図である。
点検支援装置3は、例えば、タブレット端末、スマートフォン、ノートPC(Personal Computer)、ウェアラブルデバイス(例えば、眼鏡型あるいはヘルメット型のヘッドマウントディスプレイ)等で構成されている。この点検支援装置3は、図3に示すように、第1制御部31と、第1記録部32と、第1通信部33と、第1入力部34と、第1表示部35と、第1撮影部36とを備え、当該各部31〜36がバス37を介して接続された構成である。
第1制御部31は、本発明に係るプロセッサに相当する。この第1制御部31は、CPUやFPGA等で構成され、第1記録部32に記録されたプログラム(本発明に係る点検支援プログラムを含む)にしたがって、点検支援装置3全体の動作を制御する。ここで、第1制御部31は、本発明に係る表示制御部、特定部、及び記録制御部としての機能を有する。なお、第1制御部31の機能については、後述する「点検支援装置の動作」において説明する。
第1記録部32は、第1制御部31が実行するプログラム(本発明に係る点検支援プログラムを含む)、当該第1制御部31の処理に必要な情報、当該第1制御部31が処理した情報等を記録する。
第1通信部33は、第1制御部31による制御の下、撮影装置2(第2通信部23)との間で各種データの無線通信を所定のプロトコルに従って行う。なお、本実施の形態1では、撮影装置2と点検支援装置3との間では、無線通信が行われるものとして説明するが、これに限らず、有線通信が行われても構わない。
第1入力部34は、本発明に係る操作受付部に相当する。本実施の形態1では、第1入力部34は、ユーザ操作を受け付けるタッチパネルで構成され、タッチ操作によるタッチ位置に応じた操作信号を第1制御部31に出力する。
第1表示部35は、本発明に係る表示部に相当する。この第1表示部35は、液晶または有機EL等を用いた表示ディスプレイで構成され、第1制御部31による制御の下、種々の画像を表示する。本実施の形態1では、第1入力部34(タッチパネル)が第1表示部35の表面に配置されている。
第1撮影部36は、具体的な図示は省略したが、レンズユニットと、撮像素子と、信号処理部とを備える。当該レンズユニットは、被写体像を取り込んで当該撮像素子の撮像面に結像する。当該撮像素子は、当該レンズユニットが結像した被写体像を受光して電気信号に変換するCCDまたはCMOS等で構成されている。当該信号処理部は、当該撮像素子からの電気信号に対して信号処理(例えばA/D変換等)を行って画像データを出力する。
〔点検支援システムの動作〕
次に、上述した点検支援システム1の動作について説明する。以下では、説明の便宜上、撮影装置2の動作、及び点検支援装置3の動作を順に説明する。
〔撮影装置の動作〕
図4は、撮影装置2の動作を示すフローチャートである。
先ず、第2制御部21は、第2作業者による第2入力部24への撮影操作が有ったか否かを常時、監視する(ステップS1A)。
撮影操作が有ったと判断した場合(ステップS1A:Yes)には、第2制御部21は、第2撮影部26の動作を制御する。そして、第2撮影部26は、点検箇所に応じた撮影画像を生成する(ステップS1B)。なお、撮影操作が無い場合(ステップS1A:No)には、第2制御部21は、ステップS1Aを繰り返す。
ステップS1Bの後、第2制御部21は、ステップS1Bで生成された撮影画像と撮影時刻(例えばステップS1Aで撮影操作が有った時刻)とを関連付けて撮影データとして第2記録部22に記録する(ステップS1C)。この後、第2制御部21は、ステップS1Aに戻る。
〔点検支援装置の動作〕
以下では、点検支援装置3の動作として、第1動作と第2動作とを順に説明する。
〔点検支援装置の第1動作〕
先ず、点検支援装置3の第1動作について説明する。
図5は、点検支援装置3の第1動作を示すフローチャートである。
第1制御部31は、第1表示部35の動作を制御し、当該第1表示部35に対象物選択画面F1(図7参照)を表示させる(ステップS2A)。
図6及び図7は、ステップS2Aを説明する図である。具体的に、図6は、第1テーブルTB1の一例を示す図である。図7は、対象物選択画面F1の一例を示す図である。
ここで、第1記録部32には、図6に示す第1テーブルTB1が記録されている。
第1テーブルTB1には、図6に示すように、複数の点検対象物毎に、当該点検対象物を一意に識別する点検対象物の名称等の対象物識別情報D0と、損傷図データD1とが関連付けられて登録されている。
ステップS2Aにおいて、第1制御部31は、第1テーブルTB1を参照し、第1作業者に点検対象物の選択を促す対象物選択画面F1を第1表示部35に表示させる。
具体的に、対象物選択画面F1は、図7に示すように、第1テーブルTB1に登録されている対象物識別情報D0を一覧表示した画面である。
そして、第1作業者は、ステップS2Aで表示された対象物選択画面F1を確認することにより、第1入力部34に対して点検対象物を選択する対象物選択操作を行うことが可能となる。当該対象物選択操作は、対象物選択画面F1内における複数の対象物識別情報D0のうち、点検対象物に応じた対象物識別情報D0をタッチ(選択)する操作である。
ステップS2Aの後、第1制御部31は、第1作業者による第1入力部34への対象物選択操作が有ったか否かを常時、監視する(ステップS2B)。
対象物選択操作が有ったと判断した場合(ステップS2B:Yes)には、第1制御部31は、第1表示部35の動作を制御し、当該第1表示部35に対象物選択操作に応じた点検箇所選択画面F2(図8参照)を表示させる(ステップS2C)。なお、点検箇所選択画面F2は、ステップS2C以降、本制御フロー(第1動作)を終了するまで常時、第1表示部35に表示されている。なお、対象物選択操作が無い場合(ステップS2B:No)には、第1制御部31は、ステップS2Bを繰り返す。
図8は、ステップS2Cを説明する図である。具体的に、図8は、点検箇所選択画面F2の一例を示す図である。なお、図8では、点検対象物を「橋梁」としている。
ここで、第1テーブルTB1に登録されている損傷図データD1は、予めCAD等によって作成された損傷図データ(CADデータ)が点検支援装置3で読取可能なPDFデータ等に変換されたデータである。
そして、ステップS2Cで表示される点検箇所選択画面F2は、図8に示すように、損傷図F21と、確認ボタンBCとが表示された画面である。
損傷図F21は、第1テーブルTB1に登録された複数の損傷図データD1のうち、ステップS2Bでの対象物選択操作によって選択された対象物識別情報D0に関連付けられた損傷図データD1に基づく損傷図である。また、損傷図データD1(損傷図F21)は、対象物図面F22に関する図面情報と、損傷内容F23に関する損傷情報とを含む。
対象物図面F22は、点検対象物の構造を表した図面である。図8の例では、対象物図面F22は、点検対象物である橋梁を下方から見た図面であって、当該橋梁の構造である主桁F221、横桁F222、横構F223、床版F224、及び支承F225をそれぞれ表した図面である。
損傷内容F23は、対象物図面F22上の点検箇所毎の過去の点検によって見付かった損傷内容である。図8では、損傷内容F23として、第1〜第6点検箇所P1〜P6における第1〜第6損傷内容F231〜F236を例示している。また、図8の例では、損傷内容F23では、引き出し線F230の先端で対象物図面F22上の点検箇所を指し示し、当該引き出し線F230の基端側に当該点検箇所の損傷内容が記載されている。例えば、図8において、第6損傷内容F236は、主桁F221の一部に腐食があることを示している。
そして、第1作業者は、ステップS2Cで表示された点検箇所選択画面F2を確認することにより、第1入力部34に対して点検箇所を選択する点検箇所選択操作を行うことが可能となる。当該点検箇所選択操作は、本発明に係る第1操作に相当し、点検箇所選択画面F2における対象物図面F22上の所望の位置(点検箇所)をタッチ(選択)する操作である。
確認ボタンBCは、1つの点検対象物における全ての点検の終了を促すボタンであって、損傷図F21上に重畳されている。
そして、第1作業者は、ステップS2Cで表示された点検箇所選択画面F2内の確認ボタンBCを利用して、第1入力部34に対して1つの点検対象物における全ての点検を終了する確認操作を行うことが可能となる。当該確認操作は、点検箇所選択画面F2内における確認ボタンBCをタッチ(選択)する操作である。
ステップS2Cの後、第1制御部31は、第1作業者による第1入力部34への点検箇所選択操作が有ったか否かを常時、監視する(ステップS2D)。
点検箇所選択操作が有ったと判断した場合(ステップS2D:Yes)には、第1制御部31は、当該点検箇所選択操作により選択された対象物図面F22上の座標位置(当該点検箇所選択操作によるタッチ位置)を特定する(ステップS2E)。なお、点検箇所選択操作が無い場合(ステップS2D:No)には、第1制御部31は、ステップS2Dを繰り返す。
図9は、ステップS2Fを説明する図である。なお、図9は、図8に対応させた図としている。
ステップS2Eの後、第1制御部31は、第1表示部35の動作を制御し、ステップS2Eで特定した対象物図面F22上の座標位置に点検開始終了ボタンBS(図9)を重畳して第1表示部35に表示させる(ステップS2F)。当該点検開始終了ボタンBSは、本発明に係るマーカー画像に相当する。
そして、第1作業者は、ステップS2Fで表示された点検開始終了ボタンBSを利用して、第1入力部34に対して点検箇所の点検を開始する点検開始操作、及び当該点検箇所の点検を終了する点検終了操作を行うことが可能となる。当該点検開始操作は、本発明に係る第2操作に相当し、点検箇所選択画面F2内における点検開始終了ボタンBSを1回目にタッチ(選択)する操作である。当該点検終了操作は、本発明に係る第2操作に相当し、点検箇所選択画面F2内における点検開始終了ボタンBSを2回目にタッチ(選択)する操作である。
なお、点検開始操作と点検終了操作とを同一の点検開始終了ボタンBSを利用して行う構成に限らず、点検開始操作を行うための点検開始ボタンと、点検終了操作を行うための点検終了ボタンとをそれぞれ別々に設けても構わない。
ステップS2Fの後、第1制御部31は、第1作業者による第1入力部34への点検開始操作が有ったか否かを常時、監視する(ステップS2G)。
点検開始操作が有ったと判断した場合(ステップS2G:Yes)には、第1制御部31は、点検箇所の点検の開始時刻を示す点検開始時刻(例えばステップS2Gで点検開始操作が有った時刻)を特定する(ステップS2H)。なお、点検開始操作が無い場合(ステップS2G:No)には、第1制御部31は、ステップS2Gを繰り返す。
ステップS2Hの後、第1制御部31は、第1作業者による第1入力部34への点検終了操作が有ったか否かを常時、監視する(ステップS2I)。
点検終了操作が有ったと判断した場合(ステップS2I:Yes)には、第1制御部31は、点検箇所の点検の終了時刻を示す点検終了時刻(例えばステップS2Iで点検終了操作が有った時刻)を特定する(ステップS2J)。なお、点検終了操作が無い場合(ステップS2I:No)には、第1制御部31は、ステップS2Iを繰り返す。
ここで、第1作業者は、点検箇所に応じた点検開始操作(ステップS2G)を行った後、第2作業者に対して当該点検箇所の撮影を指示する。また、第2作業者は、当該点検箇所の撮影を終了した後、当該撮影を終了した旨を第1作業者に伝える。そして、第1作業者は、第2作業者から当該撮影を終了した旨の連絡が有った後、当該点検箇所に応じた点検終了操作(ステップS2I)を行う。すなわち、当該点検箇所を撮影した撮影画像(ステップS1Bで生成された撮影画像)には、ステップS1Cにおいて、当該点検箇所に応じた点検開始操作から点検終了操作までの期間(ステップS2G〜S2Iの期間)内の撮影時刻が関連付けられる。
ステップS2Jの後、第1制御部31は、ステップS2E,S2H,S2Jでそれぞれ特定した点検箇所を示す対象物図面F22上の座標位置、点検開始時刻、及び点検終了時刻を関連付けて第2テーブルTB2に登録する(ステップS2K)。
図10は、ステップS2Kを説明する図である。具体的に、図10は、第2テーブルTB2の一例を示す図である。
ここで、第1記録部32には、図10に示す第2テーブルTB2が記録されている。
第2テーブルTB2は、点検対象物毎に設けられる。なお、図10では、1つの点検対象物に対応した第2テーブルTB2を示している。この第2テーブルTB2には、点検箇所識別情報と、点検箇所を示す対象物図面F22上の座標位置と、当該点検箇所の点検開始時刻及び点検終了時刻を示すタイムスタンプとが関連付けられた点検関連情報DAが点検箇所毎に登録される。図10では、1つの点検対象物において6箇所で点検が行われ、第2テーブルTB2には、当該6箇所にそれぞれ対応する6つの点検関連情報DA1〜DA6が登録された場合を例示している。
点検関連情報DA1は、図10に示すように、点検箇所識別情報ID1と、点検箇所を示す対象物図面F22上の座標位置XY1と、点検開始時刻ST1及び点検終了時刻EN1を示すタイムスタンプとが関連付けられた情報である。
ここで、点検関連情報DA1〜DA6は、当該点検関連情報DA1〜DA6の順に第2テーブルTB2に登録されている。言い換えれば、点検関連情報DA1〜DA6は、当該点検関連情報DA1〜DA6の順に点検が行われている。そして、点検箇所識別情報ID1としては、点検の順番を示す番号「1」を例示することができる。座標位置XY1、点検開始時刻ST1、及び点検終了時刻EN1は、座標位置XY1に対応した点検箇所においてステップS2E,S2H,S2Jでそれぞれ特定された座標位置、点検開始時刻、及び点検終了時刻である。なお、他の点検関連情報DA2〜DA6も点検関連情報DA1と同様の構成を有している。
ステップS2Kの後、第1制御部31は、第1作業者による第1入力部34への確認操作が有ったか否かを判断する(ステップS2L)。
確認操作が無いと判断した場合(ステップS2L:No)には、第1制御部31は、ステップS2Dに戻る。
一方、確認操作が有ったと判断した場合(ステップS2L:Yes)には、第1制御部31は、本制御フロー(第1動作)を終了する。
〔点検支援装置の第2動作〕
次に、点検支援装置3の第2動作について説明する。
図11は、点検支援装置3の第2動作を示すフローチャートである。
先ず、第1制御部31は、第1通信部33を介して撮影装置2における第2記録部22に記録された撮影データを受信する(ステップS2M)。なお、第2動作としては、第1動作の後に続けて実行する構成としてもよく、第1動作の後、当該第1動作とは独立して実行する構成としてもよい。第2動作を第1動作の後に続けて実行する構成では、例えば、確認操作が有ったことをトリガとしてステップS2Mが実行される。また、第1動作の後、当該第1動作とは独立して第2動作を実行する構成では、例えば、ユーザによる第1入力部34への所定の操作をトリガとしてステップS2Mが実行される。
ステップS2Mの後、第1制御部31は、第1記録部32に記録された第2テーブルTB2に登録された対象物図面F22上の座標位置に対してステップS2Mで受信した撮影データにおける撮影画像を関連付けて点検関連情報DAを更新する(ステップS2N)。この後、第1制御部31は、本制御フロー(第2動作)を終了する。
図12は、ステップS2Nを説明する図である。なお、図12は、図10に対応させた図としている。また、図12において、撮影画像IM1〜IM28は、当該撮影画像IM1〜IM28の順に撮影されたものである。より具体的に、撮影画像IM1〜IM5は、点検開始時刻ST1から点検終了時刻EN1までの期間内にそれぞれ撮影された撮影画像である。撮影画像IM6〜IM11は、点検開始時刻ST2から点検終了時刻EN2までの期間内にそれぞれ撮影された撮影画像である。撮影画像IM12〜IM14は、点検開始時刻ST3から点検終了時刻EN3までの期間内にそれぞれ撮影された撮影画像である。撮影画像IM15〜IM20は、点検開始時刻ST4から点検終了時刻EN4までの期間内にそれぞれ撮影された撮影画像である。撮影画像IM21,IM22は、点検開始時刻ST5から点検終了時刻EN5までの期間内にそれぞれ撮影された撮影画像である。撮影画像IM23〜IM28は、点検開始時刻ST6から点検終了時刻EN6までの期間内にそれぞれ撮影された撮影画像である。
以下、図12の例を基に、ステップS2Nについて説明する。
第1制御部31は、第2テーブルTB2に登録されている各点検関連情報DA1〜DA6に含まれるタイムスタンプと、ステップS2Mで受信した撮影データに含まれる撮影時刻とを照合する。そして、第1制御部31は、点検開始時刻から点検終了時刻までの期間内の撮影時刻が関連付けられた撮影画像を当該点検開始時刻及び当該点検終了時刻を示すタイムスタンプが関連付けられた対象物図面F22上の座標位置に対して関連付けて点検関連情報DA1〜DA6を更新する。
例えば、撮影画像IM1〜IM5には、点検開始時刻ST1から点検終了時刻EN1までの期間内の撮影時刻がそれぞれ関連付けられている。このため、第1制御部31は、座標位置XY1に対して撮影画像IM1〜IM5を関連付けて点検関連情報DA1を更新する。同様に、第1制御部31は、座標位置XY2に対して撮影画像IM6〜IM11を関連付けて点検関連情報DA2を更新する。また、第1制御部31は、座標位置XY3に対して撮影画像IM12〜IM14を関連付けて点検関連情報DA3を更新する。さらに、第1制御部31は、座標位置XY4に対して撮影画像IM15〜IM20を関連付けて点検関連情報DA4を更新する。また、第1制御部31は、座標位置XY5に対して撮影画像IM21,IM22を関連付けて点検関連情報DA5を更新する。さらに、第1制御部31は、座標位置XY6に対して撮影画像IM23〜IM28を関連付けて点検関連情報DA6を更新する。
以上説明した本実施の形態1によれば、以下の効果を奏する。
本実施の形態1に係る第1制御部31は、上述した第1,第2の動作(図5,図11)を実行する。このため、第1作業者や第2作業者は、従来の点検作業で行っていた(1)損傷図(印刷した紙面)上に記号を記載する作業、(2)判別紙に記号を記載する作業、及び(3)損傷図上に記載した記号と撮影画像内に映り込んだ判別紙の記号とを照合して全ての撮影画像を整理する作業を行う必要がない。すなわち、第1制御部31が上述した第1,第2の動作(図5,図11)を行うことによって、第1作業者や第2作業者が上述した(1)〜(3)の作業を行わなくても、例えば、図12に示すように、全ての撮影画像IM1〜IM28についてどの点検箇所で撮影を行ったかが整理される。
したがって、本実施の形態1に係る点検支援装置3によれば、点検作業を容易に行うことができ、利便性を向上させることができる。
特に、点検箇所選択操作により選択された対象物図面F22上の座標位置に点検開始終了ボタンBSが重畳表示される。
このため、第1作業者は、点検開始終了ボタンBSの位置を確認することで、点検箇所選択操作により対象物図面F22上の所望の位置をタッチしたか否かを容易に認識することができる。なお、第1作業者が点検開始終了ボタンBSの位置を確認することで対象物図面F22上の間違った位置をタッチしたと判断した場合に、点検箇所選択操作をやり直しすることができるように、例えば、訂正ボタン等を点検箇所選択画面F2内に配置しても構わない。
また、当該点検開始終了ボタンBSを利用して、点検開始操作及び点検終了操作を行うことができるため、その他のボタンを点検箇所選択画面F2内に配置する必要がない。
(実施の形態2)
次に、本実施の形態2について説明する。
以下の説明では、上述した実施の形態1と同様の構成に同一の符号を付し、その詳細な説明を省略または簡略化する。
本実施の形態2では、上述した実施の形態1に対して、点検支援装置3の第1動作が異なる。以下、点検支援装置3の第1動作について説明する。
〔点検支援装置の第1動作〕
図13は、本実施の形態2に係る第1動作を示すフローチャートである。
本実施の形態2に係る第1動作では、図13に示すように、上述した実施の形態1で説明した第1動作(図5)に対して、ステップS2C,S2E〜S2Kの代わりにステップS2C´,S2E´〜S2K´が採用されているとともに、ステップS2O〜S2Tが追加されている点が異なるのみである。このため、以下では、ステップS2C´,S2E´〜S2K´,S2O〜S2Tについてのみ説明する。
ステップS2C´は、対象物選択操作が有ったと判断された場合(ステップS2B:Yes)に実行される。
具体的に、第1制御部31は、ステップS2C´において、第1表示部35の動作を制御し、当該第1表示部35に対象物選択操作に応じた点検箇所選択画面F2´(図14参照)を表示させる。なお、点検箇所選択画面F2´は、ステップS2C´以降、本制御フロー(第1動作)を終了するまで常時、第1表示部35に表示されている。
図14及び図15は、ステップS2C´を説明する図である。具体的に、図14は、点検箇所選択画面F2´の一例を示す図である。なお、図14は、図8に対応させた図としている。図15は、第2テーブルTB2の一例を示す図である。
ここで、第1記録部32に記録された第2テーブルTB2には、点検箇所情報DP´及び点検結果情報DR´が関連付けられた点検関連情報DA´が複数、登録されている。図15では、第1〜第6点検箇所P1〜P6毎にそれぞれ設定された6つの点検関連情報DA1´〜DA6´が予め登録されている場合を例示している。
点検関連情報DA1´は、第1点検箇所P1に対して設定された点検箇所情報DP1´と点検結果情報DR1´とが関連付けられた情報である。
点検箇所情報DP1´は、点検箇所識別情報ID1´と、第1点検箇所P1における対象物図面F22上の座標位置XY1´を含む情報である。当該点検箇所識別情報ID1´としては、識別番号「1」を例示することができる。
点検結果情報DR1´は、第1点検箇所P1の過去の点検結果を示す情報(例えば、点検結果が記載された文字列や第1点検箇所P1を撮影した撮影画像等)である。
なお、他の点検関連情報DA2´〜DA6´も点検関連情報DA1´と同様の構成を有している。また、点検関連情報DA2´〜DA6´をそれぞれ構成する各点検箇所識別情報ID2´〜ID6´としては、識別番号「2」〜「6」をそれぞれ例示することができる。
そして、ステップS2C´で表示される点検箇所選択画面F2´は、図14に示すように、損傷図F21と、確認ボタンBCと、点検開始終了ボタンBSと、点検結果表示ボタンBDと、新規登録ボタンBNとが表示された画面である。
損傷図F21は、上述した実施の形態1と同様に、第1テーブルTB1に登録された複数の損傷図データD1のうち、ステップS2Bにおける対象物選択操作によって選択された対象物識別情報に関連付けられた損傷図データD1に基づく損傷図である。
確認ボタンBCは、上述した実施の形態1と同様に、1つの点検対象物における全ての点検の終了を促すボタンであって、損傷図F21上に重畳されている。
点検開始終了ボタンBSは、第2テーブルTB2に予め登録された点検関連情報DA´に応じて設定されたボタンであって、損傷図F21上に重畳されている。当該点検開始終了ボタンBSは、本発明に係る点検箇所画像及び第1画像に相当する。図14及び図15の例では、点検開始終了ボタンBSは、第1〜第6点検箇所P1〜P6毎にそれぞれ設定された第1〜第6点検開始終了ボタンBS1〜BS6の6つで構成されている。これら第1〜第6点検開始終了ボタンBS1〜BS6は、図14に示すように、第1〜第6点検箇所P1〜P6における第1〜第6損傷内容F231〜F236に近接した位置にそれぞれ配置されている。
そして、第1作業者は、ステップS2C´で表示された点検箇所選択画面F2´内の点検開始終了ボタンBSを利用して、第1入力部34に対して過去に点検が行われた複数の点検箇所(図14及び図15の例では、第1〜第6点検箇所P1〜P6)のいずれかの点検箇所の点検を開始する既存点検開始操作、及び当該点検箇所の点検を終了する既存点検終了操作を行うことが可能となる。当該既存点検開始操作は、本発明に係る第1操作に相当し、点検箇所選択画面F2´における複数の点検開始終了ボタンBSのいずれかの点検開始終了ボタンBSを1回目にタッチ(選択)する操作である。当該既存点検終了操作は、当該点検開始終了ボタンBSを2回目にタッチ(選択)する操作である。以上説明した既存点検開始操作及び既存点検終了操作は、本発明に係る既存点検操作に相当する。
なお、既存点検開始操作と既存点検終了操作とを同一の点検開始終了ボタンBSを利用して行う構成に限らず、既存点検開始操作を行うための点検開始ボタンと、既存点検終了操作を行うための点検終了ボタンとをそれぞれ別々に設けても構わない。
点検結果表示ボタンBDは、第2テーブルTB2に予め登録された点検関連情報DA´に応じて設定されたボタンであって、損傷図F21上に重畳されている。当該点検結果表示ボタンBDは、本発明に係る点検箇所画像及び第2画像に相当する。図14及び図15の例では、点検結果表示ボタンBDは、第1〜第6点検箇所P1〜P6毎にそれぞれ設定された第1〜第6点検結果表示ボタンBD1〜BD6の6つで構成されている。これら第1〜第6点検結果表示ボタンBD1〜BD6は、図14に示すように、第1〜第6点検開始終了ボタンBS1〜BS6に近接した位置にそれぞれ配置されているとともに、第1〜第6点検箇所P1〜P6に対してそれぞれ設定された点検箇所識別情報ID1´〜ID6´に応じた識別番号「1」〜「6」によって構成されている。
図16及び図17は、点検結果情報DR1´,DR4´に基づく過去の点検結果の一例を示す図である。
そして、第1作業者は、ステップS2C´で表示された点検箇所選択画面F2´内の点検結果表示ボタンBDを利用して、第1入力部34に対して過去に点検が行われた複数の点検箇所(図14及び図15の例では、第1〜第6点検箇所P1〜P6)のいずれかの点検箇所における過去の点検結果を表示する結果表示操作を行うことが可能となる。当該結果表示操作は、本発明に係る第2操作に相当し、点検箇所選択画面F2´における複数の点検結果表示ボタンBDのいずれかの点検結果表示ボタンBDをタッチ(選択)する操作である。
例えば、第1点検結果表示ボタンBD1がタッチされた場合には、第1制御部31は、当該第1点検結果表示ボタンBD1に対応する点検関連情報DA1´に含まれる点検結果情報DR1´を第1記録部32から読み出す。そして、第1制御部31は、第1表示部35の動作を制御し、損傷図F21上に点検結果情報DR1´に基づく過去の点検結果を重畳して第1表示部35に表示させる。当該過去の点検結果としては、図16に示すように、第1点検箇所P1の部位(横桁)及び損傷状態(防食機能の劣化)を示す文字列CSや第1点検箇所P1を撮影した撮影画像IM等である。
また、例えば、第4点検結果表示ボタンBD4がタッチされた場合には、第1制御部31は、当該第4点検結果表示ボタンBD4に対応する点検関連情報DA4´に含まれる点検結果情報DR4´を第1記録部32から読み出す。そして、第1制御部31は、第1表示部35の動作を制御し、損傷図F21上に点検結果情報DR4´に基づく過去の点検結果を重畳して第1表示部35に表示させる。当該過去の点検結果としては、図17に示すように、第4点検箇所P4の部位(床版)及び損傷状態(ひび割れ)を示す文字列CSや第4点検箇所P4を撮影した撮影画像IM等である。
新規登録ボタンBNは、過去に点検が行われていない新規の点検箇所(図14及び図15の例では、第1〜第6点検箇所P1〜P6以外の点検箇所)に応じた点検関連情報の第2テーブルTB2への登録を促すボタンであって、損傷図F21上に重畳されている。
そして、第1作業者は、ステップS2C´で表示された点検箇所選択画面F2´内の新規登録ボタンBNを利用して、第1入力部34に対して過去に点検が行われていない新規の点検箇所(図14及び図15の例では、第1〜第6点検箇所P1〜P6以外の点検箇所)を選択する新規登録操作を行うことが可能となる。当該新規登録操作は、点検箇所選択画面F2´における新規登録ボタンBNをタッチ(選択)した後に、対象物図面F22上の点検開始終了ボタンBS及び点検結果表示ボタンBD以外の所望の位置(点検箇所)をタッチ(選択)する操作である。
ステップS2C´の後、第1制御部31は、第1作業者による第1入力部34への既存点検開始操作が有ったか否かを常時、監視する(ステップS2O)。
既存点検開始操作が有ったと判断した場合(ステップS2O:Yes)には、第1制御部31は、当該既存点検開始操作により選択された点検開始終了ボタンBSに対応する点検関連情報DA´(既存点検開始操作により第1点検開始終了ボタンBS1が選択された場合には点検関連情報DA1´)と、点検開始時刻(本発明に係る第1点検開始時刻に相当、例えばステップS2Oで既存点検開始操作が有った時刻)とを特定する(ステップS2P)。
ステップS2Pの後、第1制御部31は、第1作業者による第1入力部34への既存点検終了操作が有ったか否かを常時、監視する(ステップS2Q)。
既存点検終了操作が有ったと判断した場合(ステップS2Q:Yes)には、第1制御部31は、点検終了時刻(本発明に係る第1点検終了時刻に相当、例えばステップS2Qで既存点検終了操作が有った時刻)を特定する(ステップS2R)。なお、既存点検終了操作が無い場合(ステップS2Q:No)には、第1制御部31は、ステップS2Qを繰り返す。
ここで、第1作業者は、過去に点検が行われた複数の点検箇所(図14及び図15の例では、第1〜第6点検箇所P1〜P6)のいずれかの点検箇所に応じた既存点検開始操作(ステップS2O)を行った後、第2作業者に対して当該点検箇所の撮影を指示する。また、第2作業者は、当該点検箇所の撮影を終了した後、当該撮影を終了した旨を第1作業者に伝える。そして、第1作業者は、第2作業者から当該撮影を終了した旨の連絡が有った後、当該点検箇所に応じた既存点検終了操作(ステップS2Q)を行う。すなわち、当該点検箇所を撮影した撮影画像(ステップS1Bで生成された撮影画像)には、ステップS1Cにおいて、当該点検箇所に応じた既存点検開始操作から既存点検終了操作までの期間(ステップS2O〜S2Qの期間)内の撮影時刻が関連付けられる。
ステップS2Rの後、第1制御部31は、第2テーブルTB2に予め登録された点検関連情報DA´のうち、ステップS2Pで特定した点検関連情報DA´に含まれる点検箇所情報DP´に対してステップS2P,S2Rでそれぞれ特定した点検開始時刻及び点検終了時刻を関連付けて当該点検関連情報DA´を更新する(ステップS2S)。この後、第1制御部31は、ステップS2Lに移行する。
ステップS2Oに戻って、既存点検開始操作が無いと判断した場合(ステップS2O:No)には、第1制御部31は、第1作業者による第1入力部34への新規登録操作が有ったか否かを常時、監視する(ステップS2T)。
新規登録操作が有ったと判断した場合(ステップS2T:Yes)には、第1制御部31は、当該新規登録操作において、新規登録ボタンBNのタッチ(選択)の後にタッチ(選択)された対象物図面F22上の座標位置(タッチ位置)を特定する(ステップS2E´)。なお、新規登録操作が無い場合(ステップS2T:No)には、第1制御部31は、ステップS2Oに戻る。
図18は、ステップS2F´を説明する図である。なお、図18は、図14に対応させた図としている。
ステップS2E´の後、第1制御部31は、第1表示部35の動作を制御し、ステップS2E´で特定した対象物図面F22上の座標位置に点検開始終了ボタンBS´(図18)を重畳して第1表示部35に表示させる(ステップS2F´)。
そして、第1作業者は、ステップS2F´で表示された点検開始終了ボタンBS´を利用して、第1入力部34に対して新規の点検箇所(図14及び図15の例では、第1〜第6点検箇所P1〜P6以外の点検箇所P7)の点検を開始する新規点検開始操作、及び当該新規の点検箇所の点検を終了する新規点検終了操作を行うことが可能となる。当該新規点検開始操作は、点検箇所選択画面F2´内における点検開始終了ボタンBS´を1回目にタッチ(選択)する操作である。当該新規点検終了操作は、点検箇所選択画面F2´内における点検開始終了ボタンBS´を2回目にタッチ(選択)する操作である。
なお、新規点検開始操作と新規点検終了操作とを同一の点検開始終了ボタンBS´を利用して行う構成に限らず、新規点検開始操作を行うための点検開始ボタンと、新規点検終了操作を行うための点検終了ボタンとをそれぞれ別々に設けても構わない。
以上説明した新規登録操作、新規点検開始操作、及び新規点検終了操作は、本発明に係る新規点検操作に相当する。
ステップS2F´の後、第1制御部31は、第1作業者による第1入力部34への新規点検開始操作が有ったか否かを常時、監視する(ステップS2G´)。
新規点検開始操作が有ったと判断した場合(ステップS2G´:Yes)には、第1制御部31は、点検開始時刻(本発明に係る第2点検開始時刻に相当、例えばステップS2G´で新規点検開始操作が有った時刻)を特定する(ステップS2H´)。なお、新規点検開始操作が無い場合(ステップS2G´:No)には、第1制御部31は、ステップS2G´を繰り返す。
ステップS2H´の後、第1制御部31は、第1作業者による第1入力部34への新規点検終了操作が有ったか否かを常時、監視する(ステップS2I´)。
新規点検終了操作が有ったと判断した場合(ステップS2I´:Yes)には、第1制御部31は、点検終了時刻(本発明に係る第2点検終了時刻に相当、例えばステップS2I´で新規点検終了操作が有った時刻)を特定する(ステップS2J´)。なお、新規点検終了操作が無い場合(ステップS2I´:No)には、第1制御部31は、ステップS2I´を繰り返す。
ここで、第1作業者は、過去に点検が行われた複数の点検箇所(図14及び図15の例では、第1〜第6点検箇所P1〜P6)以外の新規の点検箇所に応じた新規点検開始操作(ステップS2G´)を行った後、第2作業者に対して当該新規の点検箇所の撮影を指示する。また、第2作業者は、当該新規の点検箇所の撮影を終了した後、当該撮影を終了した旨を第1作業者に伝える。そして、第1作業者は、第2作業者から当該撮影を終了した旨の連絡が有った後、当該新規の点検箇所に応じた新規点検終了操作(ステップS2I´)を行う。すなわち、当該新規の点検箇所を撮影した撮影画像(ステップS1Bで生成された撮影画像)には、ステップS1Cにおいて、当該新規の点検箇所に応じた新規点検開始操作から新規点検終了操作までの期間(ステップS2G´〜S2I´の期間)内の撮影時刻が関連付けられる。
ステップS2J´の後、第1制御部31は、ステップS2E´,S2H´,S2J´でそれぞれ特定した新規の点検箇所(図14及び図15の例では、点検箇所P7)を示す対象物図面F22上の座標位置、点検開始時刻、及び点検終了時刻を関連付けた新たな点検関連情報DA´´(図19参照)を第2テーブルTB2に登録する(ステップS2K´)。この後、第1制御部31は、ステップS2Lに移行する。
図19は、ステップS2S,S2K´を説明する図である。なお、図19は、図15に対応させた図としている。
ステップS2Sでは、第1制御部31は、図19に示すように、予め登録された点検関連情報DA1´〜DA6´について、点検箇所情報DP1´〜DP6´に対して点検開始時刻ST1´〜ST6´及び点検終了時刻EN1´〜EN6´の各タイムスタンプを関連付けて当該点検関連情報DA1´〜DA6´をそれぞれ更新する。
一方、ステップS2K´では、第1制御部31は、図19に示すように、新規の点検箇所に応じた点検箇所識別情報ID7´(例えば点検箇所識別情報ID6´(識別番号「6」)に続く識別番号「7」)と、新規の点検箇所を示す対象物図面F22上の座標位置XY7´と、点検開始時刻ST7´及び点検終了時刻EN7´を示すタイムスタンプとを関連付けた新たな点検関連情報DA´´(DA7´)を第2テーブルTB2に登録する。
なお、本実施の形態2に係る第2動作では、第1制御部31は、ステップS2Nにおいて、第2テーブルTB2に登録されている各点検関連情報DA1´〜DA7´に含まれるタイムスタンプと、ステップS2Mで受信した撮影データに含まれる撮影時刻とを照合する。そして、第1制御部31は、点検開始時刻から点検終了時刻までの期間内の撮影時刻が関連付けられた撮影画像を当該点検開始時刻及び当該点検終了時刻を示すタイムスタンプが関連付けられた対象物図面F22上の座標位置に対して関連付けて点検関連情報DA1´〜DA7´を更新する。
以上説明した本実施の形態2のように第1制御部31が上述した第1動作(図13)を行う構成を採用した場合であっても、上述した実施の形態1と同様の効果を奏する。
また、点検箇所選択画面F2´内には、過去に点検が行われた複数の点検箇所(図14及び図15の例では、第1〜第6点検箇所P1〜P6)毎にそれぞれ点検結果表示ボタンBD(図14及び図15の例では、第1〜第6点検開始終了ボタンBD1〜BD6)が配置されている。そして、第1作業者は、当該複数の点検箇所のいずれかの点検箇所に応じた点検結果表示ボタンBDをタッチすることにより、当該点検箇所の過去の点検結果(例えば図16,図17)を確認することができる。このため、第1作業者は、過去の点検結果から現在の損傷状況がどのように変化したかを容易に把握することができる。
さらに、第1作業者は、新規登録操作、新規点検開始操作、及び新規点検終了操作を行うことによって、過去に点検が行われた複数の点検箇所(図14及び図15の例では、第1〜第6点検箇所P1〜P6)以外の新規の点検箇所について点検を行うことができる。
(実施の形態3)
次に、本実施の形態3について説明する。
以下の説明では、上述した実施の形態1,2と同様の構成に同一の符号を付し、その詳細な説明を省略または簡略化する。なお、本実施の形態3では、撮影装置2と点検支援装置3との間において直接的にデータの送受信を行わない。よって、本実施の形態3では、撮影装置2と作業端末装置4との間における通信と、点検支援装置3と作業端末装置4との間における通信とを行い、上述した実施の形態1,2のように、第1通信部33と第2通信部23との間で無線または有線によって行う通信機能を有さない。また、詳細は後述するが、対象物図面F22上の座標位置に対して撮影画像を関連付ける処理は、点検支援装置3では行わず、作業端末装置4で行う。
図20は、本実施の形態3に係る点検支援システム1Aを示す図である。
本実施の形態3に係る点検支援システム1Aは、図20に示すように、上述した実施の形態1,2で説明した点検支援システム1に対して、作業端末装置4が追加されている。
〔作業端末装置の構成〕
図21は、作業端末装置4の構成を示すブロック図である。
作業端末装置4は、例えば、ノートパソコン、デスクトップパソコン等の一般的なPCで構成されている。この作業端末装置4は、図21に示すように、第3制御部41と、第3記録部42と、第3通信部43と、第3入力部44と、第3表示部45とを備え、当該各部41〜45がバス46を介して接続された構成である。
第3制御部41は、CPUやFPGA等で構成され、第3記録部42に記録されたプログラムにしたがって、作業端末装置4全体の動作を制御する。ここで、第3制御部41は、本発明に係る関連付け部としての機能を有する。なお、第3制御部41の機能については、後述する「作業端末装置の動作」において説明する。
第3記録部42は、第3制御部41が実行するプログラム、当該第3制御部41の処理に必要な情報、当該第3制御部41が処理した情報等を記録する。
第3通信部43は、第3制御部41による制御の下、撮影装置2(第1通信部23)との間、及び点検支援装置3(第1通信部33)との間で、各種データの無線通信を所定のプロトコルに従って行う。なお、本実施の形態3では、撮影装置2と作業端末装置4との間、及び点検支援装置3と作業端末装置4との間では、無線通信が行われるものとして説明するが、これに限らず、有線通信が行われても構わない。
第3入力部44は、ユーザ操作を受け付けるボタン、スイッチ、タッチパネル等で構成され、当該ユーザ操作に応じた操作信号を第3制御部41に出力する。
第3表示部45は、液晶または有機EL等を用いた表示ディスプレイで構成され、第3制御部41による制御の下、種々の画像を表示する。
〔作業端末装置の動作〕
次に、上述した作業端末装置4の動作について説明する。
図22は、作業端末装置4の動作を示すフローチャートである。
なお、作業端末装置4は、上述した実施の形態1,2で説明した点検支援装置3の第2動作を行うものである。
先ず、第3制御部41は、第3通信部43を介して第2テーブルTB2に登録された全ての点検関連情報(図10の例では点検関連情報DA1〜DA6、図19の例では点検関連情報DA1´〜DA7´)を受信する(ステップS3A)。
ステップS3Aの後、第3制御部41は、第3通信部43を介して撮影装置2における第2記録部22に記録された撮影データを受信する(ステップS3B)。
ステップS2Bの後、第3制御部41は、ステップS2Nと同様に、ステップS3Aで受信した各点検関連情報に含まれる対象物図面F22上の座標位置に対してステップS3Bで受信した撮影データにおける撮影画像を関連付けて当該各点検関連情報を更新する(ステップS3D)。この後、第3制御部41は、本制御フローを終了する。
〔対象物図面上の座標位置に対して撮影画像を関連付ける処理について〕
ところで、撮影装置2の時刻と点検支援装置3の時刻とに差がある場合には、撮影画像が対応する点検開始時刻と点検終了時刻との間に入らずにずれが生じてしまい、対象物図面F22上の座標位置に対して撮影画像を関連付ける処理(ステップS2N,S3C)が正しく行われない可能性がある。
以下、撮影装置2の時刻と点検支援装置3の時刻とを同期させる方法を説明する。
点検を開始する前に、撮影装置2と点検支援装置3との間において時刻を同期させる処理を行う。例えば、撮影装置2の時刻設定機能と点検支援装置3の時刻設定機能とを利用して、撮影装置2と点検支援装置3との時刻を同期させる処理を行う。このようにして、撮影装置2と点検支援装置3との間において時刻を同期させておけば、対象物図面F22上の座標位置に対して撮影画像を関連付ける処理(ステップS2N,S3C)を正しく行うことができる。
また、撮影装置2の時刻と点検支援装置3の時刻とを同期させなくても、撮影装置2の時刻と点検支援装置3の時刻との差を利用する構成でもよい。
例えば、点検を開始する前に、点検支援装置3の第1表示部35に所定の画像を表示し、当該所定の画像を撮影装置2で撮影する。このとき、点検支援装置3は、所定の画像を表示した時刻t1を記憶しておく。
作業端末装置4は、点検支援装置3により所定の画像を表示した時刻t1と、撮影装置2により所定の画像を撮影した時刻t2とに基づいて、オフセット時刻Δt(t1−t2)を算出する。そして、作業端末装置4は、算出したオフセット時刻Δtを利用して、対象物図面F22上の座標位置に対して撮影画像を関連付ける処理を行う。なお、上述した実施の形態1,2において当該オフセット時刻Δtを利用して対象物図面F22上の座標位置に対して撮影画像を関連付ける処理を行う場合には、点検支援装置3が当該処理を行う。
以上説明した本実施の形態3のように作業端末装置4によって第2動作を行う構成を採用した場合であっても、上述した実施の形態1,2と同様の効果を奏する。
(その他の実施形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1〜3によってのみ限定されるべきものではない。
上述した実施の形態1〜3において、点検支援装置3の第1撮影部36にて点検箇所を撮影し、第1制御部31が撮影装置2の動作(図4)を実行する構成を採用しても構わない。このように構成した場合には、本願発明の構成を1台の点検支援装置3で構成することが可能となる。
上述した実施の形態1〜3では、本発明に係る操作受付部に相当する第1入力部34は、タッチパネルで構成されていたが、これに限らず、第1表示部35の画面上の任意の位置を選択することが可能な構成であれば、マウス、キーボード、タッチパッド、あるいは、トラックボール等によって構成しても構わない。
上述した実施の形態1において、第2テーブルTB2に登録する点検関連情報DAとしては、点検箇所識別情報(図10の例では、点検箇所識別情報ID1〜ID6)を省略しても構わない。
上述した実施の形態2では、第2テーブルTB2に予め登録されている点検箇所情報DP´は、点検箇所識別情報(図15の例では、点検箇所識別情報ID1´〜ID6´)及び対象物図面F22上の座標位置(図15の例では、座標位置XY1´〜XY6´)の双方を含んでいたが、これに限らず、いずれか一方のみで構成しても構わない。
上述した実施の形態2において、点検箇所情報DP´については、損傷図データD1に含まれる対象物図面F22に関する図面情報、及び損傷内容F23に関する損傷情報から点検支援装置3(第1制御部31)が独自に当該点検箇所情報DP´を生成する構成としてもよく、あるいは、作業者が当該点検箇所情報DP´を設定する構成のいずれの構成を採用しても構わない。
上述した実施の形態1〜3では、点検箇所識別情報ID1〜ID6,ID1´〜ID7´として識別番号を採用していたが、点検箇所を識別可能であれば、その他の情報を採用しても構わない。
上述した実施の形態1〜3で説明した制御フローは、図4、図5、図11、図13、及び図22の制御フローに限らず、矛盾のない範囲で順序を変更しても構わない。
1,1A 点検支援システム
2 撮影装置
3 点検支援装置
4 作業端末装置
21 第2制御部
22 第2記録部
23 第2通信部
24 第2入力部
25 第2表示部
26 第2撮影部
27 バス
31 第1制御部
32 第1記録部
33 第1通信部
34 第1入力部
35 第1表示部
36 第1撮影部
37 バス
41 第3制御部
42 第3記録部
43 第3通信部
44 第3入力部
45 第3表示部
46 バス
BC 確認ボタン
BD 点検結果表示ボタン
BD1 第1点検結果表示ボタン
BD2 第2点検結果表示ボタン
BD3 第3点検結果表示ボタン
BD4 第4点検結果表示ボタン
BD5 第5点検結果表示ボタン
BD6 第6点検結果表示ボタン
BN 新規登録ボタン
BS,BS´ 点検開始終了ボタン
BS1 第1点検開始終了ボタン
BS2 第2点検開始終了ボタン
BS3 第3点検開始終了ボタン
BS4 第4点検開始終了ボタン
BS5 第5点検開始終了ボタン
BS6 第6点検開始終了ボタン
CS 文字列
D0 対象物識別情報
D1 損傷図データ
DA,DA1〜DA6,DA´,DA1´〜DA7´,DA´´ 点検関連情報
DP´,DP1´〜DP6´ 点検箇所情報
DR´,DR1´〜DR6´ 点検結果情報
EN1〜EN6,EN1´〜EN7´ 点検終了時刻
F1 対象物選択画面
F2,F2´ 点検箇所選択画面
F21 損傷図
F22 対象物図面
F23 損傷内容
F221 主桁
F222 横桁
F223 横構
F224 床版
F225 支承
F230 引き出し線
F231 第1損傷内容
F232 第2損傷内容
F233 第3損傷内容
F234 第4損傷内容
F235 第5損傷内容
F236 第6損傷内容
ID1〜ID6,ID1´〜ID7´ 点検箇所識別情報
IM,IM1〜IM28 撮影画像
P1 第1点検箇所
P2 第2点検箇所
P3 第3点検箇所
P4 第4点検箇所
P5 第5点検箇所
P6 第6点検箇所
P7 点検箇所
ST1〜ST6,ST1´〜ST7´ 点検開始時刻
TB1 第1テーブル
TB2 第2テーブル
XY1〜XY6,XY1´〜XY7´ 座標位置

Claims (8)

  1. 点検対象物の構造を表した対象物図面に関する図面情報と、前記対象物図面上の複数の点検箇所毎にそれぞれ設定された複数の点検箇所情報と、前記点検箇所情報毎に関連付けられ、前記点検箇所情報における点検箇所の過去の点検結果を示す点検結果情報とを記録する第1記録部と
    記図面情報に基づく前記対象物図面上に、前記複数の点検箇所情報における点検箇所毎に、点検箇所の点検の開始時刻及び終了時刻をそれぞれ設定するための第1画像と、点検箇所の過去の点検結果の表示を指示するための第2画像とを重畳して表示部に表示させる表示制御部と、
    前記表示部に表示された前記対象物図面上の複数の前記第1画像のいずれかの第1画像を選択する第1操作と、前記表示部に表示された前記対象物図面上の複数の前記第2画像のいずれかの第2画像を選択する第2操作とをそれぞれ受け付ける操作受付部と、
    前記第1操作に応じて、選択された前記第1画像に対応する前記点検箇所情報と、点検箇所の点検の開始時刻を示す第1点検開始時刻と、点検箇所の点検の終了時刻を示す第1点検終了時刻とを特定する特定部と、
    前記第1記録部に記録された前記複数の点検箇所情報のうち前記特定部にて特定された前記点検箇所情報に対して、前記特定部にて特定された前記第1点検開始時刻及び前記第1点検終了時刻を関連付けて前記第1記録部に記録する記録制御部とを備え、
    前記表示制御部は、
    前記第2操作に応じて、選択された前記第2画像に対応する前記点検箇所情報に関連付けられた前記点検結果情報に基づく過去の点検結果を前記対象物図面上に重畳して前記表示部に表示させる点検支援装置。
  2. 前記点検箇所情報は、
    前記点検箇所情報における点検箇所を示す前記対象物図面上の座標位置である請求項に記載の点検支援装置。
  3. 前記操作受付部は、
    前記第1操作と、前記第2操作と、前記表示部に表示された前記対象物図面上の前記複数の第1画像及び前記複数の第2画像以外の任意の位置を選択する新規点検操作とをそれぞれ受け付け、
    前記特定部は
    記新規点検操作に応じて、選択された前記対象物図面上の座標位置と、点検箇所の点検の開始時刻を示す第2点検開始時刻と、点検箇所の点検の終了時刻を示す第2点検終了時刻とを特定し、
    前記記録制御部は、
    前記特定部にて特定された前記座標位置、前記第2点検開始時刻、及び前記第2点検終了時刻を関連付けて前記第1記録部に記録する請求項1または2に記載の点検支援装置。
  4. 点検箇所を撮影して撮影画像を生成する撮影部と、
    前記撮影画像と前記撮影部による撮影時刻とが関連付けられて記録される第2記録部とをさらに備え、
    前記記録制御部は、
    前記第1記録部に記録されている前記第1点検開始時刻及び前記第1点検終了時刻と、前記第2記録部に記録されている前記撮影時刻とに基づいて、前記点検箇所情報と前記撮影画像とを関連付ける請求項のいずれか一つに記載の点検支援装置。
  5. 撮影装置と、前記撮影装置との間で通信可能に接続される請求項のいずれか一つに記載の点検支援装置とを備える点検支援システムであって、
    前記撮影装置は、
    点検箇所を撮影して撮影画像を生成する撮影部と、
    前記撮影画像と前記撮影部による撮影時刻とが関連付けられて記録される第2記録部とを備え、
    前記記録制御部は、
    前記第1記録部に記録されている前記第1点検開始時刻及び前記第1点検終了時刻と、前記第2記録部に記録されている前記撮影時刻とに基づいて、前記点検箇所情報と前記撮影画像とを関連付ける点検支援システム。
  6. 撮影装置と、請求項のいずれか一つに記載の点検支援装置と、前記撮影装置及び前記点検支援装置との間で通信可能に接続される作業端末装置とを備える点検支援システムであって、
    前記撮影装置は、
    点検箇所を撮影して撮影画像を生成する撮影部と、
    前記撮影画像と前記撮影部による撮影時刻とが関連付けられて記録される第2記録部とを備え、
    前記作業端末装置は、
    前記第1記録部に記録されている前記第1点検開始時刻及び前記第1点検終了時刻と、前記第2記録部に記録されている前記撮影時刻とに基づいて、前記点検箇所情報と前記撮影画像とを関連付ける関連付け部を備える点検支援システム。
  7. 点検支援装置のプロセッサが実行する点検支援方法であって、
    点検対象物の構造を表した対象物図面上に、前記対象物図面上の複数の点検箇所毎にそれぞれ設定された複数の点検箇所情報における点検箇所毎に、点検箇所の点検の開始時刻及び終了時刻をそれぞれ設定するための第1画像と、点検箇所の過去の点検結果の表示を指示するための第2画像とを重畳して表示部に表示させ、
    第1操作に応じて、選択された前記第1画像に対応する前記点検箇所情報と、点検箇所の点検の開始時刻を示す点検開始時刻と、点検箇所の点検の終了時刻を示す点検終了時刻とを特定し、
    特定した前記点検箇所情報、前記点検開始時刻、及び前記点検終了時刻を関連付けて記録部に記録し、
    第2操作に応じて、選択された前記第2画像に対応する前記点検箇所情報に関連付けられた過去の点検結果を前記対象物図面上に重畳して前記表示部に表示させる点検支援方法。
  8. 点検支援装置のプロセッサに実行させる点検支援プログラムであって、
    前記点検支援プログラムは、前記プロセッサに以下の実行を指示する:
    点検対象物の構造を表した対象物図面上に、前記対象物図面上の複数の点検箇所毎にそれぞれ設定された複数の点検箇所情報における点検箇所毎に、点検箇所の点検の開始時刻及び終了時刻をそれぞれ設定するための第1画像と、点検箇所の過去の点検結果の表示を指示するための第2画像とを重畳して表示部に表示させ、
    第1操作に応じて、選択された前記第1画像に対応する前記点検箇所情報と、点検箇所の点検の開始時刻を示す点検開始時刻と、点検箇所の点検の終了時刻を示す点検終了時刻とを特定し、
    特定した前記点検箇所情報、前記点検開始時刻、及び前記点検終了時刻を関連付けて記録部に記録し、
    第2操作に応じて、選択された前記第2画像に対応する前記点検箇所情報に関連付けられた過去の点検結果を前記対象物図面上に重畳して前記表示部に表示させる点検支援プログラム。
JP2018223307A 2018-11-29 2018-11-29 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム Active JP6989481B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018223307A JP6989481B2 (ja) 2018-11-29 2018-11-29 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018223307A JP6989481B2 (ja) 2018-11-29 2018-11-29 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム

Publications (2)

Publication Number Publication Date
JP2020084669A JP2020084669A (ja) 2020-06-04
JP6989481B2 true JP6989481B2 (ja) 2022-01-05

Family

ID=70906992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018223307A Active JP6989481B2 (ja) 2018-11-29 2018-11-29 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム

Country Status (1)

Country Link
JP (1) JP6989481B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230051696A1 (en) * 2021-08-13 2023-02-16 Mitsubishi Heavy Industries, Ltd. Image and inspection system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090049094A1 (en) * 2007-08-16 2009-02-19 Facility Audit Solutions, Llc System and method for performing site audits on facilities
JP2011048673A (ja) * 2009-08-27 2011-03-10 Fujifilm Corp 検査システムおよび方法
JP2011248748A (ja) * 2010-05-28 2011-12-08 Fujifilm Corp 検査用携帯端末、検査システム、携帯端末用検査方法および携帯端末用検査プログラム
JP5823796B2 (ja) * 2011-09-29 2015-11-25 株式会社セイコーアイ・インフォテック 工事写真連携補助装置、工事写真連携サーバ、工事写真連携補助プログラム、及び工事写真連携プログラム
JP5747229B2 (ja) * 2014-06-13 2015-07-08 株式会社関東エルエンジニアリング 点検支援システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230051696A1 (en) * 2021-08-13 2023-02-16 Mitsubishi Heavy Industries, Ltd. Image and inspection system

Also Published As

Publication number Publication date
JP2020084669A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
US11380140B2 (en) Inspection assistance device, inspection assistance method, and recording medium
JP2014179923A5 (ja)
JP6989481B2 (ja) 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム
US9886698B2 (en) Augmented reality product brochure application
US10803320B2 (en) Method and system for facilitating tray management
WO2023100743A1 (ja) 作業支援システム、作業対象特定装置および方法
JP2016024513A (ja) 情報処理装置、診断支援方法及び制御プログラム
JP2016081286A (ja) 端末操作支援装置および端末操作支援方法
JP6361432B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP5891191B2 (ja) 稼動実績取得システム及び稼動実績取得方法
JP2018191032A5 (ja) 情報処理システム、情報処理装置、制御方法、プログラム
JP6287079B2 (ja) 検品支援装置、検品支援システム及びプログラム
JP6742272B2 (ja) ウェハ異常箇所検出用装置およびウェハ異常箇所特定方法
JP2019021318A (ja) 頭部装着装置を使用して関心領域を標識するテレプレゼンスのフレームワーク
JP2016099633A (ja) 携帯端末を利用した保全点検システム
WO2018158818A1 (ja) 点検支援装置、点検支援方法および記録媒体
JP6342832B2 (ja) 入力装置
JP2020173866A (ja) 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム
WO2024190674A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP2020046843A (ja) 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム
JP2020161006A (ja) オブジェクト姿勢制御プログラムおよび情報処理装置
JP5779302B1 (ja) 情報処理装置、情報処理方法及びプログラム
US20220084309A1 (en) Support information generating device, support information generating system, support information generating method, and computer readable recording medium
JP2021176025A (ja) 端末装置、サーバ装置、作業支援システム、支援情報提供方法及びプログラム
EP3417608B1 (en) System and method for video processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211202

R151 Written notification of patent or utility model registration

Ref document number: 6989481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151