JP6588392B2 - 点検支援システム、情報端末、点検支援方法、およびプログラム - Google Patents

Description

本発明は、設備の点検を支援する技術に関する。

法改正により、道路附帯物（標識・道路照明等）の定期点検が義務化された。各地方自治体では、従前から点検技術者の不足や、点検作業が平準化されていないことによる点検結果のばらつき、点検項目の見落とし等の問題が指摘されていたが、法改正を機に管理下にある膨大な数の道路附帯物をいかに点検維持管理していくかが切迫した課題となっている。

このような背景から昨今、各地方自治体では点検に関する技術相談会、技術講習会、実技実習などを数多く開催するなどして、点検者の育成、拡大等に力を入れている。一方、各メーカでは、最新の情報処理技術を導入して設備点検を支援する点検支援システム等を開発し、点検者の作業負担を軽減し点検作業の効率化を実現する種々の技術手段を提供している。

例えば特許文献１では、点検すべき損傷箇所をマーカレスのAR(拡張現実)表示(タブレットやグラス等のウェラブルデバイスで観察した画像に損傷箇所を重畳して表示)して、不慣れな点検者にも損傷箇所に容易に迅速に到達する技術を開示している。これにより、点検作業の負担を軽減し点検作業の効率化が実現される。

ところで、特許文献１に記載された点検端末は、カメラ撮影機能を備えるため、点検結果のデータ（点検データ）の入力に加え、点検箇所の撮影画像（撮影データ）を得ることができる。すなわち、一台の端末で、報告書作成に必要な全てのデータ（点検データと撮影データ）を得ることができるため、効率的に報告書を作成することができる。

特願２０１５−０９５６４９号

しかしながら、一台で全ての機能を賄う点検端末は、多機能である反面、高価であり、また扱い方を新たに覚える必要がある。さらに、撮影した画像の品質が報告書に載せる画像として不十分な場合もあった。このため、点検箇所の撮影を、点検端末に内蔵されたカメラではなく、既存のデジタルカメラ等の撮影装置を用いて行いたいという要望がある。一方、点検端末とは独立した撮影装置を用いて点検箇所の撮影を行った場合、撮影データと点検データとが紐づかないため、撮影した一枚一枚の画像を確認しながら点検データとの突き合せを行う必要があり、報告書の作成に多大な手間と時間を要することとなる。

本発明は上記した課題に鑑みてなされたものであり、既存の撮影装置を使用してコストを抑えつつ、報告書を効率よく作成することができる、点検支援システム等を提供することである。

課題を解決するための第１の発明は、撮影装置と点検端末を有する点検支援システムであって、前記撮影装置は、点検箇所を撮影する撮影手段と、撮影した撮影データに撮影時間の情報を付加して記憶する記憶手段と、を備え、前記点検端末は、点検箇所を含む映像を取得する映像取得手段と、各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶手段と、前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得手段と、
前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得手段により取得した映像に重ねて表示する重畳映像表示手段と、前記重畳映像表示手段に前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶手段と、を備え、前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする点検支援システムである。

また第１の発明において、前記点検端末は、前記撮影装置に記憶された前記撮影データを取得する手段と、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて、前記点検データに前記撮影データを紐づける紐づけ手段と、を備えるように構成してもよい。

また第１の発明において、作業端末、を更に有し、前記作業端末は、前記撮影装置に記憶された前記撮影データを取得する手段と、前記点検端末に記憶された前記点検データを取得する手段と、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて、前記点検データに前記撮影データを紐づける紐づけ手段と、を備えるように構成してもよい。

また第１の発明において、前記点検時間の情報は、点検開始時間と点検終了時間の情報を含み、前記紐づけ手段は、前記撮影データの撮影時間が点検開始時間と点検終了時間の間となる点検データが存在する場合、当該点検データに前記撮影データを紐づけるように構成してもよい。
また、前記紐づけ手段は、前記撮影データの撮影時間が点検開始時間と点検終了時間の間となる点検データが存在しない場合、前記撮影データの撮影時間に最も近い点検開始時間又は点検終了時間に係る点検データに前記撮影データを紐づけるように構成してもよい。

また第１の発明において、前記点検端末は、前記点検データの報告書への挿入ルールと前記撮影データの報告書への挿入ルールを定めた報告書作成ルールを参照して、前記点検データと前記点検データに紐づく前記撮影データを報告書へ自動挿入し報告書を作成する報告書作成手段、を備えるように構成してもよい。

また第１の発明において、前記作業端末は、前記点検データの報告書への挿入ルールと前記撮影データの報告書への挿入ルールを定めた報告書作成ルールを参照して、前記点検データと前記点検データに紐づく前記撮影データを報告書へ自動挿入し報告書を作成する報告書作成手段、を備えるように構成してもよい。

課題を解決するための第２の発明は、撮影装置と点検端末を有する点検支援システムの点検支援方法であって、前記撮影装置は、点検箇所を撮影する撮影ステップと、撮影した撮影データに撮影時間の情報を付加して記憶する記憶ステップと、を含み、前記点検端末は、点検箇所を含む映像を取得する映像取得ステップと、各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶ステップと、前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得ステップと、前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得ステップにより取得した映像に重ねて表示する重畳映像表示ステップと、前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶ステップと、を含み、前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする点検支援方法である。

課題を解決するための第３の発明は、撮影装置と点検端末を有する点検支援システムのプログラムであって、コンピュータに点検箇所を含む映像を取得する映像取得ステップと、各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶ステップと、前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得ステップと、前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得ステップにより取得した映像に重ねて表示する重畳映像表示ステップと、前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶ステップと、を実行させるためのプログラムであって、前記点検データと撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とするプログラムである。

課題を解決するための第４の発明は、撮影時間の情報が付加された撮影データを記憶する記憶手段と、点検箇所を含む映像を取得する映像取得手段と、各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶手段と、端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得手段と、前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得手段により取得した映像に重ねて表示する重畳映像表示手段と、前記重畳映像表示手段に前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶手段と、を備え、前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする情報端末である。

本発明によれば、点検端末により入力された点検データには点検時間の情報が付加され、撮影装置により撮影した撮影データには撮影時間の情報が付加される。これにより、点検時間と撮影時間の情報に基づいて、撮影装置により撮影した撮影データを該当する点検データに容易に紐づけることができる。すなわち、既存の撮影装置を用いてコストを抑えつつ、報告書を効率よく作成することができる。

第１の実施形態に係る点検支援システム１のシステム構成図 点検端末２のハードウェア構成の例を示す図 撮影装置３のハードウェア構成の例を示す図 点検端末２の動作を示すフローチャート （ａ）点検端末２で撮影した映像２０の表示例を示す図（ｂ）ガイド情報５を重畳した重畳映像３０の表示例を示す図 点検画面の表示例を示す図 点検データ４０のデータ内容の例を示す図 撮影装置３の動作を示すフローチャート 撮影データ５０のデータ内容の例を示す図 点検データに撮影データを紐づける処理の全体の流れを示すフローチャート 紐づけ処理の具体的な流れを示すフローチャート 紐づけ処理のイメージを模式的に表す図 紐づけ済み点検データ４０Ａのデータ内容の例を示す図 （ａ）点検データを報告書データへ挿入するルール（報告書作成ルール６０Ａ）を示す図、（ｂ）撮影データを報告書データへ挿入するルール（報告書作成ルール６０Ｂ）を示す図 報告書を自動作成する処理の流れを示すフローチャート 作成した報告書（報告書データ７０）の例を示す図 第２の実施形態に係る点検支援システム１Ａのシステム構成図 作業端末４のハードウェア構成の例を示す図 第２の実施形態の動作を示すフローチャート

以下、図面を参照しながら、本発明の好適な実施形態について説明する。尚、以下の説明及び添付図面において、略同一の機能を有する構成については、同一の符号を付す。

［第１の実施形態］
図１は、第１の実施形態に係る点検支援システム１のシステム構成を示す図である。図に示すように、点検支援システム１は、点検端末２と撮影装置３とを有する。点検者は点検端末２の表示画面に表示されるガイド情報に従って、点検箇所へ移動し、点検を行う。そして、点検端末２に各点検箇所の点検データ（点検結果）を入力する。一方、撮影装置３を用いて各点検箇所を撮影し撮影データ（画像データ）を取得する。点検終了後に、撮影装置３により撮影された撮影データは点検端末２へ送られ、点検端末２において、点検データと撮影データを紐づけし、報告書を自動作成する。

図２は、点検端末２（情報端末）のハードウェア構成の例を示す図である。点検端末２としては、タブレット端末が好適であるが、用途、目的に応じて様々な構成を採ることが可能であり、スマートフォン、ノートＰＣ、ウェアラブルデバイス（例えば眼鏡型、或いはヘルメット型のヘッドマウントディプレイ）等であってもよい。

図２に示すように、点検端末２は、主に、制御部２１、記憶部２２、通信制御部２３、入力部２４、表示部２５、周辺機器Ｉ／Ｆ部２６、撮影部２７、位置取得部２８などが、バス２９を介して接続されて構成される。

制御部２１は、ＣＰＵ(Central Processing Unit)、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等で構成される。ＣＰＵは、記憶部２２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行することによって本発明に係る点検端末２の全ての制御を実行する。
ＲＯＭは、不揮発性メモリであり、プログラムやデータ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部２２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部２１が各種処理を行う為に使用するワークエリアを備える。

記憶部２２は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等であり、制御部２１が実行するプログラム、プログラム実行に必要なデータ等が格納される。プログラム等は、制御部２１により必要に応じて読み出されＲＡＭに移されて実行される。

記憶部２２には、点検支援プログラム１２１と報告書作成支援プログラム１２２がインストールされている。点検支援プログラム１２１は、「ガイドモード」と「点検モード」の２つのモードから構成され、「ガイドモード」において後述する「ガイド情報表示処理」が実行され、「点検モード」において後述する「点検処理」が実行される（図４参照）。
また、報告書作成支援プログラム１２２は、後述する点検データと撮影データとを紐づける処理を実行し（図１１参照）、紐づけ処理後のデータに基づいて報告書を自動作成する（図１５参照）。

また記憶部２２には、点検箇所の過去の点検データが記憶される。点検データには、少なくとも、点検箇所（損傷個所）の位置を特定する点検位置情報が含まれる。その他、点検箇所（損傷個所）の撮影画像、点検部材・部位等、損傷程度、対策の要否、健全性の判定区分、点検方法、点検日時、点検メモなどの各種点検情報が含まれてもよい。これら情報の一部は、国土交通省「付属物（標識、照明施設等）点検要領」で規定されている点検事項である。

点検位置情報は、例えば道路附帯物（標識・道路照明等）を初めて点検した際に、点検端末２の位置取得部２８（ＧＰＳ）から取得したものである。

通信制御部２３は、通信制御端末、通信ポート等を有し、点検端末２とネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、撮影装置３や他の端末等とのデータ通信の制御を行う。

入力部２４は、例えば、タッチパネル等の入力装置を有する。点検者は、入力部２４を介して、点検データの入力等を行うことができる。

表示部２５は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して点検端末２のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。表示部２５には、撮影部２７（カメラ）で撮影した映像（図５（ａ）参照）、ガイド情報の重畳映像（図５（ｂ）参照）、点検画面（図６参照）、などが表示される。尚、入力部２４及び表示部２５は、タッチパネルディスプレイのように、一体となっていても良い。

周辺機器Ｉ／Ｆ（インターフェース）部２６は、点検端末２と周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部２６を介して点検端末２は撮影装置３とのデータ通信を行う。周辺機器Ｉ／Ｆ部２６は、ＵＳＢ、ＨＤＭＩ（登録商標）、ＭＨＬ、イヤホンマイクコネクタ等で構成されている。周辺機器との接続形態は有線、無線を問わない。

撮影部２７は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor Image Sensor)等を有し、映像を取得する。撮影部２７は、点検端末２の表示画面が配置されている前面に配置される前面側カメラ２７ａ（不図示）と、前面とは反対側の面である背面に配置される背面側カメラ２７ｂ（不図示）とを含む。撮影部２７は、レンズ、絞り、シャッタ、及び撮像素子などを主に有しており、絞り値、シャッタ速度、及びＩＳＯ感度などの撮像条件が変更可能となっている。また、撮影部２７（２７ａ及び２７ｂ）は、撮影部２７のフォーカスを調整するフォーカス機構と、シャッタの開閉を調整するシャッタ機構とを有している。

位置取得部２８は、例えばＧＰＳセンサ、加速度センサ、ジャイロセンサ、地磁気センサ等から構成され、点検者が保持する点検端末２の位置（緯度、経度、高度など）および向き（姿勢）を特定する情報を取得する。以下、点検端末２の位置および向きを特定する情報を「自己位置情報」とも呼ぶ。

バス２９は、各部間の制御信号、データ信号等の授受を媒介する経路である。
また、図２に示したハードウェア構成のほかに、スピーカ、マイクロホン等のデバイスを備える。

図３は、撮影装置３のハードウェア構成の例を示す図である。撮影装置３は、例えば一般的なデジタルカメラである。図３に示すように、撮影装置３は、主に、制御部３１、記憶部３２、通信制御部３３、入力部３４、表示部３５、周辺機器Ｉ／Ｆ部３６、撮影部３７などが、バス３９を介して接続されて構成される。

制御部３１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成される。ＣＰＵは、記憶部２３２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行することによって本発明に係る撮影装置３の全ての制御を実行する。ＲＯＭは、不揮発性メモリであり、プログラムやデータ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部３２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部２１が各種処理を行う為に使用するワークエリアを備える。

また制御部３１は、画像処理部を備える。画像処理部は、ＤＳＰ（Digital
Signal Processor）や、ＶＲＡＭ（Video Random Access Memory）等から構成されており、ＣＰＵと協働して、画像のデータに対して各種画像処理を施す。例えば、画像処理部は、撮影部３７から出力される撮像画像のデータに対して、ノイズ低減、ホワイトバランスの調整、手ぶれ補正等の画像処理を施す。

記憶部３２は、半導体メモリ、半導体メモリを使用した任意のメモリカード（ＳＤ、ＳＤＨＣ、ＳＤＸＣ、コンパクトフラッシュ（登録商標）、Ｗｉ−Ｆｉ機能が搭載されたメモリカードなど）、磁気記録媒体、光記録媒体、光磁気記録媒体などが使用され、撮影装置３の内部に固定されてもよいし、撮影装置３に対して着脱可能でもよい。

記憶部３２には、撮影装置３の撮影機能等を実現する各種プログラムが格納されている。プログラムは、制御部３１により必要に応じて読み出されＲＡＭに移されて実行される。
また記憶部３２は、撮影装置３により撮影された画像データが記憶される。画像データの形式は、例えばＪＰＥＧ（Joint Photographic Experts Group）形式、ＴＩＦＦ（Tagged
Image File Format）形式などである。

通信制御部３３は、通信制御端末、通信ポート等を有し、撮影装置３とネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、点検端末２や他の端末等とのデータ通信の制御を行う。

入力部３４は、ボタン、タッチパネル等の入力装置を有し、撮影操作や撮影条件の設定などの各種指示操作を受付ける。
表示部３５は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して撮影装置３のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有し、撮影画像や撮影条件の設定画面を表示する。尚、入力部３４及び表示部３５は、タッチパネルディスプレイのように、一体となっていても良い。

周辺機器Ｉ／Ｆ（インターフェース）部３６は、撮影装置３と周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部３６を介して撮影装置３は点検端末２とのデータ通信を行う。周辺機器Ｉ／Ｆ部３６は、ＵＳＢ、ＨＤＭＩ（登録商標）、ＭＨＬ、イヤホンマイクコネクタ等で構成されている。周辺機器との接続形態は有線、無線を問わない。

撮影部３７は、レンズなどの光学系、ＣＣＤ（Charge
Coupled Device）などといった撮像素子などを有し、対象物の撮影を行う。撮影部３７は、レンズ、絞り、シャッタ、及び撮像素子などを主に有しており、絞り値、シャッタ速度、及びＩＳＯ感度などの撮像条件が変更可能となっている。また、カメラ３７は、カメラ３７のフォーカスを調整するフォーカス機構と、シャッタの開閉を調整するシャッタ機構とを有している。

図４は、点検端末２の動作を説明するフローチャートである。図４に示すように、ステップＳ１からステップＳ４までが点検箇所を案内指示する「ガイド情報表示処理」に相当し、ステップＳ５からステップＳ１２までが点検箇所の点検を行う「点検処理」に相当する。

最初にガイド情報表示処理について説明する。点検端末２において、点検支援プログラム１２１がガイド情報を表示するガイドモードで起動されているものとする。

まず、点検者は、点検箇所（道路標識、道路照明施設等）を含む道路に対して撮影部２７（カメラ）のレンズを向け、入力部２４を介して撮影の開始操作を行う。そうすると、点検端末２は、撮影部２７を制御し点検箇所を含む映像２０の取得を開始し、取得した映像２０を時々刻々とリアルタイムに表示部２５に表示する（ステップＳ１）。

続いて、点検端末２は、位置取得部２８を介して、ガイド情報５を生成するために必要な、点検端末２の自己位置情報（位置および向きの情報）を取得する（ステップＳ２）。具体的にはＧＰＳセンサから点検端末２の位置（緯度、経度、高度）の情報を取得し、加速度センサ、ジャイロセンサ、或いは地磁気センサから点検端末２の向き（姿勢）の情報を取得する。なお、点検端末２の位置情報（緯度、経度、高度）は、点検者の操作を受付けることにより、手動で設定してもよい。例えば位置情報（緯度、経度、高度）が予め与えられている道路モデル（２次元モデル又は３次元モデル）を記憶部２２に保持しておき、この道路モデルを読込み、表示部２５に表示する。そして点検者は表示された道路モデル上において自身の現在位置に相当する場所をクリック、タップ等することで位置情報（緯度、経度、高度）を得ることができる。

続いて、点検端末２は、点検箇所の位置情報（点検位置情報）を記憶部２２から取得し、この点検位置情報と、ステップＳ２において取得した点検端末２の自己位置情報（位置および向きの情報）との位置関係に基づいて、点検箇所の場所を指示するガイド情報５を生成する（ステップＳ３）。

そして、点検端末２は、ガイド情報５を映像２０に重畳させた重畳映像３０を生成し表示部２５に表示する（ステップＳ４）。

図５（ａ）は、ガイドモード時の表示部２５（表示画面）の表示例を示す図である。図に示すように、撮影部２７から取得される映像２０がリアルタイムに表示画面に表示される。表示画面上で「ガイド表示」ボタン２５１を押下することで、上記したステップＳ２〜Ｓ４の処理が実行され、ガイド情報５が生成・表示される。

図５（ｂ）はガイド情報５が重畳された重畳映像３０の表示例を示す図である。図に示すように、ガイド情報５（円マーク＋上矢印）が点検箇所である道路標識の真下に表示される。これにより、点検者は点検箇所を容易に把握することができ、点検者を点検箇所へ迷いなく誘導させることができる。

尚、上記したステップＳ１〜ステップＳ４の処理は繰り返し実行され、ガイド情報５は映像２０にリアルタイムに重畳表示される。点検端末２の撮影部２７（カメラ）の撮影方向を変化させたり、撮影場所を移動すると、ガイド情報５も映像２０の変化に追随して、その表示位置、サイズ、形状がリアルタイムに変化して表示される。

次にステップＳ５以降の「点検処理」について説明する。まず、点検者はガイド情報５に従って、点検箇所へ移動する（ステップＳ５）。そして、表示部２５上の「点検開始」ボタン２５２（図５参照）を押下することで、点検支援プログラム１２１を「点検モード」へ切り替え、点検箇所の点検を開始する（点検処理を開始させる）（ステップＳ６）。

図６は点検モード時の表示部２５（表示画面）の表示例を示す図である。図に示すように、表示画面上には、点検データ入力領域２５３と点検データ参照領域２５４が表示される。点検データ入力領域２５３は点検者が点検結果（点検データ）を入力する画面領域である。点検データ参照領域２５４は過去の点検結果を読込んで参照表示する画面領域である。過去の点検結果は「点検データ参照」ボタン２５６から該当する点検箇所の点検データを選択することで記憶部２２から読込まれる。

続いて、点検端末２は「点検開始時間」を取得する（ステップＳ７）。点検開始時間とは、点検箇所の点検を開始した目安となる時間であり、例えば、点検者から「点検開始」ボタン２５２の押下操作を受付けた時間や、図６の表示部２５（表示画面）において点検箇所の過去（例えば前回）の点検データを記憶部２２から読込んだ時間である。

そして、点検者は定められた点検項目に基づいて点検を実施し、点検結果（点検データ）を点検データ入力領域２５３（図６参照）に入力する（ステップＳ８）。

点検データの入力後、「点検終了」ボタン２５５（図６参照）を押下することで、点検データの入力を確定させ、点検を終了する（ステップＳ９）。
続いて、点検端末２は「点検終了時間」を取得する（ステップＳ１０）。点検終了時間は、点検箇所の点検を終えた目安となる時間であり、例えば、ユーザから「点検終了」ボタン２５５の押下操作を受付けた時間や、他の点検箇所の点検データを読込んだ時間である。

そして、点検端末２は、ステップＳ８において入力した点検データに、ステップＳ７およびステップＳ９において取得した「点検開始時間」と「点検終了時間」の情報を付加して保存する（ステップＳ１１）。

全ての点検箇所の点検が終了すると（ステップＳ６；Ｙｅｓ）、点検処理を終了する。一方、次に点検する点検箇所が存在する場合には（ステップＳ６；Ｎｏ）、ステップＳ５へ戻り、前記した点検処理（ステップＳ５〜ステップＳ１１）を全ての点検箇所の点検が終了するまで繰り返し実行する。

図７は、点検端末２の記憶部２２に記憶される点検データ４０のデータ内容の例を示す図である。図中、点検ＩＤ４１は各点検箇所を一意に識別する識別番号である。点検データファイル名４２は各点検データの保存先ファイル名である。点検時間４３は各点検箇所の点検時間の情報である。点検時間４３は「点検開始時間」と「点検終了時間」の情報を含む。

図８は、点検端末２とは別途実行される撮影装置３の処理の流れを示すフローチャートである。点検者（点検端末２を保持している点検者または別の点検者）は点検中の任意のタイミングで撮影装置３を用いて点検箇所を撮影する（ステップＳ２１）。例えば、点検者は、地上から点検箇所（道路附帯物）に撮影装置３の撮影部３７を向けて撮影を行う。点検箇所が地上から離れた高い位置にあるような場合は、ズーム機能により画像を拡大して撮影したり、或いは脚立等に登って点検箇所の近くまで行き撮影を行う。

そして撮影装置３は、撮影した撮影データ（画像データ）に撮影時間の情報を付加して記憶部３２に記録する（ステップＳ２２）。尚、撮影データに撮影時間の情報を含むＥｘｉｆ情報（撮影時間（日時）、メーカ名、各種撮影条件、位置情報（ＧＰＳ機能付きの撮影装置の場合）を含む）を付加するのでもよい。

図９は、撮影装置３の記憶部３２に記憶される撮影データ５０のデータ内容の例を示す図である。図中、撮影ＩＤ５１は各撮影データ（画像データ）を一意に識別する識別番号であり、撮影データファイル名５２は各撮影データ（画像データ）のファイル名であり、撮影時間５３は各撮影データを撮影した時間である。

以上のように、図４および図８の処理により、点検端末２の記憶部２２には、点検時間（点検開始時間と点検終了時間）の情報が付加された各点検箇所の点検データが記憶され（図７参照）、撮影装置３の記憶部３２には、撮影時間の情報が付加された各点検箇所の撮影データが記録される（図９参照）。

次に、図１０〜図１３を参照して、点検データ４０と撮影データ５０の各データを紐づける処理（紐づけ処理）について説明する。点検端末２と撮影装置３は任意のデータ通信手段（ＵＳＢケーブルを用いた有線通信やＢｌｕｅｔｏｏｔｈ（登録商標）を用いた無線通信など）によりデータの授受が行える状態とする。

図１０は、処理の全体の流れを示すフローチャートである。
まず、撮影装置３は、任意のデータ通信手段を用いて、点検時に記録した撮影データ５０を点検端末２へ送信し（ステップＳ２１）、点検端末２は、撮影装置３から撮影データ５０を受信して記憶部２２に記憶する（ステップＳ２２）。尚、本実施形態の例に依らず、可搬型の記憶媒体を介して撮影データ５０を点検端末２に移動してもよい。

そして、点検端末２は、点検データ４０の各データに撮影データ５０の各データを紐づけする処理（紐づけ処理）を実行する（ステップＳ２３）。
この紐づけ処理について、図１１を用いて具体的に説明する。

まず、点検端末２は、紐づけされていない撮影データ５０を１つ選択する（ステップＳ３３１）。

続いて、点検端末２は、選択した撮影データ５０の「撮影時間」を参照し、この「撮影時間」が「点検開始時間」と「点検終了時間」の間となる点検データ４０を検索する（ステップＳ３３２）。

「撮影時間」が「点検開始時間」と「点検終了時間」となる点検データ４０が存在した場合（ステップＳ３３２；Ｙｅｓ）、点検端末２は、当該点検データ４０に選択した撮影データ５０を紐づける（ステップＳ３３３）。

一方、「撮影時間」が「点検開始時間」と「点検終了時間」の間となる点検データ４０が存在しない場合（ステップＳ３３２；Ｎｏ）、点検端末２は、「撮影時間」に最も近い「点検開始時間」又は「点検終了時間」に係る点検データ４０に選択した撮影データ５０を紐づける（ステップＳ３３４）。「撮影時間」が「点検開始時間」と「点検終了時間」の間となる点検データが存在しない場合とは、例えば、点検箇所の撮影を点検開始前や点検終了後に行った場合である。

全ての撮影データ５０の紐づけが終了すると（ステップＳ３３５；Ｙｅｓ）、点検端末２は紐づけ処理を終了する。一方、紐づけ処理が実行されていない撮影データ５０が存在する場合には（ステップＳ３３５；Ｎｏ）、ステップＳ３３１へ戻り、点検端末２は、紐づけがされていない撮影データ５０を新たに１つ選択し（ステップＳ３３１）、当該撮影データ５０の紐づけ処理（ステップＳ３３２〜ステップＳ３３４）を実行する。

図１２は、紐づけ処理のイメージを模式的に表す図である。図１２は、撮影時間ｔ１、ｔ２、ｔ３、…、ｔ９、ｔ１０に撮影した撮影データを点検データＡ、Ｂ、Ｃに紐づける例を示す。

図に示すように、撮影時間ｔ１、ｔ２、ｔ３は、点検データＡの点検開始時間と点検終了時間の間となるので、撮影時間ｔ１、ｔ２、ｔ３に撮影した撮影データは、点検データＡに紐づけられる。
また、撮影時間ｔ５、ｔ６は、点検データＢの点検開始時間と点検終了時間の間となるので、撮影時間ｔ５、ｔ６に撮影した撮影データは、点検データＢに紐づけられる。
また、撮影時間ｔ８、ｔ９、ｔ１０は、点検データＣの点検開始時間と点検終了時間の間となるので、撮影時間ｔ８、ｔ９、ｔ１０に撮影した撮影データは、点検データＣに紐づけられる。

一方、撮影時間ｔ４は、点検開始時間と点検終了時間の間となる点検データが存在しないので、撮影時間ｔ４に撮影した撮影データは、撮影時間ｔ４に最も近い点検終了時間に係る点検データＡに紐づけられる。
また、撮影時間ｔ７も、点検開始時間と点検終了時間の間となる点検データが存在しないので、撮影時間ｔ７に撮影した撮影データは、撮影時間ｔ７と最も近い点検開始時間に係る点検データＣに紐づけられる。

図１３は、各点検データに各撮影データを紐づけた後の紐付け済み点検データ４０Ａのデータ例を示す図である。紐づけ済み点検データ４０Ａは、各点検データに紐づく各撮影データの情報を保持する。図の例では、点検データファイル名４２Ａが“…／ｄａｔａ００１”である点検データには、撮影データファイル名５２Ａが“…／ｉｍｇ００１”、“…／ｉｍｇ００２”、“…／ｉｍｇ００３”である各撮影データが紐づき、点検データファイル名４２Ａが“…／ｄａｔａ００２”である点検データには、撮影データファイル名５２Ａが“…／ｉｍｇ００４”、“…／ｉｍｇ００５”である各撮影データが紐づいている。

次に、図１４〜図１６を参照して、紐づけ処理後の紐づけ済み点検データ４０Ａを用いて、報告書を自動作成する処理について説明する。

図１４は、予め取り決めた報告書の作成ルールを保持する報告書作成ルール６０（６０Ａ、６０Ｂ）の例を示す図である。
図１４（ａ）は点検データを報告書データへ挿入するルール（報告書作成ルール６０Ａ）を示す。図に示すように、報告書作成ルール６０Ａは、点検データの各項目を報告書のどの位置に挿入するか（書込むか）の情報を保持する。例えば、“点検日時”の項目は報告書の“ｍ１行ｎ１列”に挿入し、“点検種別”の項目は報告書の“ｍ２行ｎ２列”に挿入する。

図１４（ｂ）は撮影データを報告書データへ挿入するルール（報告書作成ルール６０Ｂ）を示す。図に示すように、報告書作成ルール６０Ｂは、撮影画像を報告書のどの位置にどの倍率（或いはどの画像サイズ）で挿入するか（書込むか）の情報を保持する。図の例では、撮影枚数に応じて挿入パターン（画像の挿入位置、画像の拡大縮小倍率のパターン）が定められている。例えば撮影枚数が１枚の場合は、撮影画像を“Ｍ１行Ｎ１列”に縦横倍率１００％で挿入する。また撮影枚数が２枚の場合は、１枚目の撮影画像を“Ｍ２行Ｎ２列”に縦横倍率５０％で挿入し、２枚目の撮影画像を“Ｍ３行Ｎ３列”に縦横倍率５０％で挿入する。

図１５は、報告書を自動作成する処理の流れを示すフローチャートである。
まず点検者が、報告書を作成する点検箇所の点検データファイル名４２Ａを指定して選択すると（ステップＳ４１）、点検端末２は、対応する点検データを記憶部２２から読込み、報告書作成ルール６０Ａを参照して、点検データの各項目を報告書の所定位置に自動挿入（書込み）する（ステップＳ４２）。また、点検端末２は、紐づけ済み点検データ４０Ａを参照して、ステップＳ４１において選択した点検データファイル名４２Ａに紐づく撮影データファイル名５２Ａの撮影データを記憶部２２から読込み、報告書作成ルール６０Ｂを参照して、撮影データ（撮影画像）を撮影枚数に応じた挿入パターンで挿入する（ステップＳ４３）。

図１６は、作成した報告書（報告書データ７０）の例を示す図である。図に示すように、点検データ表示領域７１に点検データが自動挿入され、撮影データ表示領域７２に撮影データが自動挿入された報告書データ７０が作成される。

以上、第１の実施形態について説明した。第１の実施形態によれば、点検端末２は、各点検データに点検時間（点検開始時間、点検終了時間）の情報を付加して保存する（図４、図７参照）。また、撮影装置３は、撮影した各撮影データに撮影時間の情報を付加して保存し（図８、図９参照）、点検終了後、点検端末２へ送信する（図１０参照）。点検端末２は、点検時間と撮影時間の情報に基づいて、各点検データに各撮影データを紐づけし（図１１〜図１３参照）、報告書を自動作成する（図１５参照）。以上の処理により、既存の撮影装置で撮影した撮影データを点検データに自動で紐づけることができるので、既存の撮影装置を使用してコストを抑えつつ、報告書を効率よく作成することが可能となる。

尚、点検データと撮影データをより正確に紐づけするために、点検端末２は、点検箇所の撮影の開始および終了のタイミングを点検者に指示してもよい。例えば、「点検開始」ボタン２５２（図５参照）の押下操作を受付けた時間を「点検開始時間」として取得する場合には、「点検開始」ボタン２５２の下に“点検開始ボタンを押した後に撮影を始めてください”などのメッセージを表示して、撮影開始のタイミングを点検者に指示する。また、「点検終了」ボタン２５５（図６参照）の押下操作を受付けた時間を「点検終了時間」として取得する場合には、「点検終了」ボタン２５５の下に“点検箇所の撮影を終了した後に点検終了ボタンを押してください”などのメッセージを表示して、撮影終了のタイミングを点検者に指示する。この指示にしたがって撮影を行った場合、撮影データの撮影時間は、常に点検開始時間と点検終了時間の間となるので、点検データと撮影データをより正確に紐づけることができる。

また、図１０のステップＳ３３（紐づけ処理）の後に、点検データ毎（点検箇所毎）にフォルダを作成し、各フォルダに撮影データを保存する処理を加えてもよい。例えば、図１２で説明すると、“点検データＡ”、“点検データＢ”、“点検データＣ”という名前のフォルダを作成して、“点検データＡ”のフォルダに点検データＡと紐づく撮影時間ｔ１〜ｔ４の撮影データを保存し、“点検データＢ”のフォルダに点検データＢと紐づく撮影時間ｔ５〜ｔ６の撮影データを保存し、“点検データＣ”のフォルダに点検データＣと紐づく撮影時間ｔ７〜ｔ１０の撮影データを保存する。これにより、撮影した写真を点検箇所毎に整理したフォルダが生成される。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
図１７は、第２の実施形態に係る点検支援システム１Ａのシステム構成を示す図である。図に示すように、第２の実施形態では、作業端末４を更に備える。第１の実施形態と同様に、点検端末２によって点検箇所の点検結果（点検データ）を入力し、撮影装置３によって点検箇所を撮影する。第２の実施形態では、点検終了後に、点検端末２において入力した点検データと、撮影装置３において撮影した撮影データと、を任意のデータ通信手段を用いて、作業端末４へ送り、この作業端末４において点検データと撮影データの紐づけ処理を行い、報告書を作成する。

図１８は、作業端末４（情報端末）のハードウェア構成の例を示す図である。作業端末４は、ノートパソコン、デスクトップパソコン等の一般的なコンピュータであり、図に示すように、作業端末４は、主に、制御部４０１、記憶部４０２、通信制御部４０３、入力部４０４、表示部４０５、周辺機器Ｉ／Ｆ部４０６などが、バス４０９を介して接続されて構成される。

図１９は、第２の実施形態の動作を示すフローチャートである。図に示すように、作業端末４は、任意のデータ通信手段を用いて、点検端末２の記憶部２２に記憶された点検データ４０を受信記憶し（ステップＳ５１）、撮影装置３の記憶部３２に記憶された撮影データ５０を受信記憶する（ステップＳ５２）。尚、本実施形態の例に依らず、可搬型の記憶媒体を介して点検データ４０および撮影データ５０を作業端末４に移動してもよい。

続いて、作業端末４は、点検データ４０と撮影データ５０とを紐づける処理（紐づけ処理）を実行し（ステップＳ５３）、報告書を自動作成する（ステップＳ５４）。ステップＳ５３の処理（紐づけ処理）は、図１１の処理と同様であり、ステップＳ５４の処理（報告書の自動作成）は、図１５と同様である。

以上、第２の実施形態によれば、点検端末２において入力した点検データと、撮影装置３において撮影した撮影データと、を任意のデータ通信手段を用いて、作業端末４へ送り、作業端末４において点検データと撮影データの紐づけ処理を行い、報告書を作成する。これにより、オフィス内のコンピュータ等を使用して報告書を作成できるので、報告書作成の作業効率が一層向上する。

以上、添付図面を参照しながら、本発明に係る点検支援システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１、１Ａ 点検支援システム
２ 点検端末
３ 撮影装置
４ 作業端末
４０ 点検データ
５０ 撮影データ

Claims (10)

1. 撮影装置と点検端末を有する点検支援システムであって、
   前記撮影装置は、
   点検箇所を撮影する撮影手段と、
   撮影した撮影データに撮影時間の情報を付加して記憶する記憶手段と、を備え、
   前記点検端末は、
   点検箇所を含む映像を取得する映像取得手段と、
   各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶手段と、
   前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得手段と、
   前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得手段により取得した映像に重ねて表示する重畳映像表示手段と、
   前記重畳映像表示手段に前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶手段と、
   を備え、
   前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする点検支援システム。
2. 前記点検端末は、
   前記撮影装置に記憶された前記撮影データを取得する手段と、
   前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて、前記点検データに前記撮影データを紐づける紐づけ手段と、
   を備えることを特徴とする請求項１に記載の点検支援システム。
3. 作業端末、を更に有し、
   前記作業端末は、
   前記撮影装置に記憶された前記撮影データを取得する手段と、
   前記点検端末に記憶された前記点検データを取得する手段と、
   前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて、前記点検データに前記撮影データを紐づける紐づけ手段と、
   を備えることを特徴とする請求項１に記載の点検支援システム。
4. 前記点検時間の情報は、点検開始時間と点検終了時間の情報を含み、
   前記紐づけ手段は、
   前記撮影データの撮影時間が点検開始時間と点検終了時間の間となる点検データが存在する場合、当該点検データに前記撮影データを紐づける
   ことを特徴とする請求項２又は請求項３に記載の点検支援システム。
5. 前記紐づけ手段は、
   前記撮影データの撮影時間が点検開始時間と点検終了時間の間となる点検データが存在しない場合、前記撮影データの撮影時間に最も近い点検開始時間又は点検終了時間に係る点検データに前記撮影データを紐づける
   ことを特徴とする請求項４に記載の点検支援システム。
6. 前記点検端末は、前記点検データの報告書への挿入ルールと前記撮影データの報告書への挿入ルールを定めた報告書作成ルールを参照して、前記点検データと前記点検データに紐づく前記撮影データを報告書へ自動挿入し報告書を作成する報告書作成手段、
   を備えることを特徴とする請求項１から請求項５のいずれかに記載の点検支援システム。
7. 前記作業端末は、前記点検データの報告書への挿入ルールと前記撮影データの報告書への挿入ルールを定めた報告書作成ルールを参照して、前記点検データと前記点検データに紐づく前記撮影データを報告書へ自動挿入し報告書を作成する報告書作成手段、
   を備えることを特徴とする請求項３に記載の点検支援システム。
8. 撮影装置と点検端末を有する点検支援システムの点検支援方法であって、
   前記撮影装置は、
   点検箇所を撮影する撮影ステップと、
   撮影した撮影データに撮影時間の情報を付加して記憶する記憶ステップと、を含み、
   前記点検端末は、
   点検箇所を含む映像を取得する映像取得ステップと、
   各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶ステップと、
   前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得ステップと、
   前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得ステップにより取得した映像に重ねて表示する重畳映像表示ステップと、
   前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶ステップと、
   を含み、
   前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする点検支援方法。
9. 撮影装置と点検端末を有する点検支援システムのプログラムであって、
   コンピュータに
   点検箇所を含む映像を取得する映像取得ステップと、
   各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶ステップと、
   前記点検端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得ステップと、
   前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得ステップにより取得した映像に重ねて表示する重畳映像表示ステップと、
   前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶ステップと、
   を実行させるためのプログラムであって、
   前記点検データと撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とするプログラム。
10. 撮影時間の情報が付加された撮影データを記憶する記憶手段と、
    点検箇所を含む映像を取得する映像取得手段と、
    各点検箇所の位置を特定する点検位置情報を記憶する点検位置情報記憶手段と、
    端末の位置および向きを特定する自己位置情報を取得する自己位置情報取得手段と、
    前記自己位置情報と前記点検位置情報との位置関係に基づいて前記点検箇所を指示するガイド情報を生成し、生成した前記ガイド情報を前記映像取得手段により取得した映像に重ねて表示する重畳映像表示手段と、
    前記重畳映像表示手段に前記ガイド情報が表示されている状態において、点検の開始が選択された場合に、前記ガイド情報により指示されている点検箇所を一意に識別する情報と対応付けて、前記点検箇所の点検時の点検時間の情報を付加した点検データを記憶する記憶手段と、を備え、
    前記点検データと前記撮影データとは、前記撮影データの撮影時間と前記点検データの点検時間の情報に基づいて紐づけられることを特徴とする情報端末。

Images