JP6946527B2 - 建設機械の点検支援システム - Google Patents

Description

本発明は、建設機械の点検レポートを作成する技術に関し、特に、点検レポート作成用のデータ収集を行う点検を支援する技術に関する。

油圧ショベル等の建設機械に関し、稼働状況を管理する管理システムがある。この管理システムでは、建設機械から日々送信される稼働情報や、サービスマンによる現地での点検結果を用い、サービスレポートが作成される。

また、建設機械の管理システムにおいて、携帯端末を利用する技術がある。例えば、特許文献１には、「建設機械には制御装置が設けられ、管理センタには、１または複数の端末、携帯端末とインターネットを介して通信ネットワーク網が構築されるサーバが設けられている。ＧＰＳにより建設機械がその稼動領域の外に出た時には、サーバではこの建設機械が盗難されたと判定して、通信ネットワーク網を構成する全ての端末及び全ての携帯端末にその旨の通知を行う（要約抜粋）。」が開示されている。

特開２００３−２７５３０号公報

サービスレポートは、単に建設機械の稼働状況の報告だけでなく、顧客へのメンテナンスや修理の提案、予防保全の提案等にも用いられる。従って、基礎となるデータの精度、品質は重要である。特に、実際に現地に赴いて建設機械を点検し、その結果をまとめた点検レポートは、提案型サービスの説得力を高めるために重要な根拠となる。

ところが、点検レポートの元となるデータは、サービスマンが現地に行き、収集するため、サービスマンの力量や経験に依存しがちである。従って、このようなデータに基づいて作成される点検レポートについても、必ずしも一定の品質を確保できていない。

本発明は、上記事情に鑑みてなされたもので、サービスマンの力量や経験によらず、また、作成工数を増大させることなく、点検を支援し、安定した品質の点検レポートの作成を支援する技術を提供することを目的とする。

本発明は、カメラとディスプレイとを有し、点検レポートに掲載する建設機械の被写体像を画像データとして取得する、建設機械の点検支援システムにおいて、前記画像データとして撮影する撮影対象の構図を示すガイダンス画像を前記ディスプレイに表示させるガイダンス表示部と、前記被写体像を前記画像データとして取得する撮影部と、取得した前記画像データを、前記点検レポートを管理する管理サーバに送信する送信部と、前記建設機械の機体識別情報の指定を受け付ける機体識別情報受付部と、前記建設機械の前記機体識別情報で特定される機種毎に前記ディスプレイに表示する前記ガイダンス画像を保持するデータ保持部と、前記機体識別情報受付部で受け付けた前記機体識別情報で特定される機種に対応づけて前記データ保持部に保持される前記ガイダンス画像を抽出するガイダンスデータ抽出部と、を備え、前記データ保持部は、さらに、前記建設機械の各部に設けられたセンサで検出した状態データからなる機体毎の稼働情報、前記機種毎の前記機体識別情報を含む車体管理情報、前記建設機械の部位および稼働情報に応じた点検種別、および前記機種毎および前記点検種別毎の前記撮影対象を保持し、前記ガイダンス画像は、前記建設機械の前記機種毎の前記撮影対象毎に前記データ保持部に保持され、前記ガイダンスデータ抽出部は、前記データ保持部が保持する前記建設機械の前記稼働情報および前記車体管理情報に基づいて、前記建設機械の前記点検種別を特定し、特定結果に基づいて、前記データ保持部から前記撮影対象に対応する前記ガイダンス画像を抽出することを特徴とする。

本発明によれば、サービスマンの力量や経験によらず、また、作成工数を増大させることなく、安定した品質の点検レポートを作成できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

第一の実施形態の管理システムの全体図である。 第一の実施形態の油圧ショベルの外観図である。 （ａ）は、第一の実施形態の携帯端末のハードウェア構成図であり、（ｂ）および（ｃ）は、第一の実施形態の携帯端末の外観図であり、（ｄ）は、第一の実施形態の管理サーバのハードウェア構成図である。 第一の実施形態の管理サーバと携帯端末との機能ブロック図である。 （ａ）〜（ｄ）は、それぞれ、第一の実施形態の稼働情報、車体情報、顧客データ、メンテナンス情報を、説明するための説明図である。 （ａ）〜（ｃ）は、それぞれ、第一の実施形態の撮影対象データベース、点検種別データベース、第二の実施形態の第二の点検種別データベースを、説明するための説明図である。 第一の実施形態のガイダンスデータベースを説明するための説明図である。 （ａ）および（ｂ）は、それぞれ、第一の実施形態の初期ガイダンス画面およびガイダンス画面を、説明するための説明図である。 第一の実施形態の点検レポート作成処理のフローチャートである。 第一の実施形態のガイダンスデータ作成処理のフローチャートである。 第一の実施形態の点検レポート作成時の、ガイダンス画面の遷移を説明するための説明図である。 第一の実施形態の点検レポート例を説明するための説明図である。 第一の実施形態の変形例２の点検レポート例を説明するための説明図である。 第二の実施形態の管理サーバと携帯端末との機能ブロック図である。 第二の実施形態の点検レポート処理のフローチャートである。

以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、実施形態を説明するための全図において、同一の機能を有する部材には同一又は関連する符号を付し、その繰り返しの説明は省略する。また、以下の実施形態では、特に必要なとき以外は同一又は同様な部分の説明を原則として繰り返さない。

また、以下の各実施形態では、建設機械として、油圧ショベルを例に挙げて説明する。しかしながら、対象とする建設機械は、油圧ショベルに限定される訳ではなく、ホイールショベルやその他の建設機械にも適用することができる。

＜＜第一の実施形態＞＞
本発明の第一の実施形態を説明する。本実施形態は、建設機械の稼働状況を管理する管理システム内で点検および点検レポートの作成を支援する。本実施形態では、サービスマンは、現地で、携帯端末を用いて、点検レポート作成のためのデータを収集する。このとき、もれなく必要なデータを収集できるように、データ収集を支援するガイダンス画面を当該携帯端末に表示する。ガイダンス画面には、必須な画像データの構図、必須なコメントの類型等が含まれる。

［管理システム］
まず、本実施形態の点検レポート作成システムを有する管理システム１００の概略を説明する。本実施形態の管理システム１００は、油圧ショベル２００等の管理対象の建設機械から日々送信される稼働情報や、サービスマンが取得するデータを管理し、点検レポートの作成や、メンテナンスや修理の提案、予防保全の提案等をまとめたサービスレポートの作成等を行う。

図１は、本実施形態の管理システム１００の概略を説明するための図である。本実施形態の管理システム１００においては、１台以上の油圧ショベル２００を管理する。

本実施形態の管理システム１００は、管理サーバ３００と、携帯端末４００と、顧客情報処理装置（顧客ＰＣ）５００と、を備える。管理サーバ３００と、携帯端末４００と、顧客ＰＣ５００は、例えば、公衆回線網等のネットワーク１０１を介して接続される。なお、携帯端末４００は、図示しない無線局や接続機器等を介して、ネットワーク１０１に接続される。

［油圧ショベル］
管理対象の油圧ショベル２００は、各部の状態を状態データとして検出するセンサと、センサで検出した状態データを、管理サーバ３００に送信するコントローラと、を備える。各センサで検出した状態データは、例えば、通信衛星１１１、基地局１１０およびネットワーク１０１を介して管理サーバ３００に送信される。

ここで、本実施形態の、管理対象の油圧ショベル２００を説明する。図２は、本実施形態の油圧ショベルの外観図である。

油圧ショベル２００は、油圧ショベルを走行させる下部走行帯を有する下部車体２０１と、下部車体２０１に旋回可能に取り付けられた上部旋回体２０２と、運転室２０３と、上部旋回体２０２の前部に上下揺動自在に取り付けられた作業フロント２０７と、各部を制御するコントローラと、を備える。

作業フロント２０７は、上部旋回体２０２に対して上下揺動自在に取り付けられるブーム２１０と、ブーム２１０の先端に上下揺動自在に取り付けられるアーム２１１と、アーム２１１の先端に上下回動自在に取り付けられるバケット２１２と、それぞれを駆動させる油圧シリンダであるブームシリンダ２１３と、アームシリンダ２１４と、バケットシリンダ２１５と、を備える。

また、油圧ショベル２００には、各部の状態を検出する各種のセンサ２２０群が取り付けられる。取り付けられるセンサ２２０には、例えば、傾斜センサ、圧力センサ、油温センサ、キーセンサ、回転数センサ等がある。

傾斜センサは、例えば、作業フロント２０７の姿勢を検出する。また、圧力センサは、例えば、上部旋回体２０２の旋回操作量、走行操作量、油圧駆動回路内のポンプの吐出圧等を検出する。油温センサは、油圧駆動回路内の作動油の温度である油温を検出する。キーセンサは、エンジンの始動、停止スイッチのＯＮ／ＯＦＦを検出する、回転数センサは、エンジンのクランク軸の回転数を検出する。

各センサで検出された検出値は、コントローラを介して、状態データ（稼働情報）として、管理サーバ３００に送信される。

［携帯端末］
携帯端末４００は、サービスマン４０１が点検時に携帯し、油圧ショベル２００の、予め定めた点検個所の撮影を行い、管理サーバ３００に送信する。以下、本明細書では、油圧ショベル２００の全体像も含め、点検のために撮影する部位を、撮影対象と呼ぶ。図３（ａ）は、携帯端末４００のハードウェア構成図であり、図３（ｂ）は、携帯端末４００の外観の表面図の、図３（ｃ）は、携帯端末４００の外観の背面（裏面）図の、それぞれ、一例である。

これらの図に示すように、本実施形態の携帯端末４００は、ＣＰＵ４１１と、メモリ４１２と、記憶装置４１３と、通信インタフェース（Ｉ／Ｆ）４１５と、を備える情報処理装置である。また、撮影手段として、カメラ４１６を備える。また、位置情報取得手段として、ＧＰＳアンテナ４１７とを備える。さらに、ユーザインタフェースとして、処理結果等を表示し、指示を受け付けるディスプレイ４１４を備える。なお、携帯端末４００は、さらに通話機能等を備えていてもよい。

後述する携帯端末４００の各機能は、記憶装置４１３に格納されたプログラムを、ＣＰＵ４１１がメモリ４１２にロードして実行することにより実現される。また、後述するデータ保持部が保持するデータ等、機能を実現するにあたり、必要な各種のデータ、処理中に生成されるデータは、記憶装置４１３等に格納される。

また、図３（ｂ）および図３（ｃ）に示すように、ディスプレイ４１４は、例えば、カメラ４１６のレンズ４１８とは、反対側の面に設けられ、カメラ４１６で撮影する被写体像を目視確認する電子ビューファインダの機能も兼ねる。なお、カメラ４１６のレンズ４１８は、さらに、ディスプレイ４１４と同じ面にも設けられていてもよい。

［管理サーバ］
本実施形態の管理サーバ３００は、各油圧ショベル２００から送信される状態データを稼働情報として管理し、必要に応じてレポートを作成し、顧客ＰＣ５００に送信する。また、本実施形態では、携帯端末４００から送信される画像データに基づいて点検レポートを作成し、顧客ＰＣ５００に送信する。

これを実現する管理サーバ３００のハードウェア構成を図３（ｄ）に示す。本図に示すように、管理サーバ３００は、ＣＰＵ３１１と、メモリ３１２と、記憶装置３１３と、入出力インタフェース（Ｉ／Ｆ）３１４と、通信Ｉ／Ｆ３１５と、を備える情報処理装置である。

後述する管理サーバ３００の各機能は、記憶装置３１３に予め保持されるプログラムを、ＣＰＵ３１１がメモリ３１２にロードして実行することにより、実現される。後述するデータ保持部が保持するデータ等、機能を実現するにあたり、必要な各種のデータ、処理中に生成されるデータは、記憶装置３１３等に格納される。各機能は、予め定めたタイミング、あるいは、入出力Ｉ／Ｆ３１４を介したユーザからの指示により実行される。また、通信Ｉ／Ｆ３１５を介して、外部装置とデータの送受信を行う。

［管理サーバ・携帯端末］
次に、管理システム１００のうち、点検レポート作成部分に係る管理サーバ３００と携帯端末４００との機能を説明する。本実施形態では、携帯端末４００は、点検レポート作成用の情報を取得するためのアプリケーション（点検アプリ）を予めインストールし、点検アプリとともに提供されたガイダンスデータに従って、必要な情報を取得する点検支援システムを実現する。そして、取得した情報を、点検データとして管理サーバ３００に送信（アップロード）する。そして、情報を受け取った管理サーバ３００は、受け取った点検データを用いて点検レポートを作成する。

これらを実現する管理サーバ３００および携帯端末４００について説明する。図４は、管理サーバ３００および携帯端末４００の上記機能を実現するための機能ブロック図である。

管理サーバ３００は、送受信部３２０と、データ収集部３３０と、点検レポート作成部３４０と、稼働情報管理部３５０と、データ保持部３７０と、を備える。

送受信部３２０は、ネットワーク１０１を介して外部装置とデータを送受信する。本実施形態では、携帯端末４００との間で、データの送受信を行う。また、各油圧ショベル２００から、センサ情報を受信し、後述する稼働情報３７１としてデータ保持部３７０に保持する。送受信部３２０は、通信Ｉ／Ｆ３１５により実現される。

データ収集部３３０は、携帯端末４００から送信される点検データを収集する。

点検レポート作成部３４０は、データ収集部３３０が収集した点検データに基づいて、点検レポートを作成する。このとき、データ保持部３７０に保持される各種のデータを用いる。データ保持部３７０に保持されるデータの詳細は、後述する。また、作成した点検レポートは、後述する過去レポートＤＢに保持するとともに、顧客ＰＣ５００に送信される。

稼働情報管理部３５０は、後述する稼働情報を監視し、予め定めた範囲外のデータが発生した場合、アラームフラグを設定する。

一方、携帯端末４００は、送受信部４２０と、点検アプリ実行部４３０と、操作部４４０と、撮影部４５０と、位置情報取得部４６０と、データ保持部４７０と、を備える。

送受信部４２０は、ネットワーク１０１を介して、外部装置とのデータの送受信を行う。送受信部４２０は、通信Ｉ／Ｆ４１５により実現される。本実施形態では、例えば、外部サーバから点検アプリやガイダンスデータ等をダウンロードし、点検アプリに従って収集した点検データを管理サーバ３００にアップロードする。ダウンロードした点検アプリやガイダンスデータ等は、記憶装置４１３等に保存する。

操作部４４０は、携帯端末４００に対するユーザ（ここでは、サービスマン４０１）の操作を受け付ける。本実施形態では、ディスプレイ４１４を介して指示を受け付ける。操作部４４０は、例えば、カメラ４１６による撮影の指示を受け付ける。また、点検アプリ実行時に要求される各種指示、コメント等の入力を受け付ける。

撮影部４５０は、カメラ４１６により被写体像（ここでは、撮影対象）を撮影し、画像データを得る。カメラ４１６で撮影する被写体像は、ディスプレイ４１４の電子ビューファインダとしての領域（ファインダ領域）に表示される。本実施形態では、サービスマン４０１から撮影の指示を受け付けると、その時点でディスプレイ４１４のファインダ領域に表示される被写体像を画像データとして取得する。

位置情報取得部４６０は、ＧＰＳアンテナ４１７で収集した測距衛星データから、携帯端末４００の位置情報を算出する。

点検アプリ実行部４３０は、点検アプリを実行する。ここでは、インストールした点検アプリをＣＰＵ４１１がメモリ４１２に展開して実現する。本実施形態では、点検アプリ実行部４３０は、機体ＩＤ受付部４３１と、ガイダンス表示部４３２と、データ取得部４３３と、ガイダンスデータ抽出部４３４と、の機能を実現する。

機体ＩＤ受付部４３１は、点検対象の油圧ショベル２００の機体を識別する情報（機種および機体ＩＤ）の入力を受け付ける。

ガイダンスデータ抽出部４３４は、受け付けた機種に応じて、また、受け付けた点検種別に応じて、データ保持部４７０から、ガイダンスデータを抽出する。なお、ガイダンスデータは、後述するようにガイダンス画像と、コメント類型等を備える。また、このとき、ガイダンスデータは、当該点検種別の点検の、点検レポートを作成するために必要な全画像データ分、抽出される。

ガイダンス表示部４３２は、カメラ４１６を起動し、ディスプレイ４１４に後述するガイダンス画面を表示する。また、ガイダンスデータ抽出部４３４が抽出したガイダンス画像を、ガイダンス画面が備えるガイダンス画像表示領域に、１枚ずつ、順に表示する。このとき、ガイダンス画像表示領域に、ガイダンス画像と、カメラ４１６による被写体像とを合成して表示する。ガイダンス画面の詳細は、後述する。

データ取得部４３３は、サービスマン４０１から撮影の指示を受け付けると、その時点でディスプレイ４１４に表示される被写体像を画像データとして一時保存する。例えば、撮影部４５０に指示を出し、画像データとして取得させ、その画像データを一時保存する。また、サービスマン４０１からコメントの入力を受け付けると、その時点でガイダンス画像表示領域に表示される画像データに対応づけて一時保存する。これらの保存先は、例えば、記憶装置４１３等とする。

また、データ取得部４３３は、画像データを管理サーバ３００に送信する前に、その適否を判別する。なお、ここでの判別は、画像データの有無のみであってもよいし、簡易な品質チェックであってもよい。簡易な品質チェックは、例えば、画像解析ソフトウェアを用い、取得した画像データとガイダンス画像との間で画像マッチング処理を実行し、所定以上の一致度を示した場合、適と判別する。画像マッチング処理で一致度を判別するのは、例えば、撮影方向、撮影サイズ、コントラスト等である。

［データ保持部］
ここで、管理サーバ３００のデータ保持部３７０および携帯端末４００のデータ保持部４７０に保持されるデータを説明する。管理サーバ３００のデータ保持部３７０には、稼働情報３７１と、車体管理情報３７２と、レポートデータ３８１と、過去レポートデータベース（過去レポートＤＢ）３８２と、が保持される。また、携帯端末４００のデータ保持部４７０には、ガイダンスデータベース（ガイダンスＤＢ）４７３と、点検データベース（点検ＤＢ）４７４と、が保持される。

稼働情報３７１は、油圧ショベル２００から送信される状態データである。稼働情報３７１は、機体毎、送信タイミング毎にレコードが作成され、保持される。各レコードには、例えば、図５（ａ）に示すように、油圧ショベル２００を特定する機体ＩＤ３７１ａおよび状態データの送信時刻３７１ｂ毎に、状態データ３７１ｃが登録される。登録される状態データ３７１ｃは、例えば、パイロット圧、ポンプ圧、作動油温度、エンジン回転数、アワメータ等である。

車体管理情報３７２は、車体情報３７５と、顧客データ３７６と、メンテナンス情報３７７と、を備える。

車体情報３７５は、管理システム１００で管理する各油圧ショベル２００の車体に関する情報である。車体情報３７５の各レコードには、図５（ｂ）に示すように、例えば、機種３７５ａ、型式３７５ｂ、号機番号３７５ｃ、機体ＩＤ３７５ｄ等の情報が登録される。機体ＩＤ３７５ｄは、上述のように各油圧ショベル２００の識別番号であり、車体毎に一意に設定される。車体情報３７５のレコードは、例えば、機体ＩＤ３７５ｄ毎に作成される。

顧客データ３７６は、顧客固有の情報である。顧客データ３７６の各レコードには、例えば、図５（ｃ）に示すように、顧客を特定する顧客ＩＤ３７６ａと、顧客名３７６ｂと、使用機体ＩＤ３７６ｃ、業種３７６ｄ等が登録される。使用機体ＩＤ３７６ｃは、当該顧客が使用している機体を識別する情報であり、車体情報３７５の機体ＩＤ３７５ｄが登録される。

メンテナンス情報３７７は、各車体の修理履歴である。メンテナンス情報３７７の各レコードには、例えば、図５（ｄ）に示すように、機体ＩＤ３７７ａ毎に、修理日時３７７ｂ、修理箇所３７７ｃおよび修理内容３７７ｄが登録される。

点検ＤＢ４７４は、点検レポートに掲載する撮影対象を特定する情報（撮影対象名）を登録する撮影対象データベース（ＤＢ）４７８と、部位や稼働情報毎の点検種別が登録される点検種別ＤＢ４７９と、を備える。

撮影対象ＤＢ４７８は、図６（ａ）に示すように、油圧ショベルの機種４７８ａ毎に、点検種別４７８ｂ毎の、撮影対象名４７８ｃが登録されるデータベースである。撮影対象名４７８ｃは、撮影対象の画像を取得する順に登録されていてもよい。

点検種別４７８ｂには、例えば、定期点検、故障部位毎の点検、異常発生箇所毎の点検、特別な仕様の機種に対する点検、油圧ショベル２００を使用する業種に応じた点検、等が含まれる。

例えば、点検種別４７８ｂが「定期点検」の場合、銘板、油圧ショベル２００を斜め前から見た画像（斜め前）、同斜め後から見た画像（斜め後）、モニタ、エンジン、上部旋回体２０２、下部走行帯、足回り、作業フロント２０７、例えば、バケット２１２等のアタッチメント、等が、この順に登録される。

また、点検種別４７８ｂが、仕様で特定される「ブレーカ仕様機点検」の場合、撮影対象名４７８ｃには、ブレーカ用配管、ブレーカ本体（アタッチメント）、ブレーカ仕様専用部品、等が登録される。また、点検種別４７８ｂが、使用業種で特定される「産廃機点検」の場合、撮影対象名４７８ｃには、ラジエータ廻り、ラジエータコア部拡大等が登録される。点検種別４７８ｂが「ポンプ異常」の場合、撮影対象名４７８ｃには、ポンプ吐出圧を検出するセンサ部拡大、センサまでのハーネス等が登録される。点検種別４７８ｂが「作動油および／または水温異常」の場合、撮影対象名４７８ｃには、ラジエータ廻り、ラジエータコア部の拡大等が登録される。

点検種別ＤＢ４７９には、図６（ｂ）に示すように、部位や状態データ（部位／状態データ）４７９ａに応じた点検種別４７９ｂが登録される。部位／状態データ４７９ａは、稼働情報３７１の、アラームフラグに設定される状態データ３７１ｃや、メンテナンス情報３７７の修理箇所３７７ｃに対応する。本実施形態では、ガイダンスデータ抽出部４３４が、抽出するガイダンスデータを選択する際に用いられる。

ガイダンスＤＢ４７３は、図７に示すように、油圧ショベル２００の機種４７３ａ毎に、各撮影対象（撮影対象名４７３ｂ）のガイダンス画像４７３ｃと、コメント類型４７３ｄとが登録されるデータベースである。ガイダンス画像４７３ｃは、撮影対象の向き、画像内のサイズ等を含む撮影構図を特定する画像である。コメント類型４７３ｄは、撮影対象毎に予め定めた入力コメントの類型である。サービスマン４０１は、撮影対象の状態をコメント類型４７３ｄから選択することにより、コメントを入力できる。なお、油圧ショベル２００の型式毎に、ガイダンス画像等を保持してもよい。

なお、コメント類型４７３ｄは、同じ撮影対象であっても、点検種別により異なる可能性がある。従って、撮影対象ＤＢ４７８の、各撮影対象名４７８ｃに対応づけて登録されてもよい。

レポートデータ３８１には、点検レポートのフォームが格納される。点検レポートのフォームは、例えば、点検種別毎に格納されてもよい。点検レポート作成部３４０は、データ収集部３３０が収集した点検データと、点検レポートのフォームと、稼働情報３７１と、車体管理情報３７２と、を用いて、点検レポートを作成する。点検レポート例は、後述する。

過去レポートＤＢ３８２には、作成した点検レポートが蓄積される。点検レポートそのものと、当該点検レポートを作成するために用いた画像データ、コメント等が蓄積される。

［ガイダンス画面］
次に、点検アプリを実行することにより、携帯端末４００のディスプレイ４１４に表示されるガイダンス画面を説明する。

点検アプリ実行部４３０が、最初に点検アプリを起動した際、ディスプレイ４１４に表示される初期ガイダンス画面６２０を、図８（ａ）に示す。本図に示すように、初期ガイダンス画面６２０は、点検種別および点検対象の機種および機体ＩＤの入力を受け付ける機体ＩＤ受付領域６２１を備える。なお、点検種別は、受け付けなくてもよい。

機体ＩＤ受付部４３１は、機体ＩＤ受付領域６２１を介してサービスマン４０１から入力された点検種別、機種、および、機体ＩＤを受け付ける。

なお、機体ＩＤ受付領域６２１は、点検種別、機種、および、機体ＩＤを特定する情報の入力を、直接、受け付けてもよいし、予め、選択可能な機種および機体ＩＤのリストを保持し、当該リストの中から選択させるよう構成してもよい。

なお、選択可能な機種および機体ＩＤのリストは、管理サーバ３００から送信するよう構成してもよい。この場合、管理サーバ３００側は、例えば、携帯端末４００から位置情報の送信を受け、送信する機種および機体ＩＤのリストを絞ってもよい。管理システム１００では、各顧客の建設機械毎の位置情報を管理している。例えば、携帯端末４００の位置情報を中心として、所定の範囲内にある建設機械の機種および機体ＩＤのみを抽出し、リストとして携帯端末４００へ送信してもよい。

次に、ガイダンス表示部４３２によりディスプレイ４１４に表示されるガイダンス画面６１０を説明する。図８（ｂ）に示すように、ガイダンス画面６１０は、ガイダンス画像表示領域６１１と、撮影指示受付領域６１２と、ガイダンス画像情報表示領域６１３と、コメント受付領域６１４と、確定指示受付領域６１５と、を備える。

ガイダンス画像表示領域６１１は、ガイダンス画像を表示する領域である。なお、上述のように、ガイダンス表示部４３２は、カメラ４１６による被写体像も、ガイダンス画像表示領域６１１に表示する。すなわち、本実施形態では、カメラ４１６の電子ビューファインダであるファインダ領域は、ガイダンス画像表示領域６１１に設定される。サービスマン４０１は、画像データ取得時、ガイダンス画像表示領域６１１内に表示される被写体像をガイダンス画像に合致させて撮影を行うことにより、必要な構図の画像データを、容易に得ることができる。なお、ファインダ領域はディスプレイ４１４の全面に設定され、ガイダンス画像表示領域内の被写体像のみが切り取られ、画像データとして取得されるよう構成されてもよい。

撮影指示受付領域６１２は、撮影指示を受け付ける領域である。本領域を介して撮影指示を受け付けると、撮影部４５０は、その時点でガイダンス画像表示領域６１１に表示される被写体像を画像データとして取得する。

ガイダンス画像情報表示領域６１３は、ガイダンス画像表示領域６１１に表示されているガイダンス画像の情報を表示する領域である。本実施形態では、例えば、撮影対象名４７３ｂが表示される。

コメント受付領域６１４は、サービスマン４０１によるコメントの入力を受け付ける。コメントは、例えば、予め用意されたコメント類型４７３ｄの中から選択するように構成してもよいし、サービスマン４０１が自由に入力可能なように構成してもよい。入力は、携帯端末４００のテキスト入力機能を用いて行う。なお、コメント類型４７３ｄは、ガイダンス画像表示領域６１１に表示されているガイダンス画像４７３ｃに対応づけて、ガイダンスデータとして予め提供される。なお、コメント類型４７３ｄからの選択と直接入力とを組み合わせてもよい。例えば、異常ありを選択した場合のみ、異常の内容を入力するなどである。

確定指示受付領域６１５は、画像データの取得およびコメントの入力を終えた意思（確定指示）を受け付ける領域である。本実施形態では、確定指示受付領域６１５を介して確定指示を受け付けると、ガイダンス表示部４３２は、まず、ガイダンスデータ抽出部４３４が抽出したガイダンス画像のうち、未表示のガイダンス画像の有無を判別する。そして、未表示のガイダンス画像が有る場合は、次のガイダンス画像および撮影対象名を、それぞれ、ガイダンス画像表示領域６１１およびガイダンス画像情報表示領域６１３に表示させる。一方、ガイダンスデータ抽出部４３４が抽出した全てのガイダンス画像の表示を終えた場合は、データ取得部４３３に一旦保存した後、取得した全ての画像データ等を点検データとして、送受信部４２０を介して管理サーバ３００へ送信させる。

［点検支援処理の流れ］
次に、本実施形態の携帯端末４００による点検支援処理の流れを説明する。図９は、本実施形態の点検支援処理のフローチャートである。本実施形態の点検支援処理は、サービスマン４０１が携帯端末４００を携帯し、点検対象の油圧ショベル２００近傍に到着し、携帯端末４００の初期ガイダンス画面６２０に点検種別と機体ＩＤ等とを入力することを契機に開始される。

機体ＩＤ受付部４３１を介して点検種別と機体ＩＤ等の入力を受け付けると、ガイダンスデータ抽出部４３４は、ガイダンスデータを抽出する(ステップＳ１１０１)。ガイダンスデータ抽出処理の詳細は、後述する。

ガイダンス表示部４３２は、ガイダンス画面６１０のガイダンス画像表示領域６１１に、ガイダンス画像を１枚表示する（ステップＳ１１０２）。このとき、ガイダンス表示部４３２は、カメラ４１６を起動し、ガイダンス画像表示領域６１１に、被写体像を表示させる。

データ取得部４３３は、サービスマン４０１から撮影の指示を受け付けると、撮影部４５０に撮影させ、画像データを取得する（ステップＳ１１０３）。ここで取得される画像データは、ガイダンス画像表示領域６１１に表示されている被写体像である。

そして、データ取得部４３３は、確定指示を受け付けると、取得した画像データを記憶装置４１３等に一時保存する。このとき、画像データは、ガイダンス画像表示領域６１１に表示されるガイダンス画像の撮影部位名に対応づけて保存される。また、データ取得部４３３は、コメントが入力された場合、コメントも、併せて撮影部位名に対応づけて保存する。

データ取得部４３３は、次のガイダンス画像の有無を判別し（ステップＳ１１０４）、次のガイダンス画像が有る場合は、ステップＳ１１０２へ戻り、処理を繰り返す。

一方、次のガイダンス画像が無い場合、すなわち、全ての画像の撮影を終えた場合は（ステップＳ１１０４）、データ取得部４３３は、上述の手法で、取得した各画像データの適否を判別する(ステップＳ１１０５)。

全て適と判別された場合(ステップＳ１１０６)、データ取得部４３３は、保存されている全ての画像データおよびコメントを、点検データとして管理サーバ３００に送信する（ステップＳ１１０７）。なお、管理サーバ３００側では、画像データおよびコメントを受信すると、点検レポート作成部３４０は、送信された点検データを用いて点検レポートを作成する。

一方、ステップＳ１１０６で、適切でないと判別された画像データが有る場合、データ取得部４３３は、ガイダンスデータ抽出部４３４に通知する。そして、ガイダンスデータ抽出部４３４は、当該画像データに対応するガイダンスデータを再抽出し（ステップＳ１１０８）、ステップＳ１１０２へ戻り、処理を繰り返す。

次に、ステップＳ１１０１のガイダンスデータ抽出部４３４によるガイダンスデータ抽出処理の流れを説明する。図１０は、本実施形態のガイダンスデータ抽出処理の処理フローである。

ガイダンスデータ抽出部４３４は、まず、点検種別の指定の有無を判別する（ステップＳ１２０１）。

点検種別が指定されている場合、撮影対象ＤＢ４７８を参照し、指定された機種４７８ａおよび指定された点検種別４７８ｂに対応づけて登録される１以上の撮影対象名４７８ｃを抽出する（ステップＳ１２０３）。

そして、ガイダンスＤＢ４７３を参照し、抽出した各撮影対象名４７３ｂに対応づけて登録されるガイダンス画像４７３ｃおよびコメント類型４７３ｄを抽出し（ステップＳ１２０４）、処理を終了する。

一方、ステップＳ１２０１において、点検種別が指定されていない場合、まず、重点点検個所があるか否かを判別する（ステップＳ１２１１）。ここでは、ガイダンスデータ抽出部４３４は、管理サーバ３００の稼働情報３７１にアクセスし、異常なデータが発生している状態データがあるか否かを判別する。例えば、稼働情報管理部３５０がアラームフラグを設定している状態データ３７１ｃが有れば、その状態データ３７１ｃを、重点点検個所として抽出する。また、メンテナンス情報３７７にアクセスし、修理履歴として登録された修理箇所３７７ｃがあるか否かを判別する。メンテナンス情報３７７に修理履歴があれば、修理箇所３７７ｃを重点点検個所として抽出する。なお、ここで、抽出する重点点検個所は１か所に限定されない。

そして、ステップＳ１２１１において、重点点検個所ありと判別され、重点点検個所が抽出された場合、点検種別ＤＢ４７９を参照し、該当する部位／状態データ４７９ａ（重点点検個所）に対応づけて登録される点検種別４７９ｂを特定する（ステップＳ１２１２）。なお、ここで特定される点検種別は、１つに限定されない。そして、点検種別４７９ｂを特定後、ステップＳ１２０３へ移行する。Ｓ１２０３およびＳ１２０４の処理は、特定された点検種別分、繰り返す。

一方、ステップＳ１２１１において、重点点検個所がないと判別された場合、点検種別を定期点検とし（ステップＳ１２１３）、ステップＳ１２０３へ移行する。

次に、点検支援処理のステップＳ１１０３でディスプレイ４１４に表示されるガイダンス画面６１０の、処理ループごとの変化（遷移）の様子を、図１１に示す。

ここでは、点検種別を定期点検とし、銘板６３１、車体の斜め前方６３２、車体の斜め後方６３３、モニタ（アワメータ）６３４、エンジン６３５、上部旋回体６３６、下部走行帯６３７、足回り６３８、作業フロント６３９、アタッチメント６４０の順に、画像データを取得する場合を例示する。

この場合、上述の各ガイダンス画像が、上記順に設定されてガイダンスデータとして携帯端末４００に送信される。そして、図１１に示すように、順にガイダンス画像表示領域６１１に表示される。

サービスマン４０１は、新たなガイダンス画像が表示される毎に、ガイダンス画像表示領域６１１に表示されるガイダンス画像と、被写体像とを合わせ、撮影を行う。また、コメントを入力する。その後、確定指示受付領域６１５を介して、撮影終了の指示を入力する。

上述のようにして取得された点検データ（画像データおよびコメント）を用いて、点検レポート作成部３４０により作成される点検レポート７００の例を図１２に示す。

本図に示すように、点検レポート７００は、車体情報領域７１０と、本体領域７２０と、を備える。本体領域７２０には、画像データ領域７２１と、コメント領域７２２とが、画像データ毎に設けられる。

点検レポート作成部３４０は、車体情報領域７１０を、車体管理情報３７２から必要な情報を取得し、作成する。

また、点検レポート作成部３４０は、画像データ領域７２１には、データ収集部３３０により収集され、保存された点検データの画像データを添付する。なお、このとき、画像サイズ、解像度等を適宜加工して表示してもよい。コメント領域７２２には、画像データとともに送信されたコメントおよび撮影部位名を挿入する。

以上説明したように、本実施形態によれば、サービスマン４０１が携帯する携帯端末４００の、カメラ４１６のファインダを兼ねるディスプレイ４１４に、撮影対象の撮影構図を示すガイダンス画像が表示される。このため、サービスマン４０１は、表示されるガイダンス画像に被写体像を合わせて撮影するだけで、所望の構図の画像データを得ることができる。

また、ガイダンス画像は、点検レポートの作成に必要な全画像分抽出され、表示される。ディスプレイ４１４には、画像データを１枚取得する毎に、次のガイダンス画像が表示される。このため、サービスマン４０１は、ガイダンスに従って、各ガイダンス画像に合致する画像データを取得するだけで、点検レポートの作成に必要な、全ての画像データを得ることができる。

このように、本実施形態によれば、ガイダンスに従って撮影するだけで、点検レポート作成に必要な画像を、意図した構図で、もれなく取得することができる。すなわち、本実施形態によれば、点検レポート作成に必要な画像データの収集を適切に支援でき、本実施形態の管理システム１００は、サービスマン４０１の力量や経験によらず、安定した品質の画像データを収集することができる。

また、本実施形態によれば、上記手法で収集した画像データを用いて点検レポートを作成する。このため、サービスマンの力量や経験によらず、安定した品質の点検レポートを容易に作成できる。

＜変形例＞
なお、上記実施形態では、携帯端末４００は、全撮影対象の画像データを一括して携帯端末４００から送信する。しかしながら、この手法に限定されない。

例えば、取得した画像データを１枚ずつ管理サーバ３００に送信してもよい。この場合、携帯端末４００は、画像データを取得する毎に、適否を確認する。

＜変形例２＞
また、上記実施形態では、点検レポート７００を、送信された点検データ（画像データおよびコメント）のみを用いて作成している。しかしながら、これに限定されない。例えば、過去の同機体の点検レポートの内容をさらに用いてもよい。

この場合、点検レポート作成部３４０は、最新の点検データと、過去レポートＤＢ３８２に保持される、同じ撮影対象の点検データ（画像データおよびコメント）とを用い、点検レポートを作成する。

例えば、図１３に示す点検レポート７００ａのように、同じ撮影対象について、前回の点検レポート作成時の点検データと、今回の送信された点検データとを並列に表記する。

これにより、点検部位である各撮影対象の、時間的な変化を把握可能な点検レポートを作成できる。

＜＜第二の実施形態＞＞
次に本発明の第二の実施形態を説明する。第一の実施形態では、携帯端末４００において、取得した画像データが所望の品質であるか否かのみを判別している。しかしながら、本実施形態では、管理サーバ３００において、送信された画像データを解析し、新たな点検の要否を判別する。そして、新たな点検要と判別された場合、その旨、携帯端末４００に通知する。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。

本実施形態の管理サーバ３００は、第一の実施形態の構成に加え、図１４に示すように、データ収集部３３０が点検結果解析部３３５をさらに備える。また、データ保持部３７０は、図６（ｃ）に示すように、解析結果３８０ａ毎に、点検が必要な場合の点検種別３８０ｂを格納する第二の点検種別ＤＢ３８０をさらに備える。

点検結果解析部３３５は、携帯端末４００で取得され、送信された点検データを解析する。例えば、既存の画像解析ソフトウェア等を用いて、画像データを解析し、撮影対象の傷の有無、変形等の有無、破損の有無などを判別する。

点検結果解析部３３５は、また、解析結果に応じて、新たな点検の要否を判別する。判別は、解析結果が、第二の点検種別ＤＢ３８０の解析結果３８０ａに登録されているか否かにより行う。すなわち、点検結果解析部３３５は、解析結果が登録されている場合は、新たな点検要と判別する。そして、新たな種別の点検が必要と判別した場合、第二の点検種別ＤＢ３８０を参照して必要な点検種別３８０ｂを特定し、携帯端末４００に通知する。

なお、携帯端末４００では、点検結果解析部３３５から点検種別の通知を受け付けると、ガイダンスデータ抽出部４３４は、撮影対象ＤＢ４７８と、ガイダンスＤＢ４７３とを参照し、当該点検種別４７８ｂに対応づけて登録されるガイダンスデータを抽出する。

この場合の点検支援処理の流れを、図１５を用いて説明する。本実施形態の点検支援処理は、ステップＳ１１０７の点検データの送信までは、第一の実施形態と同様である。

ステップＳ１１０７で、点検データを送信した後、所定の時間内に、管理サーバ３００から新たな点検種別を受信した場合(ステップＳ２１０１)、ステップＳ１１０１へ戻り、ガイダンスデータ抽出部４３４は、当該点検種別に対応するガイダンスデータを抽出し、再度処理を繰り返す。なお、ガイダンスデータの抽出手法は、第一の実施形態と同様である。

一方、ステップＳ２１０１で、所定の時間内に、管理サーバ３００から新たな点検種別を受信しない場合、点検アプリ実行部４３０は、そのまま、処理を終了する。

以上説明したように、本実施形態によれば、第一の実施形態同様、点検レポート作成に必要な画像データの収集を適切に支援でき、サービスマン４０１の力量や経験によらず、安定した品質の点検レポートを作成できる。

また、点検結果に応じて、自動的に追加の点検の有無を判定し、必要な場合は、再点検を行うよう携帯端末４００に通知する。このため、１回現場に行けば、必要な点検を全てカバーすることができる。すなわち、サービスマン４０１は、何度も現場に足を運ぶ必要がない。このため、本実施形態によれば、安定した品質の点検レポートを、効率的に作成できる。

なお、本実施形態においても、ガイダンス画像を１枚ずつ送信するよう構成してもよい。また、作成する点検レポートも、過去の点検レポートの点検データを併記するものであってもよい。

＜変形例＞
上記各実施形態では、点検対象の機種および機体ＩＤについて、サービスマン４０１が入力するよう構成しているが、これに限定されない。例えば、上述のように銘板等、機種および機体ＩＤを特定可能な撮影部位を撮影し、その撮影結果を解析して、識別してもよい。

また、各機体が機種および機体ＩＤを登録したＩＣチップを備える場合、例えば、携帯端末４００が、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等により通信を行い、当該ＩＣチップ内の機種および機体ＩＤを読み取ることにより、機種および機体ＩＤを取得してもよい。

また、上記各実施形態では、サービスマン４０１は、ガイダンス画像として予め用意される構図のみ、画像データを取得しているが、これに限定されない。それ以外の撮影対象の画像データも取得可能なように構成してもよい。また、ガイダンス画像を表示して画像データを取得するモードと、表示しないで取得するモードとを選択可能なように構成してもよい。

ガイダンス画像以外の構図の画像データを取得した場合、サービスマン４０１は、取得した画像データに対応する撮影対象名を入力する。データ取得部４３３は、送受信部４２０を介して画像データとともに入力された撮影対象名を管理サーバ３００に送信する。また、ガイダンス画像以外の構図の画像データを取得した場合、点検アプリ実行部４３０は、当該画像データと撮影対象名とを、新たなガイダンス画像として、ガイダンスＤＢ４７３や、撮影対象ＤＢ４７８に登録する。なお、登録は、サービスマン４０１が登録要と判別した場合のみ行うよう構成してもよい。

また、上記各実施形態では、ガイダンスＤＢ４７３や点検ＤＢ４７４に保持するデータを、点検アプリとともに、予め携帯端末４００に提供する場合を例にあげて説明したが、この構成に限定されない。例えば、これらのデータは、管理サーバ３００が保持し、携帯端末４００からの要求に応じて提供するよう構成してもよい。

１００：管理システム、１０１：ネットワーク、１１０：基地局、１１１：通信衛星、
２００：油圧ショベル、２０１：下部車体、２０２：上部旋回体、２０３：運転室、２０７：作業フロント、２１０：ブーム、２１１：アーム、２１２：バケット、２１３：ブームシリンダ、２１４：アームシリンダ、２１５：バケットシリンダ、２２０：センサ、
３００：管理サーバ、３１１：ＣＰＵ、３１２：メモリ、３１３：記憶装置、３１４：入出力Ｉ／Ｆ、３１５：通信Ｉ／Ｆ、３２０：送受信部、３３０：データ収集部、３３５：点検結果解析部、３４０：点検レポート作成部、３５０：稼働情報管理部、
３７０：データ保持部、３７１：稼働情報、３７１ａ：機体ＩＤ、３７１ｂ：送信時刻、３７１ｃ：状態データ、３７２：車体管理情報、３７４：点検ＤＢ、３７５：車体情報、３７５ａ：機種、３７５ｂ：型式、３７５ｃ：号機番号、３７５ｄ：機体ＩＤ、３７６：顧客データ、３７６ａ：顧客ＩＤ、３７６ｂ：顧客名、３７６ｃ：使用機体ＩＤ、３７６ｄ：業種、３７７：メンテナンス情報、３７７ａ：機体ＩＤ、３７７ｂ：修理日時、３７７ｃ：修理箇所、３７７ｄ：修理内容、３８０：第二の点検種別ＤＢ、３８０ａ：解析結果、３８０ｂ：点検種別、３８１：レポートデータ、３８２：過去レポートＤＢ、
４００：携帯端末、４０１：サービスマン、４１１：ＣＰＵ、４１２：メモリ、４１３：記憶装置、４１４：ディスプレイ、４１５：通信Ｉ／Ｆ、４１６：カメラ、４１７：ＧＰＳアンテナ、４１８：レンズ、４２０：送受信部、４３０：点検アプリ実行部、４３１：機体ＩＤ受付部、４３２：ガイダンス表示部、４３３：データ取得部、４３４：ガイダンスデータ抽出部、４４０：操作部、４５０：撮影部、４６０：位置情報取得部、
４７０：データ保持部、４７３：ガイダンスＤＢ、４７３ａ：機種、４７３ｂ：撮影対象名、４７３ｃ：ガイダンス画像、４７３ｄ：コメント類型、４７８：撮影対象ＤＢ、４７８ａ：機種、４７８ｂ：点検種別、４７８ｃ：撮影対象名、４７９：点検種別ＤＢ、４７９ａ：部位／状態データ、４７９ｂ：点検種別、
５００：顧客ＰＣ、
６１０：ガイダンス画面、６１１：ガイダンス画像表示領域、６１２：撮影指示受付領域、６１３：ガイダンス画像情報表示領域、６１４：コメント受付領域、６１５：確定指示受付領域、６２０：初期ガイダンス画面、６２１：機体ＩＤ受付領域、６３１：銘板、６３２：斜め前、６３３：斜め後、６３４：モニタ、６３５：エンジン、６３６：上部旋回体、６３７：下部走行帯、６３８：足回り、６３９：作業フロント、６４０：アタッチメント、
７００：点検レポート、７００ａ：点検レポート、７１０：車体情報領域、７２０：本体領域、７２１：画像データ領域、７２２：コメント領域

Claims (5)

1. カメラとディスプレイとを有し、点検レポートに掲載する建設機械の被写体像を画像データとして取得する、建設機械の点検支援システムにおいて、
   前記画像データとして撮影する撮影対象の構図を示すガイダンス画像を前記ディスプレイに表示させるガイダンス表示部と、
   前記被写体像を前記画像データとして取得する撮影部と、
   取得した前記画像データを、前記点検レポートを管理する管理サーバに送信する送信部と、
   前記建設機械の機体識別情報の指定を受け付ける機体識別情報受付部と、
   前記建設機械の前記機体識別情報で特定される機種毎に前記ディスプレイに表示する前記ガイダンス画像を保持するデータ保持部と、
   前記機体識別情報受付部で受け付けた前記機体識別情報で特定される機種に対応づけて前記データ保持部に保持される前記ガイダンス画像を抽出するガイダンスデータ抽出部と、を備え、
   前記データ保持部は、さらに、前記建設機械の各部に設けられたセンサで検出した状態データからなる機体毎の稼働情報、前記機種毎の前記機体識別情報を含む車体管理情報、前記建設機械の部位および稼働情報に応じた点検種別、および前記機種毎および前記点検種別毎の前記撮影対象を保持し、
   前記ガイダンス画像は、前記建設機械の前記機種毎の前記撮影対象毎に前記データ保持部に保持され、
   前記ガイダンスデータ抽出部は、前記データ保持部が保持する前記建設機械の前記稼働情報および前記車体管理情報に基づいて、前記建設機械の前記点検種別を特定し、特定結果に基づいて、前記データ保持部から前記撮影対象に対応する前記ガイダンス画像を抽出すること
   を特徴とする建設機械の点検支援システム。
2. 請求項１記載の点検支援システムにおいて、
   前記ガイダンス表示部は、ガイダンス画面を前記ディスプレイに表示し、
   前記ガイダンス画面は、
   前記ガイダンス画像を表示するガイダンス画像表示領域と、
   ユーザからのコメントの入力を受け付けるコメント受付領域と、を備えること
   を特徴とする点検支援システム。
3. 請求項２記載の点検支援システムであって
   前記ガイダンス表示部は、前記被写体像を前記ガイダンス画像表示領域に、前記ガイダンス画像とともに表示させること
   を特徴とする点検支援システム。
4. 請求項１から３のいずれか１項記載の点検支援システムであって、
   前記ガイダンス画像は、前記撮影対象の構図として、前記撮影対象の向きおよび画像内のサイズを含むこと
   を特徴とする点検支援システム。
5. 請求項１に記載の点検支援システムであって、
   前記データ保持部に保持される前記稼働情報に応じた点検種別は、前記稼働情報が予め定めた範囲外となった場合に設定されるアラームフラグおよび前記車体管理情報に含まれるメンテナンス情報に基づくものであり、
   前記ガイダンスデータ抽出部は、前記アラームフラグおよび前記メンテナンス情報に基づいて前記点検種別を特定することを特徴とする点検支援システム。

Images