JP7494470B2 - 建設機械の点検システム - Google Patents

Description

本発明は、建設機械の点検システムに関する。

油圧ショベル等の建設機械では、その機体の各部に異物が当たることや、ブーム、アーム等の可動部に大きな負荷がかかりやすいこと等から、外面部の亀裂等の損傷の有無や、油漏れの有無等を適宜点検する必要がある。

この場合、建設機械を操縦するオペレータ等の点検作業者が、建設機械の近くで目視による点検を行うことが従来より一般に行われている。

また、例えば特許文献１に見られるように、エンジンルームを撮影する点検用カメラが搭載された支持部を建設機械に取付けて、点検作業者が、建設機械の運転室のディスプレイにて、カメラの撮影映像を視認し得るようにした点検装置が知られている。

特開２０１３－２２１３０３号公報

ところで、建設機械の点検作業を、建設機械から離れた場所でも行い得ることが望まれる。特に、遠隔操縦を行い得る建設機械では、それを操縦するオペレータ等が建設機械から離れた場所に居るので、点検作業も、離れた場所で行い得ることが望まれる。

この場合、特許文献１に見られる技術では、点検時に建設機械にカメラを取り付ける必要があるので、カメラの撮影映像を建設機械から離れた場所でディスプレイで見られるようにしても、該カメラの取付け作業を行う作業者が必要になってしまう。また、建設機械に１つのカメラを取り付けただけでは、建設機械の複数の部位の点検を行うことは困難である。ひいては、建設機械に複数のカメラを取り付ける作業や、カメラの取付け部位の変更作業が必要になってしまう。

一方、遠隔操縦を行い得る建設機械の配置環境では、該建設機械の動作状況を視覚的に確認し得るようにするために、通常、該建設機械を外部から撮影し得る複数のカメラが配置される。そこで、これらのカメラを利用して建設機械の点検作業を行うことが考えられる。

本発明はかかる背景に鑑みてなされたものであり、建設機械の点検作業を、離れた場所から適切に行うことを可能とするシステムを提供することを目的とする。

本発明の建設機械の点検システムは、上記の目的を達成するために、建設機械の配置環境に該建設機械の外観を撮影し得るように配置された複数のカメラと、
該複数のカメラのそれぞれの撮影映像を受信可能に前記建設機械の外部に配置され、受信した撮影映像を表示可能な表示器を備える撮影映像処理部と、
前記建設機械の点検時に、少なくとも第１情報及び第２情報に基づいて、前記複数のカメラから、該建設機械の点検対象部位を撮影するためのカメラである点検用カメラを選定するカメラ選定部とを備え、
該第１情報は、前記建設機械と前記複数のカメラのそれぞれとの位置関係、又は、前記建設機械と前記複数のカメラのそれぞれの撮影可能領域との位置関係を示し、該第２情報は、前記建設機械における前記点検対象部位の位置を示し、
前記撮影映像処理部は、前記選定された点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像を受信して、該撮影映像を前記表示器に表示させ得るように構成されていることを特徴とする（第１発明の第１態様）。

かかる第１発明の第１態様によれば、建設機械の配置環境に配置された複数のカメラから、点検対象部位を撮影する上で好適な点検用カメラを選定することができると共に、その点検用カメラの撮影映像（点検対象部位の画像を含む撮影映像）を建設機械の外部の表示器で表示させることができる。このため、点検作業者は、表示器の表示情報から点検対象部位の状態を視覚的に確認することができる。従って、建設機械の点検時に点検用カメラを建設機械に取付けたりする作業を必要とせずに、建設機械の点検作業を、離れた場所から適切に行うことが可能となる。
また、前記カメラ選定部は、前記建設機械と前記複数のカメラのそれぞれとの位置関係、又は、前記建設機械と前記複数のカメラのそれぞれの撮影可能領域との位置関係を示す第１情報と、前記建設機械における前記点検対象部位の位置を示す第２情報とを取得し、少なくとも該第１情報及び該第２情報に基づいて前記点検用カメラを選定するように構成され得るため、上記第１情報及び第２情報に基づいて点検用カメラを選定することで、点検対象部位の画像を含む撮影映像を撮影し得る点検用カメラを適切に選定できる。

本発明の建設機械の点検システムは、上記の目的を達成するために、建設機械の配置環境に該建設機械の外観を撮影し得るように配置された複数のカメラと、
該複数のカメラのそれぞれの撮影映像を受信可能に前記建設機械の外部に配置され、受信した撮影映像を表示可能な表示器を備える撮影映像処理部と、
前記建設機械の点検時に、前記複数のカメラから、該建設機械の点検対象部位を撮影するためのカメラである点検用カメラを選定するカメラ選定部とを備え、
前記カメラ選定部は、前記複数のカメラのそれぞれの撮影映像を取得すると共に、当該それぞれの撮影映像から前記点検対象部位の画像を認識する画像認識処理を実行し、少なくとも該画像認識処理の結果に基づいて前記点検用カメラを選定するように構成され、
前記撮影映像処理部は、前記選定された点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像を受信して、該撮影映像を前記表示器に表示させ得るように構成されていることを特徴とする（第１発明の第２態様）。

かかる第１発明の第２態様によれば、建設機械の配置環境に配置された複数のカメラから、点検対象部位を撮影する上で好適な点検用カメラを選定することができると共に、その点検用カメラの撮影映像（点検対象部位の画像を含む撮影映像）を建設機械の外部の表示器で表示させることができる。このため、点検作業者は、表示器の表示情報から点検対象部位の状態を視覚的に確認することができる。従って、建設機械の点検時に点検用カメラを建設機械に取付けたりする作業を必要とせずに、建設機械の点検作業を、離れた場所から適切に行うことが可能となる。
これによれば、上記画像認識処理の結果に基づいて点検用カメラを選定することで、複数のカメラのうち、点検対象部位の適切な画像を実際に撮影し得るカメラを点検用カメラとして選定することができる。例えば、レンズの汚れや障害物等により、点検対象部位の画像を鮮明に撮影できないカメラが点検用カメラとして選定されてしまうのを防止できる。

上記第１発明では、前記複数のカメラは、前記建設機械の外部に配置されたカメラである外部カメラと、前記建設機械にあらかじめ搭載されているカメラである搭載カメラとを含むことが好ましい（第２発明）。

これによれば、前記複数のカメラが、外部カメラに加えて、搭載カメラを含むので、建設機械の様々な点件対象部位に対して、該点検対象部位の画像含む撮影映像を撮影する上で好適な点検用カメラを選定することが可能となる。

上記第１発明又は第２発明では、前記建設機械の点検対象部位が複数の部位である場合には、前記カメラ選定部は、当該複数の点検対象部位のそれぞれ毎に、前記点検用カメラを選定するように構成されていることが好ましい（第３発明）。

これによれば、複数の点検対象部位のそれぞれ毎に、各点検対象部位を含む画像を含む撮影映像を撮影する上で好適な点検用カメラを選定できる。

上記第１～第３発明では、前記撮影映像処理部は、前記点検用カメラによる撮影映像を取得するとき、該点検用カメラの撮影方向と、該点検用カメラの撮影倍率と、前記建設機械の向きとのうちの少なくとも１つを変化させる機能をさらに有するように構成されていることが好ましい（第４発明）。

これによれば、点検用カメラの撮影映像中に、点検対象部位の状態を確認する上で好適な画像が含まれるように（例えば、点検対象部位の正面画像が撮影映像中の中央付近に写るように、あるいは、該点検対象部位の画像が見やすい大きさの画像になるように）することが可能となる。

上記第１～第４発明では、前記撮影映像処理部は、前記点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像に基づいて、該点検対象部位の状態を判定する機能と、該判定の結果を示す情報を、前記建設機械の点検時に前記表示器を視認する点検作業者に報知する機能とをさらに含み得る（第５発明）。

これによれば、点検作業者は、表示器に表示される点検用カメラの撮影映像中の点検対象部位の画像から該点検対象部位の状態を確認できると共に、上記判定の結果を知ることができるので、点検作業者が点検対象部位の状態を誤って特定してしまうのを防止することが可能となる。

上記第５発明では、前記撮影映像処理部は、前記点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像を前記表示器に表示させることと並行して、該表示器に前記判定の結果を示す情報を表示させるように構成され得る（第６発明）。

これによれば、点検作業者は、表示器に表示される点検用カメラの撮影映像中の点検対象部位の画像から点検対象部位の状態を確認しながら、上記判定の結果を認識できるので、画像に基づく点検対象部位の状態の確認を効率よく行うことが可能となる。

上記第１～第６発明では、前記カメラ選定部及び前記撮影映像処理部は、所定の点検開始条件が成立することに応じて、それぞれの処理を開始するように構成され得る（第７発明）。これによれば、建設機械の点検を好適なタイミングで行うことができる。

本発明の実施形態の点検システムとしての機能を有する遠隔操縦システムの全体構成を示す図。 図１に示す遠隔操縦システムの制御処理に関する構成を示すブロック図。 図１に示す操縦装置の構成を例示する図。 点検用カメラの選定処理に関する説明図。 点検用カメラの撮影映像を例示する図。

本発明の一実施形態を図１～図５を参照して以下に説明する。図１は本実施形態の点検システムとしての機能を含む建設機械の遠隔操縦システム１の全体構成を示している。この遠隔操縦システム１は、オペレータが操縦装置４０を操作することで、該オペレータ又は操縦装置４０に対して操縦対象の建設機械として割り当てられた建設機械１０を遠隔操縦し得るように構成されたシステムである。なお、図１では、建設機械１０と操縦装置４０とをそれぞれ１つだけ代表的に記載しているが、遠隔操縦システム１には、複数の建設機械１０と複数の操縦装置４０とが含まれ得る。

遠隔操縦システム１は、操縦装置４０及び建設機械１０の他、遠隔操縦システム１に関する様々な運営処理、情報処理等を行うサーバ５０と、各建設機械１０が配置される配置環境としての作業現場に設置された複数のカメラ６０（以降、現場設置カメラ６０という）とを含む。

そして、各建設機械１０と各操縦装置４０とサーバ５０とが、無線通信網を含むネットワークＮＷを介して相互に通信を行うことが可能である。また、各操縦装置４０及びサーバ５０は、適宜、ネットワークＮＷを介して現場設置カメラ６０の撮影映像を取得することが可能である。各現場設置カメラ６０は、その撮影方向（光軸の向き）や撮影倍率を操縦装置４０又はサーバ５０からの指令より、適宜変更し得るように構成されている。

各建設機械１０としては、例えば油圧ショベルを採用し得る。この場合、建設機械１０は、公知の油圧ショベルと同様に、クローラ式（又は車輪型）の走行体１１と、該走行体１１に旋回可能に搭載された旋回体１２と、旋回体１２の前部に取り付けられた作業装置１３とを備える。旋回体１２は、運転室１２ａを前部に有し、後述のエンジン２２及び油圧回路装置２１等が収容された機械室１２ｂを後部に有する。また、作業装置１３は、ブーム１３ａ、アーム１３ｂ及びアタッチメント１３ｃ（例えばバケット）を有する。

また、詳細な図示は省略するが、各建設機械１０は、図２に示すように、複数の油圧アクチュエータ２０と、各油圧アクチュエータ２０に作動油を供給するための図示しない油圧ポンプや方向切換弁等を含む油圧回路装置２１と、油圧回路装置２１の油圧ポンプを駆動するエンジン２２と、各油圧アクチュエータ２０の作動を操作するための操作装置２３と、操作装置２３を駆動する電動式の操作駆動装置２４と、建設機械１０の周囲（運転室１２ａの前方を含む）の状況を撮影し得るように旋回体１２等に搭載された複数のカメラ２５（以降、搭載カメラ２５という）と、建設機械１０の運転制御を行う機能を有する制御装置３０（以降、機械側制御装置３０という）とを備える。なお、図２では、油圧アクチュエータ２０及び搭載カメラ２５は、それぞれの１つを代表的に記載している。

油圧アクチュエータ２０には、作業装置１３のブーム１３ａ、アーム１３ｂ及びアタッチメント１３ｃをそれぞれ駆動する油圧シリンダ２０ａ，２０ｂ，２０ｃ（図１に示す）が含まれると共に、走行体１１の走行駆動を行う走行用油圧モータ（図示省略）と、旋回体１２の旋回駆動を行う旋回用油圧モータ（図示省略）とが含まれる。

操作装置２３は、運転室１２ａに配置される操作レバーや操作ペダル、操作スイッチ等を含む。また、操作駆動装置２４は、例えば複数の電動モータを有し、操作装置２３に含まれる操作レバーや操作ペダルを、適宜の動力伝達機を介して電動モータにより駆動し得るように構成されている。

機械側制御装置３０は、例えばマイクロコンピュータ、メモリ（ＲＡＭ、ＲＯＭ等）、インターフェース回路、無線通信機等を含む１つ以上の電子回路ユニットにより構成される。そして、機械側制御装置３０は、実装されたハードウェア構成及びプログラム（ソフトウェア構成）の一方又は両方により実現される機能として、搭載カメラ２５の撮影映像を取得する機能と、操縦装置４０の後述のマスター側制御装置４７及びサーバ５０のそれぞれとの通信をネットワークＮＷを介して行う機能と、油圧回路装置２１に備えられた電動弁（電磁比例弁等）、エンジン２２及び操作駆動装置２４のそれぞれの作動制御を通じて建設機械１０の運転制御を行う機能とを有する。

この場合、機械側制御装置３０は、マスター側制御装置４７又はサーバ５０との通信によって、建設機械１０の作動指令を受信することや、搭載カメラ２５の撮影映像や建設機械１０の作動状態を示す情報をマスター側制御装置４７又はサーバ５０に送信することが可能である。

各操縦装置４０は、図３に示すように、遠隔操縦室４１内に、オペレータが着座するシート４２と、建設機械１０の遠隔操縦のためにオペレータが操作する操作装置４３と、音響情報（聴覚的情報）の出力装置としてのスピーカ４４と、表示情報（視覚的情報）の出力装置としてのディスプレイ４５とを備える。

操作装置４３は、例えば、建設機械１０の操作装置２３と同様もしくは類似の構成のものを採用し得る。例えば図３に例示する操作装置４３は、シート４２に着座したオペレータが操作し得るようにシート４２の前側に配置された操作ペダル４３ａｐ付きの操作レバー４３ａと、シート４２の左右の両側に各々配置された操作レバー４３ｂとを含む。ただし、操作装置４３は、建設機械１０の操作装置２３と異なる構成のものであってもよい。例えば操作装置４３は、ジョイスティック、操作ボタン等を有する携帯型の操作装置であってもよい。

スピーカ４４は、遠隔操縦室４１の複数個所（例えば、遠隔操縦室４１の前部、後部及び左右の両側）に設置されている。ディスプレイ４５は、例えば液晶ディスプレイ、ヘッドアップディスプレイ等により構成され、シート４２に着座したオペレータが視認し得るように遠隔操縦室４１に設置されている。なお、本実施形態では、ディスプレイ４５は、本発明における表示器として機能し得るものである。

また、図２に示すように、操縦装置４０は、さらに、操作装置４３の操作状態を検出するための操作状態検出器４６と、操縦装置４０に関する制御処理を実行する機能を有するマスター側制御装置４７とを備える。なお、マスター側制御装置４７は、遠隔操縦室４１の内部及び外部のいずれに配置されていてもよい。

操作状態検出器４６は、例えば、操作装置４３に組み込まれたポテンショメータ、接点スイッチ等を含み、操作装置４３の各操作部（操作レバー４３ａ，４３ｂ、操作ペダル４３ａｐ等）の操作状態を示す検出信号を出力するように構成されている。

マスター側制御装置４７は、例えば、マイクロコンピュータ、メモリ（ＲＡＭ、ＲＯＭ等）、インターフェース回路、通信機等を含む１つ以上の電子回路ユニットにより構成される。そして、マスター側制御装置４７は、実装されたハードウェア構成及びプログラム（ソフトウェア構成）の一方又は両方により実現される機能として、操作状態検出器４６の検出信号を取得する機能と、操縦対象の建設機械１０が配置された作業現場の現場設置カメラ６０の撮影映像をネットワークＮＷを介して取得する機能と、操縦対象の各建設機械１０の機械側制御装置３０及びサーバ５０のそれぞれとの通信をネットワークＮＷを介して行う機能と、スピーカ４４の作動制御及びディスプレイ４５の表示制御を行う機能とを有する。

この場合、マスター側制御装置４７は、建設機械１０の機械側制御装置３０との通信によって、該建設機械１０の搭載カメラ２５の撮影映像や、該建設機械１０の作動状態を示す情報を機械側制御装置３０から取得し得ると共に、操作装置４３の操作状態に応じて生成した建設機械１０の作動指令を機械側制御装置３０に送信することが可能である。また、マスター側制御装置４７は、サーバ５０との通信によって、建設機械１０の遠隔操縦に関する様々な情報や指令をサーバ５０から取得することが可能である。

サーバ５０は、例えば１つ以上のコンピュータ、あるいは、マイクロコンピュータ等を含む１つ以上の電子回路ユニット、あるいは、これらの組み合わせにより構成される。そして、サーバ５０は、実装されたハードウェア構成及びプログラム（ソフトウェア構成）の一方又は両方により実現される機能として、各現場設置カメラ６０の撮影映像をネットワークＮＷを介して取得する機能と、各建設機械１０の機械側制御装置３０及び各操縦装置４０のマスター側制御装置４７のそれぞれとの通信をネットワークＮＷを介して行う機能とを有する。さらに、サーバ５０は、操縦装置４０のオペレータ等が操作可能な図示しない通信端末（例えば、スマートフォン、タブレット端末、パソコン等）と通信を行うことも可能である。

そして、サーバ５０は、建設機械１０の機械側制御装置３０との通信によって、該建設機械１０の搭載カメラ２５の撮影映像や、該建設機械１０の作動状態を示す情報を機械側制御装置３０から取得し得る。

また、サーバ５０は、操縦装置４０のマスター側制御装置４７との通信によって、操縦装置４０の作動状態を示す情報をマスター側制御装置４７から取得し得ると共に、建設機械１０の遠隔操縦又は点検に関する様々な情報や指令を、該建設機械１０を操縦可能な操縦装置４０のマスター側制御装置４７に送信することが可能である。

また、サーバ５０には、建設機械１０及び操縦装置４０のそれぞれの稼働スケジュール及び稼働履歴を示す情報が記憶保持されていると共に、各現場設置カメラ６０の位置情報（グローバル座標系で見た各現場設置カメラ６０の位置を示す情報）もしくは各現場設置カメラ６０の撮影可能領域の位置情報（グローバル座標系で見た各現場設置カメラ６０の撮影可能範囲の位置を示す情報）が記憶保持されている。なお、各現場設置カメラ６０の位置情報には、各現場設置カメラ６０の光軸の向き、もしくはその可変範囲を示す情報が含まれ得る。また、各現場設置カメラ６０又はその撮影可能範囲の位置情報を、各現場設置カメラ６０に備えられたメモリに記憶保持しておき、それをサーバ５０が各現場設置カメラ６０から適宜、取得し得るようにしてもよい。

さらに、サーバ５０は、各建設機械１０の位置情報（グローバル座標系で見た建設機械１０の位置を示す情報）を、ＧＮＳＳ（Global Navigation Satellite System）や、各建設機械１０が配置された作業現場の現場設置カメラ６０の撮影映像、もしくは、各建設機械１０の周囲に存在する他の建設機械１０の搭載カメラ２５の撮影映像を用いて、適宜、取得することが可能である。なお、建設機械１０の位置情報には、該建設機械１０の走行体１１又は旋回体１２の向きを示す情報が含まれ得る。

また、サーバ５０には、建設機械１０の機種毎に、各機種の建設機械１０について外観に基づく点検を適宜実施すべき部位としてあらかじめ定められた複数の点検対象部位の位置情報（建設機械１０に設定されたローカル座標系で見た位置を示す情報）と、各機種の建設機械１０の各搭載カメラ２５の位置情報（建設機械１０に設定されたローカル座標系で見た位置を示す情報）、もしくは、各搭載カメラ２５の撮影可能範囲の位置情報（建設機械１０に設定されたローカル座標系で見た位置を示す情報）とが保存されている。なお、各搭載カメラ２５の位置情報には、カメラ２５の光軸の向きを示す情報が含まれ得る。

補足すると、建設機械１０の各点検対象部位の位置情報と、建設機械１０の各搭載カメラ２５もしくはその撮影可能範囲の位置情報とを、該建設機械１０の機械側制御装置３０に記憶しておき、これらの位置情報をサーバ５０が適宜、機械側制御装置３０から取得し得るようにしてもよい。

そして、サーバ５０は、建設機械１０の複数の点検対象部位の点検に関する処理として、操縦装置４０のマスター側制御装置４７との協働によって、操縦装置４０のディスプレイ４５に点検用の撮影映像等を表示させる撮影映像処理部５０ａとしての機能と、建設機械１０の搭載カメラ２５と該建設機械１０が配置される作業現場の現場設置カメラ６０とから点検用の撮影映像を撮影するための点検用カメラを選定するカメラ選定部５０ｂとしての機能とを含む。この場合、撮影映像処理部５０ａは、現場設置カメラ６０又は搭載カメラ２５の撮影映像に建設機械１０が写っている場合に、該撮影映像に写っている該建設機械１０の各点検対象部位の画像部分を特定する機能と、点検用カメラの撮影映像から点検対象部位の状態を判定する（正常な状態であるか、何らかの異常があるかの判定を行う）機能とを含む。補足すると、本実施形態では、操縦装置４０のマスター側制御装置４７は、本発明における撮影映像処理部の一部の機能を含む。

次に、各建設機械１０の点検作業に関して説明する。各建設機械１０の点検（外観に基づく点検）を行う点検作業者は、該点検を実施しようとするとき、その旨を、操縦装置４０の所定の操作によって、あるいは、該点検作業者が操作可能な通信端末の所定の操作によって、サーバ５０に通知する。これに応じて、サーバ５０は、該建設機械１０の点検に関する処理を開始する。

あるいは、サーバ５０は、各建設機械１０の稼働スケジュールもしくは稼働履歴に基づく、所定の点検開始条件が成立したタイミング（例えば、該建設機械１０による作業開始前のタイミング、あるいは、作業終了後のタイミング、あるいは、建設機械１０の累積の稼働時間が所定時間に達した時点の近辺のタイミング等）において、点検作業者が点検対象の建設機械１０を操縦可能な操縦装置４０を起動した状態で、該建設機械１０の点検に関する処理を開始する。なお、上記点検作業者は、建設機械１０を操縦するオペレータに限らず、該オペレータ以外の作業者であってもよい。

このとき、サーバ５０は、点検対象の建設機械１０の複数の点検対象部位のそれぞれを、点検作業者による操縦装置４０の操作（もしくは通信端末の操作）に応じて順次選択する。あるいは、サーバ５０は、建設機械１０の複数の点検対象部位のそれぞれを、所定の順番で順次選択する。そして、サーバ５０は、点検対象の建設機械１０が配置された作業現場の複数の現場設置カメラ６０と、点検対象の建設機械１０の複数の搭載カメラ２５と、点検対象の建設機械１０の周囲に存在する他の建設機械１０の搭載カメラ２５とのうちのいずれかのカメラを、点検対象の建設機械１０について選択した点検対象部位（以降、単に選択点検対象部位という）を撮影するための点検用カメラとして選定する処理をカメラ選定部５０ｂにより実行する。なお、本実施形態では、点検対象の建設機械１０が配置された作業現場（配置環境）の複数の現場設置カメラ６０と、該建設機械１０の周囲に存在する他の建設機械１０の搭載カメラ２５とが本発明における外部カメラに相当する。

カメラ選定部５０ｂの処理は、具体的には以下のように実行される。すなわち、カメラ選定部５０ｂは、点検対象の建設機械１０が配置された作業現場の各現場設置カメラ６０もしくはその撮影可能範囲の位置情報と、点検対象の建設機械１０の位置情報と、該建設機械１０での選択点検対象部位の位置情報とに基づいて、あるいは、これらの位置情報と、点検対象の建設機械１０の旋回体１２及び作業装置１３の両方もしくは一方の姿勢に関する検出情報とに基づいて、各現場設置カメラ６０と、選択点検対象部位との位置関係を特定する。

この場合、特定する位置関係には、例えば、各現場設置カメラ６０と選択点検対象部位との距離と、各現場設置カメラ６０に対する選択点検対象部位の方位と、各現場設置カメラ６０の撮影可能な範囲内に選択点検対象部位が存在するか否かの情報とが含まれる。

また、建設機械１０の旋回体１２の姿勢に関する検出情報としては、例えば旋回体１２の旋回角度の検出値及び旋回体１２の傾斜角度の検出値が用いられ、作業装置１３の姿勢に関する検出情報としては、例えばブーム１３ａ、アーム１３ｂ及びアタッチメント１３ｃの揺動角度の検出値が用いられる。そして、サーバ５０は、これらの検出情報を、点検対象の建設機械１０の機械側制御装置３０を介して取得する。

また、カメラ選定部５０ｂは、点検対象の建設機械１０での各搭載カメラ２５もしくはその撮影可能範囲の位置情報と、該建設機械１０での選択点検対象部位の位置情報とに基づいて、あるいは、これらの位置情報と、点検対象の建設機械１０の旋回体１２及び作業装置１３の両方もしくは一方の姿勢に関する検出情報とに基づいて、点検対象の建設機械１０の各搭載カメラ２５と、選択点検対象部位との位置関係を特定する。

この場合、特定する位置関係には、例えば、点検対象の建設機械１０の各搭載カメラ２５と選択点検対象部位との距離と、各搭載カメラ２５に対する選択点検対象部位の方位と、各搭載カメラ２５の撮影可能な範囲内に選択点検対象部位が存在するか否かの情報とが含まれる。なお、点検対象の建設機械１０の旋回体１２及び作業装置１３のそれぞれの姿勢に関する検出情報は、各現場設置カメラ６０と、選択点検対象部位との位置関係を特定する場合と同様に取得し得る。

また、カメラ選定部５０ｂは、点検対象の建設機械１０の周囲に存在する他の建設機械１０の位置情報と、該他の建設機械１０での各搭載カメラ２５もしくはその撮影可能範囲の位置情報と、点検対象の建設機械１０の位置情報と、該点検対象の建設機械１０での選択点検対象部位の位置情報とに基づいて、あるいは、これらの位置情報と、上記他の建設機械１０の旋回体１２及び作業装置１３の両方もしくは一方の姿勢に関する検出情報と、点検対象の建設機械１０の旋回体１２及び作業装置１３の両方もしくは一方の姿勢に関する検出情報とに基づいて、上記他の建設機械１０の各搭載カメラ２５と、点検対象の建設機械１０の選択点検対象部位との位置関係を特定する。

この場合、特定する位置関係には、例えば、上記他の建設機械１０の各搭載カメラ２５と点検対象の建設機械１０の選択点検対象部位との距離と、上記他の建設機械１０の各搭載カメラ２５に対する点検対象の建設機械１０の選択点検対象部位の方位と、上記他の建設機械１０の各搭載カメラ２５の撮影可能な範囲内に選択点検対象部位が存在するか否かの情報が含まれる。なお、点検対象の建設機械１０の旋回体１２及び作業装置１３のそれぞれの姿勢に関する検出情報は、各現場設置カメラ６０と、選択点検対象部位との位置関係を特定する場合と同様に取得し得る。このことは、点検対象の建設機械１０の周囲に存在する他の建設機械１０の旋回体１２及び作業装置１３のそれぞれの姿勢に関する検出情報についても同様である。

上記の如くカメラ選定部５０ｂは、点検対象の建設機械１０が配置された作業現場の各現場設置カメラ６０と、該建設機械１０の各搭載カメラ２５と、該建設機械１０の周囲に存在する他の建設機械１０の各搭載カメラ２５とのそれぞれと、点検対象の建設機械１０の選択点検対象部位との位置関係を特定する。

そして、カメラ選定部５０ｂは、当該位置関係の特定結果に基づいて、選択点検対象部位を撮影し得るカメラ（撮影可能範囲に選択点検対象部位を含むカメラ）を点検用カメラの候補（以降、点検用カメラ候補という）として抽出する。さらに、カメラ選定部５０ｂは、当該点検用カメラ候補のそれぞれの撮影画像（選択点検対象部位を撮影範囲内に含む撮影画像）を取得する。この場合、カメラ選定部５０ｂは、点検用カメラ候補がその光軸の向きを変更し得るものである場合には、該光軸の可変範囲内で、該光軸の向きを選択点検対象部位に極力近づけるように該点検用カメラ候補の向きを調整した上で、該点検用カメラ候補の撮影映像を取得する。

そして、カメラ選定部５０ｂは、各点検用カメラ候補の撮影画像に対する画像認識処理によって、該撮影画像から選択点検対象部位の画像を認識し得るか否かを判定し、その判定結果が肯定的となった点検用カメラ候補を、選択点検対象部位に対する点検用カメラとして決定する。この場合、選択点検対象部位の画像をサーバ５０が認識し得る撮影映像を取得可能な点検用カメラ候補が複数ある場合には、それらの複数の点検用カメラ候補が点検用カメラとして決定される。

例えば、図４に示す状況において、点検対象の建設機械１０のブーム１３ａとアーム１３ｂとの連結部分が選択点検対象部位１０ｘである場合を想定する。ここでは、点検対象の建設機械１０の作業現場に、３つの現場設置カメラ６０（６０ａ，６０ｂ，６０ｃ）が設置されており、また、点検対象の建設機械１０の周囲には、他の建設機械１０が存在しないものとする。また、図４では、建設機械１０の搭載カメラ２５として、例えば運転室１２ａの天井部に前方を撮影し得るように搭載された搭載カメラ２５ａだけを代表的に図示している。

この場合、建設機械１０の作業現場の現場設置カメラ６０（６０ａ，６０ｂ，６０ｃ）のうち、現場設置カメラ６０ａ，６０ｂのそれぞれの撮影可能範囲に、選択点検対象部位１０ｘが含まれる一方、現場設置カメラ６０ｃの撮影可能範囲には、選択点検対象部位１０ｘが含まれない。また、現場設置カメラ６０ａの撮影画像には、選択点検対象部位１０ｘの画像が写るものの、現場設置カメラ６０ｂと、選択点検対象部位１０ｘとの間には、障害物が存在するために、現場設置カメラ６０ｂの撮影映像には、選択点検対象部位１０ｘの画像が写らない。

また、建設機械１０の搭載カメラ２５のうち、搭載カメラ２５ａの撮影可能範囲に選択点検対象部位１０ｘが存在し、他の搭載カメラ２５（図示せず）の撮影可能範囲には、選択点検対象部位１０ｘは含まれない。そして、搭載カメラ２５ａの撮影映像には、選択点検対象部位１０ｘの画像が写る。

このような状況では、現場設置カメラ６０ａ，６０ｂと搭載カメラ２５ａとが点検用カメラ候補として抽出され、さらに、現場設置カメラ６０ａと搭載カメラ２５ａとが点検用カメラとして選定される。

上記の如くカメラ選定部５０ｂにより点検用カメラを決定することで、点検対象の建設機械１０が配置された作業現場の現場設置カメラ６０と、該建設機械１０の搭載カメラ２５と、該建設機械１０の周囲に存在する他の建設機械１０の搭載カメラ２５とのうち、選択点検対象部位の適正な（明瞭な）画像を適切に撮影し得る１つ又は複数のカメラが点検用カメラとして選定される。このため、選択点検対象部位が撮影可能範囲に含まれないカメラはもちろん、障害物やカメラのレンズの汚れ等に起因して、選択点検対象部位の画像を適正に撮影できないカメラが、点検用カメラとして選定されるのを防止できる。

補足すると、選択点検対象部位の適正な（明瞭な）画像を撮影し得る点検用カメラ候補が複数ある場合において、それらの複数の点検用カメラ候補のうち、例えば選択点検対象部位との距離が最も近いか、もしくは、該距離が所定距離内となる点検用カメラ候補を点検用カメラとして選定してもよい。例えば、図４に示す状況で、搭載カメラ２５ａだけを点検用カメラとして選定してもよい。

あるいは、選択点検対象部位の適正な（明瞭な）画像を撮影し得る複数の点検用カメラ候補のうち、例えば選択点検対象部位の正面方向に対する光軸方向の偏差が最小もしくは所定範囲内になる点検用カメラ候補を点検用カメラとして決定してもよい。例えば、図４に示す状況で、現場設置カメラ６０ａだけを点検用カメラとして選定してもよい。

サーバ５０は上記の如くカメラ選定部５０ｂにより点検用カメラを選定した後、撮影映像処理部５０ａの処理を実行する。該撮影映像処理部５０ａは、点検用カメラの撮影映像を、点検対象の建設機械１０のマスター側制御装置４７に送信すると共に、該撮影映像をディスプレイ４５に表示させるようにマスター側制御装置４７に指令する。

これに応じて、マスター側制御装置４７は、点検用カメラの撮影映像をディスプレイ４５に表示させる。この場合、点検用カメラが複数である場合には、点検作業者による操縦装置４０の所定の操作に応じて、各点検用カメラの撮影映像を選択的にディスプレイ４５に表示させることもできる。例えば、図４に示す状況において、点検用カメラとしての現場設置カメラ６０の撮影画像が、図５に例示する如く、ディスプレイ４５に表示される。

また、点検用カメラが撮影倍率や、撮影方向（光軸方向）を調整し得るものである場合には、点検作業者は、操縦装置４０の所定の操作、あるいは、通信端末（図示しない）の操作によって、点検用カメラの撮影倍率や、撮影方向の調整をサーバ５０に指令することもできる。このとき、サーバ５０は点検用カメラの撮影倍率や撮影方向を、点検作業者による指令に応じて制御する。

補足すると、例えばサーバ５０が点検対象の建設機械１０の自動操縦を行い得るように構成されている場合には、サーバ５０の撮影映像処理部５０ａは、点検作業者からの要求（操縦装置４０又は通信端末の操作による要求）に応じて、点検用カメラに対する建設機械１０の向きを調整するように、該建設機械１０の走行体１１の走行動作や旋回体１２の旋回動作を行わせるようにしてもよい。あるいは、操縦装置４０のマスター側制御装置４７が、点検作業者からの要求（操縦装置４０又は通信端末の操作による要求）に応じて、点検用カメラに対する建設機械１０の向きを調整するように、該建設機械１０の走行体１１の走行動作や旋回体１２の旋回動作を行わせるようにしてもよい。

また、サーバ５０の撮影映像処理部５０ａは、点検用カメラの撮影映像から、事前学習に基づいて、選択点検対象部位が、正常な状態であるか否かを判定する。例えば、正常な状態であるときの建設機械１０の各点検対象部位の画像を事前学習させることにより学習済みモデルを作成し、この学習済みモデルに基づいて、選択点検対象部位が、正常な状態であるか否かが判定される。そして、その判定結果を示す情報をマスター側制御装置４７に送信する。このとき、マスター側制御装置４７は、判定結果を示す情報を、点検用カメラの撮影映像と共に、ディスプレイ４５に表示し、あるいは、音声によりスピーカ４４から出力させる。

点検作業者は、上記の如くディスプレイ４５に表示される点検用カメラの撮影映像に基づいて、選択点検対象部位に亀裂や油漏れ等の異常があるか否かを確認する。この時、点検作業者は、サーバ５０の撮影映像処理部５０ａによる判定結果を、ディスプレイ４５の表示、あるいはスピーカ４４から出力される音声により認識し、その判定結果と自身の判定結果とを照合することができる。

このため、点検作業者は、選択点検対象部位の異常の有無を慎重に判定することができ、ひいては、信頼性の高い判定を行うことができる。特に、サーバ５０による判定結果が、点検用カメラの撮影映像と共に、ディスプレイ４５に表示される場合には、点検作業者は、サーバ５０による判定結果を視覚的に認識しながら、選択点検対象部位の画像を注意深く視認することができるため、該点検作業者による異常の有無の判定結果の信頼性を効果的に高めることができる。

そして、点検作業者による選択点検対象部位の異常の有無の判定結果は、該点検作業者による操縦装置４０の操作、あるいは通信端末の操作によって、サーバ５０に送信され、該サーバ５０で保存される。本実施形態では、点検対象の建設機械１０の複数の点検対象部位のそれぞれについて、順次、上記の如く外観に基づく点検が実施される。なお、建設機械１０の複数の点検対象部位のそれぞれについての異常の有無の判定結果は、サーバ５０から建設機械１０の管理者等に通知される。あるいは、該判定結果は、点検作業者が通信端末等を介して建設機械１０の管理者等に通知する。

以上説明した実施形態によれば、点検対象の建設機械１０の作業現場の現場設置カメラ６０、あるいは、該点検対象の建設機械１０の周囲に存在する他の建設機械１０の搭載カメラ２５、あるいは、該点検対象の建設機械１０の搭載カメラ２５を点検用カメラとして利用することができる。このため、点検作業者は、建設機械１０に点検用のカメラを装着する作業を行ったりすることを必要とせずに、該建設機械１０から離れた場所で、該建設機械１０の複数の点検対象部位のそれぞれの適正な撮影映像を見ることができる。ひいてては、該建設機械１０の複数の点検対象部位のそれぞれの外観に基づく点検を、該建設機械１０から離れた場所で効率よく実施することができる。

また、点検作業者は、点検用カメラの撮影映像の倍率や撮影方向を調整することもできるので、点検対象部位の異常の有無を確認しやすい撮影映像を見ることができる。このため、点検作業者による異常の有無の判定結果の信頼性を高めることができる。加えて、点検作業者は、サーバ５０による判定結果を知ることがもできるので、点検対象部位の異常の有無を慎重に判定することができ、ひいては、点検作業者による判定結果の信頼性をより一層高めることができる。

なお、本発明は、以上説明した実施形態に限定されるものではなく、他の実施形態を採用することもできる。以下に他の実施形態をいくつか説明する。前記実施形態では、サーバ５０に撮影映像処理部５０ａ及びカメラ選定部５０ｂとしての機能を持たせたが、撮影映像処理部５０ａ及びカメラ選定部５０ｂの機能の全体又は一部を操縦装置４０のマスター側制御装置４７、あるいは、点検作業者が操作可能な通信端末に持たせてもよい。

また、前記実施液体では、点検用カメラの撮影映像を表示する表示器として、操縦装置４０のディスプレイ４５を使用したが、該表示器は、例えば、点検作業者が操作可能な通信端末の表示器であってもよい。

また、前記実施形態では、本発明における外部カメラとして、現場設置カメラ６０と、点検対象の建設機械１０の周囲に存在する他の建設機械１０の搭載カメラ２５を使用したが、該外部カメラは、例えば、作業現場で飛行させるドローン等の飛行体に搭載されるカメラを含んでいてもよい。

また、前記実施形態では、点検対象の建設機械１０が配置された作業現場の各現場設置カメラ６０、該建設機械１０の各搭載カメラ２５、及び、該建設機械１０の周囲に存在する他の建設機械１０の各搭載カメラ２５のそれぞれと、点検対象の建設機械１０の選択点検対象部位との位置関係に基づいて抽出した点検用カメラ候補うち、選択点検対象部位の画像を撮影し得るカメラを点検用カメラとして選定した。

ただし、例えば、上記位置関係に基づいて、撮影可能範囲内に選択点検対象部位が含まれると判断し得る各カメラを点検用カメラとして選定してもよい。あるいは、例えば、点検対象の建設機械１０が配置された作業現場の各現場設置カメラ６０、該建設機械１０の各搭載カメラ２５、及び、該建設機械１０の周囲に存在する他の建設機械１０の各搭載カメラ２５のそれぞれの撮影映像を取得すると共に、それぞれの撮影映像に対して選択点検対象部位の画像を認識する画像認識処理を実行し、選択点検対象部位の画像が写っているカメラを点検用カメラとして選定してもよい。

また、前記実施形態では、建設機械１０として、油圧ショベルを例示したが、本発明における建設機秋は、油圧ショベルに限らず、例えば、クレーン等の建設機械であってもよい。

１…遠隔操縦システム（点検システム）、１０…建設機械、１０ｘ…点検対象部位、２５…搭載カメラ、６０…現場設置カメラ（外部カメラ）、５０ａ…撮影映像処理部、５０ｂ…カメラ選定部。

Claims (8)

1. 建設機械の配置環境に該建設機械の外観を撮影し得るように配置された複数のカメラと、
   該複数のカメラのそれぞれの撮影映像を受信可能に前記建設機械の外部に配置され、受信した撮影映像を表示可能な表示器を備える撮影映像処理部と、
   前記建設機械の点検時に、少なくとも第１情報及び第２情報に基づいて、前記複数のカメラから、前記建設機械の点検対象部位を撮影するためのカメラである点検用カメラを選定するカメラ選定部とを備え、
   前記第１情報は、前記建設機械と前記複数のカメラのそれぞれとの位置関係、又は、前記建設機械と前記複数のカメラのそれぞれの撮影可能領域との位置関係を示す情報であり、かつ、前記第２情報は、前記建設機械における前記点検対象部位の位置を示す情報であり、
   前記撮影映像処理部は、前記選定された点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像を受信して、該撮影映像を前記表示器に表示させ得るように構成されていることを特徴とする建設機械の点検システム。
2. 建設機械の配置環境に該建設機械の外観を撮影し得るように配置された複数のカメラと、
   該複数のカメラのそれぞれの撮影映像を受信可能に前記建設機械の外部に配置され、受信した撮影映像を表示可能な表示器を備える撮影映像処理部と、
   前記建設機械の点検時に、前記複数のカメラから、該建設機械の点検対象部位を撮影するためのカメラである点検用カメラを選定するカメラ選定部とを備え、
   前記カメラ選定部は、前記複数のカメラのそれぞれの撮影映像を取得すると共に、当該それぞれの撮影映像から前記点検対象部位の画像を認識する画像認識処理を実行し、少なくとも該画像認識処理の結果に基づいて前記点検用カメラを選定するように構成され、
   前記撮影映像処理部は、前記選定された点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像を受信して、該撮影映像を前記表示器に表示させ得るように構成されていることを特徴とする建設機械の点検システム。
3. 請求項１又は２記載の建設機械の点検システムにおいて、
   前記複数のカメラは、前記建設機械の外部に配置されたカメラである外部カメラと、前記建設機械にあらかじめ搭載されているカメラである搭載カメラとを含むことを特徴とする建設機械の点検システム。
4. 請求項１～３のいずれか１項に記載の建設機械の点検システムにおいて、
   前記建設機械の点検対象部位は複数の部位であり、前記カメラ選定部は、当該複数の点検対象部位のそれぞれ毎に、前記点検用カメラを選定するように構成されていることを特徴とする建設機械の点検システム。
5. 請求項１～４のいずれか１項に記載の建設機械の点検システムにおいて、
   前記撮影映像処理部は、前記点検用カメラによる撮影映像を取得するとき、該点検用カメラの撮影方向と、該点検用カメラの撮影倍率と、前記建設機械の向きとのうちの少なくとも１つを変化させる機能をさらに有するように構成されていることを特徴とする建設機械の点検システム。
6. 請求項１～５のいずれか１項に記載の建設機械の点検システムにおいて、
   前記撮影映像処理部は、前記点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像に基づいて、該点検対象部位の状態を判定する機能と、該判定の結果を示す情報を、前記建設機械の点検時に前記表示器を視認する点検作業者に報知する機能とをさらに含むことを特徴とする建設機械の点検システム。
7. 請求項６記載の建設機械の点検システムにおいて、
   前記撮影映像処理部は、前記点検用カメラにより前記点検対象部位の画像を含むように撮影された撮影映像を前記表示器に表示させることと並行して、該表示器に前記判定の結果を示す情報を表示させるように構成されていることを特徴とする建設機械の点検システム。
8. 請求項１～７のいずれか１項に記載の建設機械の点検システムにおいて、
   前記カメラ選定部及び前記撮影映像処理部は、所定の点検開始条件が成立することに応じて、それぞれの処理を開始するように構成されていることを特徴とする建設機械の点検システム。
   

Images