JP7361992B2 - 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム - Google Patents

Description

本開示は、点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラムに関する。

スマートフォン及びタブレット型コンピュータなどの携帯端末により、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用いて、インフラ施設などにおける設備の点検を支援する技術の提案がある。例えば、特許文献１を参照。この技術が適用された携帯端末は、基準マーカが備えられた点検対象を検出し、検出された点検対象の登録情報を管理データベースから取得し、取得した情報をカメラ映像の上に重畳表示することができる。

特開２０２０－８０１４７号公報（例えば、段落００１２～００３７）

しかしながら、上記従来の技術では、ユーザは、事前に点検対象に基準マーカを取り付ける、及び事前に点検対象の位置情報をデータベースに入力する、などの面倒な準備作業を行う必要があった。

本開示は、準備作業を必要とせずに点検作業を支援することを可能にする点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラムを提供することを目的とする。

本開示の点検支援装置は、携帯端末に備えられたカメラにより撮影されたカメラ画像と前記携帯端末に備えられた慣性センサにより得られた検出信号とのうちの少なくとも一方に基づいて、３次元座標系における前記携帯端末の位置姿勢を推定する端末位置姿勢推定部と、前記カメラにより撮影されたカメラ画像から、点検対象を検出する点検対象検出部と、前記カメラ画像において検出された前記点検対象を示す点検対象領域を撮影時刻順に時系列で追跡して、時系列に並ぶ複数枚のカメラ画像において同じ点検対象領域を特定する点検対象追跡部と、前記携帯端末の前記位置姿勢と前記複数枚のカメラ画像のうちの少なくとも２枚のカメラ画像における前記点検対象領域とに基づいて、前記点検対象領域の前記３次元座標系における座標を推定する点検対象位置推定部と、前記点検対象領域を視認可能にする表示部品を表示装置に表示させる表示制御部と、端末位置姿勢復帰部と、を有し、前記端末位置姿勢推定部は、前記カメラ画像と前記携帯端末の前記位置姿勢とを関連付けて端末位置姿勢記憶部に記憶させ、前記端末位置姿勢復帰部は、前記端末位置姿勢記憶部に記憶されている前記カメラ画像のうちの、現在のカメラ画像に最も近いカメラ画像に紐付いた前記位置姿勢を、現在の位置姿勢として前記端末位置姿勢推定部に提供することを特徴とする。

本開示の点検支援方法は、点検支援装置によって実行される方法であって、携帯端末に備えられたカメラにより撮影されたカメラ画像と前記携帯端末に備えられた慣性センサにより得られた検出信号とのうちの少なくとも一方に基づいて、３次元座標系における前記携帯端末の位置姿勢を推定するステップと、前記カメラにより撮影されたカメラ画像から、点検対象を検出するステップと、前記カメラ画像において検出された前記点検対象を示す点検対象領域を撮影時刻順に時系列で追跡して、時系列に並ぶ複数枚のカメラ画像において同じ点検対象領域を特定するステップと、前記携帯端末の前記位置姿勢と前記複数枚のカメラ画像のうちの少なくとも２枚のカメラ画像における前記点検対象領域とに基づいて、前記点検対象領域の前記３次元座標系における座標を推定するステップと、前記点検対象領域を視認可能にする表示部品を表示装置に表示させるステップと、前記携帯端末の前記位置姿勢を推定する前記ステップにおいて、前記カメラ画像と前記携帯端末の前記位置姿勢とを関連付けて端末位置姿勢記憶部に記憶させるステップと、前記点検支援装置の起動時における前記携帯端末の前記位置姿勢を推定する前記ステップにおいて、前記端末位置姿勢記憶部に記憶されている前記カメラ画像のうちの、現在のカメラ画像に最も近いカメラ画像に紐付いた前記位置姿勢を、前記携帯端末の現在の位置姿勢と推定するステップと、を有することを特徴とする。

本開示によれば、準備作業を必要とせずに点検作業を支援することができる。

実施の形態１に係る点検支援装置及び携帯端末の構成を概略的に示す機能ブロック図である。 実施の形態１に係る端末装置と点検対象の例を示す図である。 実施の形態１に係る端末装置の表示装置の表示例を示す図である。 実施の形態１に係る点検支援装置及び携帯端末のハードウェア構成の例を示す図である。 実施の形態１に係る点検支援装置及び携帯端末のハードウェア構成の他の例を示す図である。 実施の形態１に係る点検支援装置による端末位置姿勢推定スレッドを示すフローチャートである。 実施の形態１に係る点検支援装置による点検対象取得スレッドを示すフローチャートである。 実施の形態２に係る点検支援装置及び携帯端末の構成を概略的に示す機能ブロック図である。 実施の形態２に係る端末装置のカメラ画像の表示例（文字列読取時）を示す図である。 実施の形態２に係る端末装置の表示装置の表示例を示す図である。 実施の形態３に係る点検支援装置及び携帯端末の構成を概略的に示す機能ブロック図である。 実施の形態３に係る端末装置の表示装置の表示例を示す図である。 実施の形態４に係る点検支援装置及び携帯端末の構成を概略的に示す機能ブロック図である。 実施の形態５に係る点検支援装置及び携帯端末の構成を概略的に示す機能ブロック図である。 実施の形態６に係る点検支援装置及び携帯端末の構成を概略的に示す機能ブロック図である。 実施の形態６に係る端末装置の表示装置の表示例を示す図である。 実施の形態７に係る点検支援装置及び携帯端末の構成を概略的に示す機能ブロック図である。 実施の形態７に係る端末装置の表示装置の表示例を示す図である。

以下に、実施の形態に係る点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

実施の形態１．
図１は、実施の形態１に係る点検支援装置１００及び携帯端末１０の構成を概略的に示す機能ブロック図である。点検支援装置１００は、実施の形態１に係る点検支援方法を実行することができる装置である。点検支援装置１００は、点検支援プログラムを実行することにより点検支援方法を実行することができる。

図１に示されるように、携帯端末１０は、点検支援装置１００と、カメラ１１０と、表示装置１８０とを有している。カメラ１１０は、例えば、ＲＧＢカメラである。カメラ１１０は、ステレオカメラであってもよい。表示装置１８０は、例えば、液晶表示装置などの、表示装置である。表示装置１８０は、表示装置としての機能とユーザ操作部である入力部としての機能とを備えたタッチパネルであってもよい。また、携帯端末１０は、慣性センサ（後述の図４で説明される）を備えてもよい。

図１に示されるように、点検支援装置１００は、端末位置姿勢推定部１２０と、点検対象検出部１３０と、点検対象追跡部１４０と、点検対象位置推定部１５０と、表示装置１８０に画像を表示させる表示制御部１７０とを有している。点検支援装置１００は、情報を記憶する記憶装置である点検対象記憶部１６０を有してもよい。

端末位置姿勢推定部１２０は、カメラ１１０で撮影したカメラ画像から、世界空間を表す３次元座標系における携帯端末の位置姿勢（すなわち、位置及び姿勢）を推定する。この３次元座標系は、予め定められた位置（例えば、地球上における予め決められた経緯度又は予め決められた建築物の点）を原点とする座標系である必要はない。３次元座標系は、予め定められた座標系である必要はなく、例えば、点検支援装置１００の動作開始時（例えば、携帯端末１０の電源投入時又は点検支援プログラムの実行アプリの起動時）における携帯端末１０の位置及び姿勢に基づいて決定すればよい。つまり、端末位置姿勢推定部１２０は、携帯端末の起動時（すなわち、装置起動時）又は点検支援プログラムの起動時（すなわち、アプリ起動時）における携帯端末の位置及び姿勢に基づいて、原点及び３次元座標系を設定してもよい。したがって、起動時（すなわち、装置起動時又はアプリ起動時）における携帯端末の位置姿勢から、携帯端末の位置姿勢の変化を積分していくことで、起動時の位置を原点とした３次元座標系における、各時刻における携帯端末の位置姿勢を推定することができる。推定方法としては、カメラ画像中の特徴量の情報に基づいて各時刻における位置姿勢を計算する方法、加速度センサによる速度及び角速度センサによる回転などの情報に基づいて各時刻における位置姿勢を計算する方法がある。位置姿勢を推定する方法としては、既存の方法を使用することができる。

携帯端末１０が慣性センサ（図３に示される）を有する場合には、端末位置姿勢推定部１２０は、カメラ１１０により撮影されたカメラ画像と慣性センサにより得られた検出信号とのうちの少なくとも一方に基づいて、３次元座標系における携帯端末１０の位置及び姿勢を推定してもよい。また、端末位置姿勢推定部１２０は、カメラ１１０とは異なるカメラで撮影されたカメラ画像と携帯端末１０に備えられた慣性センサ２１０により得られた検出信号とのうちの少なくとも一方に基づいて、３次元座標系における前記携帯端末（１０）の位置姿勢を推定してもよい。

点検対象検出部１３０は、カメラ１１０により撮影されたカメラ画像から、点検対象（例えば、バルブ、計器、など）を検出する。

点検対象追跡部１４０は、時系列に並ぶ複数枚のカメラ画像において検出された点検対象を示す点検対象領域を追跡し、時系列に並ぶ複数枚のカメラ画像において同じ点検対象領域を特定する。点検対象追跡部１４０は、点検対象検出部１３０によって検出された現在のカメラ画像における点検対象の領域と、前回の検出における点検対象の領域とを比較することで、カメラ画像上の点検対象領域の位置の変化を時系列で追跡する。点検対象検出部１３０は、カメラ画像単位（すなわち、カメラ画像のフレーム毎）で検出処理を行うため、時間の前後のカメラ画像で検出された点検対象領域との関係性は不明である。点検対象追跡部１４０の処理により、時間の前後のカメラ画像で検出された点検対象領域の関係性を把握する。点検対象追跡部１４０は、例えば、検出された点検対象領域の矩形の一部が、時間の前後のカメラ画像間で重なっている場合、同一の点検対象を示していると判断する。あるいは、点検対象追跡部１４０は、オプティカルフローと呼ばれる手法を用いて、カメラ画像間の画素の移動方向と移動量を算出し、前後の点検対象領域と画素の移動とを比較することで、点検対象領域の関係性を特定することができる。

点検対象位置推定部１５０は、携帯端末１０の位置及び姿勢と複数枚のカメラ画像のうちの少なくとも２枚のカメラ画像における点検対象領域とに基づいて、点検対象領域の３次元座標系における座標を推定する。

点検対象記憶部１６０は、点検対象を示す点検対象領域の座標を記憶する。表示制御部１７０は、点検対象領域を示す表示部品を表示装置１８０に表示させる。

点検対象記憶部１６０は、点検対象位置推定部１５０によって推定された複数の点検対象の３次元座標を記憶する。実施の形態に応じて、点検対象に紐付けた追加の情報を記憶してもよい。点検対象記憶部１６０は、プログラム又は各種データを保持する記憶装置である（点検支援装置の外部にあって、ネットワーク等で接続することによって、同等の目的を実現してもよい）。

表示制御部１７０は、カメラ１１０から得た現在のカメラ画像と、端末位置姿勢推定部１２０から得た現在の位置姿勢と、点検対象記憶部１６０が保持する点検対象の３次元座標とに基づいて、画面にＡＲを表示する。携帯端末の位置姿勢と、点検対象の座標は、同じ３次元空間の座標系であるから、カメラ画像上に点検対象を表す３次元グラフィックスを描画すればよい。描画には、例えば、ＯｐｅｎＧＬ（登録商標）のような３次元グラフィックス描画ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を利用することができる。

図２は、実施の形態１に係る点検支援装置１００を有する携帯端末１０と点検対象の例を示す図である。図２に示される設備は、配管８１０と、タンク８３０と、配管８１０に備えられた点検対象としてのバルブ８２１～８２５とを有している。また、バルブ８２１～８２５の近くには、点検対象の名称及び識別番号が記載された銘板８２１ａ～８２５ａが備えられている。図２に示される設備は、実施の形態１に係る点検支援方法を適用可能な設備の一例であり、他の設備にも点検支援方法を適用可能である。ユーザ８００が携帯端末１０を持って移動すると、携帯端末１０は、点検対象のバルブを検出し、表示装置１８０に点検対象のバルブを示す表示（例えば、枠、強調表示、など）を行う。

図３は、実施の形態１に係る点検支援装置１００を有する携帯端末１０の表示装置１８０の表示例を示す図である。ユーザ８００は、携帯端末１０のカメラ１１０を設備に向けるだけで、携帯端末１０は、点検対象のバルブ８２１～８２５を検出し、表示装置１８０に点検対象のバルブ８２１～８２５を示す表示（例えば、点検対象領域８２１ｂ～８２５ｂの枠、など）を行う。

図４は、実施の形態１に係る点検支援装置１００及び携帯端末１０のハードウェア構成の例を示す図である。携帯端末１０は、例えば、スマートフォン、タブレット型コンピュータ、又はパーソナルコンピュータ（ＰＣ）、などである。携帯端末１０は、点検支援装置１００と、記憶部１０３と、通信部１０４と、カメラ１１０と、慣性センサ２１０と、表示装置１８０と、入力部１９０とを有している。点検支援装置１００は、プロセッサ１０１と、メモリ１０２とを有している。慣性センサ２１０は、例えば、加速度センサ、角速度センサ、及び地磁気センサのうちの１つ以上を含む。図４の例では、携帯端末１０が点検支援システムである。

図４に示されるように、点検支援装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ１０１と揮発性の記憶装置であるメモリ１０２とを有する。メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの、揮発性の半導体メモリである。図１に示されるように、点検支援装置１００は、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの不揮発性の記憶装置を有してもよい。

点検支援装置１００の各機能は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。プロセッサ１０１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のいずれであってもよい。

処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらのうちのいずれかを組み合わせたものである。

処理回路がプロセッサ１０１である場合、点検支援プログラムは、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に記憶された点検支援プログラムを読み出して実行することにより、図１に示される各部の機能を実現する。

なお、点検支援装置１００は、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、上述の各機能を実現することができる。

図５は、実施の形態１に係る点検支援装置１００ａ及び携帯端末１０ａのハードウェア構成の他の例を示す図である。図５の例では、点検支援装置１００ａは、携帯端末１０ａと通信可能な装置である。携帯端末１０ａは、例えば、スマートフォン、タブレット型コンピュータ、又はＰＣ、などである。携帯端末１０ａは、プロセッサ１０５と、メモリ１０６と、記憶部１０７と、通信部１０８と、カメラ１１０と、慣性センサ２１０と、表示装置１８０と、入力部１９０とを有している。点検支援装置１００ａは、プロセッサ１０１と、メモリ１０２と、記憶部１０３と、通信部１０４とを有している。

図５に示されるように、点検支援装置１００ａは、ＣＰＵなどのプロセッサ１０１とメモリ１０２とを有する。メモリ１０２は、例えば、ＲＡＭなどの、揮発性の半導体メモリである。図１に示されるように、点検支援装置１００ａは、ＨＤＤ又はＳＳＤなどの不揮発性の記憶装置を有してもよい。図５の例では、携帯端末１０ａと点検支援装置１００ａの組合が点検支援システムである。

実施の形態１の処理は、端末位置姿勢推定スレッド、点検対象取得スレッド、及びＡＲ表示スレッドの３つを並列して処理する。図６は、実施の形態１に係る点検支援装置１００による端末位置姿勢推定スレッドにおける端末位置姿勢推定処理Ｓ１１を示すフローチャートである。端末位置姿勢推定部１２０は、カメラ１１０から現在のカメラ画像と、センサから現在のセンサ情報を取得し、現在の携帯端末の位置姿勢を推定し、点検対象位置推定部１５０と表示制御部１７０に位置姿勢を通知する。

図７は、実施の形態１に係る点検支援装置１００による点検対象取得スレッドを示すフローチャートである。点検対象取得スレッドでは、点検対象検出部１３０は、カメラ１１０から現在のカメラ画像を取得し、カメラ画像中から０以上の点検対象領域を検出する（ステップＳ２１）。

次に、点検対象追跡部１４０は、カメラ画像間の点検対象領域を時系列で追跡する（ステップＳ２２）。

次に、それぞれの点検対象領域ごとに、以下のループ処理を行う（ステップＳ２３）。
先ず、点検対象位置推定部１５０は、現在の携帯端末１０の位置姿勢と、追跡した点検対象領域とに基づいて、点検対象領域の位置（すなわち、３次元座標）を推定する（ステップＳ２４）。次に、上記で推定した座標と、点検対象記憶部１６０が記憶しているそれぞれの点検対象の座標とを比較し、同じ座標であるか若しくは座標間の距離が一定値以内であった場合（ステップＳ２５，Ｓ２６）、当該点検対象は既に点検対象記憶部１６０に追加済みであると判断して、ループ処理の最初に戻り、他の場合は、当該点検対象を点検対象記憶部１６０に追加する（ステップＳ２７）。

ＡＲ表示スレッドでは、表示制御部１７０は、カメラ１１０から現在のカメラ画像と、端末位置姿勢推定部１２０から現在の携帯端末の位置姿勢と、点検対象記憶部１６０から複数の点検対象を取得し、ＡＲを画面に表示する。

以上に説明したように、実施の形態１に係る点検支援装置１００及び携帯端末１０を用いれば、点検対象にマーカを貼り付ける作業、３次元モデルの作成などを事前に行う必要がなく、また、事前に点検対象の位置情報を作成しなくても、ＡＲで点検対象を表示することができる。点検対象の３次元座標を推定してＡＲを表示するので、点検対象が検出されなくなった場合、又は、物陰に隠れた場合であっても、点検対象の位置を示すＡＲを表示し続けることができる。

実施の形態２．
図８は、実施の形態２に係る点検支援装置２００及び携帯端末２０の構成を概略的に示す機能ブロック図である。図８において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付されている。点検支援装置２００は、文字認識部２２０及び認識対象取得部２３０を有する点、及び端末位置姿勢推定部１２０が慣性センサ２１０の出力を用いて位置及び姿勢を推定している点において、点検支援装置１００と異なる。

図９は、実施の形態２に係る携帯端末２０のカメラ画像の表示例（文字列読取時）を示す図である。文字認識部２２０は、カメラ１１０によって取得されたカメラ画像から、点検対象であるバルブ８２１を識別する銘板８２１ａの文字列である識別番号を認識する。認識処理は、ユーザが指示した際に実行される、又は、常時実行される。

認識対象取得部２３０は、端末位置姿勢推定部１２０によって推定された携帯端末２０の位置及び姿勢に基づいて、文字認識部２２０が認識した識別番号が付された点検対象に相当する、点検対象記憶部１６０が記憶する点検対象を取得する。すなわち、点検対象記憶部１６０に記憶されている複数の点検対象の３次元座標の中から、文字認識部２２０が認識した点検対象に相当する３次元座標を持つ点検対象を検索する。具体的には、認識対象取得部２３０は、例えば、携帯端末２０の現在位置に最も近い３次元座標を持つ点検対象を点検対象記憶部１６０において検索し、今回の認識対象とする。或いは、認識対象取得部２３０は、携帯端末２０の現在位置からカメラ１１０の視点方向に任意の距離（例えば、３０ｃｍ）進んだ位置から最も近い３次元座標を持つ点検対象を検索し、今回の認識対象とする。また、認識対象取得部２３０は、点検対象記憶部１６０に記憶されている点検対象に「点検済み」の情報を付加して、未点検の点検対象と異なる表示としてもよい。このように、点検対象記憶部１６０は、実施の形態１で説明した情報に加え、それぞれの点検対象が点検済みか否かを表す情報を保持する。

図１０は、実施の形態２に係る携帯端末２０の表示装置１８０の表示例を示す図である。表示制御部１７０は、認識対象取得部２３０によって認識された点検対象が点検済みか否かに応じて点検対象の表示方法を変える。表示は、例えば、ＡＲを用いて行われる。例えば、点検済みの点検対象を囲うＡＲ画像の枠の色と、点検前の点検対象を囲うＡＲ画像の枠の色とを、異なる色にする。図１０には、カメラ画像にＡＲ画像を重ねて表示した例を示しているが、スマートグラスを用いることによって現実の風景に重ねてＡＲ画像を表示することができる。また、プロジェクタを用いることによって、現実の設備（例えば、配管、バルブ）上にＡＲ画像を投影してもよい。また、携帯端末２０がカメラ画像を模擬したイラスト図形を形成するアプリを有する場合には、カメラ画像を模擬したイラスト上にＡＲ画像を重畳表示してもよい。

以上に説明したように、実施の形態２に係る点検支援装置２００及び携帯端末２０を用いれば、文字認識により点検対象の識別番号を認識し、当該点検対象を点検済みとして点検対象記憶部１６０が記憶することで、それぞれの点検対象が点検済みか否かをＡＲ画像で区別することができる。また、文字認識により点検済みとすることで、識別番号の入力ミスの防止が可能である。

上記以外に関し、実施の形態２は、実施の形態１と同じである。

実施の形態３．
図１１は、実施の形態３に係る点検支援装置３００及び携帯端末３０の構成を概略的に示す機能ブロック図である。図１１において、図８に示される構成要素と同一又は対応する構成要素には、図８に示される符号と同じ符号が付されている。実施の形態３に係る点検支援装置３００は、認識対象取得部２３０ａの機能の点において、実施の形態２に係る点検支援装置２００と異なる。

点検対象位置推定部１５０は、携帯端末３０の位置姿勢と複数枚のカメラ画像のうちの少なくとも２枚のカメラ画像における点検対象領域とに基づいて、点検対象領域の３次元座標系における座標を推定し、点検対象記憶部１６０に記憶させる。表示制御部１７０は、表示装置１８０に、表示部品（例えば、ＡＲ表示）及び認識された文字を表示させる。

認識対象取得部２３０ａは、点検対象記憶部１６０が記憶する点検対象を「点検済み」と書き換える際に、文字認識部２２０が認識した識別番号も記憶させる。

点検対象記憶部１６０は、それぞれの点検対象の識別番号も記憶する。未点検の場合は、識別番号不明とする。表示制御部１７０は、点検対象をＡＲで表示する際に、当該点検対象の識別番号が判明している場合、識別番号もＡＲで表示する。

図１２は、実施の形態３に係る携帯端末３０の表示装置１８０の表示例を示す図である。図１２は、点検対象であるバルブ８２１の周辺（すなわち、近傍）に識別番号８２１ｃを表示している。

以上に説明したように、実施の形態３に係る点検支援装置３００及び携帯端末３０によれば、認識済みの点検対象の近傍にＡＲ画像によって識別番号を表示することで、点検済みの点検対象の判別が容易になる。

上記以外に関し、実施の形態３は、実施の形態１又は２と同じである。

実施の形態４．
図１３は、実施の形態４に係る点検支援装置４００及び携帯端末４０の構成を概略的に示す機能ブロック図である。図１３において、図１１に示される構成要素と同一又は対応する構成要素には、図１１に示される符号と同じ符号が付されている。実施の形態４に係る点検支援装置４００は、端末位置姿勢記憶部４１０及び端末位置姿勢復帰部４２０を有する点において、実施の形態３に係る点検支援装置３００と異なる。

実施の形態４では、端末位置姿勢推定部１２０は、カメラ画像と携帯端末４０の位置姿勢とを関連付けて端末位置姿勢記憶部４１０に記憶させる。端末位置姿勢復帰部４２０は、端末位置姿勢推定部１２０に記憶されているカメラ画像のうちの、現在のカメラ画像に最も近いカメラ画像に紐付いた位置姿勢を、現在の位置姿勢として端末位置姿勢推定部１２０に提供する。

端末位置姿勢記憶部４１０は、定期的（例えば、１０秒ごと）に、現在のカメラ画像と、端末位置姿勢推定部１２０が推定した現在の携帯端末の位置姿勢との関係性を記憶する。この関係性は、複数個保持される。カメラ画像は、画像の生データではなく、後述の画像同士のマッチングが可能な形式であれば、処理・加工されたデータでもよい。データは、局所特徴量であるＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ－Ｕｐｐｅｄ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）、ＫＡＺＥのような形式でもよい。

端末位置姿勢復帰部４２０は、点検支援装置の起動時に、現在のカメラ画像と、端末位置姿勢記憶部４１０が記憶するそれぞれのカメラ画像とをマッチングし、最も現在のカメラ画像に近い、端末位置姿勢記憶部４１０が記憶するカメラ画像を特定する。特定に成功したら、当該カメラ画像に紐付いた携帯端末の位置姿勢を、現在の携帯端末の位置姿勢として、端末位置姿勢推定部１２０を初期化する。

以上に説明したように、実施の形態４に係る点検支援装置４００及び携帯端末４０を用いれば、定期的にカメラ画像と携帯端末４０の位置姿勢を記憶しておき、携帯端末４０の起動時に現在のカメラ画像と過去に記憶したカメラ画像とをマッチングすることで、前回の３次元座標系を引き継いで点検作業を再開することができる。したがって、再度点検対象の検出及び位置推定などを行う必要なく、直ぐにＡＲ表示を再開することができる。

上記以外に関し、実施の形態４は、実施の形態１から３のいずれかと同じである。

実施の形態５．
図１４は、実施の形態５に係る点検支援装置５００及び携帯端末５０の構成を概略的に示す機能ブロック図である。図１４において、図１３に示される構成要素と同一又は対応する構成要素には、図１３に示される符号と同じ符号が付されている。実施の形態５に係る点検支援装置５００は、点検状態初期化部５１０を有する点において、実施の形態４に係る点検支援装置４００と異なる。

点検状態初期化部５１０は、点検支援装置５００の起動時又は入力部（図４の１９０）を経由してユーザから指定された際に、点検対象記憶部１６０が保持する一部又はすべての点検対象の点検状態の情報を、未点検とする。

以上に説明したように、実施の形態５に係る点検支援装置５００及び携帯端末５０を用いれば、新たな点検を開始することができる。つまり、点検対象の座標を表すために用いられる３次元座標は、既に一度求められているので、再度、点検対象の検出及び座標の推定を行う必要がない場合があり、すべての点検対象がＡＲ表示された状態で点検を開始することができる。また、識別番号も判明しているため、識別番号に基づいて未点検の点検対象を探すことも可能である。

上記以外に関し、実施の形態５は、実施の形態１から４のいずれかと同じである。

実施の形態６．
図１５は、実施の形態６に係る点検支援装置６００及び携帯端末６０の構成を概略的に示す機能ブロック図である。図１５において、図１４に示される構成要素と同一又は対応する構成要素には、図１４に示される符号と同じ符号が付されている。実施の形態６に係る点検支援装置６００は、点検手順記憶部６１０及び点検手順管理部６２０を有する点において、実施の形態５に係る点検支援装置５００と異なる。

点検手順記憶部６１０は、予め作成した点検手順を示す情報を記憶する。点検手順を示す情報は、複数の点検対象の点検の順番を示す情報であり、具体的には、整列された識別番号のリストである。

点検手順管理部６２０は、現在の点検手順の状態を管理する。文字認識部２２０によって識別番号を読み取り、かつ、その識別番号が現在の点検手順の識別番号であった場合、点検手順を１つ進める。現在の点検手順の情報は、表示制御部６７０に提供される。つまり、点検手順管理部６２０は、点検手順記憶部６１０に記憶されている点検対象の点検の順番と認識された文字とに基づいて、表示制御部６７０に情報を提供して、次の点検対象を示すＡＲ表示を表示装置１８０に実行させる。

表示制御部６７０は、点検対象をＡＲで表示する際に、当該点検対象の識別番号が、点検手順管理部６２０が管理している現在点検中の点検対象の識別番号であった場合、当該点検対象のＡＲの表示が他の点検対象と比べて目立つように表示する。表示制御部６７０は、例えば、点検手順管理部６２０が管理している現在点検中の点検対象の識別番号であった場合、当該点検対象についてのＡＲ表示が他の点検対象と比べて目立つように、ＡＲ表示の色を変更させる、又は、点検対象を示す表示部品を点滅させる。

図１６は、実施の形態６に係る携帯端末６０の表示装置１８０の表示例を示す図である。図１６は、次の点検対象が、バルブ８２３であることを示している。次の点検対象の表示方法は、図１６のものに限定されない。

以上に説明したように、実施の形態６に係る点検支援装置６００及び携帯端末６０を用いれば、点検対象の位置をＡＲで表示することができるため、直感的に手順通りに点検することができる。この場合には、予め点検手順のデータを作成する必要があるが、点検の順序を示すデータであるから、作成の労力は少なく、また作成コストは低い。

上記以外に関し、実施の形態６は、実施の形態１から５のいずれかと同じである。

実施の形態７．
図１７は、実施の形態７に係る点検支援装置７００及び携帯端末７０の構成を概略的に示す機能ブロック図である。図１７において、図１４に示される構成要素と同一又は対応する構成要素には、図１４に示される符号と同じ符号が付されている。実施の形態７に係る点検支援装置７００は、識別番号確認部７１０を有する点において、実施の形態５に係る点検支援装置５００と異なる。

識別番号確認部７１０は、文字認識部２２０によって今回認識された識別番号が、点検対象記憶部１６０に既に記憶されている同じ点検対象についての識別番号（すなわち、過去に認識された識別番号）と一致しない場合、警告を表示装置１８０の画面に表示させる識別番号確認部を更に有している。例えば、文字認識部２２０及び認識対象取得部２３０が、点検対象記憶部１６０に記憶されている点検対象の点検状態情報を「未点検」から「点検済み」に変更する際に、点検対象記憶部１６０によって記憶されている当該点検対象が既に識別番号を記憶しており、かつ、当該識別番号と、今回認識された識別番号とが異なっていた場合、識別番号確認部７１０は、警告を表示装置１８０の画面に表示させる。

図１８は、実施の形態７に係る携帯端末７０の表示装置１８０の表示例を示す図である。図１８に示されるように、識別番号確認部７１０は、今回認識された識別番号が、点検対象記憶部１６０に既に記憶されている同じ点検対象についての識別番号と一致しないことを示す、警告を表示装置１８０の画面に表示させる。警告は、図１８に示されるものに限定されず、他の文章、映像、音声などであってもよい。

以上に説明したように、実施の形態７に係る点検支援装置７００及び携帯端末７０を用いれば、同一の点検対象に対して、過去に認識した識別番号と、今回認識した識別番号とが異なっているという異常な事態をユーザに知らせることができる。ここで、異常な事態は、例えば、現場の設備の点検対象の配置が変更されている、点検対象の銘板が変更されている、などである。

上記以外に関し、実施の形態７は、実施の形態１から６のいずれかと同じである。

１０、２０、３０、４０、５０、６０、７０ 携帯端末、 １００、２００、３００、４００、５００、６００、７００ 点検支援装置、 １０ａ 携帯端末、 １００ａ 点検支援装置、 １１０ カメラ、 １２０ 端末位置姿勢推定部、 １３０ 点検対象検出部、 １４０ 点検対象追跡部、 １５０ 点検対象位置推定部、 １６０ 点検対象記憶部、 １７０、６７０ 表示制御部、 １８０ 表示装置、 ２１０ 慣性センサ、 ２２０ 文字認識部、 ２３０、２３０ａ 認識対象取得部、 ４１０ 端末位置姿勢記憶部、 ４２０ 端末位置姿勢復帰部、 ５１０ 点検状態初期化部、 ６１０ 点検手順記憶部、 ６２０ 点検手順管理部、 ７１０ 識別番号確認部、 ８００ ユーザ、 ８１０ 配管、 ８２１～８２５ バルブ（点検対象）、 ８２１ａ～８２５ａ 銘板、 ８２１ｂ～８２５ｂ 点検対象領域、 ８２１ｃ 識別番号、 ８３０ タンク。

Claims (14)

1. 携帯端末に備えられたカメラにより撮影されたカメラ画像と前記携帯端末に備えられた慣性センサにより得られた検出信号とのうちの少なくとも一方に基づいて、３次元座標系における前記携帯端末の位置姿勢を推定する端末位置姿勢推定部と、
   前記カメラにより撮影されたカメラ画像から、点検対象を検出する点検対象検出部と、
   前記カメラ画像において検出された前記点検対象を示す点検対象領域を撮影時刻順に時系列で追跡して、時系列に並ぶ複数枚のカメラ画像において同じ点検対象領域を特定する点検対象追跡部と、
   前記携帯端末の前記位置姿勢と前記複数枚のカメラ画像のうちの少なくとも２枚のカメラ画像における前記点検対象領域とに基づいて、前記点検対象領域の前記３次元座標系における座標を推定する点検対象位置推定部と、
   前記点検対象領域を視認可能にする表示部品を表示装置に表示させる表示制御部と、
   端末位置姿勢復帰部と、
   を有し、
   前記端末位置姿勢推定部は、前記カメラ画像と前記携帯端末の前記位置姿勢とを関連付けて端末位置姿勢記憶部に記憶させ、
   前記端末位置姿勢復帰部は、前記端末位置姿勢記憶部に記憶されている前記カメラ画像のうちの、現在のカメラ画像に最も近いカメラ画像に紐付いた前記位置姿勢を、現在の位置姿勢として前記端末位置姿勢推定部に提供する
   ことを特徴とする点検支援装置。
2. 前記点検対象位置推定部は、前記携帯端末の前記位置姿勢と前記点検対象領域の前記座標とを関連付けて点検対象記憶部に記憶させる
   ことを特徴とする請求項１に記載の点検支援装置。
3. 前記表示制御部は、前記表示装置に、点検済の前記点検対象と未点検の前記点検対象とを互いに異なる表示部品で表示させる
   ことを特徴とする請求項１又は２に記載の点検支援装置。
4. 前記点検対象位置推定部は、前記携帯端末の前記位置姿勢と前記複数枚のカメラ画像のうちの少なくとも２枚のカメラ画像における点検対象領域とに基づいて、前記点検対象領域の３次元座標系における前記座標を推定する
   ことを特徴とする請求項１に記載の点検支援装置。
5. 前記点検対象に備えられた銘板の文字を認識する文字認識部と、
   前記点検対象と前記認識された文字とを関連付ける認識対象取得部と、
   を更に有し、
   前記表示制御部は、前記表示装置に、前記表示部品及び前記認識された文字を表示させる
   ことを特徴とする請求項４に記載の点検支援装置。
6. 前記点検対象記憶部に記憶されている前記点検対象の点検状態を、未点検に初期化する点検状態初期化部を更に有する
   ことを特徴とする請求項２に記載の点検支援装置。
7. 前記点検対象に備えられた銘板の文字を認識する文字認識部と、
   点検手順記憶部に記憶されている前記点検対象の点検の順番と前記認識された文字とに基づいて、次の点検対象を示す表示を前記表示装置に実行させる点検手順管理部と、
   を更に有することを特徴とする請求項１から３のいずれか１項に記載の点検支援装置。
8. 前記文字認識部によって今回認識された識別番号が、前記携帯端末の前記位置姿勢と前記点検対象領域の前記座標とを関連付けて記憶する点検対象記憶部に既に記憶されている同じ点検対象についての識別番号と一致しない場合、警告を前記表示装置の画面に表示させる識別番号確認部を更に有する
   ことを特徴とする請求項５に記載の点検支援装置。
9. 前記表示装置は、画像を表示する画面を有し、
   前記表示制御部は、前記画面に、前記カメラ画像と前記カメラ画像に重なる前記表示部品とを表示させる
   ことを特徴とする請求項１から８のいずれか１項に記載の点検支援装置。
10. 前記表示装置は、画像を表示する透明又は半透明の画面を有し、
    前記表示制御部は、前記画面に、前記画面を介して視認される現実の風景に重なる前記表示部品を表示させる
    ことを特徴とする請求項１から８のいずれか１項に記載の点検支援装置。
11. 前記表示装置は、プロジェクタであり、
    前記表示制御部は、前記プロジェクタにより現実の設備上に前記表示部品を投影させる
    ことを特徴とする請求項１から８のいずれか１項に記載の点検支援装置。
12. 請求項１から１１のいずれか１項に記載の点検支援装置と、
    前記カメラと、
    前記慣性センサと、
    前記表示装置と
    を有することを特徴とする点検支援システム。
13. 点検支援装置によって実行される点検支援方法であって、
    携帯端末に備えられたカメラにより撮影されたカメラ画像と前記携帯端末に備えられた慣性センサにより得られた検出信号とのうちの少なくとも一方に基づいて、３次元座標系における前記携帯端末の位置姿勢を推定するステップと、
    前記カメラにより撮影されたカメラ画像から、点検対象を検出するステップと、
    前記カメラ画像において検出された前記点検対象を示す点検対象領域を撮影時刻順に時系列で追跡して、時系列に並ぶ複数枚のカメラ画像において同じ点検対象領域を特定するステップと、
    前記携帯端末の前記位置姿勢と前記複数枚のカメラ画像のうちの少なくとも２枚のカメラ画像における前記点検対象領域とに基づいて、前記点検対象領域の前記３次元座標系における座標を推定するステップと、
    前記点検対象領域を視認可能にする表示部品を表示装置に表示させるステップと、
    前記携帯端末の前記位置姿勢を推定する前記ステップにおいて、前記カメラ画像と前記携帯端末の前記位置姿勢とを関連付けて端末位置姿勢記憶部に記憶させるステップと、
    前記点検支援装置の起動時における前記携帯端末の前記位置姿勢を推定する前記ステップにおいて、前記端末位置姿勢記憶部に記憶されている前記カメラ画像のうちの、現在のカメラ画像に最も近いカメラ画像に紐付いた前記位置姿勢を、前記携帯端末の現在の位置姿勢と推定するステップと、
    を有することを特徴とする点検支援方法。
14. 点検支援装置に、
    携帯端末に備えられたカメラにより撮影されたカメラ画像と前記携帯端末に備えられた慣性センサにより得られた検出信号とのうちの少なくとも一方に基づいて、３次元座標系における前記携帯端末の位置姿勢を推定するステップと、
    前記カメラにより撮影されたカメラ画像から、点検対象を検出するステップと、
    前記カメラ画像において検出された前記点検対象を示す点検対象領域を撮影時刻順に時系列で追跡して、時系列に並ぶ複数枚のカメラ画像において同じ点検対象領域を特定するステップと、
    前記携帯端末の前記位置姿勢と前記複数枚のカメラ画像のうちの少なくとも２枚のカメラ画像における前記点検対象領域とに基づいて、前記点検対象領域の前記３次元座標系における座標を推定するステップと、
    前記点検対象領域を視認可能にする表示部品を表示装置に表示させるステップと、
    前記携帯端末の前記位置姿勢を推定する前記ステップにおいて、前記カメラ画像と前記携帯端末の前記位置姿勢とを関連付けて端末位置姿勢記憶部に記憶させるステップと、
    前記点検支援装置の起動時における前記携帯端末の前記位置姿勢を推定する前記ステップにおいて、前記端末位置姿勢記憶部に記憶されている前記カメラ画像のうちの、現在のカメラ画像に最も近いカメラ画像に紐付いた前記位置姿勢を、前記携帯端末の現在の位置姿勢と推定するステップと、
    を実行させることを特徴とする点検支援プログラム。

Images