JP7467206B2 - 映像管理支援システムおよび映像管理支援方法 - Google Patents

Description

本発明の実施形態は、映像管理支援技術に関する。

従来、施設に設けられる設備の点検において、設備の外観検査による異常の有無の確認をしている。例えば、カメラを用いて設備の外観の映像を記録しておくことは、過去の外観検査結果との比較が容易になるため有効である。しかし、設備の数または検査項目が非常に多い場合には、設備ごとまたは検査項目ごとに検査結果と記録した映像を対応付ける必要がある。このような映像の管理は、煩雑となるばかりか、その負担も大きく、後の確認の際の混乱の原因にもなる。そこで、現場の映像とともに被写体を撮影した時間、位置、方向、部位を記録し、現場の配置図またはＣＡＤに対応付けて管理することで、撮影した被写体の場所および部位を具体的に表示する技術が知られている。

特開平８－８８８２５号公報 国際公開第２０１８／１０５１１７号公報 特許第６４９８３６９号公報 特開２０１９－１５９５２３号公報

現場の映像とともに被写体を撮影した時間、位置、方向、部位を記録することは有効であるが、撮影する度に被写体の映り方にばらつきが生じることがある。そのため、これらの映像を互いに比較して被写体の外観検査をしたときに、被写体に生じている外観の変化を見落としてしまうおそれがある。

本発明の実施形態は、このような事情を考慮してなされたもので、記録した映像を用いて外観検査を行う際に、検査対象に生じている外観の変化を見落とさないようにできる映像管理支援技術を提供することを目的とする。

本発明の実施形態に係る映像管理支援システムは、作業者が所持する移動可能な端末に搭載され、映像を撮影するカメラと、前記カメラによる前記映像の撮影時の位置を特定可能な位置情報を取得する位置情報取得部と、前記カメラによる前記映像の撮影時の方向を特定可能な方向情報を取得する方向情報取得部と、前記カメラによる前記映像の撮影時の設定を特定可能な設定情報を取得する設定情報取得部と、前記位置情報と前記方向情報と前記設定情報とを含む撮影情報を前記映像に対応付けて記録する撮影情報記録部と、新たに撮影を行うときに、過去の撮影時に取得した前記撮影情報に基づいて前記映像の撮影時の位置および方向を指定する指定情報を出力する指定情報出力部と、を備え、前記指定情報出力部は、前記指定情報としての、前記映像の撮影時の位置および方向を指定するＡＲオブジェクトを生成し、前記ＡＲオブジェクトを前記端末に搭載されたディスプレイに表示するものであり、前記ＡＲオブジェクトは、前記端末の形状を成しており、かつ前記映像の撮影時の位置で空中に浮いているように前記ディスプレイに表示される。

本発明の実施形態により、記録した映像を用いて外観検査を行う際に、検査対象に生じている外観の変化を見落とさないようにできる映像管理支援技術が提供される。

映像管理支援システムを示すシステム構成図。 映像管理支援システムが用いられる作業現場を示す平面図。 現場端末を用いて撮影している状態を示す斜視図。 映像管理支援システムを示すブロック図。 端末制御部を示すブロック図。 基準点管理テーブルを示す説明図。 撮影管理テーブルを示す説明図。 撮影情報の記録態様を示す説明図。 管理コンピュータに表示されるレイアウト図を示す画面図。 現場端末に表示されるナビゲーション画面を示す画面図。 現場端末に表示されるＡＲオブジェクトを示す画面図。 現場端末に表示されるＡＲ枠を示す画面図。 現場端末に表示される映像比較結果を示す画面図。 現場端末に表示される点検項目リストを示す画面図。 管理コンピュータが実行する管理制御処理を示すフローチャート。 管理コンピュータが実行する映像情報管理処理を示すフローチャート。 現場端末が実行する端末制御処理を示すフローチャート。 現場端末が実行するマーカ認識処理を示すフローチャート。 現場端末が実行する自己位置推定処理を示すフローチャート。 現場端末が実行する指定情報出力処理を示すフローチャート。 現場端末が実行する撮影制御処理を示すフローチャート。

以下、図面を参照しながら、映像管理支援システムおよび映像管理支援方法の実施形態について詳細に説明する。

図１の符号１は、本実施形態の映像管理支援システムである。この映像管理支援システム１は、点検作業を行う作業現場に居る作業者Ｗが所持する現場端末２と、作業者Ｗの監視または支援を行う管理者Ｍが扱う管理コンピュータ３とを備える。

本実施形態の作業現場としては、発電プラント、化学プラント、工場などがある。これらの作業現場には、点検の対象となっている複数の対象機器４（図３参照）が設置されている。これらの対象機器４が、現場端末２を用いた撮影の対象となる対象部分となっている。

なお、本実施形態では、撮影の対象となっている対象部分としての対象機器４を例示しているが、その他の態様であっても良い。例えば、対象部分としての対象機器４は、計器でも良いし、操作スイッチでも良いし、バルブでも良いし、配管でも良いし、装置でも良いし、センサでも良い。

また、本実施形態では、対象部分として対象機器４を例示しているが、対象部分は建物の所定の部分、例えば、窓、扉、壁、天井、床、通路、壁の開口部、室内空間の一部の範囲であっても良い。また、巨大な１つの装置の一部が対象部分であっても良い。さらに、１つの装置の複数箇所が対象部分であっても良い。

映像管理支援システム１では、作業現場における対象機器４が設置された位置が予め特定されているものとする。そのため、作業現場において、常に同じ撮影位置および同じカメラアングルで対象機器４の撮影を行えば、対象機器４の映り方にばらつきが生じることがない。そして、定期点検の度に同じ映り方の対象機器４の映像を取得し、過去の定期点検において取得した映像と見比べることで、対象機器４に生じている外観の変化を見落とさないようにできる。

なお、作業者Ｗは、現場端末２を用いて作業現場で対象機器４の撮影を行い、その映像が管理コンピュータ３に送信される。本実施形態の映像は、いわゆる画像であって、動画像または静止画像のいずれでも良い。また、「映像ファイル」には、静止画像を含むファイルのみならず、動画像を含むファイルが含まれるものとして説明する。

なお、対象機器４の外観検査は、管理者Ｍが管理コンピュータ３に記憶された映像に基づいて行う。また、作業者Ｗが作業現場で対象機器４の外観検査を行っても良い。また、作業者Ｗが所持する現場端末２から管理コンピュータ３にリアルタイムで送られてくる映像に基づいて、管理者Ｍが作業者Ｗとともに対象機器４の外観検査を行っても良い。

本実施形態では、過去に撮影された映像と同じ映り方の映像を撮影し、過去の映像と現在の映像とを比較することで対象機器４の外観検査を行う。この外観検査を行う際には、同一位置および同一方向から撮影した映像同士を比較することが望ましい。

ここで、過去に撮影された映像と同じ映り方の映像を撮影するために、過去の撮影時の撮影位置と撮影方向などの撮影態様を特定可能な撮影情報を管理コンピュータ３が記憶している。そして、作業者Ｗが新たに撮影を行う際に、管理コンピュータ３が記憶している撮影情報に基づいて、過去の撮影態様と同一の撮影態様で撮影が行えるように、現場端末２の位置およびカメラアングルを指定する（図１１および図１２参照）。このようにすれば、過去に撮影された映像と、同一位置および同一方向から撮影した映像を撮影することができる。そのため、過去の映像と現在の映像とを比較して外観検査を行う際に、検査対象に生じている外観の変化を見落とさないようにできる。

なお、現場端末２は、オフライン環境でも利用できる。例えば、過去の映像または撮影情報を、予め現場端末２に記憶させるようにし、オフライン環境で現場端末２のみで外観検査を行うようにしても良い。

作業者Ｗが扱う移動可能な現場端末２は、例えば、ディスプレイ６（図４参照）を備えるスマートフォン７で構成されている。このスマートフォン７には、現場の状況を撮影するためのカメラ８（図４参照）が搭載されている。なお、スマートフォン７のディスプレイ６は、画像の表示を行う装置であるとともに、入力操作が行われる装置としてのタッチパネルを兼ねる。本実施形態の入力操作には、タッチパネルを用いたタッチ操作が含まれる。

また、他の作業者Ｗが扱う異なるタイプの現場端末２は、この作業者Ｗが装着する透過型ヘッドマウントディスプレイ９を備えるウェアラブルコンピュータ１０（スマートグラス）で構成されている。このウェアラブルコンピュータ１０は、透過型ヘッドマウントディスプレイ９と分離した構造でも良い。このウェアラブルコンピュータ１０にも現場の状況を撮影するカメラが搭載されている。

なお、現場端末２は、タブレット型ＰＣまたはノートＰＣで構成されても良い。その他、撮影機能、通話機能、通信機能を持つ機器で構成されるものであり、それぞれの機能を持つ複数の機器で構成されるものでも良い。

スマートフォン７およびウェアラブルコンピュータ１０のシステム構成は、ほぼ同一であるため、以下の説明では、スマートフォンで構成される現場端末２を例示する。なお、本実施形態は、ウェアラブルコンピュータ１０にも適用可能である。

管理者Ｍが扱う管理コンピュータ３は、例えば、デスクトップＰＣ、ノートＰＣ、またはタブレット型ＰＣなどの所定のコンピュータで構成される。本実施形態では、デスクトップＰＣを例示する。管理コンピュータ３は、コンピュータ本体１１と、管理者Ｍが視認を行うディスプレイ１２と、現場端末２と無線通信を行う無線通信装置１３を備える。ここでは、無線通信を行う例を記載しているが、有線での通信とすることも可能である。なお、ディスプレイ１２はコンピュータ本体１１と別体であっても良いし、一体であっても良い。

本実施形態において、現場端末２は、自位置および自姿勢を特定することができる。例えば、ＧＰＳ（Global Positioning System）などの位置測定システムを有していても良い。

また、現場端末２の自位置および自姿勢の変位の算出に用いる位置推定技術には、ＳＬＡＭ（Simultaneous Localization and Mapping）、ＳｆＭ（Structure from Motion）などの公知の技術を用いることができる。

本実施形態の現場端末２は、ＶＳＬＡＭ（Visual Simultaneous Localization and Mapping）を用いて、現場端末２で撮影された映像に基づいて、その位置および姿勢の変位を算出する。つまり、現場端末２は、例えば、屋内などのＧＰＳが使用できない場所でも自己位置を推定することができる。

ＶＳＬＡＭ技術では、現場端末２のカメラ８およびセンサなどの所定のデバイスで取得した情報を用いて、周囲の物体の特徴点を抽出する。そして、カメラ８で撮影した動映像を解析し、物体の特徴点（例えば、角などの物体の部分）をリアルタイムに追跡する。そして、現場端末２の位置または姿勢の３次元情報を推定する。

図２に示すように、作業者Ｗが作業を行う作業現場として所定の建物１４を例示する。例えば、発電プラントにおける所定の区画に設けられた建物１４が作業現場となっている。この作業現場は、壁で囲まれた複数の部屋１５がある。例えば、これら複数の部屋１５のうち、１つの部屋１５が点検作業を行う作業現場として予め設定される。つまり、この部屋１５が、点検エリア１６として予め設定される。

建物１４の出入口１７は、現場端末２の位置を推定する基準となる基準点として設定される。この建物１４の出入口１７には、マーカ５が配置される。また、それぞれの部屋１５の出入口１８も、現場端末２の位置を推定する基準となる基準点として設定される。これらの部屋１５の出入口１８にも、マーカ５が配置される。なお、マーカ５は、出入口１７，１８の近傍の壁面に設けられても良いし、出入口１７，１８の扉面に設けられても良い。

作業者Ｗは、作業を開始するときに、まず、建物１４の出入口１７でマーカ５を撮影する。ここで、現場端末２は、マーカ５が写った映像に基づいて、自位置および自姿勢を推定する。なお、建物１４の出入口１７でマーカ５の撮影を開始し、移動中も撮影を継続することで、基準点から現場端末２が移動した移動経路１９を推定できる。

なお、マーカ５は、映像認識が可能な図形である。例えば、マトリックス型２次元コード、所謂ＱＲコード（登録商標）をマーカ５として用いる。また、建物１４または建物１４に設置されている対象機器４などの場所を特定できる情報をマーカとして用いても良い。例えば、出入口１７の銘板、部屋１５の銘板、対象機器４の機器番号または名称を記載した銘板などをマーカとして用いても良い。また、マーカ５には、対応するマーカ５を個々に識別可能なマーカＩＤを示す情報が含まれる。このようにすれば、複数のマーカ５をそれぞれ識別することができる。

管理コンピュータ３には、例えば、それぞれの部屋１５の出入口１８に設けられたマーカ５のマーカＩＤに対応して対象機器４に関する情報が登録される。なお、部屋１５の出入口１８のマーカ５を撮影して基準点を取得しなければ、部屋１５の内部で映像の撮影を行えないように制御しても良い。

作業者Ｗは、部屋１５の出入口１８に到着したら、まず、現場端末２でマーカ５を読み取る。そして、マーカ５に基づいて取得される基準点の座標と、部屋１５に対応して予め設定されている基準点の座標とを一致させる。そして、現場端末２で映像の保存をした場合に、撮影時の現場端末２の位置を特定可能な位置情報と、撮影時にカメラ８が向いている方向を特定可能な方向情報とを、基準点の座標に基づいて取得する。なお、読み込んだマーカ５の座標と現場端末２との相対位置を特定し、現場端末の撮影時の位置情報と方向情報とを取得しても良い。

また、現場端末２で映像の保存をした場合に、撮影時のカメラ８の設定情報を取得する。設定情報は、絞り値情報とシャッタースピード情報とＩＳＯ感度情報と画角情報と倍率情報との少なくともいずれかを含む。ここで、絞り値情報は、カメラ８による映像の撮影時の絞り値を特定可能な情報である。シャッタースピード情報は、カメラ８による映像の撮影時のシャッタースピードを特定可能な情報である。ＩＳＯ感度情報は、カメラ８による映像の撮影時のＩＳＯ感度（明度）を特定可能な情報である。画角情報は、カメラ８による映像の撮影時の画角を特定可能な情報である。倍率情報は、カメラ８による映像の撮影時の倍率（拡大率）を特定可能な情報である。

マーカ５を設ける態様としては、例えば、マーカ５が印刷されたパネルを作成し、このパネルを、作業開始前に作業現場の壁面などに配置しておく。なお、壁面などにマーカ５を直接印刷しても良い。

図２に示すように、点検エリア１６において、作業者Ｗが現場端末２を用いて対象機器（図３参照）の撮影を行う。このときに撮影された映像は、映像ファイルとして現場端末２に記憶される。なお、映像ファイルは、現場端末２を用いた撮影態様を特定可能な情報が対応付けられた状態で記憶される。例えば、映像ファイルは、位置情報と方向情報と設定情報とを含む撮影情報（図８参照）が対応付けられた状態で記憶される。

ここで、位置情報は、建物１４またはマーカ５を基準とする３次元座標に基づいて特定される。方向情報は、撮影時の位置での水平面内の方位（ヨー角）と現場端末２のピッチ角、ロール角に基づいて求められる。

また、現場端末２で撮影された映像を含む映像ファイルは、管理コンピュータ３に送信される。なお、管理コンピュータ３に対する映像の送信タイミングは、作業中であっても良いし、作業終了後であっても良い。

本実施形態では、撮影情報が映像を含む映像ファイルの属性として記録される。このようにすれば、映像ファイルと撮影情報とを直接的に対応付けることができる。例えば、映像をＥｘｉｆ（Exchangeable image file format）の形式で保存した場合には、そのプロパティ（属性）として撮影情報を記録することができる。映像ファイルを移動しても一緒に撮影情報も移動されるため、映像ファイルの管理が容易になる。

例えば、図８に示すように、映像ファイルのプロパティには、ファイル名と端末ＩＤとユーザＩＤと撮影日時（時間情報）と撮影ＩＤと対象機器ＩＤ（対象情報）と基準点ＩＤとマーカＩＤと位置情報（座標数値）と方向情報（角度数値）と絞り値情報とシャッタースピード情報とＩＳＯ感度情報と画角情報（角度数値）と倍率情報とが記録される。なお、その他の情報を映像ファイルのプロパティに追記しても良い。

また、新規の撮影態様で撮影された映像の場合には、プロパティに撮影ＩＤが記録されない状態で、現場端末２から管理コンピュータ３に送信される。そして、管理コンピュータ３で新規な撮影ＩＤが生成され、この撮影ＩＤがプロパティに記録される。

図８では、静止画像の映像ファイルのプロパティを例示している。ここで、ファイル名は、映像ファイルの名称である。端末ＩＤは、複数の現場端末２を個々に識別可能な識別情報である。映像ファイルのプロパティには、作業現場で撮影に用いた現場端末２の端末ＩＤが記録される。

ユーザＩＤは、複数の作業者Ｗを個々に識別可能な識別情報である。なお、ユーザＩＤは、現場端末２にログインするときに使用するものであっても良いし、それぞれの作業者Ｗが所持するＩＤカードに登録されるものであっても良い。映像ファイルのプロパティには、作業現場で撮影を行った作業者ＷのユーザＩＤが記録される。

撮影日時（時間情報）は、現場端末２で撮影を行った日付と時刻である。なお、動画像の映像ファイルの撮影日時は、録画の開始時でも良いし、録画の終了時でも良い。

撮影ＩＤは、現場端末２を用いた撮影態様を個々に識別可能な撮影態様識別情報である。１つの撮影ＩＤは、１つの位置情報と１つの方向情報とに対応付けられる。カメラ８で取得した映像が静止画像である場合には、１つの撮影ＩＤが対応付けられる。また、カメラ８で取得した映像が動画像である場合には、１フレームごとに１つの撮影ＩＤが対応付けられる。例えば、動画像の撮影時にカメラ８が移動または動作している場合には、現場端末２の位置およびカメラ８の向きが変化するため、１つの映像ファイルに複数の撮影ＩＤが対応付けられる。一方、動画像の撮影時にカメラ８が固定されている場合には、現場端末２の位置およびカメラ８の向きが変化することがないため、１つの映像ファイルに対応付けられる撮影ＩＤが１つでも良い。なお、カメラ８で取得した映像が動画像である場合には、１フレームごとに絞り値情報とシャッタースピード情報とＩＳＯ感度情報と画角情報と倍率情報とが対応付けられる。

また、撮影情報は、予め規定された識別子として生成しても良い。識別子とは、例えば、所定の計算関数に撮影情報のそれぞれの値を入力すると、所定の数式として出力されるものである。そして、識別子に基づいて撮影情報を再現できるようにする。このようにすれば、撮影情報を識別子という規定化された態様で記録することができる。例えば、映像ファイルの属性に識別子を記録しても良い。

また、識別子を映像に含ませる態様で記録しても良い。このようにすれば、映像そのものに撮影情報を含ませることができる。そのため、映像の管理が容易になる。なお、識別子を映像に含ませる態様とは、例えば、識別子をマトリックス型２次元コードとして生成し、この２次元コードを映像に合成する態様でも良い。また、識別子を電子透かしとして映像に含める態様でも良い。

また、撮影情報が、映像を含む映像ファイルとは異なる記録ファイルに記録されても良い。例えば、映像ファイルと同一のファイル名を有する記録ファイルを生成し、この記録ファイルに撮影情報を記録しても良い。このようにすれば、撮影情報のデータ量が多くなる場合であっても、その記録を行うことができる。例えば、動画の場合には、撮影情報のデータ量が多くなるが、この場合でも撮影情報を記録することができる。

なお、本実施形態では、ファイル名により映像ファイルと記録ファイルとを対応付けているが、その他の態様であっても良い。例えば、映像ファイルを特定可能な特定ＩＤを生成し、この特定ＩＤを記録ファイルに記録することで、映像ファイルと対応付けても良い。また、コンピュータのファイルシステムを用いて映像ファイルと記録ファイルとを対応付けても良い。

図９に示すように、管理コンピュータ３は、ディスプレイ１２に作業現場のレイアウト３０（レイアウトを示す図面）を表示させる。このレイアウト３０は、３次元ＣＡＤに基づいて構成された作業現場の平面図である。レイアウト３０には、撮影の対象となる対象機器４とその他の設置物３１が表示されている。さらに、対象機器４を現場端末２で撮影したときの撮影位置を示すカメラアイコン３２が表示されている。カメラアイコン３２をマウスカーソル３３でクリックすると、その撮影位置で撮影された映像３４が表示される。なお、１つの撮影位置に対応して、複数の映像３４が記憶される。それぞれの撮影日時を参照して、映像３４同士を比較することで、対象機器４の外観の変化を把握することができる。また、作業現場のレイアウト３０には、映像３４の撮影をしたときの撮影方向（画角）を示すマーク７５が表示される。

本実施形態では、作業者Ｗが建物１４の出入口１７から作業現場となる部屋１５まで移動する際に、現場端末２を用いてナビゲーションを行うことができる。例えば、作業者Ｗは、カメラ８を起動し、周囲を撮影しながら進行する。ここで、カメラ８で撮影された映像は、現場端末２のディスプレイ６に表示される。

図１０に示すように、現場端末２のディスプレイ６には、現場端末２の所持者としての作業者Ｗを誘導するための誘導情報としてのナビゲーション表示３５が成される。作業者Ｗは、ナビゲーション表示３５に従って進むことで、目的とする部屋１５まで到達することができる。

図１１に示すように、作業者Ｗが対象機器４の近傍まで到達すると、現場端末２のディスプレイ６には、映像の撮影時の位置および方向を指定するＡＲオブジェクト７０が表示される。ＡＲオブジェクト７０は、例えば、現場端末２の形状と同一の形状を成している。そして、ＡＲオブジェクト７０は、適切な撮影位置で恰も空中に浮いているようにディスプレイ６に表示される。

作業者Ｗは、その手に持っている現場端末２を、ＡＲオブジェクト７０の位置に合せるように移動させる。なお、現場端末２の向きもＡＲオブジェクト７０の向きに合せるようにする。

本実施形態のＡＲオブジェクト７０は、現実の世界の物事に対して仮想の情報を付加するＡＲ（Augmented Reality：拡張現実）技術を用いて生成される。なお、ＭＲ（Mixed Reality：複合現実）技術を用いても良い。

ＡＲ技術とは、現実環境が映された映像における所定の物体（例えば、対象機器４）の位置などに対応して、３Ｄモデル、テキストなどの所定のコンテンツ（指定情報）を表示させる技術である。このＡＲ技術において、端末が備えるカメラ８により撮影された映像に基づいてコンテンツの提供を行うものはビジョンベースＡＲ（画像認識型ＡＲ）と呼ばれる。また、加速度センサ、角速度センサ、ＧＮＳＳ（Global Navigation Satellite System）などの端末の位置情報および姿勢情報に基づいてコンテンツの提供を行うものはロケーションＡＲと呼ばれる。

本実施形態で１は、ＡＲ技術（拡張現実技術）およびＶＳＬＡＭ技術（位置推定技術）を活用して、作業現場での点検または記録などの作業の効率化（負荷軽減）と、ヒューマンエラーの発生を機械化により低減させる。

図１２に示すように、現場端末２の位置とＡＲオブジェクト７０（指定情報）の位置とが一致すると、現場端末２のディスプレイ６には、適切なカメラアングルを示すＡＲ枠７１（指定情報）と、ディスプレイ６の中央に固定的に表示される照準枠７２とが表示される。作業者Ｗは、照準枠７２とＡＲ枠７１とを一致させるようにカメラ８を操作する。

また、現場端末２のディスプレイ６には、ＡＲ枠７１と照準枠７２の差分を数値で示す補正情報７６が表示される。例えば、この補正情報７６には、適切な撮影方向の角度の差、適切な撮影位置までの距離、対象機器４までの距離などが含まれる。このようにすれば、座標と方位との差を数値で表示し、補正量を可視化することができる。なお、カメラ８の画角および倍率は、照準枠７２とＡＲ枠７１とを一致された時点で過去の撮影情報を基にして自動的に調整される。また、カメラ８の画角および倍率は、作業者Ｗの手動操作により調整されても良い。

また、ＡＲ枠７１の表示とともに、カメラ８の画角と倍率と絞り値とシャッタースピードとＩＳＯ感度などの設定を指定する表示（指定情報の表示）を行っても良い。なお、画角と倍率と絞り値とシャッタースピードとＩＳＯ感度の調整は、自動的に行われても良いし、作業者Ｗの手動操作により行われても良い。

撮影時のＩＳＯ感度は、過去の映像に対応付けて記録されているＩＳＯ感度に基づいて調整される。このようにすれば、屋外など現場の明度が異なる場所においても撮影が可能となる。また、時間帯または周囲の明るさに応じて撮影時のＩＳＯ感度を調整しても良い。

ＡＲオブジェクト７０およびＡＲ枠７１は、過去に同じ位置で対象機器４が撮影されたときに現場端末２で取得された各種情報に基づいて表示される。そのため、作業者Ｗは、過去に撮影されたときと同じ撮影位置で対象機器４の映像を撮影することができる。つまり、同一位置および同一方向から撮影した映像を複数回に亘って取得することができる。

このようにすれば、撮影時の位置と方向を指定することで、映像を撮影する度に対象機器４（被写体）の映り方にばらつきが生じてしまうことを抑制できる。そのため、現在と過去の互いの映像を比較する外観検査を行うときに、検査対象に生じている外観の変化を見落とさないようにできる。

また、ＡＲオブジェクト７０およびＡＲ枠７１により撮影態様を指定するのみならず、他の手法で撮影態様を指定しても良い。例えば、カメラ８が適切な撮影位置にあること、または適切な位置にないことを、現場端末２が振動することで作業者Ｗに知らせても良いし、報知音を出力することで作業者Ｗに知らせても良い。

なお、ＡＲオブジェクト７０およびＡＲ枠７１により誘導され、現場端末２が適切な撮影位置および撮影方向になったときに、自動的に撮影（映像の記録）が行われても良い。また、手ブレまたは位置ずれが生じないように、自動的に調整して撮影が行われても良い。

現場端末２で対象機器４の撮影が行われると、対象機器４の映像が管理コンピュータ３に送信される。管理コンピュータ３では、現在撮影されたばかりの映像と同一の撮影態様で撮影された過去の対象機器４の映像を抽出する。そして、現在の映像と過去の映像とを比較して差分の有無を判定する。さらに、管理コンピュータ３は、映像の比較結果を現場端末２に送信する。比較結果には、差分が有る部分、つまり、対象機器４で詳細な点検が必要と思われる正常でない部分を示す情報が含まれる。

なお、オフライン環境で現場端末２を使用する場合には、過去の映像を予め現場端末２に記憶させるようにする。そして、現場端末２で対象機器４の撮影が行われると、現在撮影されたばかりの映像と同一の撮影態様で撮影された過去の対象機器４の映像を抽出する。そして、現在の映像と過去の映像とを比較して差分の有無を判定する。

図１３に示すように、現場端末２のディスプレイ６には、過去の映像３４が表示される。さらに、現在撮影された対象機器４において正常でない部分を示す指示表示７３が成される。なお、過去にトラブルが有った箇所を指示表示７３で示しても良い。

作業者Ｗは、この指示表示７３に基づいて、対象機器４で詳細な点検が必要な部分を把握することができる。このようにすれば、点検を行う作業者Ｗが映像に映っている対象機器４の変化を撮影現場で知ることができ、即座にメンテナンスなどの対応を行うことができる。なお、管理コンピュータ３のディスプレイ１２に表示される映像で指示表示７３が成されても良い。管理者Ｍは、この指示表示７３に基づいて、対象機器４で詳細な点検が必要な部分を把握することができる。

例えば、作業者Ｗは、瞬時に錆、ひび、液漏れなどの対象機器４の外観変化を認識することができる。さらに、過去のトラブル情報に基づいて、対象機器４に対して注意深く点検すべき箇所を指示表示７３により作業者Ｗに知らせても良い。

図１４に示すように、現場端末２のディスプレイ６には、点検項目リスト７４が表示される。この点検項目リスト７４には、撮影が必要な複数の点検項目と、それぞれの点検項目撮影の完了の有無の表示が成される。それぞれの点検項目は、対象機器４の撮影態様に対応付けられている。撮影が完了していない点検項目には「未完了」の表示が成されている。撮影が完了した点検項目には「撮影完了」の表示が成される。このようにすれば、点検を行う作業者Ｗが点検項目リスト７４に沿って撮影が完了したか否かを把握することができるため、撮り忘れ、または点検漏れを抑制することができる。

点検項目リスト７４は、現場端末２から送信される完了情報に基づいて、管理コンピュータ３で更新される。そして、管理コンピュータ３から現場端末２に点検項目リスト７４が送信され、現場端末２のディスプレイ６に表示される。なお、管理コンピュータ３のディスプレイ１２に点検項目リスト７４を表示しても良い。このようにすれば、管理者Ｍが点検漏れを把握することができる。

次に、映像管理支援システム１のシステム構成を図４から図５示すブロック図を参照して説明する。

本実施形態の現場端末２および管理コンピュータ３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の映像管理支援方法は、プログラムをコンピュータに実行させることで実現される。

図４に示すように、現場端末２は、カメラ８と加速度センサ２２と角速度センサ２３と３次元測定センサ２４とディスプレイ６と操作入力部２５と通信部２６と映像記憶部２７と端末制御部２８とを備える。

カメラ８は、現場端末２に搭載され、現場端末２の周辺の物体を可視光により撮影する。例えば、カメラ８は、レンズ付きの撮像素子を備えている。なお、カメラ８で撮影された映像は、端末制御部２８に入力される。

加速度センサ２２は、現場端末２に搭載され、この現場端末２が移動したときに生じる加速度を検出する。また、この加速度センサ２２により重力加速度の検出も行える。例えば、３軸の加速度センサ２２とすることで、現場端末２の姿勢に応じた各軸の加速度を検出することが可能となる。なお、この加速度センサ２２で検出された加速度の値を示す加速度情報は、端末制御部２８に入力される。

角速度センサ２３（ジャイロセンサ）は、現場端末２に搭載され、この現場端末２の筐体の姿勢が変化したときに生じる角速度を検出する。この角速度センサ２３の値と加速度センサ２２の値とを合わせて、この現場端末２の筐体の姿勢を特定することで、カメラ８の撮影方向を把握することができる。なお、この角速度センサ２３で検出された角速度の値を示す角速度情報は、端末制御部２８に入力される。

撮影方向は、例えば、現場端末２の水平方向および垂直方向の傾きの測定に基づいて取得される。また、現場端末２の筐体に向きが異なる２つ以上のカメラ８が搭載されている場合には、撮影に使用するカメラ８の筐体における位置および向きを設定し、このカメラ８の撮影方向を取得する。

なお、慣性センサ（３軸加速度センサと３軸角速度センサ）と３軸地磁気センサを組み合わせた９軸センサであるモーションセンサを現場端末２に搭載しても良い。

３次元測定センサ２４は、現場端末２の周辺の物体の３次元形状を測定する。３次元測定センサ２４としては、例えば、深度センサが用いられる。なお、３次元測定センサ２４として赤外線センサまたはＬｉＤＡＲなどのレーザセンサを用いても良い。

３次元測定センサ２４は、現場端末２の筐体において、カメラ８が設けられている背面側に設けられる。この３次元測定センサ２４は、例えば、物体にレーザを投光してその反射光を受光素子により受光することで、現場端末２から物体までの距離を測定することができる。本実施形態では、３次元測定センサ２４は、投光パルスに対する受光パルスの遅れ時間を距離に換算するＴｏＦ（Time of Flight）方式を用いて、現場端末２から周辺の物体までの距離を測定して３次元点群化する。なお、カメラ８による撮像方向と３次元測定センサ２４による測定方向は一致している。

ディスプレイ６は、カメラ８で撮影された映像を表示する。なお、カメラ８が、レンズ付きの２つの撮像素子を備えるステレオカメラである場合には、いずれか一方の撮像素子で撮影した映像を表示すれば良い。

操作入力部２５は、作業者Ｗにより操作され、所定の情報の入力操作が行えるようにしたデバイスである。本実施形態では、操作入力部２５がディスプレイ６と一体的に設けられるタッチパネルで構成される。なお、現場端末２としてウェアラブルコンピュータ１０を用いる場合は、操作入力部２５が作業者Ｗの手元に配置され、入力操作が適宜可能となっている。

通信部２６は、通信回線を介して管理コンピュータ３と通信を行う。本実施形態の通信部２６には、ネットワーク機器、例えば、無線ＬＡＮのアンテナが含まれる。その他にも、ＬＡＮケーブルまたはＵＳＢケーブルを用いて通信を行う場合もある。この通信部２６を介して現場端末２は、管理コンピュータ３にアクセスする。

映像記憶部２７は、カメラ８で撮影した映像を含む映像ファイルを記憶する。なお、映像記憶部２７に記憶される映像は、動画像であっても良いし、静止画像であっても良い。また、映像ファイルとともに、映像ファイルに対応付けられた記録ファイルを記憶しても良い。さらに、映像ファイルに関連する所定のデータを記憶しても良い。

なお、映像記憶部２７には、対象機器４の過去の映像を記憶させても良い。例えば、点検作業の開始前に、管理コンピュータ３から対象機器４の過去の映像をダウンロードし、映像記憶部２７に記憶させても良い。そして、作業者Ｗは、過去の映像と現在の対象機器４の状態とを見比べて外観検査を行うようにしても良い。

図５に示すように、端末制御部２８は、現場端末２を統括的に制御する。この端末制御部２８は、位置情報取得部５０と方向情報取得部５１と設定情報取得部５２と時間情報取得部５３と位置姿勢推定部５４と基準取得部５５と映像差分表示部５６と点検項目表示部５７と位置指定部５８と方向指定部５９と設定指定部６０と設定調整部６１と指定情報出力部６２と誘導情報出力部６３と撮影情報記録部６４と識別子生成部６５とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

位置情報取得部５０は、カメラ８による映像の撮影時の位置を特定可能な位置情報を取得する。例えば、位置姿勢推定部５４がＶＳＬＡＭ技術を用いて作成した環境地図に基づいて、位置情報取得部５０が映像の撮影時の位置の取得を行うことができる。また、基準取得部５５が取得した基準点に基づいて、位置情報取得部５０が映像の撮影時の位置の取得を行うことができる。

方向情報取得部５１は、カメラ８による映像の撮影時の方向を特定可能な方向情報を取得する。例えば、位置姿勢推定部５４がＶＳＬＡＭ技術を用いて作成した環境地図に基づいて、方向情報取得部５１が映像の撮影時の方向の取得を行うことができる。また、基準取得部５５が取得した基準点に基づいて、方向情報取得部５１が映像の撮影時の方向の取得を行うことができる。

なお、環境地図に基づく位置情報または方向情報と、基準点に基づく位置情報または方向情報とに誤差がある場合には、基準点に基づく位置情報または方向情報を優先的に適用しても良い。このようにすれば、作業者Ｗが作業現場にてマーカ５を撮影することで、情報の補正を行うことができる。ＶＳＬＡＭ技術は、相対的な移動量を算出する手法であるため、長時間の使用により誤差が蓄積されてしまう場合がある。そこで、基準点となるマーカ５を現場端末２で読み込むことで、点検エリア１６における位置情報を正確に把握することができる。

設定情報取得部５２は、カメラ８による映像の撮影時の設定を特定可能な設定情報を取得する。例えば、絞り値情報とシャッタースピード情報とＩＳＯ感度情報と画角情報と倍率情報とを取得する。これらの設定情報は、撮影時のカメラ８の設定に基づいて取得される。このようにすれば、撮影する度に撮影時のカメラ８の設定が異なることがなく、撮影する度に対象機器４（被写体）の映り方にばらつきが生じないようにできる。

時間情報取得部５３は、カメラ８による映像の撮影時の時間（撮影日時）を特定可能な時間情報を取得する。このようにすれば、記録した映像を用いて外観検査を行う際に、映像が撮影された日時などの時間を把握することができる。

位置姿勢推定部５４は、撮影された映像と加速度情報と角速度情報とに基づいて現場端末２の位置および姿勢を推定する制御を行う。つまり、現場端末２に搭載されたデバイスにより得られた情報に基づいて現場端末２の位置および姿勢を推定する。この位置姿勢推定部５４は、現場端末２の位置および姿勢の推定と同時に現場端末２の周辺環境の情報を含む環境地図の作成を行う。つまり、位置姿勢推定部５４では、ＶＳＬＡＭ技術を用いている。このようにすれば、映像の撮影時の位置および方向の取得精度を向上させることができる。

ＶＳＬＡＭ技術では、現場端末２のカメラ８および３次元測定センサ２４で取得した情報を用いて、現場端末２の周辺の物体の特徴点を抽出することができる。なお、現場端末２のカメラ８で取得した情報のみを用いて、現場端末２の周辺の物体の特徴点を抽出する場合もある。この特徴点の集合させたものを３次元特徴点群データと称する。そして、カメラ８で撮影した映像（動画像）を解析し、物体の特徴点（例えば、箱状の物体の辺または角の部分）をリアルタイムに追跡する。この３次元特徴点群データに基づいて、現場端末２の位置および姿勢の３次元情報を推定することができる。

また、現場端末２の周辺の物体の３次元特徴点群データを所定の時間毎に検出し、時系列において前後する３次元特徴点群データ間の変位に基づいて、現場端末２の位置および姿勢の変位を算出することができる。また、時系列に得られる一連の自位置および自姿勢から、現在位置および現在姿勢に先立つ現場端末２の移動経路１９が得られる。

つまり、位置姿勢推定部５４は、基準点から現場端末２が移動するときに連続的に撮影された映像に基づいて、現場端末２の位置および姿勢を推定する制御を行う。このようにすれば、基準点から現場端末２が移動した移動経路１９（図２参照）を映像により推定できるので、現場端末２の位置および姿勢の推定精度を向上させることができる。

なお、本実施形態では、カメラ８および３次元測定センサ２４で取得した情報に基づいて、現場端末２の位置および姿勢を推定するＶＳＬＡＭ技術を例示しているが、その他の態様であっても良い。例えば、ステレオカメラ、魚眼カメラ、ジャイロセンサ、赤外線センサで取得した情報に基づいて、現場端末２の位置および姿勢を推定するＶＳＬＡＭ技術を用いても良い。このＶＳＬＡＭ技術は、屋内での位置計測が可能であり、ビーコンまたは歩行者自律航法（ＰＤＲ:Pedestrian Dead Reckoning）などの屋内で使用可能な位置情報計測技術の中で、最も精度よく３次元座標を算出することができる。

なお、現場端末２の位置および姿勢は、それぞれ算出または更新された時点の時刻と対応付けて記録される。

基準取得部５５は、撮影場所（対象機器４）に対応して予め設けられたマーカ５をカメラ８で撮影したときに３次元空間の基準点を取得する。なお、マーカ５の位置を基準点としても良いし、マーカ５から離れた所定の位置を基準点としても良い。このようにすれば、作業現場にマーカ５を設ける簡便な作業、およびマーカ５を撮影する簡素な処理で取得精度を向上させることができる。

映像差分表示部５６は、管理コンピュータ３で現在の映像と過去の映像との間に差分が有ると判定された場合に、現場端末２のディスプレイ６に差分の箇所を表示する。例えば、現在撮影された対象機器４において正常でない部分を示す指示表示７３が成される（図１３参照）。

点検項目表示部５７は、点検項目のそれぞれについて映像の撮影が実行されたか否かを示す完了情報を現場端末２のディスプレイ６に表示する。例えば、点検項目リスト７４（図１４）をディスプレイ６に表示する。

位置指定部５８は、過去の撮影時に取得された位置情報または予め取得した位置情報に基づいて、カメラ８による映像の撮影時の位置を指定する。方向指定部５９は、過去の撮影時に取得された方向情報または予め取得した方向情報に基づいて、カメラ８による映像の撮影時の方向を指定する。ここで、位置指定部５８と方向指定部５９は、ＡＲオブジェクト７０およびＡＲ枠７１の位置と向き（方向）とを指定する処理を行う。

なお、プラントの設計情報に関する３Ｄ－ＣＡＤデータに基づいて、カメラ８による映像の撮影時の位置および方向が指定されても良い。つまり、予め取得した位置情報または方向情報には、３Ｄ－ＣＡＤデータに基づいて管理者Ｍが指定した情報が含まれる。例えば、過去に撮影がされておらず、新規に撮影を行う場合であっても、管理者Ｍが、映像の撮影時の位置および方向が指定することができる。

設定指定部６０は、カメラ８の画角と倍率と絞り値とシャッタースピードとＩＳＯ感度とを指定する指定情報を現場端末２のディスプレイ６に表示する制御を行う。作業者Ｗは、指定情報に基づいてカメラ８の設定を調整する操作を行うことができる。

設定調整部６１は、管理コンピュータ３に記憶された設定情報に基づいて映像の撮影時にカメラ８の設定を調整する。例えば、カメラ８の画角および倍率は、照準枠７２とＡＲ枠７１とを一致された時点で自動的に調整される（図１２参照）。また、絞り値とシャッタースピードとＩＳＯ感度が自動的に調整される。このようにすれば、カメラ８を操作する作業者Ｗの技量に頼らずに、適切な撮影が行えるようにカメラ８の設定を自動的に調整することができる。

指定情報出力部６２は、過去の撮影時に取得された位置情報および方向情報に基づいて、映像の撮影時の位置および方向を指定する指定情報を出力する。ここで、指定情報出力部６２は、映像の撮影時の位置および方向を指定するＡＲオブジェクト７０およびＡＲ枠７１を生成し、ＡＲオブジェクト７０およびＡＲ枠７１を現場端末２に搭載されたディスプレイ６に表示する制御を行う。このようにすれば、ディスプレイ６に表示されたＡＲオブジェクト７０およびＡＲ枠７１に基づいて、カメラ８を操作する作業者Ｗが、映像の撮影時の位置および方向を把握することができる。さらに、指定情報出力部６２は、ＡＲ枠７１と照準枠７２の間の差分（位置ズレまたは角度ズレ）を数値で示す補正情報７６を算出し、この補正情報７６をディスプレイ６に表示する制御を行う。

誘導情報出力部６３は、管理コンピュータ３に記憶された位置情報に基づいて映像の撮影時の位置まで現場端末２を所持する作業者Ｗを誘導する誘導情報を出力する。つまり、誘導情報出力部６３は、現場端末２のディスプレイ６でナビゲーション表示３５（経路表示）を行う（図１０参照）。このようにすれば、作業者Ｗを適切な撮影位置まで誘導することができる。

撮影情報記録部６４は、位置情報と方向情報と設定情報と時間情報とを含む撮影情報を映像に対応付けて記録する。撮影情報は、映像ファイルの属性として記録しても良いし、映像ファイルとは異なる記録ファイルに記録しても良い。なお、作業者Ｗは、いずれの方式で記録するかを事前に設定することができる。管理コンピュータ３は、それぞれの映像に対応付けて記録された撮影情報に基づいて、映像の管理を行うことができる。

識別子生成部６５は、撮影情報に基づいて、識別子を生成する。なお、作業者Ｗは、撮影情報を識別子として記録するか否かを事前に設定することができる。識別子が生成される設定の場合には、撮影情報記録部６４が識別子を映像に対応付けて記録する。なお、撮影情報記録部６４が識別子を映像に含ませる態様で記録しても良い。

本実施形態の現場端末２は、撮影機能を有する。この撮影機能とは、現場端末２のカメラ８を用いて撮影した映像を映像記憶部２７に記憶させる機能をいう。例えば、現場端末２が点検エリア１６にあるときに、現場端末２のカメラ８で撮影をした場合には、その映像はディスプレイ６に表示され、映像記憶部２７に記憶されることがない。なお、映像は、動画像を例示する。ここで、作業者Ｗがディスプレイ６に表示された撮影ボタン（録画ボタン）をタッチ操作すると、そのときにカメラ８で撮影されていた映像が映像記憶部２７に記憶される。つまり、動画像の録画が開始される。なお、静止画像の場合には、撮影ボタンをタッチ操作した時点の画像が映像記憶部２７に記憶される。

本実施形態において、「映像の取得」という用語には、「映像の保存」または「映像の転送」という意味とが含まれる。また、映像の取得は、現場端末２が行うものでも良いし、管理コンピュータ３が行うものでも良い。

図４に示すように、管理コンピュータ３は、撮影情報データベース３８とディスプレイ１２と操作入力部３９と通信部４０と映像記憶部４１と管理制御部４２とを備える。

撮影情報データベース３８は、メモリまたはＨＤＤに記憶され、検索または蓄積ができるよう整理された情報の集まりである。この撮影情報データベース３８には、点検の対象となっている対象機器４の３次元位置を特定可能な撮影情報が記憶されている。撮影情報は、過去に対象機器４を撮影したときに現場端末２を用いて取得されたものである。このようにすれば、対象機器４の撮影情報を蓄積することができる。撮影情報データベース３８の撮影情報は、現場端末２に送信される。この撮影情報データベース３８に記憶された撮影情報を参照することで、毎回同じ映し方で対象部分を撮影することができる。

なお、撮影情報データベース３８には、作業現場となるプラントの設計情報が記憶されていても良い。例えば、設計情報に関する３Ｄ－ＣＡＤデータが予め記憶されても良い。この３Ｄ－ＣＡＤデータには、対象機器４が配置されている位置（座標）に関する情報が含まれている。また、建物１４の部屋１５の配置に関する情報も含まれている。

なお、点検の対象となる対象機器４は、３Ｄ－ＣＡＤデータを用いて設定しても良いし、管理コンピュータ３のディスプレイ１２にデータを表示して個々に選択または指定しても良い。さらに、３Ｄ－ＣＡＤデータが有している対象機器４の名称または型式などの情報に基づいて、自動的に選択または指定しても良い。

ディスプレイ１２は、現場端末２で撮影された映像の出力を行う装置である。また、レイアウト図（図９参照）などの映像も出力することができる。つまり、管理コンピュータ３は、ディスプレイ１２に表示される映像の制御を行う。なお、ネットワークを介して接続される他のコンピュータが備えるディスプレイに表示される映像の制御を管理コンピュータ３が行っても良い。

なお、本実施形態では、情報を表示する装置としてディスプレイ１２を例示するが、その他の態様であっても良い。例えば、プロジェクタを用いて情報の表示を行っても良い。さらに、紙媒体に情報を印字するプリンタをディスプレイ１２の替りとして用いても良い。つまり、管理コンピュータ３が制御する対象としてプロジェクタまたはプリンタが含まれても良い。

操作入力部３９は、管理者Ｍの操作に応じて所定の情報を入力するために用いられるマウスまたはキーボードなどの入力装置などで構成される。本実施形態の入力操作には、マウスを用いたクリック操作、またはタッチパネルを用いたタッチ操作が含まれる。つまり、これら入力装置の操作に応じて所定の情報が管理コンピュータ３に入力される。

通信部４０は、通信回線を介して現場端末２と通信を行う。この通信部４０は、無線通信装置１３に搭載されている。また、通信部４０は、所定のネットワーク機器、例えば、無線ＬＡＮアクセスポイントまたはアンテナに搭載されても良い。なお、通信部４０は、ＷＡＮ（Wide Area Network）、インターネット回線、または携帯通信網を介して現場端末２と通信を行っても良い。その他にも、ＬＡＮケーブルまたはＵＳＢケーブルにより現場端末２と接続して通信を行っても良い。

映像記憶部４１は、現場端末２から受信した映像ファイルを記憶する。なお、映像記憶部４１に記憶される映像は、動画像であっても良いし、静止画像であっても良い。また、映像ファイルとともに、映像ファイルに対応付けられた記録ファイルを記憶しても良い。さらに、映像ファイルに関連する所定のデータを記憶しても良い。

管理制御部４２は、管理コンピュータ３を統括的に制御する。この管理制御部４２は、映像情報管理部４３と点検項目記録部４４と過去映像抽出部４５と映像差分判定部４６とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

映像情報管理部４３は、撮影情報が対応付けられた映像を、カメラ８の撮影対象となる対象機器４（対象部分）を個々に識別可能な対象情報としての対象機器ＩＤに対応付けて管理する。また、映像情報管理部４３は、映像を撮影ＩＤに対応付けて管理する。このようにすれば、外観検査を行う際に、対象機器４または撮影態様に対応する映像を抽出することができる。

点検項目記録部４４は、現場端末２から受信した完了情報に基づいて、点検項目リスト７４に登録されている個々の点検項目のそれぞれに対応付けて映像の撮影が実行されたか否かを記録する（図１４参照）。なお、点検項目記録部４４は、現場端末２が備えるものでも良い。そして、現場端末２で点検項目リスト７４の更新を行い、管理コンピュータ３にアクセスしたときに現場端末２から点検項目リスト７４をアップロードし、管理コンピュータ３が記憶している点検項目リスト７４を更新しても良い。

過去映像抽出部４５は、カメラ８で撮影された映像と同一の撮影情報が対応付けられた過去に撮影された映像を映像記憶部４１から抽出する。そして、抽出された映像は、現場端末２に送信され、現場端末２のディスプレイ６に過去の映像３４が表示される（図１３参照）。

映像差分判定部４６は、現在の映像と過去の映像とを比較して差分の有無を判定する。この映像差分判定部４６の判定結果に基づいて、現場端末２のディスプレイ６に現在撮影された対象機器４において正常でない部分を示す指示表示７３が成される（図１３参照）。なお、映像差分判定部４６を現場端末２に搭載しても良い。そして、オフライン環境で現場端末２が現在の映像と過去の映像とを比較して差分の有無を判定するようにしても良い。

本実施形態の管理コンピュータ３のシステム構成は、必ずしも１つのコンピュータに設ける必要はない。例えば、ネットワークで互いに接続された複数のコンピュータを用いて１つのシステムを実現しても良い。例えば、撮影情報データベース３８を管理コンピュータ３とは異なる他のコンピュータに設けても良い。

管理制御部４２は、撮影情報データベース３８に対象情報を記憶させる設定を行う。例えば、基準点を管理する基準点管理テーブル（図６参照）と撮影態様を管理する撮影管理テーブル（図７参照）に各種情報を記憶させる設定を行う。

図６に示すように、基準点管理テーブルには、基準点ＩＤに対応付けて、基準点座標情報とマーカＩＤと対象機器ＩＤとが登録されている。

基準点ＩＤは、複数の基準点を個々に識別可能な識別情報である。なお、１つの基準点に対して１つの基準点ＩＤが付与される。

基準点管理テーブルに登録される基準点座標情報は、基準点が設けられた位置を指定する３次元座標の情報である。なお、座標の情報には、水平方向（Ｘ軸，Ｙ軸）と垂直方向（Ｚ軸）の位置を指定する情報を含む。また、この基準点座標情報には、基準点の姿勢または向きに関する情報が含まれても良い。

本実施形態では、建物１４の出入口１７に設けられた１つのマーカ５を基準点（原点、起点）として座標を設定する（図２参照）。なお、座標は、マーカ５を基準点としなくても良く、建物１４の所定の位置を座標の基準点としても良い。また、基準点座標情報は、建物１４の設計段階で作成された３次元ＣＡＤに基づいて構成されても良い。

基準点管理テーブルに登録されるマーカＩＤは、複数のマーカ５を個々に識別可能な識別情報である。なお、１つのマーカ５に対して１つのマーカＩＤが付与される。さらに、基準点管理テーブルでは、１つの基準点に対して１つのマーカＩＤが付与される。なお、１つの基準点に対して、それぞれ異なる位置に設けられる複数のマーカＩＤが付与されても良い。

対象機器ＩＤは、複数の対象機器４を個々に識別可能な対象情報である。なお、１つの対象機器４に対して１つの対象機器ＩＤが付与される。

基準点管理テーブルでは、１つの基準点ＩＤに対応して複数の対象機器ＩＤが登録されても良い。例えば、建物１４の出入口１７のマーカ５のマーカＩＤに対応付けて、その建物１４の内部に配置された全ての対象機器４の対象機器ＩＤが登録されても良い。また、部屋１５の出入口１８のマーカ５のマーカＩＤに対応付けて、その部屋１５の内部に配置された全ての対象機器４の対象機器ＩＤが登録されても良い。

図７に示すように、撮影管理テーブルには、撮影ＩＤに対応付けて、対象機器ＩＤと位置情報と方向情報と絞り値情報とシャッタースピード情報とＩＳＯ感度情報と画角情報と倍率情報とを含む撮影情報が登録されている。

現場端末２で撮影を行う際には、管理コンピュータ３にアクセスし、点検項目リスト７４のそれぞれの点検項目に対応付けられた撮影ＩＤを取得する。なお、点検項目リスト７４は、過去の事例に基づいて、自動的に作成されても良いし、管理者Ｍが任意に作成しても良い。そして、これらの撮影ＩＤに対応付けて撮影管理テーブルに記憶されている撮影情報を取得する。これらの撮影情報に基づいて、現場端末２がＡＲオブジェクト７０などの表示により撮影態様を指定し、的確な撮影を行うことができる。

なお、管理コンピュータ３では、基準点ＩＤ、マーカＩＤ、撮影ＩＤ、対象機器ＩＤ、端末ＩＤ、ユーザＩＤ、撮影日時などに基づいて、撮影情報データベース３８に登録された各種データを検索することができる。

図４に示すように、映像差分判定部４６は、機械学習部４７を備える。機械学習部４７は、正常な対象機器４が写った映像と、正常でない対象機器４であって点検が必要な対象機器４が写った映像とを機械学習により識別することができる。本実施形態では、作業者Ｗの目視による点検のみならず、目視による点検に重畳して、機械学習部４７を用いて対象機器４を点検することができる。このようにすれば、カメラ８による映像の撮影時に、機械学習により補助的に対象機器４の点検を行える。なお、作業者Ｗは、機械学習部４７で映像を解析するか否かを事前に設定することができる。

機械学習部４７は、人工知能（ＡＩ：Artificial Intelligence）を備えている。本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。

本実施形態のシステムは、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータでシステムを構成しても良いし、ニューラルネットワークを備える複数台のコンピュータでシステムを構成しても良い。

ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。

例えば、ニューラルネットワークには、６層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、３００個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、任意のユニット数、任意の学習率、任意の学習回数、任意の活性化関数を設定することができる。

なお、学習対象となる各種情報項目に報酬関数が設定されるとともに、報酬関数に基づいて価値が最も高い情報項目が抽出される深層強化学習をニューラルネットワークに用いても良い。

例えば、画像認識で実績のあるＣＮＮ（Convolution Neural Network）を用いる。このＣＮＮでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に特徴マップにおいて着目する領域に含まれる画素の最大値を得ることで、特徴量の位置の多少のずれも吸収することができる。

畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、ＣＮＮでは、画像の持つ情報量を大幅に圧縮（抽象化）することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。

なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。

本実施形態では、予め機械学習部４７に様々なパターンの対象機器４が写った映像と対象機器４が写っていない映像とを大量に学習させる。これらの学習用の映像は、実際にカメラ８で撮影した映像でも良いし、コンピュータグラフィックス（ＣＧ）で合成した映像でも良い。このように対象機器４の形状などを識別可能な状態になるまで、大量の映像を機械学習部４７に予め学習させておく。

本実施形態の機械学習の方法は、大きく２つの処理に分けられる。まず、学習用映像を生成する第１処理を行う。この第１処理では、学習用映像を取得し、その学習用映像に含まれる対象機器４の像を特徴ごとに分類する。そして、１つの学習用映像を、種類の異なる像が１つ以上含まれるように調整する。次に、学習モデルを作成する第２処理を行う。この第２処理では、学習用映像をニューラルネットワークに学習させて、映像学習モデルを作成する。この学習用モデルを映像の判定用にセットする。

なお、管理コンピュータ３において保存した過去の対象機器４の映像を、連続写真でアニメーションのように出力しても良い。このようにすれば、管理者Ｍが対象機器４の長期間に亘る外観変化を可視化できるようになる。そのため、管理者Ｍが対象機器４の変化を確認し易くなる。

次に、映像管理支援システム１が実行する処理について図１５から図２１のフローチャートを用いて説明する。なお、前述の図面を適宜参照する。

管理コンピュータ３は、図１５に示す管理制御処理を実行する。現場端末２は、図１７に示す端末制御処理を実行する。これら処理は、一定時間毎に繰り返される処理である。これらの処理が繰り返されることで、映像管理支援システム１で映像管理支援方法が実行される。

管理コンピュータ３が実行する管理制御処理について図１５のフローチャートを用いて説明する。なお、管理コンピュータ３が他の処理を実行中に、この管理制御処理を割り込ませて実行しても良い。さらに、以下のステップは、管理制御処理に含まれる少なくとも一部の処理であり、他のステップが管理制御処理に含まれても良い。

まず、ステップＳ１１において、管理制御部４２は、メイン制御処理を実行する。このメイン制御処理では、管理コンピュータ３のディスプレイ１２などの各種デバイスを制御する処理が行われる。また、現場端末２からアクセスがあった場合に所定の情報の送受信を行う。例えば、現場端末２から映像ファイルの送信があった場合には、その映像ファイルを映像記憶部４１に記憶する処理を行う。

次のステップＳ１２において、管理制御部４２は、操作受付処理を実行する。この操作受付処理では、操作入力部３９により所定の入力操作を受け付ける処理が行われる。

次のステップＳ１３において、管理制御部４２は、事前登録処理を実行する。この事前登録処理では、撮影情報データベース３８に各種情報を記憶させる処理が行われる。例えば、基準点管理テーブル（図６参照）に基準点に関する情報の登録が行われる。

次のステップＳ１４において、管理制御部４２は、レイアウト図管理処理を実行する。このレイアウト図管理処理では、撮影情報データベース３８に記憶された情報に基づいて、ディスプレイ１２に作業現場のレイアウト３０を表示させる（図９参照）。また、レイアウト３０のカメラアイコン３２がマウスカーソル３３でクリックされたときに、その撮影位置で撮影された映像を映像記憶部４１から抽出し、ディスプレイ１２に表示させる制御を行う。

次のステップＳ１５において、映像情報管理部４３は、後述する映像情報管理処理（図１６）を実行する。この映像情報管理処理では、撮影情報が対応付けられた映像を、撮影ＩＤまたは対象機器ＩＤに対応付けて管理する処理を行う。

次のステップＳ１６において、点検項目記録部４４は、点検項目記録処理を実行する。この点検項目記録処理では、現場端末２から受信した完了情報に基づいて、点検項目リスト７４に登録されている個々の点検項目のそれぞれに対応付けて映像の撮影が実行されたか否かを記録する（図１４参照）。

次のステップＳ１７において、管理制御部４２は、映像比較処理を実行する。この映像比較処理では、過去映像抽出部４５が、カメラ８で撮影された映像と同一の撮影情報が対応付けられた過去に撮影された映像を映像記憶部４１から抽出する。また、抽出された過去の映像を現場端末２に送信する。さらに、映像差分判定部４６が、現在の映像と過去の映像とを比較して差分の有無を判定する。また、差分の有無を示す判定結果（比較結果）を現場端末２に送信する。そして、管理制御処理を終了する。

次に、管理コンピュータ３が実行する映像情報管理処理について図１６のフローチャートを用いて説明する。

まず、ステップＳ２１において、映像情報管理部４３は、現場端末２から映像ファイルを受信したか否かを判定する。ここで、映像ファイルを受信していない場合（ステップＳ２１にてＮＯの場合）は、映像情報管理処理を終了する。一方、映像ファイルを受信した場合（ステップＳ２１にてＹＥＳの場合）は、ステップＳ２２に進む。

ステップＳ２２において、映像情報管理部４３は、位置情報と方向情報と設定情報と時間情報を含む撮影情報が対応付けられた映像ファイルを映像記憶部４１に記憶する。ここで、映像情報管理部４３は、映像ファイルのプロパティ（図８参照）の撮影時刻に基づいて、時間情報を特定する。さらに、その他の情報を特定しても良い。

次のステップＳ２３において、映像情報管理部４３は、映像ファイルのプロパティ（図８参照）に撮影ＩＤが対応付けられているか否か、つまり、新規の撮影態様で撮影された映像であるか否かを判定する。ここで、撮影ＩＤが対応付けられている場合（ステップＳ２３にてＹＥＳの場合）は、映像情報管理処理を終了する。一方、撮影ＩＤが対応付けられていない場合（ステップＳ２３にてＮＯの場合）は、ステップＳ２４に進む。

ステップＳ２４において、映像情報管理部４３は、映像ファイルのプロパティ（図８参照）の位置情報に基づいて、撮影位置を特定する。

次のステップＳ２５において、映像情報管理部４３は、映像ファイルのプロパティ（図８参照）の方向情報に基づいて、撮影方向を特定する。

次のステップＳ２６において、映像情報管理部４３は、映像ファイルのプロパティ（図８参照）に基づいて、設定情報を特定する。

次のステップＳ２７において、映像情報管理部４３は、映像ファイルの位置情報と方向情報と設定情報とに基づいて、撮影管理テーブル（図７参照）に既に対応する撮影ＩＤが登録されているか否かを判定する。ここで、対応する撮影ＩＤが登録されている場合（ステップＳ２７にてＹＥＳの場合）は、ステップＳ２９に進む。一方、対応する撮影ＩＤが登録されていない場合（ステップＳ２７にてＮＯの場合）は、ステップＳ２８に進む。

ステップＳ２８において、映像情報管理部４３は、映像ファイルに対応する撮影ＩＤを新規に生成する。

次のステップＳ２９において、映像情報管理部４３は、新規に生成された撮影ＩＤまたは既に登録されている撮影ＩＤを、映像ファイルのプロパティ（図８参照）に記録する。なお、新規に生成された撮影ＩＤの場合には、この撮影ＩＤを撮影管理テーブル（図７参照）に登録する。なお、撮影管理テーブルには、新規に生成された撮影ＩＤに対応付けて、対象機器ＩＤ、位置情報、方向情報、絞り値情報、シャッタースピード情報、ＩＳＯ感度情報、画角情報、倍率情報などが登録される。そして、映像情報管理処理を終了する。

次に、現場端末２が実行する端末制御処理について図１７のフローチャートを用いて説明する。なお、現場端末２が他の処理を実行中に、この端末制御処理を割り込ませて実行しても良い。さらに、以下のステップは、端末制御処理に含まれる少なくとも一部の処理であり、他のステップが端末制御処理に含まれても良い。

まず、ステップＳ３１において、端末制御部２８は、メイン制御処理を実行する。このメイン制御処理では、現場端末２に搭載されるディスプレイ６などの各種デバイスを制御する処理が行われる。

次のステップＳ３２において、端末制御部２８は、操作受付処理を実行する。この操作受付処理では、操作入力部２５により所定の入力操作を受け付ける処理が行われる。

次のステップＳ３３において、端末制御部２８は、データベースアクセス処理を実行する。このデータベースアクセス処理では、管理コンピュータ３の撮影情報データベース３８にアクセスし、各種データのダウンロード処理が行われる。例えば、基準点管理テーブル（図６参照）のデータがダウンロードされる。また、撮影管理テーブル（図７参照）のデータがダウンロードされる。

次のステップＳ３４において、端末制御部２８は、後述するマーカ認識処理（図１８参照）を実行する。このマーカ認識処理では、カメラ８で撮影された映像に基づいて、マーカ５を認識する処理が行われる。

次のステップＳ３５において、端末制御部２８は、後述する自己位置推定処理（図１９参照）を実行する。この自己位置推定処理では、カメラ８で撮影された映像と加速度情報と角速度情報とに基づいて現場端末２の位置および姿勢を推定する処理が行われる。この自己位置推定処理が実行されるときには、カメラ８が起動して撮影が開始される。

次のステップＳ３６において、誘導情報出力部６３は、誘導情報出力処理を実行する。誘導情報出力部６３は、現場端末２で経路案内の設定がされている場合において、管理コンピュータ３（撮影情報データベース３８）からダウンロードした位置情報に基づいて映像の撮影時の位置まで現場端末２を所持する作業者Ｗを誘導する誘導情報を出力する。例えば、現場端末２のディスプレイ６でナビゲーション表示３５（経路表示）を行う（図１０参照）。

次のステップＳ３７において、指定情報出力部６２は、後述する指定情報出力処理（図２０参照）を実行する。この指定情報出力処理では、過去の撮影時に取得された位置情報および方向情報に基づいて、映像の撮影時の位置および方向を指定する指定情報を出力する。ここで、位置指定部５８と方向指定部５９は、ＡＲオブジェクト７０およびＡＲ枠７１の位置と向き（方向）とを指定する処理を行う。

次のステップＳ３８において、端末制御部２８は、後述する撮影制御処理（図２１参照）を実行する。この撮影制御処理では、位置情報と方向情報と設定情報と時間情報とを含む撮影情報を映像に対応付けて記録する。

次のステップＳ３９において、端末制御部２８は、映像送信処理を実行する。この映像送信処理では、映像記憶部２７に記憶されている映像ファイルを管理コンピュータ３に送信する処理が行われる。なお、映像ファイルを送信する処理は、作業者Ｗの操作に基づいて行っても良いし、一定時間ごとに自動的に行っても良い。そして、端末制御処理を終了する。

次のステップＳ４０において、点検項目表示部５７は、点検項目表示処理を実行する。この点検項目表示処理では、現場端末２で点検項目リスト７４（図１４参照）の表示の設定がされている場合において、点検項目のそれぞれについて映像の撮影が実行されたか否かを示す完了情報を現場端末２のディスプレイ６に表示する。つまり、管理コンピュータ３から送信された情報に基づいて、点検項目リスト７４をディスプレイ６に表示する。

次のステップＳ４１において、映像差分表示部５６は、映像比較結果出力処理を実行する。この映像比較結果出力処理では、現場端末２で映像比較結果の出力の設定がされている場合において、管理コンピュータ３で現在の映像と過去の映像との間に差分が有ると判定された場合に、現場端末２のディスプレイ６に差分の箇所を表示する。例えば、現在撮影された対象機器４において正常でない部分を示す指示表示７３が成される（図１３参照）。そして、端末制御処理を終了する。

次に、現場端末２が実行するマーカ認識処理について図１８のフローチャートを用いて説明する。

まず、ステップＳ４５において、端末制御部２８は、カメラ８により撮影された映像を取得する。

次のステップＳ４６において、端末制御部２８は、取得した映像にマーカ５が写っているか否かを判定する。ここで、映像にマーカ５が写っていない場合（ステップＳ４６にてＮＯの場合）は、マーカ認識処理を終了する。一方、映像にマーカ５が写っている場合（ステップＳ４６にてＹＥＳの場合）は、ステップＳ４７に進む。

ステップＳ４７において、端末制御部２８は、マーカ５の図形に含まれるマーカＩＤを読み取る。

次のステップＳ４８において、基準取得部５５は、予め管理コンピュータ３の撮影情報データベース３８からダウンロードされた基準点管理テーブルのデータに基づいて、読み取ったマーカＩＤに対応する基準点ＩＤの基準点座標情報を特定する。この基準点に対応する基準点座標情報に基づいて、現場端末２の位置情報を取得または補正を行う。そして、マーカ認識処理を終了する。

次に、現場端末２が実行する自己位置推定処理について図１９のフローチャートを用いて説明する。

まず、ステップＳ５１において、位置姿勢推定部５４は、座標の原点となる基準点の設定に基づく座標の確認処理を行う。例えば、建物１４の出入口１７に設けられた１つのマーカ５を原点として基準点を設定する（図２参照）。また、部屋１５の出入口１８に設けられた１つのマーカ５を原点として基準点を設定しても良い。なお、マーカ５の映像が取得されるまでの間、ディスプレイ６にマーカ５の撮影を促す旨の表示を行っても良い。

次のステップＳ５２において、端末制御部２８は、カメラ８により撮影された映像を取得する。

次のステップＳ５３において、位置姿勢推定部５４は、加速度センサ２２で検出された加速度の値を示す加速度情報を取得する。

次のステップＳ５４において、位置姿勢推定部５４は、角速度センサ２３で検出された角速度の値を示す角速度情報を取得する。

次のステップＳ５５において、位置姿勢推定部５４は、カメラ８の映像に基づいて現場端末２の周辺の物体の３次元形状を測定する。また、３次元測定センサ２４の測定に基づいて現場端末２の周辺の物体の３次元形状を取得しても良い。

次のステップＳ５６において、位置姿勢推定部５４は、現場端末２の周辺環境の情報を含む環境地図を作成する。

次のステップＳ５７において、位置姿勢推定部５４は、基準点から現場端末２が移動するときに連続的に撮影された映像に基づいて、現場端末２の位置および姿勢を推定する。この移動中の現場端末２の位置および姿勢を時刻情報とともに記録することで、現場端末２の移動経路１９（図２参照）が記録される。また、部屋１５の内部における移動経路が記録されても良い。

次のステップＳ５８において、位置姿勢推定部５４は、現場端末２の現在の位置および姿勢を推定する。そして、自己位置推定処理を終了する。

次に、現場端末２が実行する指定情報出力処理について図２０のフローチャートを用いて説明する。

まず、ステップＳ６１において、指定情報出力部６２は、ＡＲオブジェクト７０を表示させる設定中であるか否かを判定する。ここで、ＡＲオブジェクト７０（図１１参照）を表示させる設定中でない場合（ステップＳ６１にてＮＯの場合）は、指定情報出力処理を終了する。一方、ＡＲオブジェクト７０を表示させる設定中である場合（ステップＳ６１にてＹＥＳの場合）は、ステップＳ６２に進む。

次のステップＳ６２において、指定情報出力部６２は、管理コンピュータ３（撮影情報データベース３８）からダウンロードした撮影情報に基づいて、ＡＲオブジェクト７０またはＡＲ枠７１を生成する。さらに、指定情報出力部６２は、ＡＲ枠７１と照準枠７２の間の差分を数値で示す補正情報７６を算出する。

次のステップＳ６３において、指定情報出力部６２は、生成したＡＲオブジェクト７０またはＡＲ枠７１をディスプレイ６に表示する。なお、照準枠７２は、ディスプレイ６の中央に固定的に表示される。さらに、指定情報出力部６２は、算出した補正情報７６をディスプレイ６に表示する。

次のステップＳ６４において、指定情報出力部６２は、管理コンピュータ３（撮影情報データベース３８）からダウンロードした撮影情報に基づいて、現在の現場端末２の撮影位置が適切か否かの判定を行う。ここで、撮影位置が適切でない場合（ステップＳ６４にてＮＯの場合）は、指定情報出力処理を終了する。一方、撮影位置が適切である場合（ステップＳ６４にてＹＥＳの場合）は、ステップＳ６５に進む。

次のステップＳ６５において、指定情報出力部６２は、管理コンピュータ３（撮影情報データベース３８）からダウンロードした撮影情報に基づいて、現在の現場端末２の撮影方向が適切か否かの判定を行う。ここで、撮影方向が適切でない場合（ステップＳ６５にてＮＯの場合）は、指定情報出力処理を終了する。一方、撮影方向が適切である場合（ステップＳ６５にてＹＥＳの場合）は、ステップＳ６６に進む。

次のステップＳ６６において、指定情報出力部６２は、現場端末２のディスプレイ６に、カメラ８の画角と倍率と絞り値とシャッタースピードとＩＳＯ感度などの設定を指定する表示（指定情報の表示）を行う。

次のステップＳ６７において、指定情報出力部６２は、カメラ８の自動調整の設定中か否かの判定を行う。ここで、自動調整の設定中でない場合（ステップＳ６７にてＮＯの場合）は、指定情報出力処理を終了する。一方、自動調整の設定中である場合（ステップＳ６７にてＹＥＳの場合）は、ステップＳ６８に進む。

次のステップＳ６８において、指定情報出力部６２は、管理コンピュータ３（撮影情報データベース３８）からダウンロードした設定情報に基づいて、画角と倍率と絞り値とシャッタースピードとＩＳＯ感度などの調整を自動的に行う。また、自動的に撮影中の映像を映像記憶部２７に記憶する処理を行っても良い。そして、指定情報出力処理を終了する。

次に、現場端末２が実行する撮影制御処理について図２１のフローチャートを用いて説明する。

まず、ステップＳ７１において、端末制御部２８は、カメラ８が既に起動しているか否かを判定する。つまり、カメラ８により映像を撮影しているか否かを判定する。ここで、カメラ８が起動中でない場合（ステップＳ７１にてＮＯの場合）は、撮影制御処理を終了する。一方、カメラ８が起動中である場合（ステップＳ７１にてＹＥＳの場合）は、ステップＳ７２に進む。

ステップＳ７２において、端末制御部２８は、カメラ８により撮影された映像をディスプレイ６に表示する。

次のステップＳ７３において、撮影情報記録部６４は、カメラ８により撮影された映像を映像記憶部２７に保存する操作である、撮影操作（録画操作）を受け付けたか否かを判定する。なお、撮影操作とは、例えば、撮影ボタンをタッチ操作することである。ここで、撮影操作を受け付けていない場合（ステップＳ７３にてＮＯの場合）は、撮影制御処理を終了する。一方、撮影操作を受け付けた場合（ステップＳ７３にてＹＥＳの場合）は、ステップＳ７４に進む。

ステップＳ７４において、位置情報取得部５０は、カメラ８による映像の撮影時の位置を特定可能な位置情報を取得する。

次のステップＳ７５において、方向情報取得部５１は、カメラ８による映像の撮影時の方向を特定可能な方向情報を取得する。

次のステップＳ７６において、設定情報取得部５２は、カメラ８による映像の撮影時の設定を特定可能な設定情報を取得する。

次のステップＳ７７において、撮影情報記録部６４は、位置情報と方向情報と設定情報と時間情報とを含む撮影情報を映像に対応付けて記録する。ここで、撮影情報記録部６４は、映像の撮影時刻に基づいて、時間情報を特定する。さらに、その他の情報を特定しても良い。なお、識別子生成部６５が撮影情報に基づいて識別子を生成し、この識別子を映像に対応付けて記録しても良い。ここで、映像ファイルは、映像記憶部２７に記憶される。

次のステップＳ７８において、指定情報出力部６２は、ＡＲオブジェクト７０およびＡＲ枠７１の表示の設定中であるか否かを判定する。ここで、ＡＲ表示の設定中でない場合（ステップＳ７８にてＮＯの場合）は、撮影制御処理を終了する。一方、ＡＲ表示の設定中である場合（ステップＳ７８にてＹＥＳの場合）は、ステップＳ７９に進む。

ステップＳ７９において、撮影情報記録部６４は、カメラ８による撮影がＡＲ表示で指定された通りの撮影であるか否かを判定する。つまり、撮影ＩＤに対応付けられている撮影態様で撮影が行われたか否かを判定する。ここで、指定された通りの撮影でない場合（ステップＳ７９にてＮＯの場合）は、撮影制御処理を終了する。一方、指定された通りの撮影である場合（ステップＳ７９にてＹＥＳの場合）は、ステップＳ８０に進む。

ステップＳ８０において、撮影情報記録部６４は、カメラ８により撮影された映像とＡＲ表示に用いた撮影情報に対応する撮影ＩＤとを対応付けて記録する。つまり、映像ファイルのプロパティ（図８参照）に撮影ＩＤを記録する。

次のステップＳ８１において、撮影情報記録部６４は、点検項目リスト７４に撮影された映像に対応付けられた撮影ＩＤの点検項目があるか否かを判定する。ここで、点検項目がない場合（ステップＳ８１にてＮＯの場合）は、撮影制御処理を終了する。一方、点検項目がある場合（ステップＳ８１にてＹＥＳの場合）は、ステップＳ８２に進む。

ステップＳ８２において、撮影情報記録部６４は、点検項目に対応する映像の撮影が完了したことを示す完了情報を管理コンピュータ３に送信する。そして、撮影制御処理を終了する。

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。

本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。

なお、本実施形態では、ＶＳＬＡＭ技術を用いて現場端末２の位置情報を取得しているが、その他の態様であっても良い。例えば、ＧＰＳを利用して位置情報を取得しても良い。Ｗｉ－Ｆｉ（登録商標）などの無線通信を利用して位置情報を取得しても良い。加速度センサなどを利用するＰＤＲにより位置情報を取得しても良い。

なお、現場端末２が魚眼レンズ付カメラを備えても良い。例えば、２つの魚眼レンズ付カメラを用いて作業者Ｗの上下左右全方位の３６０度パノラマ映像である全天球映像の同時撮影を行っても良い。そして、全天球映像に対象機器４が写っているか否かを判定しても良い。その場合には、撮影方向および設定情報を参照せずに、位置情報のみに基づいて判定を行っても良い。

なお、本実施形態の現場端末２は、作業者Ｗが持運びできる大きさおよび重さであれば良い。例えば、作業現場において、三脚などの固定器具を用いて現場端末２を固定的に設置して使用しても良い。

なお、本実施形態のカメラ８は、ステレオカメラであっても良い。例えば、カメラ８がレンズ付きの２つの撮像素子を備えていても良い。このステレオカメラは、物体を複数の異なる２つの方向から同時に撮影することにより、その物体までの奥行き方向の情報が取得可能となっている。また、ステレオカメラのそれぞれの撮像素子により取得される映像は２次元映像であるが、これら２つの２次元映像に写る像の差異に基づいて、立体的な空間把握が可能な立体写真の生成が可能になっている。

なお、本実施形態の現場端末２は、作業者Ｗにより作業現場で操作されるものであるが、その他の態様であっても良い。例えば、作業者Ｗが現場端末２を作業現場まで搬送し、撮影の操作は、管理者Ｍにより行われても良い。

以上説明した実施形態によれば、位置情報と方向情報と設定情報とを含む撮影情報を映像に対応付けて記録する撮影情報記録部を備えることにより、記録した映像を用いて外観検査を行う際に、検査対象に生じている外観の変化を見落とさないようにできる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…映像管理支援システム、２…現場端末、３…管理コンピュータ、４…対象機器、５…マーカ、６…ディスプレイ、７…スマートフォン、８…カメラ、９…透過型ヘッドマウントディスプレイ、１０…ウェアラブルコンピュータ、１１…コンピュータ本体、１２…ディスプレイ、１３…無線通信装置、１４…建物、１５…部屋、１６…点検エリア、１７，１８…出入口、１９…移動経路、２２…加速度センサ、２３…角速度センサ、２４…３次元測定センサ、２５…操作入力部、２６…通信部、２７…映像記憶部、２８…端末制御部、３０…レイアウト、３１…設置物、３２…カメラアイコン、３３…マウスカーソル、３４…映像、３５…ナビゲーション表示、３８…撮影情報データベース、３９…操作入力部、４０…通信部、４１…映像記憶部、４２…管理制御部、４３…映像情報管理部、４４…点検項目記録部、４５…過去映像抽出部、４６…映像差分判定部、４７…機械学習部、５０…位置情報取得部、５１…方向情報取得部、５２…設定情報取得部、５３…時間情報取得部、５４…位置姿勢推定部、５５…基準取得部、５６…映像差分表示部、５７…点検項目表示部、５８…位置指定部、５９…方向指定部、６０…設定指定部、６１…設定調整部、６２…指定情報出力部、６３…誘導情報出力部、６４…撮影情報記録部、６５…識別子生成部、７０…ＡＲオブジェクト、７１…ＡＲ枠、７２…照準枠、７３…指示表示、７４…点検項目リスト、７５…マーク、７６…補正情報、Ｍ…管理者、Ｗ…作業者。

Claims (14)

1. 作業者が所持する移動可能な端末に搭載され、映像を撮影するカメラと、
   前記カメラによる前記映像の撮影時の位置を特定可能な位置情報を取得する位置情報取得部と、
   前記カメラによる前記映像の撮影時の方向を特定可能な方向情報を取得する方向情報取得部と、
   前記カメラによる前記映像の撮影時の設定を特定可能な設定情報を取得する設定情報取得部と、
   前記位置情報と前記方向情報と前記設定情報とを含む撮影情報を前記映像に対応付けて記録する撮影情報記録部と、
   新たに撮影を行うときに、過去の撮影時に取得した前記撮影情報に基づいて前記映像の撮影時の位置および方向を指定する指定情報を出力する指定情報出力部と、
   を備え、
   前記指定情報出力部は、前記指定情報としての、前記映像の撮影時の位置および方向を指定するＡＲオブジェクトを生成し、前記ＡＲオブジェクトを前記端末に搭載されたディスプレイに表示するものであり、
   前記ＡＲオブジェクトは、前記端末の形状を成しており、かつ前記映像の撮影時の位置で空中に浮いているように前記ディスプレイに表示される、
   映像管理支援システム。
2. 前記設定情報は、
   前記カメラによる前記映像の撮影時の絞り値を特定可能な絞り値情報と、
   前記カメラによる前記映像の撮影時のシャッタースピードを特定可能なシャッタースピード情報と、
   前記カメラによる前記映像の撮影時のＩＳＯ感度を特定可能なＩＳＯ感度情報と、
   前記カメラによる前記映像の撮影時の画角を特定可能な画角情報と、
   前記カメラによる前記映像の撮影時の倍率を特定可能な倍率情報と、
   の少なくともいずれかを含む、
   請求項１に記載の映像管理支援システム。
3. 前記カメラによる撮影の対象となる対象部分の前記撮影情報が記憶された撮影情報データベースを備える、
   請求項１または請求項２に記載の映像管理支援システム。
4. 前記撮影情報データベースに記憶された前記位置情報に基づいて前記映像の撮影時の位置まで前記端末の所持者を誘導する誘導情報を出力する誘導情報出力部を備える、
   請求項３に記載の映像管理支援システム。
5. 前記撮影情報データベースに記憶された前記設定情報に基づいて前記映像の撮影時に前記カメラの設定を調整する設定調整部を備える、
   請求項３または請求項４に記載の映像管理支援システム。
6. 前記カメラによる前記映像の撮影時の時間を特定可能な時間情報を取得する時間情報取得部を備える、
   請求項１から請求項５のいずれか１項に記載の映像管理支援システム。
7. 前記撮影情報が対応付けられた前記映像を、前記カメラによる撮影の対象となる対象部分を個々に識別可能な対象情報に対応付けて管理する映像情報管理部を備える、
   請求項１から請求項６のいずれか１項に記載の映像管理支援システム。
8. 点検項目リストに登録されている個々の点検項目のそれぞれに対応付けて前記映像の撮影が実行されたか否かを記録する点検項目記録部と、
   前記点検項目のそれぞれについて前記映像の撮影が実行されたか否かを示す完了情報を前記端末に搭載された前記ディスプレイに表示する点検項目表示部と、
   を備える、
   請求項１から請求項７のいずれか１項に記載の映像管理支援システム。
9. 前記カメラで撮影された前記映像と同一の前記撮影情報が対応付けられた過去に撮影された前記映像を抽出する過去映像抽出部と、
   現在の前記映像と過去の前記映像とを比較して差分の有無を判定する映像差分判定部と、
   現在の前記映像と過去の前記映像との間に差分が有ると判定された場合に前記端末に差分の箇所を表示する映像差分表示部と、
   を備える、
   請求項１から請求項８のいずれか１項に記載の映像管理支援システム。
10. 前記端末に搭載されたデバイスにより得られた情報に基づいて前記端末の位置および姿勢を推定し、かつ前記端末の周辺環境の情報を含む環境地図の作成を行う位置姿勢推定部を備え、
    前記環境地図に基づいて、前記位置情報取得部が前記映像の撮影時の位置の取得を行い、かつ前記方向情報取得部が前記映像の撮影時の方向の取得を行う、
    請求項１から請求項９のいずれか１項に記載の映像管理支援システム。
11. 撮影場所に対応して予め設けられたマーカを前記カメラで撮影して３次元空間の基準点を取得する基準取得部を備え、
    前記基準点に基づいて、前記位置情報取得部が前記映像の撮影時の位置の取得を行い、かつ前記方向情報取得部が前記映像の撮影時の方向の取得を行う、
    請求項１から請求項１０のいずれか１項に記載の映像管理支援システム。
12. 前記位置情報に基づいて前記カメラによる前記映像の撮影時の位置を指定する位置指定部と、
    前記方向情報に基づいて前記カメラによる前記映像の撮影時の方向を指定する方向指定部と、
    を備える、
    請求項１から請求項１１のいずれか１項に記載の映像管理支援システム。
13. 作業者が所持する移動可能な端末に搭載され、映像を撮影するカメラと、
    予め取得した位置情報に基づいて前記カメラによる前記映像の撮影時の位置を指定する位置指定部と、
    予め取得した方向情報に基づいて前記カメラによる前記映像の撮影時の方向を指定する方向指定部と、
    前記位置情報および前記方向情報に基づいて前記映像の撮影時の位置および方向を指定する指定情報を出力する指定情報出力部と、
    を備え、
    前記指定情報出力部は、前記指定情報としての、前記映像の撮影時の位置および方向を指定するＡＲオブジェクトを生成し、前記ＡＲオブジェクトを前記端末に搭載されたディスプレイに表示するものであり、
    前記ＡＲオブジェクトは、前記端末の形状を成しており、かつ前記映像の撮影時の位置で空中に浮いているように前記ディスプレイに表示される、
    映像管理支援システム。
14. 作業者が所持する移動可能な端末に搭載されたカメラにより映像を撮影するステップと、
    前記カメラによる前記映像の撮影時の位置を特定可能な位置情報を取得するステップと、
    前記カメラによる前記映像の撮影時の方向を特定可能な方向情報を取得するステップと、
    前記カメラによる前記映像の撮影時の設定を特定可能な設定情報を取得するステップと、
    前記位置情報と前記方向情報と前記設定情報とを含む撮影情報を前記映像に対応付けて記録するステップと、
    新たに撮影を行うときに、過去の撮影時に取得した前記撮影情報に基づいて前記映像の撮影時の位置および方向を指定する指定情報を出力するステップと、
    を含み、
    前記指定情報を出力するステップで、前記指定情報としての、前記映像の撮影時の位置および方向を指定するＡＲオブジェクトを生成し、前記ＡＲオブジェクトを前記端末に搭載されたディスプレイに表示し、
    前記ＡＲオブジェクトは、前記端末の形状を成しており、かつ前記映像の撮影時の位置で空中に浮いているように前記ディスプレイに表示される、
    映像管理支援方法。

Images