JP6188601B2 - 変化検出装置、方法及びプログラム - Google Patents

Description

本発明は、固定されている設備を主な被写体として作業中の状況を撮影した記録映像から、作業前後の設備の変化を容易に確認するのに好適な、変化検出装置、方法及びプログラムに関する。

通信局舎に収納されている交換機・光配電盤・サーバ等の通信機器に対して、配線・ユニット交換・設定に代表される工事が実施される。通常、作業員が対象通信機器(以下、作業対象の通信機器とそれに付随するケーブル等を、対象設備とする)のあるラックの前に立ち、事前にまとめられた作業手順書の指示に従い作業を遂行する。

近年、正確な作業が行われたことの証明や有事の際の証拠として使用する目的で、作業の途中過程も重視されるようになり、作業中の映像を記録に残すことの重要性が指摘され始めている。ここでは、作業者の対象設備に対する施工状況が漏れなく撮影されるよう、作業者の頭部に固定されたカメラから作業者の視点に近い映像(一人称映像)を記録することを想定する。

一方で、実際に作業開始から終了までの長尺の映像内から所望の場面を検索するには時間を要する。そこで作業完了に伴う作業報告の作成や有事の際の証拠の作成のために、対象設備の作業前後の変化に基づいた映像のサマライズ機能が求められている。

ところで、現場作業を対象として、作業前後の写真を比較することで、対象設備の状態の同一性を確認する手法として、特許文献１がある。

特許文献１は、対象設備を被写体として作業前後のデジタル写真を入力し、作業結果の同一性を判定する技術である。従来はスケッチによる照合やチェックシートによる確認を必要とした照合を、同技術を利用することで容易に照合を行うことが可能となる。

特開2013-003909号公報（「作業前後写真照合システム」）

しかしながら、特許文献１は、対象設備を被写体として作業開始前と作業終了後の２枚の写真を撮影し、その写真を明示的に入力する必要があった。作業映像等動画を対象とした場合には映像全体のフレームに対してフレームを選択する手法が必要になるが、同ケースに関して記載がなかった。また、特許文献１は作業前後のそれぞれのデジタル写真に対して、隣り合う画素の色相の差が閾値以上の画素を算出しその画素数の比率を特徴として作業前後の同一性を照合する。ここでは作業前後の写真中の対象設備のそれぞれの位置変化情報を利用してしない。そのため、例えば作業装置のケーブルを対象とした場合、同色のケーブルが複数混在する場合に、位置情報による識別が行われない結果、照合精度が低下する可能性があった。

本発明は、上記従来技術の課題に鑑み、ユーザが特定の2枚の写真を明示的に入力する等の手間を必要とせず、記録映像における対象設備の変化を自動で高精度に検出することのできる変化検出装置、方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、対象設備及びオブジェクトが撮影された記録映像より、対象設備に関する変化を検出する変化検出装置であって、前記記録映像の各フレームより前記オブジェクトを認識してその位置を求めるオブジェクト認識部と、前記オブジェクトの位置より、前記記録映像の各フレームにおけるカメラ相対姿勢を算出するカメラ姿勢推定部と、前記オブジェクトの位置に所定の相対的配置関係を適用して、前記記録映像の各フレームにおける前記対象設備の位置を特定する対象設備位置特定部と、前記記録映像の一部より、前記対象設備のカメラ相対姿勢ごとの画像としてフレーム基準画像を作成する初期対象設備登録部と、前記記録映像の各フレームにつき、前記特定された対象設備の位置の画像を、前記フレーム基準画像と比較することにより、前記対象設備に関する変化を検出する対象設備変化検出部と、を備えることを特徴とする。

また、本発明は、対象設備及びオブジェクトが撮影された記録映像より、対象設備に関する変化を検出する変化検出方法であって、前記記録映像の各フレームより前記オブジェクトを認識してその位置を求めるオブジェクト認識段階と、前記オブジェクトの位置より、前記記録映像の各フレームにおけるカメラ相対姿勢を算出するカメラ姿勢推定段階と、前記オブジェクトの位置に所定の相対的配置関係を適用して、前記記録映像の各フレームにおける前記対象設備の位置を特定する対象設備位置特定段階と、前記記録映像の一部より、前記対象設備のカメラ相対姿勢ごとの画像としてフレーム基準画像を作成する初期対象設備登録段階と、前記記録映像の各フレームにつき、前記特定された対象設備の位置の画像を、前記フレーム基準画像と比較することにより、前記対象設備に関する変化を検出する対象設備変化検出段階と、を備えることを特徴とする。

さらに、本発明は、コンピュータを上記変化検出装置として機能させる変化検出プログラムであることを特徴とする。

本発明によれば、記録映像においてオブジェクトに紐付ける形で対象設備の領域を特定し、記録映像の一部から対象設備をカメラ相対姿勢毎に見た画像としてフレーム基準画像を作成し、当該フレーム基準画像との比較で対象設備の変化をカメラ相対姿勢毎に検出する。従って、特定の写真を指定する等の手間なく、対象設備の変化を自動で検出することが可能となる。また、変化はカメラ相対姿勢毎に検出されるため、高精度な変化検出が可能となる。

一実施形態に係る変化検出装置の機能ブロック図である。 記録映像を取得するために用いられるカメラの例を示す図である。 フレーム番号の時間軸を示す図であり、変化検出装置における時系列上の処理の流れを説明するための図である。 ARマーカ（オブジェクト）の位置と対象設備の位置との相対的な配置関係の設定についての第一手法を概念的に説明するための例を示す図である。 ARマーカ（オブジェクト）の位置と対象設備の位置との相対的な配置関係の設定についての第二手法を概念的に説明するための例を示す図である。 一実施形態に係る初期対象設備登録部の機能ブロック図である。 一実施形態に係る対象設備変化検出部の機能ブロック図である。 フレーム基準画像生成部がフレーム基準画像を算出する際の、ピクセル位置毎に異なる参照可能画素数の概念的な例を示す図である。

図１は、一実施形態に係る変化検出装置の機能ブロック図である。変化検出装置10は、フレームキャプチャ部1、オブジェクト認識部2、カメラ姿勢推定部3、対象設備位置特定部4、初期対象設備登録部5及び対象設備変化検出部6を備える。当該各部の機能は以下の通りである。

ここで、当該各部の機能を説明する前に、図１中にも付記されている当該各部の入出力するデータを表す記号の記法について説明する。当該各データには、図１中にも示す通り、以下に掲げる(1)〜(8)その他が存在し、上付き添え字及び／又は下付き添え字によって、当該添え字で定められる対象についての関数としてのデータであることが表現されている。（なお、(8)については後述する図６中に付記されている。）

例えば、上記(1)の入力画像I_fは、時系列上の各フレームf(f=1, 2, …)における画像データIであることを表している。また、上記(2)〜(8)に関して、添え字を用いた正式な記法は上記の通りであるが、以降の説明においてはそれぞれ、次のような略記法を用いることとする。

(2)の、入力画像I_fの各々とマーカmaとに対して定まるマーカの検出結果を表す記号を「P_ma ^If」と略記する。(3)の、入力画像I_fの各々とカメラcamとに対して定まるカメラの相対姿勢を表す記号を「W_cam ^If」と略記する。(4)の、入力画像I_fの各々と対象設備eqとに対して定まる対象設備位置を表す記号を「P_eq ^If」と略記する。(5)の、(3)にて定めたカメラの相対姿勢W_cam ^Ifと対象設備eqとに対して定まる装置画像を表す記号を「I_eq ^W _cam ^If」と略記する。

(6)の、対象設備eqとカメラ姿勢W_camとに対して定まるフレーム基準画像を表す記号を「I_eq ^W _cam」と略記する。(7)の、入力画像I_fの各々（と対象設備eqと）に対して定まる対象設備変化画像を表す記号を「I_f ^sub」と略記する。(8)の、一連の入力画像I_fのうち初期(ini)入力として用いられるものに対して定まるクラスタを表す記号を「C_ini ^If」と略記する。

入出力される各データの記号に関して以上のような略記法を用いることを前提として、図１の各部の機能は以下の通りである。

フレームキャプチャ部1は、変化検出装置10全体としての入力データであり且つ本発明にて対象設備の比較画像の抽出対象となる記録映像を受け取り、一定間隔でそのフレーム画像をサンプリングする。なお、レートを落とさず、記録映像のフレームレートのままでサンプリングしてもよい。当該サンプリングされたフレーム画像は入力画像I_fとしてオブジェクト認識部2、初期対象設備登録部5及び対象設備変化検出部6に渡される。

図２は、当該入力としての記録映像を取得するために用いられるカメラの例を示す図である。例えば、(1)に示すように、作業者Pがヘルメットマウント型（ヘッドマウント型）のカメラHで作業対象の設備Wを撮影する。あるいは(2)に示すように、作業者Pは耳かけ型のカメラMで撮影してもよい。その他、例えば眼鏡に設置されたカメラで撮影してもよい。

このようなカメラで撮影される記録映像は、次のように取得されることを想定する。すなわち、作業者の対象設備に対する施工状況が、作業者の視点に近い映像（一人称映像）として、漏れなく撮影されたものとして取得されることを想定する。この際、記録映像には必ずしも、設備対象の全体が常に写っているわけではなく、作業の各手順に応じて設備対象内の様々な作業箇所が注視されることとなり、また、作業者が設備対象との距離や立ち位置を変えながら、視点を変えて映像が撮影されることとなる。

オブジェクト認識部2は、一実施形態では、ユーザによって予め用意され入力されるAR(拡張現実)マーカ情報を受け取り、入力画像I_fから当該ユーザ入力される情報に一致するものとしてARマーカを検出し、カメラピクセル座標I(x,y)でのARマーカ中の複数の点の位置P_ma ^Ifを算出して、カメラ姿勢推定部3及び対象設備位置特定部4に渡す。当該利用するARマーカの内容等及び当該算出方法には、例えば以下の非特許文献１に開示されているオープンソースライブラリのARToolKitで利用されるARマーカおよびARマーカ検出法を利用できる。

[非特許文献1] ARToolKit（インターネット）http://www.hitl.washington.edu/artoolkit/

なお、本発明においてARマーカは、対象設備位置特定部4の説明の際に後述するように、対象設備上あるいは対象設備の近辺に予め設置しておくことで、記録映像内に（ある時点以降において概ね継続的に）撮影されていることが想定されている。

ここで、時系列上の一連の入力画像I_fにおいて、オブジェクト認識部2が初めてARマーカの検出に成功したフレーム番号fをf=t_iniとして、フレーム番号fの時間軸を示す図３を参照して、変化検出装置10における時系列上の処理の流れの概要を説明する。

図３にて欄[1]として示すように、オブジェクト認識部2と、後述するカメラ姿勢推定部3及び対象設備位置特定部4とは、当該検出に成功したフレームf=t_ini以降の全てのフレームfを対象としてそれぞれの処理を実施する。

また、後述する初期対象設備登録部5は、図１中の一連のデータ線L50として示し、図３にて欄[2]として示すように、t_ini以降の作業開始前と判定される所定の時間内t_endまでの間(t_ini≦f≦t_end)の入力データを用いて処理を実施し、その結果を図１中のデータ線L51として示すように、対象設備変化検出部6に渡す。当該結果を受け取ることで、対象設備変化検出部6はその処理が実施可能となる。

さらに、後述する対象設備変化検出部6は、初期対象設備登録部5による上記結果を受けとった後に、図１中の一連のデータ線L60として示し、図３にて欄[3]として示すように、上記所定の時間内t_endの経過後(f＞t_end)の入力データを用いて処理を実施することで、変化検出装置10からの最終的な出力としての、対象設備変化画像を得る。

なお、オブジェクト認識部2では、初めてARマーカを認識した時点t_ini以降の各入力画像I_fに対して、ARマーカの位置P_ma ^Ifを継続的に検出するが、検出に失敗したフレームfにおいては、当該位置P_ma ^Ifの情報に代えて、失敗した旨の情報を出力する。当該失敗したフレームf（偶発的なノイズ等でARマーカの検出に失敗したものと想定されるフレームf）に関しては、図３で説明したような変化検出装置10による処理は省略される。当該省略されたフレームfに関しては、初期対象設備登録部5の処理においては一連の入力データから除外して扱われ、対象設備変化検出部6の処理においては、変化検出装置10からの最終的な出力として、当該フレームfはエラーであったものとして扱われる。

また、オブジェクト認識部2では、一実施形態としてARマーカを認識し、より一般にはARマーカと同様の機能を果たすオブジェクトを認識することができるが、以下の説明においてはARマーカを認識するものとして説明し、一般的な場合については後述する。

図１の各部の説明に戻り、カメラ姿勢推定部3は、オブジェクト認識部2で検出したARマーカの抽出結果P_ma ^Ifを利用して、フレームfごとにARマーカに対するカメラ（記録映像を撮影したカメラ）の相対姿勢W_cam ^Ifを算出し、当該算出した相対姿勢を図３にて説明したように、t_ini≦f≦t_endの間のフレームfにつき初期対象設備登録部5へ、f＞t_endのフレームfにつき対象設備変化検出部6へ、それぞれ渡す。

一実施形態では、カメラ姿勢推定部3はさらに、当該算出した相対姿勢を全フレームfにつき、対象設備位置特定部4へも渡すようにしてよい。

カメラ姿勢推定部3による当該相対姿勢の算出も、前述の非特許文献１のARToolKitを利用して算出することができる。なお、当該相対姿勢は、ARマーカの3次元位置を基準としたカメラの相対位置(3次元)およびカメラの向き(3次元)からなる6次元のデータである。

対象設備位置特定部4では、オブジェクト認識部2が検出したARマーカの位置P_ma ^Ifに基づき、入力画像I_fにおける対象設備の位置の特定を行い、当該特定したカメラピクセル座標での対象設備位置P_eq ^Ifを図３にて説明したように、t_ini≦f≦t_endの間のフレームfにつき初期対象設備登録部5へ、f＞t_endのフレームfにつき対象設備変化検出部6へ、それぞれ渡す。

ここで、対象設備位置特定部4によるARマーカの位置P_ma ^Ifからの対象設備位置P_eq ^Ifの特定は、ユーザにより予め入力される、当該両者の相対的な配置関係の適用によってなされる。図４及び図５は、当該両者の相対的な配置関係の設定の各手法を概念的に説明するための例を示す図であり、対象設備が通信設備の筐体である場合の例が示されている。

当該相対的な配置関係は、簡素に設定可能な第一手法として、画像平面上の配置関係として設定することもでき、また、対象設備の領域をより正確に特定することが可能な第二手法として、空間的な位置関係を考慮したうえでの画像平面上での配置関係として設定することもできる。ここで、図４は第一手法の例を示し、図５は第二手法の例を示している。

図４の(1A)は、対象設備の例としての通信設備の筐体の上部に、作業者等が予めARマーカを配置した例における入力画像である。このような場合、(1B)に示すように、入力画像G1内においてARマーカM1の下部の領域R1として、対象設備の領域を設定することができる。すなわち、画像G1内においてマーカ領域M1(=位置P_ma ^If)の下部を占める領域R1(=位置P_eq ^If)として、位置P_ma ^If及び位置P_eq ^Ifの相対的な配置関係を予め設定しておくことができる。

なお、図４の(1B)の例においては、M1,G1,R1等の領域の境界を図面上明示するための便宜上、画像G1の周辺に、灰色の領域を設けてある。後述する図４の(2B)及び図５の(3B),(3C)においても、同様の領域が設けられている。

ここで、当該(1A),(1B)の例のように、相対的配置関係を「下部」として設定する際は、ARマーカの位置P_ma ^Ifの画像内座標のうち、最も画像内の下部にある点よりも「下部」(画像にて下向きにy座標を取る場合、+yの側)の矩形領域を、対象設備の位置P_eq ^Ifとして特定することができる。全く同様にして、ユーザが予め作業環境に合致した内容を入力することにより、ARマーカの「上部」、「右部」、「左部」その他を相対的な配置関係として設定することができる。

あるいは、ARマーカは対象設備又はその近辺のいずれかの箇所に配置しさえすればよいものとして、上記(1B)のような「下部」といった具体的な設定の手間を省略可能とする実施形態として、入力画像の全体が対象設備の位置P_eq ^Ifとなるように一律に設定するようにしてもよい。

例えば、図４の(2A)の例は、対象設備の前面における任意箇所にARマーカを配置するようにした例である。この場合、(2B)に示すように、ARマーカM2から見て上下左右といったようなどのような相対的配置関係にあるかということを指定する必要なく、一律に指定可能な相対的配置関係として、画像の全体領域G2をそのまま対象設備の領域R2として設定することができる。

また、図５に例示する第二手法では、ARマーカの位置P_ma ^Ifを基準とした3次元空間上の所定範囲が入力画像I_fにおいて写って占める領域として、対象設備の位置P_eq ^Ifを特定することができる。当該写って占める領域の計算は、ユーザが予め相対的配置関係の情報を与えたうえで、前述の非特許文献１のARToolKitを利用して算出することができる。例えば、ARマーカが正方マーカであれば、当該正方マーカと共通の面上(3次元空間内の面上)に存在し、当該正方マーカを基準とした所定の位置及び形状を有する領域を、対象設備の位置P_eq ^Ifとすることができる。

図５では、(3A)に示すように、図４の(1A)の場合と同様に対象設備の上部にARマーカを配置する場合に、当該ARマーカと面を共有し、当該ARマーカからみて下部の所定位置において矩形の形状を有する対象設備の前面を、対象設備の位置P_eq ^Ifとして設定する例が、(3B)及び(3C)に示されている。(3B)では、画像G3は(3A)と同様の配置で撮影され、対象設備を正面から撮影した状態となっており、画像G3内にARマーカの領域M3を基準として、対象設備前面の領域R3が特定される。一方、同撮影対象を傾いた配置で撮影した(3C)の例では、画像G4内に、傾いたARマーカの領域M4を基準として、同じく傾いた対象設備前面の領域R4が特定される。

なお、以上のような第二手法を適用する際は、対象設備位置特定部4ではカメラ姿勢推定部3から相対姿勢W_cam ^Ifを受け取り、当該相対姿勢W_cam ^If及びユーザの入力する相対的な位置関係を用いて前述の非特許文献１のARToolKitの手法による計算を行うことで、ARマーカの位置P_ma ^Ifを基準とした対象設備の位置P_eq ^Ifを特定する。

図１の各部の説明に戻り、初期対象設備登録部5では、図３にて説明したようにt_iniから所定の時間内t_endまでは作業開始前と判定して、当該作業開始前の各フレームf(t_ini≦f≦t_end)を対象として、対象設備位置P_eq ^If中の装置画像I_eq ^W _cam ^Ifをカメラ姿勢別に算出して、当該算出したカメラ姿勢別のフレーム基準画像I_eq ^W _camを対象設備変化検出部6に渡す。

ここで、当該フレーム基準画像I_eq ^W _camはカメラ姿勢W_cam毎に算出されるが、当該カメラ姿勢の各々は、作業開始前の一連のフレームf(t_ini≦f≦t_end)を対象としてカメラ姿勢推定部3において得られている一連のカメラ姿勢W_cam ^Ifを対象としてクラスタリングを行った結果のクラスタC_ini ^Ifの各セントロイドの姿勢として得られる。また、当該セントロイドのクラスタに対応する一連の入力画像I_fにおいて、対象設備位置特定部4で特定された位置P_eq ^Ifにある画像をセントロイド姿勢で見た状態へ修正したものを、当該クラスタにおいて平均した画像として、フレーム基準画像I_eq ^W _camの各々が得られる。当該クラスタリング等の処理の詳細については後述する。

また、作業開始前の一連のフレームf(t_ini≦f≦t_end)を定めるには、初めてARマーカが検出された時点f=t_iniから所定時間が経過するまで、例えば1分経過するまで、として所定値を割り当てることによって設定してもよいし、記録映像を目視確認したユーザ自身の判断を入力として受け取って、当該判断された箇所をf=t_endとして設定してもよい。

対象設備変化検出部6では、図３で説明したようにt_endより後の入力画像I_fに対して、次の第一〜第三の処理を行う。

第一処理では、当該入力画像I_fの対象設備位置P_eq ^Ifにおいて占める画像を装置画像I_eq ^W _cam ^Ifとして求める。第二処理では、カメラ姿勢推定部3で算出されたカメラ相対姿勢W_cam ^Ifで分類を行い、当該分類によって同一姿勢に対応するもの（「W_cam ^If=(セントロイドの中の1つの)W_cam」とみなせるもの）を決定したうえで、初期対象設備登録部5が出力した複数画像の中から、当該決定された姿勢W_camに対応するフレーム基準画像I_eq ^W _camを選択する。

第三処理では、上記第一処理にて求めた装置画像I_eq ^W _cam ^Ifをセントロイドの姿勢W_camで見た状態へと修正したうえで、上記第二処理にて選択されたフレーム基準画像I_eq ^W _camと比較し、変化部の割合が一定しきい値を超えた場合には、設備に作業が実施されたと判定し、対象設備変化画像I_f ^subとして出力する。当該出力する際に、変化領域を視覚的に確認できるように、例えば画像中の対象変化領域を赤丸で囲む、あるいは、変化領域の境界を所定の強調色に変更するなどの加工を加えてもよい。

なお、当該出力される対象設備変化画像I_f ^subには、上記第三処理で比較のためにセントロイドの姿勢W_camで見た状態へと修正したものを用いてもよいし、上記第一の処理にて求めた装置画像I_eq ^W _cam ^Ifをそのまま用いてもよい。

以上、図１の各部を説明した。以下、初期対象設備登録部5及び対象設備変化検出部6の詳細をそれぞれ説明する。

図６は、一実施形態に係る初期対象設備登録部5の機能ブロック図である。初期対象設備登録部5は、カメラ姿勢別フレーム分類部51、クラスタ内射影変換部52及びフレーム基準画像生成部53を備える。

初期対象設備登録部5は、一連のデータ線L50（図１と共通）として示すように、作業開始前と判定される一連のフレームf(t_ini≦f≦t_end)に関して、入力画像I_f、カメラの相対姿勢W_cam ^If及び対象設備位置P_eq ^Ifを入力として受け取り、データ線L51（図１と共通）として示すように、カメラ姿勢別のフレーム基準画像を出力する。当該各部51,52,53の詳細は以下の通りである。

カメラ姿勢別フレーム分類部51は、入力データにおける一連のフレームf(t_ini≦f≦t_end)に関してのカメラの相対姿勢W_cam ^Ifを分類して、クラスタC_ini ^Ifを作成し、当該作成結果をクラスタ内射影変換部52に渡す。

この際、位置及びカメラ向きで表現されるカメラ相対姿勢W_cam ^Ifの各々につき、位置に関してはボクセルで表現し、カメラ向きに関しては、比較する2つの向きをベクトルで表現し、そのなす角の差に基づいてクラスタC_ini ^Ifを生成する。当該クラスタ生成のためのクラスタリング手法には、例えばk-means法など、周知の種々の手法を利用することができる。

クラスタ内射影変換部52は、入力データにおける各フレームfの入力画像I_fにおいて対象設備位置P_eq ^Ifが占める画像を装置画像I_eq ^W _cam ^Ifとして定めたうえで、当該装置画像I_eq ^W _cam ^IfをクラスタC_ini ^If内のクラスタの中心（セントロイド）に最も近い姿勢を基準にして射影変換処理を行うことで正規化し、当該正規化された装置画像I_eq ^W _cam ^If _[正規化]をフレーム基準画像生成部53に渡す。当該正規化はすなわち、装置画像I_eq ^W _cam ^Ifをセントロイドの姿勢で見た状態へと変換することに該当する。

フレーム基準画像生成部53は、クラスタC_ini ^Ifごとにそのセントロイドの姿勢へと射影変換された画像I_eq ^W _cam ^If _[正規化]群より、ピクセルごとに平均と分散を算出したうえで、当該平均値で与えられる画像としてフレーム基準画像I_eq ^W _camを求め、当該求めたフレーム基準画像I_eq ^W _camを算出された分散の情報と共に、対象設備変化検出部6へと渡す。

ここで、フレーム基準画像I_eq ^W _camはクラスタC_ini ^Ifの各セントロイド姿勢W_cam毎に求まっているので、フレーム基準画像I_eq ^W _camを受け取る対象設備変化検出部6においては、フレーム基準画像I_eq ^W _camに内在する情報として、クラスタC_ini ^Ifの情報も合わせて受け取ることとなる。

図７は、一実施形態に係る対象設備変化検出部7の機能ブロックである。対象設備変化検出部7は、姿勢比較部61、射影変換部62及び差分検出部63を備える。

対象設備変化検出部7は、データ線L51（図１と共通）として示すように、初期対象設備登録部5が求めたカメラ姿勢別フレーム基準画像I_eq ^W _camを参照用のデータとして用いることで、一連のデータ線L60（図１と共通）として示すように、作業開始後と判定される一連のフレームf(f＞t_end)に関して、入力画像I_f、カメラの相対姿勢W_cam ^If及び対象設備位置P_eq ^Ifからなる入力に対して、対象設備変化画像I_f ^subを出力して、変化検出装置10からの最終的な出力とする。当該各部61,62,63の詳細は以下の通りである。

姿勢比較部61は、当該入力される作業開始後の各フレームfにおけるカメラ相対姿勢W_cam ^Ifを、参照用データであるフレーム基準画像I_eq ^W _camにおけるクラスタC_ini ^Ifと比較することにより、最も類似するクラスタのセントロイド姿勢W_camを選択して、射影変換部62に渡す。

射影変換部62は、当該入力される作業開始後の各フレームfに対する入力画像I_fにおいて、対象設備位置P_eq ^Ifが占める画像を装置画像I_eq ^W _cam ^Ifとして定めたうえで、当該装置画像I_eq ^W _cam ^Ifを、姿勢比較部61にて選択された最類似クラスタのセントロイド姿勢W_camを基準として射影変換処理を行うことで正規化し、当該正規化された装置画像I_eq ^W _cam ^If _[正規化]を差分検出部63に渡す。

上記のように、射影変換部62で行われる処理は、処理対象となるデータが異なるものの、処理内容は射影変換処理であって、前述のクラスタ内射影変換部52における処理内容と共通である。

差分検出部63は、当該入力される作業開始後の各フレームfに対する正規化された装置画像I_eq ^W _cam ^If _[正規化]を、参照用データとしての、姿勢比較部61にて選択された最類似クラスタのセントロイド姿勢W_camに対応するフレーム基準画像I_eq ^W _camと比較することで、以下のような変化領域及び作業変化の特定を行い、当該特定内容に基づいて対象設備変化画像I_f ^subを出力する。

すなわち、当該比較することにより、正規化された装置画像I_eq ^W _cam ^If _[正規化]においてしきい値以上の画素差が生じている領域を変化領域として特定する。当該変化領域を特定するためのしきい値には、前述のフレーム基準画像生成部53において求めた分散に基づく所定値（分散に比例する値など）を利用することができる。

さらに、当該正規化された画像I_eq ^W _cam ^If _[正規化]内で当該特定された変化領域が一定しきい値以上の割合（面積としての割合）を占める場合は、当該フレームfにおいて作業変化が発生した旨を特定する。作業変化が発生した旨が特定されたフレームfに関しては、前述のように、対象設備変化画像I_f ^subとして出力され、併せて変化領域を赤丸で囲むなどの処理が実施される。

なお、差分検出部63の出力（従って、対象設備変化検出部6の出力）は、対象設備変化画像I_f ^subとして出力するのではなく、より簡素な出力として、各フレームfにおいて作業変化が発生した旨が特定されたか否かの情報のみを出力するようにしてもよい。当該簡素な出力の用途として、例えば、作業変化の発生有無の情報を当初の記録映像の時間軸上に紐付けることで、記録映像を再生して目視確認する際に、作業変化が発生したと判定される箇所を容易に頭出しすることが可能となる。

以上、詳細に説明したように本発明によれば、対象設備を主な被写体とした一人称映像としての記録映像から、対象設備の変化領域を逐一自動的に抽出することを実現し、作業履歴のサマライズ、誤作業の確認、誤作業からの復旧のサポートを実現する。また、本発明ではカメラ姿勢ごとに設備画像を登録するために、対象設備がケーブルなどの存在により平面と仮定することが困難な場合でも、作業変化の検出精度を下げることなく差分画像を検出することが実現できる。

以下、本発明における補足的事項を説明する。

（補足１）変化検出装置10の入力である一人称映像としての記録映像は、撮影者（作業者を兼ねる）が、次のような条件を満たすようにして撮影することにより用意するのが好ましい。すなわち、作業開始前とされる一連のフレームf(t_ini≦f≦t_end)において、作業開始後のフレームにおいて現れることとなる一連のカメラ姿勢が概ね現れるようにして、撮影がなされることが好ましい。記録映像が例えば対象設備のメンテナンス作業に関するものであれば、実際の作業に取り掛かる前に、当該メンテナンス作業の各手順に対して、作業者が各手順を実施するための位置に移動したうえで各手順を実施する際に見ることとなる箇所を眺めることによって、作業開始前の一連のフレームを得られるようにすることが好ましい。

上記のような作業内容に応じた作業開始前の一連のフレームを確実に得ることができるようにするために、周知のAR技術を用いてもよい。すなわち、対象設備に関して、どの位置で眺めて撮影がなされるべきかを、図２にて説明したようなシースルー型ディスプレイ等を用いて、AR技術による重畳表示で撮影者に案内するようにしてもよい。なお、当該重畳表示された内容は、記録映像には含めない。

（補足２）以上の説明では、オブジェクト認識部2はARマーカを認識するものとして説明したが、一般には、ARマーカと同等の機能（カメラ相対姿勢W_cam ^Ifを算出可能とさせる機能）を有する任意のオブジェクトを認識することが可能である。

例えば、一般のオブジェクトを認識するために、画像認識技術で一般的な局所特徴量に基づく画像照合技術を利用してもよい。本技術は、たとえば以下の非特許文献２のオープンソースのOpenCVを利用することができる。この場合、例えば対象設備が映されている初期映像データから、作業中変化が生じず、かつ文字領域など特徴的なエッジで構成される領域を手動で指定することによって、当該指定された領域から局所特徴量を抽出したうえで、参照用のオブジェクト情報としてオブジェクト認識部2に入力するようにすればよい。こうして、当該手動指定された領域をARマーカと同等の機能を有するオブジェクトとして利用することができるようになる。

[非特許文献２] OpenCV2.4.8 http://opencv.org/

（補足３）作業等の記録映像において、作業等の際の作業者の手が対象設備を背景として写っている場合、当該写った「手」が、対象設備に対する作業そのものによる外観の変化（例えば、筐体に新たにケーブルを接続したことによる外観の変化）ではないにもかかわらず、差分検出部63において作業変化として検出されてしまうことがありうる。全く同様に、作業開始前の一連のフレームにおいて、対象設備とは無関係の「手」が写っていたために、初期対象設備登録部5の処理によりフレーム基準画像I_eq ^W _camの一部に「手」が含まれ、作業開始後のフレームに対して差分検出部63が「手」が含まれない状態を作業変化として検出してしまうことがありうる。このようなことを防止するために、次のようにしてもよい。

すなわち、フレームキャプチャ部1において、記録映像から入力画像I_fを得る際に、「手」の領域のマスキング処理を実施し、当該マスキングされた領域は、以降の変化検出装置10の各部の処理対象から除外するようにしてよい。手領域検出は、例えばRGB画像をHSV色空間に変換した後に、手の肌色を特定するための固定しきい値を利用することで、手領域を検出すればよい。当該検出された手領域が画像内の所定割合（面積の割合）以上を占める場合は、当該フレームf自体を変化検出装置10による処理対象から除外するようにしてよい。

また、上記と同様にして「手」以外にも、対象設備とは別対象としての手袋を用いる場合や作業治具を用いる場合においても、これらの別対象をその所定の色特徴に基づいてマスキング処理することで、除外するようにしてよい。

（補足４）作業による対象設備の変化は、一般に、作業の各手順に応じた履歴を伴った段階的な変化となる。例えば、第一段階としてある箇所に新たにネジ穴を設けたうえで、第二段階としてネジを締めるという作業がある。このような場合に、作業の各段階を区別して、差分検出部63において各段階に応じた作業変化をそれぞれ特定できるようにすることが好ましい。

しかしながら、以上説明した処理においては、初期対象設備登録部5にて作成したカメラ姿勢別フレーム基準画像I_eq ^W _camが固定的な参照データとして利用されるので、上記のように各段階に応じた作業変化を特定することができない。

そこで、各段階に応じた作業変化を特定するために、差分検出部63において、あるセントロイド姿勢W_camに関して、作業変化の検出が一定期間継続して得られた場合には、当該一定期間継続して得られた一連の入力画像I_fを用いて、当該セントロイド姿勢W_camに関してのカメラ姿勢別フレーム基準画像I_eq ^W _camを更新するようにしてよい。当該更新処理は、当該一定期間継続して得られた一連の入力画像I_fを入力データとして用いて、初期対象設備登録部5が初期登録をする際の処理と同様の処理を実施すればよい。

なお、当該一定期間継続して得られた一連の入力画像I_fより当該セントロイド姿勢W_camにおける一連の正規化された装置画像を求めた際に、その分散が閾値を超えた場合は、作業変化はあるものの変化後の状態が固定された状態に到達していないものと判断して、更新処理を行わないようにしてもよい。

（補足５）差分検出部63では、入力画像I_fにおける瞬発的なノイズ等の影響で誤って偶発的に作業変化が特定されてしまうことを防ぐために、次のようにしてもよい。すなわち、セントロイド姿勢W_cam毎に得られている正規化された装置画像I_eq ^W _cam ^If _[正規化]を、フレームfの順番でソートしたうえで、隣接する装置画像同士の間で差分を求め、当該差分が所定の短期間のみにおいて閾値を超えている場合は、当該閾値を超える差分を発生させているフレームfはノイズの影響を受けているものと判定し、作業変化の検出対象から除外するようにしてもよい。すなわち、所定のセントロイド姿勢W_camにおける差分を時系列上で監視することにより、突発的な変化の部分はノイズであると判定してよい。

（補足６）フレーム基準画像生成部53にてフレーム基準画像I_eq ^W _camを求める際には、前述のように、ピクセルI(x,y)ごとに、当該クラスタに属するフレームの装置画像の画素値を用いて、平均と分散を算出する。この際、一般には、ピクセル位置(x,y)によって、射影変換された装置画像I_eq ^W _cam ^If _[正規化]が当該位置(x,y)を占め、従ってその画素値I(x,y)を参照可能となる装置画像の枚数n(x,y)（当該枚数にはセントロイド姿勢における装置画像そのものも含むものとする）が変動することとなる。従って、ピクセル位置(x,y)毎に異なる当該参照可能な枚数n(x,y)の各装置画像における画素値I(x,y)を用いて、上記平均及び分散を算出すればよい。

図８は、当該ピクセル位置毎に異なる参照可能画素数の概念的な例を示す図であり、あるクラスタに3つのフレームf100,f101,f102が属している際の、当該クラスタのセントロイド姿勢を与えるフレームf100での装置画像G100の領域(太線で囲む矩形領域)と、当該クラスタに属する残りの2枚のフレーム画像f101,f102における装置画像を当該セントロイド姿勢で見た状態に正規化した画像G101,G102(細線で囲む矩形領域)の領域と、が示されている。（なお、正規化すると一般には歪んだ形状となるが、図８では概念的な例として、G101,G102を矩形形状で示してある。）

図８の例では、当該クラスタにおけるフレーム基準画像I_eq ^W _camは領域G100において算出されることとなるが、画素値を参照可能なフレームがクラスタ内のどのフレームであるかによって、領域G100は領域R200,R201,R202に分かれる。そして、領域R200内の各ピクセル位置ではフレームf100,f101の2枚の画素を参照して、領域R201内の各ピクセル位置ではフレームf100,f101,f102の全3枚の画素を参照して、領域R202内の各ピクセル位置ではフレームf100,f102の2枚の画素を参照して、それぞれ平均及び分散を算出することで、フレーム基準画像が算出されることとなる。

なお、以上のように、フレーム基準画像生成部53でのフレーム基準画像I_eq ^W _camの算出においてはピクセル位置ごとに参照可能な画素を与えるフレーム数が必ずしも一定ではないが、当該参照可能フレーム数が極端に少ないピクセル位置が発生しないように、カメラ姿勢別フレーム分類部51においては、姿勢に対して距離と角度の制約を設けたうえでクラスタを生成するようにすることが好ましい。また、当該制約を考慮して、作業開始前の記録映像が撮影されることが好ましい。

（補足７）本発明は、変化検出装置10の動作方法としても提供可能であり、また、コンピュータを変化検出装置10として機能させるプログラムとしても提供可能である。

10…変化検出装置、1…フレームキャプチャ部、2…オブジェクト認識部、3…カメラ姿勢推定部、4…対象設備位置特定部、5…初期対象設備登録部、6…対象設備変化検出部

Claims (11)

1. 対象設備及びオブジェクトが撮影された記録映像より、対象設備に関する変化を検出する変化検出装置であって、
   前記記録映像の各フレームより前記オブジェクトを認識してその位置を求めるオブジェクト認識部と、
   前記オブジェクトの位置より、前記記録映像の各フレームにおけるカメラ相対姿勢を算出するカメラ姿勢推定部と、
   前記オブジェクトの位置に所定の相対的配置関係を適用して、前記記録映像の各フレームにおける前記対象設備の位置を特定する対象設備位置特定部と、
   前記記録映像の一部より、前記対象設備のカメラ相対姿勢ごとの画像としてフレーム基準画像を作成する初期対象設備登録部と、
   前記記録映像の各フレームにつき、前記特定された対象設備の位置の画像を、前記フレーム基準画像と比較することにより、前記対象設備に関する変化を検出する対象設備変化検出部と、を備えることを特徴とする変化検出装置。
2. 前記初期対象設備登録部は、
   前記記録映像の一部の各フレームを、前記算出されたカメラ相対姿勢に基づいてクラスタに分類するカメラ姿勢別フレーム分類部と、
   前記記録映像の一部の各フレームを、前記分類されたクラスタの各セントロイドにおけるカメラ相対姿勢にて見た状態へと射影変換したうえで、前記特定された対象設備の位置にある画像を正規化された対象設備画像として求めるクラスタ内射影変換部と、
   前記正規化された対象設備画像の、前記分類されたクラスタ毎の平均画像として、前記フレーム基準画像を作成するフレーム基準画像生成部と、を備えることを特徴とする請求項１に記載の変化検出装置。
3. 前記対象設備変化検出部は、
   前記記録映像の各フレームにつき前記算出されたカメラ相対姿勢を、前記カメラ姿勢別フレーム分類部で分類されたクラスタと比較して、当該クラスタ内の最類似のセントロイド姿勢を特定する姿勢比較部と、
   前記記録映像の各フレームを、前記特定された最類似のセントロイド姿勢で見た状態へと射影変換したうえで、前記特定された対象設備の位置にある画像を正規化された対象設備画像として求める射影変換部と、
   前記求められた正規化された対象設備画像と、前記特定された最類似のセントロイド姿勢に対応する前記フレーム基準画像と、の差分を検出することに基づき、前記対象設備に関する変化を検出する差分検出部と、を備えることを特徴とする請求項２に記載の変化検出装置。
4. 前記差分検出部は、前記検出された差分が所定閾値を超える場合に、前記対象設備に関する変化を検出すると共に、当該変化を検出されたフレームの画像を出力することを特徴とする請求項３に記載の変化検出装置。
5. 前記差分検出部において、所定の前記特定された最類似のセントロイド姿勢について、前記検出される差分が所定閾値を超えることが所定期間継続した場合、
   前記初期対象設備登録部は、当該所定期間継続した記録映像のフレームを用いて、前記所定の前記特定された最類似のセントロイド姿勢について、前記フレーム基準画像を更新することを特徴とする請求項３または４に記載の変化検出装置。
6. 前記差分検出部は、所定の前記特定された最類似のセントロイド姿勢について、前記検出される差分を時系列上で監視し、所定の短期間のみ当該差分が所定閾値を超える場合には、当該超えた箇所を前記対象設備に関する変化を検出する対象から除外することを特徴とする請求項３ないし５のいずれかに記載の変化検出装置。
7. 前記オブジェクトがAR(拡張現実)マーカであることを特徴とする請求項１ないし６のいずれかに記載の変化検出装置。
8. 前記記録映像の各フレームにつき、予め所定の色特徴の領域をマスキングしたうえで、前記対象設備に関する変化を検出することを特徴とする請求項１ないし７のいずれかに記載の変化検出装置。
9. 前記所定の色特徴が、手の領域の色特徴であることを特徴とする請求項８に記載の変化検出装置。
10. 対象設備及びオブジェクトが撮影された記録映像より、対象設備に関する変化を検出する変化検出方法であって、
    前記記録映像の各フレームより前記オブジェクトを認識してその位置を求めるオブジェクト認識段階と、
    前記オブジェクトの位置より、前記記録映像の各フレームにおけるカメラ相対姿勢を算出するカメラ姿勢推定段階と、
    前記オブジェクトの位置に所定の相対的配置関係を適用して、前記記録映像の各フレームにおける前記対象設備の位置を特定する対象設備位置特定段階と、
    前記記録映像の一部より、前記対象設備のカメラ相対姿勢ごとの画像としてフレーム基準画像を作成する初期対象設備登録段階と、
    前記記録映像の各フレームにつき、前記特定された対象設備の位置の画像を、前記フレーム基準画像と比較することにより、前記対象設備に関する変化を検出する対象設備変化検出段階と、を備えることを特徴とする変化検出方法。
11. コンピュータを請求項１ないし９のいずれかに記載の変化検出装置として機能させることを特徴とする変化検出プログラム。