JP7031570B2 - 振動検出方法 - Google Patents

Description

本発明は、カメラに作用する振動を検出する方法に関する。

操業時に大量のガスを取り扱う施設として、例えば、ガスプラント、石油化学プラント、火力発電所、製鉄関連施設がある。これらの施設では、施設の経年劣化、施設の運転ミス等により、ガス漏れが発生する可能性があるので、ガス検出装置が使用されている。これにより、ガス漏れが少ない状態でガス漏れを発見することができるので、大事故を防止することができる。

ガス検出装置として、プローブ式のガス検出装置が広く使用されているが、最近、赤外画像式のガス検出装置が使用されるようになってきている。前者は、検出プローブにガス分子が接触したとき、このプローブの電気的特性が変化することを基にしてガスを検出する。後者は、ガスが光吸収または光放射する性質を基にしてガスを検出する。

赤外画像式のガス検出装置について詳しく説明する。ガスが存在すると、絶対温度が０Ｋ以上の背景物体が黒体放射することにより生じる電磁波（主に赤外線領域の電磁波）の一部がガスによって吸収され、また、ガス自身が黒体放射によって電磁波を放射するため、電磁波の量が変化する。従って、赤外画像の撮影範囲にガスが存在するとき、赤外画像のうち、ガスが存在する領域（以下、ガス領域）に対応する画素の画素値（輝度値）は、電磁波の量の変化を反映した値となる。よって、ガスを検出することが可能となり、また、ガスを可視化することが可能となる。赤外画像式のガス検出装置によれば、赤外線カメラを撮像対象（例えば、プラント内のガス輸送管）に接近させなくても、ガス検出をすることができる。

赤外画像式のガス検出装置は、例えば、特許文献１に開示されている。特許文献１は、撮像部（赤外線カメラ）と、撮像部が出力した検出データに対して画像処理をしてガスを検出するガス監視処理部と、を備えるデータ品質保証システムを開示する。データ品質保証システムは、撮像部（赤外線カメラ）のぶれが補正可能な範囲を超えれば、撮像部が出力した検出データを無効にする。

特開２０１６－１７００２９号公報

赤外線カメラは、ガス漏洩の監視対象を撮影できる所定の場所に設置される。赤外線カメラのぶれは、所定の場所に設置された赤外線カメラに作用する振動で発生する。振動の原因は、上記施設の操業、風等である。赤外線カメラに振動が作用すると、ガス検出の精度が低下する理由を簡単に説明する。赤外線カメラに振動が作用すると、赤外線カメラに搭載された画像センサを構成する各画素が振動する。これにより、各画素が撮影している背景領域が微小な時間周期で変化し、背景の電磁波量の変化を示す信号の変化が大きくなる。背景の中で、コントラストが高い箇所は、コントラストが低い箇所と比べて、電磁波量が大きく変化する。

ガスが存在することによって生じる電磁波量の変化は僅かである。このため、背景の電磁波量の変化を示す信号の変化が大きくなると、ガスが存在することによって生じる電磁波量の変化を示す信号は、背景の電磁波量の変化を示す信号と分別することが困難となる。従って、たとえ赤外線カメラの１画素サイズより小さいずれ（サブピクセルレベルのずれ）を生じさせる振動であっても、そのような場所に赤外線カメラを設置することは望ましくない。

特許文献１においては、赤外線カメラの振動を検知する手段として、加速度センサー、ジャイロセンサー、あるいは画像の特徴点抽出を用いた手段が記載されている。しかしながらこれらの手段では、サブピクセルレベルのずれを生じさせる振動を精度よく検出するのは困難である。サブピクセルレベルのずれが生じる振動を検出できる技術が望まれる。

本発明は、所定の場所に設置されるカメラについて、このカメラの１画素サイズより小さいずれを発生させる振動を検出することができる振動検出方法を提供することを目的とする。

上記目的を達成する本発明に係る振動検出方法は、所定の場所に設置される第１のカメラに作用する振動を検出する方法であって、１画素当たりの画角が前記第１のカメラより小さい第２のカメラが、前記所定の場所に設置された状態で、前記第２のカメラを用いて時系列画像を撮影する撮影工程と、前記第２のカメラを用いて撮影された前記時系列画像を基にして、前記第２のカメラに作用する振動を示す振動データを生成する生成工程と、を備える。

本発明によれば、所定の場所に設置されるカメラについて、このカメラの１画素サイズより小さいずれを発生させる振動を検出することができる。

実施形態に係る振動検出システムとガス検出システムのそれぞれを示すブロック図である。 振動検出装置の機能ブロック図である。 図２Ａに示す振動検出装置のハードウェア構成を示すブロック図である。 時系列画素データを説明する説明図である。 ガス領域を抽出する画像処理を説明するフローチャートである。 横方向位置ずれデータｄ_Ｌから横方向振動データＤ_Ｌが生成されるステップを説明する説明図である。 実施形態に係る振動検出方法を説明するフローチャートである。 振動データ生成部の変形例を示すブロック図である。

以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。

図１は、実施形態に係る振動検出システム５とガス検出システム１のそれぞれを示すブロック図である。ガス検出システム１から説明する。ガス検出システム１は、赤外線カメラ２とガス検出装置３とを備える。

赤外線カメラ２（第１のカメラの一例）は、ガス検出装置３に接続され、ガス検出装置３の制御に従って、撮影対象Ｔの赤外画像の動画Ｖ１（時系列画像の一例）を撮影し、動画Ｖ１をガス検出装置３に送信する。時系列画像は、異なる時刻で撮影された画像が時系列に並べられた構造を有する。実施形態では、撮影対象Ｔとして、ガス漏れの監視対象（例えば、ガス輸送管）を例にして説明する。赤外線カメラ２は、撮影対象Ｔを撮影できる所定の場所（例えば、撮影対象Ｔを俯瞰できる場所）に設置される。このような場所として、例えば、建物屋上、鉄塔、煙突、ポール、フェンス、コンクリート柱がある。赤外線カメラ２の撮像範囲Ｒ１に撮像対象Ｔが含まれるように、所定の場所において、赤外線カメラ２の高さおよび角度が設定される。

赤外線カメラ２は、検出したいガスの光吸収波長に感度を有する二次元イメージセンサー２０を備える。例えば、炭化水素系のガスの場合、約３μｍの波長帯に感度を有する二次元イメージセンサー２０が用いられる。このようなセンサーとして、例えば、冷却型インジウムアンチモン（ＩｎＳｂ）イメージセンサー、冷却型水銀カドミウムテルル（ＨｇＣｄＴｅ）イメージセンサーがある。

検出したいガスが吸収または放射する電磁波の波長帯が、赤外線の波長帯以外の場合（例えば、紫外線の波長帯）、この波長帯に感度を有するカメラが用いられる。

ガス検出装置３は、赤外線カメラ２が撮影した動画Ｖ１を用いたガス検出に必要な各種の画像処理をするコンピュータ装置である。ガス検出装置３は、動画Ｖ１を構成するフレームに対して、ガスが出現している領域（ガス領域）を抽出する画像処理をする。撮影対象Ｔからガスが漏れることにより、撮影範囲Ｒにガスが出現していれば、ガス領域が抽出される。

振動検出システム５は、可視光カメラ６（第２のカメラの一例）と振動検出装置７とを備える。可視光カメラ６は、上記所定の場所に設置される。可視光カメラ６の設置場所は、赤外線カメラ２の設置場所と同一であるか、厳密に同一でなくてもよく、赤外線カメラ２に作用する振動を検出できる場所であればよい。赤外線カメラ２がポールに設置される例で説明する。ポールに固定された、赤外線カメラ用の取付冶具に可視光カメラ６が取り付けられてもよいし（厳密に同一）、ポールに固定された取付冶具に赤外線カメラ２が取り付けられた状態で、同じポールに固定された別の取付冶具に可視光カメラ６が取り付けられてもよい。

可視光カメラ６は、可視光の波長領域に感度を有する二次元イメージセンサー６０を備える。二次元イメージセンサー６０は、例えば、二次元ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー、二次元ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサである。

なお、第２のカメラは、振動データを生成することができる動画を撮影できればよいので、可視光カメラ６に限らない。第２のカメラは、可視光カメラ、近赤外線カメラ、赤外線カメラのいずれでもよい。

可視光カメラ６の撮影範囲Ｒ２は、赤外線カメラ２の撮影範囲Ｒ１に含まれている。可視光カメラ６の撮影対象は、赤外線カメラ２の撮影範囲にある静止物（例えば、建物、配管）である。

可視光カメラ６のフレームレートは、赤外線カメラ２のフレームレート以上である。可視光カメラ６のフレームレートが、赤外線カメラ２のフレームレートより小さければ、赤外線カメラ２が撮影した動画Ｖ１に写る像に作用する振動の検出に漏れが発生するからである。好ましくは、可視光カメラ６のフレームレートは、赤外線カメラ２のフレームレートの整数倍である。

可視光カメラ６の１画素当たりの画角は、赤外線カメラ２の１画素当たりの画角より小さくされている。θ１が赤外線カメラ２の１画素当たりの画角とし、θ２が可視光カメラ６の１画素当たりの画角とする。以下の式１が成立する。
θ２＜θ１／Ｎ・・・式１

ここでＮは倍率数を示す。倍率数Ｎは、１より大きく、好ましくは、１０以上である。式１が成立することにより、振動による画像のずれが、赤外線カメラ２の画素においてはサブピクセルサイズのずれであったものが、可視光カメラ６の画素においてはピクセルサイズ以上のずれとなるため、赤外線カメラ２の画素のサイズよりも小さなずれを示す振動データを得ることができる。倍率数Ｎが大きくなると、より小さいずれを示す振動データを得ることができ、可視光カメラ６に望遠レンズを取り付けることによって、倍率数Ｎを大きくすることができる。この場合、望遠レンズの倍率が高くなるに従って、倍率数Ｎが大きくなる。

α１が赤外線カメラ２の画角、α２が可視光カメラ６の画角、ｎ１_Ｌが赤外線カメラ２の横方向の画素数、ｎ１_Ｖが赤外線カメラ２の縦方向の画素数、ｎ２_Ｌが可視光カメラ６の横方向の画素数、ｎ２_Ｖが可視光カメラ６の縦方向の画素数とする。

横方向について、θ１＝α１／ｎ１_Ｌであり、θ２＝α２／ｎ２_Ｌである。縦方向について、θ１＝α１／ｎ１_Ｖであり、θ２＝α２／ｎ２_Ｖである。式１は、式２－１および式２－２に書き換えることができる。
（α２／ｎ２_Ｌ）＜（α１／ｎ１_Ｌ）／Ｎ・・・式２－１
（α２／ｎ２_Ｖ）＜（α１／ｎ１_Ｖ）／Ｎ・・・式２－２

式２－１、式２－２は、それぞれ、式３－１、式３－２に書き換えることができる。
α２＜｛α１×（ｎ２_Ｌ／ｎ１_Ｌ）｝／Ｎ・・・式３－１
α２＜｛α１×（ｎ２_Ｖ／ｎ１_Ｖ）｝／Ｎ・・・式３－２

画素数比が、ｎ２_Ｌ／ｎ１_Ｌ（可視光カメラ６の横方向の画素数÷赤外線カメラ２の横方向の画素数）、または、ｎ２_Ｖ／ｎ１_Ｖ（可視光カメラ６の縦方向の画素数÷赤外線カメラ２の縦方向の画素数）とする。式３－１と式３－２は、式４に書き換えることができる。

α２＜（α１×画素数比）÷Ｎ・・・式４

以上より、式１は、式４に書き換えることができる。

実施形態では、第１のカメラと第２のカメラとが別々であるが、同一のカメラが第１のカメラおよび第２のカメラとして用いられてもよい。すなわち、第１のカメラである赤外線カメラ２が、第２のカメラとして用いられてもよい。赤外線カメラ２が第２のカメラとして用いられる場合、赤外線カメラ２に望遠レンズを取り付けることにより、式１を成立させることができる。

図１を参照して、振動検出装置７は、可視光カメラ６が撮影した動画Ｖ２を基にして振動データを生成する等の機能を有するコンピュータ装置である。図２Ａは、振動検出装置７の機能ブロック図である。振動検出装置７は、パーソナルコンピューター、スマートフォン、タブレット端末等に備えられ、機能ブロックとして、本体部７０と、操作部７１と、表示部７２とを備える。本体部７０は、制御処理部７００と、インターフェース部７０１と、振動データ生成部７０２と、設置判定部７０３と、記憶部７０４と、表示制御部７０５と、を備える。

制御処理部７００は、振動検出装置７の各部（インターフェース部７０１、振動データ生成部７０２、設置判定部７０３、記憶部７０４、表示制御部７０５）を当該各部の機能に応じてそれぞれ制御するための装置である。

インターフェース部７０１は、制御処理部７００の制御に従って、振動検出装置７とこの装置の外部の装置（可視光カメラ６、操作部７１、表示部７２）との間で通信をするためのインターフェースである。インターフェース部７０１と外部の装置とは、直接接続されていてもよいし、ＬＡＮを介して接続されていてもよい。

振動データ生成部７０２は、可視光カメラ６を用いて撮影された動画Ｖ２（時系列画像の一例）を基にして、可視光カメラ６に作用する振動を示す振動データＤを生成する。振動データ生成部７０２は、位置ずれ検出部７０２０と位置ずれデータ処理部７０２１とを備える。

位置ずれ検出部７０２０は、動画Ｖ２に写された像の位置ずれ量を時系列で示す位置ずれデータｄを生成する。詳しく説明する。位置ずれ検出部７０２０は、撮像範囲Ｒ２（図１）にある静止物（例えば、プラント内の建物、配管）をテンプレート画像として用いて、動画Ｖ２を構成する各フレームに対して、テンプレートマッチングをすることにより、各フレームに対して、静止物の像のずれ量を測定する。これが位置ずれ量を示す位置ずれデータｄとなる。位置ずれ量は、フレームの横方向（ｘ方向）と縦方向（ｙ方向）のそれぞれについて測定される。従って、位置ずれ検出部７０２０は、位置ずれデータｄとして、横方向位置ずれデータｄ_Ｌと縦方向位置ずれデータｄ_Ｖとを生成する。

位置ずれデータ処理部７０２１は、位置ずれデータに対して、所定の処理をして、振動データＤを生成する。位置ずれデータ処理部７０２１は、振動データＤとして、横方向振動データＤ_Ｌと縦方向振動データＤ_Ｖとを生成する。位置ずれデータ処理部７０２１の詳細は、後で説明する。

設置判定部７０３は、振動データＤを基にして、赤外線カメラ２の設置の可否を判定する。

記憶部７０４は、制御処理部７００、振動データ生成部７０２、設置判定部７０３および表示制御部７０５の機能を実行するのに必要な各種の画像、データ、プログラムを記憶する。

表示制御部７０５は、各種画像を表示部７２に表示させる。例えば、表示制御部７０５は、振動データＤを示す画像を表示部７２に表示させたり、赤外線カメラ２の設置可否の判定結果を示す画像を表示部７２に表示させたりする。

操作部７１は、インターフェース部７０１に接続されており、ユーザが、振動検出装置７に各種の命令、各種のデータを入力する装置である。命令は、例えば、振動検出を実行する命令である。データは、例えば、振動しきい値の算出に必要なデータ（画角θ１、画角θ２等）である。表示部７２は、上述した各種画像を表示する。

図２Ｂは、図２Ａに示す振動検出装置７のハードウェア構成を示すブロック図である。振動検出装置７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７ｂ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７ｃ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７ｄ、液晶ディスプレイ７ｅ、通信インターフェイス７ｆ、キーボード等７ｇ、及び、これらを接続するバス７ｈを備える。液晶ディスプレイ７ｅは、表示部７２を実現するハードウェアである。液晶ディスプレイ７ｅの替わりに、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ ｄｉｓｐｌａｙ）、プラズマディスプレイ等でもよい。通信インターフェイス７ｆは、インターフェース部７０１を実現するハードウェアであり、例えば、有線通信用又は無線通信用の通信カードである。キーボード等７ｇは、操作部７１を実現するハードウェアである。キーボードの替わりに、タッチパネル、マウスでもよい。

ＨＤＤ７ｄには、制御処理部７００、振動データ生成部７０２、設置判定部７０３、９および表示制御部７０５について、これらの機能ブロックをそれぞれ実現するためのプログラム、及び、各種データ（例えば、動画Ｖ２）が格納されている。プログラムは、ＨＤＤ７ｄの替わりにＲＯＭ７ｃに記憶してもよい。振動検出装置７は、ＨＤＤ７ｄの替わりに、フラッシュメモリを備え、これらのプログラムおよびデータは、フラッシュメモリに記憶してもよい。ＨＤＤ７ｄは、記憶部７０４を実現するハードウェアである。ＨＤＤ７ｄの替わりに、フラッシュメモリでもよい。

ＣＰＵ７ａは、ハードウェアプロセッサの一例であり、上述したプログラムを、ＨＤＤ７ｄから読み出してＲＡＭ７ｂに展開させ、展開されたプログラムを実行することによって、制御処理部７００、振動データ生成部７０２、設置判定部７０３および表示制御部７０５が実現される。但し、これらの機能について、各機能の一部又は全部は、ＣＰＵ７ａによる処理に替えて、又は、これと共に、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に替えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。

図２Ａを参照して、位置ずれデータ処理部７０２１について詳しく説明する。位置ずれデータ処理部７０２１は、横方向位置ずれデータｄ_Ｌ、縦方向位置ずれデータｄ_Ｖに対して、それぞれ、ガス検出装置３が実行するガス領域抽出の画像処理（画像認識のための画像処理の一例）と同じ処理をすることにより、横方向振動データＤ_Ｌ、縦方向振動データＤ_Ｖを生成する。

ガス領域抽出の画像処理は、公知技術を適用することができる。例えば、この公知技術は、国際公開ＷＯ２０１７０７３４３０に開示されている。この国際公開された技術は、本発明者が発明した技術であり、これについて、図１に示す赤外線カメラ２が撮影した動画Ｖ１を例にして説明する。

動画Ｖ１は、フレームが時系列に複数並べられた構造を有する。複数のフレームの同じ位置にある画素の画素データを時系列に並べたデータを、時系列画素データとする。時系列画素データを具体的に説明する。図３は、時系列画素データを説明する説明図である。動画Ｖ１のフレーム数をＫとする。一つのフレームがＭ個の画素で構成されているとする。画素データは、画素の輝度値又は輝度値を温度換算した温度値を示す。

複数（Ｋ個）のフレームの同じ位置にある画素とは、同じ順番の画素を意味する。例えば、１番目の画素で説明すると、１番目のフレームに含まれる１番目の画素の画素データ、２番目のフレームに含まれる１番目の画素の画素データ、・・・、Ｋ－１番目のフレームに含まれる１番目の画素の画素データ、Ｋ番目のフレームに含まれる１番目の画素の画素データを、時系列に並べたデータが、１番目の画素の時系列画素データとなる。時系列画素データの数は、一つのフレームを構成する画素の数と同じであり、これら複数（Ｍ個）の時系列画素データにより動画Ｖ１が構成される。

図１を参照して、赤外線カメラ２が動画Ｖ１を撮影している状態で、ガス漏れが発生したとき、動画Ｖ１には、漏れたガスによる温度変化を示す第１の周波数成分データが含まれる。ガス検出装置３は、動画Ｖ１に対して、第１の周波数成分データが含まれるガス領域を抽出する画像処理をする。図４は、この画像処理を説明するフローチャートである。

図３および図４を参照して、ガス検出装置３は、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第２の周波数成分データを抽出する（ステップＳ１）。第２の周波数成分データは、第１の周波数成分データよりも周波数が低く、背景の温度変化を示すデータである。第２の周波数成分データは、時系列画素データに対して、Ｋ個のフレームより少ない第１の所定数（例えば、２１）のフレームを単位とする単純移動平均を算出することにより時系列画素データから抽出されたデータである。

ガス検出装置３は、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第３の周波数成分データを抽出する（ステップＳ４）。第３の周波数成分データは、高周波ノイズである。第３の周波数成分データは、時系列画素データに対して、第１の所定数（例えば、２１）より少ない第３の所定数（例えば、３）のフレームを単位とする単純移動平均を算出することにより時系列画素データから抽出されたデータである。

ガス検出装置３は、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第１の差分データを算出する（ステップＳ２）。第１の差分データは、時系列画素データとこの時系列画素データから抽出された第２の周波数成分データとの差分を算出して得られるデータである。

ガス検出装置３は、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第２の差分データを算出する（ステップＳ５）。第２の差分データは、時系列画素データとこの時系列画素データから抽出された第３の周波数成分データとの差分を算出して得られるデータである。

ガス検出装置３は、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第１のばらつきデータを算出する（ステップＳ３）。第１のばらつきデータは、第１の差分データに対して、第２の所定数（例えば、２１）のフレームを単位とする所定の演算をすることにより算出されたデータであり、第１の差分データの波形のばらつきを示すデータである。ばらつきは、例えば、移動標準偏差である。

ガス検出装置３は、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第２のばらつきデータを算出する（ステップＳ６）。第２のばらつきデータは、第２の差分データに対して、第４の所定数（例えば、２１）のフレームを単位とする所定の演算をすることにより算出されたデータであり、第２の差分データの波形のばらつきを示すデータである。ばらつきは、例えば、移動標準偏差である。

ガス検出装置３は、Ｍ個の時系列画素データのそれぞれに対応するＭ個の第３の差分データを算出する（ステップＳ７）。第３の差分データは、同じ時系列画素データから得られた第１のばらつきデータと第２のばらつきデータとの差分を算出して得られるデータである。Ｍ個の第３の差分データで構成される動画が、ガス領域が抽出された動画となる。

以上が、ガス領域を抽出する画像処理の一例の説明である。図２Ａを参照して、位置ずれデータｄは、位置ずれ量の時系列変化を示すので、時系列画素データ（図３）と同様に扱え、ガス領域抽出の画像処理（図４のステップＳ１～Ｓ７）に対応した信号処理が可能である（言い換えれば、ガス領域抽出の画像処理と同じ信号処理を適用することが可能である）。位置ずれデータ処理部７０２１は、横方向位置ずれデータｄ_Ｌ、縦方向位置ずれデータｄ_Ｖに対して、それぞれ、ガス領域抽出の画像処理（図４）と同じ信号処理をすることにより、横方向振動データＤ_Ｌ、縦方向振動データＤ_Ｖを生成する。

横方向位置ずれデータｄ_Ｌを例にして説明する。図５は、横方向位置ずれデータｄ_Ｌから横方向振動データＤ_Ｌが生成されるステップを説明する説明図である。図５は、グラフＧ１～グラフＧ８を含む。各グラフの横軸は、フレームの順番を示す。各グラフの縦軸は、波形の大きさを示す。

グラフＧ１は、横方向位置ずれデータｄ_Ｌの波形を示す。グラフＧ２は、第２の周波数成分データの波形を示す。グラフＧ３は、第３の周波数成分データの波形を示す。グラフＧ４は、第１の差分データの波形を示す。グラフＧ５は、第２の差分データの波形を示す。グラフＧ６は、第１のばらつきデータの波形を示す。グラフＧ７は、第２のばらつきデータの波形を示す。グラフＧ８は、横方向振動データＤ_Ｌの波形を示す。

位置ずれデータ処理部７０２１は、横方向位置ずれデータｄ_Ｌ（グラフＧ１）から第２の周波数成分データ（グラフＧ２）を抽出する。これは、図４のステップＳ１の処理である。位置ずれデータ処理部７０２１は、横方向位置ずれデータｄ_Ｌ（グラフＧ１）から第３の周波数成分データ（グラフＧ３）を抽出する。これは、図４のステップＳ４の処理である。

位置ずれデータ処理部７０２１は、横方向位置ずれデータｄ_Ｌ（グラフＧ１）と第２の周波数成分データ（グラフＧ２）との差分を算出して得られる第１の差分データ（グラフＧ４）を算出する。これは、図４のステップＳ２の処理である。位置ずれデータ処理部７０２１は、横方向位置ずれデータｄ_Ｌ（グラフＧ１）と第３の周波数成分データ（グラフＧ３）との差分を算出して得られる第２の差分データ（グラフＧ５）を算出する。これは、図４のステップＳ５の処理である。

位置ずれデータ処理部７０２１は、第１の差分データ（グラフＧ４）に対して、第２の所定数（例えば、２１）のフレームを単位とする所定の演算をすることにより、第１のばらつきデータ（グラフＧ６）を算出する。これは、図４のステップＳ３の処理である。位置ずれデータ処理部７０２１は、第２の差分データ（グラフＧ５）に対して、第４の所定数（例えば、２１）のフレームを単位とする所定の演算をすることにより、第２のばらつきデータ（グラフＧ７）を算出する。これは、図４のステップＳ６の処理である。

位置ずれデータ処理部７０２１は、同じ時系列画素データから得られた第１のばらつきデータ（グラフＧ６）と第２のばらつきデータ（グラフＧ７）との差分を算出して得られる第３の差分データ（グラフＧ８）を算出する。これは、図４のステップＳ７の処理である。第３の差分データ（グラフＧ８）が、横方向振動データＤ_Ｌである。

位置ずれデータ処理部７０２１は、同様にして、縦方向位置ずれデータｄ_Ｖを基にして、縦方向振動データＤ_Ｖを生成する。

以上説明したように、時系列データである位置ずれデータｄに対して、ガス領域抽出の画像処理と同じ信号処理（時系列データに対する信号処理）がされることにより、振動データＤが生成される。実施形態によれば、振動データＤは、ガス領域抽出の妨げとなる振動が抽出されたデータである。このデータに基づいて赤外線カメラ２の設置可否を判定すれば、判定精度を向上させることができる。

可視光カメラ６のフレームレートが赤外線カメラ２のフレームレートより大きいとき、ガス領域抽出の妨げとならない振動も振動データＤに含まれる可能性がある。従って、可視光カメラ６のフレームレートは、赤外線カメラ２のフレームレートと同じであることが好ましい。よって、可視光カメラ６のフレームレートが赤外線カメラ２のフレームレートより大きいとき、振動データ生成部７０２は、動画Ｖ２のフレームレートを赤外線カメラ２のフレームレートと同じにする処理をした後、この動画を基にして位置ずれデータｄを生成してもよい。フレームレートを同じにする処理は、例えば、動画Ｖ２を構成するフレームを間引きする処理でもよいし、動画Ｖ２を構成するフレームの移動平均を求める処理でもよい。

振動データ生成部７０２は、振動データＤとして、横方向振動データＤ_Ｌと縦方向振動データＤ_Ｖとを生成する。振動データ生成部７０２は、これらを基にして、振動データＤ（代表振動データ）を生成してもよい。例えば、振動データ生成部７０２は、横方向振動データＤ_Ｌと縦方向振動データＤ_Ｖについて、同じ時刻のデータを二乗和し、これの平方根を求めることにより、振動データＤ（代表振動データ）を生成してもよいし、横方向振動データＤ_Ｌと縦方向振動データＤ_Ｖについて、同じ時刻のデータを比較し、大きい方のデータを選択することにより、振動データＤ（代表振動データ）を生成してもよい。

振動しきい値Ｔｈ（しきい値の一例）について説明する。記憶部７０４（図２Ａ）は、振動しきい値Ｔｈを予め記憶している。振動しきい値Ｔｈは、以下の式５で示される。
Ｔｈ＝Ｌ／ｇ・・・式５

Ｌから説明する。Ｌは、以下の式６で示される。
Ｌ＝Ｓ／κ・・・式６
Ｓは、ガス検出しきい値を示す。κは、安全率を示す。安全率κは、ガス検出信号Ｓと振動により発生する信号とを区別するための比率である。安全率κが高くなるに従って、ガスの誤検出が少なくなる。

ガス検出しきい値Ｓは、以下の式７で示される。
Ｓ＝γ｛Ｐ（Ｔ＋ΔＫ）－Ｐ（Ｔ）｝・・・式７
γは、ガス検出仕様において、検出ガスの濃度厚み積における光吸収率を示す。Ｐ（Ｔ）は、ガス検出仕様における検出ガス温度条件の黒体放射輝度に相当する赤外輝度を示す。Ｐ（Ｔ＋ΔＫ）は、ガス検出仕様における背景温度条件の黒体放射輝度に相当する赤外輝度を示す。

γ、Ｐ（Ｔ）、Ｐ（Ｔ＋ΔＫ）は、それぞれガス濃度厚み積、ガス温度、背景温度に依存する値である。このため、ガス検出しきい値Ｓを決めるためには、それぞれ所定の値が必要となる。カメラの検出仕様で決められた値として、それぞれの所定の値は、例えば、１０％ＬＥＬｍ（＝０．００５ｍ）、３００Ｋ、３０３Ｋである。

次に、ｇを説明する。赤外線カメラ２の振動量ｈは、以下の式８で示される。
ｈ＝（θ２／θ１）×Ｄ・・・式８
θ１は、赤外線カメラ２の１画素当たりの画角を示す。θ２は、可視光カメラ６の１画素当たりの画角を示す。Ｄは、振動データ生成部７０２が生成した振動データを示す。

赤外線カメラ２が振動することにより、赤外線カメラ２の各画素（二次元イメージセンサ２０（図１）の各画素）が振動する。これにより、動画Ｖ１を構成する各フレームにおいて、フレームに写された像のエッジを構成する画素が検出する赤外線量（輝度）が変化する。振動によって、エッジを構成する１つの画素が検出する赤外線量（輝度）の最大値をＩｍａｘ、最小値をＩｍｉｎとする。この画素の輝度の変化量は、ｈ×（Ｉｍａｘ－Ｉｍｉｎ）となる。輝度変化量の最大値を想定し、赤外線カメラ２の各画素が受光できる輝度値の範囲において、最大の輝度値をＩｍａｘとし、最小の輝度値をＩｍｉｎとする。これにより、赤外線カメラ２の各画素の輝度の変化量Ｃは、以下の式９で示すことができる。
Ｃ＝ｈ×（Ｉｍａｘ－Ｉｍｉｎ）・・・式９

Ｉｍａｘ－Ｉｍｉｎをβとすると、式９は、以下の式１０で示される。
Ｃ＝ｈ×β・・・式１０

式８と式１０とから以下の式１１が導かれる。
Ｃ＝｛（θ２／θ１）×Ｄ｝×β・・・式１１

ｇは、式１１の右辺に含まれる以下の式１２で定義される。
ｇ＝β×（θ２／θ１）・・・式１２

式１１と式１２とから以下の式１３が導かれる。
Ｃ＝ｇ×Ｄ・・・式１３

Ｃは振動によって生じた輝度の変化量である。この値が、ガス検出しきい値Ｓを安全率κで割った値、すなわちＬよりも小さければ、ガス検出が可能であり、赤外線カメラ２の設置が可と判定される。
ｇ×Ｄ＜Ｌ・・・式１４

式１４の両辺をｇで割る。
Ｄ＜Ｌ／ｇ・・・式１５
式１５を満たす振動データＤが振動しきい値Ｔｈとなるので、振動しきい値Ｔｈは、式５で示される。

実施形態に係る振動検出方法について説明する。図６は、これを説明するフローチャートである。図１、図２Ａおよび図６を参照して、ユーザは、赤外線カメラ２が設置される場所に、可視光カメラ６を設置する（ステップＳ１１）。可視光カメラ６の１画素当たりの画角θ２は、赤外線カメラ２の１画素当たりの画角θ１より小さくされている。

ユーザは、操作部７１を操作して、振動検出の命令を振動検出装置７に入力する。これにより、制御処理部７００は、可視光カメラ６を作動させて、動画Ｖ２を撮影させる（ステップＳ１２）。可視光カメラ６は、動画Ｖ２を振動検出装置７に送信する。インターフェース部７０１は、送信されてきた動画Ｖ２を受信し、制御処理部７００は、受信された動画Ｖ２を振動データ生成部７０２へ転送する。

振動データ生成部７０２は、動画Ｖ２を基にして、振動データＤを生成する（ステップＳ１３）。

設置判定部７０３は、記憶部７０４から振動しきい値Ｔｈを読み出し、振動データＤと比較する（ステップＳ１４）。設置判定部７０３は、振動データＤが振動しきい値Ｔｈより大きいとき（ステップＳ１４でＹｅｓ）、赤外線カメラ２の設置を不可と判定する（ステップＳ１５）。表示制御部７０５は、設置不可を示す画像を表示部７２に表示させる。設置判定部７０３は、振動データＤが振動しきい値Ｔｈ以下のとき（ステップＳ１４でＮｏ）、赤外線カメラ２の設置を可能と判定する（ステップＳ１６）。表示制御部７０５は、設置可能を示す画像を表示部７２に表示させる。

なお、赤外線カメラ２が設置できるか否かは、ユーザが振動データＤを見て判定してもよいし、ユーザが振動しきい値Ｔｈと振動データＤとを比較して判定してもよい。

実施形態の主な効果を説明する。振動データＤは、赤外線カメラ２が設置される場所に設置された可視光カメラ６を用いて撮影された動画Ｖ２を基にして生成される。可視光カメラ６は、赤外線カメラ２と比べて、１画素当たりの画角が小さくされている。このため、振動データＤは、赤外線カメラ２の１画素サイズより小さいずれ（サブピクセルレベルのずれ）を示すことができる。従って、実施形態に係る振動検出方法によれば、所定の場所に設置される赤外線カメラ２について、このカメラの１画素サイズより小さいずれを発生させる振動を検出することができる。

振動データ生成部７０２の変形例を説明する。図７は、この変形例を示すブロック図である。変形例は、位置ずれデータ処理部７０２１の替わりに、ゲイン・オフセット処理部が備える。位置ずれデータ処理部７０２１は、位置ずれデータｄに対して、図４に示す画像処理と同じ処理をして、振動データＤを生成する。これに対して、ゲイン・オフセット処理部は、以下の式１６を用いて、位置ずれデータｄから振動データＤを生成する（横方向位置ずれデータｄ_Ｌから横方向振動データＤ_Ｌを生成し、縦方向位置ずれデータｄ_Ｖから縦方向振動データＤ_Ｖを生成する）。
Ｄ＝ａｄ＋ｂ・・・式１６
ａは、ゲインを示す。ｂは、オフセットを示す。

ゲインａ、オフセットｂについて具体的に説明する。位置ずれデータｄは、可視光カメラ６の１画素当たりの画角θ２を基にして算出されるので、可視光カメラ６の画素の単位でずれ量を示す。例えば、ずれ量が、２．５であれば、可視光カメラ６の画素の２．５画素分のずれということになる。赤外線カメラ２の画素を単位とするずれ量を示す振動データＤを得たい場合があるとする（赤外線カメラ２の画素を単位とするずれ量の方が、赤外線カメラ２の振動によるずれ量を理解し易い）。この場合、ゲイン・オフセット処理部は、ａ＝θ１／θ２、ｂ＝０を式１６に代入して、位置ずれデータｄから振動データＤを生成する。

位置ずれデータｄを振動データＤとしたい場合があるとする。ゲイン・オフセット処理部は、ａ＝１、ｂ＝０を式１６に代入して、位置ずれデータｄから振動データＤを生成する。

特定期間の振動振幅を求めたい場合があるとする。ゲイン・オフセット処理部は、まず、ｂ＝０を式１６に代入して、位置ずれデータｄから振動データＤを生成する（Ｄ＝ａｄ）。ゲイン・オフセット処理部は、次に、この振動データＤに対して、特定期間の平均値ｍを算出し、ｂ＝－ｍを式１６に代入して、振動データＤ（Ｄ＝ａｄ－ｍ）を生成する。この振動データＤは、特定期間の振動振幅を示す。この場合、オフセットｂについては、位置ずれデータdによって変更されることになる。

位置ずれデータｄは、通常、プラスの値とマイナスの値の両方を示す。振動データＤをプラスの値にしたい場合があるとする。ゲイン・オフセット処理部は、０からａｄの最小値を差し引いた値と同じかそれよりも大きな値をｂとして、式１４に代入して、位置ずれデータｄから振動データＤを生成する。この場合もオフセットｂについては、位置ずれデータdによって変更されることになる。

Ｄ 振動データ
Ｄ_Ｌ 横方向振動データ
Ｄ_Ｖ 縦方向振動データ
ｄ 位置ずれデータ
ｄ_Ｌ 横方向位置ずれデータ
ｄ_Ｖ 縦方向位置ずれデータ
Ｒ１ 赤外線カメラの撮影範囲
Ｒ２ 可視光カメラの撮影範囲
Ｔ 撮影対象
Ｖ１ 赤外線カメラが撮影した動画
Ｖ２ 可視光カメラが撮影した動画
θ１ 赤外線カメラの１画素当たりの画角
θ２ 可視光カメラの１画素当たりの画角

Claims (5)

1. 所定の場所に設置される第１のカメラに作用する振動を検出する方法であって、
   １画素当たりの画角が前記第１のカメラより小さい第２のカメラが、前記所定の場所に設置された状態で、前記第２のカメラを用いて時系列画像を撮影する撮影工程と、
   前記第２のカメラを用いて撮影された前記時系列画像を基にして、前記第２のカメラに作用する振動を示す振動データを生成する生成工程と、を備える、振動検出方法。
2. 前記１画素当たりの画角が前記第１のカメラより小さい前記第２のカメラとは、以下の式が成立することである、請求項１に記載の振動検出方法。
   第２のカメラの画角＜（第１のカメラの画角×画素数比）÷倍率数
   ここで、画素数比は、第２のカメラの横方向の画素数÷第１のカメラの横方向の画素数または第２のカメラの縦方向の画素数÷第１のカメラの縦方向の画素数を示し、倍率数は、１より大きい数値を示す。
3. 前記生成工程は、前記第２のカメラを用いて撮影された前記時系列画像に写された像の位置ずれ量を時系列で示す位置ずれデータを生成し、前記第１のカメラを用いて撮影する時系列画像に対して実行される画像認識のための画像処理に対応する信号処理を、前記位置ずれデータに対して実行することにより、前記振動データを生成する、請求項１または２に記載の振動検出方法。
4. 前記画像処理は、ガス領域の抽出処理である、請求項３に記載の振動検出方法。
5. 前記ガス領域を示す信号を基にして定められたしきい値と前記振動データとを比較して、前記生成工程後に、前記第１のカメラの設置可否を判定する判定工程をさらに備える、請求項４に記載の振動検出方法。

Images