JP4162204B2 - センサ情報のデータベース化方法および点検支援システム並びに点検支援用プログラム - Google Patents
センサ情報のデータベース化方法および点検支援システム並びに点検支援用プログラム Download PDFInfo
- Publication number
- JP4162204B2 JP4162204B2 JP2002338507A JP2002338507A JP4162204B2 JP 4162204 B2 JP4162204 B2 JP 4162204B2 JP 2002338507 A JP2002338507 A JP 2002338507A JP 2002338507 A JP2002338507 A JP 2002338507A JP 4162204 B2 JP4162204 B2 JP 4162204B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- sensor information
- gram
- extended
- grams
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声等の情報をデータベース化する方法および当該データベースを利用した点検支援システム並びに点検支援用プログラムに関する。
【０００２】
【従来の技術】
発電機、変圧器また遮断機などの電力設備を長期に渡って健全に運転・使用するには日頃からの点検が欠かせない。このため電力会社をはじめとする設備産業では膨大な量の設備に対する点検業務に多くの労力と資本を投じている。そのため点検の精度を下げることなく、これらのコストをいかに下げるかが重要な課題となっている。点検業務には設備の運転を停止した上で分解し細かく点検する分解点検と、運転したままで外観等を点検する巡視点検がある。この内、分解点検は設備を停止しなければならないため、保守コストの低減のためにはなるべく回数を減らすのが望ましい。そのため運転時や巡視点検時に異常の徴候を早期発見し、それに応じて分解点検を行うという状況依存型点検への移行が試みられている。
【０００３】
従来の巡視点検支援技術として、携帯端末装置（ハンディターミナル）を用いて巡視対象の諸データを収集し、データベースに登録する技術がある（特許文献１参照）。また、プラントなどの設備の制御、運用、保守、点検などに関わる多種多量のデータを収集、蓄積、検索するための情報記憶検索方法およびそれを用いた情報記憶検索装置が提案されている（特許文献２参照）。また、点検保守業務でのノウハウ資料作成を容易にするために映像と音声データを蓄積する技術がある（特許文献３参照）。
【０００４】
【特許文献１】
特開平６−４５３９号公報
【特許文献２】
特開２０００−９０１０６号公報
【特許文献３】
特開２０００−２２２０２６号公報
【０００５】
【発明が解決しようとする課題】
巡視点検では巡視員の五感に頼る部分が多いのが現実である。例えば、聴覚、つまり音を用いた点検は多くの設備巡視で行われており、重要な点検項目の一つとなっている。そこで、巡視時に巡視員が受け取る五感情報を、後の巡視時に活用できるように、整理して記録することが望まれる。しかしながら、従来技術では、音などの情報を後で利用し易いように整理して記録するために、多大な手間を要している。
【０００６】
そこで本発明は、五感情報に相当するセンサ情報や五感を超えたセンサ情報（例えば超音波など）を簡便に整理して記録することができるセンサ情報のデータベース化方法を提供することを目的とする。さらに、本発明は、音などの情報が整理され記録されて構成されるデータベースを利用して、点検作業を支援するシステム並びに点検支援用プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
かかる目的を達成するため、請求項１記載のセンサ情報のデータベース化方法は、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索するようにしている。
【００１０】
また、請求項４記載の点検支援システムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段とを少なくとも有するようにしている。
【００１１】
また、請求項７記載の点検支援用プログラムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段としてコンピュータを機能させるようにしている。
【００１２】
したがって、点検対象ごとに整理され蓄積されたセンサ情報に基づいて作成された索引を利用して、ある点検対象と類似したセンサ情報を発している他の点検対象を高速に検索することが可能となる。
【００１３】
また、請求項２記載のセンサ情報のデータベース化方法は、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の集合についての統計量を算出し、当該統計量について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索するようにしている。
【００１４】
また、請求項５記載の点検支援システムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の集合についての統計量を算出し、当該統計量について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段とを少なくとも有するようにしている。
【００１５】
また、請求項８記載の点検支援用プログラムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の集合についての統計量を算出し、当該統計量について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段としてコンピュータを機能させるようにしている。
【００１６】
したがって、点検対象ごとの統計的特徴に基づいて作成された索引を利用して、ある点検対象と類似したセンサ情報を発している他の点検対象を高速に検索することが可能となる。
【００１７】
また、請求項３記載のセンサ情報のデータベース化方法は、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の時系列について、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、異なる対象間で共通する拡張周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索するようにしている。
【００１８】
また、請求項６記載の点検支援システムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の時系列について、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する拡張周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段とを少なくとも有するようにしている。
【００１９】
また、請求項９記載の点検支援用プログラムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の時系列について、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する拡張周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段としてコンピュータを機能させるようにしている。
【００２０】
この場合、類似点検対象の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）が反映される。したがって、センサ情報の時間方向の変化を考慮した類似点検対象の高速検索が可能となる。
【００２１】
また、請求項１０記載のセンサ情報のデータベース化方法では、同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量を算出すると共に、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、上記現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分を抽出するようにしている。
【００２２】
また、請求項１１記載の点検支援システムでは、同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量を算出する手段と、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、上記現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分を抽出する手段と、上記算出された統計量および上記抽出された周波数成分を表示する手段とを少なくとも有するようにしている。
【００２３】
また、請求項１２記載の点検支援用プログラムでは、同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量を算出する手段と、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、上記現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分を抽出する手段と、上記算出された統計量および上記抽出された周波数成分を表示する手段としてコンピュータを機能させるようにしている。
【００２４】
したがって、点検対象固有の特徴である統計量と、当該点検対象について現時点で取得された現センサ情報とを可視化して視覚的に比較することができる。
【００２５】
また、請求項１３記載のセンサ情報のデータベース化方法は、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索するようにしている。
【００２６】
また、請求項１７記載の点検支援システムは、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有するようにしている。
【００２７】
また、請求項２１記載の点検支援用プログラムは、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させるようにしている。
【００２８】
したがって、センサ情報に基づいて作成されセンサ情報の特徴が反映された索引を利用して、現時点で取得されたセンサ情報と類似する過去に取得されたセンサ情報を高速に検索することが可能となる。
【００２９】
また、請求項１４記載のセンサ情報のデータベース化方法は、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、上記周波数分布の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索するようにしている。
【００３０】
また、請求項１８記載の点検支援システムは、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、上記周波数分布の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有するようにしている。
【００３１】
また、請求項２２記載の点検支援用プログラムは、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、上記周波数分布の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させるようにしている。
【００３２】
この場合、類似センサ情報の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）が反映される。したがって、センサ情報の時間方向の変化を考慮した類似センサ情報の高速検索が可能となる。
【００３３】
また、請求項１５記載の発明は、請求項１０記載のセンサ情報のデータベース化方法において、抽出された現センサ情報の周波数成分について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索するようにしている。
【００３４】
また、請求項１９記載の発明は、請求項１１記載の点検支援システムにおいて、抽出された現センサ情報の周波数成分について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有するようにしている。
【００３５】
また、請求項２３記載の発明は、請求項１２記載の点検支援用プログラムにおいて、抽出された現センサ情報の周波数成分について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させるようにしている。
【００３６】
この場合、センサ情報の抽出された特徴に特化した類似センサ情報の検索が可能となり、検索に要する計算処理量を削減できる。
【００３７】
また、請求項１６記載の発明は、請求項１０記載のセンサ情報のデータベース化方法において、抽出された現センサ情報の周波数成分の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索するようにしている。
【００３８】
また、請求項２０記載の発明は、請求項１１記載の点検支援システムにおいて、抽出された現センサ情報の周波数成分の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有するようにしている。
【００３９】
また、請求項２４記載の発明は、請求項１２記載の点検支援用プログラムにおいて、抽出された現センサ情報の周波数成分の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させるようにしている。
【００４０】
この場合、センサ情報の抽出された特徴に特化した類似センサ情報の検索が可能となり、検索に要する計算処理量を削減できる。また、類似センサ情報の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）が反映されるので、当該センサ情報の時間方向の変化を考慮した類似センサ情報の高速検索が可能となる。
【００４１】
【発明の実施の形態】
以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。
【００４２】
図１から図４に本発明のセンサ情報のデータベース化方法および点検支援システム並びに点検支援用プログラムの実施の一形態を示す。例えば本実施形態では、電力設備２１の巡視点検に本発明を適用した例について説明する。
【００４３】
例えば本実施形態における点検支援システム１は、点検作業員が携帯する作業用端末２と、作業用端末２で収集されるセンサ情報およびセンサ情報を加工した情報が記録されるデータベースとして機能する計算機３とを有して構成される。
【００４４】
本明細書でいう「センサ情報」には、「対象」の状態を表すあらゆる情報が含まれる。「対象」としては、例えば点検対象である個々の設備２１が該当する。センサ情報には、例えば人間の五感に相当する情報（視覚、聴覚、嗅覚、温度や振動などの皮膚感覚等）や、五感を超えた情報（例えば超音波など）も含まれる。作業用端末２には、センサ情報を取得するための手段が備えられる。例えば本実施形態の作業用端末２には、映像情報を取得するためのビデオカメラ４と、音情報を取得するためのマイクロホン５が備えられている。従って、本実施形態では、映像情報と音情報とがセンサ情報として作業用端末２により取得される。ただし、センサ情報は本実施形態の例に限定されるものではない。例えば、振動センサ、温度センサ、臭いセンサ、超音波センサ等を作業用端末２に備えて、振動情報、温度情報、臭い情報、超音波等をセンサ情報として作業用端末２により取得するようにしても良い。
【００４５】
データベースとして機能する計算機３（以下、単にデータベース３と呼ぶ）は、例えば、中央演算処理装置（ＣＰＵ）、主記憶装置、センサ情報およびセンサ情報を加工した情報が記録される外部記憶装置２０（例えばハードディスク等の情報記録装置である。）、作業用端末２との通信インターフェースなどのハードウェア資源と、これらのハードウェア資源を制御するオペレーティングシステムや、点検支援用プログラムなどのソフトウェア資源とを有するコンピュータである。データベース３は利用者からの要求を受け付けて対話的に処理を行い、利用者が必要とする情報を出力する機能も持つ。
【００４６】
尚、作業用端末２に、表示装置６（例えば液晶ディスプレイやヘッドマウントディスプレイなど）や音出力装置７（例えばスピーカやイヤホン、ヘッドフォンなど）などの出力装置を備えても良い。この場合、データベース３に蓄積されたセンサ情報やこれらのセンサ情報を加工した情報を、作業用端末２に出力することができる。また、作業用端末２に、マウスやキーボードなどの入力装置８を備えても良い。この場合、点検作業員がデータベース３と対話的に処理を行なったり、センサ情報に併せて点検作業員が必要な情報を適宜データベース３に記録することもできる。さらに、作業用端末２に、中央演算処理装置（ＣＰＵ）、主記憶装置、外部記憶装置などのハードウェア資源とこれらのハードウェア資源を制御するオペレーティングシステム等を備えて、センサ情報の入出力、センサ情報の加工、データベース３に対する操作等に伴う処理の一部または全部を負担するようにしても良い。勿論、データベース３にてこれらの処理をすべて行なうようにしても良い。
【００４７】
作業用端末２の形態は、特に限定されないが、例えば、（１）点検作業用ヘルメットにビデオカメラ４とマイクロホン５を搭載する、（２）頭装着型の表示装置６（ヘッドマウントディスプレイ）にビデオカメラ４とマイクロホン５を搭載する、（３）市販のハンディビデオカメラ４を用いる、（４）ビデオカメラ４とマイクロホン５を別々に手に持つ、（５）点検作業員の衣服にビデオカメラ４とマイクロホン５を装備する、（６）ビデオカメラ４とマイクロホン５を備えた携帯型の計算機（例えばノート型パーソナルコンピュータやウエアラブル・コンピュータ等）を用いる、といった形態が挙げられる。これらの形態や、作業用端末２が備える入出力装置６，７，８は、利用環境に応じて適宜選択すれば良い。
【００４８】
尚、作業用端末２とデータベース３とは無線または有線で常時接続されてリアルタイムに通信を行なう形態であっても良く、または、作業用端末２をデータベース３とは非接続のオフラインで機能させて、作業用端末２が備える記録媒体（例えば磁気テープやハードディスクなど）にセンサ情報を一旦記録しておき、後で作業用端末２とデータベース３とを無線または有線で接続して通信を行なうようにしても良い。
【００４９】
本実施形態においては、センサ情報は、例えば次のようにして整理されてデータベース３に記録される（図２のステップ１，ステップ２）。即ち、取得されたセンサ情報のうち、映像情報の変化を検出し、当該変化に基づいて映像情報以外のセンサ情報（本実施形態では音情報）を区切ってデータベース３に記録するようにしている。点検支援システム１は、センサ情報を取得する手段としての作業用端末２と、作業用端末２で取得されたセンサ情報に対して、映像情報の変化を検出し、当該変化に基づいて映像情報以外のセンサ情報を区切ってデータベース３に記録するセンサ情報区切手段９とを少なくとも有している。点検支援用プログラムは、センサ情報区切手段９としてコンピュータを機能させる。尚、本実施形態における当該コンピュータは例えばデータベース３である。
【００５０】
例えば本実施形態では、以下に説明する処理によって映像情報の変化を検出するようにしている。先ず、入力される映像情報について、連続するフレーム画像間の変化量ｄｋを次式に基づいて計算する。
【００５１】
【数１】
【００５２】
ここで、ｃ（ｋ，ｘ，ｙ）はｋ番目のフレーム画像における位置ｘ，ｙの画素の色値を表す。dist（ ）は色値のユークリッド空間での距離である。色空間として、例えば本実施形態では、最も標準的なＲＧＢ空間（０≦Ｒ，Ｇ，Ｂ≦２５５）を採用する。但し、色空間は上記ＲＧＢ空間に限定されるものではなく、例えば撮影環境や検出対象物が予め想定できる場合は、色空間を適宜工夫することで感度を上げることも可能である。
【００５３】
次に、過去ｎフレームの変化量ｄｋの平均μと標準偏差σを計算する。そして、以下の条件式に基づいてｋ番目のフレームの映像状態が「活性」「沈静」「定常」のいずれにあるかを判定する。
【００５４】
【数２】
もし ｄｋ＞μ＋ασ ならば 「活性」状態と判定する。
【数３】
もし ｄｋ＜μ−βσ ならば 「沈静」状態と判定する。
【数４】
「活性」および「沈静」の何れの状態にも該当しなければ「定常」状態と判定する。
【００５５】
αおよびβは「定常」状態の範囲を指定するためのパラメータである（α＞０，β＞０）。そして、現在の映像状態とは異なる状態のフレームが過去ｎフレームの内にｍ（ｍ≦ｎ）回出現した場合に、映像の状態が変わったと判定する。これらパラメータ（ｎ，ｍ）は状態変化の恒常性に影響する。
【００５６】
ここで、巡視作業は、設備２１，２１間の移動と、移動せずに各設備２１を点検する作業に分けられる。「沈静」状態が検出された時点（「沈静」以外の状態から「沈静」に遷移したと判定された時点）とは、移動から点検に移った時点と推定される。
【００５７】
そこで、例えば本実施形態では、映像情報と音情報とを連続的に記録するようにし、且つ映像情報において「沈静」以外の状態から「沈静」に遷移したと判定された時点で、音情報を区切るようにしている。これにより、センサ情報を点検対象毎に自動で整理することが可能になる。従って、収集したセンサ情報を後で活用できるように、録音テープなどの記録媒体の録音箇所を示す情報（カウンタなど）を作業者が一々記録しておくといった手間のかかる作業は不要となる。
【００５８】
ここで、本実施形態では、区切られたセンサ情報を「センサ情報ブロック」と呼び、各「センサ情報ブロック」に一意に識別できる識別番号ｉｄを付与するようにしている。そして、識別番号ｉｄと、センサ情報ブロックの先頭箇所を表す情報（例えば区切時点ｔ）との対応表を作成するようにしている。従って、上記対応表により、識別番号ｉｄから対応するセンサ情報ブロックを呼出すことができる。さらに、区切時点ｔにおける映像を静止画像として記録し、その静止画像の識別番号ＩＤと、識別番号ｉｄまたは区切時点ｔとの対応表を作成するようにしている。従って、上記対応表により、センサ情報ブロックの先頭箇所に対応する静止画像も呼出すことができる。尚、補足的な機能として、映像そのもの（動画像）をデータベース３に記録するようにしても良い。この場合は、例えば記録映像における区切時点ｔのフレームｆｔと、識別番号ｉｄまたは区切時点ｔとの対応表を作成するようにする。
【００５９】
記録映像は全撮影時間にわたって同じファイルに記録しても良く、各区切時点ｔで区切って別々のファイルに記録しても良い。また、音情報も全録音時間にわたって同じファイルに記録し当該ファイルに区切り情報（タグ）を挿入するようにしても良く、各区切時点ｔで区切って別々のファイルに記録しても良い。センサ情報のファイル構成を如何にするかは、計算機の性能および利用環境等によって適宜選択して良い。尚、映像情報において「沈静」以外の状態から「沈静」状態が判定された時点で、作業用端末２において、録音を開始し、映像情報において「沈静」状態から「沈静」以外の状態が判定された時点で、録音を停止するようにしても良い。
【００６０】
さらに、例えば本実施形態では、点検対象としての設備２１を識別する情報（例えば点検対象を一意に識別するための番号である。以下、本実施形態では「対象識別情報」と呼ぶ。）を、区切られたセンサ情報であるセンサ情報ブロックのそれぞれに関連付けてデータベース３に記録するようにしている。このために、本実施形態の点検支援システム１では、設備２１を識別する手段と、対象識別情報をセンサ情報ブロックのそれぞれに関連付けて記録する対象識別情報付与手段１０を有している。点検支援用プログラムは、対象識別情報付与手段１０としてコンピュータを機能させる。尚、本実施形態における当該コンピュータは例えばデータベース３である。したがって、センサ情報ブロックがどの設備２１に属するかを対象識別情報により特定することができ、設備２１毎にセンサ情報を整理することができる。
【００６１】
設備２１を識別する手段としては、必ずしも限定されないが、例えば以下の手段が挙げられる。第１の手段としては、点検作業員が作業用端末２の入力装置８を用いて、現在取得されているセンサ情報がどの設備２１に関するものであるか示す対象識別情報を入力する。第２の手段としては、ＲＦＩＤ（Radio Frequency ID，非接触式ＩＣチップとも呼ばれる）などの設備識別用ＩＣチップを各設備２１に装着し、当該ＩＣチップとの通信用アンテナを作業用端末２に装備し、作業用端末２により当該ＩＣチップに記録された対象識別情報を自動で読み取る。第３の手段としては、バーコードや２次元バーコード或いは情報識別用マーカ（例えば特開２００２−５６３７１号公報参考）などを各設備２１に添付しておき、それを映像情報から読み取って設備２１を自動認識し、対応する対象識別情報を特定する。第４の手段としては、現在撮影されている画像情報と、過去に登録された既知の設備２１の画像情報とを照合し、画像検索により設備２１を自動認識し（例えば特開２００１−１０９８８４号公報参考）、対応する対象識別情報を特定する。設備２１の見た目が異なる場合に特に有効である。第５の手段としては、ＧＰＳ（衛星航法システム）などの位置情報システムを利用して作業用端末２の位置を特定し、特定された位置に基づいて現在点検対象となっている設備２１を自動認識し、対応する対象識別情報を特定する。第６の手段としては、音声認識手段を作業用端末２に装備し、点検作業員が設備名を発声することで、当該設備名から対応する対象識別情報を特定する。
【００６２】
さらに、例えば本実施形態では、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、周波数ｎグラムヒストグラムを索引とし（図２のステップ３）、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索できるようにしている（図２のステップ４）。
【００６３】
このために、本実施形態の点検支援システム１では、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引としてデータベース３に記録する対象毎索引作成手段１１と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する類似対象検索手段１２とを有するようにしている。点検支援用プログラムは、対象毎索引作成手段１１と、類似対象検索手段１２としてコンピュータを機能させる。尚、本実施形態における当該コンピュータは例えばデータベース３である。
【００６４】
ある設備２１に関して収録された特定の種別の個別センサ情報ｓのすべての集まりをセンサ情報集合Ｓとする。例えばある変圧器の１年分の音情報などがセンサ情報集合Ｓに該当する。個別センサ情報ｓは、例えば上述した処理により得られるセンサ情報ブロックである。
【００６５】
センサ情報集合Ｓに属するすべての個別センサ情報ｓに対して、例えばＦＦＴ（高速フーリエ変換）を適用し、周波数分布情報ｈに変換する。センサ情報集合Ｓに対応する、周波数分布情報ｈの集まりを周波数分布情報集合Ｈとする。尚、ＦＦＴのパラメータである信号処理時区間、周波数分解能、各周波数帯域の信号分解能は、目的に応じて設定するものとする。これらのパラメータは、同じ周波数分布情報集合Ｈに属するすべての周波数分布情報ｈで、同一とすることが好ましい。
【００６６】
ここで、一つの個別センサ情報ｓから一つの周波数分布情報ｈを算出しても良いが、例えばフーリエ変換の対象とする時区間をずらすことで、一つの個別センサ情報ｓから一定時間間隔毎に複数の周波数分布情報ｈ’を算出することもできる。そこで、一つの個別センサ情報ｓから算出された複数の周波数分布情報ｈ’について、統計量（例えば、同じ周波数帯域あたりでの平均を求めたもの）を算出し、当該統計量を周波数分布情報ｈとして用いても良い。
【００６７】
周波数分布情報ｈの周波数帯域数をｍとし、低周波帯域からｋ番目の帯域のパワーをｐｋ（１≦ｋ≦ｍ）とする。（ｋ，ｐｋ）というベクトルを単特徴ｓｋとする。そして、１＜ｋ≦ｍなるｋに対して定義される（ｓｋ−１，ｓｋ）の組を周波数バイグラムとする。同様に、１＜ｋ＜ｍなるｋに対して定義される（ｓｋ−１，ｓｋ，ｓｋ＋１）の組を周波数トリグラムとする。同様に、連続するｎ個の単特徴の組を周波数ｎグラムとする。ここでｎを、周波数ｎグラムの次元数と呼ぶ。類似性の高いセンサ情報を精度良く検索するためには、次元数の大きな周波数ｎグラムを用いることが好ましい。ただし、周波数ｎグラムの次元数をあまり大きくすると、信号の細かな特徴が現れ過ぎるため、検索に求められる曖昧さが達成できない場合がある。その場合は、より低い次元数の周波数ｎグラムを用いる必要がある。本願発明者等が種々実験検討した結果、一般に回転機設備音の場合は周波数トリグラムを用いることで精度良い検索が実現できることが知見された。そこで、本実施形態では、次元数３の周波数トリグラムを用いた例について特に説明する。尚、他の次元数の場合も同様の処理となる。
【００６８】
単特徴ｓｋ＝（ｋ，ｐｋ）のｐｋは、検索精度に応じた量子化がなされているものとする。量子化数が多いほど細かなパワー特徴が反映され、量子化数が少ないほど暖昧さを加味した特徴となる。
【００６９】
ある周波数分布情報集合Ｈに属する周波数分布情報ｈから計算されたすべての周波数トリグラムの集まりを周波数トリグラム集合Ｔとする。そして、各周波数トリグラムに一意の識別番号ｔｉｄを付与する。ただし、共通する周波数トリグラムの識別番号ｔｉｄは等しいものとする。ここで、周波数トリグラムが共通するとは、例えば本実施形態では、構成要素である三つの単特徴の位置と値とがすべて等しい場合をいうものとする。ただし、周波数トリグラムの共通性を緩やかにするために、例えば三つの単特徴のうちの二つについて位置と値が等しい場合に、「周波数トリグラムが共通する」と定義しても良い。
【００７０】
そして、周波数トリグラム集合Ｔ内における共通する周波数トリグラムの数をｆＴとする。周波数トリグラム集合Ｔに属する異なるすべての周波数トリグラムに対して、（ｔｉｄ，ｆＴ）の組をすべて計算し、それらの組の集合を周波数トリグラムヒストグラムＴｆとする。
【００７１】
計算された周波数トリグラムヒストグラムＴｆは、類似設備検索用の索引として、各設備２１毎に作成され、データベース３に記録される。索引の構成方法は、特に限定はされないが、Ｒ−Ｔｒｅｅなどの一般的な多次元索引を利用するのが適切である。周波数帯域数とパワーの量子化数とを一定に押さえることができるので、予めテーブルの規模を定めた三段階のツリー構造を用いるのが効果的である。例えば、周波数トリグラムの場合では、三つの単特徴のうちの一番目の単特徴を用いて第一の索引を構成し、当該第一の索引の参照する領域に、二番目の単特徴を用いて第二の索引を構成し、当該第二の索引の参照する領域に、三番目の単特徴を用いて第三の索引を構成し、単特徴の個数分のツリーを構成する。最後のリーフには、その周波数トリグラムの頻度ｆｔと、上述した対象識別情報を記録する。このように索引を構成することで、一つの周波数トリグラムの検索を、せいぜい次元数回の探索で行うことができる。また、周波数トリグラムの分布には大きな偏りが存在し得るため、当該偏りに応じてデータベース３の外部記憶装置２０内部の索引配置を考慮することも有効である。また、単特徴に関する索引をデータベース３の主記憶装置上に保有することも近年の計算機性能を考慮すれば可能であり、高速な探索を助ける。さらに、検索では頻出する周波数トリグラムが偏る傾向も在り得るため、キャッシュ機構を取り入れることで、さらに効率的な索引を構成することができる。
【００７２】
ある点検対象に関して作成された周波数トリグラムヒストグラムＴｆ１と、別の点検対象に関して作成された周波数トリグラムヒストグラムＴｆ２との類似性は、例えば以下のようにして計算できる。即ち、Ｔｆ１，Ｔｆ２の双方に属する周波数トリグラムの識別番号ｔｉｄについて、Ｔｆ１，Ｔｆ２におけるその周波数トリグラムの頻度をｆＴ１，ｆＴ２とする。ｆＴ１，ｆＴ２の二つの値のうちの最小値をminｆＴとする。そして、Ｔｆ１，Ｔｆ２の双方に属するすべての周波数トリグラムの識別番号ｔｉｄについて、最小値minｆＴの総和を求め、当該総和値をＴｆ１とＴｆ２の類似度とする。
【００７３】
以上の処理により、例えば作業用端末２で対象識別情報を入力すれば、データベース３にて当該対象識別情報に対応する点検対象の周波数トリグラムヒストグラムを検索キーとして類似度が最も大きな周波数トリグラムヒストグラムを持つ点検対象を検索し、検索結果を作業用端末２に出力することができる。また、類似度の大きい方から順に整列した類似設備のリストを出力することもできる。さらに、すべての点検対象間の類似度を計算し、予め定めた閾値以上の類似度を有する点検対象群を抽出し、類似したセンサ情報を発している点検対象群として整理することもできる。
【００７４】
ここで、例えばフーリエ変換の対象とする時区間をずらすことで、一つの個別センサ情報ｓから一定時間間隔毎に複数の周波数分布情報を算出することも可能である。例えば４８ＫＨｚでサンプリングされたデジタル音信号は、一秒間あたり４８０００の情報から構成されている。一般にＦＦＴでは１０２４のように２の累乗個の情報を１度に扱うので、一秒間の音情報を連続する例えば１０２４毎の時区間に区切る。区切られた各時区間での周波数分布情報を計算することで、一つの個別センサ情報ｓから複数の周波数分布情報が得られる。このような処理を行った場合、連続する時区間から計算された周波数分布情報には音情報の時間方向の変化が反映されている。当該時間方向の変化は、瞬発音や音声などはもとより、設備２１のうなりなどを反映できるため、点検目的によっては重要な情報となる。
【００７５】
そこで、一つの個別センサ情報ｓから得られる複数の周波数分布情報をも扱えるように、例えば以下のようにして、上述の周波数ｎグラムヒストグラムの構成方法を拡張しても良い。即ち、信号情報ｓの連続する時区間から計算された周波数分布をｈ１，ｈ２，ｈ３，…，ｈｍａｘｉとする。ｋ番目の周波数分布ｈｋの、ｊ番目の周波数区間のパワーをｐｋ，ｊとし、拡張単特徴をｓｋｊ＝（ｋ，ｊ，ｐｋ，ｊ）とする。ここで、ｊを周波数方向引数、ｋを時間方向引数とする。拡張周波数ｎグラムとは、時間方向と周波数分布方向の一方または双方に連続するｎ個の拡張単特徴の組であり、任意の組み合わせが可能である。例えば、時間方向および周波数分布方向の双方にまたがる（ｓｋ，ｊ，ｓｋ−１，ｊ，ｓｋ，ｊ−１）なるＬ字型の拡張周波数トリグラムとしても良い。つまり上述した周波数ｎグラムでは、拡張周波数ｎグラムにおいて時間方向引数が同一であり、かつ周波数方向引数が連続した場合の拡張単特徴の組となる。尚、拡張周波数ｎグラムについての拡張周波数ｎグラムヒストグラムの作成方法、拡張周波数ｎグラムヒストグラムを索引として記録する方法、拡張周波数ｎグラムヒストグラムを索引として類似する点検対象を検索する方法は、既に説明した周波数ｎグラムの場合と同様である。
【００７６】
さらに、例えば本実施形態では、同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量を算出するようにしている（図２のステップ５）。この統計量とは、例えば、同じ周波数帯域または予め設定した周波数区間の一方または双方についての平均値や分散または標準偏差などが該当し、点検対象固有の特徴を表すものである。
【００７７】
さらに、例えば本実施形態では、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分を抽出するようにしている（図２のステップ６）。従って、点検対象固有の特徴と、当該点検対象について現時点で取得された現センサ情報とを比較して、現センサ情報についての過去とは異なる特徴の有無を、容易に確認することができる。
【００７８】
このために、本実施形態の点検支援システム１では、同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量（以下、本実施形態では「対象固有特徴」と呼ぶ。）を算出してデータベース３に記録する対象固有特徴抽出手段１３と、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、上記現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分（以下、本実施形態では「個別特徴」と呼ぶ。）を抽出してデータベース３に記録する個別特徴抽出手段１４と、上記データベース３に記録された対象固有特徴および個別特徴を表示する特徴表示手段１５を有するようにしている。点検支援用プログラムは、対象固有特徴抽出手段１３と個別特徴抽出手段１４と特徴表示手段１５としてコンピュータを機能させる。尚、本実施形態における当該コンピュータは例えばデータベース３である。
【００７９】
例えば本実施形態では、対象固有特徴として、以下に説明する情報を算出するようにしている。先ず、同一の設備２１について纏められた周波数分布情報集合Ｈに属するすべての周波数分布情報ｈについて、同じ周波数帯域あたりの平均をとったベクトルを平均周波数特徴ｈｖとして求める。また、同周波数分布情報集合Ｈに属するすべての周波数分布情報ｈについて、同じ周波数帯域あたりの標準偏差を計算したベクトルを標準偏差周波数特徴ｈｓとして求める。
【００８０】
次に、平均周波数特徴ｈｖを用いて、一定の周波数区間ｆでの平均として、区間平均特徴ｈｖ２を計算する。ここで、周波数分布情報ｈの周波数帯域数をmaxiとする。また、平均周波数特徴ｈｖの周波数分布方向のｉ番目の要素をｈｖｉとする。また、区間平均特徴ｈｖ２の周波数分布方向のｉ番目の要素をｈｖ２ｉとする。周波数区間ｆは、例えば周波数分布情報ｈの全体周波数帯域Ｆよりも小さく設定する。ここで、周波数分解能をｄｆとし、ａ＝ｆ／（２ｄｆ）とすると、区間平均特徴ｈｖ２のｉ番目の要素ｈｖ２ｉは、例えば以下の数式５および数式６に基づいて計算される。
【００８１】
【数５】
ａ≦ｉ≦maxi−ａの場合、
【数６】
ｉ＜ａ，ｉ＞maxi−ａの場合、
ｈｖ２ｉ＝０
【００８２】
以下に、ｈｖ２ｉを算出する処理を例を挙げて説明する。周波数分布情報ｈの全体周波数帯域Ｆが、１０Ｈｚ〜１０１０Ｈｚまでの１０００Ｈｚの帯域であるとする。周波数分解能ｄｆを１０Ｈｚとする。この場合、添え字ｉは１〜１００の範囲をとる。周波数区間ｆを１００Ｈｚの帯域として設定したとする。この場合、ａ＝ｆ／（２ｄｆ）＝５となる。例えばｈｖ２の５０番目の要素ｈｖ２５０は、ｈｖ４６からｈｖ５５までの平均値となる。
【００８３】
次に、平均周波数特徴ｈｖおよび区間平均特徴ｈｖ２を用いて、周波数区間ｆでの標準偏差を求めて区間標準偏差特徴ｈｓ２とする。区間標準偏差特徴ｈｓ２の周波数分布方向のｉ番目の要素をｈｓ２ｉとすると、ｈｓ２ｉは、例えば以下の数式７および数式８に基づいて計算される。
【００８４】
【数７】
２ａ≦ｉ≦maxi−２ａの場合、
【数８】
ｉ＜２ａ，ｉ＞maxi−２ａの場合、
ｈｓ２ｉ＝０
【００８５】
次に、平均周波数特徴ｈｖと区間平均特徴ｈｖ２と区間標準偏差特徴ｈｓ２とを用いて、区間平均から逸脱したピーク値であるピーク特徴ｈｐを計算する。ピーク特徴ｈｐの周波数分布方向のｉ番目の要素をｈｐｉとすると、ｈｐｉは、例えば以下の条件式に基づいて計算される。
【００８６】
【数９】
もし ｉ＜ａ または ｉ＞maxi−ａ ならば
ｈｐｉ＝０
【数１０】
さもなければ、
もし ａ≦ｉ＜２ａ かつ ｈｖｉ＞ｈｖ２ｉ＋ｂ・ｈｓ２２ａ＋ｃ ならば
ｈｐｉ＝ｈｖｉ−ｈｖ２ｉ
【数１１】
さもなければ、
もし maxi−２ａ＜ｉ≦maxi−ａ
かつ ｈｖｉ＞ｈｖ２ｉ＋ｂ・ｈｓ２maxi −２ａ＋ｃ ならば
ｈｐｉ＝ｈｖｉ−ｈｖ２ｉ
【数１２】
さもなければ、
もし ｈｖｉ＞ｈｖ２ｉ＋ｂ・ｈｓ２ｉ＋ｃ ならば
ｈｐｉ＝ｈｖｉ−ｈｖ２ｉ
【数１３】
さもなければ、
ｈｐｉ＝０
【００８７】
ここで、ｂ，ｃは閾値設定のパラメータである。可聴音を対象とした場合の目安としては、ｂ＝１，ｃ＝１０ｄＢ程度である。また、本願発明者等が種々実験検討した結果、ｂを２以上に設定すると、音波に限らず、殆んどの特徴信号が消えてしまうことが知見されたため、特殊な場合を除き、ｂは２以下に設定することが望ましい。
【００８８】
以上の処理により、対象固有特徴として、平均周波数特徴ｈｖ、標準偏差周波数特徴ｈｓ、区間平均特徴ｈｖ２、区間標準偏差特徴ｈｓ２、ピーク特徴ｈｐが算出される。尚、これらの対象固有特徴の算出方法は必ずしも上記の例に限定されない。例えば、上記処理では、要素ｉを中心として周波数区間ｆを設定したが、場合によっては、要素ｉを先頭または終端として周波数区間ｆを設定するようにしても良い。
【００８９】
また本実施形態では、現センサ情報ｓの個別特徴として、当該現センサ情報ｓと、その現センサ情報ｓに対応する設備２１に関して計算された、区間平均特徴ｈｖ２と区間標準偏差特徴ｈｓ２とピーク特徴ｈｐとを用いて、以下に説明する一時信号特徴ｈｔを計算するようにしている。現センサ情報ｓから計算された周波数分布情報ｈの周波数分布方向のｉ番目の要素をｈｉとし、一時信号特徴ｈｔの周波数分布方向のｉ番目の要素をｈｔｉとすると、ｈｔｉは、例えば以下の条件式に基づいて計算される。
【００９０】
【数１４】
もし ｉ＜ａ または ｉ＞maxi−ａならば
ｈｔｉ＝０
【数１５】
さもなければ、
もし ａ≦ｉ＜２ａ かつ ｈｉ＞ｈｖ２ｉ＋ｂ’・ｈｓ２２ａ＋ｃ’
かつ ｈｉ−ｈｖ２ｉ＞ｈｐｉ ならば
ｈｔｉ＝ｈｉ−ｈｖ２ｉ
【数１６】
さもなければ、
もし maxi−２ａ＜ｉ≦maxi−ａ
かつ ｈｉ＞ｈｖ２ｉ＋ｂ’・ｈｓ２maxi −２ａ＋ｃ’
かつ ｈｉ−ｈｖ２ｉ＞ｈｐｉ ならば
ｈｔｉ＝ｈｉ−ｈｖ２ｉ
【数１７】
さもなければ、
もし ｈｉ＞ｈｖ２ｉ＋ｂ’・ｈｓ２ｉ＋ｃ’
かつ ｈｉ−ｈｖ２ｉ＞ｈｐｉ ならば
ｈｔｉ＝ｈｉ−ｈｖ２ｉ
【数１８】
さもなければ、
ｈｔｉ＝０
【００９１】
ここで、ｂ’，ｃ’は閾値設定のパラメータである。可聴音を対象とした場合の目安としては、ｂ’＝１，ｃ’＝１０ｄＢ程度である。また、本願発明者等が種々実験検討した結果、ｂ’を２以上に設定すると、音波に限らず、殆んどの特徴信号が消えてしまうことが知見されたため、特殊な場合を除き、ｂ’は２以下に設定することが望ましい。
【００９２】
以上の処理により、現センサ情報ｓの個別特徴として、一時信号特徴ｈｔが算出される。尚、個別特徴の算出方法は必ずしも上記の例に限定されない。例えば、現センサ情報ｓから計算された周波数分布情報ｈと、現センサ情報ｓに対応する設備２１に関して計算されたピーク特徴ｈｐとの差を、現センサ情報ｓの個別特徴として求めるようにしても良い。
【００９３】
さらに、例えば本実施形態では、個別の信号である各センサ情報についても、上述した周波数ｎグラムヒストグラムを利用して、索引を作成し（図２のステップ７）、類似のセンサ情報を検索できるようにしている（図２のステップ８）。個別センサ情報に係る周波数ｎグラムの構成としては、例えば以下に説明する複数の形態が挙げられる。これらの形態はそれぞれに特徴があり、目的に応じて選択して良い。尚、周波数ｎグラムヒストグラムの作成方法、周波数ｎグラムヒストグラムを索引として記録する方法、周波数ｎグラムヒストグラムを索引として類似する情報を検索する方法は、既に説明した周波数ｎグラムの場合と同様である。
【００９４】
先ず、第１の形態について説明する。この場合、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、当該周波数ｎグラムヒストグラムを索引とし、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索できるようにする。
【００９５】
このために、点検支援システム１では、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引としてデータベース３に記録するセンサ情報毎索引作成手段１６と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する類似センサ情報検索手段１７とを有するようにしている。点検支援用プログラムは、センサ情報毎索引作成手段１６と類似センサ情報検索手段１７としてコンピュータを機能させる。尚、本実施形態における当該コンピュータは例えばデータベース３である。
【００９６】
上記第１の形態では、個別のセンサ情報ｓから計算できる複数の周波数分布情報ｈを用いて、周波数ｎグラムが直接計算される。多量の周波数ｎグラムが生成され得るため、索引作成および検索に要する計算処理が多くなる場合がある。その一方で、細かな特徴が反映された周波数ｎグラムヒストグラムが得られるため、細かな周波数特徴まで考慮した検索が可能となる。
【００９７】
次に、第２の形態について説明する。この場合、センサ情報毎索引作成手段１６により、以下の処理を実行するようにする。即ち、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、上記周波数分布の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、当該拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引としてデータベース３に記録するようにする。この第２の形態によれば、センサ情報の時間方向の変化を考慮した類似検索を行なえる。当該時間方向の変化は、瞬発音や音声などはもとより、設備２１のうなりなどを反映できる。
【００９８】
次に、第３の形態について説明する。この場合、センサ情報毎索引作成手段１６により、以下の処理を実行するようにする。即ち、現センサ情報の特徴的な周波数成分について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、当該周波数ｎグラムヒストグラムを対応するセンサ情報の索引としてデータベース３に記録するようにする。
【００９９】
周波数ｎグラムの抽出に用いる現センサ情報の特徴的な周波数成分として、例えば、現センサ情報ｓの周波数分布情報ｈと、当該現センサ情報ｓと対応する設備２１の平均周波数特徴ｈｖとの差分に対し、閾値処理を施した情報を用いても良い。現センサ情報ｓの周波数分布情報ｈと、当該現センサ情報ｓと対応する設備２１の平均周波数特徴ｈｖとの差分を差分周波数分布情報ｈｄとし、ｈｄの周波数分布方向のｉ番目の要素をｈｄｉとし、設定した閾値（例えば１０ｄＢを初期値として変化させ、目的に対してノイズとなる信号が消去され、目的の信号が消去されない値を設定する）以下となるｈｄｉを０とする。上記閾値処理後の差分周波数分布情報をｈｄ’とし、このｈｄ’から周波数ｎグラムを計算する。この場合、平均から逸脱したピーク値のみに基づいた検索が可能となり、計算処理量を削減できる。尚、パワーがゼロの単特徴のみを含む周波数ｎグラムが多数生成され得るため、索引作成および検索では、そのような周波数ｎグラムを除外して計算することが好ましい。
【０１００】
また、周波数ｎグラムの抽出に用いる現センサ情報の特徴的な周波数成分として、上述した一時信号特徴ｈｔを用いても良い。この場合、さらに少数の特徴情報のみに基づいた検索が可能となり、計算処理量を一層削減できる。ただし細かな周波数特徴は省略されるため、細かな周波数特徴を考慮した検索には不向きといえる。尚、この場合も、パワーがゼロの単特徴のみを含む周波数ｎグラムが多数生成され得るため、索引作成および検索では、そのような周波数ｎグラムを除外して計算することが好ましい。
【０１０１】
次に、第４の形態について説明する。この場合、センサ情報毎索引作成手段１６により、以下の処理を実行するようにする。即ち、現センサ情報の特徴的な周波数成分（例えば上述した閾値処理を施した差分周波数分布情報ｈｄ’や一時音特徴ｈｔなど）の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、当該拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引としてデータベース３に記録するようにする。上記第４の形態では、センサ情報の時間方向の変化を考慮した類似検索を行なえるという第２の形態の特徴と、少数の特徴情報のみに基づいた検索により計算処理量を削減できるという第３の形態の特徴との双方の特徴を有する。
【０１０２】
次に、以上のように構成される点検支援システム１により、点検作業員等の利用者に対して情報提示を行なう処理（図２のステップ９）の一例について説明する。図４に、作業用端末２の表示装置６に表示される画面の一例を示す。
【０１０３】
上記画面の左側部分６ａには、映像情報において「沈静」状態が検出された時点の静止画像がアルバム状に表示される。当該静止画像は、例えば画面上方から下方に向かって古い順に整列されている。このような表示を行うことで、点検作業がどのような順序で進行したかを簡単に確認することができる。また、上記画面の中央上部分６ｂには現在ビデオカメラ４からキャプチャされつつある映像（動画像）が表示される。一方、画面の中央下部分６ｃには現在キャプチャされつつある音情報を処理した結果（例えば周波数分布情報ｈや一時音特徴ｈｔなど）が表示される。ここで、周波数分布情報ｈや一時音特徴ｈｔなどの履歴を、濃淡情報として画面に表示するようにしても良い。この場合、例えば新しい情報ほど濃く、古い情報ほど淡く表示するようにする。これにより、点検作業員はセンサ情報の変化を聴覚だけでなく視覚によっても確認することができる。
【０１０４】
さらに、点検作業員が画面の左側部分６ａの静止画像を選択することによって、対応する収録音が作業用端末２の音出力装置７より再生されるようにする。さらに、収録音と対応する収録信号（ｈ，ｈｖ，ｈｖ２，ｈｓ，ｈｓ２，ｈｐ，ｈｔなど）が作業用端末２の表示装置６に表示されるようにする。これにより、点検作業員は、過去のセンサ情報を簡易に確認することができる。
【０１０５】
画面の右側部分６ｄには、巡視点検対象の設備２１が配置されている建物の平面図が表示されている。当該平面図中のラジオボタンは現在どの設備２１を点検中であるのかを示す。図４の例では、点検作業員がマウスをクリック等することで、ラジオボタンを指定して点検中の設備２１をデータベース３に知らせるようにしている。尚、画面右端上部にある複数のチェックボックスは、表示機能や記録機能の状態を表し、点検作業員により変更可能であるようにしている。
【０１０６】
また、点検対象となっている設備２１が識別されると、当該設備２１に対応する過去のセンサ情報群から計算された対象固有特徴（平均周波数特徴ｈｖ，標準偏差周波数特徴ｈｓ、区間平均特徴ｈｖ２、区間標準偏差特徴ｈｓ２、ピーク特徴ｈｐ）がグラフ化されて表示される。これにより、点検対象設備２１に特有の特徴を視覚的に確かめることができる。また、これらの特徴に基づいて計算された一時信号特徴ｈｔもグラフ化されて表示される。一時信号特徴ｈｔおよびその履歴を表示することで、現在収録しつつある設備２１のセンサ情報が、過去の履歴に対してどういった違いを持つのかを、点検作業員は視覚的に確認できる。現在収録しつつある設備２１のセンサ情報が、過去に記録された同設備２１のセンサ情報とは異なる特徴を持つ場合には、その変化が明確に表示されるので、点検作業員による異常発見を補助することができる。
【０１０７】
さらに、その現場で、現在のセンサ情報と類似した過去のセンサ情報を検索して、点検作業員に提示する（例えば作業用端末２の音出力装置７から収録音を再生する、若しくは収録音に対応する信号を表示装置６にグラフとして表示する）こともできる。これは、現時点で検知した異常信号に類似した過去の事例を参照するのに役立つ。さらに、点検対象間の類似検索により、同種の症状を呈し得る設備グループを特定し、当該設備グループの範囲で、過去のセンサ情報を検索し、現在のセンサ情報と比較することもできる。さらに、同じ設備や類似する設備についての過去のセンサ情報を取得日時順に整列して、作業用端末２の表示装置６にリスト表示することもできる。この場合、前回や前々回の点検で取得されたセンサ情報と現在のセンサ情報に係る収録音を、作業用端末２の音出力装置７から再生して聞き比べたり、当該収録音に対応する収録信号（ｈ，ｈｖ，ｈｖ２，ｈｓ，ｈｓ２，ｈｐ，ｈｔなど）を表示装置６にグラフとして表示して見比べたりすることができる。
【０１０８】
尚、各設備２１に添付されたマーカ等に基づいて作業用端末２から入力される映像情報から前回点検におけるセンサ情報の収録位置を特定して、次回点検時に上記収録位置に点検作業員を誘導するための音声情報や映像情報を作業用端末２に出力するようにしても良い。この場合、各収録回の収録状況（音源までの距離など）を揃えることができる。
【０１０９】
本発明のセンサ情報のデータベース化方法および点検支援システム１および方法並びに点検支援用プログラムによれば、点検業務時の音などのセンサ情報が、映像情報とともに点検対象ごとに整理された形で、自動的にデータベース３に蓄えられる。また、各点検対象ごとに纏められたセンサ情報群に、周波数ｎグラムヒストグラムを索引として付与しているので、ある点検対象に類似する点検対象を迅速に検索できる。また、各センサ情報にも、周波数ｎグラムヒストグラムを索引として付与しているので、あるセンサ情報に類似するセンサ情報を迅速に検索できる。さらに、これらの検索結果を実際の設備２１を前にした現場で即座に点検作業員に提示することができる。また、各設備２１に固有の特徴と、現時点で得られたセンサ情報に固有の特徴とを、それぞれ可視化して表示することで、異常の有無を視覚によっても確認することができる。これらの機能により、従来、作業者の五感に頼っていた音や臭いによる点検作業を支援できる。これは、異常音検出の精度向上、作業の効率化、熟練者でなくとも作業を精度良く行なえるといったメリットに結びつく。
【０１１０】
なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、センサ情報は音情報に限らず、振動情報、温度情報、臭い情報、超音波等であっても良い。これらの情報も波形信号として取得できるため、上述の実施形態と同様の取扱が可能である。
【０１１１】
また、上述の実施形態では、映像情報の変化に基づいて、映像情報以外のセンサ情報を区切ってデータベース３に記録するようにしたが、例えば次に説明する処理によってセンサ情報を区切って整理しデータベース３に記録するようにしても良い。即ち、音などのセンサ情報ｓに関する信号差分ｄｓ（単位時間あたりの平均信号と、直前の単位時間で計算した値との差分）もしくはセンサ情報ｓそのものを入力ｄｋとし、入力ｄｋの平均μおよび標準偏差σを用いて、上述した数式２から数式４によって、センサ情報の変化時点を検出し、当該変化に基づいて、センサ情報を区切ってデータベース３に記録するようにする。この場合、定点観測やビデオカメラ４を固定して得られる監視映像情報など、映像情報に変化が殆んど無い場合でも、センサ情報を区切って整理しデータベース３に記録することができる。また、監視映像情報などから異音発生時点を検出するなどの機能を実現できる。
【０１１２】
尚、信号差分ｄｓは、例えば以下のように求められる。入力信号としてのセンサ情報のサンプリングレートをｒとする。つまり一秒間に入力される信号の個数がｒとなる。計測開始から、ある計測時刻までに入力された信号の総数をｋとする。この場合、経過した時間は、ｋ・（１／ｒ）秒となる。ｋ番目の信号の値をｓｋとする。ｋ＋１番目の信号の値はｓｋ＋１となる。ここで単位時間をｔｂとする。単位時間ｔｂは、１／ｒの整数倍である。単位時間あたりの信号数ｋｂは、ｋｂ＝ｔｂ／（１／ｒ）となる。単位時間の設定は、時間方向の分解能をいくつとしたいかによって異なり、数ｍｓから数十ｍｓの間で設定するのが一般的である。ある計測時刻ｔ１での単位時間あたりの平均信号とは、その計測時刻までに入力された信号総数をｋ１とした場合に、次式で表される。
【０１１３】
【数１９】
【０１１４】
直前の単位時間あたりの平均信号はｓｖ（ｋ１−ｋｂ）となる。したがって、計測時刻ｔ１での信号差分はｄｓ＝ｓｖ（ｋ１）−ｓｖ（ｋ１−ｋｂ）となる。
【０１１７】
【発明の効果】
以上の説明から明らかなように、請求項１記載のセンサ情報のデータベース化方法および請求項４記載の点検支援システム並びに請求項７記載の点検支援用プログラムによれば、点検対象ごとに整理され蓄積されたセンサ情報に基づいて作成された索引を利用して、ある点検対象と類似したセンサ情報を発している他の点検対象を高速に検索することが可能となる。したがって、当該検索結果を、実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【０１１８】
また、請求項２記載のセンサ情報のデータベース化方法および請求項５記載の点検支援システム並びに請求項８記載の点検支援用プログラムによれば、点検対象ごとの統計的特徴に基づいて作成された索引を利用して、ある点検対象と類似したセンサ情報を発している他の点検対象を高速に検索することが可能となる。したがって、当該検索結果を、実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【０１１９】
また、請求項３記載のセンサ情報のデータベース化方法および請求項６記載の点検支援システム並びに請求項９記載の点検支援用プログラムによれば、類似点検対象の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）を反映することができる。したがって、センサ情報の時間方向の変化を考慮した類似点検対象の高速検索が可能となる。
【０１２０】
さらに、請求項１０記載のセンサ情報のデータベース化方法および請求項１１記載の点検支援システム並びに請求項１２記載の点検支援用プログラムによれば、点検対象固有の特徴である統計量と、当該点検対象について現時点で取得された現センサ情報とを可視化して視覚的に比較することができる。これにより、点検作業員による異常発見を補助することができ、従来、作業者の五感に頼っていた音や臭いによる点検作業を支援できる。これは、異常音検出の精度向上、作業の効率化、熟練者でなくとも作業を精度良く行なえるといったメリットに結びつく。
【０１２１】
さらに、請求項１３記載のセンサ情報のデータベース化方法および請求項１７記載の点検支援システム並びに請求項２１記載の点検支援用プログラムによれば、センサ情報に基づいて作成されセンサ情報の特徴が反映された索引を利用して、現時点で取得されたセンサ情報と類似する過去に取得されたセンサ情報を高速に検索することが可能となる。したがって、当該検索結果を、実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【０１２２】
また、請求項１４記載のセンサ情報のデータベース化方法および請求項１８記載の点検支援システム並びに請求項２２記載の点検支援用プログラムによれば、類似センサ情報の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）を反映することができる。したがって、センサ情報の時間方向の変化を考慮した類似センサ情報の高速検索が可能となる。また、高速検索が可能であるから、検索結果を実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【０１２３】
また、請求項１５記載のセンサ情報のデータベース化方法および請求項１９記載の点検支援システム並びに請求項２３記載の点検支援用プログラムによれば、センサ情報の抽出された特徴に特化した類似センサ情報の検索が可能となり、検索に要する計算処理量を削減できる。また、高速検索が可能であるから、検索結果を実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【０１２４】
また、請求項１７記載のセンサ情報のデータベース化方法および請求項２０記載の点検支援システム並びに請求項２４記載の点検支援用プログラムによれば、センサ情報の抽出された特徴に特化した類似センサ情報の検索が可能となり、検索に要する計算処理量を削減できる。また、類似センサ情報の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）を反映できるので、当該センサ情報の時間方向の変化を考慮した類似センサ情報の高速検索が可能となる。また、高速検索が可能であるから、検索結果を実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【図面の簡単な説明】
【図１】本発明の点検支援システムの実施の一形態を示す概略機能ブロック図である。
【図２】本発明のデータベース化方法の処理の一例を示す概略フローチャートである。
【図３】本発明の点検支援システムの実施のイメージを示す概念図である。
【図４】作業用端末の表示装置に表示される画面の一例を示す図である。
【符号の説明】
１ 点検支援システム
２ 作業用端末（センサ情報を取得する手段）
３ データベース
【発明の属する技術分野】
本発明は、音声等の情報をデータベース化する方法および当該データベースを利用した点検支援システム並びに点検支援用プログラムに関する。
【０００２】
【従来の技術】
発電機、変圧器また遮断機などの電力設備を長期に渡って健全に運転・使用するには日頃からの点検が欠かせない。このため電力会社をはじめとする設備産業では膨大な量の設備に対する点検業務に多くの労力と資本を投じている。そのため点検の精度を下げることなく、これらのコストをいかに下げるかが重要な課題となっている。点検業務には設備の運転を停止した上で分解し細かく点検する分解点検と、運転したままで外観等を点検する巡視点検がある。この内、分解点検は設備を停止しなければならないため、保守コストの低減のためにはなるべく回数を減らすのが望ましい。そのため運転時や巡視点検時に異常の徴候を早期発見し、それに応じて分解点検を行うという状況依存型点検への移行が試みられている。
【０００３】
従来の巡視点検支援技術として、携帯端末装置（ハンディターミナル）を用いて巡視対象の諸データを収集し、データベースに登録する技術がある（特許文献１参照）。また、プラントなどの設備の制御、運用、保守、点検などに関わる多種多量のデータを収集、蓄積、検索するための情報記憶検索方法およびそれを用いた情報記憶検索装置が提案されている（特許文献２参照）。また、点検保守業務でのノウハウ資料作成を容易にするために映像と音声データを蓄積する技術がある（特許文献３参照）。
【０００４】
【特許文献１】
特開平６−４５３９号公報
【特許文献２】
特開２０００−９０１０６号公報
【特許文献３】
特開２０００−２２２０２６号公報
【０００５】
【発明が解決しようとする課題】
巡視点検では巡視員の五感に頼る部分が多いのが現実である。例えば、聴覚、つまり音を用いた点検は多くの設備巡視で行われており、重要な点検項目の一つとなっている。そこで、巡視時に巡視員が受け取る五感情報を、後の巡視時に活用できるように、整理して記録することが望まれる。しかしながら、従来技術では、音などの情報を後で利用し易いように整理して記録するために、多大な手間を要している。
【０００６】
そこで本発明は、五感情報に相当するセンサ情報や五感を超えたセンサ情報（例えば超音波など）を簡便に整理して記録することができるセンサ情報のデータベース化方法を提供することを目的とする。さらに、本発明は、音などの情報が整理され記録されて構成されるデータベースを利用して、点検作業を支援するシステム並びに点検支援用プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
かかる目的を達成するため、請求項１記載のセンサ情報のデータベース化方法は、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索するようにしている。
【００１０】
また、請求項４記載の点検支援システムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段とを少なくとも有するようにしている。
【００１１】
また、請求項７記載の点検支援用プログラムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段としてコンピュータを機能させるようにしている。
【００１２】
したがって、点検対象ごとに整理され蓄積されたセンサ情報に基づいて作成された索引を利用して、ある点検対象と類似したセンサ情報を発している他の点検対象を高速に検索することが可能となる。
【００１３】
また、請求項２記載のセンサ情報のデータベース化方法は、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の集合についての統計量を算出し、当該統計量について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索するようにしている。
【００１４】
また、請求項５記載の点検支援システムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の集合についての統計量を算出し、当該統計量について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段とを少なくとも有するようにしている。
【００１５】
また、請求項８記載の点検支援用プログラムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の集合についての統計量を算出し、当該統計量について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段としてコンピュータを機能させるようにしている。
【００１６】
したがって、点検対象ごとの統計的特徴に基づいて作成された索引を利用して、ある点検対象と類似したセンサ情報を発している他の点検対象を高速に検索することが可能となる。
【００１７】
また、請求項３記載のセンサ情報のデータベース化方法は、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の時系列について、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、異なる対象間で共通する拡張周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索するようにしている。
【００１８】
また、請求項６記載の点検支援システムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の時系列について、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する拡張周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段とを少なくとも有するようにしている。
【００１９】
また、請求項９記載の点検支援用プログラムは、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の時系列について、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する拡張周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段としてコンピュータを機能させるようにしている。
【００２０】
この場合、類似点検対象の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）が反映される。したがって、センサ情報の時間方向の変化を考慮した類似点検対象の高速検索が可能となる。
【００２１】
また、請求項１０記載のセンサ情報のデータベース化方法では、同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量を算出すると共に、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、上記現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分を抽出するようにしている。
【００２２】
また、請求項１１記載の点検支援システムでは、同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量を算出する手段と、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、上記現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分を抽出する手段と、上記算出された統計量および上記抽出された周波数成分を表示する手段とを少なくとも有するようにしている。
【００２３】
また、請求項１２記載の点検支援用プログラムでは、同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量を算出する手段と、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、上記現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分を抽出する手段と、上記算出された統計量および上記抽出された周波数成分を表示する手段としてコンピュータを機能させるようにしている。
【００２４】
したがって、点検対象固有の特徴である統計量と、当該点検対象について現時点で取得された現センサ情報とを可視化して視覚的に比較することができる。
【００２５】
また、請求項１３記載のセンサ情報のデータベース化方法は、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索するようにしている。
【００２６】
また、請求項１７記載の点検支援システムは、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有するようにしている。
【００２７】
また、請求項２１記載の点検支援用プログラムは、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させるようにしている。
【００２８】
したがって、センサ情報に基づいて作成されセンサ情報の特徴が反映された索引を利用して、現時点で取得されたセンサ情報と類似する過去に取得されたセンサ情報を高速に検索することが可能となる。
【００２９】
また、請求項１４記載のセンサ情報のデータベース化方法は、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、上記周波数分布の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索するようにしている。
【００３０】
また、請求項１８記載の点検支援システムは、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、上記周波数分布の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有するようにしている。
【００３１】
また、請求項２２記載の点検支援用プログラムは、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、上記周波数分布の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させるようにしている。
【００３２】
この場合、類似センサ情報の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）が反映される。したがって、センサ情報の時間方向の変化を考慮した類似センサ情報の高速検索が可能となる。
【００３３】
また、請求項１５記載の発明は、請求項１０記載のセンサ情報のデータベース化方法において、抽出された現センサ情報の周波数成分について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索するようにしている。
【００３４】
また、請求項１９記載の発明は、請求項１１記載の点検支援システムにおいて、抽出された現センサ情報の周波数成分について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有するようにしている。
【００３５】
また、請求項２３記載の発明は、請求項１２記載の点検支援用プログラムにおいて、抽出された現センサ情報の周波数成分について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させるようにしている。
【００３６】
この場合、センサ情報の抽出された特徴に特化した類似センサ情報の検索が可能となり、検索に要する計算処理量を削減できる。
【００３７】
また、請求項１６記載の発明は、請求項１０記載のセンサ情報のデータベース化方法において、抽出された現センサ情報の周波数成分の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索するようにしている。
【００３８】
また、請求項２０記載の発明は、請求項１１記載の点検支援システムにおいて、抽出された現センサ情報の周波数成分の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有するようにしている。
【００３９】
また、請求項２４記載の発明は、請求項１２記載の点検支援用プログラムにおいて、抽出された現センサ情報の周波数成分の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させるようにしている。
【００４０】
この場合、センサ情報の抽出された特徴に特化した類似センサ情報の検索が可能となり、検索に要する計算処理量を削減できる。また、類似センサ情報の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）が反映されるので、当該センサ情報の時間方向の変化を考慮した類似センサ情報の高速検索が可能となる。
【００４１】
【発明の実施の形態】
以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。
【００４２】
図１から図４に本発明のセンサ情報のデータベース化方法および点検支援システム並びに点検支援用プログラムの実施の一形態を示す。例えば本実施形態では、電力設備２１の巡視点検に本発明を適用した例について説明する。
【００４３】
例えば本実施形態における点検支援システム１は、点検作業員が携帯する作業用端末２と、作業用端末２で収集されるセンサ情報およびセンサ情報を加工した情報が記録されるデータベースとして機能する計算機３とを有して構成される。
【００４４】
本明細書でいう「センサ情報」には、「対象」の状態を表すあらゆる情報が含まれる。「対象」としては、例えば点検対象である個々の設備２１が該当する。センサ情報には、例えば人間の五感に相当する情報（視覚、聴覚、嗅覚、温度や振動などの皮膚感覚等）や、五感を超えた情報（例えば超音波など）も含まれる。作業用端末２には、センサ情報を取得するための手段が備えられる。例えば本実施形態の作業用端末２には、映像情報を取得するためのビデオカメラ４と、音情報を取得するためのマイクロホン５が備えられている。従って、本実施形態では、映像情報と音情報とがセンサ情報として作業用端末２により取得される。ただし、センサ情報は本実施形態の例に限定されるものではない。例えば、振動センサ、温度センサ、臭いセンサ、超音波センサ等を作業用端末２に備えて、振動情報、温度情報、臭い情報、超音波等をセンサ情報として作業用端末２により取得するようにしても良い。
【００４５】
データベースとして機能する計算機３（以下、単にデータベース３と呼ぶ）は、例えば、中央演算処理装置（ＣＰＵ）、主記憶装置、センサ情報およびセンサ情報を加工した情報が記録される外部記憶装置２０（例えばハードディスク等の情報記録装置である。）、作業用端末２との通信インターフェースなどのハードウェア資源と、これらのハードウェア資源を制御するオペレーティングシステムや、点検支援用プログラムなどのソフトウェア資源とを有するコンピュータである。データベース３は利用者からの要求を受け付けて対話的に処理を行い、利用者が必要とする情報を出力する機能も持つ。
【００４６】
尚、作業用端末２に、表示装置６（例えば液晶ディスプレイやヘッドマウントディスプレイなど）や音出力装置７（例えばスピーカやイヤホン、ヘッドフォンなど）などの出力装置を備えても良い。この場合、データベース３に蓄積されたセンサ情報やこれらのセンサ情報を加工した情報を、作業用端末２に出力することができる。また、作業用端末２に、マウスやキーボードなどの入力装置８を備えても良い。この場合、点検作業員がデータベース３と対話的に処理を行なったり、センサ情報に併せて点検作業員が必要な情報を適宜データベース３に記録することもできる。さらに、作業用端末２に、中央演算処理装置（ＣＰＵ）、主記憶装置、外部記憶装置などのハードウェア資源とこれらのハードウェア資源を制御するオペレーティングシステム等を備えて、センサ情報の入出力、センサ情報の加工、データベース３に対する操作等に伴う処理の一部または全部を負担するようにしても良い。勿論、データベース３にてこれらの処理をすべて行なうようにしても良い。
【００４７】
作業用端末２の形態は、特に限定されないが、例えば、（１）点検作業用ヘルメットにビデオカメラ４とマイクロホン５を搭載する、（２）頭装着型の表示装置６（ヘッドマウントディスプレイ）にビデオカメラ４とマイクロホン５を搭載する、（３）市販のハンディビデオカメラ４を用いる、（４）ビデオカメラ４とマイクロホン５を別々に手に持つ、（５）点検作業員の衣服にビデオカメラ４とマイクロホン５を装備する、（６）ビデオカメラ４とマイクロホン５を備えた携帯型の計算機（例えばノート型パーソナルコンピュータやウエアラブル・コンピュータ等）を用いる、といった形態が挙げられる。これらの形態や、作業用端末２が備える入出力装置６，７，８は、利用環境に応じて適宜選択すれば良い。
【００４８】
尚、作業用端末２とデータベース３とは無線または有線で常時接続されてリアルタイムに通信を行なう形態であっても良く、または、作業用端末２をデータベース３とは非接続のオフラインで機能させて、作業用端末２が備える記録媒体（例えば磁気テープやハードディスクなど）にセンサ情報を一旦記録しておき、後で作業用端末２とデータベース３とを無線または有線で接続して通信を行なうようにしても良い。
【００４９】
本実施形態においては、センサ情報は、例えば次のようにして整理されてデータベース３に記録される（図２のステップ１，ステップ２）。即ち、取得されたセンサ情報のうち、映像情報の変化を検出し、当該変化に基づいて映像情報以外のセンサ情報（本実施形態では音情報）を区切ってデータベース３に記録するようにしている。点検支援システム１は、センサ情報を取得する手段としての作業用端末２と、作業用端末２で取得されたセンサ情報に対して、映像情報の変化を検出し、当該変化に基づいて映像情報以外のセンサ情報を区切ってデータベース３に記録するセンサ情報区切手段９とを少なくとも有している。点検支援用プログラムは、センサ情報区切手段９としてコンピュータを機能させる。尚、本実施形態における当該コンピュータは例えばデータベース３である。
【００５０】
例えば本実施形態では、以下に説明する処理によって映像情報の変化を検出するようにしている。先ず、入力される映像情報について、連続するフレーム画像間の変化量ｄｋを次式に基づいて計算する。
【００５１】
【数１】
ここで、ｃ（ｋ，ｘ，ｙ）はｋ番目のフレーム画像における位置ｘ，ｙの画素の色値を表す。dist（ ）は色値のユークリッド空間での距離である。色空間として、例えば本実施形態では、最も標準的なＲＧＢ空間（０≦Ｒ，Ｇ，Ｂ≦２５５）を採用する。但し、色空間は上記ＲＧＢ空間に限定されるものではなく、例えば撮影環境や検出対象物が予め想定できる場合は、色空間を適宜工夫することで感度を上げることも可能である。
【００５３】
次に、過去ｎフレームの変化量ｄｋの平均μと標準偏差σを計算する。そして、以下の条件式に基づいてｋ番目のフレームの映像状態が「活性」「沈静」「定常」のいずれにあるかを判定する。
【００５４】
【数２】
もし ｄｋ＞μ＋ασ ならば 「活性」状態と判定する。
【数３】
もし ｄｋ＜μ−βσ ならば 「沈静」状態と判定する。
【数４】
「活性」および「沈静」の何れの状態にも該当しなければ「定常」状態と判定する。
【００５５】
αおよびβは「定常」状態の範囲を指定するためのパラメータである（α＞０，β＞０）。そして、現在の映像状態とは異なる状態のフレームが過去ｎフレームの内にｍ（ｍ≦ｎ）回出現した場合に、映像の状態が変わったと判定する。これらパラメータ（ｎ，ｍ）は状態変化の恒常性に影響する。
【００５６】
ここで、巡視作業は、設備２１，２１間の移動と、移動せずに各設備２１を点検する作業に分けられる。「沈静」状態が検出された時点（「沈静」以外の状態から「沈静」に遷移したと判定された時点）とは、移動から点検に移った時点と推定される。
【００５７】
そこで、例えば本実施形態では、映像情報と音情報とを連続的に記録するようにし、且つ映像情報において「沈静」以外の状態から「沈静」に遷移したと判定された時点で、音情報を区切るようにしている。これにより、センサ情報を点検対象毎に自動で整理することが可能になる。従って、収集したセンサ情報を後で活用できるように、録音テープなどの記録媒体の録音箇所を示す情報（カウンタなど）を作業者が一々記録しておくといった手間のかかる作業は不要となる。
【００５８】
ここで、本実施形態では、区切られたセンサ情報を「センサ情報ブロック」と呼び、各「センサ情報ブロック」に一意に識別できる識別番号ｉｄを付与するようにしている。そして、識別番号ｉｄと、センサ情報ブロックの先頭箇所を表す情報（例えば区切時点ｔ）との対応表を作成するようにしている。従って、上記対応表により、識別番号ｉｄから対応するセンサ情報ブロックを呼出すことができる。さらに、区切時点ｔにおける映像を静止画像として記録し、その静止画像の識別番号ＩＤと、識別番号ｉｄまたは区切時点ｔとの対応表を作成するようにしている。従って、上記対応表により、センサ情報ブロックの先頭箇所に対応する静止画像も呼出すことができる。尚、補足的な機能として、映像そのもの（動画像）をデータベース３に記録するようにしても良い。この場合は、例えば記録映像における区切時点ｔのフレームｆｔと、識別番号ｉｄまたは区切時点ｔとの対応表を作成するようにする。
【００５９】
記録映像は全撮影時間にわたって同じファイルに記録しても良く、各区切時点ｔで区切って別々のファイルに記録しても良い。また、音情報も全録音時間にわたって同じファイルに記録し当該ファイルに区切り情報（タグ）を挿入するようにしても良く、各区切時点ｔで区切って別々のファイルに記録しても良い。センサ情報のファイル構成を如何にするかは、計算機の性能および利用環境等によって適宜選択して良い。尚、映像情報において「沈静」以外の状態から「沈静」状態が判定された時点で、作業用端末２において、録音を開始し、映像情報において「沈静」状態から「沈静」以外の状態が判定された時点で、録音を停止するようにしても良い。
【００６０】
さらに、例えば本実施形態では、点検対象としての設備２１を識別する情報（例えば点検対象を一意に識別するための番号である。以下、本実施形態では「対象識別情報」と呼ぶ。）を、区切られたセンサ情報であるセンサ情報ブロックのそれぞれに関連付けてデータベース３に記録するようにしている。このために、本実施形態の点検支援システム１では、設備２１を識別する手段と、対象識別情報をセンサ情報ブロックのそれぞれに関連付けて記録する対象識別情報付与手段１０を有している。点検支援用プログラムは、対象識別情報付与手段１０としてコンピュータを機能させる。尚、本実施形態における当該コンピュータは例えばデータベース３である。したがって、センサ情報ブロックがどの設備２１に属するかを対象識別情報により特定することができ、設備２１毎にセンサ情報を整理することができる。
【００６１】
設備２１を識別する手段としては、必ずしも限定されないが、例えば以下の手段が挙げられる。第１の手段としては、点検作業員が作業用端末２の入力装置８を用いて、現在取得されているセンサ情報がどの設備２１に関するものであるか示す対象識別情報を入力する。第２の手段としては、ＲＦＩＤ（Radio Frequency ID，非接触式ＩＣチップとも呼ばれる）などの設備識別用ＩＣチップを各設備２１に装着し、当該ＩＣチップとの通信用アンテナを作業用端末２に装備し、作業用端末２により当該ＩＣチップに記録された対象識別情報を自動で読み取る。第３の手段としては、バーコードや２次元バーコード或いは情報識別用マーカ（例えば特開２００２−５６３７１号公報参考）などを各設備２１に添付しておき、それを映像情報から読み取って設備２１を自動認識し、対応する対象識別情報を特定する。第４の手段としては、現在撮影されている画像情報と、過去に登録された既知の設備２１の画像情報とを照合し、画像検索により設備２１を自動認識し（例えば特開２００１−１０９８８４号公報参考）、対応する対象識別情報を特定する。設備２１の見た目が異なる場合に特に有効である。第５の手段としては、ＧＰＳ（衛星航法システム）などの位置情報システムを利用して作業用端末２の位置を特定し、特定された位置に基づいて現在点検対象となっている設備２１を自動認識し、対応する対象識別情報を特定する。第６の手段としては、音声認識手段を作業用端末２に装備し、点検作業員が設備名を発声することで、当該設備名から対応する対象識別情報を特定する。
【００６２】
さらに、例えば本実施形態では、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、周波数ｎグラムヒストグラムを索引とし（図２のステップ３）、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索できるようにしている（図２のステップ４）。
【００６３】
このために、本実施形態の点検支援システム１では、対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引としてデータベース３に記録する対象毎索引作成手段１１と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する類似対象検索手段１２とを有するようにしている。点検支援用プログラムは、対象毎索引作成手段１１と、類似対象検索手段１２としてコンピュータを機能させる。尚、本実施形態における当該コンピュータは例えばデータベース３である。
【００６４】
ある設備２１に関して収録された特定の種別の個別センサ情報ｓのすべての集まりをセンサ情報集合Ｓとする。例えばある変圧器の１年分の音情報などがセンサ情報集合Ｓに該当する。個別センサ情報ｓは、例えば上述した処理により得られるセンサ情報ブロックである。
【００６５】
センサ情報集合Ｓに属するすべての個別センサ情報ｓに対して、例えばＦＦＴ（高速フーリエ変換）を適用し、周波数分布情報ｈに変換する。センサ情報集合Ｓに対応する、周波数分布情報ｈの集まりを周波数分布情報集合Ｈとする。尚、ＦＦＴのパラメータである信号処理時区間、周波数分解能、各周波数帯域の信号分解能は、目的に応じて設定するものとする。これらのパラメータは、同じ周波数分布情報集合Ｈに属するすべての周波数分布情報ｈで、同一とすることが好ましい。
【００６６】
ここで、一つの個別センサ情報ｓから一つの周波数分布情報ｈを算出しても良いが、例えばフーリエ変換の対象とする時区間をずらすことで、一つの個別センサ情報ｓから一定時間間隔毎に複数の周波数分布情報ｈ’を算出することもできる。そこで、一つの個別センサ情報ｓから算出された複数の周波数分布情報ｈ’について、統計量（例えば、同じ周波数帯域あたりでの平均を求めたもの）を算出し、当該統計量を周波数分布情報ｈとして用いても良い。
【００６７】
周波数分布情報ｈの周波数帯域数をｍとし、低周波帯域からｋ番目の帯域のパワーをｐｋ（１≦ｋ≦ｍ）とする。（ｋ，ｐｋ）というベクトルを単特徴ｓｋとする。そして、１＜ｋ≦ｍなるｋに対して定義される（ｓｋ−１，ｓｋ）の組を周波数バイグラムとする。同様に、１＜ｋ＜ｍなるｋに対して定義される（ｓｋ−１，ｓｋ，ｓｋ＋１）の組を周波数トリグラムとする。同様に、連続するｎ個の単特徴の組を周波数ｎグラムとする。ここでｎを、周波数ｎグラムの次元数と呼ぶ。類似性の高いセンサ情報を精度良く検索するためには、次元数の大きな周波数ｎグラムを用いることが好ましい。ただし、周波数ｎグラムの次元数をあまり大きくすると、信号の細かな特徴が現れ過ぎるため、検索に求められる曖昧さが達成できない場合がある。その場合は、より低い次元数の周波数ｎグラムを用いる必要がある。本願発明者等が種々実験検討した結果、一般に回転機設備音の場合は周波数トリグラムを用いることで精度良い検索が実現できることが知見された。そこで、本実施形態では、次元数３の周波数トリグラムを用いた例について特に説明する。尚、他の次元数の場合も同様の処理となる。
【００６８】
単特徴ｓｋ＝（ｋ，ｐｋ）のｐｋは、検索精度に応じた量子化がなされているものとする。量子化数が多いほど細かなパワー特徴が反映され、量子化数が少ないほど暖昧さを加味した特徴となる。
【００６９】
ある周波数分布情報集合Ｈに属する周波数分布情報ｈから計算されたすべての周波数トリグラムの集まりを周波数トリグラム集合Ｔとする。そして、各周波数トリグラムに一意の識別番号ｔｉｄを付与する。ただし、共通する周波数トリグラムの識別番号ｔｉｄは等しいものとする。ここで、周波数トリグラムが共通するとは、例えば本実施形態では、構成要素である三つの単特徴の位置と値とがすべて等しい場合をいうものとする。ただし、周波数トリグラムの共通性を緩やかにするために、例えば三つの単特徴のうちの二つについて位置と値が等しい場合に、「周波数トリグラムが共通する」と定義しても良い。
【００７０】
そして、周波数トリグラム集合Ｔ内における共通する周波数トリグラムの数をｆＴとする。周波数トリグラム集合Ｔに属する異なるすべての周波数トリグラムに対して、（ｔｉｄ，ｆＴ）の組をすべて計算し、それらの組の集合を周波数トリグラムヒストグラムＴｆとする。
【００７１】
計算された周波数トリグラムヒストグラムＴｆは、類似設備検索用の索引として、各設備２１毎に作成され、データベース３に記録される。索引の構成方法は、特に限定はされないが、Ｒ−Ｔｒｅｅなどの一般的な多次元索引を利用するのが適切である。周波数帯域数とパワーの量子化数とを一定に押さえることができるので、予めテーブルの規模を定めた三段階のツリー構造を用いるのが効果的である。例えば、周波数トリグラムの場合では、三つの単特徴のうちの一番目の単特徴を用いて第一の索引を構成し、当該第一の索引の参照する領域に、二番目の単特徴を用いて第二の索引を構成し、当該第二の索引の参照する領域に、三番目の単特徴を用いて第三の索引を構成し、単特徴の個数分のツリーを構成する。最後のリーフには、その周波数トリグラムの頻度ｆｔと、上述した対象識別情報を記録する。このように索引を構成することで、一つの周波数トリグラムの検索を、せいぜい次元数回の探索で行うことができる。また、周波数トリグラムの分布には大きな偏りが存在し得るため、当該偏りに応じてデータベース３の外部記憶装置２０内部の索引配置を考慮することも有効である。また、単特徴に関する索引をデータベース３の主記憶装置上に保有することも近年の計算機性能を考慮すれば可能であり、高速な探索を助ける。さらに、検索では頻出する周波数トリグラムが偏る傾向も在り得るため、キャッシュ機構を取り入れることで、さらに効率的な索引を構成することができる。
【００７２】
ある点検対象に関して作成された周波数トリグラムヒストグラムＴｆ１と、別の点検対象に関して作成された周波数トリグラムヒストグラムＴｆ２との類似性は、例えば以下のようにして計算できる。即ち、Ｔｆ１，Ｔｆ２の双方に属する周波数トリグラムの識別番号ｔｉｄについて、Ｔｆ１，Ｔｆ２におけるその周波数トリグラムの頻度をｆＴ１，ｆＴ２とする。ｆＴ１，ｆＴ２の二つの値のうちの最小値をminｆＴとする。そして、Ｔｆ１，Ｔｆ２の双方に属するすべての周波数トリグラムの識別番号ｔｉｄについて、最小値minｆＴの総和を求め、当該総和値をＴｆ１とＴｆ２の類似度とする。
【００７３】
以上の処理により、例えば作業用端末２で対象識別情報を入力すれば、データベース３にて当該対象識別情報に対応する点検対象の周波数トリグラムヒストグラムを検索キーとして類似度が最も大きな周波数トリグラムヒストグラムを持つ点検対象を検索し、検索結果を作業用端末２に出力することができる。また、類似度の大きい方から順に整列した類似設備のリストを出力することもできる。さらに、すべての点検対象間の類似度を計算し、予め定めた閾値以上の類似度を有する点検対象群を抽出し、類似したセンサ情報を発している点検対象群として整理することもできる。
【００７４】
ここで、例えばフーリエ変換の対象とする時区間をずらすことで、一つの個別センサ情報ｓから一定時間間隔毎に複数の周波数分布情報を算出することも可能である。例えば４８ＫＨｚでサンプリングされたデジタル音信号は、一秒間あたり４８０００の情報から構成されている。一般にＦＦＴでは１０２４のように２の累乗個の情報を１度に扱うので、一秒間の音情報を連続する例えば１０２４毎の時区間に区切る。区切られた各時区間での周波数分布情報を計算することで、一つの個別センサ情報ｓから複数の周波数分布情報が得られる。このような処理を行った場合、連続する時区間から計算された周波数分布情報には音情報の時間方向の変化が反映されている。当該時間方向の変化は、瞬発音や音声などはもとより、設備２１のうなりなどを反映できるため、点検目的によっては重要な情報となる。
【００７５】
そこで、一つの個別センサ情報ｓから得られる複数の周波数分布情報をも扱えるように、例えば以下のようにして、上述の周波数ｎグラムヒストグラムの構成方法を拡張しても良い。即ち、信号情報ｓの連続する時区間から計算された周波数分布をｈ１，ｈ２，ｈ３，…，ｈｍａｘｉとする。ｋ番目の周波数分布ｈｋの、ｊ番目の周波数区間のパワーをｐｋ，ｊとし、拡張単特徴をｓｋｊ＝（ｋ，ｊ，ｐｋ，ｊ）とする。ここで、ｊを周波数方向引数、ｋを時間方向引数とする。拡張周波数ｎグラムとは、時間方向と周波数分布方向の一方または双方に連続するｎ個の拡張単特徴の組であり、任意の組み合わせが可能である。例えば、時間方向および周波数分布方向の双方にまたがる（ｓｋ，ｊ，ｓｋ−１，ｊ，ｓｋ，ｊ−１）なるＬ字型の拡張周波数トリグラムとしても良い。つまり上述した周波数ｎグラムでは、拡張周波数ｎグラムにおいて時間方向引数が同一であり、かつ周波数方向引数が連続した場合の拡張単特徴の組となる。尚、拡張周波数ｎグラムについての拡張周波数ｎグラムヒストグラムの作成方法、拡張周波数ｎグラムヒストグラムを索引として記録する方法、拡張周波数ｎグラムヒストグラムを索引として類似する点検対象を検索する方法は、既に説明した周波数ｎグラムの場合と同様である。
【００７６】
さらに、例えば本実施形態では、同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量を算出するようにしている（図２のステップ５）。この統計量とは、例えば、同じ周波数帯域または予め設定した周波数区間の一方または双方についての平均値や分散または標準偏差などが該当し、点検対象固有の特徴を表すものである。
【００７７】
さらに、例えば本実施形態では、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分を抽出するようにしている（図２のステップ６）。従って、点検対象固有の特徴と、当該点検対象について現時点で取得された現センサ情報とを比較して、現センサ情報についての過去とは異なる特徴の有無を、容易に確認することができる。
【００７８】
このために、本実施形態の点検支援システム１では、同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量（以下、本実施形態では「対象固有特徴」と呼ぶ。）を算出してデータベース３に記録する対象固有特徴抽出手段１３と、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、上記現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分（以下、本実施形態では「個別特徴」と呼ぶ。）を抽出してデータベース３に記録する個別特徴抽出手段１４と、上記データベース３に記録された対象固有特徴および個別特徴を表示する特徴表示手段１５を有するようにしている。点検支援用プログラムは、対象固有特徴抽出手段１３と個別特徴抽出手段１４と特徴表示手段１５としてコンピュータを機能させる。尚、本実施形態における当該コンピュータは例えばデータベース３である。
【００７９】
例えば本実施形態では、対象固有特徴として、以下に説明する情報を算出するようにしている。先ず、同一の設備２１について纏められた周波数分布情報集合Ｈに属するすべての周波数分布情報ｈについて、同じ周波数帯域あたりの平均をとったベクトルを平均周波数特徴ｈｖとして求める。また、同周波数分布情報集合Ｈに属するすべての周波数分布情報ｈについて、同じ周波数帯域あたりの標準偏差を計算したベクトルを標準偏差周波数特徴ｈｓとして求める。
【００８０】
次に、平均周波数特徴ｈｖを用いて、一定の周波数区間ｆでの平均として、区間平均特徴ｈｖ２を計算する。ここで、周波数分布情報ｈの周波数帯域数をmaxiとする。また、平均周波数特徴ｈｖの周波数分布方向のｉ番目の要素をｈｖｉとする。また、区間平均特徴ｈｖ２の周波数分布方向のｉ番目の要素をｈｖ２ｉとする。周波数区間ｆは、例えば周波数分布情報ｈの全体周波数帯域Ｆよりも小さく設定する。ここで、周波数分解能をｄｆとし、ａ＝ｆ／（２ｄｆ）とすると、区間平均特徴ｈｖ２のｉ番目の要素ｈｖ２ｉは、例えば以下の数式５および数式６に基づいて計算される。
【００８１】
【数５】
ａ≦ｉ≦maxi−ａの場合、
ｉ＜ａ，ｉ＞maxi−ａの場合、
ｈｖ２ｉ＝０
【００８２】
以下に、ｈｖ２ｉを算出する処理を例を挙げて説明する。周波数分布情報ｈの全体周波数帯域Ｆが、１０Ｈｚ〜１０１０Ｈｚまでの１０００Ｈｚの帯域であるとする。周波数分解能ｄｆを１０Ｈｚとする。この場合、添え字ｉは１〜１００の範囲をとる。周波数区間ｆを１００Ｈｚの帯域として設定したとする。この場合、ａ＝ｆ／（２ｄｆ）＝５となる。例えばｈｖ２の５０番目の要素ｈｖ２５０は、ｈｖ４６からｈｖ５５までの平均値となる。
【００８３】
次に、平均周波数特徴ｈｖおよび区間平均特徴ｈｖ２を用いて、周波数区間ｆでの標準偏差を求めて区間標準偏差特徴ｈｓ２とする。区間標準偏差特徴ｈｓ２の周波数分布方向のｉ番目の要素をｈｓ２ｉとすると、ｈｓ２ｉは、例えば以下の数式７および数式８に基づいて計算される。
【００８４】
【数７】
２ａ≦ｉ≦maxi−２ａの場合、
ｉ＜２ａ，ｉ＞maxi−２ａの場合、
ｈｓ２ｉ＝０
【００８５】
次に、平均周波数特徴ｈｖと区間平均特徴ｈｖ２と区間標準偏差特徴ｈｓ２とを用いて、区間平均から逸脱したピーク値であるピーク特徴ｈｐを計算する。ピーク特徴ｈｐの周波数分布方向のｉ番目の要素をｈｐｉとすると、ｈｐｉは、例えば以下の条件式に基づいて計算される。
【００８６】
【数９】
もし ｉ＜ａ または ｉ＞maxi−ａ ならば
ｈｐｉ＝０
【数１０】
さもなければ、
もし ａ≦ｉ＜２ａ かつ ｈｖｉ＞ｈｖ２ｉ＋ｂ・ｈｓ２２ａ＋ｃ ならば
ｈｐｉ＝ｈｖｉ−ｈｖ２ｉ
【数１１】
さもなければ、
もし maxi−２ａ＜ｉ≦maxi−ａ
かつ ｈｖｉ＞ｈｖ２ｉ＋ｂ・ｈｓ２maxi −２ａ＋ｃ ならば
ｈｐｉ＝ｈｖｉ−ｈｖ２ｉ
【数１２】
さもなければ、
もし ｈｖｉ＞ｈｖ２ｉ＋ｂ・ｈｓ２ｉ＋ｃ ならば
ｈｐｉ＝ｈｖｉ−ｈｖ２ｉ
【数１３】
さもなければ、
ｈｐｉ＝０
【００８７】
ここで、ｂ，ｃは閾値設定のパラメータである。可聴音を対象とした場合の目安としては、ｂ＝１，ｃ＝１０ｄＢ程度である。また、本願発明者等が種々実験検討した結果、ｂを２以上に設定すると、音波に限らず、殆んどの特徴信号が消えてしまうことが知見されたため、特殊な場合を除き、ｂは２以下に設定することが望ましい。
【００８８】
以上の処理により、対象固有特徴として、平均周波数特徴ｈｖ、標準偏差周波数特徴ｈｓ、区間平均特徴ｈｖ２、区間標準偏差特徴ｈｓ２、ピーク特徴ｈｐが算出される。尚、これらの対象固有特徴の算出方法は必ずしも上記の例に限定されない。例えば、上記処理では、要素ｉを中心として周波数区間ｆを設定したが、場合によっては、要素ｉを先頭または終端として周波数区間ｆを設定するようにしても良い。
【００８９】
また本実施形態では、現センサ情報ｓの個別特徴として、当該現センサ情報ｓと、その現センサ情報ｓに対応する設備２１に関して計算された、区間平均特徴ｈｖ２と区間標準偏差特徴ｈｓ２とピーク特徴ｈｐとを用いて、以下に説明する一時信号特徴ｈｔを計算するようにしている。現センサ情報ｓから計算された周波数分布情報ｈの周波数分布方向のｉ番目の要素をｈｉとし、一時信号特徴ｈｔの周波数分布方向のｉ番目の要素をｈｔｉとすると、ｈｔｉは、例えば以下の条件式に基づいて計算される。
【００９０】
【数１４】
もし ｉ＜ａ または ｉ＞maxi−ａならば
ｈｔｉ＝０
【数１５】
さもなければ、
もし ａ≦ｉ＜２ａ かつ ｈｉ＞ｈｖ２ｉ＋ｂ’・ｈｓ２２ａ＋ｃ’
かつ ｈｉ−ｈｖ２ｉ＞ｈｐｉ ならば
ｈｔｉ＝ｈｉ−ｈｖ２ｉ
【数１６】
さもなければ、
もし maxi−２ａ＜ｉ≦maxi−ａ
かつ ｈｉ＞ｈｖ２ｉ＋ｂ’・ｈｓ２maxi −２ａ＋ｃ’
かつ ｈｉ−ｈｖ２ｉ＞ｈｐｉ ならば
ｈｔｉ＝ｈｉ−ｈｖ２ｉ
【数１７】
さもなければ、
もし ｈｉ＞ｈｖ２ｉ＋ｂ’・ｈｓ２ｉ＋ｃ’
かつ ｈｉ−ｈｖ２ｉ＞ｈｐｉ ならば
ｈｔｉ＝ｈｉ−ｈｖ２ｉ
【数１８】
さもなければ、
ｈｔｉ＝０
【００９１】
ここで、ｂ’，ｃ’は閾値設定のパラメータである。可聴音を対象とした場合の目安としては、ｂ’＝１，ｃ’＝１０ｄＢ程度である。また、本願発明者等が種々実験検討した結果、ｂ’を２以上に設定すると、音波に限らず、殆んどの特徴信号が消えてしまうことが知見されたため、特殊な場合を除き、ｂ’は２以下に設定することが望ましい。
【００９２】
以上の処理により、現センサ情報ｓの個別特徴として、一時信号特徴ｈｔが算出される。尚、個別特徴の算出方法は必ずしも上記の例に限定されない。例えば、現センサ情報ｓから計算された周波数分布情報ｈと、現センサ情報ｓに対応する設備２１に関して計算されたピーク特徴ｈｐとの差を、現センサ情報ｓの個別特徴として求めるようにしても良い。
【００９３】
さらに、例えば本実施形態では、個別の信号である各センサ情報についても、上述した周波数ｎグラムヒストグラムを利用して、索引を作成し（図２のステップ７）、類似のセンサ情報を検索できるようにしている（図２のステップ８）。個別センサ情報に係る周波数ｎグラムの構成としては、例えば以下に説明する複数の形態が挙げられる。これらの形態はそれぞれに特徴があり、目的に応じて選択して良い。尚、周波数ｎグラムヒストグラムの作成方法、周波数ｎグラムヒストグラムを索引として記録する方法、周波数ｎグラムヒストグラムを索引として類似する情報を検索する方法は、既に説明した周波数ｎグラムの場合と同様である。
【００９４】
先ず、第１の形態について説明する。この場合、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、当該周波数ｎグラムヒストグラムを索引とし、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索できるようにする。
【００９５】
このために、点検支援システム１では、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引としてデータベース３に記録するセンサ情報毎索引作成手段１６と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する類似センサ情報検索手段１７とを有するようにしている。点検支援用プログラムは、センサ情報毎索引作成手段１６と類似センサ情報検索手段１７としてコンピュータを機能させる。尚、本実施形態における当該コンピュータは例えばデータベース３である。
【００９６】
上記第１の形態では、個別のセンサ情報ｓから計算できる複数の周波数分布情報ｈを用いて、周波数ｎグラムが直接計算される。多量の周波数ｎグラムが生成され得るため、索引作成および検索に要する計算処理が多くなる場合がある。その一方で、細かな特徴が反映された周波数ｎグラムヒストグラムが得られるため、細かな周波数特徴まで考慮した検索が可能となる。
【００９７】
次に、第２の形態について説明する。この場合、センサ情報毎索引作成手段１６により、以下の処理を実行するようにする。即ち、対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、上記周波数分布の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、当該拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引としてデータベース３に記録するようにする。この第２の形態によれば、センサ情報の時間方向の変化を考慮した類似検索を行なえる。当該時間方向の変化は、瞬発音や音声などはもとより、設備２１のうなりなどを反映できる。
【００９８】
次に、第３の形態について説明する。この場合、センサ情報毎索引作成手段１６により、以下の処理を実行するようにする。即ち、現センサ情報の特徴的な周波数成分について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、当該周波数ｎグラムヒストグラムを対応するセンサ情報の索引としてデータベース３に記録するようにする。
【００９９】
周波数ｎグラムの抽出に用いる現センサ情報の特徴的な周波数成分として、例えば、現センサ情報ｓの周波数分布情報ｈと、当該現センサ情報ｓと対応する設備２１の平均周波数特徴ｈｖとの差分に対し、閾値処理を施した情報を用いても良い。現センサ情報ｓの周波数分布情報ｈと、当該現センサ情報ｓと対応する設備２１の平均周波数特徴ｈｖとの差分を差分周波数分布情報ｈｄとし、ｈｄの周波数分布方向のｉ番目の要素をｈｄｉとし、設定した閾値（例えば１０ｄＢを初期値として変化させ、目的に対してノイズとなる信号が消去され、目的の信号が消去されない値を設定する）以下となるｈｄｉを０とする。上記閾値処理後の差分周波数分布情報をｈｄ’とし、このｈｄ’から周波数ｎグラムを計算する。この場合、平均から逸脱したピーク値のみに基づいた検索が可能となり、計算処理量を削減できる。尚、パワーがゼロの単特徴のみを含む周波数ｎグラムが多数生成され得るため、索引作成および検索では、そのような周波数ｎグラムを除外して計算することが好ましい。
【０１００】
また、周波数ｎグラムの抽出に用いる現センサ情報の特徴的な周波数成分として、上述した一時信号特徴ｈｔを用いても良い。この場合、さらに少数の特徴情報のみに基づいた検索が可能となり、計算処理量を一層削減できる。ただし細かな周波数特徴は省略されるため、細かな周波数特徴を考慮した検索には不向きといえる。尚、この場合も、パワーがゼロの単特徴のみを含む周波数ｎグラムが多数生成され得るため、索引作成および検索では、そのような周波数ｎグラムを除外して計算することが好ましい。
【０１０１】
次に、第４の形態について説明する。この場合、センサ情報毎索引作成手段１６により、以下の処理を実行するようにする。即ち、現センサ情報の特徴的な周波数成分（例えば上述した閾値処理を施した差分周波数分布情報ｈｄ’や一時音特徴ｈｔなど）の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、当該拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引としてデータベース３に記録するようにする。上記第４の形態では、センサ情報の時間方向の変化を考慮した類似検索を行なえるという第２の形態の特徴と、少数の特徴情報のみに基づいた検索により計算処理量を削減できるという第３の形態の特徴との双方の特徴を有する。
【０１０２】
次に、以上のように構成される点検支援システム１により、点検作業員等の利用者に対して情報提示を行なう処理（図２のステップ９）の一例について説明する。図４に、作業用端末２の表示装置６に表示される画面の一例を示す。
【０１０３】
上記画面の左側部分６ａには、映像情報において「沈静」状態が検出された時点の静止画像がアルバム状に表示される。当該静止画像は、例えば画面上方から下方に向かって古い順に整列されている。このような表示を行うことで、点検作業がどのような順序で進行したかを簡単に確認することができる。また、上記画面の中央上部分６ｂには現在ビデオカメラ４からキャプチャされつつある映像（動画像）が表示される。一方、画面の中央下部分６ｃには現在キャプチャされつつある音情報を処理した結果（例えば周波数分布情報ｈや一時音特徴ｈｔなど）が表示される。ここで、周波数分布情報ｈや一時音特徴ｈｔなどの履歴を、濃淡情報として画面に表示するようにしても良い。この場合、例えば新しい情報ほど濃く、古い情報ほど淡く表示するようにする。これにより、点検作業員はセンサ情報の変化を聴覚だけでなく視覚によっても確認することができる。
【０１０４】
さらに、点検作業員が画面の左側部分６ａの静止画像を選択することによって、対応する収録音が作業用端末２の音出力装置７より再生されるようにする。さらに、収録音と対応する収録信号（ｈ，ｈｖ，ｈｖ２，ｈｓ，ｈｓ２，ｈｐ，ｈｔなど）が作業用端末２の表示装置６に表示されるようにする。これにより、点検作業員は、過去のセンサ情報を簡易に確認することができる。
【０１０５】
画面の右側部分６ｄには、巡視点検対象の設備２１が配置されている建物の平面図が表示されている。当該平面図中のラジオボタンは現在どの設備２１を点検中であるのかを示す。図４の例では、点検作業員がマウスをクリック等することで、ラジオボタンを指定して点検中の設備２１をデータベース３に知らせるようにしている。尚、画面右端上部にある複数のチェックボックスは、表示機能や記録機能の状態を表し、点検作業員により変更可能であるようにしている。
【０１０６】
また、点検対象となっている設備２１が識別されると、当該設備２１に対応する過去のセンサ情報群から計算された対象固有特徴（平均周波数特徴ｈｖ，標準偏差周波数特徴ｈｓ、区間平均特徴ｈｖ２、区間標準偏差特徴ｈｓ２、ピーク特徴ｈｐ）がグラフ化されて表示される。これにより、点検対象設備２１に特有の特徴を視覚的に確かめることができる。また、これらの特徴に基づいて計算された一時信号特徴ｈｔもグラフ化されて表示される。一時信号特徴ｈｔおよびその履歴を表示することで、現在収録しつつある設備２１のセンサ情報が、過去の履歴に対してどういった違いを持つのかを、点検作業員は視覚的に確認できる。現在収録しつつある設備２１のセンサ情報が、過去に記録された同設備２１のセンサ情報とは異なる特徴を持つ場合には、その変化が明確に表示されるので、点検作業員による異常発見を補助することができる。
【０１０７】
さらに、その現場で、現在のセンサ情報と類似した過去のセンサ情報を検索して、点検作業員に提示する（例えば作業用端末２の音出力装置７から収録音を再生する、若しくは収録音に対応する信号を表示装置６にグラフとして表示する）こともできる。これは、現時点で検知した異常信号に類似した過去の事例を参照するのに役立つ。さらに、点検対象間の類似検索により、同種の症状を呈し得る設備グループを特定し、当該設備グループの範囲で、過去のセンサ情報を検索し、現在のセンサ情報と比較することもできる。さらに、同じ設備や類似する設備についての過去のセンサ情報を取得日時順に整列して、作業用端末２の表示装置６にリスト表示することもできる。この場合、前回や前々回の点検で取得されたセンサ情報と現在のセンサ情報に係る収録音を、作業用端末２の音出力装置７から再生して聞き比べたり、当該収録音に対応する収録信号（ｈ，ｈｖ，ｈｖ２，ｈｓ，ｈｓ２，ｈｐ，ｈｔなど）を表示装置６にグラフとして表示して見比べたりすることができる。
【０１０８】
尚、各設備２１に添付されたマーカ等に基づいて作業用端末２から入力される映像情報から前回点検におけるセンサ情報の収録位置を特定して、次回点検時に上記収録位置に点検作業員を誘導するための音声情報や映像情報を作業用端末２に出力するようにしても良い。この場合、各収録回の収録状況（音源までの距離など）を揃えることができる。
【０１０９】
本発明のセンサ情報のデータベース化方法および点検支援システム１および方法並びに点検支援用プログラムによれば、点検業務時の音などのセンサ情報が、映像情報とともに点検対象ごとに整理された形で、自動的にデータベース３に蓄えられる。また、各点検対象ごとに纏められたセンサ情報群に、周波数ｎグラムヒストグラムを索引として付与しているので、ある点検対象に類似する点検対象を迅速に検索できる。また、各センサ情報にも、周波数ｎグラムヒストグラムを索引として付与しているので、あるセンサ情報に類似するセンサ情報を迅速に検索できる。さらに、これらの検索結果を実際の設備２１を前にした現場で即座に点検作業員に提示することができる。また、各設備２１に固有の特徴と、現時点で得られたセンサ情報に固有の特徴とを、それぞれ可視化して表示することで、異常の有無を視覚によっても確認することができる。これらの機能により、従来、作業者の五感に頼っていた音や臭いによる点検作業を支援できる。これは、異常音検出の精度向上、作業の効率化、熟練者でなくとも作業を精度良く行なえるといったメリットに結びつく。
【０１１０】
なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、センサ情報は音情報に限らず、振動情報、温度情報、臭い情報、超音波等であっても良い。これらの情報も波形信号として取得できるため、上述の実施形態と同様の取扱が可能である。
【０１１１】
また、上述の実施形態では、映像情報の変化に基づいて、映像情報以外のセンサ情報を区切ってデータベース３に記録するようにしたが、例えば次に説明する処理によってセンサ情報を区切って整理しデータベース３に記録するようにしても良い。即ち、音などのセンサ情報ｓに関する信号差分ｄｓ（単位時間あたりの平均信号と、直前の単位時間で計算した値との差分）もしくはセンサ情報ｓそのものを入力ｄｋとし、入力ｄｋの平均μおよび標準偏差σを用いて、上述した数式２から数式４によって、センサ情報の変化時点を検出し、当該変化に基づいて、センサ情報を区切ってデータベース３に記録するようにする。この場合、定点観測やビデオカメラ４を固定して得られる監視映像情報など、映像情報に変化が殆んど無い場合でも、センサ情報を区切って整理しデータベース３に記録することができる。また、監視映像情報などから異音発生時点を検出するなどの機能を実現できる。
【０１１２】
尚、信号差分ｄｓは、例えば以下のように求められる。入力信号としてのセンサ情報のサンプリングレートをｒとする。つまり一秒間に入力される信号の個数がｒとなる。計測開始から、ある計測時刻までに入力された信号の総数をｋとする。この場合、経過した時間は、ｋ・（１／ｒ）秒となる。ｋ番目の信号の値をｓｋとする。ｋ＋１番目の信号の値はｓｋ＋１となる。ここで単位時間をｔｂとする。単位時間ｔｂは、１／ｒの整数倍である。単位時間あたりの信号数ｋｂは、ｋｂ＝ｔｂ／（１／ｒ）となる。単位時間の設定は、時間方向の分解能をいくつとしたいかによって異なり、数ｍｓから数十ｍｓの間で設定するのが一般的である。ある計測時刻ｔ１での単位時間あたりの平均信号とは、その計測時刻までに入力された信号総数をｋ１とした場合に、次式で表される。
【０１１３】
【数１９】
直前の単位時間あたりの平均信号はｓｖ（ｋ１−ｋｂ）となる。したがって、計測時刻ｔ１での信号差分はｄｓ＝ｓｖ（ｋ１）−ｓｖ（ｋ１−ｋｂ）となる。
【０１１７】
【発明の効果】
以上の説明から明らかなように、請求項１記載のセンサ情報のデータベース化方法および請求項４記載の点検支援システム並びに請求項７記載の点検支援用プログラムによれば、点検対象ごとに整理され蓄積されたセンサ情報に基づいて作成された索引を利用して、ある点検対象と類似したセンサ情報を発している他の点検対象を高速に検索することが可能となる。したがって、当該検索結果を、実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【０１１８】
また、請求項２記載のセンサ情報のデータベース化方法および請求項５記載の点検支援システム並びに請求項８記載の点検支援用プログラムによれば、点検対象ごとの統計的特徴に基づいて作成された索引を利用して、ある点検対象と類似したセンサ情報を発している他の点検対象を高速に検索することが可能となる。したがって、当該検索結果を、実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【０１１９】
また、請求項３記載のセンサ情報のデータベース化方法および請求項６記載の点検支援システム並びに請求項９記載の点検支援用プログラムによれば、類似点検対象の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）を反映することができる。したがって、センサ情報の時間方向の変化を考慮した類似点検対象の高速検索が可能となる。
【０１２０】
さらに、請求項１０記載のセンサ情報のデータベース化方法および請求項１１記載の点検支援システム並びに請求項１２記載の点検支援用プログラムによれば、点検対象固有の特徴である統計量と、当該点検対象について現時点で取得された現センサ情報とを可視化して視覚的に比較することができる。これにより、点検作業員による異常発見を補助することができ、従来、作業者の五感に頼っていた音や臭いによる点検作業を支援できる。これは、異常音検出の精度向上、作業の効率化、熟練者でなくとも作業を精度良く行なえるといったメリットに結びつく。
【０１２１】
さらに、請求項１３記載のセンサ情報のデータベース化方法および請求項１７記載の点検支援システム並びに請求項２１記載の点検支援用プログラムによれば、センサ情報に基づいて作成されセンサ情報の特徴が反映された索引を利用して、現時点で取得されたセンサ情報と類似する過去に取得されたセンサ情報を高速に検索することが可能となる。したがって、当該検索結果を、実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【０１２２】
また、請求項１４記載のセンサ情報のデータベース化方法および請求項１８記載の点検支援システム並びに請求項２２記載の点検支援用プログラムによれば、類似センサ情報の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）を反映することができる。したがって、センサ情報の時間方向の変化を考慮した類似センサ情報の高速検索が可能となる。また、高速検索が可能であるから、検索結果を実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【０１２３】
また、請求項１５記載のセンサ情報のデータベース化方法および請求項１９記載の点検支援システム並びに請求項２３記載の点検支援用プログラムによれば、センサ情報の抽出された特徴に特化した類似センサ情報の検索が可能となり、検索に要する計算処理量を削減できる。また、高速検索が可能であるから、検索結果を実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【０１２４】
また、請求項１７記載のセンサ情報のデータベース化方法および請求項２０記載の点検支援システム並びに請求項２４記載の点検支援用プログラムによれば、センサ情報の抽出された特徴に特化した類似センサ情報の検索が可能となり、検索に要する計算処理量を削減できる。また、類似センサ情報の検索用の索引に、センサ情報の時間方向の変化（例えば瞬発音や音声、うなりなど）を反映できるので、当該センサ情報の時間方向の変化を考慮した類似センサ情報の高速検索が可能となる。また、高速検索が可能であるから、検索結果を実際の点検対象を前にした現場で即座に点検作業員に提示することもできる。
【図面の簡単な説明】
【図１】本発明の点検支援システムの実施の一形態を示す概略機能ブロック図である。
【図２】本発明のデータベース化方法の処理の一例を示す概略フローチャートである。
【図３】本発明の点検支援システムの実施のイメージを示す概念図である。
【図４】作業用端末の表示装置に表示される画面の一例を示す図である。
【符号の説明】
１ 点検支援システム
２ 作業用端末（センサ情報を取得する手段）
３ データベース
Claims (24)
- 対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索することを特徴とするセンサ情報のデータベース化方法。
- 対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の集合についての統計量を算出し、当該統計量について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索することを特徴とするセンサ情報のデータベース化方法。
- 対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の時系列について、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、異なる対象間で共通する拡張周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索することを特徴とするセンサ情報のデータベース化方法。
- 対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段とを少なくとも有することを特徴とする点検支援システム。
- 対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の集合についての統計量を算出し、当該統計量について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段とを少なくとも有することを特徴とする点検支援システム。
- 対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の時系列について、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する拡張周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段とを少なくとも有することを特徴とする点検支援システム。
- 対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報からそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段としてコンピュータを機能させることを特徴とする点検支援用プログラム。
- 対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の集合についての統計量を算出し、当該統計量について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一の対象に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段としてコンピュータを機能させることを特徴とする点検支援用プログラム。
- 対象毎に整理された各対象の状態を表すセンサ情報の集合に対し、個別のセンサ情報を時分割して且つそれぞれ周波数分布を求めて、さらに同一のセンサ情報に属する周波数分布の時系列について、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一の対象に属するセンサ情報の集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応する対象の索引として記録する手段と、異なる対象間で共通する拡張周波数ｎグラムの頻度に基づいて、ある対象と類似する対象を検索する手段としてコンピュータを機能させることを特徴とする点検支援用プログラム。
- 同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量を算出すると共に、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、上記現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分を抽出することを特徴とするセンサ情報のデータベース化方法。
- 同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量を算出する手段と、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、上記現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分を抽出する手段と、上記算出された統計量および上記抽出された周波数成分を表示する手段とを少なくとも有することを特徴とする点検支援システム。
- 同一の対象について纏められた当該対象の状態を表すセンサ情報の集合に対して、当該集合に属する個別のセンサ情報からそれぞれの周波数分布を求めて、求められた周波数分布の集合に対して、同じ周波数帯域または予め設定した周波数区間の一方または双方についての統計量を算出する手段と、現時点で取得されたセンサ情報である現センサ情報から周波数分布を求めて、上記現センサ情報と同一の対象について算出された上記統計量を用いて閾値を設定し、当該閾値を超える上記現センサ情報の周波数成分を抽出する手段と、上記算出された統計量および上記抽出された周波数成分を表示する手段としてコンピュータを機能させることを特徴とする点検支援用プログラム。
- 対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索することを特徴とするセンサ情報のデータベース化方法。
- 対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、上記周波数分布の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索することを特徴とするセンサ情報のデータベース化方法。
- 上記抽出された現センサ情報の周波数成分について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索することを特徴とする請求項１０記載のセンサ情報のデータベース化方法。
- 上記抽出された現センサ情報の周波数成分の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索することを特徴とする請求項１０記載のセンサ情報のデータベース化方法。
- 対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有することを特徴とする点検支援システム。
- 対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、上記周波数分布の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有することを特徴とする点検支援システム。
- 上記抽出された現センサ情報の周波数成分について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有することを特徴とする請求項１１記載の点検支援システム。
- 上記抽出された現センサ情報の周波数成分の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段とを少なくとも有することを特徴とする請求項１１記載の点検支援システム。
- 対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、当該求めた各周波数分布について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させることを特徴とする点検支援用プログラム。
- 対象の状態を表すセンサ情報を時分割して且つそれぞれ周波数分布を求めて、上記周波数分布の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させることを特徴とする点検支援用プログラム。
- 上記抽出された現センサ情報の周波数成分について、周波数分布方向に連続するｎ個の周波数成分を組み合わせて構成される周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記周波数ｎグラムの集合について、共通する周波数ｎグラムの頻度を求めて、周波数ｎグラムの種別とその頻度との組の集合である周波数ｎグラムヒストグラムを得て、上記周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させることを特徴とする請求項１２記載の点検支援用プログラム。
- 上記抽出された現センサ情報の周波数成分の時系列を複数の群に分け、上記群のそれぞれについて、時間方向と周波数分布方向の一方または双方に連続するｎ個の周波数成分を組み合わせて構成される拡張周波数ｎグラムをすべて抽出し、さらに同一のセンサ情報に属する上記拡張周波数ｎグラムの集合について、共通する拡張周波数ｎグラムの頻度を求めて、拡張周波数ｎグラムの種別とその頻度との組の集合である拡張周波数ｎグラムヒストグラムを得て、上記拡張周波数ｎグラムヒストグラムを対応するセンサ情報の索引として記録する手段と、異なるセンサ情報間で共通する拡張周波数ｎグラムの頻度に基づいて、あるセンサ情報と類似する他のセンサ情報を検索する手段としてコンピュータを機能させることを特徴とする請求項１２記載の点検支援用プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002338507A JP4162204B2 (ja) | 2002-11-21 | 2002-11-21 | センサ情報のデータベース化方法および点検支援システム並びに点検支援用プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002338507A JP4162204B2 (ja) | 2002-11-21 | 2002-11-21 | センサ情報のデータベース化方法および点検支援システム並びに点検支援用プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004173108A JP2004173108A (ja) | 2004-06-17 |
| JP4162204B2 true JP4162204B2 (ja) | 2008-10-08 |
Family
ID=32701724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002338507A Expired - Fee Related JP4162204B2 (ja) | 2002-11-21 | 2002-11-21 | センサ情報のデータベース化方法および点検支援システム並びに点検支援用プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4162204B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006068112A1 (ja) | 2004-12-24 | 2006-06-29 | Matsushita Electric Industrial Co., Ltd. | センサ機器、検索機器、および中継機器 |
| JP2006277549A (ja) * | 2005-03-30 | 2006-10-12 | Toshiba Corp | 現場作業認証管理システム |
| JP2008084068A (ja) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | 現場作業実施状況管理装置及び管理方法 |
| JP6169408B2 (ja) * | 2013-05-02 | 2017-07-26 | 日置電機株式会社 | 測定装置 |
| WO2017022050A1 (ja) * | 2015-08-03 | 2017-02-09 | 株式会社日立製作所 | ストレージ装置、計算機システム、及び方法 |
| JP6412665B1 (ja) * | 2018-03-06 | 2018-10-24 | 株式会社トータル・インフォメーション・サービス | 検査支援システムおよび検査支援方法、ならびにプログラム |
| EP3591521B1 (en) * | 2018-07-05 | 2023-07-26 | Honda Research Institute Europe GmbH | Assistance system, method, and program for assisting a user in fulfilling a task |
| WO2022219780A1 (ja) * | 2021-04-15 | 2022-10-20 | 三菱電機株式会社 | 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム |
-
2002
- 2002-11-21 JP JP2002338507A patent/JP4162204B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004173108A (ja) | 2004-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3839942A1 (en) | Quality inspection method, apparatus, device and computer storage medium for insurance recording | |
| Baluja et al. | Audio fingerprinting: Combining computer vision & data stream processing | |
| US9141184B2 (en) | Person detection system | |
| KR100737176B1 (ko) | 신호 처리 방법 및 영상 음성 처리 장치 | |
| EP2312542A1 (en) | Information processing device, information processing system, control method for an information processing device, and a program | |
| Zeppelzauer et al. | Towards an automated acoustic detection system for free-ranging elephants | |
| JP4162204B2 (ja) | センサ情報のデータベース化方法および点検支援システム並びに点検支援用プログラム | |
| Stoeger et al. | Age-group estimation in free-ranging African elephants based on acoustic cues of low-frequency rumbles | |
| EP3246849A1 (en) | Method for analyzing video data | |
| JP2011244043A (ja) | 映像記録再生装置 | |
| CN111126057A (zh) | 一种分级神经网络的案件情节精准量刑系统 | |
| JP2022043631A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20150199427A1 (en) | Document analysis apparatus and program | |
| CN111881320A (zh) | 一种视频查询方法、装置、设备及可读存储介质 | |
| KR20150059208A (ko) | 소셜 웹 미디어의 이벤트 시공간 연관성 분석 장치 및 그 방법 | |
| JP4661267B2 (ja) | 原因調査装置、原因調査システム、原因調査方法、原因調査プログラム、および、原因調査プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN113255438B (zh) | 一种结构化的录像文件标记方法、系统、主机及存储介质 | |
| US10186253B2 (en) | Control device for recording system, and recording system | |
| CN104216940A (zh) | 检索设备和检索方法 | |
| US11308510B2 (en) | Methods and apparatus to collect and analyze rating information | |
| WO2022137778A1 (ja) | 情報処理装置、分析方法、および分析プログラム | |
| CN111936056B (zh) | 检测具有呼吸紊乱的对象 | |
| EP3933599A1 (en) | Machine learning pipeline | |
| CN113539298A (zh) | 一种基于云边端的声音大数据分析计算图像化系统 | |
| US20060005123A1 (en) | Information retrieval terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041022 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080430 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080501 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080716 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080718 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |