JP7107498B2 - 予兆検知システムおよびプログラム - Google Patents

Description

本発明は、イベントの発生前に生じる予兆を検知する予兆検知システムおよびプログラムに係り、例えば、家畜の分娩、独房内の囚人の自殺、鬱病の発症、事故や危険行為の発生、トンネルの崩落、河川の氾濫、火山の噴火等の災害の発生、窃盗等の犯罪やテロの発生等についての予兆を検知する場合に利用できる。

一般に、世の中で発生する各種の特徴的な事象（イベント）について、発生時の損害やリスク等を減らすため、様々な方法でその予兆検知が行われている。例えば、肉牛の繁殖農家において、分娩時の子牛の死産は大損害であるため、分娩の予兆を検知し、死産を回避することは重要である。このため、近年では、牛の分娩予兆検知システムの開発が行われ、その販売も進んできている。

ところで、従来から使用されている牛の分娩予兆検知システムは、接触型センサを牛に装着することにより、牛の状態を検出する構成のものが一般的である。しかし、このような接触型センサによる分娩予兆検知システムは、高価であり、侵襲性（生体の内部環境の恒常性を乱すような刺激を与えてしまう可能性）が高く、センサ設置時の危険をも伴うものである。

従って、非接触で牛の状態を検出することができれば、侵襲性の問題を解消することができ、設置時の危険も回避することができ、さらに、カメラを使って牛の状態を検出することができれば、比較的安価な予兆検知システムとすることができる。

なお、カメラを使用して状態の検出を行うという観点では、例えば、浴室内の異常を検知する浴室異常検知装置が知られている（特許文献１参照）。また、牛の分娩に限らず、予兆を検知するという観点では、複数のセンサの測定データを用いた状態変化の予兆検知において、データの参照期間を適切に決定できるようにした予兆検知装置が知られている（特許文献２参照）。

さらに、本発明で利用するベクトル化技術としては、例えば、ｉ－ｖｅｃｔｏｒに関する技術が知られている（非特許文献１参照）。

特開２０１７－４０９８９号公報 特開２０１７－２０４０１７号公報

福地佑介、俵直弘、小川哲司、小林哲則、"ｉ－ｖｅｃｔｏｒに基づく発話類似度を用いた非負値行列分解と話者クラスタリングへの適用"、情報処理学会研究報告、２０１２年７月２０日、Ｖｏｌ．２０１２－ＳＬＰ－９２、Ｎｏ．８

前述したように、カメラを使用して非接触で牛の状態を検出すれば、比較的安価で、非侵襲性であり、かつ、設置時の危険も少ない牛の分娩予兆検知システムを実現することができる。

しかし、牛の分娩前の状態変動は多様であり、平常時の状態は分娩前にも観測され、その平常時に観測される状態が予兆と関連している。換言すれば、予兆を示すものとして捉えることができる牛の状態の中には、平常時も含め（平常時であるか、予兆時であるかに関わりなく）、常時出現する可能性のある状態が含まれている。

従って、カメラを使用して牛の状態を検出し、検出した画像を用いて単純にパターン認識処理による状態監視を行ったとしても、少なくとも効果的な牛の分娩の予兆検知を行うことはできない。イベントの発生時期に近づいてきて初めて出現する状態を捉えるのであれば、その状態がイベントの発生まで散発的または断続的に出現する場合、あるいはイベントの発生に向けて徐々に状態が変化していく場合のいずれの場合であっても、カメラ画像を用いた単純なパターン認識処理による状態監視でよいが、予兆時だけではなく平常時も含めて常時出現する可能性のある状態を捉えて予兆検知を行うとなると、従来のような単純なパターン認識処理による状態監視では、その状態が予兆として出現しているのか否かを明確に判別することが困難だからである。

また、時間的な要素を加味したパターン認識を行えば、常時出現する可能性のある状態を捉えることでも予兆検知が可能であると考え、従来のような単純なパターン認識処理を一歩進め、時間的な要素を加味すべく、複数の時刻に取得された状態データを、パターン認識器に同時に入力することも考えられる。しかし、予兆検知が可能となる程の時間長に渡る大量の状態データを、パターン認識器に入力することは、膨大な処理量になり、現実的ではない。

なお、本願明細書において「平常時」というときは、予兆を検知しようとしているターゲットのイベントについての予兆時以外の時という意味で使うものとする。従って、例えば、死に至るような特定の大病がターゲットのイベントであるときに、その大病の予兆として「咳や鼻水が出る状態」が出現すると仮定すると、軽い風邪を患っているに過ぎないときに、咳や鼻水が出ていれば、それは平常時に出現している「咳や鼻水が出る状態」ということになる。軽い風邪を患っているときが、平常時であると考えるのは、社会通念からは乖離しているが、軽い風邪が、ターゲットのイベントとされているわけではなく、あくまでも特定の大病がターゲットのイベントとされているので、軽い風邪のときの咳や鼻水は、ターゲットのイベントについての予兆時以外の時（すなわち、本願明細書でいう平常時）に出現している「咳や鼻水が出る状態」ということになる。

また、パターン認識処理を行うには、学習を行ってモデルを用意する必要があるが、牛の分娩というのは、頻繁に起きるものではなく、また、都合の良いときに強制的に発生させることができるものでもないので、学習のためのデータ収集が困難であるという問題もある。このことは、モデルの更新を頻繁に行うことはできないことを意味するので、パターン認識器の性能向上を早期に図ること、あるいは速いスピードで段階的に向上させていくことが困難であるということに繋がる。

そして、以上のような問題は、牛の分娩の予兆検知に限らず、様々なイベントの発生前に生じる予兆を検知する場合にも、同様に生じ得る問題である。

本発明の目的は、予兆に関連する多様な状態変動を的確に捉えることができ、かつ、学習のためのデータ収集を容易に行うことができる予兆検知システムおよびプログラムを提供するところにある。

＜発明の基本構成＞

本発明は、イベントの発生前に生じる予兆を検知する予兆検知システムであって、
イベントの発生の可能性がある予兆検知対象についての状態を示す状態データとして、人の知覚で認識可能な知覚データを含むデータを継続的にまたは繰り返し取得する状態データ取得手段と、
この状態データ取得手段により取得した状態データを用いて、予兆検知対象の状態が、予兆に関連し、かつ、常時出現する可能性のある特定の状態を含む予兆に関連する予め定められた少なくとも１つの特定の状態に該当するか否かまたは当該特定の状態に対する類似の程度を示すデータを出力するパターン認識処理を実行し、このパターン認識処理で得られる特徴データを抽出する処理を繰り返し実行する予兆特徴抽出器と、
この予兆特徴抽出器により抽出した時系列の特徴データを用いて、時系列パターン認識処理を実行し、予兆の有無または存否の程度を示すスコアを出力する予兆検知器と
を備えたことを特徴とするものである。

ここで、「イベント」とは、特徴的な事象のことであり、例えば、牛の分娩の予兆を検知するシステムの場合には、牛の分娩であり、「予兆検知対象」とは、牛であり、「特定の状態」とは、例えば、牛の起立状態、牛の尾の挙上状態（牛の尾の挙上角度のような連続値またはその連続値が属する範囲は、閾値や範囲で定められた牛の尾の挙上状態に対する類似の程度を示すデータである。）、牛の尿膜・羊膜の露出状態、牛の立ち座り状態（所定の短時間内に、立ったり、座ったりするという状態）、牛の片足を軸にした回転状態、牛の鳴き声についての特徴的な状態等である。なお、牛の立ち座り状態や、牛の片足を軸にした回転状態は、短時間で検出可能な動作を示す状態であり、「特定の状態」には、このような短時間内の動作を示す状態が含まれる。詳細は、［発明を実施するための形態］において後述する。

また、「状態データ取得手段」における「人の知覚で認識可能な知覚データを含むデータ」という記載中の「知覚データ」とは、主として人の視覚で認識できる画像データ（サーモグラフィデータや、エッジ画像のような加工画像データ等も含む。）、または人の聴覚で認識できる音データであるが、その他に、例えば、臭いデータ等であってもよい。さらに、「知覚データを含むデータ」というのは、知覚データだけを「予兆特徴抽出器」でのパターン認識処理に使用するのではなく、例えば温度センサや加速度センサ等の出力データのような知覚データ以外のデータを合わせてパターン認識処理に使用してもよい趣旨である。

また、「予兆特徴抽出器」における「予兆に関連し、かつ、常時出現する可能性のある特定の状態を含む予兆に関連する予め定められた少なくとも１つの特定の状態」という記載中の「予兆に関連」は、経験上または統計上、予兆として出現することが判明している特定の状態という意味であり、「常時出現する可能性のある」は、予兆時であるか否かに関わらず、いつでも出現し得る特定の状態という意味である。「予め定められた」とは、システムを構築するにあたり、予め選定されている特定の状態という意味であり、従って、パターン認識のための学習時には、学習に用いる状態データに対し、その特定の状態に関するタグ付けが行われていることになる。

さらに、「少なくとも１つの特定の状態」であるから、予兆検知に使用する「特定の状態」は１つでもよく、複数でもよく、１つの場合には、その１つの特定の状態は、「予兆に関連し、かつ、常時出現する可能性のある特定の状態」ということになる。特定の状態が、たとえ「常時出現する可能性のある」状態であったとしても、その状態の出現の頻度の変化がある場合や、出現間隔について特徴的なパターン（例えば、何秒か置いて２連続で出現することが繰り返されるといった特徴的な出現パターン）がある場合等のように時間的な要素が加わると、特定の状態が１つだけでも、予兆の検知が可能である。

但し、予兆検知の確実性を向上させるという観点、換言すれば、より一層、検知漏れが少なく（すなわち、高再現率であり）、かつ、誤検出も少ない（すなわち、高精度である）予兆検知を実現するという観点では、複数の「特定の状態」を用いることが望ましい。すなわち、予兆特徴抽出器は、複数の特定の状態の各々に該当するか否かまたはこれらの特定の状態の各々に対する類似の程度を示すデータを出力するパターン認識処理を実行する構成とすることが望ましい。そして、このような構成とする場合の複数の「特定の状態」には、「予兆に関連し、かつ、常時出現する可能性のある特定の状態」が少なくとも１つ含まれていることになる。従って、「予兆に関連し、かつ、常時出現する可能性のある特定の状態」をαとし、「予兆に関連し、かつ、予兆時にしか出現しない（平常時には出現しない）特定の状態」をβとすると、αが２以上あり、かつ、βが１つもない場合（全部がαの場合）と、αは１つしかないが、βも１以上ある場合（α，βが混在し、αが１つの場合）と、αが２以上あり、かつ、βも１以上ある場合（α，βが混在し、αが複数の場合）とがある。

さらに、「予兆特徴抽出器」の「特定の状態に該当するか否かまたは当該特定の状態に対する類似の程度を示すデータ」における「該当するか否か」を示すデータとは、○×判別のように２値（２パターン）に分類される場合のその分類結果を示すデータであることを意味し、それらの各パターンに該当することについての確からしさを示す尤度を含む。また、「類似の程度を示すデータ」とは、例えば、特定の状態が、連続値に対する閾値で定められ、または連続値が属する範囲で定められている場合には、その連続値自体、または連続値がいずれの範囲に属するのかを示すデータ（各範囲に属することについての確からしさを示す尤度を含む。）であることを意味し、あるいは、連続値が関与しない場合には、例えば、「上、中、下」、「大、中、小」、「◎、○、△、×」、「１，２，３，４，５」等のように、３値（３パターン）以上に分類される場合の分類結果を示すデータ（各パターンに該当することについての確からしさを示す尤度を含む。）であることを意味する。従って、例えば、「上、中、下」に分類される場合に、細分化された「上」の状態、「中」の状態、「下」の状態のそれぞれが本発明における「特定の状態」ということではなく、本発明においては、これらの３つの状態のうちの少なくとも１つの状態が、予兆に関連する「特定の状態」であり、例えば、「上」の状態が「特定の状態」であるとすれば、「中」の状態および「下」の状態は、「特定の状態」に対する類似の程度に差がある「特定の状態」以外の状態ということであり、「上」の状態および「中」の状態が「特定の状態」であるとすれば、「下」の状態が、「特定の状態」以外の状態ということである。

そして、「特定の状態」が複数ある場合において、「特定の状態」の数と、「予兆特徴抽出器」での「パターン認識処理」の数とは、一致していてもよく、一致していなくてもよい。従って、「予兆特徴抽出器」は、複数の特定の状態の各々についての判定出力を別々のパターン認識処理で行う構成（すなわち、１つの特定の状態についての判定出力を１つのパターン認識処理で行い、それを複数用意する構成：後述する図３参照）、複数の特定の状態の各々についての判定出力を１つのパターン認識処理でまとめて行う構成（後述する図２参照）、それらを複合した構成（例えば、特定の状態Ｘ，Ｙ，Ｚがあるときに、特定の状態Ｘ，Ｙについての各判定出力は、パターン認識処理Ｐで行い、特定の状態Ｚについての判定出力は、パターン認識処理Ｑで行う構成等）のいずれでもよい。この際、「パターン認識処理」の数が２以上である場合には、異なる種類のパターン認識処理としてもよい。下記のように、採用できるパターン認識処理の種類は、複数あるからである。例えば、特定の状態Ｘ，Ｙ，Ｚがあるときに、特定の状態Ｘ，Ｙについての各判定出力は、ニューラル・ネットワークで行い、特定の状態Ｚについての判定出力は、隠れマルコフモデル（ＨＭＭ）で行い、それらを合わせて後段の「予兆検知器」に入力する構成等である。

また、「予兆特徴抽出器」における「パターン認識処理」としては、例えば、ニューラル・ネットワークを採用することができ、特に、畳み込み・ニューラル・ネットワーク（ＣＮＮ）が好適であるが、その他に、例えば、隠れマルコフモデル（ＨＭＭ）、サポート・ベクター・マシン（ＳＶＭ）、ベイジアン・ネットワーク等を採用することができる。

さらに、「予兆検知器」における「時系列パターン認識処理」としては、例えば、リカレント・ニューラル・ネットワーク（ＲＮＮ）を好適に採用することができるが、その他に、例えば、隠れマルコフモデル（ＨＭＭ）等を採用することができる。

そして、本発明の予兆検知システムは、前段の「予兆特徴抽出器」と後段の「予兆検知器」とによる２段階の処理を行う構成とされているが、前段の「予兆特徴抽出器」を、複数段のパターン認識処理を行う構成としてもよく、また、後段の「予兆検知器」を、複数段の処理（時系列パターン認識処理またはそれに代替する処理）を行う構成としてもよい。なお、このような構成とした場合でも、大きく見ると、２段階であるので、本願明細書では、このような構成の場合も含め、２段階であるものとして説明を行う。

＜発明の基本構成から得られる作用・効果＞

このような本発明の予兆検知システムにおいては、前段の「予兆特徴抽出器」と後段の「予兆検知器」とによる２段の処理器により予兆検知を行う構成とされ、各段の処理器は、異なる役割を担当している。

前段の「予兆特徴抽出器」は、パターン認識処理により予兆に関連する特定の状態を捉えるが、その状態が、予兆として出現しているのか否かを判別することを目的としないパターン認識処理を実行する。従って、特定の状態を捉えるための処理を行うが、捉えた状態が予兆なのか否かまたはその程度を判定することはしない。そして、このようなパターン認識処理を繰り返す。

一方、後段の「予兆検知器」は、前段の「予兆特徴抽出器」によるパターン認識処理の繰り返しで得られた時系列の特徴データを用いて、予兆を検知する。従って、時間的な要素を加味した処理を行うことにより、前段の「予兆特徴抽出器」で得られた特徴データが、予兆として出現している特定の状態に関する情報であるのか否かまたはその程度を判定する。

このため、予兆に関連する特定の状態の中に、常時出現する可能性のある特定の状態が含まれていても、効果的な予兆検知を行うことが可能となる。すなわち、常時出現する可能性のある特定の状態については、１段のパターン認識処理だけでは、その状態を捉えることができたとしても、捉えた状態が予兆時に出現しているのか否かの明確な判別ができないため、予兆検知が困難であり、また、一歩進めて時間的な要素を加味すべく、複数の時刻に取得された状態データをパターン認識器に同時に入力することも考えられるが、予兆検知が可能となる程の時間長に渡る大量の状態データをパターン認識器に入力することは、膨大な処理量になり、現実的ではない。これに対し、本発明では、前段の「予兆特徴抽出器」により、予兆として出現しているか否かにかかわらず、特定の状態を捉え、後段の「予兆検知器」により、予兆として出現しているのか否かまたはその程度を判定するので、予兆に関連する特定の状態の中に、常時出現する可能性のある特定の状態が含まれていても、予兆検知を行うことが可能となる。

また、前段の「予兆特徴抽出器」と、後段の「予兆検知器」とに分けているので、学習を行う頻度を高めることができ、予兆検知システムの性能向上のスピードアップを図ることが可能となる。なぜなら、予兆を検知したいイベントは、頻繁に発生する事象ではない場合や、都合のよいときに強制的に発生させることができない事象である場合がある。このような場合は、学習のためのデータ収集が困難であり、仮に、１段階のパターン認識処理により予兆検知を行うと仮定すると、稀にしか発生しないイベントが何回か発生するまで、そのパターン認識処理で使用するモデルの更新を行うことができないことになり、予兆検知システムの性能向上は、かなりスロースピードとなる。これに対し、本発明では、前段の「予兆特徴抽出器」については、予兆として出現しているか否かとは関係なく、特定の状態を捉えるので、そのための学習用のデータは、イベントの発生とは関係なく、常時収集することができる。従って、前段の「予兆特徴抽出器」でのパターン認識処理で使用されるモデルは、頻繁に更新することが可能であるため、予兆検知システム全体としての性能向上も、その更新スピードで図られることになる。

さらに、上記のように、前段の「予兆特徴抽出器」について、学習を行い、モデルを更新する際に、学習に用いる状態データには、「人の知覚で認識可能な知覚データ」が含まれているので、この知覚データについてのタグ付け作業（アノテーション）を、クラウドソーシングにより実現することが可能となる。この知覚データは、先ず、人の知覚で認識可能である（例えば、人が見れば、あるいは、人が聞けば、簡単に状態を識別することができる）という点で、クラウドソーシングに適しており、次に、前段の「予兆特徴抽出器」に入力される状態データであることから、イベント（例えば、牛の分娩）やその予兆とは関係なく、状態を識別することができるため、イベントやその予兆に関する専門知識がなくても、誰でも状態を識別することができるという点で、クラウドソーシングに適しているからである。このため、比較的安価に、かつ、迅速に、さらには手間をかけずに、大量の学習用のデータを収集することが可能となる。

また、状態データとして知覚データを用いるので、例えば、カメラやマイクロフォン等のような非接触型の状態データ取込機器を使用することができる。このため、生体への装着の回避による非侵襲性や、設置時の危険の回避を実現することができるうえ、カメラやマイクロフォン等のような比較的安価な機器を用いてシステム構築を行うことが可能となり、これらにより前記目的が達成される。

＜ニューラル・ネットワークの中間層出力を抽出する構成＞

また、前述した予兆検知システムにおいて、
予兆特徴抽出器は、
ニューラル・ネットワークによるパターン認識処理を実行し、特徴データとして、少なくとも１つの特定の状態に対応する出力ノードに至る中間層の出力データを抽出する処理を実行する構成とされていることが望ましい。

ここで、「ニューラル・ネットワーク」としては、例えば、畳み込み・ニューラル・ネットワーク（ＣＮＮ）等を好適に採用することができる。

また、「出力ノード」は、ニューラル・ネットワークの最終層である出力層を構成するノードである。そして、「少なくとも１つの特定の状態に対応する出力ノードに至る中間層」というのは、特定の状態が１つしかない場合には、その特定の状態については、必ずその特定の状態に対応する出力ノードに至る中間層出力を抽出することを意味する。一方、特定の状態が複数ある場合には、複数の特定の状態の全てについて、それらの特定の状態に対応する各出力ノードに至る中間層出力を抽出する必要はなく、最終層（出力層）出力を抽出する特定の状態が含まれていてもよい趣旨である。例えば、特定の状態Ｘ，Ｙ，Ｚがあるときに、これらの複数の特定の状態Ｘ，Ｙ，Ｚの各々についての判定出力を１つのパターン認識処理でまとめて行う構成の場合（後述する図２参照）には、入力層から、抽出する中間層に至るまでのネットワークは共通化されていることになるので、必然的に、特定の状態Ｘ，Ｙ，Ｚの全てについて、中間層出力を抽出することになる。これに対し、複数の特定の状態Ｘ，Ｙ，Ｚの各々についての判定出力を別々のパターン認識処理で行う構成の場合（後述する図３参照）には、例えば、特定の状態Ｘ，Ｙについては、それぞれの中間層出力を抽出し、特定の状態Ｚについては、最終層（出力層）出力を抽出してもよい趣旨である。

さらに、抽出する「中間層」は、１層に限らず、複数層としてもよい。すなわち、中間層を複数層抽出し、それらの複数層の中間層出力をまとめて特徴データとして後段の「予兆検知器」に入力するようにしてもよい。なお、ここでいう複数層の中間層とは、同一の出力ノードに至るネットワークから抽出した複数層の中間層という意味であり、例えば、１つの特定の状態Ｘに対応する出力ノードに至るネットワークにおいて、出力層（最終層）から２つ前の中間層と、4つ前の中間層とを抽出し、両方とも特徴データとして使用するといった意味である。従って、例えば、特定の状態Ｘに対応する出力ノードに至る中間層については、２つ前の中間層を抽出し、特定の状態Ｙに対応する出力ノードに至る中間層については、４つ前の中間層を抽出するというような意味ではなく、このような抽出は、それぞれの特定の状態から見れば、１層の中間層を抽出していることになる。

このようにニューラル・ネットワークの中間層出力を抽出する構成とした場合には、最終層（出力層）出力を抽出する場合に比べ、時系列の特徴データを用いた処理を行う後段の「予兆検知器」に対し、その後段の処理に有効な情報を特徴データとして入力することが可能となる。すなわち、最終層（出力層）の出力データは、特定の状態に該当するか否かまたはその程度を示すだけのデータであり、情報量が少なく、後段の処理で利用可能な情報が欠落している場合があるので、ニューラル・ネットワークの入力層に入力される状態データ（非常に多くの情報量）から、最終層（出力層）の出力データ（かなり絞り込まれた情報量）に至るまでのネットワーク上に存在する中間的な情報量を抽出し、後段の処理で利用することが可能となる。また、最終層（出力層）の出力データは、情報量が少ないので、その判別結果が誤っていた場合には、後段の処理に与える影響が大きいが、中間層出力を後段の処理で利用すれば、影響を小さくすることが可能となる。

＜複数の予兆時区間に対応するスコアを出力する構成＞

また、後段の「予兆検知器」は、イベントの発生前の時間帯を１箇所（１時点）で区切って２分割し、予兆が出現する可能性のある区間としての予兆時区間（イベント発生時点に近い方の区間）と、それ以外の非着目区間（イベント発生時点から遠い方の区間であり、予兆が出現する可能性はないとみなした平常時の区間）とを設定することによっても、予兆検知の結果を示すスコアを出力することができるが、より詳細な予兆検知を行うためには、次のように、複数の予兆時区間を設定する（従って、２箇所（２時点）以上で区切って３分割以上とし、複数の予兆時区間と、それ以外の非着目区間とを設定する）ことが望ましい。

すなわち、前述した予兆検知システムにおいて、
予兆検知器は、
イベントの発生前の時間帯を区切ることにより予兆が出現する可能性のある区間として設定した複数の予兆時区間に対応するスコアを出力する構成とされていることが望ましい。

ここで、「予兆時区間」の設定についての代表的な形式には、次のような２つの形式Ａ，Ｂ非着目区間がある。但し、これらの２つの形式Ａ，Ｂに限定されるものではない。Ｎ箇所（Ｎ時点）で区切って（Ｎ＋１）分割すると、Ｎ個の予兆時区間が設定されるが、この場合に、イベント発生時点をＴ０とし、そこから近い順に、区切りの各時点を（Ｔ－１），（Ｔ－２），（Ｔ－３），（Ｔ－４），…，（Ｔ－Ｎ）とする。

形式Ａは、後述する図４に示すように、複数の予兆時区間に重なりがない設定形式であり、（Ｔ－Ｎ）以前が、非着目区間となり、（Ｔ－Ｎ）～（Ｔ－（Ｎ－１）），…，（Ｔ－４）～（Ｔ－３），（Ｔ－３）～（Ｔ－２），（Ｔ－２）～（Ｔ－１），（Ｔ－１）～Ｔ０が、それぞれ予兆時区間となる。

形式Ｂは、後述する図５に示すように、複数の予兆時区間に重なりがある設定形式であり、（Ｔ－Ｎ）以前が、非着目区間となり、（Ｔ－Ｎ）～Ｔ０，…，（Ｔ－４）～Ｔ０，（Ｔ－３）～Ｔ０，（Ｔ－２）～Ｔ０，（Ｔ－１）～Ｔ０が、それぞれ予兆時区間となる。

別の設定形式としては、例えば、予兆時区間と、これと重ならない別の予兆時区間との間に、非着目区間が設定される場合等がある。イベントによっては、例えば、約１週間前と、約１ケ月前との２期間（離れた複数の期間）に集中して予兆が出現するような場合等も考えられるからである。なお、このような場合でも、中間の期間（例えば、約１週間前と、約１ケ月前との間の期間）を含めて予兆時区間を設定してもよい。

このように複数の予兆時区間に対応するスコアを出力する構成とした場合には、より詳細な予兆検知を行うことが可能となるうえ、予兆検知の結果出力も多様な方法を採用することができるようになり、ユーザによるシステムの使い勝手の向上が図られる。

＜事前情報を用いて合成分布を表示する構成＞

さらに、前述した予兆検知システムにおいて、
イベントの発生時期について事前に予測または予定した事前情報を記憶する事前情報記憶手段と、
この事前情報記憶手段に記憶された事前情報を用いて作成されるイベント発生の確率分布と、予兆検知器から出力されるスコアを用いて作成されるイベント発生の確率分布とを合成した合成分布を表示するか、または、事前情報記憶手段に記憶された事前情報を、予兆特徴抽出器からの特徴データとともに予兆検知器に入力することにより予兆検知器から出力されるスコアを用いて作成される合成分布を表示する処理を実行する出力手段とを備えた構成とすることが望ましい。

ここで、「合成分布」は、例えば、時間軸上に表示してもよく、カレンダ上に色の濃淡等を用いて表示してもよい。

このように事前情報を用いて合成分布を表示する構成とした場合には、事前情報を用いて作成されるイベント発生の確率分布を徐々に修正していく表示等が可能となり、ユーザによるシステムの使い勝手の向上が図られる。例えば、表示を行う時点（現在、今日）が、イベント発生の予想時期や予定時期と離れているときには、事前情報に基づくイベント発生の確率分布が、殆どそのまま表示され、イベント発生の予想時期や予定時期に近づいてくるにつれ、予兆の出現確率が高くなってくるので、取得した状態データに基づくイベント発生の確率分布を反映させた表示を行うこと等が可能となる。

＜イベントの発生確率をカレンダ上に表示する構成＞

また、前述した複数の予兆時区間に対応するスコアを出力する構成において、
予兆検知器から出力されるスコアを用いてイベントの発生確率をカレンダ上に表示する処理を実行する出力手段を備え、
この出力手段は、
複数の予兆時区間のうちの少なくとも１つの予兆時区間とカレンダの単位区間との間で、時間長が一致しないか若しくは区間がずれている場合には、予兆時区間をカレンダの単位区間に対応させて分割し、予兆時区間内の確率分布を一様分布とみなして予兆時区間に対応するスコアを按分することによりカレンダの単位区間に割り当てるか、または、複数の予兆時区間に対応する各々のスコアの少なくとも一部ずつについてカレンダの同一の単位区間に割り当てる処理を実行する構成とすることが望ましい。

ここで、「カレンダの単位区間」とは、スケジュールの記載（ユーザによる情報入力、入力された情報の表示、業者からの提示情報の表示等）のために分割されている最小単位の時間長の区間であり、その区間内におけるイベントの発生確率を示すのに適した時間長の区間という意味である。例えば、通常の１年のカレンダで１日単位でスケジュールを記載するようになっている場合には、単位区間は、午前０時から翌日の午前０時までのように区切られた１日（２４時間）であり、具体的には、４月１日の発生確率、４月２日の発生確率等の表示となる。また、通常の１年のカレンダで１日を午前および午後に分けてスケジュールを記載するようになっている場合には、単位区間は、午前０時および正午で区切られた１２時間であり、具体的には、４月１日ＡＭの発生確率、４月１日ＰＭの発生確率、４月２日ＡＭの発生確率、４月２日ＰＭの発生確率等の表示となる。さらに、より細かい１週のカレンダでスケジュールの記載部分が午前８時～９時、午前９時～１０時のように１時間単位で区切られている場合には、単位区間は、１時間であり、具体的には、４月１日の午前８時～９時の発生確率、４月１日の午前９時～１０時の発生確率等の表示となる。

また、「イベントの発生確率をカレンダ上に表示する」ことには、発生確率を示す数値（テキストとしての数字）を表示すること、数値の大きさに応じて顔マーク等のアイコンや色を表示すること等が含まれる。

このようにイベントの発生確率をカレンダ上に表示するようにし、かつ、区間の時間長の相違や区間のずれに応じてスコアの按分や合計を行う構成とした場合（後述する図９参照）には、見やすい表示を実現できるとともに、カレンダ上で、一般的なスケジュール情報と併せて予兆検知に関する情報を表示することも可能であるため、ユーザにとって使い勝手のよいシステムを実現可能となる。また、スコアの按分や合計を行うので、ユーザによるカレンダの単位区間の切替表示にも対応可能となる。さらに、スコアの按分や合計を行うので、時間の経過とともに、カレンダ上で、予兆検知結果を表示する起点となる現在（スコア出力の時点）の位置が移動していくという状況に対し、柔軟に対応可能となる。これにより、前述した事前情報を用いた合成分布の表示も容易となる。

＜分布の表示に関する詳細構成＞

そして、前述した複数の予兆時区間に対応するスコアを出力する構成において、複数の予兆時区間の各々の確率分布またはその累積分布を、滑らかに接続し、または矛盾なく接続するために、次のような構成を採用してもよい。

すなわち、前述した複数の予兆時区間に対応するスコアを出力する構成において、
予兆検知器から出力されるスコアを用いてイベント発生の確率分布またはその累積分布を表示する処理を実行する出力手段を備え、
この出力手段は、
（１）複数の予兆時区間が重なることなく設定されている場合に、複数の予兆時区間の各々の確率分布を、予め用意された複数種類の分布のうちのいずれかを用いて疑似的に作成する際に、複数の予兆時区間の確率分布を合成または連結した状態の確率分布曲線についての局所的な勾配変化が、最小となるか、または予め定められた閾値以下若しくは未満となる分布を選択する処理と、
（２）複数の予兆時区間が重ねて設定されている場合に、時間長の異なる複数の予兆時区間が重なっている区間については、最も短い予兆時区間に対応するスコアを用いて疑似的に作成されるイベント発生の確率分布またはその累積分布を採用し、それ以外の予兆時区間に対応するスコアを用いて疑似的に作成されるイベント発生の確率分布またはその累積分布は採用しない処理と、
（３）複数の予兆時区間が重ねて設定されている場合に、時間長の異なる複数の予兆時区間が重なっている区間については、それぞれの予兆時区間に対応するスコアを用いて疑似的に作成されるイベント発生の確率分布またはその累積分布を、予め定められた割合で合成する処理と、
（４）複数の予兆時区間が重ねて設定されている場合に、複数の予兆時区間の各々の確率分布またはその累積分布を、予め用意された複数種類の分布のうちのいずれかを用いて疑似的に作成する際に、自分よりも短い時間長の予兆時区間に対応するスコアを用いて、自分の確率分布またはその累積分布を作成するために使用する分布を選択する処理とのうちの少なくとも１つの処理を実行する構成としてもよい。

＜プログラムの発明＞

また、本発明のプログラムは、以上に述べた予兆検知システムとして、コンピュータを機能させるためのものである。

なお、上記のプログラムまたはその一部は、例えば、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、フレキシブルディスク（ＦＤ）、磁気テープ、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュディスク等の記録媒体に記録して保存や流通等させることが可能であるとともに、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等の有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に載せて搬送することも可能である。さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

以上に述べたように本発明によれば、前段の予兆特徴抽出器と、後段の予兆検知器とにより２段階の処理を行う構成とされているので、予兆に関連する多様な状態変動を的確に捉え、効果的な予兆検知を行うことができるうえ、学習のためのデータ収集の容易化、およびそれに伴うシステムの性能向上のスピードアップを実現することができ、さらには、状態データとして知覚データを用いるので、学習のためのデータ収集に、クラウドソーシングを利用することができ、安価に、迅速に、かつ、手間をかけずにデータ収集を行うことができるという効果がある。

本発明の一実施形態の予兆検知システムの全体構成図。 前記実施形態の予兆特徴抽出器および予兆検知器の内部構成の詳細を示す説明図。 前記実施形態の予兆特徴抽出器および予兆検知器の内部構成の詳細を示す別の説明図。 前記実施形態の予兆検知器の学習時および運用時の状況を示す説明図。 前記実施形態の予兆検知器の学習時および運用時の状況を示す別の説明図。 前記実施形態のクラウドソーシング作業画面の一例を示す図。 前記実施形態の予兆検知処理の全体的な流れを示すフローチャートの図。 前記実施形態の発生確率を時間軸上で表現する出力形式の説明図。 前記実施形態のカレンダ上への発生確率の表示処理の詳細説明図。 前記実施形態の累積確率を時間軸上で表現する出力形式の説明図。 前記実施形態の発生確率を分布で表現する出力形式の説明図。 前記実施形態の事前情報を用いた合成分布の表示処理の説明図。 前記実施形態の発生確率を累積分布で表現する出力形式の説明図。 本発明の第１の変形の形態である予兆検知器で静的なパターン認識処理を行う場合（切出区間の特徴データの集合を１つずつ静的なパターン認識器に入力する場合）の説明図。 本発明の第２の変形の形態である予兆検知器で静的なパターン認識処理を行う場合（切出区間の特徴データの集合を分布として捉えて分布間の類似度を求める場合）の説明図。 本発明の第３の変形の形態である予兆検知器で静的なパターン認識処理を行う場合（切出区間の特徴データの集合をベクトル化してベクトル間の類似度を求める場合）の説明図。 本発明の第４の変形の形態である予兆検知器で静的なパターン認識処理を行う場合（予兆時区間内にセグメントを形成する場合）の説明図。

以下に本発明の一実施形態について図面を参照して説明する。図１には、本実施形態の予兆検知システム１０の全体構成が示されている。図２および図３には、予兆特徴抽出器５０および予兆検知器６０の内部構成の詳細が示されている。また、図４および図５には、予兆検知器６０の学習時および運用時の状況が示され、図６には、クラウドソーシング作業画面２００の一例が示されている。さらに、図７には、予兆検知処理の全体的な流れがフローチャートで示され、図８～図１３には、予兆検知結果の各種の出力形式が示されている。

＜予兆検知システム１０の全体構成＞

図１において、予兆検知システム１０は、予兆検知対象についての状態を示す状態データを取り込む状態データ取込機器２０と、この状態データ取込機器２０により取り込んだ状態データをネットワーク１上に送出する接続装置２１と、それぞれネットワーク１に接続された装置やシステムである予兆検知処理装置３０、データ収集装置８０、学習装置９０、およびクラウドソーシングシステム１００とを備えて構成されている。

また、ネットワーク１には、ユーザ（予兆検知結果の利用者）が操作するユーザ端末１２０と、本システムの管理者が操作する管理者端末１３０とが接続されている。さらに、クラウドソーシングシステム１００には、依頼された仕事（いわゆるクラウドソーシングマイクロタスク）を処理する多数の作業者（群衆）が操作する多数の作業者端末１１０が、ネットワーク（ネットワーク１またはその他のネットワーク）を介して接続されるようになっている。

ここで、ネットワーク１は、主としてインターネットのような外部ネットワークであるが、これとイントラネットやＬＡＮ等の内部ネットワークとの組合せ等でもよく、有線であるか、無線であるか、有線・無線の混在型であるかは問わない。また、ネットワーク１は、例えば、社内、工場内、事業所内、グループ企業内、学内、所定の地域内等に限定されたイントラネットやＬＡＮ等の内部ネットワークであってもよい。

また、クラウドソーシングでは、通常は、インターネットのような広範なネットワークに接続された多数の作業者（群衆）の作業者端末１１０に対し、依頼する仕事を送信するが、ある程度の人数の作業者を確保できることを前提とし、イントラネットやＬＡＮ等の内部ネットワークとすることにより作業者を限定（例えば、幾つかの大学の学生だけとする等）してもよい。なお、作業者の限定は、ネットワークによる限定ではなく、アクセス制限や作業資格制限等により行ってもよい。

さらに、本実施形態では、状態データ取込機器２０により取り込んだ状態データを用いて予兆検知に関する各種処理を行うためのシステム構成として、それぞれ別々のコンピュータからなる接続装置２１と、予兆検知処理装置３０と、データ収集装置８０と、学習装置９０と、クラウドソーシングシステム１００とをネットワーク１で接続した構成を採用しているが、このようなネットワーク接続によるシステム構成は一例に過ぎない。従って、予兆検知システム１０は、必ずしもこのように複数台のコンピュータにより構成されている必要はなく、各装置２１，３０，８０，９０およびシステム１００で実現される機能を１台のコンピュータにまとめた構成としてもよく、あるいは各機能を任意の台数のコンピュータに分散してもよい。例えば、予兆検知処理装置３０で実現される各機能（状態データ取得手段４０、予兆特徴抽出器５０、予兆検知器６０、出力手段７０の各機能）を、複数台のコンピュータに分散してもよく、あるいは、予兆検知処理装置３０で実現される各機能の一部（例えば、状態データ取得手段４０の機能、またはそれに加えて予兆特徴抽出器５０の全部または一部の機能）を、接続装置２１で実現してもよい。

＜予兆を検知する「イベント」、「予兆検知対象」、予兆に関連する「特定の状態」＞

予兆を検知する「イベント」は、そのイベントの発生前に予兆を生じることが経験上または統計上、既に知られている特徴的な事象（特徴的とは、定常的に発生している事象ではないという意味）であり、その予兆が「予兆検知対象」についての「特定の状態」として捉えることができるものである。

「予兆検知対象」には、生物（例えば、牛等の動物、人間、植物、魚類、鳥類、微生物等）、物体（固体、液体、気体のいずれの状態でもよく、それらの混在状態でもよく、それらの状態を遷移するものでもよい。）、あるいは、空間を仕切って形成された一定の領域内に存在する物体や生物の集合体（例えば、山やその一部、池や沼や川またはそれらの一部、一部の海域、島やその一部、空や夜空の一部、大地の一部等）などが含まれる。なお、例えば微生物や気体等のように、可視化処理等を行って初めてその状態を人の知覚で認識できるものも含まれる。

「特定の状態」は、経験上または統計上、ターゲットのイベントの発生前に予兆として出現することが判明している状態であり、「予兆に関連し、かつ、常時出現する可能性のある特定の状態」と、「予兆に関連し、かつ、予兆時にしか出現しない（平常時には出現しない）特定の状態」とがある。

具体的には、例えば、予兆検知システム１０が、牛の分娩の予兆を検知するシステムである場合には、「イベント」は、牛の分娩であり、「予兆検知対象」は、牛であり、「特定の状態」は、例えば、牛の起立状態、牛の尾の挙上状態（牛の尾の挙上角度のような連続値またはその連続値が属する範囲は、閾値や範囲で定められた牛の尾の挙上状態に対する類似の程度を示すデータである。）、牛の尿膜・羊膜の露出状態、牛の立ち座り状態（所定の短時間内に、立ったり、座ったりするという状態）、牛の片足を軸にした回転状態、牛の鳴き声についての特徴的な状態等である。

なお、上記のうち、牛の立ち座り状態や、牛の片足を軸にした回転状態は、短時間で検出可能な動作を示す状態であり、「特定の状態」には、このような短時間内の動作を示す状態が含まれる。ここでの短時間は、予兆特徴抽出器５０に同時に入力される複数時刻の状態データ（複数枚の画像データ、動画を構成する複数フレーム）の範囲内で捉えることができる程度の短時間である。従って、予兆検知器６０で設定されている予兆時区間（図４、図５参照）に比して短い時間であり、例えば、予兆時区間が数時間や数日であったとすれば、ここでの短時間の動作は、例えば、数秒や数分で捉えることができる動作である。また、牛の鳴き声についての特徴的な状態は、音データにより捉えることができる状態であるが、この場合は、１つの状態データが、ある程度の時間長を有する音データである。この音データの時間長も、予兆時区間（図４、図５参照）に比して短い時間である。さらに、時間的に連続している複数の音データ（複数の状態データ）を、予兆特徴抽出器５０に同時に入力することにより、牛の鳴き声についての特徴的な状態を捉えてもよい。

また、予兆検知システム１０が、独房内の囚人の自殺の予兆を検知するシステムである場合には、「イベント」は、独房内の囚人の自殺であり、「予兆検知対象」は、独房内の囚人であり、「特定の状態」は、例えば、独房内徘徊状態、壁に頭を打ち付ける状態等である。

さらに、予兆検知システム１０が、鬱病の発症の予兆を検知するシステムである場合には、「イベント」は、鬱病の発症であり、「予兆検知対象」は、人または人の顔であり、「特定の状態」は、例えば、笑顔の喪失状態等のような人の顔の表情についての特徴的な状態等である。

そして、予兆検知システム１０が、事故や危険行為の予兆を検知するシステムである場合には、「イベント」は、事故や危険行為であり、「予兆検知対象」は、例えば、独居老人、要介護老人、子供、病人等であり、「特定の状態」は、例えば、床にかがみ込む姿勢の状態、不自然な着座姿勢の状態、床や階段を這う状態、物に掴まる状態、壁にもたれかかる状態、危険場所への接近状態等である。

また、予兆検知システム１０が、トンネルの崩落、河川の氾濫、火山の噴火等の災害の発生の予兆を検知するシステムである場合には、「イベント」は、トンネルの崩落、河川の氾濫、火山の噴火等の災害の発生であり、「予兆検知対象」は、トンネル、河川、火山等であり、「特定の状態」は、例えば、壁や天井が剥がれる状態、壁や天井にひびが入る状態、異常音の発生状態、堤防が崩れる状態、ガスが噴出する状態、煙が上がる状態等である。

さらに、予兆検知システム１０が、窃盗等の犯罪やテロの発生の予兆を検知するシステムである場合には、「イベント」は、窃盗等の犯罪やテロの発生であり、「予兆検知対象」は、例えば、夜中に建物周囲を歩行する者や、ゴミ箱に近づく者等であり、「特定の状態」は、例えば、同一行動の繰り返し状態、通常の通行場所以外の場所への移動状態・侵入状態、ゴミ箱に不審物を入れる状態等である。

＜状態データの取込、出力、ネットワーク送信を行うための構成＞

状態データ取込機器２０は、予兆検知対象（牛等）についての状態を示す状態データを取り込んで出力する機器であり、具体的には、例えば、カメラやマイクロフォン等である。この状態データ取込機器２０は、カメラやマイクロフォン等のように、予兆検知対象（牛等）に対し、非接触タイプの機器であることが好ましいが、接触タイプの機器であってもよい。

また、状態データ取込機器２０には、状態データとして、人の知覚で認識可能な知覚データを出力する機器が含まれている。すなわち、状態データ取込機器２０が１種類である場合には、その状態データ取込機器２０は、必ず人の知覚で認識可能な知覚データを出力する機器（例えば、カメラやマイクロフォン等）であり、複数種類の状態データ取込機器２０がある場合には、そのうちの少なくとも１種類が、人の知覚で認識可能な知覚データを出力する機器である。この知覚データは、主として人の視覚で認識できる画像データ（静止画でも、動画でもよい。）または人の聴覚で認識できる音データであるが、その他に、例えば、臭いデータ等であってもよい。

なお、サーモグラフィカメラから出力されるサーモグラフィデータは、人の視覚で認識できる画像データに含まれる。顔や体のどの部分が高温なのか等を目で見て認識できるからであり、従って、クラウドソーシングの対象データにもなる。また、エッジ画像のような加工画像データ等も同様であり、人の視覚で認識できる画像データに含まれ、クラウドソーシングの対象データにもなる。

さらに、状態データ取込機器２０には、例えば、温度センサや加速度センサ等のように、知覚データ以外のデータを出力する機器が含まれていてもよい。従って、予兆特徴抽出器５０には、状態データとして、知覚データ（例えば、カメラやマイクロフォン等の出力データ）と合わせて、知覚データ以外のデータ（例えば、温度センサや加速度センサ等の出力データ）を同時に入力してもよい。

接続装置２１は、ネットワーク１へのデータ送出を行うエッジデバイスとしての機能（例えば、通信プロトコルの変換等の機能）を有する装置であり、コンピュータにより構成され、状態データ取込機器２０から出力される状態データを有線または無線で受信し、受信した状態データを、時刻情報（年月日・時分秒の日時情報、またはこれに代替するデータ発生順序を示す情報）および機器識別情報とともに、ネットワーク１を介して予兆検知処理装置３０（状態データ取得手段４０）へ送信する処理を実行するものである。時刻情報は、接続装置２１が付与してもよく、状態データ取込機器２０から出力されるようになっていてもよい。なお、予兆検知処理装置３０に設けられている状態データ取得手段４０を、接続装置２１に設ける場合には、状態データ取得手段４０が、状態データ取込機器２０から出力される状態データを有線または無線で受信する処理を行うことになり、この際、時刻情報および機器識別情報を状態データに付加する。

この接続装置２１は、１台でもよく、複数台でもよく、複数台の場合には、離れた場所にあってもよい。予兆検知対象が、例えば、トンネル、河川、火山等のように大きな対象であれば、複数の場所で状態データを取り込む場合があるからである。

また、１台の接続装置２１が、１つの状態データ取込機器２０により取り込んだ状態データを受信してもよく、複数の状態データ取込機器２０により取り込んだ複数種類の状態データを受信してもよい。

＜予兆検知処理装置３０の全体構成＞

予兆検知処理装置３０は、１台または複数台のコンピュータ（サーバ）により構成され、状態データ取得手段４０と、予兆特徴抽出器５０と、予兆検知器６０と、出力手段７０と、事前情報記憶手段７１とを含んで構成されている。また、予兆特徴抽出器５０は、予兆特徴抽出用のパターン認識アルゴリズムを実行する予兆特徴抽出用パターン認識処理手段５１と、このパターン認識処理に用いる予兆特徴抽出モデルを記憶する予兆特徴抽出モデル記憶手段５２とを備えている。さらに、予兆検知器６０は、時系列パターン認識処理等の予兆検知処理を実行する予兆検知処理手段６１と、この予兆検知処理に用いる予兆検知モデルを記憶する予兆検知モデル記憶手段６２とを備えている。

ここで、状態データ取得手段４０、予兆特徴抽出用パターン認識処理手段５１、予兆検知処理手段６１、および出力手段７０は、予兆検知処理装置３０を構成するコンピュータ本体の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。また、予兆特徴抽出モデル記憶手段５２、予兆検知モデル記憶手段６２、および事前情報記憶手段７１としては、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等を採用することができる。

状態データ取得手段４０は、接続装置２１からネットワーク１を介して送信されてくる状態データ（付加された時刻情報および機器識別情報を含む。）を受信する処理を実行するものである。接続装置２１からの状態データの送信は、接続装置２１側で管理されるタイミングで行われてもよく、状態データ取得手段４０からの取得要求に基づき行われてもよい。

また、状態データ取得手段４０は、必要な場合には、取得した状態データについて、予兆特徴抽出器５０に入力する前に、例えば、背景除去、正規化、エッジ画像作成等の各種の前処理を実行する。

なお、本実施形態では、状態データ取得手段４０は、接続装置２１からの状態データを受信する構成とされているが、状態データ取込機器２０から出力される状態データを直接に取得する構成としてもよい。接続装置２１に状態データ取得手段４０を設ける構成とする場合もあり、また、ネットワーク構成にせずに、状態データ取込機器２０の設置場所付近（牛等の予兆検知対象の所在位置周辺）で予兆検知処理を行う構成とする場合もあるからである。

＜予兆特徴抽出器５０の構成＞

予兆特徴抽出器５０は、状態データ取得手段４０により取得した状態データを用いて、予兆検知対象（牛等）の状態が、予兆（牛の分娩予兆等）に関連する特定の状態に該当するか否かまたは当該特定の状態に対する類似の程度を示すデータを出力するパターン認識処理を実行し、このパターン認識処理で得られる特徴データを抽出する処理を繰り返し実行するものである。特定の状態が複数ある場合には、複数の特定の状態のそれぞれに該当するか否かまたは複数の特定の状態のそれぞれに対する類似の程度を示すデータを出力するパターン認識処理を実行する。抽出された時系列の特徴データは、特徴データ記憶手段（不図示）に一時的に記憶される。

この際、パターン認識処理の数は、１つでもよく、複数でもよく、複数の場合には、異なる種類のパターン認識処理としてもよい。また、パターン認識処理の数は、特定の状態の数と一致している必要はない。

予兆に関連する「特定の状態」は、予め定められた状態であり、予兆特徴抽出器５０の学習段階から設定されている状態である。牛の分娩予兆の検知を行う場合には、前述したように、牛の起立状態、牛の尾の挙上状態、牛の尿膜・羊膜の露出状態等である。

具体的には、予兆特徴抽出器５０は、本実施形態では、一例として、畳み込み・ニューラル・ネットワーク（ＣＮＮ）によるパターン認識処理を実行する構成とする。但し、隠れマルコフモデル（ＨＭＭ）等を採用してもよく、あるいは、ＣＮＮ出力およびＨＭＭ出力を合わせて後段の予兆検知器６０に入力する構成等のように、複数種類のパターン認識処理を併用してもよい。

図２および図３に示すように、ＣＮＮは、入力層、複数の中間層、出力層（最終層）を備え、予兆特徴抽出器５０は、ＣＮＮの中間層（例えば、最終層から２つ前の中間層等）から出力される特徴量を、後段の予兆検知器６０に入力するための特徴データとして抽出する処理を実行する。特定の状態の数は、任意であるが、ここでは、説明の便宜上、３つの特定の状態Ｘ，Ｙ，Ｚがあるものとする。

図２では、予兆特徴抽出器５０は、１つのパターン認識処理（ＣＮＮ）により、複数の特定の状態Ｘ，Ｙ，Ｚの各々の判別結果を出力する。すなわち、ＣＮＮの出力層（最終層）には、特定の状態Ｘ（例えば、牛の起立状態）に対応する２つの出力ノード（２ユニット）があり、状態Ｘであることの確からしさを示す尤度と、状態Ｘでないことの確からしさを示す尤度とが出力される。但し、特徴データとして中間層出力を抽出するので、これらの尤度は、後段の予兆検知器６０では使用されない。なお、これらの尤度は、その後の学習用のデータとするか否かの判断処理に使用される。

同様に、ＣＮＮの出力層（最終層）には、特定の状態Ｙ（例えば、牛の尾の挙上状態）に対応する２つの出力ノード（２ユニット）があり、状態Ｙであることの確からしさを示す尤度と、状態Ｙでないことの確からしさを示す尤度とが出力される。また、ＣＮＮの出力層（最終層）には、特定の状態Ｚ（例えば、牛の尿膜・羊膜の露出状態）に対応する２つの出力ノード（２ユニット）があり、状態Ｚであることの確からしさを示す尤度と、状態Ｚでないことの確からしさを示す尤度とが出力される。

従って、図２では、入力層から、特徴データを抽出する中間層に至るまでのネットワーク部分は、３つの特定の状態Ｘ，Ｙ，Ｚで共通化され、その部分のパラメータはシェアされていることになる。

一方、図３では、予兆特徴抽出器５０は、複数の特定の状態Ｘ，Ｙ，Ｚのそれぞれについて、別々のパターン認識処理（ＣＮＮ）を実行し、複数の特定の状態Ｘ，Ｙ，Ｚの各々の判別結果を出力する。この際、それぞれのパターン認識器（ＣＮＮ）に入力する状態データは共通であり、それぞれのパターン認識器（ＣＮＮ）の中間層から出力された複数の特徴量をまとめて、特徴データとして後段の予兆検知器６０に入力する。

また、図３では、複数の特定の状態Ｘ，Ｙ，Ｚの全てについて、中間層出力を抽出する構成とされているが、必ずしも全てについて中間層出力を抽出する必要はなく、一部について、出力層（最終層）出力を抽出する構成としてもよい。また、特定の状態Ｘ，Ｙ，Ｚに対応する各パターン認識器は、別々のパターン認識器であるので、特徴データを抽出する中間層に至るネットワーク部分のパラメータは、それぞれ異なっており、それぞれのパターン認識器を構成する中間層の数も異なっていてもよい。さらには、特徴データを抽出する中間層の位置（何番目の層の出力を抽出するのか）も、それぞれのパターン認識器で異なっていてもよい。

このように予兆特徴抽出器５０は、図２の構成でも、図３の構成でもよいが、システム構成の簡易化、処理量の削減等の観点からは、図２の構成とすることが好ましい。

予兆特徴抽出器５０に同時に入力される状態データは、１時刻の状態データ（例えば、ある瞬間の静止画の画像データ）だけでもよく、複数時刻の状態データ（例えば、動画を構成する複数フレームの画像データ）としてもよい。特に、予兆に関連する「特定の状態」として短時間で検出可能な動作を示す状態（例えば、牛の立ち座り状態や、牛の片足を軸にした回転状態等）を捉える場合には、複数時刻の状態データを入力する。また、複数時刻の状態データを入力する場合には、状態データを発生順に、Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，…であるとすると、最初に、Ｄ１，Ｄ２，Ｄ３の組を入力し、次に、Ｄ２，Ｄ３，Ｄ４の組を入力し、続いて、Ｄ３，Ｄ４，Ｄ５の組を入力するといった具合に、状態データを１つずつずらしながら入力することが好ましいが、その他に、最初に、Ｄ１，Ｄ２，Ｄ３の組を入力し、次に、Ｄ４，Ｄ５，Ｄ６の組を入力し、続いて、Ｄ７，Ｄ８，Ｄ９の組を入力するといった具合に、重なりなく入力してもよく、あるいは、それらの折衷として、（Ｄ１，Ｄ２，Ｄ３，Ｄ４）の組、（Ｄ３，Ｄ４，Ｄ５，Ｄ６）の組、（Ｄ５，Ｄ６，Ｄ７，Ｄ８）の組といった具合に、重なりはあるが、１つずつずらすのではないという入力としてもよい。

予兆特徴抽出モデル記憶手段５２に記憶させる予兆特徴抽出モデル（ＣＮＮのパラメータ等）は、事前の学習により用意される。この事前の学習方法は、後述する予兆特徴抽出器用学習手段９１によるモデル更新の際の学習方法と同じであり、一般的な学習方法でよい。すなわち、ある程度の数の状態データと、それらの各状態データに対応するタグ情報とを用いて行われる。具体的には、１つの状態データ（例えば、画像データ）に対し、特定の状態Ｘ（例えば、牛の起立状態）に該当するか否か、特定の状態Ｙ（例えば、牛の尾の挙上状態）に該当するか否か、および特定の状態Ｚ（例えば、牛の尿膜・羊膜の露出状態）に該当するか否かを示すデータ（１または０）を、タグ情報として付与し、学習を行う。

＜予兆検知器６０の構成＞

予兆検知器６０は、本実施形態では、予兆特徴抽出器５０により抽出した時系列の特徴データを用いて、時系列パターン認識処理を実行し、予兆の有無または存否の程度を示すスコアを出力する処理を実行するものである。

この際、時系列パターン認識処理としては、例えば、リカレント・ニューラル・ネットワーク（ＲＮＮ）を採用することができ、特に、ロング・ショート・ターム・メモリ（ＬＳＴＭ）が好適である。但し、時系列パターン認識処理は、ＲＮＮに限定されるものではなく、例えば、隠れマルコフモデル（ＨＭＭ）等を採用してもよい。

予兆検知器６０は、図４および図５に示すように、イベントの発生前の時間帯を区切ることにより、予兆が出現する可能性のある区間として複数の予兆時区間を設定し、設定した複数の予兆時区間の各々に対応するスコアを出力する構成とされている。イベント発生時点をＴ０とし、それよりも前（過去）の時点を、Ｔ０に近い順で、（Ｔ－１），（Ｔ－２），（Ｔ－３），（Ｔ－４），…，（Ｔ－Ｎ）とすると、複数の予兆時区間の設定およびスコア出力についての形式には、次のような２つの形式Ａ（図４の場合）および形式Ｂ（図５の場合）がある。時間帯を区切る間隔は、同じピッチで均等な時間間隔としてもよく、ピッチを変化させて不均等な時間間隔としてもよく、例えば、（Ｔ－４）～（Ｔ－３）の時間長と、（Ｔ－３）～（Ｔ－２）の時間長とは、同じでもよく、異なっていてもよい。

図４の形式Ａは、複数の予兆時区間Ａ１，Ａ２，Ａ３，Ａ４，…，ＡＮに重なりがない設定形式である。（Ｔ－Ｎ）以前が、非着目区間となり、予兆時区間ＡＮ＝（Ｔ－Ｎ）～（Ｔ－（Ｎ－１））であり、予兆時区間Ａ４＝（Ｔ－４）～（Ｔ－３）であり、予兆時区間Ａ３＝（Ｔ－３）～（Ｔ－２）であり、予兆時区間Ａ２＝（Ｔ－２）～（Ｔ－１）であり、予兆時区間Ａ１＝（Ｔ－１）～Ｔ０である。

なお、（Ｔ－１），（Ｔ－２），（Ｔ－３），（Ｔ－４），…，（Ｔ－Ｎ）は、イベント発生時点Ｔ０よりも前（過去）の時点であるが、これらを時間軸上で反転させる（過去方向に向かって並べられていた各時点を、各時点どうしの時間間隔を保ちながら、将来方向に向かって並べ替える）ことにより、現在（スコア出力を行う時点）Ｔｎｏｗから将来方向に向かう各時点であるＴ１，Ｔ２，Ｔ３，Ｔ４，…，ＴＮを定義する（図８参照）。例えば、（Ｔ－１）を、イベント発生時点Ｔ０から１２時間前の時点であるとすると、Ｔ１は、現在Ｔｎｏｗから１２時間後の時点となり、（Ｔ－２）を、Ｔ０から２４時間前の時点であるとすると、Ｔ２は、Ｔｎｏｗから２４時間後の時点となる。

そして、形式Ａでは、現在（スコア出力を行う時点であり、日にち単位で見ると、今日）Ｔｎｏｗが予兆時区間Ａ１＝（Ｔ－１）～Ｔ０に属する時点である確率を示すスコアを出力する。換言すれば、現在Ｔｎｏｗ～Ｔ１の期間内（期間の長さは、予兆時区間Ａ１と同じ。）に、イベントが発生する確率を示すスコアを出力する。

同様に、形式Ａでは、現在Ｔｎｏｗが予兆時区間Ａ２＝（Ｔ－２）～（Ｔ－１）に属する時点である確率を示すスコアを出力する。換言すれば、現在Ｔｎｏｗから見て、Ｔ１～Ｔ２の期間内（期間の長さは、予兆時区間Ａ２と同じ。）に、イベントが発生する確率を示すスコアを出力する。

また、形式Ａでは、現在Ｔｎｏｗが予兆時区間Ａ３＝（Ｔ－３）～（Ｔ－２）に属する時点である確率を示すスコアを出力する。換言すれば、現在Ｔｎｏｗから見て、Ｔ２～Ｔ３の期間内（期間の長さは、予兆時区間Ａ３と同じ。）に、イベントが発生する確率を示すスコアを出力する。

さらに、形式Ａでは、現在Ｔｎｏｗが予兆時区間Ａ４＝（Ｔ－４）～（Ｔ－３）に属する時点である確率を示すスコアを出力する。換言すれば、現在Ｔｎｏｗから見て、Ｔ３～Ｔ４の期間内（期間の長さは、予兆時区間Ａ４と同じ。）に、イベントが発生する確率を示すスコアを出力する。

そして、形式Ａでは、現在Ｔｎｏｗが予兆時区間Ａ１～ＡＮのそれぞれに属する時点である確率を示す各スコア、および現在Ｔｎｏｗが非着目区間（平常時）に属する時点である確率を示すスコアを合計すると１になる。

形式Ａの学習時には、予兆検知器用学習手段９２に対し、予兆時区間Ａ１に属する特徴データについては、「予兆時区間Ａ１＝（Ｔ－１）～Ｔ０である」＝１と入力し、それ以外の区間には属さないので、それ以外は０を入力する。予兆時区間Ａ２に属する特徴データについては、「予兆時区間Ａ２＝（Ｔ－２）～（Ｔ－１）である」＝１と入力し、それ以外の区間には属さないので、それ以外は０を入力する。予兆時区間Ａ３に属する特徴データについては、「予兆時区間Ａ３＝（Ｔ－３）～（Ｔ－２）である」＝１と入力し、それ以外の区間には属さないので、それ以外は０を入力する。予兆時区間Ａ４に属する特徴データについては、「予兆時区間Ａ４＝（Ｔ－４）～（Ｔ－３）である」＝１と入力し、それ以外の区間には属さないので、それ以外は０を入力する。予兆時区間ＡＮに属する特徴データについては、「予兆時区間ＡＮ＝（Ｔ－Ｎ）～（Ｔ－（Ｎ－１））である」＝１と入力し、それ以外の区間には属さないので、それ以外は０を入力する。また、非着目区間に属する特徴データについては、「非着目区間＝（Ｔ－Ｎ）以前である」＝１と入力し、それ以外の区間には属さないので、それ以外は０を入力する。

一方、図５の形式Ｂは、複数の予兆時区間Ｂ１，Ｂ２，Ｂ３，Ｂ４，…，ＢＮに重なりがある設定形式である。（Ｔ－Ｎ）以前が、非着目区間となり、予兆時区間ＢＮ＝（Ｔ－Ｎ）～Ｔ０であり、予兆時区間Ｂ４＝（Ｔ－４）～Ｔ０であり、予兆時区間Ｂ３＝（Ｔ－３）～Ｔ０であり、予兆時区間Ｂ２＝（Ｔ－２）～Ｔ０であり、予兆時区間Ｂ１＝（Ｔ－１）～Ｔ０である。

そして、形式Ｂでは、現在Ｔｎｏｗが予兆時区間Ｂ１＝（Ｔ－１）～Ｔ０に属する時点である確率を示すスコアを出力する。換言すれば、現在Ｔｎｏｗ～Ｔ１の期間内（期間の長さは、予兆時区間Ｂ１と同じ。）に、イベントが発生する確率を示すスコアを出力する。なお、現在Ｔｎｏｗが予兆時区間Ｂ１＝（Ｔ－１）～Ｔ０に属する時点でない確率を示すスコアも出力するが、図示を省略している。

同様に、形式Ｂでは、現在Ｔｎｏｗが予兆時区間Ｂ２＝（Ｔ－２）～Ｔ０に属する時点である確率を示すスコアを出力する。換言すれば、現在Ｔｎｏｗ～Ｔ２の期間内（期間の長さは、予兆時区間Ｂ２と同じ。）に、イベントが発生する確率を示すスコアを出力する。なお、現在Ｔｎｏｗが予兆時区間Ｂ２＝（Ｔ－２）～Ｔ０に属する時点でない確率を示すスコアも出力するが、図示を省略している。

また、形式Ｂでは、現在Ｔｎｏｗが予兆時区間Ｂ３＝（Ｔ－３）～Ｔ０に属する時点である確率を示すスコアを出力する。換言すれば、現在Ｔｎｏｗ～Ｔ３の期間内（期間の長さは、予兆時区間Ｂ３と同じ。）に、イベントが発生する確率を示すスコアを出力する。なお、現在Ｔｎｏｗが予兆時区間Ｂ３＝（Ｔ－３）～Ｔ０に属する時点でない確率を示すスコアも出力するが、図示を省略している。

さらに、形式Ｂでは、現在Ｔｎｏｗが予兆時区間Ｂ４＝（Ｔ－４）～Ｔ０に属する時点である確率を示すスコアを出力する。換言すれば、現在Ｔｎｏｗ～Ｔ４の期間内（期間の長さは、予兆時区間Ｂ４と同じ。）に、イベントが発生する確率を示すスコアを出力する。なお、現在Ｔｎｏｗが予兆時区間Ｂ４＝（Ｔ－４）～Ｔ０に属する時点でない確率を示すスコアも出力するが、図示を省略している。

形式Ｂの学習時には、予兆検知器用学習手段９２に対し、「（Ｔ－１）～Ｔ０」に属する特徴データについては、予兆時区間Ｂ１に属するので、「予兆時区間Ｂ１＝（Ｔ－１）～Ｔ０である」＝１と入力し、かつ、予兆時区間Ｂ２にも属するので、「予兆時区間Ｂ２＝（Ｔ－２）～Ｔ０である」＝１と入力し、かつ、予兆時区間Ｂ３にも属するので、「予兆時区間Ｂ３＝（Ｔ－３）～Ｔ０である」＝１と入力し、かつ、予兆時区間Ｂ４にも属するので、「予兆時区間Ｂ４＝（Ｔ－４）～Ｔ０である」＝１と入力する。

また、形式Ｂの学習時には、予兆検知器用学習手段９２に対し、「（Ｔ－２）～（Ｔ－１）」に属する特徴データについては、予兆時区間Ｂ１には属さないので、「予兆時区間Ｂ１＝（Ｔ－１）～Ｔ０である」＝０と入力し、かつ、予兆時区間Ｂ２には属するので、「予兆時区間Ｂ２＝（Ｔ－２）～Ｔ０である」＝１と入力し、かつ、予兆時区間Ｂ３にも属するので、「予兆時区間Ｂ３＝（Ｔ－３）～Ｔ０である」＝１と入力し、かつ、予兆時区間Ｂ４にも属するので、「予兆時区間Ｂ４＝（Ｔ－４）～Ｔ０である」＝１と入力する。

さらに、形式Ｂの学習時には、予兆検知器用学習手段９２に対し、「（Ｔ－３）～（Ｔ－２）」に属する特徴データについては、予兆時区間Ｂ１には属さないので、「予兆時区間Ｂ１＝（Ｔ－１）～Ｔ０である」＝０と入力し、かつ、予兆時区間Ｂ２にも属さないので、「予兆時区間Ｂ２＝（Ｔ－２）～Ｔ０である」＝０と入力し、かつ、予兆時区間Ｂ３には属するので、「予兆時区間Ｂ３＝（Ｔ－３）～Ｔ０である」＝１と入力し、かつ、予兆時区間Ｂ４にも属するので、「予兆時区間Ｂ４＝（Ｔ－４）～Ｔ０である」＝１と入力する。

さらに、形式Ｂの学習時には、予兆検知器用学習手段９２に対し、「（Ｔ－４）～（Ｔ－３）」に属する特徴データについては、予兆時区間Ｂ１には属さないので、「予兆時区間Ｂ１＝（Ｔ－１）～Ｔ０である」＝０と入力し、かつ、予兆時区間Ｂ２にも属さないので、「予兆時区間Ｂ２＝（Ｔ－２）～Ｔ０である」＝０と入力し、かつ、予兆時区間Ｂ３にも属さないので、「予兆時区間Ｂ３＝（Ｔ－３）～Ｔ０である」＝０と入力し、かつ、予兆時区間Ｂ４には属するので、「予兆時区間Ｂ４＝（Ｔ－４）～Ｔ０である」＝１と入力する。

そして、形式Ｂの学習時には、予兆検知器用学習手段９２に対し、非着目区間に属する特徴データについては、予兆時区間Ｂ１には属さないので、「予兆時区間Ｂ１＝（Ｔ－１）～Ｔ０である」＝０と入力し、かつ、予兆時区間Ｂ２にも属さないので、「予兆時区間Ｂ２＝（Ｔ－２）～Ｔ０である」＝０と入力し、かつ、予兆時区間Ｂ３にも属さないので、「予兆時区間Ｂ３＝（Ｔ－３）～Ｔ０である」＝０と入力し、かつ、予兆時区間Ｂ４にも属さないので、「予兆時区間Ｂ４＝（Ｔ－４）～Ｔ０である」＝０と入力する。

リカレント・ニューラル・ネットワーク（ＲＮＮ）は、ある層の出力が、次回のその層に入力されて次回の処理に反映されるという構造を有するので、前回の処理結果を反映した出力を行うことができ、前回の処理結果は、更にその前の処理結果を反映していることから、前回以前の処理結果を反映する時系列パターン認識処理を実現している。

予兆検知器６０は、このようなＲＮＮの内部構造により前回以前の処理結果を反映する構成とすることができるが、さらに、次のような構成とし、時間的な要素を加味してもよい。すなわち、前段の予兆特徴抽出器５０で繰り返し抽出した抽出時刻の異なる複数の時系列の特徴データ（予兆特徴抽出器５０における連続する複数回のパターン認識処理で得られた複数時刻の特徴データ）を、まとめて後段の予兆検知器６０に同時に入力してもよい。複数時刻の特徴データを入力する場合には、特徴データを発生順に、Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，…であるとすると、最初に、Ｆ１，Ｆ２，Ｆ３の組を入力し、次に、Ｆ２，Ｆ３，Ｆ４の組を入力し、続いて、Ｆ３，Ｆ４，Ｆ５の組を入力するといった具合に、特徴データを１つずつずらしながら入力することが好ましいが、その他に、最初に、Ｆ１，Ｆ２，Ｆ３の組を入力し、次に、Ｆ４，Ｆ５，Ｆ６の組を入力し、続いて、Ｆ７，Ｆ８，Ｆ９の組を入力するといった具合に、重なりなく入力してもよく、あるいは、それらの折衷として、（Ｆ１，Ｆ２，Ｆ３，Ｆ４）の組、（Ｆ３，Ｆ４，Ｆ５，Ｆ６）の組、（Ｆ５，Ｆ６，Ｆ７，Ｆ８）の組といった具合に、重なりはあるが、１つずつずらすのではないという入力としてもよい。

また、予兆検知器６０には、事前情報記憶手段７１に記憶された事前情報またはその事前情報から自動生成される情報を、特徴データと合わせて入力するようにしてもよい。事前情報とは、例えば、ユーザによりユーザ端末１２０から入力されるか若しくはシステムの管理者により管理者端末１３０から代行入力されたユーザ保有情報や、管理者により管理者端末１３０から入力された管理者保有情報等であり、具体的には、例えば、牛の分娩予兆を検知する場合には、ユーザ（農家等）が保有する牛の出産予定日等である。事前情報から自動生成される情報とは、本日（予兆検知の処理日）と牛の出産予定日との差分として算出された牛の出産予定日までの日数等である。

＜出力手段７０の構成＞

出力手段７０は、予兆検知器６０から出力されたスコアを用いて、予兆検知結果を出力する処理を実行するものである。具体的には、出力手段７０は、予兆検知結果の出力用データを、ネットワーク１を介してユーザ端末１２０（またはユーザが管理する連携システムでもよい。）へ送信する処理、あるいは、必要に応じて管理者端末１３０へ送信する処理を実行する。また、出力手段７０は、ユーザまたは管理者が、予兆検知処理装置３０（出力手段７０が設けられた装置）の設置場所の周辺にいる場合等には、予兆検知結果を、予兆検知処理装置３０に接続された表示装置（不図示）に画面表示するか、印刷装置（不図示）で印刷するか、スピーカ（不図示）で音声出力するか、または予兆検知結果に応じた報知音若しくは報知光をブザーやランプ等の報知用機器（不図示）で出力する処理を実行してもよい。

ユーザ端末１２０等への予兆検知結果の出力用データの送信処理を行う場合には、送信する予兆検知結果の出力用データは、主として画面表示用のデータとなるが、音声出力用のデータを加えてもよく、また、音声出力用のデータだけとしてもよい。また、送信タイミングは、出力手段７０側のタイミングでもよく、あるいは、ユーザ端末１２０等からの要求に応じて送信してもよい。

具体的には、例えば、電子メール等により予兆検知結果の出力用データを自動送信してもよく、電子メールの自動送信や自動架電等により予兆検知処理装置３０へのアクセスを促し（例えば、アクセス先のＵＲＬを通知する等）、ユーザ端末１２０等からの出力要求（主として画面表示要求）を受けてから、予兆検知結果の出力用データを送信してもよい。なお、ユーザ端末１２０等からの出力要求を受けてから送信する場合には、既に作成されている予兆検知結果の出力用データ（出力用データ記憶手段（不図示）に記憶されている出力用データ）を送信してもよく、あるいは、出力要求を受けてから、スコア記憶手段（不図示）に記憶されている予兆検知器６０の出力スコアを用いて予兆検知結果の出力用データを作成し、送信してもよい。

また、出力手段７０は、前段の予兆特徴抽出器５０に入力された状態データ（付加された時刻情報および機器識別情報を含む。）、および予兆特徴抽出器５０の最終層（出力層）の出力データ（尤度）、並びに、後段の予兆検知器６０に入力された特徴データ、および予兆検知器６０から出力されたスコアを、ネットワーク１を介してデータ収集装置８０へ送信する処理も実行する。

＜出力手段７０による各種の出力形式＞

出力手段７０は、予兆検知器６０から出力されたスコアを用いて、様々な予兆検知結果の出力用データを作成する。以下に述べる全ての出力形式（主として表示形式）は、ユーザまたは管理者による自在な切替が可能である。この際、システム側で、いずれかの出力形式をデフォルト設定としてもよく、ユーザまたは管理者が自身で標準の出力形式を設定してもよい。なお、出力手段７０は、以下に述べる様々な出力形式のうちの１形式または一部の形式しか出力しない構成としてもよい。

＜言語による出力形式＞

先ず、言語による出力形式がある。予兆検知結果を、テキストで表現して画面表示により通知するか、または、それを音声で読み上げて通知するか、それらの双方を実行する。

通知する内容には、予兆が検知された予兆検知対象（生物、物体等）および複数の予兆検知対象が存在する場合の予兆検知対象識別情報、予兆されたイベントの内容、予兆されたイベントの発生時期、予兆されたイベントの発生確率等が含まれ、これらの内容のうち、ユーザが必要とする内容を出力（画面表示および／または音声出力）すればよい。

例えば、「１２時間以内に牛１０３２が分娩する確率８０％」、「２～４日後に牛Ａか牛Ｂが分娩しそうです」、「いまのままだと囚人Ｘが鬱になるかもしれません」等である。また、複数の牛がいるときに「２４時間以内に牛が分娩しそうです」と表現する等、複数の予兆検知対象が存在する場合に、予兆検知対象識別情報を付さずに表現してもよく、この場合、どの牛なのかは特定されているが、それを通知しないケースと、どの牛なのかが特定されていないケースが含まれる。

予兆検知器６０のスコア出力が形式Ａ（図４参照）の場合において、一例として、予兆時区間Ａ１～Ａ４が設定され、（Ｔ－１）＝１２時間前（Ｔ１＝１２時間後）、（Ｔ－２）＝２４時間前（Ｔ２＝２４時間後）、（Ｔ－３）＝２日前＝４８時間前（Ｔ３＝２日後＝４８時間後）、（Ｔ－４）＝４日前＝９６時間前（Ｔ４＝４日後＝９６時間後）であるものとする。このとき、各予兆時区間Ａ１～Ａ４のスコアをそのまま用いて、「今から１２時間以内に牛が分娩する確率は１０％、１２時間後から２４時間後までの間の確率は２０％、２４時間後から２日後までの間の確率は５０％、２日後から４日後までの間の確率は１０％」等のように出力してもよく、次のように、加工を行った出力としてもよい。

例えば、予兆時区間Ａ１，Ａ２のスコアを加算し（Ａ１の１０％＋Ａ２の２０％＝３０％）、「今から２４時間以内に牛が分娩する確率は３０％である…」等と出力してもよい。このようにする場合、例えば、システムとして（つまり、全ユーザに共通）、比較的短い時間間隔で、予兆時区間Ａ１～ＡＮを設定しておき、個々のユーザへの通知段階で、個々のユーザが希望する時間間隔にカスタマイズして予兆検知結果を出力すること等ができる。このカスタマイズ設定は、システム納入時に、既にシステムに設定されていてもよく、システムの運用開始後に、ユーザが設定してもよい。後者の場合は、いつでもユーザが任意の時間間隔に設定変更することが可能な構成であり、予兆検知器６０のスコア出力までは全ユーザ共通であり、出力手段７０による出力処理の段階で、ユーザの設定に従った加工処理（加算処理）が行われる。

また、どちらかと言えば、予兆検知器６０のスコア出力が形式Ｂ（図５参照）であるほうが、累積確率の出力に適したスコア出力であるが、形式Ａ（図４参照）の場合であっても、累積的な確率を出力してよい。例えば、予兆時区間Ａ１，Ａ２のスコアを加算し（Ａ１の１０％＋Ａ２の２０％＝３０％）、かつ、予兆時区間Ａ１～Ａ３のスコアを加算し（Ａ１の１０％＋Ａ２の２０％＋Ａ３の５０％＝８０％）、かつ、予兆時区間Ａ１～Ａ４のスコアを加算し（Ａ１の１０％＋Ａ２の２０％＋Ａ３の５０％＋Ａ４の１０％＝９０％）、「今から１２時間以内に牛が分娩する確率は１０％、２４時間以内の確率は３０％、２日以内の確率は８０％、４日以内の確率は９０％」等と出力してもよい。

予兆検知器６０のスコア出力が形式Ｂ（図５参照）の場合は、各予兆時区間Ｂ１～Ｂ４のスコアをそのまま用いて出力すると、累積的な確率を出力することになる。例えば、「今から１２時間以内に牛が分娩する確率は１０％、２４時間以内の確率は３０％、２日以内の確率は８０％、４日以内の確率は９０％」等と出力することができる。

ここで、前述したように、形式Ａ（図４参照）の場合のスコアを用いて累積的な確率を出力しようとすると、各予兆時区間Ａ１，Ａ２，…の確率を加算することになるので、矛盾のある出力表現にはならない。加算していくので、累積値が減ることはないうえ、元々、全部を足して１になるように各スコアが出力されるため、加算していって１を超えてしまうこともないからである。これに対し、形式Ｂ（図５参照）の場合は、スコアをそのまま用いて出力すると、例えば、「…２日以内の確率は８０％、４日以内の確率は７８％」等のように、矛盾した表現になる可能性もあるため、このような矛盾するスコアが出力されたときには、出力手段７０により、例えば、矛盾するスコア同士の平均をとり、「…２日以内の確率は７９％、４日以内の確率は７９％」等と出力するような矛盾除去の加工処理を実行してもよい。

＜発生確率を視覚化する出力形式＞

次に、発生確率を視覚化する出力形式がある。前述した＜言語による出力形式＞の内容に加え、発生確率を視覚化した表現を追加する形式であり、これは言語表現（画面表示および／または音声による伝達）に加え、発生確率という数値情報を、画面イメージでも伝達することになる。なお、伝達できる情報は、少なくなるが、言語表現をせずに、画面イメージだけとしてもよい。

例えば、顔マーク等のアイコンによる表示がある。具体的には、例えば、高い発生確率に対して「自信のある顔」、中間的な発生確率に対して「普通の顔」、低い発生確率に対して「疑わしい顔」を表示する等である。また、動物の大きさで示すとすれば、発生確率の高い順に、例えば、象、ライオン、猫、バッタ、蟻等である。価値の大きさで示すとすれば、発生確率の高い順に、金メダル、銀メダル、銅メダル等である。

また、ゲージで発生確率を表示してもよい。具体的には、例えば、予兆時区間Ａ３の確率が５０％であれば「…５０％：（０％）□□□□□＿＿＿＿＿（１００％）」等と出力するか、あるいは「…５０％：（０％）＿＿＿＿＿△＿＿＿＿＿（１００％）」等と出力する。後者は、回転メータ上の針の位置で発生確率を表示するのと同様である。

さらに、色（色相・明度・彩度）の変化で発生確率を表示してもよい。具体的には、例えば、信号機の色を利用して、低い発生確率が「緑」、高い発生確率が「赤」とし、０％から１００％に至る順序で並べると、「緑」、「黄緑」、「黄」、「橙」、「赤」等のように表示することができる。このように必ずしも発生確率の数値の大小に対応させて厳格な意味で色相・明度・彩度を連続的に変化させていくのではなく、上述した顔マーク等のアイコンによる表示に近い状態で、段階的に人間のイメージに合う色を並べるようにしてもよい。なお、厳格な意味で、発生確率の数値から、予め定めた関数により、色相・明度・彩度を導いてもよい。

また、このような＜発生確率を視覚化する出力形式＞は、累積確率に適用してもよい。すなわち、例えば、顔マーク等のアイコン、ゲージ、回転メータ、色等により視覚化する対象となる数値は、重ならないように設定された各区間内の発生確率（図４参照）に限らず、重ねて設定された各区間内の発生確率（図５参照）のような累積的な確率であってもよい。この際、前記＜言語による出力形式＞で述べたように、累積確率の数値は、予兆検知器６０のスコア出力が形式Ａ（図４参照）の場合において、各予兆時区間Ａ１，Ａ２，…の確率の加算処理で求めてもよく、あるいは、形式Ｂ（図５参照）の場合の出力スコアをそのまま用いるか、または矛盾除去の加工処理を実行して得られた数値としてもよい。

＜発生確率を時間軸上で表現する出力形式＞

時間軸上で、発生確率を示す数値（テキストとしての数字）自体を表示するか、または、時間軸上で、前述した＜発生確率を視覚化する出力形式＞による表示を行うか、あるいは、時間軸上で、時間軸に交差する方向の線分の長さ（主として時間軸に直交する方向の線分の高さ）で発生確率の大きさを表示する出力形式がある。なお、時間軸は、カレンダである場合もある。また、時間軸上で表現する発生確率は、累積確率である場合もある（図１０参照）。

例えば、図８に示すように、現在（スコア出力の時点であり、今の時点、日にち単位で捉える場合は、今日の時点）を起点としたイベント発生までの時間を、１次元（時間軸上における線分の長さ）で表現し、その時間軸上に、（１）のように、発生確率の数値（テキストとしての数字）自体を表示するか、または、数値の大きさに応じた顔マーク等のアイコンを表示するか、（２）のように、数値の大きさに応じた色を表示するか、（３）のように、（１）と（２）を組み合わせてもよい。また、（４）のように、時間軸に直交する棒グラフの高さで表示するか、（５）のように、それぞれの区間の全域に渡り、時間軸に直交する方向の高さで表現してもよい。（５）の場合の横幅は、それぞれの区間についての区間長を示すが、面積は意味を持たず、従って、後述する図１１中の（１）のように一様分布を仮定しているものではない。さらに、（６）のように、時間軸をカレンダに当て嵌め、カレンダ上に、発生確率の数値（テキストとしての数字）自体を表示するか、または、数値の大きさに応じた顔マーク等のアイコンを表示するか、あるいは、数値の大きさに応じた色を表示してもよい。

上記の（６）のカレンダ表示では、予兆時区間Ａ３，Ａ４と、カレンダの単位区間とで時間長が異なるので、予兆時区間Ａ３，Ａ４の確率を一様分布とみなし、同時刻のカレンダの単位区間の長さに応じて按分し（この例の場合は、均等に２分割、４分割）、カレンダの単位区間への割当を行っている。この割当処理の詳細は、図９を用いて後述する。

また、上記の（６）のカレンダ表示では、図示のように、一般的なスケジュール情報（打合せ等）と併せて予兆検知結果を表示してもよい。この際、カレンダ上に、発生確率の数値の大きさに応じた色を表示する場合には、一般的なスケジュール情報と重畳的な表示（着色状態の区画に重ねて、一般的なスケジュール情報を表示する）を行ってもよい。なお、カレンダ上に予兆検知結果を表示する場合には、その予兆検知結果を表示する起点となる現在（スコア出力の時点）が、カレンダ上で将来方向に向かって移動していくことになるので、それに従って、予兆検知結果の表示部分も、将来方向に向かって移動していくことになる。従って、カレンダ上には、過ぎ去った時点が表示されていることになるが、その区間（現在よりも過去の区間）には、予兆検知結果の表示部分は、既に表示されていない状態となっていて、一般的なスケジュール情報だけが残されている状態となる。

図９に示すように、カレンダ上にイベントの発生確率を表示する際には、上述したように、予兆検知結果を表示する起点となる現在（スコア出力の時点）が、カレンダ上で将来方向に向かって移動していくので、通常は、カレンダの単位区間（スケジュール記載のために設定されている最小単位の時間長の区間）と、予兆時区間とは、ずれている。予兆時区間を設定する際に、複数の予兆時区間の全ての時間長を、カレンダの単位区間の時間長と一致させたとしても、現在（スコア出力の時点）が移動するので、双方の区間が一致している状態（双方の区間の両端の区切り位置が一致している状態）であることは殆どない。双方の区間を常に一致させるとなると、スコア出力の時点を、カレンダの単位区間の区切り位置に合わせなければならないので、カレンダの単位区間の長さが１日であるとすれば、例えば、１日に１回しか予兆検知（スコア出力）を行わないことになる。

図９に示すように、出力手段７０は、予兆検知器６０から出力される各スコアを用いてイベントの発生確率をカレンダ上に表示する処理を実行するが、この際に、各スコア（各スコアで示される確率）を、カレンダの単位区間に割り当てる処理を実行する。この割当処理は、複数の予兆時区間のうちの少なくとも１つの予兆時区間（各予兆時区間の長さが不均一の場合があることを考慮している。）と、カレンダの単位区間との間で、時間長が一致しないか、または双方の区間が時間的にずれている場合に実行される。図９の例では、予兆時区間とカレンダの単位区間とで時間長が異なり、かつ、区間の両端の区切り位置が時間的にずれている。時間的なずれは、不動であるカレンダの単位区間に対し、各予兆時区間が移動するので、必然的に発生する。予兆時区間Ａ６に対応するスコア（確率１４％）を、Ａ６内で一様分布とみなし、（Ｔ５～Ｃ１）と（Ｃ１～Ｔ６）の時間長に応じて按分し、（Ｔ５～Ｃ１）の方の１１％を、カレンダの４月１０日の単位区間に割り当てるとともに、（Ｃ１～Ｔ６）の方の３％を、カレンダの４月１１日の単位区間に割り当てている。また、予兆時区間Ａ７は、その全体が、カレンダの４月１１日の単位区間内に収まっているので、Ａ７のスコア（確率２０％）の全部を、カレンダの４月１１日の単位区間に割り当てている。さらに、予兆時区間Ａ８に対応するスコア（確率１５％）を、Ａ８内で一様分布とみなし、（Ｔ７～Ｃ２）と（Ｃ２～Ｔ８）の時間長に応じて按分し、（Ｔ７～Ｃ２）の方の５％を、カレンダの４月１１日の単位区間に割り当てるとともに、（Ｃ２～Ｔ８）の方の１０％を、カレンダの４月１２日の単位区間に割り当てている。

図１０に示すように、時間軸上で表現する発生確率を、累積確率としてもよい。すなわち、前述した図８中の（４）では、時間軸に直交する棒グラフの高さで発生確率を示していたが、図１０のように、累積確率を、例えば、棒グラフの高さで示してもよい。この際、表示する累積確率は、スコア出力が形式Ａの場合（図４参照）には、既に詳述しているように、各予兆時区間Ａ１，Ａ２，…に対応するスコアを加算して積み上げていけばよく、スコア出力が形式Ｂの場合（図５参照）には、各予兆時区間Ｂ１，Ｂ２，…に対応するスコアをそのまま用いてもよく、あるいは矛盾除去加工処理を行ったスコアを用いてもよい。そして、このような累積確率の表示を行った場合には、各棒グラフの頂点を結んだ線の勾配が大きい区画が、発生確率の高い区画であり、図１０の例では、予兆時区間Ａ３の確率（５０％）が一番高い。なお、説明の便宜上、形式Ａ（図４参照）と、形式Ｂ（図５参照）とで、数値を対応させているが、同じ状態データを使って予兆検知を行ったとしても、このように数値が対応することは殆どない。

＜発生確率を分布で表現する出力形式＞

前述した＜発生確率を時間軸上で表現する出力形式＞では、発生確率を、時間軸上の各点に分散配置されたデータ（離散的な分布データ）として表現していた。これに対し、発生確率を、確率密度関数による分布で表現する出力形式がある。なお、前述した図８中の（５）は、確率密度関数による分布のように見えるが、そうではないことは既に説明している。また、確率密度関数は、累積確率密度関数であってもよい（図１３参照）。

この確率密度関数による分布の表現では、発生確率は面積で捉えられるので、各予兆時区画どうしの発生確率の大きさを比較する場合には、面積で考えて相対的な大小の度合いを認識することになるため、この点は、前述した＜発生確率を時間軸上で表現する出力形式＞において例えば棒グラフの高さ（線分の長さ）で考えて相対的な大小の度合いを認識する場合とは異なる。しかし、時間軸上のどのあたりの位置で、イベントの発生確率が高いのか（例えば、牛の分娩が起きそうな時期）は、前述した＜発生確率を時間軸上で表現する出力形式＞の場合と同様に、確率密度関数による分布で示される山の高さで認識することができる。

図１１において、（１）の分布は、予兆時区間Ａ１，Ａ２，…のそれぞれを一様分布と仮定し、各予兆時区間Ａ１，Ａ２，…に対応するスコア（各スコアで示される確率）が、面積で示されるようにしている。換言すれば、このように表示された確率密度関数による分布を積分して面積を算出すると、確率になるようにしている。従って、前述した図８中の（５）と似ているように見えるが、異なる表現の出力形式である。

また、図１１中の（２）の分布は、一様分布ではない分布（例えば、正規分布等）と仮定している。正規分布と仮定する場合には、例えば、Ｔ１（１２時間後）～Ｔ２（２４時間後）の区間（予兆時区間Ａ２）については、Ｔ１とＴ２との中央の時点（１８時間後）を頂点とし、Ｔ１（１２時間後）～Ｔ２（２４時間後）が、σ区間（σは標準偏差）となる正規分布であるものと仮定し、その他の区間も、同様な正規分布と仮定し、それらを加算して合成することにより、確率密度関数による全体的な分布を疑似的に作成する。この際、各予兆時区間Ａ１，Ａ２…の正規分布は、それらの面積の比が、各予兆時区間Ａ１，Ａ２…のスコア（確率）の比になるようにする。なお、ここでは、σ区間の外側の分布も含めて加算して合成するが、σ区間の外側の分布は採用せずに、各予兆時区間Ａ１，Ａ２…内だけの分布を連結してもよい。

また、出力手段７０は、このように各区間の分布を仮定して確率密度関数による全体的な分布を疑似的に作成する場合には、予め複数種類の分布を用意しておき、複数の予兆時区間の確率分布を合成または連結した状態の確率分布曲線についての局所的な勾配変化が、最小となるか、または予め定められた閾値以下若しくは未満となる分布を選択する処理を実行するようにしてもよい。

ここで、「局所的な勾配変化」とは、予め定められた短時間（単位時間でもよい。）内の勾配の変化であり、確率分布曲線に極端な凹凸部分（尖った部分）が生じると、この勾配変化は大きくなるため、出力手段７０は、極端な凹凸が無いか、または少なくなる分布を選択することになる。選択対象の分布は、例えば、正規分布、パレート分布等であり、予め用意された分布である。なお、ここでは、正規分布の１σ区間を各予兆時区間に当て嵌める分布と、正規分布の２σ区間を各予兆時区間に当て嵌める分布とは、異なる分布として捉えるので、例えば、０．８σ，１σ，１．５σ，２σ，…等の分布が用意されている。

さらに、出力手段７０は、イベントの発生時期について事前に予測または予定した事前情報（例えば、牛の出産予定日等）を反映させた予兆検知結果の出力処理も実行する。この事前情報は、事前情報記憶手段７１（図１参照）に記憶されている。

すなわち、出力手段７０は、事前情報記憶手段７１に記憶された事前情報を用いて作成されるイベント発生の確率分布と、予兆検知器６０から出力される各スコアを用いて作成されるイベント発生の確率分布とを合成した合成分布を表示する処理を実行する。

また、出力手段７０は、事前情報記憶手段７１に記憶された事前情報（事前情報から自動生成される情報である場合を含む。）を、予兆特徴抽出器５０からの特徴データとともに予兆検知器６０に入力することにより予兆検知器６０から出力される各スコアを用いて作成される合成分布を表示する処理を実行してもよい。ここで、事前情報から自動生成される情報とは、例えば、牛の出産予定日が事前情報である場合には、牛の出産予定日までの日数等である。なお、このようなスコア出力については、＜予兆検知器６０の構成＞で詳述しているので、ここでは説明を省略する。

前者の場合は、事前情報に基づく確率分布と、予兆検知器６０からの出力スコアに基づく確率分布とが別々に作成され、出力手段７０により合成されるのに対し、後者の場合は、出力手段７０が、予兆検知器６０からの出力スコアを用いて各種の出力形式での出力処理を行うという観点では、事前情報を反映しない場合の出力処理と同じである。従って、以下では、前者の場合について説明する。

図１２に示すように、事前情報に基づく確率分布は、動かないのに対し、予兆検知器６０からの出力スコアに基づく確率分布は、時間の経過に伴って将来方向に移動する。イベントの発生時期（例えば、牛の出産予定日等）から遠い時期Ｔｎｏｗ（１）では、出力スコア（発生確率）は、ゼロまたは略ゼロである。しかし、イベントの発生時期が近づいてくると、各スコアの数値が大きくなり、各スコアに基づく確率分布が作成されるようになる。現在（スコア出力の時点）の位置が、Ｔｎｏｗ（２）からＴｎｏｗ（３）のように移動すると、状態データが変化するので、各スコアに基づく確率分布の形状は変化する。従って、事前情報に基づく確率分布と、各スコアに基づく確率分布との合成分布の形状も変化する。

事前情報に基づく確率分布は、例えば、正規分布等で仮定されている。経験上または統計上、得られている情報等から、適切な分布を選択し、予め用意しておく。この事前情報に基づく確率分布は、カレンダの単位区間に従って、予めデータを離散化しておけば、各スコアに基づく確率分布と容易に合成することができ、カレンダ上への合成分布の表示が可能となる。例えば、前述した図８の（６）の例では、事前情報に基づく確率分布を、１２時間（各日の午前、午後）を単位区間とするカレンダに合うように離散化し、何月何日の午前の確率、何月何日の午後の確率等のように離散化されたデータを、予め算出して事前情報記憶手段７１に記憶しておく。

事前情報に基づく確率分布と、各スコアに基づく確率分布との合成分布を作成する際には、例えば、重み付き相加平均や相乗平均を用いることができる。事前情報に基づく確率分布（時間軸上の各時点のデータ）をＰｄとし、各スコアに基づく確率分布（時間軸上の各時点のデータ）をＰｅとし、αを相乗平均の重み、βを相加平均の重み、γを相乗平均と相加平均との間の重みとすると、次の式により、合成分布（時間軸上の各時点のデータ）Ｐｍを算出することができる。

Ｐｍ＝γ×｛Ｐｄ^α×Ｐｅ^{（１－α）}｝＋（１－γ）｛β×Ｐｄ＋（１－β）×Ｐｅ｝

ここで、α＝１の場合は、事前情報に基づく確率分布しか考慮しない状態となり、α＝０の場合は、各スコアに基づく確率分布しか考慮しない状態となる。

カレンダ上への合成分布の表示処理を行う際には、上記の式に従って、カレンダの単位区間毎に、合成後の確率のデータを算出する。この際、カレンダの単位区間と、各予兆時区間とが、一致していない場合（時間長の相違や、時間的なずれがある場合）には、前述した図９の処理を実行する。

図１３に示すように、スコア出力が形式Ｂ（図５参照）である場合において、イベントの発生確率を、累積分布で表現する出力形式としてもよい。形式Ｂの場合は、各予兆時区間Ｂ１～ＢＮに重なりがあるので、累積分布を作成する際には、重なっている区間の取り扱いの処理が必要となる。例えば、予兆時区間Ｂ１については、自分よりも短い予兆時区間は無いが、予兆時区間Ｂ２については、自分よりも短い予兆時区間Ｂ１があり、同様に、予兆時区間Ｂ３については、自分よりも短い予兆時区間Ｂ１，Ｂ２があり、予兆時区間Ｂ４については、自分よりも短い予兆時区間Ｂ１，Ｂ２，Ｂ３があるので、自分よりも短い予兆時区間と重なっている区間についての取り扱いの処理が必要となる。

スコア出力が形式Ａ（図４参照）の場合には、区間に重なりがないので、全ての予兆時区間Ａ１～ＡＮを一様分布とみなしても矛盾が生じることはない。しかし、スコア出力が形式Ｂ（図５参照）の場合には、自分よりも短い予兆時区間に対応するスコアが存在するので、それを考慮することなく自分の分布を仮定すると、矛盾（累積分布であるにもかかわらず、途中で値が減少するという矛盾）を生じる可能性がある。自分よりも短い各予兆時区間も、それぞれ一様分布に近ければ、矛盾が生じない場合もあるが、例えば、自分よりも短い予兆時区間のいずれかに、明確な発生確率のピークがあるような場合において、そのことを考慮せずに、自分を一様分布と仮定してしまうと、矛盾を生じる可能性が高い。従って、このような矛盾を回避し、滑らかな累積分布を表示するために、出力手段７０は、以下の処理を実行する。

先ず、スコア出力が形式Ｂ（図５参照）である場合において、出力手段７０は、複数の予兆時区間の各々の確率分布またはその累積分布を、予め用意された複数種類の分布のうちのいずれかを用いて疑似的に作成するが、この際に、自分よりも短い時間長の予兆時区間に対応するスコアを用いて、自分の確率分布またはその累積分布を作成するために使用する分布を選択する処理を実行する。

例えば、正規分布またはその累積分布、パレート分布またはその累積分布等のように、複数種類の分布を予め用意しておく。そして、例えば、予兆時区間Ｂ４に用いる確率分布またはその累積分布を決定する際には、予兆時区間Ｂ４（自分）よりも時間長の短い予兆時区間Ｂ３に対応するスコア、または、予兆時区間Ｂ１，Ｂ２，Ｂ３に対応するスコアの全部を用いて、予め用意された複数種類の分布の中から、採用する分布を決定する。同様に、予兆時区間Ｂ３については、予兆時区間Ｂ３（自分）よりも時間長の短い予兆時区間Ｂ２に対応するスコア、または、予兆時区間Ｂ１，Ｂ２に対応するスコアの双方を用い、予兆時区間Ｂ２については、予兆時区間Ｂ２（自分）よりも時間長の短い予兆時区間Ｂ１に対応するスコアを用いて、採用する分布を決定する。なお、予兆時区間Ｂ１については、自分よりも短い予兆時区間が無いので、一様分布や正規分布またはそれらの累積分布とする等、採用する分布を予め定められたものとしてもよい。

矛盾が発生しないように分布を選択するので、例えば、予兆時区間Ｂ４の分布の選択のときには、Ｔ３時点での累積分布の値が、予兆時区間Ｂ３に対応するスコアの値（図１３の例では、８０％）を下回らないように選択する。同様に、予兆時区間Ｂ３の分布の選択のときには、Ｔ２時点での累積分布の値が、予兆時区間Ｂ２に対応するスコアの値（図１３の例では、３０％）を下回らないように選択する。予兆時区間Ｂ２の分布の選択のときには、Ｔ１時点での累積分布の値が、予兆時区間Ｂ１に対応するスコアの値（図１３の例では、１０％）を下回らないように選択する。

また、各予兆時区間Ｂ１～Ｂ４の累積分布を合成して全体的な累積分布（Ｔｎｏｗ～Ｔ４の全区間に渡る累積分布）を作成する際には、重なっている区間（図１３の例では、（Ｔｎｏｗ～Ｔ１）、（Ｔ１～Ｔ２）、（Ｔ２～Ｔ３）の３つの区間である。）について、所定の比率でそれぞれの分布を合成する処理を実行する。所定の比率には、ゼロも含まれるので、大別すると、次の２通りの処理となる。

第１の処理は、重なっている区間については、最も短い予兆時区間に対応するスコアを用いて疑似的に作成されるイベント発生の確率分布またはその累積分布を採用し、それ以外の予兆時区間に対応するスコアを用いて疑似的に作成されるイベント発生の確率分布またはその累積分布は採用しない処理である。

この第１の処理は、図１３の例では、（Ｔｎｏｗ～Ｔ１）の区間については、４つの予兆時区間Ｂ１～Ｂ４のうち、最も短い予兆時区間Ｂ１の分布を採用し、（Ｔ１～Ｔ２）の区間については、３つの予兆時区間Ｂ２～Ｂ４のうち、最も短い予兆時区間Ｂ２の分布を採用し、（Ｔ２～Ｔ３）の区間については、２つの予兆時区間Ｂ３，Ｂ４のうち、短い方の予兆時区間Ｂ３の分布を採用する。従って、予兆時区間Ｂ４については、（Ｔｎｏｗ～Ｔ３）の分布を捨て（採用せず）、（Ｔ３～Ｔ４）の分布だけを採用し、予兆時区間Ｂ３については、（Ｔｎｏｗ～Ｔ２）の分布を捨て（採用せず）、（Ｔ２～Ｔ３）の分布だけを採用し、予兆時区間Ｂ２については、（Ｔｎｏｗ～Ｔ１）の分布を捨て（採用せず）、（Ｔ１～Ｔ２）の分布だけを採用し、予兆時区間Ｂ１については、全部の分布を採用する。

第２の処理は、重なっている区間については、それぞれの予兆時区間に対応するスコアを用いて疑似的に作成されるイベント発生の確率分布またはその累積分布を、予め定められた割合で合成する処理を実行する。

この第２の処理は、図１３の例では、（Ｔｎｏｗ～Ｔ１）の区間については、４つの予兆時区間Ｂ１～Ｂ４の分布のデータＨ１１，Ｈ１２，Ｈ１３，Ｈ１４を、合成率Ｍ１１，Ｍ１２，Ｍ１３，Ｍ１４の割合で採用し（Ｍ１１，Ｍ１２，Ｍ１３，Ｍ１４の合計は、１００％、すなわち１である。）、それらを合計する。また、（Ｔ１～Ｔ２）の区間については、３つの予兆時区間Ｂ２～Ｂ４の分布のデータＨ２２，Ｈ２３，Ｈ２４を、合成率Ｍ２２，Ｍ２３，Ｍ２４の割合で採用し（Ｍ２２，Ｍ２３，Ｍ２４の合計は、１００％、すなわち１である。）、それらを合計する。さらに、（Ｔ２～Ｔ３）の区間については、２つの予兆時区間Ｂ３，Ｂ４の分布のデータＨ３３，Ｈ３４を、合成率Ｍ３３，Ｍ３４の割合で採用し（Ｍ３３，Ｍ３４の合計は、１００％、すなわち１である。）、それらを合計する。なお、合計した結果、矛盾（合計を行った当該区間からその右側の区間へ移ったときに、累積確率が減ってしまうという矛盾）が生じる場合には、その合計を行った当該区間において、分布を圧縮（当該区間の全体に渡り、同じ係数を乗じる。）してもよく、合成率を変更してもよい。

また、スコア出力が形式Ｂ（図５参照）である場合において、カレンダ上に発生確率を表示する際には、上記の合成により矛盾（累積確率が途中で減ってしまうという矛盾）のないように作成した累積分布を用いて、カレンダの単位区間に割り当てる確率を算出することができる。例えば、カレンダの４月２２日の単位区間に対しては、累積分布のＨＣ２の値（確率）からＨＣ１の値（確率）を引いた差分値（ＨＣ２－ＨＣ１）％を割り当て、４月２３日の単位区間に対しては、累積分布のＨＣ３の値（確率）からＨＣ２の値（確率）を引いた差分値（ＨＣ３－ＨＣ２）％を割り当てることができる。

なお、スコア出力が形式Ｂ（図５参照）である場合において、カレンダ上に発生確率を表示する際には、上記の合成により矛盾のない累積分布を作成する処理を行うことなく、つまり、矛盾の発生の有無を考慮することなく、全ての予兆時区間Ｂ１～Ｂ４がそれぞれ一様分布であるものとみなし、カレンダの単位区間に割り当てる確率を算出してもよい。例えば、（Ｔｎｏｗ～Ｔ４）に対応する予兆時区間Ｂ４のスコア（確率）＝９０％であれば、区間の長さに応じ、この９０％を割り振って、（Ｔｎｏｗ～Ｔ１）の確率＝１１．２５％、（Ｔ１～Ｔ２）の確率＝１１．２５％、（Ｔ２～Ｔ３）の確率＝２２．５％、（Ｔ３～Ｔ４）の確率＝４５％とし、このうち、区間の重なりのない（Ｔ３～Ｔ４）の確率＝４５％を採用し、図９に示した処理により、カレンダの単位区間に割り当ててもよい。但し、（Ｔ３～Ｔ４）の確率＝４５％という数値は、明確な発生確率のピークが、それよりも前の他の区間（例えば（Ｔ２～Ｔ３）の区間）にあった場合には、矛盾を生じる可能性が高い。

また、（Ｔｎｏｗ～Ｔ３）に対応する予兆時区間Ｂ３のスコア（確率）＝８０％であれば、区間の長さに応じ、この８０％を割り振って、（Ｔｎｏｗ～Ｔ１）の確率＝２０％、（Ｔ１～Ｔ２）の確率＝２０％、（Ｔ２～Ｔ３）の確率＝４０％とし、このうち、（Ｔ２～Ｔ３）の確率＝４０％を採用するか、あるいは、（Ｔ２～Ｔ３）の確率＝４０％に合成率Ｍ３３を乗じた値と、上述した予兆時区間Ｂ４のスコア（確率）＝９０％から求めた（Ｔ２～Ｔ３）の確率＝２２．５％に合成率Ｍ３４を乗じた値とを合計した値を採用してもよい。但し、このような処理は、矛盾を生じる可能性があることに加え、各区間の確率の合計値が１００％を超えてしまうことがあるので、合計値を１００％以内にするための更なる調整処理（例えば、採用した各区間の確率に、更に、一定の係数を乗じる処理等）が必要となる。従って、一様分布とみなす処理ではなく、図１３に示すように、矛盾のない累積分布を作成し、作成した累積分布を用いて、カレンダの単位区間に割り当てる確率を算出することが好ましい。

なお、上述した合計値を１００％以内にするための更なる調整処理とは、例えば、予兆時区間Ｂ４のスコア（確率）＝９０％のうちの（Ｔ３～Ｔ４）の確率＝４５％と、予兆時区間Ｂ３のスコア（確率）＝８０％のうちの（Ｔ２～Ｔ３）の確率＝４０％と、予兆時区間Ｂ２のスコア（確率）＝３０％のうちの（Ｔ１～Ｔ２）の確率＝１５％と、予兆時区間Ｂ１のスコア（確率）＝１０％とを合計し、１１０％になった場合には、それぞれの確率に、９０％／１１０％を乗じて３６．８２％、３２．７３％、１２．２７％、８．１８％とし、合計を９０％にする処理等である。合計を９０％に調整するのは、最も長い予兆時区間Ｂ４のスコアに合わせているものである。

＜データ収集装置８０の構成＞

データ収集装置８０は、１台または複数台のコンピュータ（サーバ）により構成され、データベースマネジメントシステム（ＤＢＭＳ）の機能を有するデータ収集手段８１と、データベース８２とを備えて構成されている。データベース８２には、予兆特徴抽出器５０の入出力データを記憶する予兆特徴抽出器入出力データ記憶手段８３と、予兆検知器６０の入出力データを記憶する予兆検知器入出力データ記憶手段８４とを含んでいる。

ここで、データ収集手段８１は、データ収集装置８０を構成するコンピュータ本体の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。また、データベース８２は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等により実現される。

予兆特徴抽出器入出力データ記憶手段８３には、予兆検知処理装置３０の出力手段７０によりネットワーク１を介して送信されてくるデータ、すなわち、前段の予兆特徴抽出器５０に入力された状態データ（付加された時刻情報および機器識別情報を含む。）、および予兆特徴抽出器５０の最終層（出力層）の出力データ（尤度）が記憶される。これらの状態データのうち、特に判別結果が明確でない状態データ（特定の状態であることの確からしさを示す尤度と、特定の状態でないことの確からしさを示す尤度との差分が小さい状態データ）、または、全部の状態データについて、クラウドソーシングによるタグ付け作業（特定の状態であるか、ないかについての人による判断作業）が行われ、予兆特徴抽出器入出力データ記憶手段８３には、そのクラウドソーシングによる作業結果であるタグ情報も、状態データに関連付けて記憶される。そして、クラウドソーシングが行われた状態データおよびそのタグ情報は、学習装置９０の予兆特徴抽出器用学習手段９１による学習処理に利用される。

予兆検知器入出力データ記憶手段８４には、予兆検知処理装置３０の出力手段７０によりネットワーク１を介して送信されてくるデータ、すなわち、後段の予兆検知器６０に入力された特徴データ、および予兆検知器６０から出力されたスコアが記憶される。実際にイベントが発生すると、その発生時刻に関する情報が、ユーザによりユーザ端末１２０からフィードバックされて送信されてくるか、またはユーザからその旨の伝達を受けたシステムの管理者により管理者端末１３０から送信されてくるので、特徴データについて、実際の発生時刻に関する情報に基づいてタグ付け作業（特徴データが、非着目区間または複数の予兆時区間のいずれに属する時点で抽出されたものなのかの自動判定作業）が行われ、予兆検知器入出力データ記憶手段８４には、そのフィードバックによるタグ情報も、特徴データに関連付けて記憶される。そして、フィードバックが行われた特徴データおよびそのタグ情報は、学習装置９０の予兆検知器用学習手段９２による学習処理に利用される。

＜学習装置９０の構成＞

学習装置９０は、１台または複数台のコンピュータ（サーバ）により構成され、予兆特徴抽出器用学習手段９１と、予兆検知器用学習手段９２とを備えて構成されている。ここで、各学習手段９１，９２は、学習装置９０を構成するコンピュータ本体の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。

予兆特徴抽出器用学習手段９１は、データ収集装置８０の予兆特徴抽出器入出力データ記憶手段８３に記憶された状態データおよびそのタグ情報を用いて、予兆特徴抽出器５０用の学習処理を実行することにより、新たに予兆特徴抽出モデル（ＣＮＮのパラメータ等）を作成し、作成したモデルで、予兆特徴抽出モデル記憶手段５２に記憶された予兆特徴抽出モデルを更新する処理を実行するものである。この予兆特徴抽出器用学習手段９１による学習処理は、クラウドソーシングにより、ある程度の量の学習用のデータが用意できた時点で実行するので、クラウドソーシングの実行タイミング（例えば、１週間置き、１ケ月置き等）と同じタイミングで実行すればよい。

予兆検知器用学習手段９２は、データ収集装置８０の予兆検知器入出力データ記憶手段８４に記憶された特徴データおよびそのタグ情報を用いて、予兆検知器６０用の学習処理を実行することにより、新たに予兆検知モデル（ＲＮＮのパラメータ等）を作成し、作成したモデルで、予兆検知モデル記憶手段６２に記憶された予兆検知モデルを更新する処理を実行するものである。この予兆検知器用学習手段９２による学習処理は、実際にイベントが１回または何回か発生し、ある程度の量の学習用のデータが用意できた時点で実行するので、実際のイベント発生後のタイミングで実行すればよい。

＜クラウドソーシングシステム１００の構成＞

クラウドソーシングシステム１００は、１台または複数台のコンピュータ（サーバ）により構成され、予兆特徴抽出器５０用の学習用データを作成するためのクラウドソーシングを実行するシステムである。このクラウドソーシングシステム１００は、外部で運営される１台または複数台のコンピュータ（サーバ）により構成された外部システムと連携する構成としてもよい。

具体的には、クラウドソーシングシステム１００は、データ収集装置８０から、予兆特徴抽出器入出力データ記憶手段８３に記憶された状態データのうち、特に判別結果が明確でない状態データ（特定の状態であることの確からしさを示す尤度と、特定の状態でないことの確からしさを示す尤度との差分が小さい状態データ）、または、全部の状態データをネットワーク１を介して取得し、取得した状態データと、この状態データに付加された機器識別情報に対応する比較用データとを用いて、例えば、図６に示すようなクラウドソーシング作業画面２００を作成するマイクロタスク化の処理を実行し、作成した画面２００の表示用データ（ＨＴＭＬデータ等）を、ネットワーク（ネットワーク１またはその他のネットワーク）を介して作業者端末１１０に送信することにより、簡単な判断を行う仕事（いわゆるクラウドソーシングマイクロタスク）を、作業者端末１１０を操作する多数の作業者（群衆）に行わせる。

なお、外部システムと連携する構成とする場合には、クラウドソーシングシステム１００が、図６に示すようなクラウドソーシング作業画面２００を作成するマイクロタスク化の処理を実行し、作成した画面２００の表示用データ（ＨＴＭＬデータ等）を、外部システムに送信してもよく、あるいは、状態データおよびこれに対応する比較用データを、外部システムに送信し、外部システムで、クラウドソーシング作業画面２００を作成するマイクロタスク化の処理（画面表示用フォームは、予め外部システムに渡してある。）を実行してもよい。そして、外部システムから、クラウドソーシング作業画面２００の表示用データ（ＨＴＭＬデータ等）を、ネットワークを介して作業者端末１１０へ送信する。

ここで、比較用データは、予め用意されてクラウドソーシングシステム１００に記憶されているデータ（例えば、画像データや音データ等）であり、機器識別情報に対応する状態データ取込機器２０（カメラ等）により取り込んだ状態データを用いて捉えようとしている特定の状態を示すデータである。例えば、カメラによる画像データを用いて、特定の状態Ｘ（例えば、牛の起立状態）、特定の状態Ｙ（例えば、牛の尾の挙上状態）、および特定の状態Ｚ（例えば、牛の尿膜・羊膜の露出状態）を捉えようとしている場合には、機器識別情報は、そのカメラを識別する情報であり、比較用データは、それらの特定の状態Ｘ，Ｙ，Ｚを実際に示す画像データである。

図６において、クラウドソーシング作業画面２００には、比較用データにより表示された実際に特定の状態Ｘ，Ｙ，Ｚを示す画像の各表示部２０１，２０２，２０３、および、データ収集装置８０から取得した状態データにより表示された画像（作業者に状態を判断して欲しい画像）の表示部２１０が設けられている。作業者端末１１０を操作する作業者（群衆）が、画面２００に記載されている質問文を読み、各表示部２０１，２０２，２０３の画像と、表示部２１０の画像とを見比べることにより、回答部２２０へのチェック入力を行い、「送信」ボタン２３０をクリックすると、回答部２２０に入力した回答データが、ネットワークを介してクラウドソーシングシステム１００に送信されるので、クラウドソーシングシステム１００は、その回答データを受信し、受信した回答データを用いて、状態データに関連付けるタグ情報を作成し、作成したタグ情報を、データ収集装置８０の予兆特徴抽出器入出力データ記憶手段８３に記憶されている状態データに関連付けて記憶させる処理を実行する。

なお、外部システムと連携する構成とする場合には、回答データは、外部システムへ送信されるようにしてもよく、その場合は、クラウドソーシングシステム１００は、外部システムを介して回答データを取得する。

群衆（例えば、主婦や学生等のようなクラウドワーカ）は、クラウドソーシング作業画面２００において対比表示されている画像データ（状態データおよび比較用データ）が、どのようなデータなのか（例えば、データの持つ意味、目的、性質、状況、価値等）を特に意識することなく、知識やスキルがなくても判断作業を行うことができる。なお、外部システムと連携する構成とする場合には、予兆検知システム１０が依頼する仕事（マイクロタスク）は、予兆検知システム１０とは別のシステムで生成された別系統の仕事（マイクロタスク）と並んで群衆に提示される。クラウドワーカは、様々な仕事の中から自由に仕事を選択するが、たまたま予兆検知システム１０が依頼する仕事を選択した場合、そのクラウドワーカが、図１に示された作業者端末１１０を操作する作業者（群衆）となる。

また、クラウドソーシングシステム１００またはこれと連携する外部システムから作業者端末１１０へのクラウドソーシング作業画面２００のダウンロードは、例えば、次のような方法で実行される。第１の方法としては、ＬＩＮＥ等のコミュニケーションツールである汎用のアプリケーションや電子メールなどの通信手段を用いて、作業者端末１１０を操作する作業者（群衆）に対し、依頼する仕事（いわゆるクラウドソーシングマイクロタスク）があることを伝達する。この伝達を受けた作業者は、予め定められているウェブサイト、またはコミュニケーションツールや電子メールなどによる伝達文（テキストまたは音声）の中で指定されたウェブサイトにアクセスする。このウェブサイトは、クラウドソーシングシステム１００またはこれと連携する外部システムにより構成されている。そして、作業者端末１１０を操作する作業者（群衆）が、ウェブサイトに設けられた電子掲示板を汎用のブラウザで閲覧し、その電子掲示板において、自分の担当する仕事を選択すると（全く自由に任意の仕事を選択してもよく、システムで指定された仕事を選択してもよい。）、クラウドソーシングシステム１００またはこれと連携する外部システムは、選択された仕事についてのクラウドソーシング作業画面２００（図６参照）の表示用データを、ネットワークを介して作業者端末１１０へ送信する処理を実行する。

第２の方法としては、作業者端末１１０に搭載された専用のアプリケーションにより、作業者端末１１０の画面上に電子掲示板を表示し、作業者端末１１０を操作する作業者が、その電子掲示板において、自分の担当する仕事を選択するようにしてもよく、その他は、上記の第１の方法の場合と同様である。

＜作業者端末１１０、ユーザ端末１２０、管理者端末１３０の構成＞

作業者端末１１０、ユーザ端末１２０、管理者端末１３０は、コンピュータにより構成され、例えばマウスやキーボード等の入力手段と、例えば液晶ディスプレイ等の表示手段とを備えている。これらの端末１１０，１２０，１３０は、例えば、スマートフォンやタブレット端末等の携帯機器であってもよい。

＜予兆検知処理の全体的な流れ＞

このような本実施形態においては、以下のようにして予兆検知システム１０により、イベント（例えば、牛の分娩等）の発生前に生じる予兆を検知する処理が行われる。

図７において、システムの運用を開始するあたり、事前に学習を行い、予兆特徴抽出モデル（ＣＮＮのパタメータ等）および予兆検知モデル（ＲＮＮのパタメータ等）を作成し、作成した各モデルを、予兆特徴抽出モデル記憶手段５２および予兆検知モデル記憶手段６２に記憶させる。これらの各モデルを作成する学習方法は、予兆特徴抽出器用学習手段９１および予兆検知器用学習手段９２による処理と同様である。

続いて、システムの運用開始後には、先ず、状態データ取込機器２０（カメラやマイクロフォン等）により、予兆検知対象（例えば牛）の状態を示す状態データ（主として画像データや音データ等の知覚データ）を取り込み、この状態データ取込機器２０から出力される状態データを、有線または無線により接続装置２１で受信する。そして、接続装置２１から、状態データを、時刻情報（年月日・時分秒の日時情報、またはこれに代替するデータ発生順序を示す情報）および機器識別情報とともに、ネットワーク１を介して予兆検知処理装置３０へ送信し、予兆検知処理装置３０で、状態データ取得手段４０により、状態データを取得する（ステップＳ１）。

次に、状態データ取得手段４０により取得した状態データを、予兆特徴抽出器５０に入力し、予兆特徴抽出用パターン認識処理手段５１により、予兆特徴抽出モデル記憶手段５２に記憶された予兆特徴抽出モデルを用いてパターン認識処理（ＣＮＮ等）を実行し（ステップＳ２）、得られた中間層等の出力データを、特徴データとして抽出する（ステップＳ３）。

さらに、予兆特徴抽出器５０で抽出した時系列の特徴データを、予兆検知器６０に入力し、予兆検知処理手段６１により、予兆検知モデル記憶手段６２に記憶された予兆検知モデルを用いて時系列パターン認識処理（ＲＮＮ等）を実行し、予兆検知結果としてのスコアを出力する（ステップＳ４）。

その後、出力手段７０により、予兆検知器６０から出力されたスコアを用いて、予兆検知結果を出力する（ステップＳ５）。この予兆検知結果の出力は、ユーザ端末１２０への予兆検知結果の画面表示等である。なお、ユーザが運営する連携システムに、ネットワーク１を介して予兆検知結果の出力用データを送信してもよい。また、出力手段７０により、予兆特徴抽出器５０および予兆検知器６０の各入出力データを、ネットワーク１を介してデータ収集装置８０へ送信する。

また、以下に述べる学習用データの生成処理、学習処理、およびモデルの更新処理は、以上に述べた予兆検知およびその結果の出力処理（ステップＳ１～Ｓ５）と並行して実行される処理であるが、以下の処理によりモデルが更新されると、その更新後のモデルを用いて、ステップＳ１～Ｓ５の処理が行われることから、説明の簡略化のため、一連の処理であるものとして説明を行うものとする。

すなわち、先ず、予兆特徴抽出器５０用の学習データの生成タイミングである場合には、クラウドソーシングシステム１００により、データ収集装置８０の予兆特徴抽出器入出力データ記憶手段８３に記憶された状態データについて、作業者端末１１０を操作する多数の作業者（群衆）にタグ付け作業（アノテーション）を行わせる（ステップＳ６）。この学習データの生成タイミングは、例えば、１週間置き、１ケ月置き等、比較的短い間隔である。

続いて、予兆特徴抽出器５０用の学習タイミングである場合（通常は、ステップＳ６の直後でよい。）には、予兆特徴抽出器用学習手段９１により、データ収集装置８０の予兆特徴抽出器入出力データ記憶手段８３に記憶された状態データおよびそのタグ情報を用いて、予兆特徴抽出器５０用の学習処理を実行することにより、新たに予兆特徴抽出モデル（ＣＮＮのパラメータ等）を作成し、作成したモデルで、予兆特徴抽出モデル記憶手段５２に記憶された予兆特徴抽出モデルを更新する（ステップＳ７）。

次に、予兆検知器６０用の学習データの生成タイミングである場合（通常は、イベントが実際に発生した直後でよい。）には、ユーザまたはその代行者であるシステムの管理者により、イベント発生時期に関する情報について、ユーザ端末１２０または管理者端末１３０からのシステムへのフィードバック処理が行われ、データ収集装置８０の予兆検知器入出力データ記憶手段８４に記憶された特徴データに対し、タグ情報が付与される（ステップＳ８）。この学習データの生成タイミングは、頻繁に発生するものではないイベントの実際の発生が必要となるので、比較的長い間隔である。

続いて、予兆検知器６０用の学習タイミングである場合（通常は、ステップＳ８の直後でよい。）には、予兆検知器用学習手段９２により、データ収集装置８０の予兆検知器入出力データ記憶手段８４に記憶された特徴データおよびそのタグ情報を用いて、予兆検知器６０用の学習処理を実行することにより、新たに予兆検知モデル（ＲＮＮのパラメータ等）を作成し、作成したモデルで、予兆検知モデル記憶手段６２に記憶された予兆検知モデルを更新する（ステップＳ９）。

そして、予兆検知を続行する場合には、ステップＳ１の処理に戻り、続行しない場合には、予兆検知システム１０による予兆検知処理を終了する（ステップＳ１０）。

＜本実施形態の効果＞

このような本実施形態によれば、次のような効果がある。すなわち、予兆検知システム１０は、前段の予兆特徴抽出器５０と、後段の予兆検知器６０とによる２段の処理器により予兆検知を行う構成とされているので、各段の処理器に、異なる役割を担当させることができる。

具体的には、予兆特徴抽出器５０には、パターン認識により予兆に関連する特定の状態を捉える処理を担当させるが、その特定の状態が、予兆として出現しているのか否かを判別することを目的としないパターン認識処理を担当させることができる。

一方、予兆検知器６０は、予兆特徴抽出器５０によるパターン認識処理の繰り返しで得られた時系列の特徴データを用いて予兆検知を行うので、時間的な要素を加味した処理を行うことにより、予兆特徴抽出器５０で得られた特徴データが、予兆として出現している特定の状態に関する情報であるのか否かまたはその程度を判定することができる。

このため、予兆検知システム１０は、予兆に関連する特定の状態の中に、常時出現する可能性のある特定の状態が含まれていても、効果的な予兆検知を行うことができる。すなわち、常時出現する可能性のある特定の状態については、１段のパターン認識処理だけでは、その状態を捉えることができたとしても、捉えた状態が予兆時に出現しているのか否かの明確な判別ができないため、予兆検知が困難であり、また、一歩進めて時間的な要素を加味すべく、複数の時刻に取得された状態データをパターン認識器に同時に入力することも考えられるが、予兆検知が可能となる程の時間長に渡る大量の状態データをパターン認識器に入力することは、膨大な処理量になり、現実的ではない。これに対し、予兆検知システム１０では、予兆特徴抽出器５０により、予兆として出現しているか否かにかかわらず、特定の状態を捉え、予兆検知器６０により、予兆として出現しているのか否かまたはその程度を判定するので、予兆に関連する特定の状態の中に、常時出現する可能性のある特定の状態が含まれていても、予兆検知を行うことができる。

また、予兆検知システム１０は、予兆検知の機能を、予兆特徴抽出器５０と、予兆検知器６０とに分けているので、学習を行う頻度を高めることができ、システムの性能向上のスピードアップを図ることができる。なぜなら、予兆を検知したいイベントは、頻繁に発生する事象ではない場合や、都合のよいときに強制的に発生させることができない事象である場合がある。このような場合は、学習のためのデータ収集が困難であり、仮に、１段階のパターン認識処理により予兆検知を行うと仮定すると、稀にしか発生しないイベントが何回か発生するまで、そのパターン認識処理で使用するモデルの更新を行うことができないことになり、システムの性能向上は、かなりスロースピードとなる。これに対し、予兆検知システム１０では、予兆特徴抽出器５０については、予兆として出現しているか否かとは関係なく、特定の状態を捉えるので、そのための学習用のデータは、イベントの発生とは関係なく、常時収集することができる。従って、予兆特徴抽出モデル記憶手段５２に記憶された予兆特徴抽出モデルは、頻繁に更新することができるため、予兆検知システム１０の全体としての性能向上も、その更新スピードで図ることができる。

さらに、予兆検知システム１０では、予兆特徴抽出器５０について、学習を行い、予兆特徴抽出モデルを更新する際に、その学習に用いる状態データには、人の知覚で認識可能な知覚データが含まれているので、この知覚データについてのタグ付け作業（アノテーション）を、クラウドソーシングにより実現することができる。この知覚データは、先ず、人の知覚で認識可能である（例えば、人が見れば、あるいは、人が聞けば、簡単に状態を識別することができる）という点で、クラウドソーシングに適しており、次に、予兆特徴抽出器５０に入力される状態データであることから、イベント（例えば、牛の分娩）やその予兆とは関係なく、状態を識別することができるため、イベントやその予兆に関する専門知識がなくても、誰でも状態を識別することができるという点で、クラウドソーシングに適しているからである。このため、比較的安価に、かつ、迅速に、さらには手間をかけずに、大量の学習用のデータを収集することができる。

また、予兆特徴抽出器５０は、状態データとして知覚データを用いるので、例えば、カメラやマイクロフォン等のような非接触型の状態データ取込機器２０を使用することができる。このため、生体への装着の回避による非侵襲性や、設置時の危険の回避を実現することができるうえ、カメラやマイクロフォン等のような比較的安価な機器を用いてシステム構築を行うことができる。

さらに、予兆特徴抽出器５０は、ニューラル・ネットワークの中間層出力を抽出するので、最終層（出力層）出力を抽出する場合に比べ、後段の予兆検知器６０に対し、その処理に有効な情報を特徴データとして入力することができる。すなわち、最終層（出力層）の出力データは、特定の状態に該当するか否かまたはその程度を示すだけのデータであり、情報量が少なく、予兆検知器６０の処理で利用可能な情報が欠落している場合があるので、入力層に入力される状態データ（非常に多くの情報量）から、最終層（出力層）の出力データ（かなり絞り込まれた情報量）に至るまでのネットワーク上に存在する中間的な情報量を抽出し、予兆検知器６０の処理で利用することができる。また、最終層（出力層）の出力データは、情報量が少ないので、その判別結果が誤っていた場合には、予兆検知器６０の処理に与える影響が大きいが、中間層出力を予兆検知器６０の処理で利用すれば、影響を小さくすることができる。

また、予兆検知器６０は、予兆が出現する可能性のある区間として複数の予兆時区間を設定し、それらに対応するスコアを出力する構成とされているので、より詳細な予兆検知を行うことができるうえ、予兆検知の結果出力も多様な方法を採用することができ、ユーザによるシステムの使い勝手の向上を図ることができる。

さらに、予兆検知システム１０は、事前情報記憶手段７１を備え、出力手段７０は、事前情報を用いた合成分布を表示する構成とされているので、事前情報に基づくイベント発生の確率分布を徐々に修正していく表示等を行うことができ、ユーザによるシステムの使い勝手の向上を図ることができる。例えば、表示を行う時点（現在、今日）が、イベント発生の予想時期や予定時期と離れているときには、事前情報に基づく確率分布が、殆どそのまま表示され、イベント発生の予想時期や予定時期に近づいてくるにつれ、取得した状態データに基づく確率分布が徐々に反映されてくるような表示を行うことできる。

また、出力手段７０は、予兆検知器６０からの出力スコアを用いてイベントの発生確率をカレンダ上に表示するので、見やすい表示を実現できるとともに、カレンダ上で、一般的なスケジュール情報と併せて予兆検知に関する情報を表示することもできるため、この点でも、ユーザによるシステムの使い勝手の向上を図ることができる。

そして、出力手段７０は、カレンダ上にイベントの発生確率を表示する際に、区間の時間長の相違や区間のずれに応じてスコアの按分や合計を行うので（図９参照）、ユーザによるカレンダの単位区間の切替表示に対応することができる。さらに、スコアの按分や合計を行うので、時間の経過とともに、カレンダ上で、予兆検知結果を表示する起点となる現在（スコア出力の時点）の位置が移動していくという状況に対し、柔軟に対応することができる。これにより、事前情報を用いた合成分布の表示も容易に行うことができる。

また、出力手段７０は、様々な出力形式で予兆検知結果を出力することができるので（図８～図１３参照）、ユーザの要望に沿う形式の出力を行うことができるうえ、複数の予兆時区間の各々の確率分布またはその累積分布を、滑らかに、または矛盾なく接続した表示を実現することができる。

［変形の形態］

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。

例えば、前記実施形態では、予兆検知器６０は、リカレント・ニューラル・ネットワーク（ＲＮＮ）による時系列パターン認識処理を行う構成で説明されていたが、本発明の予兆検知システムに使用される予兆検知器は、これに限定されるものではない。なお、以下に述べる予兆検知器については、前記実施形態の内部構成（図２、図３参照）とは異なる内部構成を有するが、システムの全体構成としては、前記実施形態の図１の状態と同じであるので、説明や図示の簡略化のため、図１には、以下に述べる予兆検知器に関する内容も並記している。従って、ＲＮＮとは内部構成が異なるが、以下に述べる予兆検知器についても、前記実施形態と同様に、６０という符号を付して説明や図示を行うものとする（図１４～図１７参照）。

先ず、本発明における予兆検知器の「時系列パターン認識処理」は、前記実施形態のＲＮＮや、隠れマルコフモデル（ＨＭＭ）のように、内部メモリ（前回または前回以前の内部的処理結果を記憶する内部メモリ）を有することにより、内部構造的に系列モデリングを実現しているパターン認識器による処理に限定されるものではなく、内部メモリによる系列モデリングを行わない静的なパターン認識器による処理も含まれる。換言すれば、内部メモリを有するパターン認識器では、その内部メモリの情報が反映されるので、同じ入力に対し、常に同じ出力になるわけではないが、静的なパターン認識器では、同じ入力に対し、常に同じ出力が得られる。従って、本発明でいう「時系列パターン認識処理」には、同じ入力に対し、常に同じ出力が得られる静的なパターン認識器による処理も含まれ、具体的には、例えば、混合ガウスモデル（ＧＭＭ）、単純なニューラル・ネットワーク（内部メモリを持たないＮＮ）、サポート・ベクター・マシン（ＳＶＭ）等が含まれる。これらも含めて「時系列パターン認識処理」と呼ぶのは、静的なパターン認識器であっても、新しい時刻のデータが継続的に発生している状況下にある時系列データの中から一定期間（移動する一定期間）内の複数のデータを切り出し、入力することを繰り返す場合であれば、時間的な要素を加味した処理を実現できるからである。なお、ＲＮＮの場合は、内部メモリを有しているので、１時刻の特徴データだけを入力しても、時間的要素を加味した処理を内部構造的に実現できるが、このような場合において、更に複数の時刻の特徴データを同時に入力してもよいことは、前記実施形態の説明で詳述している。

次に、具体例を説明する。以下の図１４～図１７の例では、新しい時刻の特徴データが継続的に発生している状況下にある時系列の特徴データの中から一定期間（移動する一定期間）内の複数の特徴データを切り出し、静的なパターン認識器に入力している点は共通している。但し、以下に述べる処理を、内部メモリにより系列モデリングを実現しているパターン認識器に適用することができないという意味ではなく、適用してもよい。

＜切出区間Ｃの特徴データの集合を１つずつ静的なパターン認識器に入力する場合＞

図１４において、予兆時区間は、前記実施形態の図４の場合と同様であり、ここでは、４つの予兆時区間Ａ１，Ａ２，Ａ３，Ａ４および非着目区間（平常時）ＡＸが設定されているものとする。この例では、予兆検知器６０は、運用時に、時系列の特徴データの中から、直近の一定期間である切出区間Ｃに含まれる複数の特徴データを切り出して入力する。切出区間Ｃ内の特徴データの数はＫ個とする。この切出区間Ｃの時間長は、予兆時区間Ａ１，Ａ２，Ａ３，Ａ４および非着目区間（平常時）ＡＸに比べ、短い時間である。また、切出区間Ｃによる切出処理は、時系列の特徴データがＦ１，Ｆ２，Ｆ３，Ｆ４，…（Ｋ個＝例えば１００個）であるとすれば、（Ｆ１，Ｆ２，…，Ｆ１００）、（Ｆ２，Ｆ３，…，Ｆ１０１）のように、１つずつずらしながら切り出してもよく、（Ｆ１，Ｆ２，…，Ｆ１００）、（Ｆ１０１，Ｆ１０２，…，Ｆ２００）のように、重なりなく切り出してもよく、あるいは、（Ｆ１，Ｆ２，…，Ｆ１００）、（Ｆ１１，Ｆ１２，…，Ｆ１１０）のように、重なりはあるが、ずらし量が１つではなく、２以上である切り出しを行ってもよい。このような予兆時区間Ａ１～Ａ４および非着目区間ＡＸの設定、並びに、切出区間Ｃの設定は、以下の図１５～図１７の例でも同様である。

図１４の例では、切出区間Ｃ内のＫ個の特徴データは、まとめて同時に入力するのではなく、１つずつ入力する。この際、入力の順序は任意であり、時系列を考慮する必要はない。Ｋ個の特徴データを集合として捉えるからである。Ｋ個の特徴データをパターン認識器に１つずつ入力するので、パターン認識器からＫ個（Ｋ組）のサブスコアが得られる。この例では、１つ（１組）のサブスコアに、Ａ１，Ａ２，Ａ３，Ａ４，ＡＸに対する各尤度が含まれている。従って、予兆検出器６０は、５×Ｋ個の尤度を用いて、最終的なスコアを算出し、出力する。例えば、Ａ１に対応する尤度が、Ｋ個あるので、それらのＫ個の尤度を合計し、Ｋで割ることにより、Ａ１に対応するスコアを算出する。Ａ２，Ａ３，Ａ４，ＡＸも同様である。このようなサブスコアを用いて最終的なスコアを算出する処理も含めて予兆検知処理手段６１による処理（アルゴリズム）、すなわち、内部メモリを有しないパターン認識器による処理である。勿論、予兆検知処理手段６１による処理中に、Ｋ個の特徴データを記憶したり、Ｋ個（Ｋ組）のサブスコアを記憶するので、そのための作業用のメモリは有するが、系列モデリングを実現するための内部メモリ（前回または前回以前の内部的処理結果を記憶する内部メモリ）は持たないという意味である。

なお、図１４の例では、学習処理は、前記実施形態の場合（図４参照）と同様である。また、予兆時区間の設定およびスコア出力についての形式は、前記実施形態で説明した形式Ｂ（図５参照）のほうを選択することもできる。

＜切出区間Ｃの特徴データの集合を分布として捉えて分布間の類似度を求める場合＞

図１５の例では、学習時および運用時の双方で、特徴データの集合を分布として捉える。但し、分布の標本数は、学習時と運用時とで異なる。学習時は、予兆時区間Ａ１～Ａ４および非着目区間ＡＸのそれぞれの区間に属する特徴データであるから、多数の特徴データがあり、特に、非着目区間ＡＸは非常に多数の特徴データがある。予兆を検知するイベントの性質にもよるが、例えば、何千、何万、何十万という標本数である。これに対し、運用時は、移動する切出区間Ｃ内のＫ個の特徴データであるから、相対的に少ない標本数である。切出区間Ｃは、現在がイベントの予兆検知に関し、どのような状況下に相当する時期なのか（１２時間前なのか、２４時間前なのか等）を判断するための区間であるので、前段の予兆特徴抽出器５０による特徴データの抽出の時間間隔にもよるが、学習時に対し、標本数の桁数は相対的に小さい。

図１５の例では、学習時にも運用時にも、Ｍ次元ベクトルである特徴データの集合を分布として捉え、それぞれの分布の代表値（代表ベクトル）を求める。すなわち、学習時には、Ａ１用、Ａ２用、Ａ３用、Ａ４用、ＡＸ用の各分布があるので、それらの各分布についての代表値を、別々に求める。そして、運用時には、切出区間Ｃ内のＫ個の特徴データ（Ｍ次元ベクトル）による分布があるので、その分布についての代表値を求める。この代表値（代表ベクトル）の次元数は、特徴データの次元数（Ｍ次元）と一致していてもよく、一致していなくてもよい。

分布の代表値（代表ベクトル）としては、様々なものを選択することができ、１つの代表値ではなく、複数の代表値の組合せとしてもよく、例えば、平均値、最頻値、中央値（メジアン）、標準偏差、分散の各ベクトル、あるいは頻度ベクトル等を選択することができる。図１５には、一例として、分布として正規分布を仮定し、平均ベクトルμおよび標準偏差ベクトルσの組合せが示され、いずれも次元数は、特徴データと同じであり、Ｍ次元ベクトルである。予兆時区間Ａ１については、（μ１，σ１）が求められ、他の区間についても同様に、（μ２，σ２）、（μ３，σ３）、（μ４，σ４）、（μＸ，σＸ）が求められる。そして、学習時に求められた各区間Ａ１～Ａ４，ＡＸ用の分布の代表値（代表ベクトル）は、予兆検知モデル記憶手段６２に記憶される。また、運用時も同様に、運用時の分布についての（μ，σ）が求められる。

なお、ここでは、分布の代表値は、代表ベクトルとしているが、スカラ値でもよく、あるいは、行列やテンソル量でもよい。

分布の代表値（代表ベクトル）を頻度ベクトルとする場合は、例えば、次のように求めることができる。Ｍ次元ベクトルである特徴データを構成する各要素の値（それぞれの次元の値）が、全て事後確率であった場合に、それぞれの次元毎に、各要素の値が閾値Ｐ以上となる頻度を、分布の標本数である特徴データの数（運用時は、Ｋ個）に基づき正規化し、この正規化で得られた各次元の値を、代表値（代表ベクトル）の構成要素とすることができる。

具体的には、特徴データの数が、Ｋ個＝５個であり、特徴データの次元数が、Ｍ次元＝４次元であり、閾値が、Ｐ＝０．７５（７５％）であり、１～５番目の特徴データの内容が、下記の通りであるとする。

１番目の特徴データ＝（０．１２，０．３１，０．８１，０．９７）
２番目の特徴データ＝（０．１１，０．３３，０．４５，０．６６）
３番目の特徴データ＝（０．３０，０．３８，０．９６，０．８２）
４番目の特徴データ＝（０．１３，０．６２，０．６８，０．５１）
５番目の特徴データ＝（０．８８，０．６２，０．６８，０．７８）

このとき、第１番目の次元の要素の値だけを見ると、０．１２，０．１１，０．３０，０．１３，０．８８であるから、この次元における閾値Ｐ＝０．７５以上の要素の出現数は１要素であり、正規化すると、５要素のうちの１要素であるから、この次元の値には、１／５を採用することができる。他の次元も同様であり、結局、次のようになる。

頻度ベクトル＝（１／５，０／５，２／５，３／５）

運用時におけるＫ個の特徴データで説明したが、学習時も、標本数が多くなるだけであり、同じ処理である。各区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸのそれぞれについて、頻度ベクトルが作成される。この頻度ベクトルの次元数は、特徴データの次元数（Ｍ次元＝４次元）と一致している。

また、頻度ベクトルは、次のように、内部メモリを持たない静的なパターン認識器による処理（アルゴリズム）により、求めてもよい。例えば、ＧＭＭ、単純なＮＮ、ＳＶＭ等のように、一般的な識別問題に用いられる手法を全て採用することができる。この際、５つの区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸを、頻度ベクトル算出用の区間として、幾つかの区間に分割し、それらの区間に対応する尤度を出力させる。この区間の分割形態は、任意であり、例えば、２分割であれば、「区間Ａ１＋Ａ２＋Ａ３＋Ａ４＝区間Ａ１２３４」と、区間ＡＸとに分割したり、区間Ａ１と、「区間Ａ２＋Ａ３＋Ａ４＋ＡＸ＝区間Ａ２３４Ｘ」とに分割したり、あるいは、「区間Ａ１＋Ａ２＝区間Ａ１２」と、「区間Ａ３＋Ａ４＋ＡＸ＝区間Ａ３４Ｘ」とに分割すること等ができる。また、３分割であれば、例えば、区間Ａ１と、「区間Ａ２＋Ａ３＋Ａ４＝区間Ａ２３４」と、区間ＡＸとに分割したり、「区間Ａ１＋Ａ２＝区間Ａ１２」と、「区間Ａ３＋Ａ４＝区間Ａ３４」と、区間ＡＸとに分割すること等ができる。同様に、４分割、５分割とすることもでき、５分割した場合には、結局、元の５つの区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸに分割することになる。さらには、頻度ベクトル算出用の区間として、５つの区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸの区切り位置とは全く異なる位置で区切って形成した２以上の区間を用意してもよい。

そして、例えば、頻度ベクトル算出用の区間として、元の５つの区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸと同じ区切り方で、５つの区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸを用意した場合には、これらの５つの区間に対応する尤度をまとめて出力（特徴データが、Ａ１に属することの確からしさを示す数値、Ａ２に属することの確からしさを示す数値、…、ＡＸに属することの確からしさを示す数値をまとめて出力）するパターン認識器を構築してもよく、各区間Ａ１，Ａ２，Ａ３，Ａ４に対応する尤度を別々に出力（予兆時区間Ａ１であれば、特徴データが、Ａ１に属することの確からしさを示す数値、および、Ａ１に属さないことの確からしさを示す数値を出力）する４つのパターン認識器を構築してもよい。なお、頻度ベクトル算出用の区間として、２つの区間（例えば、区間Ａ１２３４、区間ＡＸ））を形成した場合には、パターン認識器は１つでよい。

具体的には、例えば、頻度ベクトル算出用の区間として、２つの区間Ａ１２３４，ＡＸを設けるとする。そして、混合ガウスモデル（ＧＭＭ）の場合に、学習用データとして得られている２つの区間Ａ１２３４，ＡＸの全ての特徴データを用いた最尤学習により、区間Ａ１２３４に対応する尤度を出力する区間Ａ１２３４用のＧＭＭを構築したとする。従って、区間Ａ１２３４用のＧＭＭが、Ａ１２３４に対応する尤度（特徴データが、Ａ１２３４に属することの確からしさを示す数値、および、Ａ１２３４に属さないことの確からしさを示す数値）を確率として出力するものとする。そして、Ａ１２３４に属することの確からしさを示す数値（確率）を５区画に分け、（０以上０．２未満、０．２以上０．４未満、０．４以上０．６未満、０．６以上０．８未満、０．８以上）という頻度ベクトルを求めるものとする。特徴データの内容には、上述した数値例を用いる。

１番目の特徴データ＝（０．１２，０．３１，０．８１，０．９７）をＡ１２３４用のＧＭＭに入力し、その出力が（Ａ１２３４に属する尤度＝０．８０、Ａ１２３４に属さない尤度＝０．２０）であったとすると、Ａ１２３４に属する尤度＝０．８０を用いて、（０，０，０，０，１）という尤度帰属区画表示ベクトルが作成される。

２番目の特徴データ＝（０．１１，０．３３，０．４５，０．６６）をＡ１２３４用のＧＭＭに入力し、その出力が（Ａ１２３４に属する尤度＝０．９１、Ａ１２３４に属さない尤度＝０．０９）であったとすると、Ａ１２３４に属する尤度＝０．９１を用いて、（０，０，０，０，１）という尤度帰属区画表示ベクトルが作成される。

３番目の特徴データ＝（０．３０，０．３８，０．９６，０．８２）をＡ１２３４用のＧＭＭに入力し、その出力が（Ａ１２３４に属する尤度＝０．６３、Ａ１２３４に属さない尤度＝０．３７）であったとすると、Ａ１２３４に属する尤度＝０．６３を用いて、（０，０，０，１，０）という尤度帰属区画表示ベクトルが作成される。

４番目の特徴データ＝（０．１３，０．６２，０．６８，０．５１）をＡ１２３４用のＧＭＭに入力し、その出力が（Ａ１２３４に属する尤度＝０．５５、Ａ１２３４に属さない尤度＝０．４５）であったとすると、Ａ１２３４に属する尤度＝０．５５を用いて、（０，０，１，０，０）という尤度帰属区画表示ベクトルが作成される。

５番目の特徴データ＝（０．８８，０．６２，０．６８，０．７８）をＡ１２３４用のＧＭＭに入力し、その出力が（Ａ１２３４に属する尤度＝０．３８、Ａ１２３４に属さない尤度＝０．６２）であったとすると、Ａ１２３４に属する尤度＝０．３８を用いて、（０，１，０，０，０）という尤度帰属区画表示ベクトルが作成される。

そして、１～５番目の特徴データについて得られた５つの尤度帰属区画表示ベクトルを用いて、正規化を行うと、次のようになる。

頻度ベクトル＝（０／５，１／５，１／５，１／５，２／５）

また、頻度ベクトル算出用の区間として、３つの区間（例えば、Ａ１，Ａ２３４，ＡＸ）を設けると、区間Ａ１に対する尤度について、上記のような５次元の頻度ベクトルが得られ、区間Ａ２３４に対する尤度についても、上記のような５次元の頻度ベクトルが得られる。これら２つのベクトルを合成（２つのベクトルの直積（テンソル積）を計算して得られた行列の各成分からなるベクトルを得る操作とする。例えばu=(u1, u2, …, um)がｍ次元のベクトル、v=(v1, v2, …, vn)がｎ次元のベクトルの場合、その直積はm×nの行列となる。この行列の各成分は((u1×v1, u1×v2, …, u1×vn), (u2×v1, u2×v2, …, u2×vn), …, (um×v1, um×v2, …, um×vn))として与えられる。その各成分を取り出してm×n次元のベクトルを得る。）することで、２５次元の頻度ベクトル（u=(u1, u2, u3, u4, u5)が５次元の頻度ベクトル、v=(v1, v2, v3, v4, v5)が５次元の頻度ベクトルの場合、合成頻度ベクトルは(u1×v1, u1×v2, …, u1×v5, u2×v1, u2×v2, …, u2×v5, …, u5×v1, u5×v2, …, u5×v5)として与えられる。）が得られる。

また、各々の区間（但し、イベント発生時点から最も遠い区間を除く）に属することの確からしさを示す数値（確率）を分割する区画の数は、区間ごとに異なっても良い。例えば、頻度ベクトル算出用の区間として、３つの区間（例えば、Ａ１，Ａ２３４，ＡＸ）を設け、区間Ａ１の区画の数を（０以上０．３未満、０．３以上０．７未満、０．７以上）の３区画、区間Ａ２３４の区画の数を（０以上０．７未満、０．７以上）の２区画に分けると、３次元の頻度ベクトルが１つ、２次元の頻度ベクトルが１つ得られるので、それらを合成して２×３＝６次元の頻度ベクトルが得られる。

同様に、頻度ベクトル算出用の区間として、５つの区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸを設け、さらに全ての区間（イベント発生時点から最も遠い区間ＡＸを除く４つの区間）の区画の数をそれぞれ２区画とすると、区間Ａ１～Ａ４の各々に対する尤度について、上記のような２次元の頻度ベクトルが得られ、合計４つの２次元の頻度ベクトルとなるので、これらを合成し、１６次元の頻度ベクトルが得られる。なお、頻度ベクトル算出用の区間として、４つの区間を設け、各々の区間（イベント発生時点から最も遠い区間を除く３つの区間）の区画の数をそれぞれ５区画，３区画，２区画に分けると、５次元の頻度ベクトルが１つ、３次元の頻度ベクトルが１つ、２次元の頻度ベクトルが１つ得られるので、それらを合成して５×３×２＝３０次元の頻度ベクトルが得られる。

運用時におけるＫ個の特徴データで説明したが、学習時も、標本数が多くなるだけであり、同じ処理である。学習時には、例えば、区間Ａ１２３４用のＧＭＭ（１つのＧＭＭ）を用意した場合には、このＡ１２３４用のＧＭＭに対し、元の区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸのそれぞれについて、頻度ベクトルを作成する。Ａ１２３４用のＧＭＭというパターン認識器は、あくまでも頻度ベクトル算出用の区間を形成したときの当該区間についての認識器であるから、元の各区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸとは異なる概念で区切られた区間についての認識器である。詳述すれば、Ａ１２３４用のＧＭＭに対し、元の区間Ａ１に属する全ての特徴データを入力すると、多数の尤度帰属区画表示ベクトルが作成され、それらの全てを用いて正規化を行うと、上記のような頻度ベクトルが作成されるが、その頻度ベクトルは、元の区間Ａ１についての頻度ベクトルである。元の各区間Ａ２，Ａ３，Ａ４，ＡＸについても、Ａ１２３４用のＧＭＭを用いて同様な処理を行えば、元の区間Ａ２，Ａ３，Ａ４，ＡＸについてのそれぞれの頻度ベクトルが作成される。そして、作成された元の区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸについての頻度ベクトルを、分布の代表値（代表ベクトル）として予兆検知モデル記憶手段６２に記憶させてパラメータとして扱う。また、Ａ１２３４用のＧＭＭのパラメータも、運用時に使用するので、予兆検知モデル記憶手段６２に記憶させる。

また、上述したように、頻度ベクトル算出用の区間を形成する場合は、元の区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸとは独立させ、任意の区間とすることができるので、例えば、Ａ１２用のＧＭＭ、Ａ３４用のＧＭＭ、Ａ１２３用のＧＭＭ、Ａ２３４用のＧＭＭ等のように、様々な認識器が用意されることになる。従って、それらの認識器の各々に対し、元の区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸのそれぞれに属する特徴データを入力すると、認識器の数の分だけ、元の区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸのそれぞれについての頻度ベクトルが作成されることになるが、この際、用意される認識器の数によっては、すなわち、頻度ベクトル算出用の区間を形成する際の分割数によっては、作成された頻度ベクトルを合成して１つの頻度ベクトルにする処理が発生する。頻度ベクトル算出用の区間を、どのように設定したとしても、元の区間Ａ１についての頻度ベクトルは１つにし、同様に、元の区間Ａ２，Ａ３，Ａ４，ＡＸについての頻度ベクトルも、１つずつにするためである。より具体的には、頻度ベクトル算出用の区間として、２分割した区間（例えば、２つの区間Ａ１２３４，ＡＸ）を形成した場合は、認識器は１つなので、合成は必要ないが、例えば、５分割した区間を形成し、４つの認識器（または４つの認識器の出力をまとめて出力する１つの認識器）を用意し、さらに全ての区間（イベント発生時点から最も遠い区間を除く４つの区間）の区画の数をそれぞれ２区画とした場合は、前述したように、合計４つの２次元の頻度ベクトルを合成し、１６次元の頻度ベクトルとする処理を行う。４つの認識器のそれぞれから、元の区間Ａ１についての２次元の頻度ベクトルが作成されるので、それらの元の区間Ａ１についての４つの２次元の頻度ベクトルを合成することにより、Ａ１についての１６次元の頻度ベクトルを作成し、同様にして、元の区間Ａ２，Ａ３，Ａ４，ＡＸについても、Ａ２，Ａ３，Ａ４，ＡＸのそれぞれについての１６次元の頻度ベクトルを作成するという意味である。これにより、各区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸのそれぞれについて、頻度ベクトルが作成される。また、上記の頻度ベクトルは、２次元（合成する場合は、４次元、８次元、１６次元）であるから、特徴データの次元数（Ｍ次元＝４次元）と一致していない。従って、複数の特徴データにより形成される分布の代表値（代表ベクトル）の次元数は、特徴データの次元数と一致していなくてもよい。

以上のように、運用時において、切出区間Ｃ内のＫ個の特徴データによる分布の代表値（代表ベクトル）が得られるとともに、各区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸの分布の代表値（代表ベクトル）が予め求められて予兆検知モデル記憶手段６３に記憶されている状況下では、代表値（代表ベクトル）間の類似度を算出することができる。すなわち、運用時の分布の代表値（代表ベクトル）と、各区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸの分布の代表値（代表ベクトル）のそれぞれとの類似度Ｌ１，Ｌ２，Ｌ３，Ｌ４，ＬＸを算出することができる。この際、類似度としては、例えば、正規分布を仮定し分布の代表値として平均ベクトルμおよび標準偏差ベクトルσが求められている場合はＫＬダイバージェンス（ＫＬ距離）を用いることができる。また、例えば、頻度ベクトルが求められている場合はユークリッド距離やコサイン類似度等を用いることができる。

そして、算出された類似度Ｌ１，Ｌ２，Ｌ３，Ｌ４，ＬＸは、サブスコアであるから、これらのサブスコアを用いて、最終的なスコアを算出し、出力する。例えば、分布間の距離を示すＫＬ距離の場合には、分布が完全に一致したときには０になり、離れているときには、数値が大きくなるので、この関係を逆転させ、分布が近いときに、高い確率であることをイメージできるように数値を大きくするような変換処理等を行う。このような変換処理は、関数で行ってもよく、テーブルで行ってもよい。また、このような変換処理の機能を、出力手段７０に持たせてもよく、その場合には、サブスコアである類似度が、予兆検知器６０の最終的な出力スコアとなる。

＜切出区間Ｃの特徴データの集合をベクトル化してベクトル間の類似度を求める場合＞

図１６の例では、学習時に、最尤学習により、各区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸ用の混合ガウスモデル（ＧＭＭ）、および全体のＧＭＭを構築する。全体のＧＭＭは、各区間Ａ１～Ａ４，ＡＸに属する全ての特徴データ（Ａ１の特徴データの集合＋Ａ２の特徴データの集合＋…）を使った学習で得られるモデルであり、ユニバーサル・バックグランド・モデル（ＵＢＭ）である。各区間Ａ１～Ａ４，ＡＸ用のＧＭＭは、全体的・平均的な内容を示すＵＢＭに対し、各区間Ａ１～Ａ４，ＡＸのそれぞれに属する特徴データの集合から得られる部分的な情報（予兆時区間Ａ１であれば、Ａ１だけの情報）を適応させたモデルである。

続いて、各区間Ａ１～Ａ４，ＡＸのＧＭＭ、および全体のＧＭＭのそれぞれについて、スーパーベクトル（ＳＶ）を作成する。このＳＶは、ＧＭＭを構成するガウス分布の平均ベクトルμを全て連結して形成した高次元ベクトルである。これにより、Ａ１のＧＭＭのＳＶ、Ａ２のＧＭＭのＳＶ、Ａ３のＧＭＭのＳＶ、Ａ４のＧＭＭのＳＶ、ＡＸのＧＭＭのＳＶ、および、全体のＧＭＭのＳＶが作成される。

それから、これらのＳＶを用いて、次の式に基づき、確率的因子分析を行うことにより、射影行列、および各区間Ａ１～Ａ４，ＡＸ用のｉベクタを算出する。ｉベクタは、ＳＶよりも次元数の小さい低次元ベクトルであるが、このｉベクタの次元数は、本システムを構築するシステム管理者が、適切な次元を選択して決める。なお、ｉベクタに関する技術自体は公知技術である（非特許文献１参照）。

各区間Ａ１～Ａ４，ＡＸのＧＭＭのＳＶ＝全体のＧＭＭのＳＶ＋射影行列×各区間Ａ１～Ａ４，ＡＸのｉベクタ

これにより、Ａ１のｉベクタ、Ａ２のｉベクタ、Ａ３のｉベクタ、Ａ４のｉベクタ、ＡＸのｉベクタ、および、１つの射影行列が得られる。その後、各区間Ａ１～Ａ４，ＡＸのｉベクタ、射影行列、および、全体のＧＭＭのＳＶを、予兆検知モデル記憶手段６２に記憶させる。射影行列および全体のＧＭＭのＳＶを記憶させるのは、運用時のｉベクタを上記の式で算出する際に、これらを固定値として用いるからである。

なお、ｉベクタを算出せずに、学習時の処理をＳＶの算出までの処理とし、ＳＶを類似度の判定に用いてもよい。ＳＶを類似度の判定に用いる場合には、各区間Ａ１～Ａ４，ＡＸのＳＶを、予兆検知モデル記憶手段６２に記憶させる必要があるが、運用時にｉベクタの算出は行わないので、全体のＧＭＭのＳＶを記憶させる必要はない。

運用時には、切出区間Ｃ内のＫ個の特徴データを用いて、運用時のＧＭＭを生成し、更に、この運用時のＧＭＭのＳＶを生成する。それから、生成した運用時のＳＶを、射影行列および全体のＧＭＭのＳＶの部分が固定値とされている状態（これらは、パラメータとして、予兆検知モデル記憶手段６２から読み込まれる。）の前述した式に入力し、運用時のｉベクタを算出する（実際の計算はＥＭアルゴリズム等により行う）。

以上のように、運用時において、切出区間Ｃ内のＫ個の特徴データによる運用時のｉベクタが得られるとともに、各区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸのｉベクタが予め求められて予兆検知モデル記憶手段６３に記憶されている状況下では、ｉベクタ間の類似度を算出することができる。すなわち、運用時のｉベクタと、各区間Ａ１，Ａ２，Ａ３，Ａ４，ＡＸのｉベクタのそれぞれとの類似度Ｒ１，Ｒ２，Ｒ３，Ｒ４，ＲＸを算出することができる。この際、類似度としては、例えば、コサイン類似度等を用いることができる。

そして、算出された類似度Ｒ１，Ｒ２，Ｒ３，Ｒ４，ＲＸは、サブスコアであるから、これらのサブスコアを用いて、最終的なスコアを算出し、出力する。例えば、サブスコアから、確率の大きさを示すような数値への変換処理を行う。このような変換処理は、関数で行ってもよく、テーブルで行ってもよい。また、このような変換処理の機能を、出力手段７０に持たせてもよく、その場合には、サブスコアである類似度が、予兆検知器６０の最終的な出力スコアとなる。

＜各区間Ａ１～Ａ４，ＡＸ内にセグメントを形成する場合＞

図１７の例では、各区間Ａ１～Ａ４，ＡＸ内に、小区間であるセグメントを形成している。予兆時区間Ａ１においては、セグメントＡ１（Ｓ１），Ａ１（Ｓ２），Ａ１（Ｓ３），Ａ１（Ｓ４），…が形成されている。従って、これらのセグメントの時間長は、予兆時区間Ａ１の時間長よりも短い。また、それぞれのセグメントの区間は、重なっていてもよく、重なりなく形成されていてもよい。その他の区間Ａ２～Ａ４，ＡＸについても同様である。

前述した図１５の例では、学習で得られた各区間Ａ１～Ａ４，ＡＸの分布の代表値（代表ベクトル）と、これよりも短い期間である運用時の切出区間Ｃの分布の代表値（代表ベクトル）との分布間の類似度Ｌ１～Ｌ４，ＬＸを算出していた。また、前述した図１６の例では、学習で得られた各区間Ａ１～Ａ４，ＡＸのｉベクタまたはスーパーベクトル（ＳＶ）と、これよりも短い期間である運用時の切出区間ＣのｉベクタまたはＳＶとのベクトル間の類似度Ｒ１～Ｒ４，ＲＸを算出していた。従って、前述した図１５や図１６の例では、例えば予兆時区間Ａ１であれば、区間Ａ１の全体を示す内容（区間Ａ１内で平均化された内容）と、それよも短い期間である切出区間Ｃの内容とを比較していることになる。このため、区間Ａ１内に、部分的に、切出区間Ｃの内容に類似する内容の部分があったとしても、必ずしもそれが直接に類似度に反映されない場合もある。そこで、小区間であるセグメントを形成し、部分的な類似を捉えようとしている。よって、各セグメントの時間長は、任意ではあるが、運用時の切出区間Ｃの時間長と同一または同程度であることが好ましい。

図１７の例では、学習時に、各セグメントについて、各セグメントに属する特徴データを用いて、図１６の場合と同様にして、スーパーベクトル（ＳＶ）やｉベクタが作成され、あるいは、図１５の場合と同様にして、分布やその代表値（代表ベクトル）が作成される。従って、予兆時区間Ａ１については、各セグメントＡ１（Ｓ１），Ａ１（Ｓ２），Ａ１（Ｓ３），Ａ１（Ｓ４），…のＳＶ群、ｉベクタ群、あるいは、分布群またはそれらの代表値（代表ベクトル）群が作成される。その他の区間Ａ２～Ａ４，ＡＸについても同様である。

また、運用時の切出区間ＣのＳＶやｉベクタの算出も、図１６の場合と同様であり、運用時の切出区間Ｃの分布またはその代表値（代表ベクトル）の算出も、図１５の場合と同様である。

図１７の例における類似度の算出は、予兆時区間Ａ１については、運用時の切出区間ＣのＳＶやｉベクタと、区間Ａ１のＳＶ群の各々やｉベクタ群の各々とのベクトル間の類似度（例えばコサイン類似度等）を算出し、あるいは、運用時の切出区間Ｃの分布の代表値（代表ベクトル）と、区間Ａ１の分布群の代表値（代表ベクトル）群の各々との分布間の類似度（例えばＫＬ距離等）を算出する。その他の区間Ａ２～Ａ４，ＡＸについても同様である。そして、Ｋ－ＮＮ法等により、運用時の切出区間ＣのＳＶやｉベクタ、あるいは分布の代表値（代表ベクトル）が、各区間Ａ１～Ａ４，ＡＸのうちのいずれに割り当てられるのか、またはその程度を算出する。または、内部メモリを持たない静的なパターン認識器による処理（アルゴリズム）により、求めてもよい。例えば、ＧＭＭ、単純なＮＮ、ＳＶＭ等のように、一般的な識別問題に用いられる手法を全て採用することができる。簡単に言えば、運用時の切出区間ＣのＳＶやｉベクタ、あるいは分布の代表値（代表ベクトル）に対し、予兆時区間Ａ１内には、類似のセグメントが幾つあり、予兆時区間Ａ２内には、類似のセグメントが幾つあり、…、予兆時区間ＡＸ内には、類似のセグメントが幾つあるというような情報を類似度（サブスコア）として出力する。そして、必要に応じ、サブスコアからの変換処理を行って最終的なスコアを出力するか、または、得られた類似度（サブスコア）をそのまま最終的なスコアとして出力する。

以上のように、本発明の予兆検知システムおよびプログラムは、例えば、家畜の分娩、独房内の囚人の自殺、鬱病の発症、事故や危険行為の発生、トンネルの崩落、河川の氾濫、火山の噴火等の災害の発生、窃盗等の犯罪やテロの発生等についての予兆を検知する場合に用いるのに適している。

１０ 予兆検知システム
４０ 状態データ取得手段
５０ 予兆特徴抽出器
６０ 予兆検知器
７０ 出力手段

Claims (4)

1. イベントの発生前に生じる予兆を検知する予兆検知システムであって、
   前記イベントの発生の可能性がある予兆検知対象についての状態を示す状態データとして、人の知覚で認識可能な知覚データを含むデータを継続的にまたは繰り返し取得する状態データ取得手段と、
   この状態データ取得手段により取得した前記状態データを用いて、前記予兆検知対象の状態が、予兆に関連し、かつ、常時出現する可能性のある特定の状態を含む予兆に関連する予め定められた少なくとも１つの特定の状態に該当するか否かまたは当該特定の状態に対する類似の程度を示すデータを出力するパターン認識処理を実行し、このパターン認識処理で得られる特徴データを抽出する処理を繰り返し実行する予兆特徴抽出器と、
   この予兆特徴抽出器により抽出した時系列の前記特徴データを用いて、時系列パターン認識処理を実行し、予兆の有無または存否の程度を示すスコアを出力する予兆検知器と、
   イベントの発生時期について事前に予測または予定した事前情報を記憶する事前情報記憶手段と、
   この事前情報記憶手段に記憶された前記事前情報を用いて作成されるイベント発生の確率分布と、前記予兆検知器から出力されるスコアを用いて作成されるイベント発生の確率分布とを合成した合成分布を表示するか、または、前記事前情報記憶手段に記憶された前記事前情報を、前記予兆特徴抽出器からの前記特徴データとともに前記予兆検知器に入力することにより前記予兆検知器から出力されるスコアを用いて作成される合成分布を表示する処理を実行する出力手段と
   を備えたことを特徴とする予兆検知システム。
2. 前記予兆検知器は、
   イベントの発生前の時間帯を区切ることにより予兆が出現する可能性のある区間として設定した複数の予兆時区間に対応するスコアを出力する構成とされ、
   前記出力手段は、
   カレンダの単位区間に従って予め離散化されて前記事前情報記憶手段に記憶された前記事前情報を用いて作成されるイベント発生の確率分布と、前記予兆検知器から出力される各スコアを用いて作成されるイベント発生の確率分布とを合成した前記合成分布をカレンダ上に表示するか、または、前記事前情報記憶手段に記憶された前記事前情報を、前記予兆特徴抽出器からの前記特徴データとともに前記予兆検知器に入力することにより前記予兆検知器から出力される各スコアを用いて作成される前記合成分布をカレンダ上に表示する処理を実行し、この際、
   複数の前記予兆時区間のうちの少なくとも１つの前記予兆時区間と前記カレンダの単位区間との間で、時間長が一致しないか若しくは区間がずれている場合には、前記予兆時区間を前記カレンダの単位区間に対応させて分割し、前記予兆時区間内の確率分布を一様分布とみなして前記予兆時区間に対応するスコアを按分することにより前記カレンダの単位区間に割り当てるか、または、複数の前記予兆時区間に対応する各々のスコアの少なくとも一部ずつについて前記カレンダの同一の単位区間に割り当てる処理を実行する構成とされている
   ことを特徴とする請求項１に記載の予兆検知システム。
3. 前記予兆検知器は、
   イベントの発生前の時間帯を区切ることにより予兆が出現する可能性のある区間として設定した複数の予兆時区間に対応するスコアを出力する構成とされ、
   前記出力手段は、
   前記合成分布またはその累積分布を表示する処理を実行し、この際、
   （１）複数の前記予兆時区間が重なることなく設定されている場合に、複数の前記予兆時区間の各々の確率分布を、予め用意された複数種類の分布のうちのいずれかを用いて疑似的に作成する際に、複数の前記予兆時区間の確率分布を合成または連結した状態の確率分布曲線についての局所的な勾配変化が、最小となるか、または予め定められた閾値以下若しくは未満となる分布を選択する処理と、
   （２）複数の前記予兆時区間が重ねて設定されている場合に、時間長の異なる複数の前記予兆時区間が重なっている区間については、最も短い前記予兆時区間に対応するスコアを用いて疑似的に作成されるイベント発生の確率分布またはその累積分布を採用し、それ以外の前記予兆時区間に対応するスコアを用いて疑似的に作成されるイベント発生の確率分布またはその累積分布は採用しない処理と、
   （３）複数の前記予兆時区間が重ねて設定されている場合に、時間長の異なる複数の前記予兆時区間が重なっている区間については、それぞれの前記予兆時区間に対応するスコアを用いて疑似的に作成されるイベント発生の確率分布またはその累積分布を、予め定められた割合で合成する処理と、
   （４）複数の前記予兆時区間が重ねて設定されている場合に、複数の前記予兆時区間の各々の確率分布またはその累積分布を、予め用意された複数種類の分布のうちのいずれかを用いて疑似的に作成する際に、自分よりも短い時間長の前記予兆時区間に対応するスコアを用いて、自分の確率分布またはその累積分布を作成するために使用する分布を選択する処理とのうちの少なくとも１つの処理を実行する構成とされている
   ことを特徴とする請求項１に記載の予兆検知システム。
4. 請求項１～３のいずれかに記載の予兆検知システムとして、コンピュータを機能させるためのプログラム。

Images