JPH11259643A - 行動検出システム - Google Patents

行動検出システム

Info

Publication number
JPH11259643A
JPH11259643A JP10269987A JP26998798A JPH11259643A JP H11259643 A JPH11259643 A JP H11259643A JP 10269987 A JP10269987 A JP 10269987A JP 26998798 A JP26998798 A JP 26998798A JP H11259643 A JPH11259643 A JP H11259643A
Authority
JP
Japan
Prior art keywords
model
hidden markov
behavior
entropic
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10269987A
Other languages
English (en)
Inventor
Matthew E Brand
マシュー・イー・ブランド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Technology Corp
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Information Technology Corp
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Technology Corp, Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Information Technology Corp
Publication of JPH11259643A publication Critical patent/JPH11259643A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 ビデオカメラ、他のセンサを介して世界を観
察し、隠れマルコフモデルの使用を通して標準的行動の
確率モデルを自動的に習得し、そのモデルを使って、現
在監視下にある活動の種類を推論して異常な行動を検出
することを課題とする。 【解決手段】 一実施例においては、システムは３つの
構成部分である画像分析、モデル習得および信号分析か
らなる。画像分析においては、映像の各フレームは、カ
メラの前の対象物の動作を描写する数のベクトルに変形
され、一連のかかるベクトルは、映像の各フレームにつ
いて１個の「信号」を確立する。モデル習得において
は、信号は、カメラの前の場面の力学の確率モデルにつ
いてパラメータを得るために分析される。信号分析にお
いては、モデルは、新たな映像の画像分析によって迅速
に作り出される信号における異常を分類および／または
検出するために使用される。 【効果】 処理時間を大幅に削減できる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、ビデオカメラに
よって検出される個人の標準的行動の確実な検出に関
し、特にエントロピー的プライア（entropic prior）で
トレーニングされた隠れマルコフモデル(Hidden Markov
Model)を使って、場面の実時間の映像分析を用いて人
間の異常な行動を検出する行動検出システムに関するも
のである。
【０００２】
【従来の技術】過去には、時間と行動の研究、セキュリ
ティや一般的な監視の目的のために、個人の動きを検出
して分類することに相当な関心があった。かかる監視シ
ステムの多くは、予め選択されているか予め定められた
行動を検出することができるように、演繹的知識を必要
としている。これらのシステムにおいては、ビデオカメ
ラに捉えられた動作は、ヒストグラムまたは他の種類の
テンプレートと比べられる。しかし、これらのシステム
は全て、ヒストグラムまたはテンプレートを作成するた
めに検出されることを求められる標準的行動および非標
準的行動という観念を要求する。
【０００３】その結果、隠れマルコフモデル(Hidden Ma
rkov Model)の使用を通して、視覚から活動の標準的モ
デルを習得することに大きな関心がある。しかし、これ
らのモデルを使用することは、極端に精度が低いために
不満足な結果に帰結する。
【０００４】注目すべきは、「画像のシーケンスからの
意味論的領域の生成(Generation ofSemantic Regions f
rom Image Sequences)」というタイトルの論文におい
て、J. H. Fernyhough、 A. G. CohnおよびD. C. Hogg
は、それ自体が歩行者の軌跡の集まりに関する非パラメ
ータ的な分布の表示である、歩行者広場についての特徴
的な行動マップを如何にして習得するかを示したことで
ある。彼らの記述はコンピュータビジョンについてのヨ
ーロッパ学会、１９９６年、第２巻、４７５〜４８４ペ
ージに掲載されている。彼らのモデルは、本発明の重要
な特性のいくつか、特に信号の基本的な構造の簡潔性や
正確な回復を欠落している。
【０００５】ＨＭＭにおける構造習得の研究は、今日ま
で生成と試験のアルゴリズムに全体的に基づいている。
これらのアルゴリズムは、併合または分轄されるべき単
一の状態を選択し、次に何らかの利点が得られたかどう
かを見るためにそのモデルを再トレーニングすることに
より機能する。これらの努力は、失敗を回避するために
多様な発見的技法とプライア（prior）を利用している
が、計算の多くは時間を浪費しており、報告される実行
時間は数時間から数日の範囲である。AndreasStolckeと
Stephen Omohundroは、「隠れマルコフモデル帰納法の
ために併合する最良かつ最初のモデル(Best-first Mode
l Merging for Hidden Markov Model Induction)」（国
際コンピュータサイエンス学会技術報告９４−００３、
カリフォルニア大学バークレー校、１９９４年４月）に
おいて、併合アルゴリズムを詳述している。Shiro Iked
aは、「音韻モデルの構造?隠れマルコフモデルのモデル
検索(Construction of Phoneme Models − Model Searc
h of Hidden Markov Models)」（インテリジェント信号
処理および通信システムに関する国際ワークショップ会
報、仙台、１９９３年１０月）において、分轄アルゴリ
ズムを詳述している。
【０００６】
【発明が解決しようとする課題】隠れマルコフモデル
は、信号のモデル化および分類に関して広範に使用され
ている。ボーム・ウェルチ・アルゴリズムは最尤（Ｍ
Ｌ）パラメータを効率的に推定するが、ユーザはモデル
のグラフィック構造を特定することを義務づけられる。
典型的には、ユーザは状態のカウントおよび遷移位相で
のいくつかの推測を行うので、各推測を試験することは
計算上集約的なものである。
【０００７】構造はモデルの選択性および計算速度の主
たる決定要素であるので、過程は退屈ではあるが必要な
ものである。
【０００８】
【課題を解決するための手段】本発明においては、動作
は隠れマルコフモデルを使って分類され、その精度は、
θＡの形式でパラメータ推測過程に盛り込まれる構造習
得の使用を介して大きく改善されている。エントロピー
的プライア(entropic prior)を使用した結果、殆ど情報
として役立つ内容がないパラメータを排除または除去す
ることがこれまで不可能であった方法で隠れマルコフモ
デルを整えることになる。確実なシステムを達成するの
に精度を十分改良するだけでなく、処理時間が大幅に削
減される。なお、「θＡ」は、明細書のコード入力部分
において、θのべき乗がθであることを便宜上表す。
【０００９】一実施例においては、大きなダイナミック
レンジ、すなわち強い確率を備えたパラメータを好む多
項式にエントロピー的プライア(entropic prior)が導入
されている。情報として役立たないパラメータは消滅さ
せるように、このプライア（prior）を使った反復的な
事後最大値(Maximum A Posteriori)（ＭＡＰ）推測はパ
ラメータ値を生成する。ＨＭＭトレーニングに適用され
る場合、その結果得られるモデルは位相的により単純で
あり優れた一般化を示す。パラメータ消滅の過程を拡大
するために、本発明は、低い条件確率がゼロになりうる
場合に、全体的に排除する遷移を確立している。最終的
には、本発明は不必要な状態をどのように、いつ削除す
るかを決定する。
【００１０】各遷移はモデルを局所的な最大確率から除
去して、単純化し、さらにトレーニングを受け易くす
る。事後確率においては全ての演算は単調であり、した
がってトレーニングは直接的に局所的に最適な構造およ
びパラメータ化に進む。本明細書中に提示した全てのア
ルゴリズムは、従来のバウム・ウェルチ再推測(Baum-We
lch reestimation)と同じ計算上の複雑性（例えば、デ
ータのサイズで線形であり、遷移の回数で線形である）
を有する。
【００１１】さらに詳しくは、アルゴリズムは信号にお
ける構造の発見のために提供され、粗粒な画像表示から
視覚世界の行動に関する標準的な理論を習得するために
使われる。この理論は、隠れマルコフモデルの遷移グラ
フおよび受容領域の形態（例えば、継続的な出力分布）
を取る。習得アルゴリズムは、構造およびパラメータ推
測を素早く同時に行うために、θＡの形態でのエントロ
ピー的プライア(entropic prior)を導入し利用する。従
来トレーニングされたＨＭＭとは対照的に、この結果得
られるモデルは高度に構成されているので人間に理解で
き、自動的にフローチャートおよび／または視野におけ
る動作パターンなどの特徴的行動のマップに変換するこ
とができる。
【００１２】本発明においては、システムは中期から長
期にかけての周囲の映像から人間の行動のモデルを習得
するものである。かかるモデルに必要なのは、そのモデ
ルは視覚データのストリームをコヒーレントな活動に区
分すべきであること、異常な行動の検出を可能にすべき
であること、および計算上軽量であるべきことである。
これらの基準の全ては、粗粒な画像表示の時系列から低
エントロピーの有限状態の確率モデルを習得する本発明
のアルゴリズムに適合される。さらに、これらのモデル
はしばしば、人間に理解できるほど十分に簡潔である。
【００１３】さらに、これらのモデルは、フローチャー
トとしてまたは視野における動作パターンなどの特徴的
活動のマップとして読み取り可能な活動の標準的モデル
である。
【００１４】この結果に関する鍵は、隠れマルコフモデ
ルにおける構造とパラメータの同時習得のための新たな
期待値最大化(expectation-maximization)（ＥＭ）アル
ゴリズムである。
【００１５】このアルゴリズムは、状態遷移グラフから
情報として役立たない稜(edge)を切り取ることにより、
信号の隠れた構造の低エントロピー表示を見いだし、時
には状態全体を除去する。このアルゴリズムの基礎は、
θＡの形式でのＨＭＭパラメータ値に関するエントロピ
ー的プライア(entropic prior)とＭＡＰ推定に関する解
である。以下で示すように、ＭＡＰ推定は、モデルのエ
ントロピーと、そのクロスエントロピーをデータの十分
な統計とともに最小化する。データの十分な統計とは、
データにおいてそれぞれの異なった種類の事象が発生す
る時間の分数を意味する。反復的な推測は、情報として
役立たないパラメータを消滅させる傾向にあり、これは
モデルから切り取ることができる。これにより、簡潔で
計算上軽量なモデルが作り出される。実際に、存続する
状態はデータの意味のある区分と高度に相関する傾向に
あり、一方存続する遷移は信号の力学のうち最も曖昧で
ないモデルを提供する。
【００１６】さらに詳しくは、本発明のシステムは、ビ
デオカメラおよび／または他のセンサを介して世界を観
察し、隠れマルコフモデルの使用により標準的行動の確
率モデルを自動的に習得し、そのモデルを使って現在監
視している種類の活動を推論して異常な行動を検出す
る。隠れマルコフモデルの使用は、隠れマルコフモデル
のためのパラメータ推測過程に構造習得を組み込み、殆
ど情報として役立たない内容を有するパラメータを隠れ
マルコフモデルから除去するθＡエントロピー的トレー
ナーを備えたモデルのエントロピー的トレーニングによ
り可能になる。これにより、実時間の確実な異常な行動
の検出ができるようになる。一実施例において、このシ
ステムは、画像分析、モデル習得および信号分析の３つ
の部分で構成される。画像分析において、映像の各フレ
ームは、カメラの前にある対象物の動作を表す数字のベ
クトルに変形され、一連のかかるベクトルは、映像の各
フレームにつき１つ信号を確立する。モデル習得におい
て、信号は、カメラの前の場面の力学の確率モデルに関
するパラメータを得るために分析される。信号分析にお
いて、モデルは、新たな映像の画像分析によって迅速に
作り出される信号において異常を分類および／または検
出するのに使われる。
【００１７】画像分析は、映像の各フレームにおけるア
クティブな画素を識別することによる進行によって始ま
る。アクティブな画素は世界の移動曲面に属する高い確
率を有する。画素を分類するメカニズムは、動作ととも
に画素値がどのように変化するかについての統計的モデ
ルに基づく。これは、コンピュータビジョンに関する２
つの重要な問題であるカメラのノイズと照明の変化に順
応する。このシステムは、アクティブな画素をグループ
分けしてその累積形状の記述を計算する。良好に機能す
る２つの記述は、アクティブな画素の（ｘ，ｙ）位置の
第一および第二順位のモーメントと、そのｘ，ｙ，ｘ＋
ｙ，ｘ−ｙ位置の個別のヒストグラムである。このシス
テムは、多種類のセンサから抽出することができる多種
類の信号を都合良く使うことができる点に注目すること
は重要である。例えば、色、音または代替的な動作の特
徴を記述する情報は、信号に組み込まれ、信号モデルに
よって利用することができる。
【００１８】信号の習得および分析に使用されるモデル
は、上記の隠れマルコフモデルである。本発明のシステ
ムは、隠れマルコフモデルに新たなトレーニング手順を
導入している。既存の多くのトレーニング手順と同様
に、これは、尤度として知られるモデルと信号との間の
適合を最大化する。全ての公知のトレーニング手順とは
異なり、これはモデルのサイズの最小化も行う。これに
より、良好に一般化され分類される小さく、速いモデル
が得られる。トレーニング・アルゴリズムは、オッカム
の剃刀が最も偉大な予言力をもって化学的理論を最適な
公式に切り落としたように、殆ど情報として役立たない
内容を有するパラメータをモデルから除去することによ
り機能する。これらの情報として役立たないパラメータ
が残されるとすれば、モデルはトレーニング信号の力学
を習得するだけでなく、その偶然の癖や特徴をも習得す
ることになる。これはオーバーフィッティングと呼ばれ
ており、新たな信号が与えられた場合に、習得したモデ
ルがうまく機能しない状態をしばしば引き起こす。
【００１９】トリミング（微調整）はオーバーフィッテ
ィングを防止するだけでなく、モデルが非常によく構築
されているので隠れマルコフモデルを用いて何か新しい
ことを行うこと、すなわち信号の力学の中で別個の活動
を発見することが可能となる。例えば、一実施例におい
て、オフィスの場面を見渡すことから得られる映像信号
を習得しながら、このシステムは、電話での会話、ホワ
イトボードでの作業、コンピュータでの作業および事務
椅子でくつろぐことに対応する４種類の異なった動作が
あることを発見している。習得の後に、このシステムは
これらの活動を検出することができるようになり、この
情報は、例えばコンピュータ操作のために照明を暗くす
る、電話での会話のために雑音を減少させるなどのオフ
ィス環境を補助的に適合させるために使うことができ
る。さらに、これらのモデルは、病気、動揺、部外者の
介入を示唆する異常な行動を検出するという非常によい
働きをする。
【００２０】
【発明の実施の形態】実施の形態１．ここで図１を参照
すると、隠れマルコフモデルを利用して部屋１２の中の
人物１８の異常な行動を検出する、ユニット１６に接続
されたビデオカメラ１４から見た部屋１２に関する場面
が描写されている。これにより、人物は自分の机２０の
前の部屋の床に横たわって描写されており、場合によっ
ては、例えば、その人物がてんかんの発作に襲われてい
る場合には明らかに苦痛となる。おそらく椅子２２から
床へとこの人物が動くという事実はユニット１６によっ
て検出され、警報または他の表示がアラーム２４を介し
て行われる。
【００２１】標準的でない行動を検出する能力は、前述
のエントロピー的プライア(entropic prior)を使ってト
レーニングした隠れマルコフモデルを利用した結果であ
る。信号がある時間に亘って標準的特性があるか検査さ
れ、標準的特性が確認されると、異常な行動を検出でき
るのが隠れマルコフモデルの特徴である。
【００２２】ここで、図２を参照すると、人物１８は椅
子２２に座っており、また、破線１８’で輪郭を図示さ
れるように、ホワイトボード２６の前に立っているもの
として示されている。人物１８はまた、１８”で図示さ
れたように、あたかも部屋に入ってきたかのように部屋
１２に立っているその輪郭を破線で示されてもいる。
【００２３】部屋１２における全ての活動および動作は
カメラ１４によって監視されており、異常となる行動よ
りむしろ、上述のエントロピー的プライア(entropic pr
ior)の利用を通してトレーニングされた隠れマルコフモ
デルを利用して通常の各種の標準的行動を分類できるよ
うに、隠れマルコフモデルのトレーニングによって各種
の行動をユニット１６で分類できることが理解されよ
う。この場合には、人物１８は自分のモニター２８の正
面に座っているものとして検出され、矢印３０によって
示されるようにその結果生ずる信号は、ユニット３２に
よって印可され、例えば部屋１２の照明を暗くする。
【００２４】ここで図３を参照すると、場面１３は、エ
ントロピー的プライア(entropic prior)でトレーニング
された隠れマルコフモデルの利用を通して、３６で図示
されるように、システムが標準的行動の確率モデルを最
初に習得するユニット１６の機能を実行する、点線枠３
４によって図示された一連のステップにおいて分析され
る。その後、ステップ３８によって図示されるように、
現在監視されている特定の行動は分類され、それにより
４０で図示されるように、異常な行動が検出される。
【００２５】ここで図４を参照すると、確率モデルの習
得はまず４２で図示される画像分析を必要とし、ここで
画像はフレーム毎に、場面内の対象または画素の動作を
表す数字のベクトルに変えられる。その結果、４４で図
示されるように、モデル習得が得られる信号を構成する
一連のベクトルとなる。４６で図示されるように、モデ
ル習得には、隠れマルコフモデルのアルゴリズムの利用
を介して確率モデルを得るための信号の分析を含む。確
率モデルを得てしまうと、４８で図示されるように、信
号分析を使って場面の動作を分類して異常を検出する。
これは、ユニット４２の出力を介して実時間ベースで行
われる。
【００２６】ここで図５を参照すると、標準的とされる
ものについての演繹的知識を有することなく標準的行動
を素早く判断するシステムの能力は、隠れマルコフモデ
ル５２についてのトレーニング手順５０を介して可能と
なる。この手順は、重要でない事象、すなわちその確率
が０でも１でもなく、むしろその間の不定位置にある事
象を阻止することによって、隠れマルコフモデルのパラ
メータのトリミングを可能にすることができるように、
エントロピー的プライア(entropic prior)５４の利用に
まず関連する。したがって、隠れマルコフモデルのトレ
ーニングに使用されるのは、存在する確率が高いか存在
する確率が実質的にない事象である。
【００２７】エントロピー的プライア(entropic prior)
は、５６で図示されるように、その事後最大値推定の計
算に導入されており、隠れマルコフモデルのトレーニン
グ手順５０に直接使用されている。
【００２８】演算において、また、隠れマルコフモデル
が適切にトレーニングされると、入力信号６０は、６２
に図示されるように、出力が通常でない事象を分類しな
がらモデルに印可される。
【００２９】さらに背景を説明するために、ここで中期
から長期にかけての周囲の映像から人間の行動モデルの
習得を検討する。かかるモデルに望ましいことは、次の
とおりである。視覚データのストリームをコヒーレント
な活動度に区分するべきであること、異常な行動の検出
を可能にするべきであること、および計算上軽量である
べきこと。粗粒な画像表示の時系列から低エントロピー
の有限状態の確率モデルを習得する新しいアルゴリズム
にこれらの基準を適合することができると分かる。さら
に、これらのモデルは、しばしば人間に理解できるほど
簡潔である。これらは、フローチャートとしてあるいは
視野における特徴的行動（例えば、動作パターン）のマ
ップとして読み取り可能である行動の標準的モデルであ
る。
【００３０】この結果に対する鍵は、隠れマルコフモデ
ルにおける構造およびパラメータの同時習得に関する、
新たな期待値最大化（ＥＭ）アルゴリズムである。この
アルゴリズムは、状態遷移グラフから情報として役立た
ない部分を切り取ることにより信号の隠れた構造の低エ
ントロピーの表示見いだし、時には状態全体を削除する
ことがある。このアルゴリズムの基礎は、パラメータ値
に関するエントロピー的プライア(entropic prior)と、
事後最大値（ＭＡＰ）推定に関する解である。ＭＡＰ推
定は、データの十分な統計を用いてモデルのエントロピ
ーとそのクロスエントロピーを最小にする。反復的推測
は、情報として役立たないパラメータを消去する傾向に
あり、これらはモデルから切り取ることができる。これ
によって、簡潔で計算上軽量なモデルが作り出される。
実際に、存続する状態はデータの意味のある区分と高度
に相関する傾向にあり、一方、存続する遷移は信号の力
学のほぼ最小限の混乱モデルを提供する。
【００３１】エントロピー的推測においては、不確実性
を削減しないパラメータは起こりえないと主張される。
パラメータは、モデルに何も情報を付加しないことがあ
り、したがって自由度が消耗する。０または１に近いパ
ラメータは、モデルによってカバーされた信号の分類に
強い制約を課すので、情報として役立つ。この洞察力
は、パラメータ・エントロピーに対して単純な関係を有
する次のようなすっきりした形態で得ることができる。
【００３２】
【数１】
【００３３】エントロピー的プライア(entropic prior)
は０と１で２つの最大値を有する。結果的に、これは曖
昧さが低く、ターンオフされる、例えば、０にセットさ
れる多数のパラメータを備えたモデルを好む。図６を参
照すると、図示された曲線は、判断の基礎になる証拠が
殆どない場合にシステムが非常に強い確率を好むよう
に、エントロピー的プライア(entropic prior)を使って
システムを偏向させて確率を割り当てる効果を示す。例
えば、図６の曲線の頂点が、２種類の事象ＡとＢに関す
る証拠を与えられた場合、ＡがＢの２倍の頻度で発生す
るように、最良の確率を示す。かかる事象の多くが観察
されている場合、推定されるパラメータは、実際にＡが
起きる十分な確率である２／３に収束する。一方、事象
が殆ど観察されていない場合には、システムはデータを
信用できず、その推定を事象Ａに関してより高い確率の
方に歪曲させることを好む。低い位置の太い曲線は、何
ら証拠がない場合にはプライア（prior）は０または１
を好むことを示している。
【００３４】したがって、θＡの使用は、如何なる習得
アルゴリズムにもモデルを強制的に単純化させ、パラメ
ータ値を０または１の方に押しやる。θＡはオッカムの
剃刀の最適な数学的形態であることが証明できる。モデ
ルとはデータの理論であり、その規則性および構造を記
述するものである。θＡを使うことにより、一方で単純
過ぎてデータにおける基本的情報をすべて捉えることが
できない理論を有することと、他方で複雑過ぎて回避さ
れるべきデータの偶然的特性を記述する理論を有するこ
ととの間に完全な均衡を打ち出す。
【００３５】簡単に言えば、プライア（prior）は、後
に経験によって緩和される強い意見を持つ方がよいと述
べており、正確な予測はより多くの信頼性を得て、不正
確な予測は習得に関するより診断的情報を提供する。
【００３６】上記のθＡの使用により、図７（ａ）、図
７（ｂ）、図７（ｃ）に関連して以下で明らかなよう
に、何れかの確率モデルからの余分なパラメータの切り
取りが可能になる。
【００３７】さらに詳しくは、図６の凸型の曲線は、こ
のプライア（prior）が確率値を嫌い０、１の極値を好
む様子を示している。２パラメータの多項式について
は、最小値は１／２であり、３パラメータについては１
／３であるなどである。これを多項式と組み合わせる
と、次のように偏向されたエントロピー的プライア(ent
ropic prior)が得られる。ここで、ωｉは事象タイプｉ
の偏向である。
【００３８】
【数２】
【００３９】このプライア（prior）は明らかに多項式
と共役しており、したがって、ωが証拠となることも分
かり、この場合には事後確率は式（３）と同じ形態を取
る。図６が示すように、わずかな証拠では、この分布は
強い確率の方に偏るが、証拠が増えるにしたがって、ω
について「公平な」確率に収束する。注目すべきは、こ
れがディリクレのプライア（prior）から得られるもの
と反対の行動であり、これはデータがわずかな場合には
弱い確率に偏ることである。
【００４０】エントロピー的プライア(entropic prior)
をすでに導入しているので、ここで確率モデルをトレー
ニングするのに使われるＭＡＰ推定を生成しなければな
らない。
【００４１】ＭＡＰ推定を得るためには、確実にΣｉθ
ｉ＝１となるように言語乗数を使って、対数尤度の導関
数を０に設定する。
【００４２】
【数３】
【００４３】θｉを解析すると、次の式が得られる。
【００４４】
【数４】
【００４５】ここでＷ−１はランバートのＷ関数の二次
枝であり、Ｗ（ｘ）ｅＷ（ｘ）＝ｘに対する多値解であ
る。式（５）及び式（６）は、エントロピー的ＭＡＰ推
定に関する素早い反復的手順を作り出す。λを代入して
θを計算し、θを標準化し、θを代入してλを計算し、
これを繰り返す。これは典型的には２〜３回の反復で収
束する。
【００４６】式（３）の対数関数の操作には、エントロ
ピーの点からＭＡＰ推定を理解することを可能にするも
のもある。
【００４７】
【数５】
【００４８】このように、ＭＡＰ推定は、パラメータ・
エントロピーＨ（θ）と、パラメータθとデータの十分
な統計ωとの間のクロスエントロピーＤ（ω||θ）との
和を最小にする。
【００４９】エントロピー的推測は、パラメータ値を漸
近に０の方に近づけ、モデル構造が変化するにしたがっ
て証拠を再分布すること、または数値の丸めのために、
パラメータの中には実際に消滅に達するものもある。０
はモデルの曖昧さと計算上の複雑さを減少させるので、
非常に好ましい。尤度の損失ｐ（Ｘ｜θ＼θｉ）がプラ
イア（prior）ｐ（θ＼θｉ）における利得によって均
衡する時、たとえば下記の数式を検出することにより、
確率質量の損失することなくパラメータθを明示的に消
滅させることができる。
【００５０】
【数６】
【００５１】プライア（prior）に代入して、次の対数
関数を得る。
【００５２】
【数７】
【００５３】θｉが小さいならば、微分を右項に代入す
ることができる。
【００５４】
【数８】
【００５５】−θｉで割って累乗すると、次の式が得ら
れる。
【００５６】
【数９】
【００５７】したがって、対数尤度の勾配は非常に大き
くすることができるので、θｉは実際に非常に小さくな
くてはならない。しかし、エントロピー的推測は多くの
あるいは殆どのパラメータ値をトリミングレンジ内に入
れる。
【００５８】エントロピー的プライア（entropic prio
r）、そのＭＡＰ推定量およびトリミング演算をすでに
展開しているので、これらを隠れマルコフモデルのトレ
ーニングに適用することができる。
【００５９】ＨＭＭ遷移確率のエントロピー的推測にお
いて、証拠として各遷移についての確率質量を使う
【００６０】
【数１０】
【００６１】ここで、αとβは、「隠れマルコフモデル
および会話認識における選択された応用に関する指導書
(A Tutorial on Hidden Markov Models and Selected A
pplications in Speech Recognition)」（ＩＥＥＥ会
報、第７７巻、第２号、２５７〜２８６ページ、１９８
９年）においてRabinerが論述するように、前方・後方
分析から得られる。ＭＡＰ推定量を各ω＝｛γｊ，ｉ｝
ｉに適用することにより、新たな推定｛Ｐｉ｜ｊ｝ｉ＝
θを計算する。対照的に、バウム・ウェルチ再推測にお
いては、単にＰｉ｜ｊ＝γｊ，ｉ／Σｉγｊ，ｉを設定
する。
【００６２】エントロピー的なトレーニングは次のよう
な多くの興味深い特性を有している。すなわち、 （１）より小さな遷移確率は０に近づけられ、その点で
遷移全体がモデルから削除されて、計算時間および曖昧
さが減退する。 （２）状態出力分布はより厳密な共分散を有する傾向が
あり、状態は信号の領域であることをより明確に識別さ
れる。 （３）エントロピー的にトレーニングされたＨＭＭは、
試験データを提供すると仮定すると、従来的にトレーニ
ングされたＨＭＭより高い事後確率を有する傾向にあ
り、したがってより正確に分類される。 （４）エントロピー的にトレーニングされたＨＭＭは、
初期条件に拘わらず同じ低い混乱度を達成する傾向にあ
り、一方、従来的にトレーニングされたＨＭＭの混乱度
は、その初期の状態カウントの関数である。
【００６３】トリミングの展開に続いて、ＨＭＭにおい
ては０の近くに残留しているパラメータも、以下の場合
および以下の場合にのみ、確率質量の損失なく、削除す
ることができる。
【００６４】
【数１１】
【００６５】ここで、γj(t)は時間ｔにおける状態ｊの
確率である。これによりモデルは局所的な最大確率から
はじき出されて、さらにトレーニングを可能にする。同
様の試験は状態の削除を許諾するが、エントロピー的な
トレーニングは、遷移グラフに共通のサブパスを表示す
るために、いくつかの余分な状態を当然保有する。これ
により、モデルのコード付けの長さと計算上の費用が削
減される。本明細書中で使用しているように、これらの
状態は、殆どどこでもその出力確率は０に近く典型的に
は計算される必要がないので、データモデル化状態に対
してゲーティング(gating)と呼ばれている。
【００６６】本発明のシステムの演算の理論をすでに展
開しているので、その使用は、図１〜５で描写したよう
に、オフィスでの活動のモデルを習得するように適用さ
れてもよい。本明細書中で使用しているように、出力分
布および受容領域という言葉は、両方とも状態が同調さ
れる信号の領域を意味するので、相互交換可能に使用さ
れている。
【００６７】エントロピー的にトレーニングされたＨＭ
Ｍは、典型的には単純な身振りの認識作業において優れ
た性能を提供する。しかし、簡潔な構造的モデルを容易
に発見できるために、より長期の行動の構造を習得する
のに使用してもよい。例えば、歩行者広場、交差点、工
場のフロア、動物のコロニーなどで人がどのように行動
するかは、興味ある分野である。オフィスでの活動は、
時間の長さが挑戦的な範囲にあるので、特によい試験で
ある。電話を取るといった素早い事象はほんの数秒しか
かからず、一方、文書を書くことなどの行為は数時間か
かる。この結果は、この構造の多くは軽量で粗粒な視覚
追跡を介して発見できることを以下に示している。
【００６８】画像の表示に関しては、ＨＭＭは、各画像
の内容を表示する適度に短い観測ベクトルを必要とす
る。異なった画像表示は、データ内で異なったコヒーレ
ンシーを強調するモデルにつながることになる。実験は
２種類の観測ベクトルであるストライプ表示とブロブ表
示を用いて行われた。ストライプ・データは、画像を横
切る垂直または水平のストライプにおけるアクティブな
画素の平均の位置と平均の範囲で構成されている。ブロ
ブ・データは、画像におけるアクティブな画素の単一で
最大の接続集合に適合する楕円パラメータで構成されて
いる。
【００６９】両方の場合において、アクティブな画素
は、背景構造の静的な統計的モデルおよび前景の適応性
のあるガウスの色／位置モデルを獲得することによって
識別され、これは、すなわち表向き動作によってすでに
変化している画素を意味する。画素は尤度比にしたがっ
て前景または背景に分類され、C. Wren, A. Azarbayeja
ni, T. DarrellおよびA. Pentland著「Pfinder: 人体の
実時間追跡(Pfinder: Real-time Tracking of the Huma
n Body)」（ＳＰＩＥ会報、第２６１５巻、１９９５
年）による論文に記述されているように、形態学的な拡
大が以前のフレームからのシードを使って前景の画素に
接続している。ストライプ・データに関しては、各方向
に５〜１０のストライプが使われていた。観測ベクトル
は、各ストライプについて［mean, extent, △mean, △
extent］で構成されている。ブロブ・データに関して
は、単一の楕円がアクティブな画素に適合された。観測
ベクトルは、[meanx, meany, △meanx, △meany, mass,
△mass, elongation, eccentricity]で構成されてい
る。
【００７０】約３０分のデータが（ＳＧＩ ＩｎｄｙＣ
ａｍ）から４Ｈｚで得られた。被験者が部屋と視野から
退出したときの空白フレームが自動的に削除されると、
ほぼ２１分のトレーニングデータが残った。
【００７１】期待されるように、ブロブ・データに作ら
れたモデルは、主に位置、動作および全体的形状に同調
した受容領域を有しており、ストライプ・データに作ら
れたモデルもまた、例えばホワイトボードに書くあるい
は電話を取るために腕を伸ばす場合など、体の関節に感
知しやすいものであった。両方の場合に、結果は同様で
あった。明細書の以下の部分では、結果は明らかな視覚
化に役立つので、ブロブ・データに集中する。
【００７２】トレーニングに関しては、長さが１００か
ら１９００フレームに渡るシーケンスが、１２、１６、
２０、２５および３０状態のＨＭＭのエントロピー的ト
レーニングに使用された。状態は画像にその受容領域と
ともにタイルを張り付けるように初期化された。遷移確
率は隣接するタイルへの動作を好むように初期化され、
最初の状態の確率は稜(edge)のない状態については０に
設定された。これは図７（ａ）に描写されているが、そ
こでは暗い四角はパラメータマトリックスにおける大き
な値を示し、明るい四角は０に近い値を示す。初期の受
容領域または状態カウントにおける変動は、最終モデル
の全体構造または性能において相違がほとんどないこと
が分かった。トレーニングはＭａｔｌａｂを作動させる
ＳＧＩＲ１００００で６秒かかった。
【００７３】これらの実験の結果は次のとおりである。
エントロピー的なトレーニングは、図７（ｂ）に示した
ように、ほぼ単純化されたパラメータマトリックスを作
り出した。これは、フローチャートまたは有限状態の機
械の点から特徴的なオフィス活動の高度に読み取り可能
で翻訳可能な表示に容易に変換される。図９は、このフ
ローチャートと、その状態とオフィスの区域との間の関
係を示している。注目すべきことは、図９の有限状態の
機械は、重要でない弧はすでに除去されているのでエン
トロピー的なトレーニングは基本的な活動をすでに発見
していること、およびそれらは選択的にのみ接続されて
いることである。これは、エントロピー的なトレーニン
グがない場合の結果である図１０から容易に理解でき
る。いくつかの状態を特に説明することにする。状態５
は、データをモデル化せずその他の状態との間のパスを
単純化するゲーティング状態である。状態７は、主に延
長部に対応し、立ち上がったり座ったりすることを表
す。状態１０は、スクリーンを凝視することを表す。状
態９は、キーボードを見下ろしたりキーボードから見上
げたりすることを表す。
【００７４】対照的に、従来のトレーニングは、図７
（ｃ）の濃いパラメータマトリックスにおいて見られる
ような、まばらな遷移グラフで翻訳可能なモデルを作り
出さない。従来のトレーニングは、構造化されたモデル
を発見できないが、エントロピー的なモデルの徴候はか
すかに見える。図１０に示された同等な有限状態の機械
は、上述のように、全く読み取り不可能である。
【００７５】なお、遷移の殆どは切り取られ、多くのオ
フィスでの活動は、例えばホワイトボードに行ったりホ
ワイトボードから戻ったりするなど対称的な遷移を有す
るので、遷移の多くは可逆的である。１２種類の状態は
おそらく準最適のものであるものの、一つの状態はデー
タのモデル化ではなくゲーティングのために保有され
た。
【００７６】異常な行動を検出するモデルの能力は、エ
ントロピー的にトレーニングされた遷移の重要性を研究
するために、いくつかの条件の下で試験された。次の４
つのデータ・セットが使われた。すなわち、（ａ）トレ
ーニング・データ、（ｂ）提供された試験データ、
（ｃ）反転して提供された試験データ、（ｄ）被写体が
カップ４杯のエスプレッソを飲んだ後に取ったデータで
ある。これらのデータセットは、原則的に順序、リズム
および動作のタイミングにおいて異なり、したがって、
遷移パラメータの差別的なべき(power)を強調してい
る。次の３つの試験条件があった。すなわち、（１）エ
ントロピー的に推定されたパラメータ、（２）従来的に
推定されたパラメータ、（３）偶然に平らにされた遷移
パラメータである。条件（３）は、遷移または出力パラ
メータがモデルの選択性に帰因するかどうかを試験す
る。図８は、データをテストするためによりよく一般化
されたエントロピー的なＨＭＭが、異常な行動、例えば
後退や神経過敏な行動を区別することに最も成功したこ
とを示している。平らになったモデルの動程は、その選
択性が出力パラメータのためだけによるものではほとん
どないことを示している。
【００７７】要約すると、これまで示してきたのは、画
像における変化の極度に粗粒な表示を使って、コンピュ
ータが大量の映像から行動の簡潔な理論をどのように形
成できるのかである。３０分間のオフィスでの活動の周
囲の映像を想定すると、当該システムは、標準的行動の
確率モデル、作業活動の読み取り可能なフローチャー
ト、視野における重要な事象および過程のマップを作成
する。この結果に対する鍵は、エントロピー的プライア
(entropic prior)を利用して、ＨＭＭに関する構造およ
びパラメータ推測を同時に行うアルゴリズムである。期
待値最大化アルゴリズムは、モデルのエントロピーとそ
のクロスエントロピーをデータとともに同時に最小化
し、モデルの単純化を通して局所的な確率の最大値を脱
することができ、単調であり、数秒で収束する。その結
果、システム全体は、現代のワークステーションのコン
ピュータの能力の４分の１未満を使うだけで、その環境
の行動を習得し監視することができる。
【００７８】本発明の実施例をいくつかとそれに対する
いくつかの変形例を説明してきたが、上記が単に説明的
なものにすぎず限定するものではなく、例としてのみ提
示されていることが当業者には明白なはずである。多く
の変形例やその他の実施例は当業者の範囲内にあり、添
付の請求項およびそれと同等な部分によってのみ限定さ
れる発明の範囲内に入るものと思量する。
【００７９】
【発明の効果】この発明に係る行動検出システムは、以
上説明したとおり、入力信号から標準的行動の確率モデ
ルを自動的に習得する行動検出システムにおいて、隠れ
マルコフモデルを提供する手段と、前記入力信号とエン
トロピー的プライア(entropicprior)に基づいて前記隠
れマルコフモデルをトレーニングすることにより、前記
確率モデルを生成する手段とを備えたので、標準的行動
の確率モデルを自動的に習得し、そのモデルを使って、
現在監視下にある活動の種類を推論して異常な行動を検
出することができる効果を奏する。
【００８０】また、この発明に係る行動検出システム
は、以上説明したとおり、前記エントロピー的プライア
(entropic prior)がθＡの形式であり、したがって殆ど
情報として役立たない内容を有する前記隠れマルコフモ
デルからのパラメータを消去するので、現在監視下にあ
る活動の種類を推論して異常な行動を検出することがで
きる効果を奏する。
【００８１】また、この発明に係る行動検出システム
は、以上説明したとおり、前記トレーニングが、前記隠
れマルコフモデルに推定されたパラメータを提供する手
段を含み、前記推定されたパラメータを提供する手段
が、エントロピー的プライア(entropic prior)を含むの
で、現在監視下にある活動の種類を推論して異常な行動
を検出することができる効果を奏する。
【００８２】また、この発明に係る行動検出システム
は、以上説明したとおり、前記隠れマルコフモデルをト
レーニングする手段が、監視下にある場面に対応した映
像のフレームを提供するビデオカメラと、前記映像の各
フレームを前記ビデオカメラの前の対象物の動作を説明
する数字のベクトルに変形させる手段とを含み、一連の
前記ベクトルが前記入力信号を備えるので、現在監視下
にある活動の種類を推論して異常な行動を検出すること
ができる効果を奏する。
【００８３】また、この発明に係る行動検出システム
は、以上説明したとおり、前記トレーニング手段が、前
記確率モデルについてのパラメータを得るための前記エ
ントロピー的プライア(entropic prior)を含むので、現
在監視下にある活動の種類を推論して異常な行動を検出
することができる効果を奏する。
【００８４】また、この発明に係る行動検出システム
は、以上説明したとおり、前記エントロピー的プライア
(entropic prior)がθＡの形式であるので、現在監視下
にある活動の種類を推論して異常な行動を検出すること
ができる効果を奏する。
【００８５】また、この発明に係る行動検出システム
は、以上説明したとおり、標準的行動に関する前記入力
信号を分類する前記隠れマルコフモデルを含む手段をさ
らに含むので、現在監視下にある活動の種類を推論して
異常な行動を検出することができる効果を奏する。
【００８６】さらに、この発明に係る行動検出システム
は、以上説明したとおり、前記分類手段によって確立さ
れた標準的行動に基づいて、前記入力信号から異常な行
動を検出する、前記分類手段に接続される手段をさらに
含むので、現在監視下にある活動の種類を推論して異常
な行動を検出することができる効果を奏する。
【図面の簡単な説明】
【図１】 オフィス備品と、明らかにてんかんの発作に
みまわれている人がいる場面の図であり、この場面はビ
デオカメラで監視されており、その出力は隠れマルコフ
モデルを用いて人間の異常な行動を判断するのに使われ
る。
【図２】 ホワイトボードに向かっているか、室内に立
っているか、コンピュータ端末に向かって座っている人
の位置を図示した図１の場面の図であり、ビデオカメラ
および隠れマルコフモデルは人がどの活動に従事してい
るかを検出して、人がコンピュータの前で作業を行って
いることを検出した場合にはライトを暗くする。
【図３】 標準的行動の確率モデルがまず隠れマルコフ
モデルの使用を介して習得され、次に現在監視している
行動の種類の識別が続き、異常な行動の検出がそれに続
き、これらはすべて確率モデルからのものである、図１
および図２に図示された場面の図である。
【図４】 画像分析、モデル習得および信号分析を含む
行動の決定における一連の事象のブロック図である。
【図５】 形式θＡを有するエントロピー的プライア(e
ntropic prior)の導入により、異常な事象を識別するシ
ステムのブロック図であり、このシステムは次に事後最
大値推定の計算に使用され、さらに隠れマルコフモデル
のトレーニング手順に使用される。
【図６】 観察される証拠にθＡプライア（prior）を
適用した結果である、エントロピー的事後最大値推定量
によって行われる確率を誇張して示したグラフである。
【図７】 （ａ）はトレーニング前の隠れマルコフモデ
ルのパラメータマトリックスの描写である。（ｂ）はエ
ントロピー的推定量を用いたトレーニング後の（ａ）の
隠れマルコフモデルのパラメータマトリックスの描写で
あり、排除しなければエラーの原因となるであろう余分
なパラメータの排除を図示している。（ｃ）はエントロ
ピー的推定量を使用しないトレーニング後の（ａ）の隠
れマルコフモデルのパラメータマトリックスの描写であ
り、余分なパラメータがどのようにモデルに残されてい
るかを図示している。
【図８】 エントロピー的にトレーニングされた隠れマ
ルコフモデルが、従来的にトレーニングされた隠れマル
コフモデルよりも異常信号の検出の作業をうまく行うこ
とを示したチャートである。
【図９】 図７（ｃ）の隠れマルコフモデルの遷移マト
リックスから生成されたフローチャートであり、エント
ロピー的なトレーニングが使用されない場合に、全ての
状態またはノードが弧を介して互いに接続されたままで
あることを示している。
【図１０】 図１および図２の場面の人の活動の時間的
構造を図示する、エントロピー的にトレーニングされた
隠れマルコフモデルから生成されたフローチャートで、
元々モデルにあった弧の多くが、各ノードをすでに１ノ
ードおきに接続した弧の全体的なセットから削除されて
いる。
【符号の説明】 １２ 部屋、１４ ビデオカメラ、１６ ユニット、１
８、１８’、１８’’人、２０ 机、２２ 椅子、２４
アラーム、３２ ユニット。
───────────────────────────────────────────────────── フロントページの続き (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩ ＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139， Ｕ．Ｓ．Ａ. (72)発明者 マシュー・イー・ブランド アメリカ合衆国、マサチューセッツ州、ケ ンブリッジ、メイプル・アベニュー 28

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 入力信号から標準的行動の確率モデルを
    自動的に習得する行動検出システムにおいて、 隠れマルコフモデルを提供する手段と、 前記入力信号とエントロピー的プライア(entropic prio
    r)に基づいて前記隠れマルコフモデルをトレーニングす
    ることにより、前記確率モデルを生成する手段とを備え
    た行動検出システム。
  2. 【請求項２】 前記エントロピー的プライア(entropic
    prior)はθＡの形式であり、したがって殆ど情報として
    役立たない内容を有する前記隠れマルコフモデルからの
    パラメータを消去する請求項１記載の行動検出システ
    ム。
  3. 【請求項３】 前記トレーニングは、前記隠れマルコフ
    モデルに推定されたパラメータを提供する手段を含み、 前記推定されたパラメータを提供する手段は、エントロ
    ピー的プライア(entropic prior)を含む請求項２記載の
    行動検出システム。
  4. 【請求項４】 前記隠れマルコフモデルをトレーニング
    する手段は、 監視下にある場面に対応した映像のフレームを提供する
    ビデオカメラと、 前記映像の各フレームを前記ビデオカメラの前の対象物
    の動作を説明する数字のベクトルに変形させる手段とを
    含み、一連の前記ベクトルは前記入力信号を備える請求
    項１記載の行動検出システム。
  5. 【請求項５】 前記トレーニング手段は、前記確率モデ
    ルについてのパラメータを得るための前記エントロピー
    的プライア(entropic prior)を含む請求項４記載の行動
    検出システム。
  6. 【請求項６】 前記エントロピー的プライア(entropic
    prior)はθＡの形式である請求項５記載の行動検出シス
    テム。
  7. 【請求項７】 標準的行動に関する前記入力信号を分類
    する前記隠れマルコフモデルを含む手段をさらに含む請
    求項５記載の行動検出システム。
  8. 【請求項８】 前記分類手段によって確立された標準的
    行動に基づいて、前記入力信号から異常な行動を検出す
    る、前記分類手段に接続される手段をさらに含む請求項
    ７記載の行動検出システム。
JP10269987A 1998-01-30 1998-09-24 行動検出システム Pending JPH11259643A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/016375 1998-01-30
US09/016,375 US6212510B1 (en) 1998-01-30 1998-01-30 Method for minimizing entropy in hidden Markov models of physical signals

Publications (1)

Publication Number Publication Date
JPH11259643A true JPH11259643A (ja) 1999-09-24

Family

ID=21776804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10269987A Pending JPH11259643A (ja) 1998-01-30 1998-09-24 行動検出システム

Country Status (3)

Country Link
US (1) US6212510B1 (ja)
EP (1) EP0933726A3 (ja)
JP (1) JPH11259643A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514975A (ja) * 2000-11-24 2004-05-20 クレバー　エスワイエス　インコーポレイテッド ビデオ分析を用いる物体の識別と行動の特徴付けシステムおよびその方法
JP2005202653A (ja) * 2004-01-15 2005-07-28 Canon Inc 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
US7580798B2 (en) 2001-05-15 2009-08-25 Psychogenics, Inc. Method for predicting treatment classes using animal behavior informatics
US7643655B2 (en) 2000-11-24 2010-01-05 Clever Sys, Inc. System and method for animal seizure detection and classification using video analysis
WO2010084839A1 (ja) * 2009-01-26 2010-07-29 日本電気株式会社 尤度推定装置、コンテンツ配信システム、尤度推定方法および尤度推定プログラム
JP4767957B2 (ja) * 2004-09-09 2011-09-07 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 結合空間強度尤度比検定を使用する体積腫瘍分断
US8634635B2 (en) 2008-10-30 2014-01-21 Clever Sys, Inc. System and method for stereo-view multiple animal behavior characterization
KR20160033194A (ko) * 2013-07-19 2016-03-25 마이크로칩 테크놀로지 인코포레이티드 은닉 마르코프 모델 기반 제스처 인식을 위한 방법
CN107122767A (zh) * 2017-05-27 2017-09-01 辽宁大学 一种基于信息熵的人体活动端点检测方法
JP6777266B1 (ja) * 2019-09-18 2020-10-28 三菱電機株式会社 作業要素分析装置及び作業要素分析方法
CN116502055A (zh) * 2023-01-10 2023-07-28 昆明理工大学 一种基于类马尔可夫模型的多维特征动态异常积分模型

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122865A (en) * 1997-03-13 2000-09-26 Steelcase Development Inc. Workspace display
US6397205B1 (en) * 1998-11-24 2002-05-28 Duquesne University Of The Holy Ghost Document categorization and evaluation via cross-entrophy
US6502082B1 (en) 1999-06-01 2002-12-31 Microsoft Corp Modality fusion for object tracking with training system and method
US6459808B1 (en) * 1999-07-21 2002-10-01 Mitsubishi Electric Research Laboratories, Inc. Method for inferring target paths from related cue paths
WO2001056471A1 (en) * 2000-02-02 2001-08-09 Hunter, Jeremy, Alexander Patient monitoring devices and methods
GB0013011D0 (en) * 2000-05-26 2000-07-19 Ncr Int Inc Method and apparatus for determining one or more statistical estimators of customer behaviour
WO2002021441A1 (fr) * 2000-09-06 2002-03-14 Hitachi, Ltd. Detecteur de comportement anormal
WO2002082999A1 (en) * 2001-04-10 2002-10-24 Battelle Memorial Institute Image analysis system and method for discriminating movements of an individual
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US6873724B2 (en) * 2001-08-08 2005-03-29 Mitsubishi Electric Research Laboratories, Inc. Rendering deformable 3D models recovered from videos
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
US20030058111A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
US7552030B2 (en) * 2002-01-22 2009-06-23 Honeywell International Inc. System and method for learning patterns of behavior and operating a monitoring and response system based thereon
US7165029B2 (en) 2002-05-09 2007-01-16 Intel Corporation Coupled hidden Markov model for audiovisual speech recognition
US7209883B2 (en) * 2002-05-09 2007-04-24 Intel Corporation Factorial hidden markov model for audiovisual speech recognition
US20030212552A1 (en) * 2002-05-09 2003-11-13 Liang Lu Hong Face recognition procedure useful for audiovisual speech recognition
GB0218982D0 (en) 2002-08-15 2002-09-25 Roke Manor Research Video motion anomaly detector
AU2003254437A1 (en) * 2002-08-15 2004-03-03 Roke Manor Research Limited Video motion anomaly detector
US7171043B2 (en) 2002-10-11 2007-01-30 Intel Corporation Image recognition using hidden markov models and coupled hidden markov models
SE0203483D0 (sv) 2002-11-21 2002-11-21 Wespot Ab Method and device for fall detection
US7472063B2 (en) * 2002-12-19 2008-12-30 Intel Corporation Audio-visual feature fusion and support vector machine useful for continuous speech recognition
US7203368B2 (en) 2003-01-06 2007-04-10 Intel Corporation Embedded bayesian network for pattern recognition
JP2004309998A (ja) * 2003-02-18 2004-11-04 Nec Corp 確率分布推定装置および異常行動検出装置，ならびにその確率分布推定方法および異常行動検出方法
US20050137465A1 (en) * 2003-12-23 2005-06-23 General Electric Company System and method for remote monitoring in home activity of persons living independently
US7583819B2 (en) * 2004-11-05 2009-09-01 Kyprianos Papademetriou Digital signal processing methods, systems and computer program products that identify threshold positions and values
US7912717B1 (en) * 2004-11-18 2011-03-22 Albert Galick Method for uncovering hidden Markov models
GB0605360D0 (en) 2006-03-16 2006-04-26 Dupont Teijin Films Us Ltd Method of manufacture
EP2013823A1 (en) * 2006-03-28 2009-01-14 The University Court Of The University Of Edinburgh A method for automatically characterizing the behavior of one or more objects
US8165405B2 (en) * 2006-12-18 2012-04-24 Honda Motor Co., Ltd. Leveraging temporal, contextual and ordering constraints for recognizing complex activities in video
US8269834B2 (en) * 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US8588464B2 (en) * 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US8295542B2 (en) 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US8075499B2 (en) * 2007-05-18 2011-12-13 Vaidhi Nathan Abnormal motion detector and monitor
US8655822B2 (en) 2008-03-12 2014-02-18 Aptima, Inc. Probabilistic decision making system and methods of use
US8290885B2 (en) * 2008-03-13 2012-10-16 Sony Corporation Information processing apparatus, information processing method, and computer program
US8126833B2 (en) 2008-09-11 2012-02-28 Behavioral Recognition Systems, Inc. Detecting anomalous events using a long-term memory in a video analysis system
GB0822619D0 (en) * 2008-12-11 2009-01-21 Scansafe Ltd Malware detection
EP2467061B1 (fr) * 2009-08-19 2017-06-28 Commissariat à l'Énergie Atomique et aux Énergies Alternatives Systeme et procede de detection de crise d'epilepsie d'une personne epileptique allongee
JP2011048547A (ja) * 2009-08-26 2011-03-10 Toshiba Corp 異常行動検知装置、監視システム及び異常行動検知方法
CN101930592B (zh) * 2009-09-23 2011-10-05 电子科技大学 一种基于视觉非经典感受野模型的图像去噪方法
US20130027550A1 (en) * 2011-07-29 2013-01-31 Technische Universitat Berlin Method and device for video surveillance
US20130027549A1 (en) * 2011-07-29 2013-01-31 Technische Universitat Berlin Method and device for video surveillance
CN102254329A (zh) * 2011-08-18 2011-11-23 上海方奥通信技术有限公司 基于运动向量归类分析的异常行为检测方法
CN102496164B (zh) * 2011-11-14 2013-12-11 通号通信信息集团有限公司 一种事件检测方法及系统
US10290221B2 (en) * 2012-04-27 2019-05-14 Aptima, Inc. Systems and methods to customize student instruction
US10552764B1 (en) 2012-04-27 2020-02-04 Aptima, Inc. Machine learning system for a training model of an adaptive trainer
US10438156B2 (en) 2013-03-13 2019-10-08 Aptima, Inc. Systems and methods to provide training guidance
US9787871B2 (en) 2015-01-29 2017-10-10 Xerox Corporation Hidden Markov model generation of multi-plane random screens
US10807233B2 (en) * 2016-07-26 2020-10-20 The University Of Connecticut Skill transfer from a person to a robot
GB2571265A (en) * 2018-02-16 2019-08-28 Neuro Event Labs Oy Method for detecting and classifying a motor seizure
CN108596229B (zh) * 2018-04-13 2021-09-10 北京华电智慧科技产业有限公司 在线异常的监测诊断方法和系统
CN113454553B (zh) * 2019-01-30 2022-07-05 布勒有限公司 用于检测和测量源自工业过程中使用的部件的信令中的异常的系统和方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514975A (ja) * 2000-11-24 2004-05-20 クレバー　エスワイエス　インコーポレイテッド ビデオ分析を用いる物体の識別と行動の特徴付けシステムおよびその方法
US7209588B2 (en) 2000-11-24 2007-04-24 Clever Sys, Inc. Unified system and method for animal behavior characterization in home cages using video analysis
US7643655B2 (en) 2000-11-24 2010-01-05 Clever Sys, Inc. System and method for animal seizure detection and classification using video analysis
US8514236B2 (en) 2000-11-24 2013-08-20 Cleversys, Inc. System and method for animal gait characterization from bottom view using video analysis
US7817824B2 (en) 2000-11-24 2010-10-19 Clever Sys, Inc. Unified system and method for animal behavior characterization from top view using video analysis
US7580798B2 (en) 2001-05-15 2009-08-25 Psychogenics, Inc. Method for predicting treatment classes using animal behavior informatics
US7882135B2 (en) 2001-05-15 2011-02-01 Psychogenics, Inc. Method for predicting treatment classes using behavior informatics
JP2005202653A (ja) * 2004-01-15 2005-07-28 Canon Inc 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
JP4767957B2 (ja) * 2004-09-09 2011-09-07 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 結合空間強度尤度比検定を使用する体積腫瘍分断
US8634635B2 (en) 2008-10-30 2014-01-21 Clever Sys, Inc. System and method for stereo-view multiple animal behavior characterization
WO2010084839A1 (ja) * 2009-01-26 2010-07-29 日本電気株式会社 尤度推定装置、コンテンツ配信システム、尤度推定方法および尤度推定プログラム
KR20160033194A (ko) * 2013-07-19 2016-03-25 마이크로칩 테크놀로지 인코포레이티드 은닉 마르코프 모델 기반 제스처 인식을 위한 방법
JP2016527628A (ja) * 2013-07-19 2016-09-08 マイクロチップ テクノロジー インコーポレイテッドＭｉｃｒｏｃｈｉｐ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｃｏｒｐｏｒａｔｅｄ 隠れマルコフモデルベースのジェスチャ認識のための方法
US10365722B2 (en) 2013-07-19 2019-07-30 Microchip Technology Germany Gmbh Human interface device and method
CN107122767A (zh) * 2017-05-27 2017-09-01 辽宁大学 一种基于信息熵的人体活动端点检测方法
CN107122767B (zh) * 2017-05-27 2020-04-10 辽宁大学 一种基于信息熵的人体活动端点检测方法
JP6777266B1 (ja) * 2019-09-18 2020-10-28 三菱電機株式会社 作業要素分析装置及び作業要素分析方法
CN116502055A (zh) * 2023-01-10 2023-07-28 昆明理工大学 一种基于类马尔可夫模型的多维特征动态异常积分模型
CN116502055B (zh) * 2023-01-10 2024-05-03 昆明理工大学 一种基于类马尔可夫模型的多维特征动态异常积分模型

Also Published As

Publication number Publication date
US6212510B1 (en) 2001-04-03
EP0933726A2 (en) 1999-08-04
EP0933726A3 (en) 2003-02-05

Similar Documents

Publication Publication Date Title
JPH11259643A (ja) 行動検出システム
US6502082B1 (en) Modality fusion for object tracking with training system and method
Wu et al. Robust visual tracking by integrating multiple cues based on co-inference learning
US6499025B1 (en) System and method for tracking objects by fusing results of multiple sensing modalities
Park et al. A hierarchical Bayesian network for event recognition of human actions and interactions
Cohen et al. Facial expression recognition from video sequences: temporal and static modeling
Zhou et al. Activity analysis, summarization, and visualization for indoor human activity monitoring
KR100474848B1 (ko) 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
US6256033B1 (en) Method and apparatus for real-time gesture recognition
Toyama et al. Bayesian modality fusion: Probabilistic integration of multiple vision algorithms for head tracking
Stiefelhagen et al. From gaze to focus of attention
Gupta et al. Constraint integration for efficient multiview pose estimation with self-occlusions
JP2006524394A (ja) 画像における人体輪郭描写
JP2006350645A (ja) 対象物検出装置及びその学習装置
KR20020037660A (ko) 객체 활동 모델링 방법
Pardas et al. Emotion recognition based on MPEG-4 facial animation parameters
Vieriu et al. On HMM static hand gesture recognition
JP2004046827A (ja) 動的システムにおける適応混合学習
Veenendaal et al. Dynamic probabilistic network based human action recognition
Noulas et al. On-line multi-modal speaker diarization
Liu et al. Design of face detection and tracking system
CN115798055B (zh) 一种基于cornersort跟踪算法的暴力行为检测方法
Teixeira et al. Object segmentation using background modelling and cascaded change detection
Wang et al. A dynamic bayesian network approach to multi-cue based visual tracking
Wang et al. Dynamic hand gesture recognition using hierarchical dynamic Bayesian networks through low-level image processing