JP4507243B2

JP4507243B2 - 行動分析方法及びシステム

Info

Publication number: JP4507243B2
Application number: JP2004089532A
Authority: JP
Inventors: 一淺間; 敦史森本; 将臣西村
Original assignee: RIKEN Institute of Physical and Chemical Research
Current assignee: RIKEN Institute of Physical and Chemical Research
Priority date: 2004-03-25
Filing date: 2004-03-25
Publication date: 2010-07-21
Anticipated expiration: 2024-03-25
Also published as: JP2005275912A; US20050254687A1; US7486800B2

Description

本発明は、対象（人や動物や移動体）の行動から外来者と内部者を判別し、あるいは不審者を判別する行動分析方法及びシステムに関する。

近年、犯罪発生率の急増に伴い、ビデオ監視システムに関する研究への期待が高まっている。従来のビデオ監視システムは、監視カメラ映像を記録するものや、監視員が複数のカメラ映像を同時にモニタリングするものが多い。
これに対して、米国では、画像理解技術を用いたビデオ監視システムの研究プロジェクトＶＳＡＭ（ＶｉｄｅｏＳｕｒｖｅｉｌｌａｎｃｅａｎｄＭｏｎｉｔｏｒｉｎｇ）が行われた（非特許文献１）。このシステムは、非特許文献２にも記載されているように、動画像理解技術により検出した侵入物体を複数のカメラが協調してトラッキングし、その状況をリアルタイムで監視員に提示するものである。

ＶＳＡＭ： "ＳｅｃｔｉｏｎＩ，ｖｉｄｅｏｓｕｒｖｅｉｌｌａｎｃｅａｎｄｍｏｎｉｔｏｒｉｎｇ"，Ｐｒｏｃ．ｏｆｔｈｅ１９９８ＤＡＲＰＡＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇＷｏｒｋｓｈｏｐ，Ｖｏｌ．１，ｐｐ．１-４４（Ｎｏｖ．１９９８）．藤吉弘亘、金出武雄，"ＶＳＡＭ：画像理解技術を用いたビデオ監視システムプロジェクトについて"，２００１

個人に対しその人が欲するサービスを提供しようとする際、その人の状態を観測することが重要である。例えば道案内というサービスにおいては、ユーザの位置情報を検出し、その行動を分析することによってユーザがどういった状況にあるのかを推定することが有効である。

上述した従来のビデオ監視システムでは、人、動物や移動体（以下、単に「対象」と呼ぶ）の行動自体を監視することはできるが、対象の行動が意味することは把握できなかった。そのため、例えばその行動から外来者と内部者を判別し、あるいは不審者を判別するためには、経験豊富な監視者の判断を必要とし、無人で自動で行うことができない問題点があった。

本発明は、かかる問題点を解決するために創案されたものである。すなわち、本発明の目的は、対象の行動から無人かつ自動で外来者と内部者を判別し、あるいは不審者を判別することができる行動分析方法及びシステムを提供することにある。

本発明によれば、所定の床面上を移動する対象を連続的に撮影して複数の画像データを記録する撮像ステップと、前記対象を除く背景画像を予め記憶し、２次元の前記各画像データから背景画像を差分して差分画像を求め、該差分画像の下端と前記床面との交点を、対象の位置を示す３次元の位置情報とし、該位置情報からなる前記対象の移動軌跡を求める移動軌跡計測ステップと、前記移動軌跡から所定の単位時間毎の速度ｖと移動方向変位角θを求め、所定の時間内の前記単位時間毎のｖ・ｃｏｓθの平均値Ｘを求め、該平均値が予め定められた範囲の値かどうかを判別する行動分析ステップと、該分析結果を出力する出力ステップとを備えた、ことを特徴とする行動分析方法が提供される。

また本発明によれば、所定の床面上を移動する対象を連続的に撮影して複数の画像データを記録する撮像装置と、前記対象を除く背景画像を予め記憶し、２次元の前記各画像データから背景画像を差分して差分画像を求め、該差分画像の下端と前記床面との交点を、対象の位置を示す３次元の位置情報とし、該位置情報からなる前記対象の移動軌跡を求める移動軌跡計測装置と、前記移動軌跡から所定の単位時間毎の速度ｖと移動方向変位角θを求め、所定の時間内の前記単位時間毎のｖ・ｃｏｓθの平均値Ｘを求め、該平均値が予め定められた範囲の値かどうかを判別する行動分析装置と、該分析結果を出力する出力装置とを備えた、ことを特徴とする行動分析システムが提供される。

上記本発明の方法およびシステムによれば、所定の床面上を移動する対象を連続的に撮影した画像データから、無人かつ自動で移動軌跡を求めることができる。また、この移動軌跡から無人かつ自動で対象の行動を分析することができる。従って、対象の行動から無人かつ自動で外来者と内部者を判別し、あるいは不審者を判別することができる。

前記移動軌跡計測装置により、前記移動軌跡計測ステップにおいて、対象を除く背景画像を予め記憶し、前記各画像データから背景画像を差分して差分画像を求め、該差分画像の下端と前記床面との交点を対象の位置として移動軌跡を求めるので、所定の床面上を行動する対象の３次元位置を、簡単な画像処理により、２次元の画像データから特定することができる。

所定の判別対象（外来者や不審者）は、一般的にうろうろするためｖ・ｃｏｓθの平均値Ｘが小さくなり、判別対象以外の内部者は通常うろうろせずに速く目的の方向に向かうため平均値Ｘが大きくなる。従ってこの平均値Ｘを動作要素指標とすることにより、所定の判別対象を精度よく判別することができる。

前記統計的手段において、所定の判別対象の平均値Ｘの分布と判別対象以外の平均値Ｘの分布とで差異がある場合に、それぞれの分布をｆ_ｖ（Ｘ）とｆ_ｓ（Ｘ）で関数近似し、判別対象の発生確率ｐ（ｖ）と判別対象以外の発生確率ｐ（ｓ）を予め求め、
測定した値Ｘ＝ｘｉから、ベイズの定理により、それが判別対象である確率ｐ（ｖ｜Ｘ＝ｘｉ）と判別対象以外である確率ｐ（ｓ｜Ｘ＝ｘｉ）を演算し、確率の大小によって判別対象であるか否かを判別する。
前記平均値は、後述する実施例では、正規分布で近似できることがわかった。また判別対象の発生確率ｐ（ｖ）と判別対象以外の発生確率ｐ（ｓ）は、過去の実績等から予め求めることができるので、ベイズの定理により、判別対象と判別対象以外の確率を容易に演算することができる。この演算結果を比較し、確率の大きい方を選択することにより所定の判別対象精度よく判別することができることが後述する実施例により、確認された。

上述したように、本発明の行動分析方法及びシステムは、対象の行動から無人かつ自動で外来者と内部者を判別し、あるいは不審者を判別することができる、等の優れた効果を有する。

以下、本発明を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図１は、本発明による行動分析システムの全体構成図である。この図に示すように本発明の行動分析システム１０は、撮像装置１２、移動軌跡計測装置１４、行動分析装置１６および出力装置１８を備える。なお本発明において対象とは人、動物や移動体を意味する。
撮像装置１２は、例えば人工網膜カメラ１２ａとこれを制御するＣＰＵボード１２ｂからなり、対象の行動を連続的に撮影して画像データを記録する。画像データは、一定の時間間隔（例えば１秒毎）に取得するのがよい。
移動軌跡計測装置１４と行動分析装置１６は、例えばＬＡＮボード１３で撮像装置１２にネットワーク接続されたコンピュータ１５からなる。このコンピュータ１５は、記憶装置を備え、撮像装置１２で取得した複数の画像データを撮影時刻と共に記憶する。移動軌跡計測装置１４は、コンピュータ１５に記憶されたプログラムであり、複数の画像データから対象の移動軌跡を求める。行動分析装置１６もコンピュータ１５に記憶されたプログラムであり、移動軌跡計測装置１４で得た移動軌跡から対象の行動を分析する。
なお、移動軌跡計測装置１４と行動分析装置１６をＣＰＵボード１２ｂで行うこともできる。
出力装置１８は、例えばコンピュータ１５に接続されたＣＲＴ装置、プリンタ、警報機等であり、分析結果を出力する。

図２は、本発明による行動分析方法の全体フロー図である。この図に示すように本発明の行動分析方法は、撮像ステップＳ１、移動軌跡計測ステップＳ２、行動分析ステップＳ３および出力ステップＳ４からなる。
撮像ステップＳ１では、対象の行動を経時的に撮影して画像データを記録する。移動軌跡計測ステップＳ２では、画像データから対象の移動軌跡を求める。行動分析ステップＳ３では、前記移動軌跡から対象の行動を分析する。出力ステップＳ４では、分析結果を出力する。

図２において、移動軌跡計測ステップＳ２は、対象を除く背景画像を予め記憶する背景画像記憶ステップＳ２１と、画像データから背景画像を差分して差分画像を求める画像差分ステップＳ２２と、差分画像の下端と床面との交点を対象の位置として移動軌跡を求める対象位置演算ステップＳ２３とからなる。
また、行動分析ステップＳ３は、移動軌跡から所定の単位時間毎の速度ｖと移動方向変位角θを求めるｖ・θ演算ステップＳ３１と、所定の時間内の前記単位時間毎のｖ・ｃｏｓθを計算するｖ・ｃｏｓθ計算ステップＳ３２と、その平均値Ｘを求める平均値Ｘ演算ステップＳ３３と、平均値を動作要素指標として所定の判別対象を判別する統計ステップＳ３４とを有する。

統計ステップＳ３４は、所定の判別対象の平均値Ｘと判別対象以外の平均値Ｘとで分布に差異がある場合に、それぞれの分布をｆ_ｖ（Ｘ）とｆ_ｓ（Ｘ）で関数近似する関数近似ステップＳ３４１と、判別対象の発生確率ｐ（ｖ）と判別対象以外の発生確率ｐ（ｓ）を予め求め、測定した値Ｘ＝ｘｉから、ベイズの定理により、それが判別対象である確率ｐ（ｖ｜Ｘ＝ｘｉ）と判別対象以外である確率ｐ（ｓ｜Ｘ＝ｘｉ）を演算する確率計算ステップＳ３４２と、確率の大小によって判別対象であるか否かを判別する判別対象判別ステップＳ３４３とからなる。

以下本発明の実施例を説明する。なおこの例において、対象とは人を意味し、内部者と外来者に区分される。
１．個人が自分に最適な情報を探し出すのは困難となってきた今日、必要なときにユーザに対して有用な情報を提示できる環境が求められる。環境側がリアルタイムで有用な情報を提供するためにはユーザの状況、動きを正確に検出する必要がある。本発明では簡単なサービスである、道案内サービスを例としてユーザの移動軌跡から行動分析を行うシステムを提案する。
位置情報を検出する手段として、ＧＰＳを用いたものが挙げられるが、障害物などから屋内でリアルタイムにユーザを追跡できないという問題点があった。また、位置情報を取得してもそのデータを提示することに注力し、その行動の分析を行う方法は掲示されていない。そこで本発明では狭い範囲（建物内）でも誘導可能でリアルタイムな追跡が可能なユーザの位置情報検出を行い、その移動軌跡からユーザの行動分析を行うことにした。

・要件
屋内でのリアルタイムな追跡という点では位置精度の誤差や、障害物等により正確に取得できないという問題がある。そこで本発明では屋内でもユーザの行動が正確に判別できる、カメラを元にした画像処理を用いてユーザの移動を追跡することにした。また人に道案内サービスを提供するためには、人は周囲４００ｍｍ程度であれば、画像や音声などの情報を容易に受け取ることができると考えられるので、位置検出システムには４００ｍｍ以内の誤差で人が検出できることが要求される。

・提案手段
３．１センシング手段
図３は本発明における撮像手段を示す模式図であり、図４は座標変換の模式図、図５は背景差分法の具体例である。
図３において、カメラ１２ａで得られる２次元の画像上の座標（ｕ，ｙ）から３次元の位置情報（ｘ，ｙ，ｚ）を抽出するためにはパラメータがひとつ足らず、奥行きが得られない。そこで屋内での対象１（ユーザ）の移動というものが床面２の上で行われている点に注目し、画像上の移動体の最下点が図４の世界座標系でｚ＝０であると仮定し、ｚ＝０となるユーザの足元を図５の背景差分法によって検出することで座標交換を利用して３次元でのユーザの位置情報を検出する。
足元を検出した後、カメラ座標系の原点と世界座標系の原点の距離をｈとし、ｘ軸，ｙ軸，ｚ軸の回転角度をそれぞれθｘ，θｙ，θｚとして世界座標系（ｘ，ｙ，ｚ）における移動体に位置を数１の式（１）で検出する。

３．２行動分析
図６は対象の行動パターンの模式図であり、図７はその動作要素指標の説明図である。図６（Ａ）（Ｂ）に示すように、所定の判別対象（すなわち外来者や不審者）は、一般的にうろうろするのに対して、判別対象以外の内部者は通常うろうろせずに速く目的の方向に向かう。そのため図６（Ｃ）に示すように、ある一定の時間間隔で対象の位置を検出し（この例では１，２，３の３点）、位置２から３に至る間の速度と方向をｖ、θとすると、一般的に外来者や不審者は、一般にｖｃｏｓθの平均値Ｘが小さくなり、内部者は平均値Ｘが大きくなる。
そこで本発明では、位置を検出した後、任意の時間長にも対応するため移動軌跡を動作要素（ｖ，θ）に分解し動きによって行動パターンを比較する。このとき動作要素指標Ｘを数２の式（２）のように定義する。

内部者、外来者それぞれのＸの確率密度関数ｆ_ｓ（Ｘ），ｆ_ｖ（Ｘ）が正規分布すると仮定した外来者の検出を行う。ｆ_ｓ（Ｘ），ｆ_ｖ（Ｘ）は、数３の式（３）のように示される。

Ｘ＝ｘｉが与えられたとき、それが内部者のものであるという事後確率をｐ（ｓ｜Ｘ＝ｘｉ）、外来者であるという事後確率をｐ（ｖ｜Ｘ＝ｘｉ）と定義して、比較することで外来者の検出を行う。

・人の行動分析システムの開発
実際にシステムを構築し、予備実験を行い行動分析のパラメータを定義し実証実験を行い、その分析精度を検証する。ここで測定対象は一人のみとする。
４．１実験環境
図８は、実験場所の平面図である。この実験は、大学構内のエレベータ前の廊下で行った。
図９（Ａ）は画像を取得するユビキタスデバイスとして使用した三菱電機製のμＴ-Ｅｎｇｉｎｅの外観写真であり、図９（Ｂ）は実際に取得した画像である。
このマイクロサーバは、ＣＰＵボード、拡張ＬＡＮボード、人工網膜カメラ、等で構成され、これを無線ＬＡＮで別のＰＣに接続して用いた。人工網膜カメラの分解能による誤差は測定範囲で最大で垂直方向３００ｍｍ、垂水平方向６９ｍｍであり、システムに要求される精度を満たしていた。なお、ＣＰＵボード、拡張ＬＡＮボード、人口網膜カメラのスペック等のデータを表１に示す。

４．２予備実験
予備実験のために取得したサンプル数１５５（人）であり、そのうち内部者は、学生、教官５６、秘書６６、清掃の人５であり、外来者は訪問者１２、会議参加者１５、エレベータ点検１であった。
図１０（Ａ）（Ｂ）は移動軌跡の内部者の例を、図１１は外来者の例を示す。これらの図から、外来者は、一般的にうろうろするのに対して、内部者は通常うろうろせずに速く目的の方向に向かうとする仮定が正しいことがわかる。
図１２（Ａ）（Ｂ）は、内部者と外来者の動作要素指標Ｘと頻度の計測値である。この図から、内部者と外来者それぞれについて動作要素指標Ｘが正規分布すると仮定すると、図１３に示すように、それぞれの平均値μｓ＝１１３５、μｖ＝２３７と標準偏差σｓ＝６５６，σｖ＝２７０が得られる。
これらの値を数４の式（４）に代入し、ベイズの定理により事後確率ｐ（ｓ｜Ｘ＝ｘｉ）、ｐ（ｖ｜Ｘ＝ｘｉ）を導く。ここでａ＝１２８は内部者数，ｂ＝２７は外来者数であり、判別対象の比率ｐ（ｖ）と判別対象以外の比率ｐ（ｓ）はそれぞれｂ／（ａ＋ｂ）、ｂ／（ａ＋ｂ）である。

４．３実証実験
実証実験のために取得したサンプル数は５５（人）であり、内部者４５人は学生、教官２３、秘書２０、清掃の人２であり、外来者１０人は訪問者であった。
これらの対象の平均値Ｘ＝ｘｉを予備実験で求めた事後確率の式にＸの値を代入し比較することで、外来者の検出を行った。すなわち得られた判別対象の確率ｐ（ｖ｜Ｘ＝ｘｉ）と判別対象以外の確率ｐ（ｓ｜Ｘ＝ｘｉ）を演算し、確率の大きい方を選択した。

４．４実験結果
外来者は９０％、内部者は９５．６％の認識率で判別が可能であった。外来者を内部者と誤認する第１種の誤りは１０％あり、１０人のうち９人は正解、１人は不正解であった。また内部者を外来者とする第２種の誤りは４．４％あり、４５人のうち４３人は正解、２人は不正解であった。
外来者や不審者を内部者とする第１種の誤りが特に重要であるが、この誤認識率は１０％に留まっており、システムの有効性を検証できた。
道案内の行動分析において内部者を外来者と間違える第２種の誤りは許されるが、道案内の対象である外来者を検出できない第１種の誤りは好ましくないので、この値をさらに低下させるような改善が求められる。

図１４は、外来者を内部者と誤認識した例である。この場合、外来者にもかかわらず、その行動の一部は動作要素指標Ｘが大きくなっており、その結果第１種の誤りが生じたものと推定できる。したがって、平均値Ｘ（動作要素指標）を時間をずらして複数取得し、そのうち例えば最小のものを用いることにより、このような誤りを低減し、正解率をさらに高めることができると考えられる。

なお、本発明は上述した実施形態及び実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。

本発明による行動分析システムの全体構成図である。本発明による行動分析方法の全体フロー図である本発明における撮像手段を示す模式図である。座標変換の模式図である。背景差分法の具体例である。対象の行動パターンの模式図である。対象の動作要素指標の説明図である。実験場所の平面図である。マイクロサーバの外観写真と実際に取得した画像である。内部者の移動軌跡例である。外来者の移動軌跡例である。内部者と外来者の動作要素指標Ｘと頻度の計測値である。動作要素指標Ｘの正規分布図である。外来者を内部者と判別した移動軌跡例である。

符号の説明

１対象（人、動物）、２床面、
１０分析システム、１２撮像装置、
１２ａ人工網膜カメラ、１２ｂＣＰＵボード、
１３ＬＡＮボード、１４移動軌跡計測装置、
１５コンピュータ、１６行動分析装置、
１８出力装置

Claims

所定の床面上を移動する対象を連続的に撮影して複数の画像データを記録する撮像ステップと、
前記対象を除く背景画像を予め記憶し、２次元の前記各画像データから背景画像を差分して差分画像を求め、該差分画像の下端と前記床面との交点を、対象の位置を示す３次元の位置情報とし、該位置情報からなる前記対象の移動軌跡を求める移動軌跡計測ステップと、
前記移動軌跡から所定の単位時間毎の速度ｖと移動方向変位角θを求め、所定の時間内の前記単位時間毎のｖ・ｃｏｓθの平均値Ｘを求め、該平均値が予め定められた範囲の値かどうかを判別する行動分析ステップと、
該分析結果を出力する出力ステップとを備えた、ことを特徴とする行動分析方法。
前記統計的手段において、所定の判別対象の平均値Ｘの分布と判別対象以外の平均値Ｘの分布とで差異がある場合に、それぞれの分布をｆ_ｖ（Ｘ）とｆ_ｓ（Ｘ）で関数近似し、判別対象の発生確率ｐ（ｖ）と判別対象以外の発生確率ｐ（ｓ）を予め求め、
測定した値Ｘ＝ｘｉから、ベイズの定理により、それが判別対象である確率
ｐ（ｖ｜Ｘ＝ｘｉ）と判別対象以外である確率ｐ（ｓ｜Ｘ＝ｘｉ）を演算し、確率の大小によって判別対象であるか否かを判別する、ことを特徴とする請求項１に記載の行動分析方法。
所定の床面上を移動する対象を連続的に撮影して複数の画像データを記録する撮像装置と、
前記対象を除く背景画像を予め記憶し、２次元の前記各画像データから背景画像を差分して差分画像を求め、該差分画像の下端と前記床面との交点を、対象の位置を示す３次元の位置情報とし、該位置情報からなる前記対象の移動軌跡を求める移動軌跡計測装置と、
前記移動軌跡から所定の単位時間毎の速度ｖと移動方向変位角θを求め、所定の時間内の前記単位時間毎のｖ・ｃｏｓθの平均値Ｘを求め、該平均値が予め定められた範囲の値かどうかを判別する行動分析装置と、
該分析結果を出力する出力装置とを備えた、ことを特徴とする行動分析システム。
前記統計的手段において、所定の判別対象の平均値Ｘと判別対象以外の平均値Ｘとで分布に差異がある場合に、それぞれの分布をｆ_ｖ（Ｘ）とｆ_ｓ（Ｘ）で関数近似し、判別対象の発生確率ｐ（ｖ）と判別対象以外の発生確率ｐ（ｓ）を予め求め、
測定した値Ｘ＝ｘｉから、ベイズの定理により、それが判別対象である確率
ｐ（ｖ｜Ｘ＝ｘｉ）と判別対象以外である確率ｐ（ｓ｜Ｘ＝ｘｉ）を演算し、確率の大小によって判別対象であるか否かを判別する、ことを特徴とする請求項３に記載の行動分析システム。