JP5355691B2 - 画像解析装置及び画像解析プログラム - Google Patents

Description

本発明は、画像解析装置及び画像解析プログラムに関し、特に、画像解析装置の設計負荷の低減に関する。

画像認識システムの処理性能向上により、その応用分野が、従来のＦＡ(Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ)分野から、屋内外の人物監視、デジタルカメラなどの顔認識、車載カメラによる外界認識など、幅広い分野に広がりを見せている。

一方、画像認識システムの機能を実現する画像認識アプリケーション・プログラム（以降、認識アプリとする）の開発においては、事業（ビジネス）分野ごとに認識したい対象物や認識若しくは計測したい情報が異なるため、個別に認識アプリのソフトウェア開発を行っている。

図１９に例を示す。図１９では、事業分野の例として交通流計測と人物（侵入者）監視の例をあげ、それぞれの認識アプリ処理フローを示している。図１９に示すように、交通流計測の場合、画像取得（Ｓ１９０１）後に車両を検知し（Ｓ１９０２）、検知した車両とその属性として車種を登録し（Ｓ１９０３）、車両を追跡しながら得られた挙動情報である通過時刻や車速の情報を管理（登録、更新、削除など）し（Ｓ１９０４）、最終的な認識結果として車種分布、通過時刻、平均車速などの情報を集計する（Ｓ１９０５）。

一方、人物監視の場合には、画像取得（Ｓ１９１１）後に人物を検知し（Ｓ１９１２）、検知した人物とその属性として身長区分を登録し（Ｓ１９１３）、人物を追跡しながら得られた挙動情報である侵入時刻、歩行方向、人物足元位置などの情報を管理し（Ｓ１９１４）、最終的な認識結果として身長区分の分布、侵入時刻、動線分布などの情報を集計する（Ｓ１９１５）。

このように、従来は、事業分野によって認識したい対象物が異なり、且つ認識したい情報も異なるため、個別にシステムを開発していた。図１９の例の場合、認識したい対象物は一方は車両であり、他方は人である。また、認識したい情報は、一方は車速であり、他方は動線である。

上記のような開発方式に対して、従来、座標など汎用性の高い共通概念をもつデータ構造に限っては、データ構造の共通化を図る方式が提案されている（例えば、特許文献１参照）。特許文献１においては、パンチルトカメラで、カメラ座標系（２次元空間）とワールド座標系（３次元空間）を標準的なデータ構造として管理し、その相互変換を行うという例が示されている。
特開２００７−２９３７１７号公報

従来の方法では、時刻や座標など、実在の時空間を表す方式として共通の概念がある情報か、映像フレーム番号等の標準規格が定められている情報に限りデータ構造の標準化が可能であった。ここで、上記共通の概念としては、例えばＳＩ単位系がある。また、上記標準規格としては、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）規格等がある。

しかしながら、共通概念や標準規格がない情報についてはデータ構造やそれを処理する機能の共通化ができず、事業分野ごと若しくはシステムごとに個別開発をおこなっており、設計負荷が高いという課題がある。特に、事業分野が大きく異なる場合には、そもそも業界が異なるために、業界標準規格自体の互換性がなく、個別開発は避けられない。

そこで、本発明は、認識対象物体や認識すべき情報が異なる画像解析機能において個別開発を削減し、設計負荷を低減することを目的とする。

本発明の一態様は、入力された動画情報を解析して解析結果を出力する画像解析装置であって、解析対象に応じた処理を行うことにより前記動画に含まれる物体を認識する個別処理部と、前記個別処理部による認識結果に基づき、異なる複数の解析対象に対して共通の解析処理を行う共通処理部とを含み、前記個別処理部は、解析対象に応じて前記動画に含まれる物体を認識して情報を抽出する情報抽出部と、前記抽出された情報が前記共通処理部において処理される情報のいずれに対応するかを示す対応情報を記憶している対応情報記憶部と、前記共通処理部によって解析処理された情報を取得する処理結果取得部とを含むことを特徴とする。

本発明によれば、認識対象物体や認識すべき情報が異なる画像解析機能において個別開発を削減し、設計負荷を低減することが可能となる。

本発明の実施形態に係る画像形成装置のハードウェア構成を示すブロック図である。 本発明の実施形態に係る画像解析装置の機能構成を示す図である。 本発明の実施形態に係る画像解析部の詳細を示すブロック図である。 本発明の実施形態に係る対応情報の例を示す図である。 本発明の実施形態に係る対応情報の例を示す図である。 本発明の実施形態に係る物体情報記憶部に記憶されている情報の例を示す図である。 本発明の実施形態に係る時間情報記憶部に記憶されている情報の例を示す図である。 本発明の実施形態に係る空間情報記憶部に記憶されている情報の例を示す図である。 本発明の実施形態に係る画像解析装置の動作を示すフローチャートである。 本発明の実施形態に係る解析種類定義処理を示すフローチャートである。 本発明の実施形態に係る不変属性登録処理を示すフローチャートである。 本発明の実施形態に係る時系列属性登録処理を示すフローチャートである。 本発明の実施形態に係る認識結果解析処理を示すフローチャートである。 本発明の実施形態に係る解析結果表示画面の例を示す図である。 本発明の他の実施形態に係る認識結果解析処理を示すフローチャートである。 本発明の他の実施形態に係る解析結果表示画面の例を示す図である。 本発明の実施形態に係る効果を示す図である。 本発明の他の実施形態に係る画像解析部の詳細を示すブロック図である。 従来技術に係る画像解析処理の例を示すフローチャートである。

実施の形態１．
以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、撮影した動画情報を解析して各種の解析結果を出力する画像解析装置について説明する。尚、本実施形態においては、１体の装置が画像解析に係る全ての機能を含む場合を例として説明するが、ネットワークを介して接続された複数の装置に処理を分散することも可能である。

図１は、本実施形態に係る画像解析装置のハードウェア構成を示すブロック図である。図１に示すように、本実施形態に係る画像解析装置１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成に加えて、動画を撮影する画像入力部を有する。即ち、本実施形態に係る画像解析装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、画像入力部１３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４及びＩ／Ｆ１５がバス１８を介して接続されている。また、Ｉ／Ｆ１５にはＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１６及び操作部１７が接続されている。

ＣＰＵ１０は演算手段であり、画像解析装置１全体の動作を制御する。ＲＡＭ１１は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。画像入力部１３は、光学情報を電気信号に変換して画像解析装置１に入力するカメラ等の撮像デバイスである。尚、画像入力部１３は、既に生成されている静止画若しくは動画情報を入力するための情報入力部とすることもできる。

ＨＤＤ１４は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納されている。Ｉ／Ｆ１５は、バス１８と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ１６は、ユーザが画像解析装置１の状態を確認するための視覚的ユーザインタフェースである。操作部１７は、キーボードやマウス等、ユーザが画像解析装置１に情報を入力するためのユーザインタフェースである。

尚、図１に示すハードウェア構成は一例であり、他の構成によっても本実施形態に係る画像解析装置を実現することは可能である。例えば、ＬＣＤ１６や操作部１７等のユーザインタフェースを省略し、ユーザの操作とは独立したサーバとして構成することが可能である。また、ＨＤＤ１４やＲＯＭ１２等は記憶媒体の一例であり、他の種類の記憶媒体を用いることも可能である。

このようなハードウェア構成において、ＲＯＭ１２やＨＤＤ１４若しくは図示しない光学ディスク等の記録媒体に格納されたプログラムがＲＡＭ１１に読み出され、ＣＰＵ１０の制御に従って動作することにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る画像解析装置１の機能を実現する機能ブロックが構成される。

次に、図２を参照して、本実施形態に係る画像解析装置１の機能構成について説明する。図２は、本実施形態に係る画像解析装置１の機能構成を示すブロック図である。図２に示すように、本実施形態に係る画像解析装置１は、コントローラ１００、ユーザＩ／Ｆ２００及び画像入力部１３を含む。また、コントローラ１００は、主制御部１０１、デバイスドライバ１０２及び画像解析部１１０を含む。更に、画像解析部１１０は、共通処理部１２０及び個別処理部１３０を含む。

ユーザＩ／Ｆ２００は、ユーザが画像解析装置１を操作し、若しくは画像解析装置１から情報を得るためのインタフェースであり、図１に示すＬＣＤ１６及び操作部１７によって構成される。

コントローラ１００は、ソフトウェアとハードウェアとの組み合わせによって構成される。具体的には、ＲＯＭ１２や不揮発性メモリ並びにＨＤＤ１４や光学ディスク等の不揮発性記録媒体に格納されたファームウェア等の制御プログラムが、ＲＡＭ１１等の揮発性メモリ（以下、メモリ）にロードされ、ＣＰＵ１０の制御に従って構成されるソフトウェア制御部と集積回路などのハードウェアとによってコントローラ１００が構成される。コントローラ１００は、画像形成装置１全体を制御する制御部として機能する。

主制御部１０１は、コントローラ１００に含まれる各部を制御する役割を担い、コントローラ１００の各部に命令を与えると共に、ユーザＩ／Ｆとの間で情報をやりとりする。デバイスドライバ１０２は、画像解析装置１に接続される様々なハードウェァ・デバイスを制御する構成であり、本実施形態においては、カメラとしての画像入力部１３を制御する。本実施形態に係るデバイスドライバ１０２は、画像入力部１３によって電気信号に変換された撮影情報に基づき、動画情報を生成する。

画像解析部１１０は、画像入力部１３によって撮影され、デバイスドライバ１０２によって生成された動画情報を解析して解析結果を出力する。上述したように、画像解析部１１０は、共通処理部１２０及び個別処理部１３０を含む。図２に示すように、個別処理部１３０は複数設けられている。これは、異なる解析対象や異なる解析システムに対応するためである。図３に、本実施形態に係る画像解析部１１０について更に詳細に示す。

図３には、共通処理部１２０及び個別処理部１３０の機能構成が示されている。また、図３においては、複数の個別処理部１３０が共通して有する機能構成が示されている。図３に示すように、共通処理部１２０は、解析種類定義部１２１、情報管理部１２２、物体情報記憶部１２３、時間情報記憶部１２４、空間情報記憶部１２５及び情報解析部１２６を含む。また、個別処理部１３０は、画像取得部１３１、画像認識部１３２、認識結果処理部１３３、対応情報記憶部１３４、解析結果取得部１３５及び解析結果出力部１３６を含む。

まず、個別処理部１３０の機能について説明する。画像取得部１３１は、デバイスドライバ１０２によって生成された動画情報を取得する。画像取得部１３１は、取得した動画情報を画像認識部１３２に入力する。画像認識部１３２は、画像取得部１３１から入力された動画情報に基づき、動画に含まれる認識対象の物体を抽出する。即ち、画像認識部１３２が、情報抽出部として機能する。

この認識対象の物体は、画像解析装置１の用途によって異なり、交通流計測の場合、車が認識対象の物体である。また、人物監視の場合、人が認識対象の物体である。このような、画像解析装置１の様々な用途ごとに、個別処理部１３０が構成されるため、図２に示すように複数の個別処理部１３０が設けられる。画像認識部１３２は、動画情報を解析して対象の物体を認識した結果の情報を認識結果処理部１３３に入力する。

認識結果処理部１３３は、画像認識部１３２による認識結果を処理し、共通処理部１２０において解析対象となる情報を生成する。例えば、交通流計測の場合、“車種”、“通過時刻”、“車速”等の情報が生成される。また、人物監視の場合、“身長”、“侵入時刻”、“足元位置”、“歩行方向”等の情報が生成される。即ち、認識結果処理部１３３もまた、情報抽出部として機能する。認識結果処理部１３３によって生成される情報は、継時的に不変であり１つの物体について１つだけ生成される不変属性情報と、継時的に変化して１つの物体について複数生成される時系列属性情報とに分けられる。上記交通流計測の場合、“車種”が不変属性情報であり、“通過時刻”、“車速”が時系列属性情報である。また、人物監視の場合、“身長”が不変属性情報であり、“侵入時刻”、“足元位置”、“歩行方向”が時系列属性情報である。認識結果処理部１３３は、生成した情報を共通処理部１２０の情報管理部１２２に入力する。

対応情報記憶部１３４は、認識結果処理部１３３が生成した夫々の情報が、共通処理部１２０において処理される複数種類の情報のいずれに対応するかを示す対応情報を記憶している。図４、図５を参照して、対応情報記憶部１３４が記憶している情報の例を示す。図４は、交通流計測の場合において対応情報記憶部１３４に記憶されている情報の例を示す図である。

図４に示すように、対応情報記憶部１３４は、不変属性情報と時系列属性情報とに分けて対応情報を記憶している。不変属性情報の場合、不変属性１、不変属性２、・・・不変属性Ｎのように複数の情報が定義されており、図４においては、不変属性１として“車種”、不変属性２として“車体色”が関連付けられている。また、時系列属性情報においては、時間属性、空間属性及び時系列属性１、時系列属性２、・・・時系列属性Ｍのように情報が定義されており、図４においては、時間属性として“通過時刻”、時系列属性１として“車速”が関連付けられている。また、空間属性は対応する情報がなくＮｕｌｌ値となっている。

図５は、人物監視の場合において対応情報記憶部１３４に記憶されている情報の例を示す図である。図５に示すように、不変属性１として“身長”が関連付けられている。また、時間属性として“侵入時刻”、空間属性として“足元位置”、時系列属性１として“歩行方向”が関連付けられている。

解析結果取得部１３５は、共通処理部１２０によって解析された情報を取得し、解析結果出力部１３６に入力する。即ち、解析結果取得部１３５は、共通処理部１２０による処理結果の情報を取得する処理結果取得部として機能する。解析結果出力部１３６は、共通処理部１２０によって解析された結果の情報をユーザによって閲覧可能な状態に変換して出力する。換言すると、解析結果出力部１３６は、共通処理部１２０による解析結果をユーザが閲覧するための表示情報を生成する。

次に、共通処理部１２０について説明する。解析種類定義部１２１は、対応情報記憶部１３４から対応情報を取得し、個別処理部１３０から入力される情報の解析種類を定義する。解析種類定義部１２１よる定義は、情報管理部１２２に対して行われるものである。換言すると、解析種類定義部１２２は、認識結果処理部１３３から入力される複数種の情報を、夫々何の情報として認識するかを情報管理部１２２に指示する。

情報管理部１２２は、解析種類定義部１２１によって定義された情報の対応関係に基づき、認識結果処理部１３３から入力された情報を夫々物体情報記憶部１２３、時間情報記憶部１２４及び空間情報記憶部１２５のいずれかに記憶させる。物体情報記憶部１２３、時間情報記憶部１２４及び空間情報記憶部１２５の夫々に記憶されている情報について以下に示す。

図６は、物体情報記憶部１２３に記憶されている情報の例を示す図である。図６に示すように、物体情報記憶部１２３は、物体別データ及び状態別データを含む。物体別データは、動画において認識された物体毎の個体情報が蓄積されたデータであり、夫々の物体を識別する物体ＩＤ毎に、物体の時系列の状態を識別する複数の状態ＩＤ及び複数の不変属性情報が関連付けられている。

状態ＩＤは、後述する状態別データとの対応関係を保持しており、１つの物体について複数の状態を管理することができる。尚、図６においては、１つの物体についてＬ個の状態が管理される場合を例としている。不変属性は、ある物体が１つ定まったときに、その物体が固定的に持つ普遍的情報を保持するための領域である。例えば、物体が車両の場合は車種やナンバープレートの番号など、物体が人物の場合は身長や性別など、時系列に変化しない情報の事を指す。

状態別データは、物体別データに含まれる夫々の状態毎に蓄積されたデータであり、物体別データにも含まれる状態ＩＤ毎に、その状態の時間を識別する時間ＩＤ、その状態における物体の位置を識別する空間ＩＤが関連付けられている。更に、状態別データは、夫々の状態を具体的に示す情報として図４、５において説明した複数の時系列情報が関連付けられている。

状態ＩＤは、物体の状態を特定する識別子である。時間ＩＤは、後述する時間情報との対応関係を保持しており、その物体の存在時刻を表す。空間ＩＤは、後述する空間情報との対応関係を保持しており、その物体の存在位置を表す。時系列属性は、ある物体が１つ定まったときに、その物体の存在状態に応じて時系列に変化する情報を保持するための領域である。例えば、物体が車両の場合は瞬間速度など、物体が人物の場合は歩行方向など、時系列に変化する情報の事を指す。

尚、本実施例では動画像処理を例に挙げるため、同一の物体についての物体状態の群が示す情報は、並び順に意味のある時系列な状態ログになるが、本発明における認識アプリを限定するものではない。例えば、ＦＡにおける部品外観検査アプリを考える場合、被検査物体１個を撮影した検査画像１枚に対応する物体状態を１つだけ登録すれば、ＦＡ分野にも適用可能である。つまり、本発明の構成と効果は動画像処理に限定されるものではなく、静止画像処理にも適用可能である。

また、車高等、実質的には不変属性として処理すべき情報を時系列属性として処理することも可能である。これは、誤認識等により変化してしまう可能性のある情報について、物体追跡中の変化過程を観測したい場合等に特に有効である。

図７は、時間情報記憶部１２４に記憶されている時間情報の例を示す図である。図７に示すように、時間情報記憶部１２４は、図６の状態別データにも含まれる時間ＩＤ毎に、その時間が何の物体における時間であるかを示す物体ＩＤと、その時間が何の状態における時間であるかを示す状態ＩＤが関連付けられている。時間情報記憶部１２４に記憶されている物体ＩＤ及び状態ＩＤは、図６において説明した物体ＩＤ及び状態ＩＤと夫々対応する。

更に、時間情報記憶部１２４においては、夫々の時間を具体的に示す情報として図４、図５において説明した時間属性の情報が関連付けられている。尚、図７に示すように、本実施形態に係る時間属性の情報は、動画のフレームナンバーによって示されている。動画とは、連続する複数のフレーム、即ち１コマの静止画によって構成されており、夫々のフレームが何コマ目かを示すフレームナンバーにより、画像の時系列を表現することができる。尚、動画における実際の時刻は、基準となるフレームにおける実時刻及び動画のフレームレート（ｆｐｓ：ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）から求めることができる。

時間ＩＤは、時間情報を特定する識別子である。物体ＩＤと物体状態ＩＤは、前述の物体情報及び状態情報との対応関係を保持している。フレームナンバーは、状態情報と対応付けられることで、その物体の状態がいつの時点を指しているのかを表すことができる。

尚、本実施形態においては、時間を意味する情報としてフレームナンバーを用いているが、時間を意味するものであれば他の情報でも構わない。例えば、ＮＴＳＣ規格におけるフィールドナンバーを入れれば時刻表現の分解能は２倍に高まる。また、フレームナンバーやフィールドナンバーのような映像時間ではなく、ＹＹＹＹ年ＭＭ月ＤＤ日 Ｈ時Ｍ分Ｓ秒ＸＸｍｓで示されるような実際の時間(以降、実時間とする)を保持しても良い。また、映像時間と実時間の両方を保持して、映像時間と実時間との相互変換を行っても良い。このような態様により、動画中における時間を示す情報と、実時間を示す情報とを透過的に処理することが可能となる。

図８は、空間情報記憶部１２５に記憶されている情報の例を示す図である。図８に示すように、空間情報記憶部１２５は、図６の状態別データにも含まれる空間ＩＤ毎に、その空間、即ち位置が何の物体の位置であるかを示す物体ＩＤと、その位置が何の状態の位置であるかを示す状態ＩＤとが関連付けられている。即ち、空間情報記憶部１２５は、位置情報記憶部として機能する。空間情報記憶部１２５に記憶されている物体ＩＤ及び状態ＩＤは、図６において説明した物体ＩＤ及び状態ＩＤと夫々対応する。

更に空間情報記憶部１２５においては、夫々の空間、即ち位置を具体的に示す情報として、図４、図５において説明した空間属性の情報が関連付けられている。尚、図８に示すように、本実施形態に係る空間属性の情報は、動画の１コマである静止画中の座標によって示されている。

空間ＩＤは、空間情報を特定する識別子である。物体ＩＤと状態ＩＤは、前述の物体情報及び状態情報との対応関係を保持している。空間属性の情報である画像座標値Ｉｘ，Ｉｙは、その空間情報が、画像中のどの位置を意味するのかを示しており、状態情報と対応付けられることで、その物体の状態がどの位置を指しているのかを表すことができる。

尚、本実施例では、位置を意味する情報として画像座標値Ｉｘ，Ｉｙを用いているが、空間を意味するものであれば他の情報でも構わない。例えば、２次元の画像座標値ではなく、ある基準位置と軸方向を定めた３次元実空間上における、Ｘ、Ｙ、Ｚの座標値である実空間の座標値（以降、ワールド座標とする）を保持しても良い。また、画像座標とワールド座標の両方を保持して、かつ、カメラキャリブレーションなどの前処理を行ったうえで、画像座標とワールド座標との相互変換を行っても良い。画像座標とワールド座標との相互変換については、公知の方法を用いることが可能である。このような態様により、画像中における位置と実際の位置とを透過的に処理することが可能となる。

このように、本実施形態に係る画像解析装置１においては、図６の状態別データにあるように、動画から抽出された情報が“状態”という概念に分けられ、夫々の状態についての“物体”、“時間”、“空間”の情報が、物体情報記憶部１２３、時間情報記憶部１２４及び空間情報記憶部１２５に分けて記憶される。画像解析において解析対象となる情報は上記３つの情報のいずれかであることが一般的であるため、装置を汎用化する場合において、上述したように“物体”、“時間”、“空間”の情報を管理する態様が好ましい。

また、このような態様により、“物体”、“時間”、“空間”夫々の面からの解析機能を共通処理部１２０内に予め定義しておくことが可能となり、個別開発を削減するという目的を好適に達成することが可能となる。また、上記“物体”として記憶される情報については、図６の物体別データにあるように、時系列に変化する“状態”を示す情報と、不変である不変属性を示す情報とが記憶される。

また、認識結果処理部１３３から入力された情報を図６〜図８に示すように物体情報記憶部１２３、時間情報記憶部１２４及び空間情報記憶部１２５に夫々割り振る処理は、情報管理部１２２が解析種類定義部１２１による定義処理に基づいて実行する。

情報解析部１２６は、物体情報記憶部１２３、時間情報記憶部１２４及び空間情報記憶部１２５に記憶された情報に基づいて各種の解析を行う。図３に示すように、情報解析部１２６は、時刻集計部１２６ａ、不変属性解析部１２６ｂ、時系列属性解析部１２６ｃ及び空間属性解析部１２６ｄを含む。

時刻集計部１２６ａは、時間情報記憶部１２４に記憶された情報を時間属性、即ちフレームナンバーによってソート、即ち並び替える。不変属性解析部１２６ｂは、時刻集計部１２６ａによってソートされた時間情報において物体ＩＤを順に辿り、物体情報記憶部１２３を参照して各物体の不変属性を解析する。不変属性解析部１２６ｂによる解析態様としては、不変属性ごとの分布の解析等が挙げられる。

時系列属性解析部１２６ｃは、時刻集計部１２６ａによってソートされた時間情報において物体ＩＤを順に辿り、物体情報記憶部１２３を参照して各物体の時系列属性を解析する。時系列属性解析部１２６ｃによる解析態様としては、時系列属性の経時変化や平均値の解析等である。

空間属性解析部１２６ｄは、空間情報記憶部１２５に記憶された情報を空間属性、即ち座標情報に基づいてソートする。そして、ソートされた空間情報において物体ＩＤを順に辿り、物体情報記憶部１２３を参照して各物体の空間属性の分布と時系列属性の分布をそれぞれ解析する。空間属性解析部１２６ｄによる解析態様としては、各物体の移動経路の解析や、各物体の位置毎の時系列属性の変化の解析等である。

尚、図３においては、情報解析部１２６に含まれる解析機能の一例として、時刻集計部１２６ａ、不変属性解析部１２６ｂ、時系列属性解析部１２６ｃ及び空間属性解析部１２６ｄを示すが、情報の解析態様は様々であり、物体情報記憶部１２３、時間情報記憶部１２４及び空間情報記憶部１２５に記憶された情報に基づいて解析することが可能な解析態様であれば実現可能である。

次に、本実施形態に係る画像解析装置１の動作について説明する。図９は、本実施形態に係る画像解析装置１の全体動作を示すフローチャートである。図９に示すように、まず、画像解析装置１は、動画像入力の前処理として、解析種類定義を実行する(Ｓ９０１)。この処理では、図３において説明したように、解析種類定義部１２１が、対応情報記憶部１３４から対応情報を読み出し、情報管理部１２２に対して情報の対応関係を定義する。

次に、処理周期ごとの繰返し処理に移る（Ｓ９０２〜Ｓ９０７）。ここで、処理周期とは、画像入力から認識処理、結果表示にいたる一連の周期のことで、本実施例では例えば１００ｍｓなどの映像規格にあわせた周期のことを示す。この繰返し処理内では、まず、画像取得部１３１が動画情報を取得し（Ｓ９０３）、画像認識部１３２が認識処理を行う（Ｓ９０４）。

尚、認識処理は認識対象物や認識対象情報によって異なるアルゴリズムのことを指し、上述したように、異なる個別処理部１３０ごとに個別開発されるものである。即ち、画像入力処理と認識処理については公知の方法を用いることができる。例えば、交通流計測の場合、６４０×４８０画素の画像を１００ｍｓ周期で入力し、認識処理として背景差分処理によって車両を検知する方法等が考えられる。Ｓ９０４の処理により、認識結果処理部１３３が共通処理部１２０において解析対象となる情報を各種生成し、情報管理部１２２に処理結果の情報を入力する。

次に、不変属性登録処理で、情報管理部１２２が物体情報記憶部１２３に、物体ＩＤ及び不変属性情報を登録する。（Ｓ９０５）。次に、時系列属性管理処理で、情報管理部１２２が、物体情報記憶部１２３、時間情報記憶部１２４及び空間情報記憶部１２５に、状態ＩＤ、時間ＩＤ、空間ＩＤ、時系列属性情報、時間属性情報及び空間属性情報を夫々登録する。

動画像を所定の処理周期“Ｉ”ごとに入力〜処理していき、準備された動画像が終了するか、若しくはカメラのリアルタイム動画像の場合にユーザが処理終了の指示を出すと、次に、認識結果解析処理で、情報解析部１２６が、あらかじめ定められた計算方法を用いて認識結果の解析を行う（Ｓ９０８）。このような処理により、本実施形態に係る画像解析装置１の動作が完了する。

次に、Ｓ９０１における解析種類定義処理の詳細について、図１０を参照して説明する。図１０は、Ｓ９０１の解析種類定義処理を詳細に示すフローチャートである。図１０に示すように、まず、解析種類定義部１２１が、対応情報記憶部１３４から不変属性の対応情報を読み出し、解析対象の固有の情報のうち不変属性に該当する情報を不変属性１〜Ｎに対して割り当てる（Ｓ１００１）。次に、解析種類定義部１２１が、同じく解析対象の固有の情報のうち時系列に変化する情報を、時系列属性１〜Ｍに対して割り当てる（Ｓ１００２）。

次に、Ｓ９０５における不変属性の登録処理の詳細について、図１１を参照して説明する。図１１に示すように、情報管理部１２２は、まず、Ｓ９０４の認識処理で検知された物体を、物体情報記憶部１２３の物体別データに登録する（Ｓ１１０１）。これにより、物体情報記憶部１２３の物体別データ内に１つの物体を表す１データが追加される。

次に、情報管理部１２２は、解析種類定義部１２１によって定義された不変属性１〜Ｎの対応関係に基づき、Ｓ９０４の認識処理において認識された不変属性の情報を、物体情報記憶部１２３の物体別データにおけるどの領域に記憶させるかを特定する（Ｓ１１０２）。そして、情報管理部１２２は、Ｓ９０４の認識処理において認識された不変属性の情報を、Ｓ１１０２において特定した不変属性の領域に格納する（Ｓ１１０３）。

例えば、交通流計測の場合、認識処理が小型車を検知したと仮定すると、個別処理部１３０は、検知した情報を「車種＝小型車」という認識対象毎の固有の情報として情報管理部１２２に渡す。

一方、情報管理部１２２は、認識対象毎の固有の情報をそのままの形では扱わず、不変属性という抽象化された形で扱う。この際、不変属性を保持する領域は１〜Ｎの複数あるため、情報管理部１２２は、解析種類定義部１２１による定義処理に基づいて、その複数領域の中から適切な領域を決定する。このような処理により、共通処理部１２０においては、異なる複数の解析対象毎の不変属性の情報について、共通の情報形式で処理を行うことが可能となる。

次に、Ｓ９０６における時系列属性の登録処理の詳細について、図１２を参照して説明する。図１２に示すように、情報管理部１２２は、まず、Ｓ９０４の認識処理で検知された物体の状態を、物体情報記憶部１２３の状態別データに登録する（Ｓ１２０１）。これにより、物体情報記憶部１２３の状態別データ内に１つの物体状態を表す１データが追加される。

次に、情報管理部１２２は、時間情報記憶部１２４に時間情報を追加して、その物体状態が表す時刻の情報、即ちフレームナンバーを格納する（Ｓ１２０２）。更に、情報管理部１２２は、空間情報記憶部１２５に空間情報を追加して、その物体状態が表す座標値の情報を設定する（Ｓ１２０３）。そして、情報管理部１２２は、時間情報、空間情報及び状態別データ間のリンク付けを行う（Ｓ１２０４）。Ｓ１２０４の処理は、Ｓ１２０１〜１２０３において追加した夫々の情報に同一の状態ＩＤを設定する処理である。Ｓ１２０４までの処理により、追加された物体状態がいつの時点でどの位置を指しているかが確定する。

次に、情報管理部１２２は、解析種類定義部１２１によって定義された時系列属性１〜Ｍの対応関係に基づき、Ｓ９０４の認識処理において認識された時系列属性の情報を、物体情報記憶部１２３の状態別データにおけるどの領域に記憶させるかを特定する（Ｓ１２０５）。次に、情報管理部１２２は、個別処理部１３０から渡された認識情報を、Ｓ１２０５において特定した時系列属性の領域のいずれかに格納する（Ｓ１２０６）。

例えば、交通流計測において認識結果処理部１３３が車両の瞬間速度、即ち車速を計測した場合、認識結果処理部１３３は、計測した情報を「車速＝４０ｋｍ／ｈ」という解析対象固有の情報として情報管理部１２２に渡す。一方、情報を渡された情報管理部１２２は、上述した解析対象固有の情報をそのままの形では扱わず、時系列属性という抽象化された形で扱う。この際、時系列属性を保持する領域は１〜Ｍの複数あるため、情報管理部１２２は、解析種類定義部１２１による定義処理に基づいて、その複数領域の中から適切な領域を決定する。このような処理により、共通処理部１２０においては、異なる複数の解析対象毎の時系列属性の情報について、共通の情報形式で処理を行うことが可能となる。

最後に、情報管理部１２２は、物体別データと状態別データとをリンク付けする（Ｓ１２０７）。Ｓ１２０７の処理は、Ｓ１２０４において物体情報記憶部の状態別データ、時間情報記憶部及び空間情報記憶部１２５の夫々に共通に付した状態ＩＤを、物体情報記憶部１２３の物体別データにおける状態ＩＤに設定する処理である。これにより、その物体がどういう存在状態であるかが確定する。

次に、Ｓ９０８における認識結果の解析処理の詳細について、図１３を参照して説明する。図１３は、交通流計測の場合における解析処理を示すフローチャートである。図１３に示すように、まず時刻集計部１２６ａが、時間情報記憶部１２４に格納された情報を昇順に並び替える（Ｓ１３０１）。そして、不変属性解析部１２６ｂが、Ｓ１３０１において並び替えられた時間情報の物体ＩＤを順番に参照し、その物体ＩＤに対応する物体別データの不変属性の分布を集計する（Ｓ１３０２）。その後、個別処理部１３０の解析結果取得部１３５が、Ｓ１３０２において集計された情報を取得する。そして、解析結果出力部１３６が、対応情報記憶部１３４に記憶された対応情報に基づき、分布集計結果のラベル値を決定する（Ｓ１３０３）。

例えば、交通流計測の場合、不変属性１に対して「車種」という解析対象固有の情報が割り当てられているため、不変属性１に保持されている車種情報の時系列分布を集計したうえで、その集計結果に「車種」というラベル付けをする。

次に、時系列属性解析部１２６ｃが、Ｓ１３０１において並び替えられた時間情報の状態ＩＤを順番に参照し、その状態ＩＤに対応する状態別データの時系列属性の平均値を計算する（Ｓ１３０４）。その後、個別処理部１３０の解析結果取得部１３５が、Ｓ１３０４において計算された情報を取得する。そして、解析結果出力部１３６が、対応情報記憶部１３４に記憶された対応情報に基づき、平均値計算結果のラベル値を決定する（Ｓ１３０５）。

例えば、本実施例では、時系列属性１に対して「車速」という解析対象固有の情報が割り当てられている。従って、時系列属性解析部１２６ｃは、ある車両１台に対して時系列属性１に保持されている車速（正確には、瞬間車速）情報の平均値を計算して平均車速を求め、各車両の平均車速の時系列分布を集計する。解析結果出力部１３６は、上記集計結果に「車速」というラベル付けをする。

そして、解析結果出力部１３６は、グラフの縦軸と横軸を設定し（Ｓ１３０６）、グラフを表示するための表示情報を生成して出力する（Ｓ１３０７）。例えば、交通流計測の場合、解析結果出力部１３６は、対応情報記憶部１３４に記憶された時系列属性の設定情報に基づき、縦軸＝車速、横軸＝通過時刻という対応関係及びラベルを決定し、グラフ上に集計結果をプロットする。

つまり、本実施形態に係る画像解析装置１においては、解析対象毎の固有の情報は対応情報記憶部１３４に分離して定義する。そして、不変属性や時系列属性などの汎用的な、即ち、解析対象に依存しないデータ構造に対する時系列ソート、分布集計、平均値算出などの一般的な解析手法を、情報解析部１２６として、予め解析ライブラリとして定義しておく。これにより、個別処理部１３０においては、その解析手法の組合せと、グラフの縦軸横軸を指定すれば、自動的に案件固有情報に変換されたグラフが表示される。このようにして、データ解析の機能から解析対象毎の固有の情報を分離することが可能となる。

次に、図１４に、解析結果表示画面の例を示す。図１４に示すように、解析結果表示画面には、認識結果解析処理において決定された縦軸と横軸で構成される２次元グラフ上に、同じく認識結果解析処理において集計された情報がプロットされている。例えば、交通流計測の場合、不変属性として車種を集計し、かつ、時系列属性として車速を集計したうえで、縦軸を車速、横軸を通過時刻と指定した例であるため、車種別の車速が時系列にプロットされる。

尚、本実施例ではグラフの種類として２次元散布図を用いたが、本実施例におけるグラフ機能を限定するものではない。例えば、グラフの軸数を増やして３次元グラフを用いても構わないし、グラフの種類を変えて折れ線グラフや棒グラフを用いても構わない。

次に、人物監視の場合における図９のＳ９０８の解析処理の詳細について、図１５を参照して説明する。図１５に示すように、人物監視の場合における解析処理においては、まず空間属性解析部１２６ｄが、空間情報記憶部１２５に記憶された情報を、空間属性の情報、即ち座標情報に基づいて並び替える（Ｓ１５０１）。そして、空間属性解析部１２６ｄが、Ｓ１５０１において並び替えられた空間情報の空間属性を参照し、空間属性の分布を集計する（Ｓ１５０２）。また、
状態ＩＤを順番に参照し、その状態ＩＤに対応する状態別データの時系列属性の分布と空間属性の分布とをそれぞれ集計する。

また、時系列属性解析部１２６ｃが、Ｓ１５０１において並び替えられた空間情報の状態ＩＤを参照し、その状態ＩＤに対応する状態別データの時系列属性の分布を集計する（Ｓ１５０３）。その後、個別処理部１３０の解析結果取得部１３５が、Ｓ１５０２、Ｓ１５０３において集計された情報を取得する。そして、解析結果出力部１３６が、対応情報記憶部１３４に記憶された対応情報に基づき、分布集計結果のラベル値を決定する（Ｓ１５０４）。

例えば、人物監視の場合、空間属性に対して「足元位置」、時系列属性１に対して「歩行方向」という解析対象固有の情報がそれぞれ割り当てられている。従って、Ｓ１５０２、Ｓ１５０３において、個々の人物がどの座標からどの座標へ、どういう方向に歩いて行ったかが集計され、解析結果出力部１３６は、その集計結果に「足元Ｘ座標」、「足元Ｙ座標」というラベル付けをする。そして、解析結果出力部１３６は、図１３において説明した処理と同様に、グラフの縦軸と横軸を設定し（Ｓ１５０５）、グラフを表示するための情報を出力する（Ｓ１５０６）。

このように、本実施形態に係る画像解析装置１においては、時系列ソート、分布集計、平均値算出などの解析手法に加えて、空間、即ち座標値によるソートと空間上の分布集計も可能である。つまり、本実施形態に係る解析手法とは、時間的概念に基づく集計や、平均、分散などの統計的解析のみならず、空間的概念も含む。換言すると、本実施形態に係る画像形成装置１の情報解析部１２６は、物体情報記憶部１２３、時間情報記憶部１２４及び空間情報記憶部１２５に記憶された情報を集計するものであれば、いずれも実現可能である。

尚、このような情報解析機能は、上述したように、予め情報解析部１２６に備えられている機能であり、夫々の解析対象毎に解析結果取得部１３５によって呼び出されることによって実行される。どのような解析態様であれ、物体情報記憶部１２３、時間情報記憶部１２４及び空間情報記憶部１２５に記憶される情報のみを対象とするため、その解析態様は限られており、考えられ得る解析態様を予め設定することが可能である。

この他、すべての解析態様を情報解析部１２６の機能として予め実装するのではなく、情報解析部１２６には、主要な解析機能のみを実行し、頻繁に用いられない解析態様については、個別処理部１３０側から情報解析部１２６に追加することも可能である。

次に、図１６に、人物監視の場合における解析結果表示画面の例を示す。人物監視の場合における解析結果表示画面には、認識結果解析処理において決定された縦軸と横軸で構成される２次元グラフ上に、同じく認識結果解析処理において集計された情報がプロットされる。

例えば、人物監視においては、時系列属性として足元位置及び歩行方向を集計したうえで、縦軸を足元Ｙ座標、横軸を足元Ｘ座標と指定した例であるため、人物毎の移動経路がプロットされる。ここで、図１６では、数字が人物のＩＤ、ＩＤから伸びている矢印が歩行方向を示している。

次に、本発明によって得られる効果の概要を図１７に示す。図１７は、図３において説明したような個別処理部１３０と共通処理部１２０との別を、複数の個別処理部１３０に対応させて示した図である。図１７においては、上述した交通流計測及び人物監視の個別処理部１３０についての例を示している。

図１７に示すように、共通処理部１２０においては、データ構成及びその解析機能が提供される。即ち、共通処理部１２０が共通フレームワークとして機能する。これに対して、個別処理部１３０が認識アプリケーションとして機能し、夫々の個別処理部１３０が共通フレームワークによって提供される機能を利用する構成となっている。

このような構成により、一度開発された共通フレームワークは、異なる個別処理部１３０に対しても適用することが可能である。従来の開発方式では、解析対象が異なる場合は、個別開発を行うために、無駄な開発工数がかかっていた。これに対して、本実施形態に係る画像解析装置１においては、解析対象案件ごとの個別開発が必要な部分は、車両検知や人物検知などの案件固有のアルゴリズムを有する個別処理部１３０のみで良いため、開発工数を削減することが可能になる。

他方、車両検知や人物検知等、画像認識のアルゴリズムが異なる機能、即ち、解析対象に依存する機能については、個別処理部１３０として別個に開発される。仮に、上記解析対象に依存する機能を共通処理部内に含める構成とした場合、解析可能な対象が限られてしまうために、様々な解析対象に対して本実施形態に係る画像解析装置を適用することができない。これに対して、解析対象に依存する機能を個別処理部１３０として別個に設け、情報管理部１２２、解析種類定義部１２１及び情報解析部１２６との情報の入出力に対応した個別処理部１３０を解析対象毎に開発することにより、画像解析装置１を様々な解析対象に対応させることが可能となる。

更に、本実施形態においては、物体と時間と空間をそれぞれ独立した情報として関連付けを行う構成を採用している。また、認識結果解析機能として時間を基準にしたソート法と空間を基準にしたソート法の両方を備える。これにより、交通流計測等の時系列変化解析を主目的とする事業案件であっても、人流計測によるマーケティング等の空間分布解析を主目的とする事業案件であっても、高速に認識結果を集計できるという効果も得られる。

尚、上記実施形態では、本発明による処理を実行する計算機環境において、前記実施例中における任意の一つの処理手段を二つ以上の処理手段に分割して実現しても、二つ以上の任意の処理手段を統合して一つの処理手段として実現しても良く、本発明の提供する機能を損なわない限りその実現形態を制約するものではない。

また、上記実施形態においては、図３に示すように、個別処理部１３０に解析結果出力部１３６が含まれ、個別処理部１３０において表示情報が生成される場合を例として説明した。この他、図１８に示すように、共通処理部１２０側に解析結果出力部１２７として設けることも可能である。これにより、個別処理部１３０として個別開発すべき機能を更に削減することが可能となる。

１ 画像解析装置、
１０ ＣＰＵ、
１１ ＲＡＭ、
１２ ＲＯＭ、
１３ 画像入力部、
１４ ＨＤＤ、
１５ Ｉ／Ｆ、
１６ ＬＣＤ、
１７ 操作部、
１８ バス、
１００ コントローラ、
１０１ 主制御部、
１０２ デバイスドライバ、
１１０ 画像解析部、
１２０ 共通処理部、
１２１ 解析種類定義部、
１２２ 情報管理部、
１２３ 物体情報記憶部、
１２４ 時間情報記憶部、
１２５ 空間情報記憶部、
１２６ 情報解析部、
１２６ａ 時刻集計部、
１２６ｂ 不変属性解析部、
１２６ｃ 時系列属性解析部、
１２６ｄ 空間属性解析部、
１３０ 個別処理部、
１３１ 画像取得部、
１３２ 画像認識部、
１３３ 認識結果処理部、
１３４ 対応情報記憶部、
１３５ 解析結果取得部、
１３６ 解析結果出力部

Claims (13)

1. 入力された動画情報を解析して解析結果を出力する画像解析装置であって、
   解析対象に応じた処理を行うことにより前記動画に含まれる物体を認識する個別処理部と、
   前記個別処理部による認識結果に基づき、異なる複数の解析対象に対して共通の解析処理を行う共通処理部とを含み、
   前記個別処理部は、
   解析対象に応じて前記動画に含まれる物体を認識して情報を抽出する情報抽出部と、
   前記抽出された情報が前記共通処理部において処理される情報のいずれに対応するかを示す対応情報を記憶している対応情報記憶部と、
   前記共通処理部によって解析処理された情報を取得する処理結果取得部とを含み、
   前記共通処理部は、
   前記物体を識別する物体識別情報と前記物体の状態に関する情報とを関連付けて記憶している物体情報記憶部と、
   前記物体の状態に関する情報と前記物体が前記状態である時間の情報である時間情報とを関連付けて記憶している時間情報記憶部と、
   前記物体の状態に関する情報と前記物体が前記状態で存在している位置を示す位置情報とを関連付けて記憶している位置情報記憶部と、
   前記抽出された情報を前記対応情報に基づいて前記物体情報記憶部、時間情報記憶部及び位置情報記憶部のうち少なくとも１つに記憶させる情報管理部と、
   前記物体情報記憶部、時間情報記憶部及び位置情報記憶部に記憶されている情報を解析する情報解析部とを含み、
   前記対応情報は、前記解析対象に応じて設定された属性であって前記動画に含まれる物体を認識して抽出された情報の属性と、前記物体情報記憶部、時間情報記憶部及び位置情報記憶部のうち少なくとも１つとの対応関係を示す情報であり、
   前記情報管理部は、前記対応情報に基づき、前記動画に含まれる物体を認識して抽出された情報の属性を認識して前記物体情報記憶部、時間情報記憶部及び位置情報記憶部のうち少なくとも１つに記憶させることを特徴とする画像解析装置。
2. 前記物体情報記憶部は、前記物体の状態に関する情報として、時系列に変化する前記物体の複数の状態を識別する状態識別情報を記憶しており、
   前記時間情報記憶部は、前記状態識別情報と前記物体が前記状態識別情報によって識別される状態である時間の時間情報とを関連付けて記憶しており、
   前記位置情報記憶部は、前記状態識別情報と前記物体が前記状態識別情報によって識別される状態で存在している位置の位置情報とを関連付けて記憶していることを特徴とする請求項１に記載の画像解析装置。
3. 前記物体情報記憶部は、前記物体の状態に関する情報として、前記物体の継時的に変化する属性である時系列属性の情報を記憶しており、
   前記情報解析部は、前記時系列属性の情報を前記時間情報及び位置情報のうち少なくとも一方に基づいて解析することを特徴とする請求項１または２に記載の画像解析装置。
4. 前記情報解析部は、前記時間情報及び位置情報のうち少なくとも一方の変化に応じた前記時系列属性の情報の変化を解析することを特徴とする請求項３に記載の画像解析装置。
5. 前記物体情報記憶部は、前記物体の状態に関する情報として、前記物体の継時的に不変な属性である不変属性の情報を記憶しており、
   前記情報解析部は、前記不変属性の情報を前記時間情報及び位置情報のうち少なくとも一方に基づいて解析することを特徴とする請求項１乃至４いずれかに記載の画像解析装置。
6. 前記情報解析部は、前記時間情報及び位置情報のうち少なくとも一方の変化に応じた前記不変属性の情報の分布を解析することを特徴とする請求項５に記載の画像解析装置。
7. 前記時間情報記憶部は、前記時間情報と前記物体識別情報とを関連付けて記憶しており、
   前記情報解析部は、前記時間情報記憶部に記憶されている情報を前記時間情報に基づいて並び替え、並び替え後の前記時間情報に関連付けられた前記物体識別情報に基づいて前記物体情報記憶部に記憶されている情報を解析することを特徴とする請求項１乃至６いずれかに記載の画像解析装置。
8. 前記位置情報記憶部は、前記位置情報と前記物体識別情報とを関連付けて記憶しており、
   前記情報解析部は、前記位置情報記憶部に記憶されている情報を前記位置情報に基づいて並び替え、並び替え後の前記位置情報に関連付けられた前記物体識別情報に基づいて前記物体情報記憶部に記憶されている情報を解析することを特徴とする請求項１乃至７いずれかに記載の画像解析装置。
9. 前記時間情報記憶部は、前記時間情報として前記動画における時間及び実際の時間の情報を記憶することが可能であり、
   前記情報解析部は、前記時間情報記憶部において前記動画における時間と前記実際の時間とが混在する場合にいずれか一方の形式に変換して解析を行うことを特徴とする請求項１乃至８いずれかに記載の画像解析装置。
10. 前記位置情報記憶部は、前記位置情報として前記動画における位置及び実際の位置の情報を記憶することが可能であり、
    前記情報解析部は、前記位置情報記憶部において前記動画における位置と前記実際の位置とが混在する場合にいずれか一方の形式に変換して解析を行うことを特徴とする請求項１乃至９いずれかに記載の画像解析装置。
11. 前記情報解析部は、前記物体情報記憶部に記憶されている前記物体識別情報によって識別される物体の個数を集計する機能を有することを特徴とする請求項１乃至１０いずれかに記載の画像解析装置。
12. 前記情報解析部による解析結果を視覚的に表示するための表示情報を生成する表示情報生成部を更にふくむことを特徴とする請求項１乃至１１いずれかに記載の画像解析装置。
13. 入力された動画情報を解析して解析結果を出力する画像解析プログラムであって、
    解析対象に応じた処理を行うことにより前記動画に含まれる物体を認識する個別処理ステップと、
    前記個別処理部による認識結果に基づき、異なる複数の解析対象に対して共通の解析処理を行う共通処理ステップとを情報処理装置に実行させるものであり、
    前記個別処理ステップは、
    解析対象に応じて前記動画に含まれる物体を認識して情報を抽出するステップと、
    前記抽出された情報が前記共通処理ステップにおいて処理される情報のいずれに対応するかを示す対応情報を提示する対応情報提示ステップと、
    前記共通処理部によって解析処理された情報を取得する処理結果取得ステップとを含み、
    前記共通処理ステップは、
    前記物体を識別する物体識別情報と前記物体の状態に関する情報とを関連付けて記憶している物体情報記憶部、前記物体の状態に関する情報と前記物体が前記状態である時間の情報である時間情報とを関連付けて記憶している時間情報記憶部、前記物体の状態に関する情報と前記物体が前記状態で存在している位置を示す位置情報とを関連付けて記憶している位置情報記憶部の夫々に、前記抽出された情報を前記対応情報に基づいて記憶させるステップと、
    前記物体情報記憶部、時間情報記憶部及び位置情報記憶部に記憶されている情報を解析する情報解析ステップとを含み、
    前記対応情報は、前記解析対象に応じて設定された属性であって前記動画に含まれる物体を認識して抽出された情報の属性と、前記物体情報記憶部、時間情報記憶部及び位置情報記憶部のうち少なくとも１つとの対応関係を示す情報であり、
    前記抽出された情報を前記対応情報に基づいて記憶させるステップにおいては、前記動画に含まれる物体を認識して抽出された情報の属性を、前記対応情報に基づいて認識して前記物体情報記憶部、時間情報記憶部及び位置情報記憶部のうち少なくとも１つに記憶させることを特徴とする画像解析プログラム。

Images