JP6468946B2

JP6468946B2 - 画像処理方法、画像処理装置、及び画像処理プログラム

Info

Publication number: JP6468946B2
Application number: JP2015106349A
Authority: JP
Inventors: 泳青孫; 数藤　恭子; 恭子数藤; 行信谷口
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2015-05-26
Filing date: 2015-05-26
Publication date: 2019-02-13
Anticipated expiration: 2035-05-26
Also published as: JP2016218953A

Description

本発明は、画像処理方法、画像処理装置、及び画像処理プログラムに係り、特に、動画像の時空間特徴量を求める画像処理方法、画像処理装置、及び画像処理プログラムに関する。

従来、動画像から主要な撮影対象を認識するシーン認識、動画像中の人物、物体等の動作等のイベントを検出するイベント検出等、動画像のシーン解析技術は幅広く行われている。このようなシーン認識、イベント検出等において、人物、物体等の被写体の変化及び状態を精度良く表現するために、時空間特徴量が用いられている。この時空間特徴量は、動画像から抽出された視覚的な特徴量及び動きの特徴量を同時に表現することが可能な特徴量である。

時空間特徴量を算出する方法としては、以下のような手法が知られている。

まず、動画像に含まれる複数のフレーム画像から、空間軸及び時間軸で構成される局所立方体（cuboid）を抽出する。例えば、非特許文献１及び２には、空間軸にガウシアンフィルターを適用し、時間軸にガボールフィルタを適用することにより、局所立方体を抽出する手法が開示されている。次に、抽出した局所立方体に対して、視覚的な特徴量をHistgram of Orient Gradient（ＨｏＧ）で表現し、動きの特徴量をHistogram of Orient Flow（ＨｏＦ） Histogramで表現することにより時空間特徴量を算出する。

P. Dollar, G. Cottrell, and S. Belongie, "Behavior recognition via sparse spatio-temporal features", In Proc. of Surveillance and Performance Evaluation of Tracking and Surveillance, pp. 65-72, 2005. Ivan Laptev, Tony Lindeberg, "Local descriptors for spatiotemporal recognition", Spatial Coherence for Visual Motion Analysis Lecture Notes in Computer Science Volume 3667, 2006, pp 91-103.

上記の非特許文献１及び２に示すような時空間特徴量の算出方法では、背景及び被写体を含む画像全体から局所立方体を抽出し、その局所立方体を追跡することにより時空間特徴量を算出する。そのため、撮影の制約を設けない自由な環境で撮影された動画像を処理対象とする場合、画質が粗かったり、背景が複雑であったり、様々な被写体が様々な速度及び方向に変化したりすることにより、局所立方体を量子化してサイズを求めることが困難となる。

例えば、上記のような環境で撮影した動画像では、背景が複雑であったり状況によって被写体が遮蔽されてしまったりする場合がある。その場合、画像全体から１つの特徴量を算出するＢｏＷ（bag of visual words）等の従来の時空間特徴量の算出手法では、シーン認識、イベント検出等に用いる情報量が不足してしまったり、不要な特徴点（例えば、背景）を追跡してしまったりしていた。それにより、算出された時空間特徴量は、シーン認識、イベント検出等に必要な主要な被写体への対応関係が不明確となり、動画像の被写体の変化や追跡を行うことが困難となっていた。

本発明は、以上のような事情に鑑みてなされたものであり、人物や被写体の動きを精度良く表現した動画像の時空間特徴量を求めることができる画像処理方法、画像処理装置、及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像処理方法は、抽出部、人物検出部、動き検出部、被写体検出部、生成部、及び算出部を備えた画像処理装置における画像処理方法であって、前記抽出部が、動画像から複数組のフレーム画像の組を抽出するステップと、前記人物検出部が、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像から人物領域を検出するステップと、前記動き検出部が、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の各々のフレーム画像を比較することにより動き領域を検出するステップと、前記被写体検出部が、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像から被写体領域を検出するステップと、前記生成部が、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像において、前記人物領域及び前記動き領域の少なくとも一方と、前記被写体領域と、が重複する領域をキー領域として生成するステップと、前記算出部が、前記複数組のフレーム画像の組の各々について生成した前記キー領域から前記動画像の時空間特徴量を算出して出力するステップと、を含む。

なお、前記算出部が前記動画像の時間特徴量を算出して出力するステップは、前記算出部が、前記複数組のフレーム画像の組の各々について生成した前記キー領域の局所特徴点を抽出し、抽出した前記局所特徴点を追跡した追跡情報に基づいて前記時空間特徴量を算出して出力するようにしても良い。

また、前記抽出部が前記フレーム画像の組を抽出するステップは、前記抽出部が、前記動画像から一定の時間間隔の２枚の前記フレーム画像を複数組抽出するようにしても良い。

本発明の画像処理装置は、動画像から複数組のフレーム画像の組を抽出する抽出部と、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像から人物領域を検出するステップ人物検出部と、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の各々のフレーム画像を比較することにより動き領域を検出する動き検出部と、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像から被写体領域を検出する被写体検出部と、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像において、前記人物領域及び前記動き領域の少なくとも一方と、前記被写体領域と、が重複する領域をキー領域として生成する生成部と、前記複数組のフレーム画像の組の各々について生成した前記キー領域から時空間特徴量を算出して出力する算出部と、を備える。

本発明の画像処理プログラムは、コンピュータに、上記画像処理方法の各ステップを実行させるプログラムである。

本発明によれば、人物や被写体の動きを精度良く表現した動画像の時空間特徴量を求めることができる、という効果が得られる。

実施形態に係る画像処理装置の構成を示すブロック図である。実施形態に係る画像処理においてフレーム画像の組を抽出する方法の一例を示す模式図である。実施形態に係る画像処理の流れの一例を示す模式図である。実施形態に係る１組のフレーム画像の一例を示す正面図である。実施形態に係る１組のフレーム画像の何れか一方のフレーム画像であって、人物が検出された場合のフレーム画像の一例を示す正面図である。実施形態に係る１組のフレーム画像の何れか一方のフレーム画像であって、動きが検出されたフレーム画像の一例を示す正面図である。実施形態に係る１組のフレーム画像の何れか一方のフレーム画像であって、人物又は動きが検出されたフレーム画像の一例を示す正面図である。実施形態に係る１組のフレーム画像の何れか一方のフレーム画像であって、被写体が検出されたフレーム画像の一例を示す正面図である。実施形態に係る１組のフレーム画像の何れか一方のフレーム画像であって、キー領域が検出されたフレーム画像の一例を示す正面図である。実施の形態に係る画像処理装置により実行される画像処理の全体の流れを示すフローチャートである。実施の形態に係る画像処理装置により実行される時空間特徴量の算出処理のサブルーチンの流れを示すフローチャートである。

以下、図面を参照して、本実施形態に係る画像処理装置を説明する。

本実施形態では、動画像から人物及び動きのある主要被写体を検出し、検出した人物及び主要被写体の動きを追跡して時空間特徴量を生成することにより、動画像からシーンを精度よく認識したり、イベントを精度良く検出したりできるようにする。

本実施形態に係る画像処理装置は、動画像から複数組のフレーム画像の組を抽出し、複数組のフレーム画像の組の各々について、フレーム画像の組の何れか一方のフレーム画像から人物領域を検出する。また、本実施形態に係る画像処理装置は、複数組のフレーム画像の組の各々について、フレーム画像の組の各々のフレーム画像を比較することにより動き領域を検出し、複数組のフレーム画像の組の各々について、フレーム画像の組の何れか一方のフレーム画像から被写体領域を検出する。また、本実施形態に係る画像処理装置は、複数組のフレーム画像の組の各々について、フレーム画像の組の何れか一方のフレーム画像において、人物領域及び動き領域の少なくとも一方と、被写体領域と、が重複する領域をキー領域として生成し、複数組のフレーム画像の組の各々について生成したキー領域から時空間特徴量を算出して出力する。

本実施形態に係る画像処理装置１０は、図１に示すように、記憶部１８、抽出部２０、人物検出部２２、動き検出部２４、統合部２６、被写体検出部２８、生成部３０、及び算出部３２を備えている。

記憶部１８は、シーン認識、イベント検出等の対象である動画像情報を記憶している。また、記憶部１８は、算出部３２で生成された時空間特徴量を示す情報を受信した場合、受信した時空間特徴量を示す情報を記憶する。

抽出部２０は、画像処理を行う際に記憶部１８から動画像情報を読み込む。また、抽出部２０は、読み込んだ動画像情報によって示される動画像に含まれる複数のフレーム画像から、複数組のフレーム画像の組を抽出する。

本実施形態では、一例として図２に示すように、動画像に含まれる複数のフレーム画像４０から、動画開始時からｔ１秒後のフレーム画像４０Ａと、ｔ１＋ｓ秒後のフレーム画像４０Ｂとをペアとした１組のフレーム画像を抽出する。また、本実施形態では、動画開始時からｔ２秒後のフレーム画像４０Ｃと、ｔ２＋ｓ秒後のフレーム画像４０Ｄとをペアとした１組のフレーム画像４０を抽出する。

このように、本実施形態では、一定の時間間隔ｓ秒（例えば、１秒）の２枚のフレーム画像４０を抽出し、抽出した２枚のフレーム画像４０をペアとして組み合わせるが、複数組のフレーム画像４０の組の組み合わせ方法はこれに限らない。例えば、時間帯毎に抽出する２枚のフレーム画像４０の時間間隔を異ならせても良い。

抽出部２０は、上記のようにして抽出した複数組のフレーム画像４０の組を示すペアフレーム画像情報を人物検出部２２に出力する。

人物検出部２２は、ペアフレーム画像情報を取得すると、一例として図３に示すように、１組のフレーム画像４０毎に、何れか一方のフレーム画像４０Ａから人物（顔、体等）を表す人物領域４２を検出する。

人物領域４２の検出方法としては、公知の手法を適用することができ、例えば、オープンソースのコンピュータビジョン向けライブラリであるＯｐｅｎＣＶのｈｕｍａｎｄｅｔｅｃｔｏｒを適用することができる。また、検出対象は人物の体の領域を検出しても良く、例えばＯｐｅｎＣＶのｆａｃｅｄｅｔｅｃｔｏｒを用いて人物の顔の領域を検出しても良い。

一例として図４に示すように、フレーム画像４０Ａ、４０Ｂは、例えば、人物Ａ、人物Ｂ、自動車Ｃ、太陽Ｄ等が撮影されたフレーム画像４０である。一例として図５に示すように、フレーム画像４０Ａから、人物領域４２として、人物Ａが撮影されている人物領域４２Ａ、及び人物Ｂが撮影されている人物領域４２Ｂが検出される。

また、人物検出部２２は、検出した人物領域４２を表す人物領域情報を、ペアフレーム画像情報と共に動き検出部２４に出力する。

動き検出部２４は、ペアフレーム画像情報及び人物領域情報を取得すると、ペアフレーム画像情報によって示される１組のフレーム画像４０毎に、双方のフレーム画像４０Ａ、４０Ｂを比較することにより、動きが発生した動き領域４４を検出する。

本実施形態では、１組のフレーム画像４０に含まれる２つのフレーム画像４０に対して追跡手法を用いることにより、フレーム画像４０内において動きが発生している領域を動き領域４４として求める。追跡手法としては、公知の手法を適用することができ、例えば、下記の参考文献１に開示されたｏｐｔｉｃａｌｆｌｏｗを適用することができる。

［参考文献１］"An iterative image registration technique with an application to stereo vision", Bruce D. Lucas , Takeo Kanade, IJCAI'81 Proceedings of the 7th international joint conference on Artificial intelligence - Volume 2 Pages 674-679.

一例として図６に示すように、フレーム画像４０Ａから、動き領域４４として、人物Ａが撮影されている動き領域４４Ａ、人物Ｂが撮影されている動き領域４４Ｂ、自動車Ｃが撮影されている動き領域４４Ｃ、及び太陽Ｄが撮影されている動き領域４４Ｄが検出される。また、動き検出部２４は、検出した動き領域４４を示す動き領域情報をペアフレーム画像情報及び人物領域情報と共に統合部２６に出力する。

統合部２６は、ペアフレーム画像情報、人物領域情報及び動き検出情報を取得すると、人物領域情報及び動き領域情報から、１組のフレーム画像４０毎に、人物領域４２及び動き領域４４をＯＲ演算により統合する。また、統合部２６は、１組のフレーム画像４０毎に、統合により得られたＯＲ画像から、人物領域４２及び動き領域４４の少なくとも一方に属する領域である人物動き領域を検出する。具体的には、統合部２６は、フレーム画像４０において、人物領域４２に属さない画素を０に置換した画像と、動き領域４４に属さない画素を０に置換した画像とでＯＲ演算を行ってＯＲ画像を生成する。そして、ＯＲ画像において残った人物領域４２及び動き領域４４を、フレーム画像４０における人物動き領域４６として検出する。

本実施形態では、一例として図３に示すように、フレーム画像４０Ａにおいて、人物動き領域４６を示す人物動き情報が生成される。この際、一例として図７に示すように、フレーム画像４０Ａから、人物動き領域４６として、人物Ａが撮影されている人物動き領域４６Ａ、人物Ｂが撮影されている人物動き領域４６Ｂ、自動車Ｃが撮影されている人物動き領域４６Ｃ、及び太陽Ｄが撮影されている人物動き領域４６Ｄが検出される。

また、統合部２６は、人物動き領域４６を示す人物動き情報を、ペアフレーム画像情報と共に被写体検出部２８に出力する。

被写体検出部２８は、ペアフレーム画像情報及び人物動き情報を取得すると、一例として図３に示すように、１組のフレーム画像４０毎に、何れか一方のフレーム画像４０Ａから被写体を表す被写体領域４８を検出する。背景を除いた主要な被写体領域４８の検出手法としては、公知の検出手法を適用することができ、例えば、下記の参考文献２に開示されているｓｅｌｅｃｔｉｖｅｓｅａｒｃｈ、又はその他の公知の手法を適用することができる。

［参考文献２］"Selective Search for Object Recognition", Jasper R. R. Uijlings, Koen E. A. van de Sande, Theo Gevers, Arnold W. M. Smeulders. International Journal of Computer Vision, Volume 104 (2), page 154-171, 2013.

一例として図８に示すように、フレーム画像４０Ａから、被写体領域４８として、人物Ａが撮影されている被写体領域４８Ａ乃至４８Ｃ、人物Ｂが撮影されている被写体領域４８Ｄ乃至４８Ｇ、及び自動車Ｃが撮影されている被写体領域４８Ｈ乃至４８Ｍが検出される。なお、被写体領域４８Ａは人物Ａの顔の領域であり、被写体領域４８Ｂは人物Ａのズボンのベルト部分を含む領域であり、被写体領域４８Ｃは人物Ａの全体の領域である。また、被写体領域４８Ｄは人物Ｂの帽子を含む領域であり、被写体領域４８Ｅは人物Ｂの眼鏡を含む領域であり、被写体領域４８Ｆは人物Ｂのズボンのベルト部分を含む領域であり、被写体領域４８Ｇは人物Ｂの全体の領域である。また、被写体領域４８Ｈは自動車Ｃの車体の上に付いている表示の領域であり、被写体領域４８Ｉは自動車Ｃのフロントウィンドウの領域であり、被写体領域４８Ｊは自動車Ｃの前方右側に設けられた前照灯の領域であり、被写体領域４８Ｋは自動車Ｃの前方左側に設けられたタイヤの領域であり、被写体領域４８Ｌは自動車Ｃの前方右側に設けられたタイヤの領域であり、被写体領域４８Ｍは自動車Ｃの前方左側に設けられた前照灯の領域である。

また、被写体検出部２８は、検出した被写体領域４８を表す被写体情報を、ペアフレーム画像情報及び人物動き情報と共に生成部３０に出力する。

生成部３０は、ペアフレーム画像情報、人物動き情報及び被写体情報を取得すると、一例として図３に示すように、人物動き情報及び被写体情報から、１組のフレーム画像４０毎に、人物動き領域４６及び被写体領域４８をＡＮＤ演算により統合する。また、生成部３０は、１組のフレーム画像４０毎に、人物動き領域４６であって、かつ被写体領域４８でもあるキー領域５０、すなわち人物動き領域４６及び被写体領域４８が重複するキー領域５０を検出する。具体的には、生成部３０は、フレーム画像４０において、人物動き領域４６に属さない画素を０に置換した画像と、被写体領域４８に属さない画素を０に置換したとした画像とでＡＮＤ演算を行ってＡＮＤ画像を生成する。そして、ＡＮＤ画像において残った領域を、フレーム画像４０におけるキー領域５０として検出する。

本実施形態では、一例として図９に示すように、フレーム画像４０Ａから、キー領域５０として、人物Ａが撮影されているキー領域５０Ａ、人物Ｂが撮影されているキー領域５０Ｂ、及び自動車Ｃが撮影されているキー領域５０Ｃが検出される。なお、太陽Ｄが撮影されている人物動き領域４６Ｄは、被写体領域４８としては検出されなかったため、キー領域５０とは認識されない。

また、生成部３０は、キー領域５０を示すキー領域情報を、ペアフレーム画像情報と共に算出部３２に出力する。

算出部３２は、ペアフレーム画像情報及びキー領域画像を取得すると、キー領域５０を検出したフレーム画像４０毎に、キー領域５０から局所特徴点を抽出する。本実施形態では、公知の画像処理技術であるＳＩＦＴ（Scale-Invariant Feature Transform）を用いて局所特徴点を抽出するが、これに限らず、任意の点を局所特徴点としても良い。また、算出部３２は、キー領域５０を検出したフレーム画像４０間で局所特徴点を追跡した追跡情報を量子化して動画像の時空間特徴量を算出する。

なお、動画像の時空間特徴量の算出方法としては、公知の手法を適用することができ、例えば、参考文献３に開示されている手法を用いればよい。

［参考文献３］"Activity recognition using dense long-duration trajectories", Multimedia and Expo (ICME), 2010 IEEE International Conference on, pp.322 - 327.

また、算出部３２は、算出した時空間特徴量を出力して、記憶部１８に記憶させる。

なお、本実施形態に係る画像処理装置１０は、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、後述する画像処理プログラム等を含む各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。なお、ＲＯＭに代えて不揮発性メモリを用いてもよい。また、画像処理装置１０を構成するコンピュータは、ハードディスクドライブ又は不揮発性メモリ等の記憶部を備えていてもよい。また、ハードディスクドライブ等の記憶部にＣＰＵが実行するプログラムが記憶されていてもよい。ＣＰＵがＲＯＭやハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上記で説明する機能が実現される。

次に、図１０及び１１を参照して、本実施形態に係る画像処理装置１０の処理動作を説明する。図１０は、例えば実行指示が入力された場合に本実施形態に係る画像処理装置１０により実行される画像処理の全体の流れを示すフローチャートである。図１１は、本実施形態に係る画像処理装置１０により実行される算出処理のサブルーチンの流れを示すフローチャートである。

ステップＳ１０１では、抽出部２０が、記憶部１８から、シーン認識、イベント検出等の対象とする動画像情報を読み込む。

ステップＳ１０３では、抽出部２０が、読み込んだ動画像情報によって示される動画像に含まれる複数のフレーム画像４０から、複数組のフレーム画像４０の組を抽出する。

ステップＳ１０５では、人物検出部２２が、生成した複数組のフレーム画像４０の組から、１組のフレーム画像４０を選択する。

ステップＳ１０７では、人物検出部２２が、１組のフレーム画像４０のうちの何れか一方のフレーム画像４０から、人物領域４２を検出する。

ステップＳ１０９では、動き検出部２４が、１組のフレーム画像４０に含まれる２つのフレーム画像４０を比較することにより、動き領域４４を検出する。

ステップＳ１１１では、統合部２６が、１組のフレーム画像４０から検出された人物領域４２及び動き領域４４を統合して、人物動き領域４６を生成する。

ステップＳ１１３では、被写体検出部２８が、１組のフレーム画像４０のうちの何れか一方のフレーム画像４０から、被写体領域４８を検出する。

ステップＳ１１５では、生成部３０が、人物領域４２及び動き領域４４の少なくとも一方を含む人物動き領域４６と、被写体領域４８と、が重複する領域をキー領域５０として生成する。

ステップＳ１１７では、生成部３０が、未処理のフレーム画像４０の組がないか否か、すなわちステップＳ１０３で生成した複数組のフレーム画像４０の全てのフレーム画像４０の組についてキー領域５０を生成したか否かを判定する。ステップＳ１１７で全てのフレーム画像４０の組についてキー領域５０を生成していないと判定した場合（Ｓ１１７，Ｎ）は、ステップＳ１０５に戻り、ステップＳ１０５で未処理のフレーム画像４０の組を抽出して、ステップＳ１０７乃至Ｓ１１７の処理を行う。ステップＳ１１７で全てのフレーム画像４０の組についてキー領域５０を生成したと判定した場合（Ｓ１１７，Ｙ）は、ステップＳ１１９に移行する。

ステップＳ１１９では、算出部３２が、時空間特徴量の算出処理を行う。ここで、時空間特徴量の算出処理について、図１１に示すフローチャートを参照して詳細に説明する。

ステップＳ２０１では、算出部３２が、全てのフレーム画像４０の組のキー領域５０を読み込む。ここでは、全てのフレーム画像４０の組の組数をＪ個とする。

ステップＳ２０３では、算出部３２が、変数ｊをｊ＝１とする。

ステップＳ２０５では、算出部３２が、Ｊ個のフレーム画像４０の組のうち、ｊ番目のフレーム画像４０の組のキー領域５０の局所特徴点を抽出する。

ステップＳ２０７では、算出部３２が、抽出した局所特徴点をｊ番目のフレーム画像４０の局所特徴点とし、ｊ−１番目のフレーム画像４０の局所特徴点からｊ番目のフレーム画像４０の局所特徴点を追跡する。なお、ｊ＝１である場合は、本ステップＳ２０７の処理を行わずにステップＳ２０９に移行する。

ステップＳ２０９では、算出部３２が、ｊがＪより小さいか否か、すなわち全てのフレーム画像４０の組についてステップＳ２０５及びＳ２０７の処理を行ったか否かを判定する。ステップＳ２０９で全てのフレーム画像４０の組についてステップＳ２０５及びＳ２０７の処理を行っていないと判定した場合（Ｓ２０９，Ｎ）はステップＳ２１１に移行し、全てのフレーム画像４０の組についてステップＳ２０５及びＳ２０７の処理を行ったと判定した場合（Ｓ２０９，Ｙ）はステップＳ２１３に移行する。

ステップＳ２１１では、算出部３２が、ｊに１を加算し、ステップＳ２０５に移行する。

ステップＳ２１３では、算出部３２が、追跡情報を時空間にて量子化したものを、時空間特徴量として記憶部１８に記憶して、本算出処理のルーチンプログラム及び本画像処理プログラムの実行を終了する。

このように、本実施形態に係る画像処理装置１０では、背景を除いて人物又は動いている被写体の領域を検出して追跡して、時空間特徴量を算出する。これにより、背景が複雑であったり被写体が遮蔽されてしまったりした場合であっても、イベントやシーンの主要な被写体の動きを精度よく捉えることが可能となる。また、これにより、動画像間の時空間特徴量を用いた類似度照合による類似映像検索、時空間特徴量を用いた学習型のシーン認識及びイベント検出等についても精度良く行うことができる。

なお、本実施形態に係る画像処理装置１０が備えている各処理部の各構成は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであっても良い。また、これらの各構成は、メモリおよびＣＰＵ（中央演算装置）により構成され、各構成の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、本実施形態に係る画像処理装置１０の各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施の形態を図面を参照して詳述してきたが、具体的な構成はこの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０画像処理装置
１８記憶部
２０抽出部
２２人物検出部
２４動き検出部
２６統合部
２８被写体検出部
３０生成部
３２算出部

Claims

抽出部、人物検出部、動き検出部、被写体検出部、生成部、及び算出部を備えた画像処理装置における画像処理方法であって、
前記抽出部が、動画像から複数組のフレーム画像の組を抽出するステップと、
前記人物検出部が、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像から人物領域を検出するステップと、
前記動き検出部が、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の各々のフレーム画像を比較することにより動き領域を検出するステップと、
前記被写体検出部が、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像から被写体領域を検出するステップと、
前記生成部が、前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像において、前記人物領域及び前記動き領域のＯＲ演算により統合された領域と、前記被写体領域と、が重複する領域をキー領域として生成するステップと、
前記算出部が、前記複数組のフレーム画像の組の各々について生成した前記キー領域から前記動画像の時空間特徴量を算出して出力するステップと、
を含む画像処理方法。
前記算出部が前記動画像の時間特徴量を算出して出力するステップは、前記算出部が、前記複数組のフレーム画像の組の各々について生成した前記キー領域の局所特徴点を抽出し、抽出した前記局所特徴点を追跡した追跡情報に基づいて前記時空間特徴量を算出して出力する
請求項１記載の画像処理方法。
前記抽出部が前記フレーム画像の組を抽出するステップは、前記抽出部が、前記動画像から一定の時間間隔の２枚の前記フレーム画像を複数組抽出する
請求項１又は２記載の画像処理方法。
動画像から複数組のフレーム画像の組を抽出する抽出部と、
前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像から人物領域を検出する人物検出部と、
前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の各々のフレーム画像を比較することにより動き領域を検出する動き検出部と、
前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像から被写体領域を検出する被写体検出部と、
前記複数組のフレーム画像の組の各々について、前記フレーム画像の組の何れか一方のフレーム画像において、前記人物領域及び前記動き領域のＯＲ演算により統合された領域と、前記被写体領域と、が重複する領域をキー領域として生成する生成部と、
前記複数組のフレーム画像の組の各々について生成した前記キー領域から時空間特徴量を算出して出力する算出部と、
を備えた画像処理装置。