JP5840074B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に関し、特に、ビデオカメラ装置などの撮像装置で撮影された動画データに含まれる家具を識別する画像処理装置に関する。

非特許文献１には、単眼式の撮像装置によって撮影された散らかった部屋内の画像データから部屋の形状を復元する従来技術に係る方法が記載されている。具体的には、非特許文献１記載の方法によれば、パラメトリックな３次元の「ボックス」を用いて巨視的な部屋空間をモデル化し、散らかった物を逐次的にローカライズしてボックスを再フィッティングすることにより、散らかった物のロバスト性を取得する。ここで、ボックスをフィッティングするために、巨視的な背景の手がかりに基づいて誤差を最小にするパラメータセットを選択する構造化された学習アルゴリズムを導入する。

特開２０１１−１００２２９号公報

V. Hedau, et al., "Recovering the Spatial Layout of Cluttered Rooms", Proceedings of the 12th IEEE International Conference on Computer Vision in Kyoto, September 2009, pp. 1849-1856. V. Meas-Yedid, et al., "Color image segmentation based on Markov random field clustering for histological image analysis", Proceedings of the 16th International Conference on Pattern Recognition, August 2002, vol. 1, pｐ. 796-799. 田村秀行著、「コンピュータ画像処理」、株式会社オーム社、２００２年１２月、ｐｐ．２４３−２４４。 金子敏光、他、「小領域のブロックマッチングを複数用いたロバストなオブジェクト追跡法」、電子情報通信学会論文誌、２００２年７月、第Ｊ８５−ＤＩＩ巻、第７号、ｐｐ．１１８８−１２００。

従来技術に係る方法によれば、画像データに基づいて部屋の形状を推定できたが、部屋内の家具を自動的に識別することはできなかった。

本発明の目的は以上の問題点を解決し、動画データに含まれる家具を自動的に識別できる画像処理装置を提供することにある。

本発明に係る画像処理装置は、
部屋に固定された撮像装置からの動画データに基づいて、上記部屋内の家具を識別する画像処理装置であって、
家具の種別毎の画像の特徴量のデータを含む家具モデルデータを参照して、上記動画データから、家具を含む家具領域の候補である家具候補領域を抽出する家具候補領域抽出手段と、
上記抽出された家具候補領域を含む動画データを用いて、家具以外の移動物体の動きを表す動きベクトルを算出する動きベクトル算出手段と、
家具の種別毎に特有の人の動作に対応する所定の動きモデルベクトルを参照して、上記算出された動きベクトルと、上記動きモデルベクトルとの間の相関値を算出し、上記算出された相関値が所定のしきい値以上であるとき、上記家具候補領域が上記家具領域であると判断しかつ上記家具候補領域に含まれる家具の種別を特定する家具領域識別手段とを備え、
上記動きベクトル算出手段は、
上記家具候補領域を含む家具候補周辺領域を設定する家具候補周辺領域設定手段と、
上記家具候補周辺領域内で上記家具以外の移動物体の動きを表す動きベクトルを抽出して算出する動きベクトル抽出手段とを備えたことを特徴とする。

本発明に係る画像処理装置によれば、家具の種別毎の画像の特徴量のデータを含む家具モデルデータを参照して、上記動画データから、家具を含む家具領域の候補である家具候補領域を抽出する家具候補領域抽出手段と、上記抽出された家具候補領域を含む動画データを用いて、家具以外の移動物体の動きを表す動きベクトルを算出する動きベクトル算出手段と、家具の種別毎に特有の人の動作に対応する所定の動きモデルベクトルを参照して、上記算出された動きベクトルと、上記動きモデルベクトルとの間の相関値を算出し、上記算出された相関値が所定のしきい値以上であるとき、上記家具候補領域が上記家具領域であると判断しかつ上記家具候補領域に含まれる家具の種別を特定する家具領域識別手段とを備えたので、動画データに含まれる家具を自動的に識別できる。

本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図１のＣＰＵ１００によって実行される家具識別処理を示すフローチャートである。 図１の映像入力部１から領域分割処理部２に出力されるフレーム画像データの一例を示す写真である。 図１の家具候補矩形領域抽出部３によって得られた同一色矩形領域２１〜２４の一例を示す写真である。 図１の家具候補矩形領域抽出部３によって、図４の同一色矩形領域２１〜２４に基づいて抽出された家具候補領域３１及び３２の一例を示す写真である。 図１の家具候補周辺領域設定部４によって、図５の家具候補領域３１に基づいて設定される家具候補周辺領域４１を示すブロック図である。 図１の動きベクトル抽出部５によって、図６の家具候補周辺領域４１において抽出された動きベクトル５１を示す写真である。 図１の動きモデルベクトルデータ８２に含まれるソファに対応する動きモデルベクトル８１１及び８１２を示す写真である。 図１の動きモデルベクトルデータ８２に含まれる机に対応する動きモデルベクトル８１３及び８１４を示す写真である。 本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１０のＣＰＵ１００Ａによって実行される家具識別処理を示すフローチャートである。 図１０の基準背景画像データ８３の一例を示す写真である。 図１０の映像入力部１から差分画像生成部９に出力されるフレーム画像データの一例を示す写真である。 図１０の差分画像生成部９により、図１２の基準背景画像データ８３及び図１３のフレーム画像データに基づいて生成される移動物体領域９２の一例を示す写真である。 図１０の人候補領域識別部１１によって処理される家具候補領域３１及び３２と、移動物体領域９２との一例を示す写真である。 図１０の人候補領域識別部１１において用いられる方位角θ及び距離Ｄの定義を示す写真である。 家具の種別がソファであるときの図１０の相対位置モデルデータ８４の一例を示す表である。

以下、本発明に係る実施の形態について図面を参照して説明する。なお、以下の各実施の形態において、同様の構成要素については同一の符号を付している。

実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図であり、図２は、図１のＣＰＵ（Central Processing Unit）１００によって実行される家具識別処理を示すフローチャートである。図１において、本実施の形態に係る画像処理装置は、映像入力部１と、ＣＰＵ１００と、記憶部８とを備えて構成される。また、ＣＰＵ１００は、家具候補領域抽出部１０１と、動きベクトル算出部１０２と、家具領域識別部６と、家具情報出力部７とを備えて構成される。さらに、家具候補領域抽出部１０１は、領域分割処理部２と、家具候補矩形領域抽出部３とを備えて構成され、動きベクトル算出部１０２は、家具候補周辺領域設定部４と、動きベクトル抽出部５とを備えて構成される。ここで、映像入力部１はインタフェース回路であって、部屋に固定されたビデオカメラ装置などの撮像装置からの動画データに対して画像処理装置とのインタフェース処理を実行して、部屋内の画像を含むフレーム画像データとして領域分割処理部２に出力する。図３は、図１の映像入力部１から領域分割処理部２に出力されるフレーム画像データの一例を示す写真である。また、図１において、記憶部８は、詳細後述する家具モデルデータ８１及び動きモデルベクトルデータ８２をあらかじめ記憶する記憶装置である。ここで撮像装置からの動画データは、可視画像以外に、熱画像をサーモグラフィのように可視化した画像を用いてもよい。

詳細後述するように、本実施の形態に係る画像処理装置は、部屋に固定された撮像装置からの動画データに基づいて、部屋内の家具を識別する画像処理装置であって、
家具の種別毎の画像の特徴量のデータを含む家具モデルデータ８１を参照して、動画データから、家具を含む家具領域の候補である家具候補領域を抽出する家具候補領域抽出部１０１と、
抽出された家具候補領域を含む動画データを用いて、家具以外の移動物体の動きを表す動きベクトルを算出する動きベクトル算出部１０２と、
家具の種別毎に特有の人の動作に対応する所定の動きモデルベクトルを参照して、算出された動きベクトルと、動きモデルベクトルとの間の相関値を算出し、算出された相関値が所定のしきい値以上であるとき、家具候補領域が家具領域であると判断しかつ家具候補領域に含まれる家具の種別を特定する家具領域識別部６とを備えたことを特徴とする。

ここで、動きベクトル算出部１０２は、家具候補領域を含む家具候補周辺領域を設定する家具候補周辺領域設定部４と、家具候補周辺領域内で家具以外の移動物体の動きを表す動きベクトルを抽出して算出する動きベクトル抽出部５とを備えたことを特徴とする。

図１において、ＣＰＵ１００は、領域分割処理部２と、家具候補矩形領域抽出部３と、家具候補周辺領域設定部４と、動きベクトル抽出部５と、家具領域識別部６と、家具情報出力部７とを制御するほか、図２の家具識別処理のプログラムを含む種々のソフトウェアの機能を実行する。なお、本実施の形態において、領域分割処理部２と、家具候補矩形領域抽出部３と、家具候補周辺領域設定部４と、動きベクトル抽出部５と、家具領域識別部６と、家具情報出力部７との各機能は、各部２〜７の機能に対応するプログラムをＣＰＵ１００が実行することによって実現されるが、本発明はこれに限られず、各部２〜７の機能に対応するハードウエア回路を構成して実現されてもよい。

次に、図２〜図９を参照して、図１のＣＰＵ１００によって実行される家具識別処理を説明する。図２のステップＳ１において、領域分割処理部２が、映像入力部１からのフレーム画像データを複数の同一色領域に分割する。具体的には、領域分割処理部２は、例えば非特許文献２に記載されたマルコフランダムフィールド法を用いたクラスタリングによって、色情報に基づく領域分割処理を行い、フレーム画像データを、実質的に同一の色をそれぞれ有する同一色領域に分割する。

次に、図２のステップＳ２において、家具候補矩形領域抽出部３が、家具モデルデータ８１を参照して、同一色領域を用いて矩形の家具候補領域を抽出する。ここで、家具モデルデータ８１は、ソファ、机、及び箪笥などの家具の種別毎に、撮像装置のカメラ座標系での各家具の矩形形状の画像データの重心位置、横幅、高さ、縦横比、エッジ形状及び色の各データを含む。家具候補矩形領域抽出部３は、同一色領域毎に、同一色領域を含む最小の同一色矩形領域を得た後に、各同一色矩形領域の重心位置、横幅、高さ、縦横比、エッジ形状及び色と、家具の種別毎の家具モデルデータ８１とを用いて、各矩形領域の家具領域らしさを示す尤度を算出する。そして、算出された尤度が所定のしきい値以上であるときに、同一色矩形領域に対応する家具モデルデータ８１の重心位置、横幅及び高さを有する領域を、家具を含む家具領域の候補である家具候補領域として抽出する。

図４は、図１の家具候補矩形領域抽出部３によって得られた同一色矩形領域２１〜２４の一例を示す写真である。また、図５は、図１の家具候補矩形領域抽出部３によって、図４の同一色矩形領域２１〜２４に基づいて抽出された家具候補領域３１及び３２の一例を示す写真である。図４及び図５に示すように、図４の同一色矩形領域２１〜２４から、同一色矩形領域２１に対応する家具候補領域３１が抽出され、同一色矩形領域２２に対応する家具候補領域３２が抽出されている。

次に、図２のステップＳ３において、家具候補周辺領域設定部４が、家具候補領域を含む家具候補周辺領域を設定する。具体的には、家具候補周辺領域設定部４は、家具候補矩形領域抽出部３によって抽出された各家具候補領域を、当該領域の重心を中心として、例えば１２０％である所定の割合で拡大することにより、家具候補領域毎に家具候補周辺領域を設定する。図６は、図１の家具候補周辺領域設定部４によって、図５の家具候補領域３１に基づいて設定される家具候補周辺領域４１を示すブロック図である。図５において、家具候補周辺領域４１は、家具候補領域３１を、重心３１ｃを中心として所定の割合で拡大した領域である。

次に、図２のステップＳ４において、動きベクトル抽出部５が、家具候補周辺領域を含む動画データに対応する複数のフレーム画像データを用いて、家具候補周辺領域内で家具以外の移動物体の動きを表す動きベクトルを抽出して算出する。具体的には、動きベクトル抽出部は、各家具候補周辺領域において、非特許文献３記載のモラベックオペレータを用いる方法により動きベクトルを抽出する。なお、動きベクトルを、フレーム画像データのフレーム間差分（特許文献３参照。）などの他のパラメータを用いて抽出してもよい。図７は、図１の動きベクトル抽出部５によって、図６の家具候補周辺領域４１において抽出された動きベクトル５１を示す写真である。図５に示すように、家具候補周辺領域４１の右上部分において、複数の動きベクトル５１が抽出されている。

次に、図２のステップＳ５において、家具領域識別部６が、動きモデルベクトルデータ８２に含まれる家具の種別毎の動きモデルベクトルを参照して、算出された動きベクトルと、動きモデルベクトルとの間の相関値を算出し、算出された相関値が所定のしきい値以上であるとき、家具候補領域が家具領域であると判断しかつ家具候補領域に含まれる家具の種別を特定する。より具体的には、図２のステップＳ５において、家具領域識別部６は、家具候補周辺領域毎に、動きベクトル抽出部５によって抽出された動きベクトルと、動きモデルベクトルデータ８２に含まれる家具の種別毎の動きモデルベクトルとの間の相関値を算出して、算出された相関値が所定のしきい値以上であるとき家具候補周辺領域が家具領域であると判断する一方、算出された相関値が所定のしきい値未満であるとき家具候補周辺領域が非家具領域であると判断する。ここで、動きベクトルと動きモデルベクトルとの間の相関値は、動きベクトルと動きモデルベクトルとがなす角の余弦、動きベクトルと動きモデルベクトルとの内積、又は動きベクトルと動きモデルベクトルとのユークリッド距離に基づいて算出される。

ここで、動きモデルベクトルデータ８２は、ソファ、机及び箪笥などの家具の種別毎に、家具の周辺での人の特有の動作に対応する動きモデルベクトルのデータを含む。図８は、図１の動きモデルベクトルデータ８２に含まれるソファに対応する動きモデルベクトル８１１及び８１２を示す写真である。一般に、ソファに対しては、人８００は座る動作及び立つ動作を行うので、ソファに対応する動きベクトルは、上向きの動きモデルベクトル８１１及び下向きの動きモデルベクトル８１２である。また、図９は、図１の動きモデルベクトルデータ８２に含まれる机に対応する動きモデルベクトル８１３及び８１４を示す写真である。一般に、机に対しては、人８００は机の上の物を取る動作及び机の上に物を置く動作を行うので、机に対応する動きベクトルは、右方向の動きモデルベクトル８１３及び左方向の動きモデルベクトル８１４である。

次に、図２のステップＳ６において、家具情報出力部７が、家具領域であると識別された家具候補周辺領域内の家具候補領域と、当該家具候補領域内の家具の種別とを家具情報として出力して家具識別処理を終了する。

一般に、家具は人の生活の中で特定の役目を果たしており、家具の種別毎に人は特定の動作を行う。本実施の形態によれば、動きベクトル抽出部５は、家具候補周辺領域を含む複数のフレーム画像データを用いて家具候補周辺領域内の動きベクトルを抽出し、家具領域識別部６は、家具候補周辺領域内の動きベクトルと、家具の種別毎の人の動作に対応する動きモデルベクトルとの相関値に基づいて家具候補周辺領域が家具領域であるか否かを識別する。従って、本実施の形態によれば、動画データに基づいて家具を自動的に識別できる。

従来は、１枚のフレーム画像データのみに基づいて家具をすることは難しかったが、本実施の形態によれば、家具候補周辺領域を含む複数のフレーム画像データを用いて家具候補周辺領域内の動きベクトルを抽出して用いるので、家具を識別できる。

実施の形態２．
図１０は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図であり、図１１は、図１０のＣＰＵ１００Ａによって実行される家具識別処理を示すフローチャートである。図１０において、本実施の形態に係る画像処理装置は、映像入力部１と、ＣＰＵ１００Ａと、記憶部８Ａとを備えて構成される。また、ＣＰＵ１００Ａは、家具候補領域抽出部１０１と、動きベクトル算出部１０２Ａと、家具領域識別部１３と、家具情報出力部１４と、人領域出力部１５とを備えて構成される。さらに、家具候補領域抽出部１０１は、領域分割処理部２と、家具候補矩形領域抽出部３とを備えて構成され、動きベクトル算出部１０２Ａは、差分画像生成部９と、移動物体領域抽出部１０と、人候補領域識別部１１と、動きベクトル抽出部１２とを備えて構成される。ここで、映像入力部１と、領域分割処理部２と、家具候補矩形領域抽出部３とは、実施の形態１に係る領域分割処理部２と、家具候補矩形領域抽出部３と同様に動作するので説明を省略する。また、記憶部８Ａは、実施の形態１に係る家具モデルデータ８１及び動きモデルベクトルデータ８２と同様の家具モデルデータ８１及び動きモデルベクトルデータ８２と、詳細後述する基準背景画像データ８３及び相対位置モデルデータ８４とをあらかじめ記憶する記憶装置である。

詳細後述するように、本実施の形態に係る画像処理装置は、第１の実施の形態に係る画像処理装置に比較して、動きベクトル算出部１０２に代えて動きベクトル算出部１０２Ａを備えたことを特徴とする。

ここで、動きベクトル算出部１０２Ａは、動画データに含まれるフレーム画像データから、あらかじめ用意された部屋内に移動物体が存在しないときのフレーム画像データである基準背景画像データ８３を減算することにより、差分画像データを生成する差分画像生成部９と、差分画像データにおいて所定のしきい値以上の差分値を有する領域を、移動物体を含む移動物体領域として抽出する移動物体領域抽出部１０と、家具候補領域に対する移動物体領域の相対位置のデータを算出し、算出された相対位置のデータに基づいて、家具の種別毎に家具に対する人の相対位置のデータを含む所定の相対位置モデルデータを参照して、移動物体領域が、人を含む人領域の候補である人候補領域であるか否かを識別する人候補領域識別部１１と、人候補領域であると識別された移動物体領域を含む動画データを用いて、当該人候補領域の動きを表す動きベクトルを抽出して算出する動きベクトル抽出部１２とを備えたことを特徴とする。

図１０において、ＣＰＵ１００Ａは、領域分割処理部２と、家具候補矩形領域抽出部３と、差分画像生成部９と、移動物体領域抽出部１０と、人候補領域識別部１１と、動きベクトル抽出部１２と、家具領域識別部１３と、家具情報出力部１４と、人領域出力部１５とを制御するほか、図１１の家具識別処理のプログラムを含む種々のソフトウェアの機能を実行する。なお、本実施の形態において、領域分割処理部２と、家具候補矩形領域抽出部３と、差分画像生成部９と、移動物体領域抽出部１０と、人候補領域識別部１１と、動きベクトル抽出部１２と、家具領域識別部１３と、家具情報出力部１４と、人領域出力部１５との各機能は、各部２，３，９〜１５の機能に対応するプログラムをＣＰＵ１００Ａが実行することによって実現されるが、本発明はこれに限られず、各部２，３，９〜１５の機能に対応するハードウエア回路を構成して実現されてもよい。

次に、図１１〜図１７を参照して、図１０のＣＰＵ１００Ａによって実行される家具識別処理を説明する。図１１の家具識別処理において、ＣＰＵ１００Ａは、始めに、図２の家具識別処理のステップＳ１及びＳ２の各処理と同一の処理を実行する。ステップＳ２に続いて、ステップＳ１１において、差分画像生成部９が、映像入力部１からのフレーム画像データと基準背景画像データ８３とを用いて差分画像データを生成する。ここで、基準背景画像データ８３は、撮像装置が固定されている部屋に人などの移動物体が存在しないときのあらかじめ用意されたフレーム画像データである。差分画像生成部９は、映像入力部１からのフレーム画像データから基準背景画像データ８３を減算することにより、差分画像データを生成する。ここで、差分画像データの各画素は差分後の画素値を有する。図１２は、図１０の基準背景画像データ８３の一例を示す写真であり、図１３は、図１０の映像入力部１から差分画像生成部９に出力されるフレーム画像データの一例を示す写真である。

次に、図１１のステップＳ１２において、移動物体領域抽出部１０が、差分画像データにおいて所定のしきい値以上の差分値を有する領域を、移動物体領域として抽出する。ここで、移動物体領域は人などの移動物体を含む。図１４は、図１０の差分画像生成部９により、図１２の基準背景画像データ８３及び図１３のフレーム画像データに基づいて生成される移動物体領域９２の一例を示す写真である。

次に、図１１のステップＳ１３において、人候補領域識別部１１が、相対位置モデルデータ８４を用いて、移動物体領域が人を含む人領域の候補である人候補領域であるか否かを判断する。図１５は、図１０の人候補領域識別部１１によって処理される家具候補領域３１及び３２と、移動物体領域９２との一例を示す写真である。

一般に、家具に対する人の相対位置は家具の種別によって異なる。相対位置モデルデータ８４は、家具の種別毎に、カメラ座標での家具領域の重心位置に対する人を含む人領域の重心位置の相対的な方位角θと、家具領域の重心位置から人領域の重心位置までの相対的なしきい値距離Ｄｔとの関係を含む。図１６は、図１０の人候補領域識別部１１において用いられる方位角θ及び距離Ｄの定義を示す写真であり、図１７は、家具の種別がソファであるときの図１０の相対位置モデルデータ８４の一例を示す表である。

図１１のステップＳ１３において、人候補領域識別部１１は、例えば、図１６において、家具候補領域３１の重心３１ｃに対する移動物体領域９２の重心９２ｃの方位角θ及び家具候補領域３１の重心３１ｃと移動物体領域９２の重心９２ｃとの間の距離Ｄを家具候補領域３１に対する移動物体領域９２の相対位置として算出する。そして、相対位置モデルデータ８４を参照し、方位角θにおいて距離Ｄが図１７のしきい値距離Ｄｔ以下であるとき、移動物体領域９２が人候補領域であると判断する。なお、図１７において、方位角θが０，４５，…３１５度のときのしきい値距離Ｄｔしか設定されていないが、人候補領域識別部１１は、これらの方位角θ以外の各方位角におけるしきい値距離Ｄｔを、図１７の相対位置モデルデータ８４を補間することによって得る。

次に、図１１のステップＳ１４において、動きベクトル抽出部１２が、人候補領域であると識別された移動物体領域を含む複数のフレーム画像データ（動画データである。）を用いて、ステップＳ１３において得られた人候補領域の動きを表す動きベクトルを抽出して算出する。具体的には、動きベクトル抽出部１２は、非特許文献４記載のオブジェクト追跡法を用いて、人候補領域を小ブロックに分割したブロックマッチングにより、人候補領域の動きベクトルを抽出する。

次に、図１１のステップＳ１５において、家具領域識別部１３が、家具領域識別部１３が、動きモデルベクトルデータ８２に含まれる家具の種別毎の動きモデルベクトルを参照して、算出された動きベクトルと、動きモデルベクトルとの間の相関値を算出し、算出された相関値が所定のしきい値以上であるとき、家具候補領域が家具領域であると判断しかつ家具候補領域に含まれる家具の種別を特定する。ステップＳ１５における処理は、図１２のステップＳ５における処理と同様であるので説明を省略する。なお、ステップＳ１５において、家具領域識別部１３は、家具候補領域が家具領域であると判断した場合、人候補領域は人を含む人領域であると判断する一方、家具候補領域が非家具領域であると判断した場合、人候補領域は人を含まないと判断する。ステップＳ１５に続いて、ステップＳ１６において、家具情報出力部１４が、家具領域であると識別された家具候補領域と、当該家具候補領域内の家具の種別とを家具情報として出力し、人領域出力部１５が、人領域の情報を人領域情報として出力して家具識別処理を終了する。

一般に、家具は人の生活の中で特定の役目を果たしており、家具の種別毎に人は特定の動作を行う。さらに、人は、家具に対して特定の動作を行うために、必然的に家具の近くに存在する。また、部屋内の動画データにおいて、家具を含む部屋の背景は実質的に変化せず定常状態であるが、人は部屋の中で動き続けていることが多いので、差分画像生成部９及び移動物体領域抽出部１０により、映像入力部からのフレーム画像データから基準背景画像データ８３を減算することにより、人らしい移動物体領域を抽出できる。さらに、本実施の形態によれば、家具候補領域に対する移動物体領域の相対位置が所定の範囲内にあるときに、移動物体領域の動きベクトルと動きモデルベクトルデータ８２の動きベクトルとの間の相関値に基づいて、家具候補領域が家具領域であるか否かを識別するので、部屋内の動画データに基づいて、部屋内の家具を識別できる。

なお、上記各実施の形態において、家具モデルデータ８１は、ソファ、机、及び箪笥などの家具の種別毎に、撮像装置のカメラ座標系での各家具の矩形形状の画像の重心位置、横幅、高さ、縦横比、エッジ形状及び色の各データを含んだが、本発明はこれに限られず、家具モデルデータ８１は家具の種別毎の画像の特徴量のデータを含めばよい。

以上説明したように、本発明に係る画像処理装置によれば、家具の種別毎の画像の特徴量のデータを含む家具モデルデータを参照して、上記動画データから、家具を含む家具領域の候補である家具候補領域を抽出する家具候補領域抽出手段と、上記抽出された家具候補領域を含む動画データを用いて、家具以外の移動物体の動きを表す動きベクトルを算出する動きベクトル算出手段と、家具の種別毎に特有の人の動作に対応する所定の動きモデルベクトルを参照して、上記算出された動きベクトルと、上記動きモデルベクトルとの間の相関値を算出し、上記算出された相関値が所定のしきい値以上であるとき、上記家具候補領域が上記家具領域であると判断しかつ上記家具候補領域に含まれる家具の種別を特定する家具領域識別手段とを備えたので、動画データに含まれる家具を自動的に識別できる。

１ 映像入力部、２ 領域分割処理部、３ 家具候補矩形領域抽出部、４ 家具候補周辺領域設定部、５ 動きベクトル抽出部、６ 家具領域識別部、７ 家具情報出力部、８，８Ａ 記憶部、９ 差分画像生成部、１０ 移動物体領域抽出部、１１ 人候補領域識別部、１２ 動きベクトル抽出部、１３ 家具領域識別部、１４ 家具情報出力部、１５ 人領域出力部、８１ 家具モデルデータ、８２ 動きモデルベクトルデータ、８３ 基準背景画像データ、８４ 相対位置モデルデータ、１０１ 家具候補領域抽出部、１０２，１０２Ａ 動きベクトル算出部。

Claims (2)

1. 部屋に固定された撮像装置からの動画データに基づいて、上記部屋内の家具を識別する画像処理装置であって、
   家具の種別毎の画像の特徴量のデータを含む家具モデルデータを参照して、上記動画データから、家具を含む家具領域の候補である家具候補領域を抽出する家具候補領域抽出手段と、
   上記抽出された家具候補領域を含む動画データを用いて、家具以外の移動物体の動きを表す動きベクトルを算出する動きベクトル算出手段と、
   家具の種別毎に特有の人の動作に対応する所定の動きモデルベクトルを参照して、上記算出された動きベクトルと、上記動きモデルベクトルとの間の相関値を算出し、上記算出された相関値が所定のしきい値以上であるとき、上記家具候補領域が上記家具領域であると判断しかつ上記家具候補領域に含まれる家具の種別を特定する家具領域識別手段とを備え、
   上記動きベクトル算出手段は、
   上記家具候補領域を含む家具候補周辺領域を設定する家具候補周辺領域設定手段と、
   上記家具候補周辺領域内で上記家具以外の移動物体の動きを表す動きベクトルを抽出して算出する動きベクトル抽出手段とを備えたことを特徴とする画像処理装置。
2. 部屋に固定された撮像装置からの動画データに基づいて、上記部屋内の家具を識別する画像処理装置であって、
   家具の種別毎の画像の特徴量のデータを含む家具モデルデータを参照して、上記動画データから、家具を含む家具領域の候補である家具候補領域を抽出する家具候補領域抽出手段と、
   上記抽出された家具候補領域を含む動画データを用いて、家具以外の移動物体の動きを表す動きベクトルを算出する動きベクトル算出手段と、
   家具の種別毎に特有の人の動作に対応する所定の動きモデルベクトルを参照して、上記算出された動きベクトルと、上記動きモデルベクトルとの間の相関値を算出し、上記算出された相関値が所定のしきい値以上であるとき、上記家具候補領域が上記家具領域であると判断しかつ上記家具候補領域に含まれる家具の種別を特定する家具領域識別手段とを備え、
   上記動画データは複数のフレーム画像データを含み、
   上記動きベクトル算出手段は、
   上記動画データに含まれるフレーム画像データから、あらかじめ用意された上記部屋内に移動物体が存在しないときのフレーム画像データである基準背景画像データを減算することにより、差分画像データを生成する差分画像生成手段と、
   上記差分画像データにおいて所定のしきい値以上の差分値を有する領域を、上記移動物体を含む移動物体領域として抽出する移動物体領域抽出手段と、
   上記家具候補領域に対する上記移動物体領域の相対位置のデータを算出し、上記算出された相対位置のデータに基づいて、家具の種別毎に家具に対する人の相対位置のデータを含む所定の相対位置モデルデータを参照して、上記移動物体領域が、人を含む人領域の候補である人候補領域であるか否かを識別する人候補領域識別手段と、
   上記人候補領域であると識別された移動物体領域を含む動画データを用いて、当該人候補領域の動きを表す動きベクトルを抽出して算出する動きベクトル抽出手段とを備えたことを特徴とする画像処理装置。

Images