WO2015186436A1 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Abstract

　監視対象の様々な行動を高精度に特定することが可能な画像処理装置、画像処理方法、および画像処理プログラムを提供する。画像処理装置（１００）は、人物または動物である監視対象の行動を特定する。画像処理装置（１００）は、カメラの視野に含まれる被写体の３次元位置から、監視対象が存在する領域を抽出するとともに、当該監視対象が有する特徴的な各部位の位置を示す部位情報を抽出するための対象抽出部（２２０）と、部位情報から算出した監視対象の各部位間の第１の相対関係から監視対象の姿勢を特定するための姿勢特定部（２６０）と、監視対象と、当該監視対象以外の被写体との間の第２の相対関係を特定するための相対関係特定部（２５０）と、姿勢特定部（２６０）によって特定された監視対象の姿勢と、第２の相対関係との組み合わせから、監視対象の行動を特定するための行動特定部（２７０）とを備える。

Description

画像処理装置、画像処理方法、および、画像処理プログラム

　本開示は画像処理に関し、より特定的には、人物または動物である監視対象の行動を特定するための画像処理に関する。

　近年、画像処理の分野においては、画像に写っている監視対象（たとえば、人物や動物）の姿勢や行動を特定するための様々な技術が開発されている。たとえば、特許文献１は、高速かつ高精度に人の姿勢を推定する姿勢推定装置を開示している。非特許文献１は、カメラからの画像から人物の行動を認識する方法を開示している。

特開２０１３－１０９６９６号公報

青木茂樹，岩井嘉男，大西正輝，小島篤博，福永邦雄、"人物の位置・姿勢に注目した行動パターンの学習・認識と非日常状態検出への応用"、電子情報通信学会論文誌　D-II，情報・システム，II-パターン処理　J87-D-II(5)，p.1083-1093

　ところで、近年では、監視カメラに映る人物の不正行為（たとえば、万引きなど）を検出したり、病院における患者の行動を見守ったり、様々な種類の行動を検出することが望まれている。

　特許文献１に開示される姿勢推定装置は、人物の姿勢を推定するものであり、人物の行動を特定するものではない。このため、当該姿勢推定装置は、様々な種類の行動を検出するという世の中のニーズを満たすことができない。

　非特許文献１に開示される行動認識方法は、画像に写る人物の手や足などの部位間の位置関係で人物の行動を特定する。このように、部位間の位置関係が用いられるだけでは、特定できる人物の行動の種類が限られる。

　この開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、監視対象の様々な行動を高精度に特定することが可能な画像処理装置、画像処理方法、および画像処理プログラムを提供することである。

　一実施の形態に従うと、人物または動物である監視対象の行動を特定するための画像処理装置が提供される。当該画像処理装置は、カメラの視野に含まれる被写体の３次元位置から、監視対象が存在する領域を抽出するとともに、当該監視対象が有する特徴的な各部位の位置を示す部位情報を抽出するための対象抽出部と、部位情報から算出した監視対象の各部位間の第１の相対関係から監視対象の姿勢を特定するための姿勢特定部と、監視対象と、当該監視対象以外の被写体との間の第２の相対関係を特定するための相対関係特定部と、姿勢特定部によって特定された監視対象の姿勢と、第２の相対関係との組み合わせから、監視対象の行動を特定するための行動特定部とを備える。

　好ましくは、姿勢特定部は、第１の相対関係が、監視対象の姿勢の種類を示す複数の姿勢クラスのいずれに属するかを特定する。相対関係特定部は、第２の相対関係が、監視対象と当該監視対象以外の被写体との間の相対関係の種類を示す複数の相対関係クラスのいずれに属するかを特定する。行動特定部は、姿勢特定部によって特定された姿勢クラスと、相対関係特定部によって特定された相対関係クラスとの組み合わせから、監視対象の行動の種類を特定する。

　好ましくは、対象抽出部は、異なる時間に得られた３次元位置から、監視対象が存在する領域を順次抽出するとともに、当該監視対象が有する特徴的な各部位の位置を示す部位情報を順次抽出する。画像処理装置は、複数の部位情報を、類似する部位情報ごとにクラスタリングして複数の姿勢クラスを生成するための姿勢クラスタリング部と、対象抽出部により順次抽出された監視対象と、当該監視対象以外の被写体との間の第２の相対関係が互いに類似している集合ごとにクラスタリングして複数の相対関係クラスを生成するための相対関係クラスタリング部とをさらに備える。

　好ましくは、姿勢クラスタリング部は、対象抽出部によって順次抽出された複数の部位情報の各々から監視対象の各部位間の第１の相対関係を算出し、第１の相対関係が互いに類似する集合ごとに姿勢クラスを生成する。

　好ましくは、画像処理装置は、３次元位置から、監視対象以外の被写体である物体が存在する領域を抽出するための物体抽出部をさらに備える。第２の相対関係は、監視対象と物体との間の相対的な位置関係を含む。

　好ましくは、相対関係クラスタリング部は、対象抽出部によって順次抽出された複数の部位情報の各々から、監視対象の特徴的な各部位について、当該部位と物体との間の距離が互いに類似している集合ごとに相対関係クラスを生成する。

　好ましくは、第２の相対関係は、監視対象の各関節と物体との間の各距離、および、当該監視対象の各端部と物体との間の各距離の少なくとも一方を含む。

　好ましくは、部位情報は、監視対象の各関節の位置、および、当該監視対象の各端部の位置の少なくとも一方を含む。

　好ましくは、相対関係特定部は、監視対象の特徴的な各部位と、当該監視対象以外の被写体との間の距離の各々が、距離の長さに応じて予め分けられた複数の相対関係クラスのうちのいずれに属するかを特定する。

　好ましくは、画像処理装置は、類似する位置情報の集合ごとに３次元位置を分割して、被写体を複数の領域に分割するための分割部をさらに備える。第２の相対関係は、監視対象の特徴的な各部位と複数の領域の各々との間の相対関係を含む。

　好ましくは、複数の姿勢クラスと複数の相対関係クラスとの組み合わせのそれぞれには、監視対象の行動の種類を示す行動カテゴリがそれぞれ対応付けられている。行動特定部は、姿勢特定部によって特定された姿勢クラスと相対関係特定部によって特定された相対関係クラスとの組み合わせに対応する行動カテゴリを特定する。

　他の実施の形態に従うと、人物または動物である監視対象の行動を特定するための画像処理方法が提供される。当該画像処理方法は、カメラの視野に含まれる被写体の３次元位置から、監視対象が存在する領域を抽出するとともに、当該監視対象が有する特徴的な各部位の位置を示す部位情報を抽出するステップと、部位情報から算出した監視対象の各部位間の第１の相対関係から監視対象の姿勢を特定するステップと、監視対象と、当該監視対象以外の被写体との間の第２の相対関係を特定するステップと、姿勢と第２の相対関係との組み合わせから、監視対象の行動を特定するステップとを備える。

　さらに他の実施の形態に従うと、人物または動物である監視対象の行動を特定するための画像処理プログラムが提供される。当該画像処理プログラムは、コンピュータに、カメラの視野に含まれる被写体の３次元位置から、監視対象が存在する領域を抽出するとともに、当該監視対象が有する特徴的な各部位の位置を示す部位情報を抽出するステップと、部位情報から算出した監視対象の各部位間の第１の相対関係から監視対象の姿勢を特定するステップと、監視対象と、当該監視対象以外の被写体との間の第２の相対関係を特定するステップと、姿勢と第２の相対関係との組み合わせから、監視対象の行動を特定するステップとを実行させる。

　ある局面において、監視対象の様々な行動を高精度に特定することができる。
　本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。

同じ姿勢をとりながら異なる行動をとっている人物の様子を示す図である。 実施の形態に従う画像処理装置に接続されたカメラが被写体を撮像している様子を表している図である。 実施の形態に従う画像処理装置が姿勢クラスを生成する過程を概略的に示した概念図である。 実施の形態に従う画像処理装置が相対関係クラスを生成する過程を概略的に示した概念図である。 人物の行動を特定するための処理を概略的に示した概念図である。 実施の形態に従う画像処理装置のハードウェア構成の一例を示すブロック図である。 実施の形態に従う画像処理装置のハードウェア構成の一例を示すブロック図である。 実施の形態に従う実施の形態に従う画像処理装置の機能構成の一例を示すブロック図である。 カメラが椅子を撮像している様子を示している図である。 人物の特徴的な部位を模式的に表した図である。 部位情報から算出された各部位間の相対関係のデータ構造を表した図である。 人物の特徴的な各部位と物体との相対的な位置関係を示した図である。 物体相対関係の分布を示した図である。 相対関係クラスのデータ構造を示した図である。 細分化した姿勢クラスを視覚的に表した図である。 部位間関係の分布を示した図である。 姿勢クラスのデータ構造を示した図である。 物体相対関係の分布を示した図である。 部位間関係の分布を示した図である。 行動カテゴリテーブルのデータ構造を示した図である。 一実施の形態に従う画像処理装置が実行する学習処理の一部を表わすフローチャートである。 一実施の形態に従う画像処理装置が実行する行動特定処理の一部を表わすフローチャートである。

　以下、図面を参照しつつ、本実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態、および／または、各変形例は、選択的に組み合わされてもよい。

　［技術原理］
　まず、以下の実施の形態に従う画像処理装置１００の理解を容易にするために、図１を参照して、画像処理装置１００が利用する技術原理について説明する。図１は、同じ姿勢をとりながら異なる行動をとっている人物の様子を示す図である。

　図１（Ａ）および図１（Ｂ）のそれぞれには、同じように指を前に突き出す姿勢をとっている人物２５が示される。図１（Ａ）には、人物２５が人物２７を指さしている様子が示される。図１（Ｂ）には、人物２５がボタン２９を押下している様子が示される。すなわち、人物２５は、同じ姿勢をとりながら、異なる行動をとっている。このように、人物の行動は、人の姿勢情報だけでは区別できない場合がある。本実施の形態において、姿勢情報とは、人物の姿勢を特定するための情報のことをいう。

　そこで、本実施の形態に従う画像処理装置１００は、監視対象の被写体である人物の姿勢情報だけでなく、人物の周囲にある監視対象以外の被写体の物体の位置情報をさらに用いて人物の行動を特定する。たとえば、図１（Ａ）に示される人物２７を指す行動と、図１（Ｂ）に示されるボタン２９を押下する行動とは、人物２５の指の前に物体があるか否かで見分けることができる。このように、人物の周囲にある物体の位置関係は、人物の行動を特定する上で重要な情報になり得る。この点に着目して、画像処理装置１００は、人物の姿勢情報だけでなく、人物の周囲にある物体の位置情報を用いて、人物の行動を特定する。

　より具体的には、人の姿勢は、手や足などの位置関係や、腕や足などの関節の角度で決まる。このため、画像処理装置１００は、まず、行動を特定する対象となる人物の手や足などの特徴的な各部位間の相対関係を特定することで人物の姿勢を特定する。本実施の形態において、特徴的な部位とは、人物の姿勢を特定するのに適した部位のことをいう。また、画像処理装置１００は、人物と、当該人物以外の被写体との相対関係（以下、「物体相対関係」とも称する。）を特定する。画像処理装置１００は、特定された人物の姿勢と物体相対関係との組み合わせから人物の行動を特定する。このように、物体相対関係が用いられることにより、画像処理装置１００は、人物の姿勢情報だけでは区別することができない行動を特定することが可能になる。この結果、画像処理装置１００は、人物の様々な行動を高精度に特定できる。

　画像処理装置１００は、人物の行動を特定することにより、監視カメラに映る人物の不正行為（たとえば、万引きなど）を検出したり、病院における患者の行動を見守ったりすることができる。

　なお、行動を特定する対象となる監視対象は、人物だけでなく動物も含み得る。画像処理装置１００は、動物の行動を特定することにより、監視カメラに映るペットの行動を監視したり、進入が禁止されているエリアに突入した動物を検出したりすることができる。

　［概要］
　図２～図５を参照して、本実施の形態に従う画像処理装置１００の概要について説明する。

　（３次元位置）
　まず、図２を参照して、画像処理装置１００が人物の行動検出に用いる情報である３次元位置について説明する。図２は、画像処理装置１００に接続されたカメラ１１０が被写体を撮像している様子を表している図である。

　図２に示されるように、画像処理装置１００には、カメラ１１０が接続されている。カメラ１１０の視野には、人物３１が含まれている。画像処理装置１００は、カメラ１１０の視野に含まれる被写体の３次元位置を取得する。３次元位置は、たとえば、カメラ１１０から被写体の各点までの距離を示した距離画像から取得される。取得された３次元位置は、人物の各部位の位置や、物体の位置などを特定するために用いられる。

　なお、以下では、「３次元位置」とは「距離画像」という概念も含み、「距離画像」とは「３次元位置」という概念も含む。

　（姿勢クラス）
　図３を参照して、人物の姿勢の種類を示す姿勢クラスの生成方法の概要について説明する。図３は、画像処理装置１００が姿勢クラスを生成する過程を概略的に表した概念図である。人物の姿勢は、手や足などの位置関係や、各関節の角度などで決まる。このため、画像処理装置１００は、これらの情報を類似するものごとに自動的にグループ化して、人物の姿勢を示す姿勢クラスを生成する。これにより、画像処理装置１００は、人物の姿勢をカテゴライズすることができる。

　より具体的には、カメラ１１０は、人物の様々な姿勢を撮影するために、人物３１を撮影し続ける。これにより、図３に示されるように、画像処理装置１００は、人物の様々な姿勢を写した距離画像３０を収集することができる。画像処理装置１００は、距離画像３０から人物を検出するとともに、距離画像３０内の人物領域を順次抽出する。画像処理装置１００は、抽出した人物領域から、人物の特徴的な各部位の位置からなる部位情報を順次抽出する。部位情報は、カメラ１１０の視野に含まれる人物の各関節の位置、および、当該人物の各端部の位置の少なくとも一方を含む。

　画像処理装置１００は、抽出した部位情報を基に、人物の特徴的な各部位間の相対関係（以下、「部位間関係」ともいう。）を算出する。画像処理装置１００は、部位間関係が互いに類似している部位情報の集合ごとに姿勢クラスを生成する。これにより、画像処理装置１００は、撮影中に人物がとった姿勢を、類似する姿勢ごとに自動的にグループ化することができる。

　たとえば、撮影された人物が座る姿勢をとった場合には、座る姿勢を示す姿勢クラス４１が生成される。撮影された人物が指をさす姿勢をとった場合には、指をさす姿勢を示す姿勢クラス４２が生成される。撮影された人物が寝転ぶ姿勢をとった場合には、寝転ぶ姿勢を示す姿勢クラス４３が生成される。撮影された人物が物を保持する姿勢をとった場合には、保持姿勢を表わす姿勢クラス４３が生成される。

　（相対関係クラス）
　図４を参照して、人物と物体との相対的な位置関係を示す相対関係クラスの生成方法の概要について説明する。図４は、画像処理装置１００が相対関係クラスを生成する過程を概略的に示した概念図である。上述したように、人物と周囲の物体との位置関係は、人物の行動を特定する上で重要な情報となり得る。このため、画像処理装置１００は、人物と周囲の物体との位置関係（すなわち、物体相対関係）をカテゴライズし、これにより、人物の行動を特定する。

　より具体的には、カメラ１１０は、人物３１が周囲の物体に対してとった様々な行動を撮影するために、人物３１と人物３１の周辺とを撮影し続ける。これにより、図４に示されるように、画像処理装置１００は、人物と物体との関係を写した様々な距離画像３０を収集することができる。画像処理装置１００は、距離画像３０から人物と物体とを検出する。画像処理装置１００は、距離画像３０内の人物の位置と物体の位置との相対関係を算出する。

　画像処理装置１００は、物体相対関係が互いに類似する集合ごとに相対関係クラスを生成する。これにより、画像処理装置１００は、撮影中に物体に対して人物がとった姿勢を、類似するものごとに自動的にグループ化することができる。

　たとえば、椅子に座る行動をとる人物が撮影された場合には、人物の位置と椅子の位置との相対的な位置関係を示す相対関係クラス５１が生成される。箱を運ぶ行動をとる人物が撮影された場合には、人物の位置と箱の位置との相対的な位置関係を示す相対関係クラス５２が生成される。ボタンを押下する行動をとる人物が撮影された場合には、人物の位置とボタンの位置との相対的な位置関係を示す相対関係クラス５３が生成される。他人を指さす行動をとる人物が撮影された場合には、人物の周囲には物体が無いことを示す相対関係クラス５４が生成される。

　（行動の特定方法）
　図５を参照して、人物の行動の特定方法について説明する。図５は、人物の行動を特定するための処理を概略的に示した概念図である。画像処理装置１００は、人物の姿勢と、人物および物体間の相対関係（すなわち、物体相対関係）との組み合わせから人物の行動を特定する。

　より具体的には、画像処理装置１００は、入力画像として、カメラ１１０から距離画像を取得する。画像処理装置１００は、入力画像から人物を検出し、人物が存在する入力画像内の領域（以下、「人物領域」とも称する。）を抽出する。また、画像処理装置１００は、入力画像から、人物が有する特徴的な各部位の位置（すなわち、部位情報）を抽出する。画像処理装置１００は、人物の姿勢を特定するために、抽出した部位情報から各部位間の相対関係を算出する。また、画像処理装置１００は、人物が物体に対してとった行動を特定するために、人物と当該人物以外の被写体との相対関係（すなわち、物体相対関係）を特定する。画像処理装置１００は、特定した人物の姿勢と物体相対関係との組み合わせから、当該人物の行動を特定する。

　以下、図５を参照して、画像処理装置１００が人物の行動を特定する具体例について説明する。図５に示されるように、人物３１がボタン６２を押下している様子がカメラ１１０によって撮影されたとする。これにより、画像処理装置１００は、入力画像として、人物３１がボタン６２を押下している様子を写した入力画像６０を得る。画像処理装置１００は、入力画像６０から人物６１を含む領域を抽出するとともに、抽出した領域から人物６１の部位情報を抽出し、さらに、抽出した部位情報から部位間関係を算出する。

　画像処理装置１００は、人物６１の部位情報が、予め登録されている複数の姿勢クラスのいずれに属するかを特定する。図５の例では、図３の例で生成された姿勢クラス４１～４４が登録されている。この場合、画像処理装置１００は、入力画像６０に写る人物６１の姿勢に類似する姿勢クラス４２が姿勢情報として特定される。

　また、画像処理装置１００は、入力画像６０からボタン６２の領域を抽出するとともに、人物６１とボタン６２との間の位置関係（すなわち、物体相対関係）を特定する。画像処理装置１００は、特定した物体相対関係が、予め登録されている相対関係クラスのうちいずれに属するかを特定する。図５の例では、図４の例で生成された相対関係クラス５１～５４が登録されている。この場合、画像処理装置１００は、入力画像６０に写る人物６１とボタン６２との物体相対関係が属する相対関係クラスとして、相対関係クラス５４を特定する。

　画像処理装置１００は、特定した姿勢クラス４２と相対関係クラス５３との組み合わせから、入力画像に含まれる人物６１の行動を特定する。人物の行動の種類を示す行動カテゴリは、姿勢クラスと相対関係との組み合わせごとに予め定められているとする。画像処理装置１００は、姿勢クラス４２と相対関係クラス５３との組み合わせに対応する行動カテゴリ「ボタン押下」を人物６１のとった行動として特定する。

　［ハードウェア構成］
　図６は、画像処理装置１００のハードウェア構成の一例を示すブロック図である。図６を参照して、画像処理装置１００のハードウェア構成について説明する。

　図６を参照して、画像処理装置１００は、主として、汎用的なアーキテクチャーを有するコンピュータ上に実装される。画像処理装置１００は、主たるコンポーネントとして、ＲＯＭ（Read　Only　Memory）１と、ＣＰＵ（Central　Processing　Unit）２と、ＲＡＭ（Random　Access　Memory）３と、カメラインターフェイス（Ｉ／Ｆ）４と、メモリーカードインターフェイス（Ｉ／Ｆ）５と、ネットワークインターフェイス（Ｉ／Ｆ）６と、記憶装置２０とを含む。

　ＲＯＭ１は、画像処理装置１００において起動時に実行される初期プログラム（ブートプログラム）などを格納する。ＣＰＵ２は、ＲＯＭ１や記憶装置２０などに格納された、オペレーティングシステム（ＯＳ：Operating　System）や画像処理プログラム２４などの各種プログラムを実行することで、画像処理装置１００の全体を制御する。ＲＡＭ３は、ＣＰＵ２でプログラムを実行するためのワーキングメモリとして機能し、プログラムの実行に必要な各種データを一次的に格納する。

　カメラＩ／Ｆ４は、ＣＰＵ２とカメラ１１０とのデータ通信を仲介する。たとえば、カメラＩ／Ｆ４は、画像バッファを含み、カメラ１１０から伝送される距離画像を一旦蓄積する。カメラＩ／Ｆ４は、少なくとも１枚分の入力画像のデータが蓄積されると、その蓄積されたデータを記憶装置２０またはＲＯＭ１へ転送する。また、カメラＩ／Ｆ４は、ＣＰＵ２が発生した内部コマンドに従って、カメラ１１０に対して撮像指令を与える。カメラ１１０は、たとえば、ステレオカメラ、被写体の３次元上の位置情報を検出する距離画像センサ、被写体の３次元上の位置を取得することができるその他のカメラを含む。なお、カメラ１１０は、画像処理装置１００に組み込まれてもよく、この場合には、カメラＩ／Ｆ４は、必須の構成ではない。

　メモリーカードＩ／Ｆ５は、ＳＤ（Secure　Digital）カードやＣＦ（Compact　Flash（登録商標））カードなどの各種メモリーカード（不揮発性記憶媒体）５Ａとの間で、データの読み書きを行なう。典型的には、メモリーカードＩ／Ｆ５には、他の装置で取得した距離画像を格納したメモリーカード５Ａが装着され、そのメモリーカード５Ａから読み出された距離画像が記憶装置２０へ格納される。

　ネットワークＩ／Ｆ６は、各種の通信媒体を介して、他の装置（サーバ装置など）とデータをやり取りする。より具体的には、ネットワークＩ／Ｆ６は、イーサネット（登録商標）などの有線回線（ＬＡＮ（Local　Area　Network）やＷＡＮ（Wide　Area　Network）など）、および／または、無線ＬＡＮなどの無線回線を介してデータ通信を行なう。

　記憶装置２０は、典型的には、ハードディスクなどの大容量磁気記憶媒体などを含む。記憶装置２０は、行動カテゴリテーブル２２と、本実施の形態に従う各種の画像処理を実現するための画像処理プログラム２４を格納する。行動カテゴリテーブル２２についての詳細は後述する。さらに、記憶装置２０には、オペレーティングシステムなどのプログラムが格納されてもよい。

　カメラ１１０は、外付けではなく、画像処理装置１００の内部に組み込まれて、画像処理装置１００本体が被写体を撮像する機能を有していてもよい。また、画像処理装置１００は、カメラに類似した機構を用いて距離画像を取得し、取得した距離画像を任意の方法で画像処理装置１００へ入力するように構成されてもよい。この場合、距離画像は、メモリーカードＩ／Ｆ５またはネットワークＩ／Ｆ６を介して画像処理装置１００に入力される。

　記憶装置２０に格納される画像処理プログラム２４は、ＣＤ－ＲＯＭ（Compact　Disk-Read　Only　Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバ装置などから配信される。画像処理プログラム２４は、画像処理装置１００で実行されるオペレーティングシステムの一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するようにしてもよい。この場合、画像処理プログラム２４自体には、オペレーティングシステムによって提供されるモジュールは含まれず、オペレーティングシステムと協働して画像処理が実現される。

　また、画像処理プログラム２４は、単体のプログラムではなく、任意のプログラムの一部に組み込まれて提供されてもよい。このような場合にも、画像処理プログラム２４自体には、任意のプログラムにおいて共通に利用されるようなモジュールは含まれず、任意のプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２４であっても、本実施の形態に従う画像処理装置１００の趣旨を逸脱するものではない。さらに、画像処理プログラム２４によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。

　さらに、画像処理装置１００は、必ずしも、リアルタイムに処理を行なわなくてもよい。たとえば、少なくとも１つのサーバ装置が本実施の形態に従う処理を実現する、いわゆるクラウドサービスのような形態で画像処理装置１００が構成されてもよい。この場合、距離画像がサーバ装置（クラウド側）へ送信され、サーバ装置は、受信した距離画像に対して、本実施の形態に従う画像処理を行なう。さらに、サーバ装置側が全ての機能（処理）を行なう必要はなく、ユーザ側の端末とサーバ装置とが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。

　［機能構成］
　図７および図８を参照して、画像処理装置１００の機能構成について説明する。図７および図８は、実施の形態に従う画像処理装置１００の機能構成の一例を示すブロック図である。画像処理装置１００は、動作モードとして、上述の姿勢クラスおよび相対関係クラスを生成する学習モードと、入力画像に写る人物の行動を特定する行動特定モードとを有する。

　（学習処理）
　まず、図７を参照して、学習モード時に実行される学習処理を実現するための画像処理装置１００の機能構成について説明する。画像処理装置１００は、動作モードが学習モードである場合には、学習画像である複数の距離画像から姿勢クラスと相対関係クラスとを生成する。学習処理には、たとえば、DesicionTree、DeepLearningなどの画像処理技術が用いられる。画像処理装置１００は、物体抽出部２１０と、対象抽出部２２０と、相対関係クラスタリング部２３０と、姿勢クラスタリング部２４０とを含む。

　物体抽出部２１０は、距離画像（学習画像）から監視対象以外の被写体である物体が存在する領域を抽出する。より具体的には、学習画像において物体領域を抽出し、抽出した物体領域から物体の３次元上の位置を検出する。物体抽出部２１０の詳細については後述する。物体抽出部２１０は、学習画像内の物体領域を相対関係クラスタリング部２３０に出力する。

　対象抽出部２２０は、異なる時間に得られた距離画像（学習画像）から監視対象の被写体である人物を検出し、当該人物の部位情報を順次抽出する。対象抽出部２２０の詳細については後述する。対象抽出部２２０は、抽出した部位情報を、相対関係クラスタリング部２３０および姿勢クラスタリング部２４０に出力する。

　相対関係クラスタリング部２３０は、対象抽出部２２０により順次抽出された人物領域と、当該人物領域の周辺の被写体との間の相対関係（すなわち、物体相対関係）が互いに類似している集合ごとにクラスタリングして複数の相対関係クラスを生成する。より具体的には、相対関係クラスタリング部２３０は、対象抽出部２２０によって順次抽出された複数の部位情報の各々から、人物の特徴的な各部位について、当該部位と物体との間の距離が互いに類似している集合ごとに相対関係クラスを生成する。相対関係クラスタリング部２３０の詳細については後述する。

　姿勢クラスタリング部２４０は、対象抽出部２２０によって順次抽出された複数の部位情報の各々から監視対象の各部位間の相対関係を算出し、すなわち、姿勢クラスタリング部２４０は、類似する姿勢ごとにグループピングする。姿勢クラスタリング部２４０の詳細については後述する。

　（行動特定処理）
　次に、図８を参照して、行動特定モード時に実行される行動特定処理を実現するための画像処理装置１００の機能構成について説明する。画像処理装置１００は、物体抽出部２１０と、対象抽出部２２０と、相対関係特定部２５０と、姿勢特定部２６０と、行動特定部２７０とを含む。画像処理装置１００は、動作モードが行動特定モードである場合には、入力画像を取得して、人物の行動を特定する。

　物体抽出部２１０は、距離画像（入力画像）から監視対象以外の被写体である物体が存在する領域を抽出する。より具体的には、入力画像において物体領域を抽出し、抽出した物体領域から物体の３次元上の位置を検出する。物体抽出部２１０は、入力画像内の物体領域を相対関係特定部２５０に出力する。

　対象抽出部２２０は、入力画像から人物を検出し、入力画像内の人物領域を抽出する。対象抽出部２２０は、入力画像内の人物領域から部位情報を抽出する。対象抽出部２２０の詳細については後述する。対象抽出部２２０は、入力画像内の部位情報を相対関係クラスタリング部２３０および姿勢クラスタリング部２４０に出力する。

　相対関係特定部２５０は、入力画像内の人物領域と、当該人物の周辺領域との間の物体相対関係を特定する。より具体的には、相対関係特定部２５０は、特定した物体相対関係が、人物と当該人物の周辺との間の相対的な関係の種類を示す複数の相対関係クラスのいずれに属するかを特定する。相対関係特定部２５０の詳細については後述する。相対関係特定部２５０は、特定した相対関係クラスを行動特定部２７０に出力する。

　姿勢特定部２６０は、部位情報から算出した人物の各部位間の相対関係（すなわち、部位間関係）から人物の姿勢を特定する。より具体的には、姿勢特定部２６０は、算出した部位間関係が、人物の姿勢の種類を示す複数の姿勢クラスのいずれに属するかを特定する。姿勢特定部２６０の詳細については後述する。姿勢特定部２６０は、特定した姿勢クラスを行動特定部２７０に出力する。

　行動特定部２７０は、姿勢特定部２６０によって特定された人物の姿勢と、相対関係特定部２５０によって特定された当該人物の物体相対関係との組み合わせから、入力画像内の人物の行動を特定する。より具体的には、行動特定部２７０は、相対関係特定部２５０によって特定された相対関係クラスと、姿勢特定部２６０によって特定された姿勢クラスとの組み合わせから、入力画像に写る人物がとる行動の種類を示す行動カテゴリを特定する。行動特定部２７０の詳細については後述する。

　［物体抽出部２１０の詳細］
　図９を参照して、物体抽出部２１０の詳細について説明する。図９は、カメラ１１０が椅子３２を撮像している様子を示している図である。

　物体抽出部２１０は、距離画像センサなどのカメラ１１０から得られた３次元位置から、監視対象以外の被写体である物体の位置を抽出する。図９に示される例においては、物体抽出部２１０は、３次元位置から地面の推定を行い、地面よりも上にある領域を物体として抽出する。すなわち、物体抽出部２１０は、図９に示されるように、領域２１１に対応する位置を物体の位置として特定する。なお、図９の例においては、説明を簡単にするために、物体の「位置」を一次元（ｘ軸）で表しているが、実際には、「位置」は、２次元（ｘ軸，ｙ軸）であるため、物体の位置は、２次元（ｘ軸，ｙ軸）で表される。また、物体の位置は、３次元（ｘ軸，ｙ軸，ｚ軸）で表されてもよい。

　他にも、物体抽出部２１０は、人物がいないときに撮影して得られた背景画像を、取得した距離画像から差分する所謂背景差分により、物体の位置を特定してもよい。この場合、物体抽出部２１０は、背景画像の撮影時（初期状態）から変化した領域を物体の位置として特定する。なお、人物の位置は、対象抽出部２２０により特定されるので、物体抽出部２１０は、特定した物体から人物の位置を除外することができる。また、物体抽出部２１０は、地面自体が一つの物体として特定してもよい。

　他にも、物体抽出部２１０は、距離画像センサなどで得た３次元情報を基に、人物の周辺の物体の種類を特定してもよい。物体の種類を特定するための方法としては、一般物体認識技術や特定物体認識技術が用いられる。たとえば、Bag-of-Keypointgaが特徴抽出処理で用いられる。ニューラルネットワーク（Neural　network）、サポートベクターマシン（SVM：Support　Vector　Machine）が学習処理で用いられる。

　［対象抽出部２２０の詳細］
　図１０および図１１を参照して、対象抽出部２２０の詳細について説明する。図１０は、人物の特徴的な部位を模式的に表した図である。図１１は、部位情報から算出された各部位間の相対関係（すなわち、部位間関係）のデータ構造を表した図である。

　対象抽出部２２０では、距離画像センサなどのカメラ１１０から得られた３次元情報を基に、人物の検出と、当該人物の姿勢の認識とを行なう。ここでいう姿勢は、人の関節や、頭部などの端部のような特徴的な部位がどのように配置されているかという、身体部位の配置情報で定義される。

　対象抽出部２２０は、たとえば、マイクロソフト（登録商標）のKinect（登録商標）センサをカメラ１１０として用いて、人物の各部位の３次元位置を示すスケルトン情報を取得する。Kinectセンサにより、関節のような特徴的な部位（以下では、「節点」ともいう。）と、各節点の配置とを検出することできる。Kinectセンサにより、たとえば、図１０に示されるような、人体の節点（１）～（１５）の３次元位置が取得できる。

　対象抽出部２２０は、Kinectセンサにより得られた、節点（１）～（１５）の３次元位置から、各節点間の相対的な関係（すなわち、部位間関係）を特定する。部位間関係は、各節点のうちの任意の２つの接点間の距離、各節点のうちの任意の３つの接点で定義される角度などを含む。一例として、図１０に示されるように、部位間関係は、腕の角度α、腕の角度β、足の角度γ、および足の角度δなどを含む。

　図１１には、部位間関係２３のデータ構造が示される。部位間関係２３は、上述した、各節点のうちの任意の２つの接点間の距離や、各節点のうちの任意の３つの接点で定義される角度などを含む。また、部位間関係２３には、各節点の３次元上の位置や、各節点のうちの任意の４つ以上の接点の相対関係などが定義されてもよい。相対関係を示すための節点数を多くすることで姿勢をより正確に表わすことができる。

　なお、上記では、Kinectセンサにより人物の検出と、当該人物の姿勢の認識とを行なう例について説明したが、人物を検出するための手段および人物の姿勢を認識するための手段は、これらに限定されるわけではない。たとえば、対象抽出部２２０は、予め登録された人物のテンプレートや、人物の各部位のテンプレートを用いて、距離画像に対してテンプレートマッチングを行なうことにより人物の位置や、各部位の位置を抽出してもよい。その他にも、人物の位置および各部位の位置を特定できる方法であればいずれの方法であってもよい。

　また、画像処理装置１００は、Kinectセンサの代わりに、ＴＯＦ（Time　of　Flight）カメラや、ステレオカメラを用いてもよい。

　［相対関係クラスタリング部２３０の詳細］
　図１２～図１４を参照して、相対関係クラスタリング部２３０の詳細について説明する。図１２は、人物の特徴的な各部位と物体との相対的な位置関係を示した図である。図１３は、物体相対関係の分布を示した図である。図１４は、相対関係クラス５５のデータ構造を示した図である。

　相対関係クラスタリング部２３０は、人物と当該人物の周辺環境情報との間の位置関係を測定することで物体相対関係を特定する。物体相対関係は、人物と物体との間の相対的な位置関係で定義される。より具体的には、物体相対関係は、人物の各関節と物体との間の各距離、および、当該人物の各端部と物体との間の各距離の少なくとも一方を含む。たとえば、物体相対関係には、図１２に示されるように、人の関節や、頭部、手先のような人の端部など、人物の特徴的な各部位と物体との間の相対距離が用いられる。

　当該相対距離には、各端点と周辺環境の各３次元位置とのユークリッド距離が用いられる。他にも、当該相対距離には、物体認識技術や、物体の領域分割技術によって、周辺環境情報を分割した場合、各特徴点と分割領域ごとの最短距離や、各分割領域の重心までの距離などが用いられてもよい。

　当該相対距離は、算出した距離をそのまま用いてもよいが、各特徴点に関して、接触または非接触というような２値の値に分類されてもよいし、遠い、近い、および接触というような複数のグループに量子化されてもよい。また、以下で説明するように、当該相対距離は、類似するものごとに自動的にクラスタリングされてもよい。量子化や、クラスタリングを行なうことで、物体相対関係の微小な違いを除外することができる。

　以下では、図１３を参照して、相対関係クラスタリング部２３０による相対関係クラスの生成方法の詳細について説明する。図１３には、物体相対関係の一例である、右手および物体Ａの間の距離と、右足および物体Ａとの間の距離とを指標とした、人物と物体との間の相対距離の分布が示されている。当該分布に示される各点は、異なる時間の人物と物体との相対的な位置関係を示す。なお、図１３では、説明を簡単にするために、物体相対関係の分布が２次元のグラフで表されているが、実際には、当該分布は、物体相対関係に定義される人物の各部位と物体との間の相対関係における指標の分の次元数を有する。たとえば、図１３に示されるように、相対関係クラスタリング部２３０は、右手および物体Ａの間の距離と、右足および物体Ａとの間の距離とが近い点の集合をグループ化して、相対関係クラスＡおよび相対関係クラスＢを生成する。

　また、クラスタリングの手法は、特に限定されず、類似する物体相対関係をクラスタリングできる手法であればいずれでもよい。たとえば、クラスタリング処理は、階層的な手法と、非階層的な手法とを含む。階層的なクラスタリングの手法としては、物体相対関係の指標で示される空間上で距離の近い２点を順次結合し、当該距離が予め定められた値を越えるまで結合を行なう手法が挙げられる。相対関係クラスタリング部２３０は、当該距離が予め定められた距離を越えた場合には、各点の結合を止め、結合された各点の集合を１つの姿勢クラスとする。また、非階層的なクラスタリングの手法としては、k-means法などが挙げられる。

　相対関係クラスタリング部２３０が類似する物体相対関係ごとにクラスタリングを行なうことにより、物体に対してとった類似する姿勢同士が同一の相対関係クラスとしてグループ化することができる。

　相対関係クラスタリング部２３０は、生成した相対関係クラス５５を記憶装置２０に格納する。図１４に示されるように、相対関係クラス５５は、人物の各部位と物体と間の相対距離ごとに所定の範囲で定義される。また、相対関係クラスは、図１３に示される分布上における相対関係クラスの中心座標と、中心から閾範囲３２６，３２８までの距離で定義されてもよい。

　なお、上記では、相対関係クラスタリング部２３０が、人物に対する物体相対関係をクラスタリングする例について説明を行なったが、他の方法で人物と当該人物の周辺との関係をクラスタリングしてもよい。たとえば、画像処理装置１００は、距離画像センサなどで得られた３次元情報をいくつかの領域に分割する。すなわち、画像処理装置１００は、類似する位置情報の集合ごとに３次元位置を分割して、被写体を複数の領域に分割する。一例として、画像処理装置１００は、k-means法などの画像処理技術により、同一のテクスチャごとに被写体を分割してもよいし、距離が近いもの同士をまとめて被写体を分割してもよい。この場合、相対関係クラスタリング部２３０は、人物の各部位と分割した複数の領域の各々との間の相対関係をクラスタリングして、相対関係クラスを生成する。

　［姿勢クラスタリング部２４０の詳細］
　図１５～図１７を参照して、姿勢クラスタリング部２４０の詳細について説明する。図１５は、細分化した姿勢クラスを視覚的に表した図である。図１６は、部位間関係の分布を示した図である。図１７は、姿勢クラス４５のデータ構造を示した図である。

　姿勢クラスタリング部２４０は、過去の観測結果を用いて類似する姿勢をクラスタリングする。姿勢をクラスタリングせずに人物の姿勢情報をそのまま用いて人物の姿勢を特定することも考え得るが、その場合には、姿勢が細分化されてしまう可能性がある。たとえば、図１５に示されるように、「姿勢Ａ」～「姿勢Ｃ」のような同じ立ち姿勢であっても、足を開いた「姿勢Ｂ」や、手を上げた「姿勢Ｃ」などの少しの違いでそれぞれの姿勢が別の姿勢として扱われてしまう。このため、姿勢クラスタリング部２４０は、類似した姿勢を１つの姿勢としてみなすために、類似する部位間関係の集合ごとに１つの姿勢クラスを生成する。

　図１６には、部位間関係の一例である腕の角度α（図１０（Ｂ）参照）、および足の角度γ（図１０（Ｂ）参照）を指標とした分布が示されている。当該分布に示される各点は、繰り返し取得した距離画像から抽出した部位間関係を示す。なお、図１６には、説明を簡単にするために、部位間関係の分布が２次元のグラフで表されているが、実際には、当該分布は、部位間関係に定義される各節点間の関係の指標の種類の分の次元数を有する。姿勢クラスタリング部２４０は、図１６に示されるように、たとえば、腕の角度αと足の角度γとが近い点の集合をグループ化して、姿勢クラスＡおよび姿勢クラスＢを生成する。

　また、クラスタリングの手法は、特に限定されず、類似する人物の姿勢をクラスタリングできる手法であればいずれでもよい。たとえば、クラスタリング処理は、階層的な手法と、非階層的な手法とを含む。階層的なクラスタリングの手法としては、部位間関係の指標で示される空間上で距離の近い２点を順次結合し、当該距離が予め定められた値を越えるまで結合を行なう手法が挙げられる。姿勢クラスタリング部２４０は、当該距離が予め定められた距離を越えた場合には、各点の結合を止め、結合された各点の集合を１つの姿勢クラスとする。このことは、各姿勢クラス間で分布位置にある程度差があること、すなわち、各姿勢クラス間で距離がある程度離れるであろうということを前提にしている。当該距離が予め決められた値よりも大きければ処理が打ち切られるため、姿勢クラスが際限なく大きくなることはない。また、非階層的なクラスタリングの手法としては、k-means法などが挙げられる。

　姿勢クラスタリング部２４０が類似する姿勢ごとにクラスタリングを行なうことにより、類似する特徴を有する姿勢同士が同一の姿勢クラスとしてグループ化することができる。また、たとえば、「座る」という姿勢をとる際の手の位置など、姿勢の微小な違いやその姿勢をとる際に重要でない部分を排除することができる。さらに、クラスタリングにより姿勢を適宜学習していくことで、事前にユーザが用意した姿勢以外にも、機能を対応させることが可能となる。

　姿勢クラスタリング部２４０は、生成した姿勢クラス４５を記憶装置２０に格納する。たとえば、姿勢クラス４５は、図１７に示されるように、部位間関係の指標ごとに所定の範囲で定義される。また、姿勢クラスは、図１６に示される分布上における姿勢クラスの中心座標と、中心から閾範囲３２２，３２４までの距離で定義されてもよい。

　［相対関係特定部２５０の詳細］
　図１８を参照して、相対関係特定部２５０の詳細について説明する。図１８は、各相対関係クラスと物体相対関係との分布を示した図である。なお、図１８では、説明を簡単にするために、物体相対関係の分布が２次元のグラフで表されているが、実際には、当該分布は、物体相対関係に定義される人物の各部位と物体との間の相対関係における指標の分の次元数を有する。

　相対関係特定部２５０は、入力画像に写る人物と物体との相対的な位置関係が、いずれの相対関係クラスに属するかを特定する。たとえば、相対関係特定部２５０は、図１８に示されるように、入力画像に写る人物の物体相対関係を示す点３２１と相対関係クラスの中心点との間の距離が所定の範囲内となる相対関係クラスを特定する。当該距離は、ユークリッド距離、およびマハラノビス距離を含む。

　一例として、点３２１と相対関係クラスＡの中心点との距離ｘが、閾範囲３２６に含まれる場合には、人物と物体との相対関係を相対関係クラスＡとして特定する。また、点３２１と相対関係クラスＢの中心点との距離ｙが、閾範囲３２８に含まれる場合に、人物と物体との相対関係を相対関係クラスＢとして特定する。

　なお、相対関係特定部２５０は、人物の各部位と物体との間の相対距離の各々が、距離の長さに応じて予め分けられた複数の相対関係クラスのいずれに属するかを特定するように構成されてもよい。この場合には、相対関係クラスタリング部２３０によるクラスタリング処理は、実行されなくともよい。

　［姿勢特定部２６０の詳細］
　図１９を参照して、姿勢特定部２６０の詳細について説明する。図１９は、部位間関係の分布を示した図である。なお、図１９には、説明を簡単にするために、部位間関係の分布が２次元のグラフで表されているが、実際には、当該分布は、部位間関係に定義される各節点間の関係の指標の種類の分の次元数を有する。

　姿勢特定部２６０は、入力画像に写る人物の姿勢が、いずれの姿勢クラスに属するかを特定する。たとえば、姿勢特定部２６０は、物体に接したときの部位間関係で示される点３２０と姿勢クラスの中心点との間の距離が所定の範囲内となる姿勢クラスを特定する。当該距離は、ユークリッド距離、およびマハラノビス距離を含む。

　たとえば、点３２０と姿勢クラスＡの中心点との距離ｘが、当該中心点と閾範囲３２２との距離以内である場合に、人物は姿勢クラスＡで物体に接したと判断する。また、点３２０と姿勢クラスＢの中心点との距離ｙが、当該中心点と閾範囲３２４との距離以内である場合に、人物は姿勢クラスＢで物体に接したと判断する。図１９に示される例では、人物は姿勢クラスＡで物体に接したと判断される。

　［行動特定部２７０の詳細］
　図２０を参照して、行動特定部２７０の詳細について説明する。図２０は、行動カテゴリテーブルのデータ構造を示した図である。

　行動特定部２７０は、姿勢情報に加えて、人物の周辺環境との位置関係についても、行動の判断要素に加える。なお、ここでいう周辺環境とは、人物の周囲に物体があるという情報だけでなく、人物の周囲に物体がないという情報も含まれる。これにより、たとえば、同じ姿勢であっても、人物の周辺に何もない場合、足の近くに何かがある場合、手の近くに何かがある場合の各々を別の行動として認識することができる。

　より具体的には、姿勢クラスと相対関係クラスとの組み合わせのそれぞれには、人物の行動の種類を示す行動カテゴリがそれぞれ対応付けられている。すなわち、姿勢クラスと、相対関係クラスと、行動カテゴリとは、互いに対応付けられている。これらの対応関係は、たとえば、図２０に示されるように、行動カテゴリテーブル２２として定義される。

　行動特定部２７０は、相対関係特定部２５０によって特定された相対関係クラスと、姿勢特定部２６０によって特定された姿勢クラスとの組み合わせから、入力画像に写る人物の行動を特定する。すなわち、行動特定部２７０は、行動カテゴリテーブル２２を参照して、特定した相対関係クラスと姿勢クラスと組み合わせに対応する行動カテゴリを特定する。行動特定部２７０は、特定した行動カテゴリを入力画像に写る人物がとった行動として出力する。

　なお、物体認識技術などで人物の周辺にある物体の名称が既知である場合には、行動特定部２７０は、姿勢クラスおよび相対関係クラスの他に、物体の名称をさらに行動の判断要素に加えてもよい。これにより、たとえば、行動特定部２７０は、人物の近くにある物体が、ただの箱なのか自動販売機なのかによって別の行動として認識することができる。

　また、人物の周辺環境の３次元情報が領域に分割されている場合には、行動特定部２７０は、姿勢クラスおよび相対関係クラスの他にも、分割されている領域のサイズや、形状などをさらに行動の判断要素に加えてもよい。これにより、行動特定部２７０は、たとえば、近くにある物体が大きいのか、小さいのか、丸いのか、細長いのかなどの違いによって別の行動として認識することができる。

　［フローチャート］
　図２１および図２２を参照して、画像処理装置１００の制御構造について説明する。図２１は、画像処理装置１００が実行する学習処理の一部を表わすフローチャートである。図２２は、画像処理装置１００が実行する行動特定処理の一部を表わすフローチャートである。図２１および図２２の処理は、ＣＰＵ２がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。

　まず、図２１を参照して、画像処理装置１００の学習処理のフローについて説明する。画像処理装置１００の動作モードが学習モードである場合には、図２１に示されるステップＳ５１０～ステップＳ５２０の処理が実行される。

　ステップＳ５１０において、ＣＰＵ２は、カメラ１１０から被写体を撮影し続けることにより複数の距離画像を学習画像として取得する。ステップＳ５１２において、ＣＰＵ２は、物体抽出部２１０として、入力画像から物体を検出して、物体の３次元上の位置を取得する。なお、物体が動かない場合には、ＣＰＵ２は、学習画像のうちの１枚についてのみ物体検出処理を行なってもよい。ＣＰＵ２は、学習画像の全てについて物体検出処理を行なってもよい。

　ステップＳ５１４において、ＣＰＵ２は、対象抽出部２２０として、異なる時間に得られた学習画像の各々に含まれる人物の３次元上の位置を取得する。ＣＰＵ２は、学習画像に含まれる人物の位置から当該人物の特徴的な部位の位置（すなわち、部位情報）を取得する。

　ステップＳ５１６において、ＣＰＵ２は、相対関係クラスタリング部２３０として、順次抽出された人物の各部位と物体との間の相対距離が互いに類似している集合ごとに相対関係クラスを生成する。

　ステップＳ５１８において、ＣＰＵ２は、複数の部位情報の各々から算出した人物の各部位間の相対関係が互いに類似する部位情報の集合ごとに姿勢クラスを生成する。

　ステップＳ５２０において、ＣＰＵ２は、本実施の形態に従う学習処理を終了するか否かを判断する。ＣＰＵ２は、たとえば、ユーザが当該学習処理を終了する操作を行なった場合に、当該学習処理を終了する。ＣＰＵ２は、本実施の形態に従う学習処理を終了すると判断した場合には（ステップＳ５２０においてＹＥＳ）、当該学習処理を終了する。そうでない場合には（ステップＳ５２０においてＮＯ）、ＣＰＵ２は、ステップＳ５１０～ステップＳ５１８の処理を再び実行する。

　次に、図２２を参照して、画像処理装置１００の行動特定処理のフローについて説明する。画像処理装置１００の動作モードが行動特定モードである場合には、図２２に示されるステップＳ５３０～ステップＳ５４２の処理が実行される。

　ステップＳ５３０において、ＣＰＵ２は、カメラ１１０から被写体を撮影することにより距離画像を入力画像として取得する。ステップＳ５３２において、ＣＰＵ２は、物体抽出部２１０として、入力画像から物体を検出して、物体の３次元上の位置を取得する。なお、物体が動かない場合には、ＣＰＵ２は、最初に得られた入力画像に対してのみ物体検出処理を行なってもよい。また、ＣＰＵ２は、入力画像が得られるたびに物体検出処理を行なってもよい。

　ステップＳ５３４において、ＣＰＵ２は、対象抽出部２２０として、入力画像に含まれる人物の３次元上の位置を取得する。ＣＰＵ２は、入力画像に含まれる人物の位置から当該人物の特徴的な部位の位置（すなわち、部位情報）を取得する。

　ステップＳ５３６において、ＣＰＵ２は、相対関係特定部２５０として、入力画像に含まれる人物と物体との相対的な位置関係（すなわち、物体相対関係）が、複数の相対関係クラスのいずれに属するかを特定する。

　ステップＳ５３８において、ＣＰＵ２は、姿勢特定部２６０として、入力画像に含まれる人物の特徴的な部位間の相対的な位置関が、複数の姿勢クラスのいずれに属するかを特定する。

　ステップＳ５４０において、ＣＰＵ２は、行動特定部２７０として、特定された物体相対クラスと姿勢クラスとの組み合わせから入力画像に含まれる人物がとっている行動を特定する。より具体的には、ＣＰＵ２は、行動カテゴリテーブルを参照して、特定された物体相対クラスと姿勢クラスとの組み合わせに対応する行動カテゴリを特定する。

　ステップＳ５４２において、ＣＰＵ２は、本実施の形態に従う行動特定処理を終了するか否かを判断する。ＣＰＵ２は、たとえば、ユーザが行動特定処理を終了する操作を行なった場合に、当該行動特定処理を終了する。ＣＰＵ２は、本実施の形態に従う画像処理を終了すると判断した場合には（ステップＳ５４２においてＹＥＳ）、当該画像処理を終了する。そうでない場合には（ステップＳ５４２においてＮＯ）、ＣＰＵ２は、ステップＳ５３０～ステップＳ５４０の処理を再び実行する。

　［利点］
　以上のようにして、本実施の形態に従う画像処理装置１００は、人物の姿勢情報だけでなく、人物の周囲にある物体との位置関係を用いることにより、人物の姿勢だけでは区別することができない行動を特定することができる。この結果、画像処理装置１００は、人物の様々な行動を高精度に特定することができる。

　今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

　１　ＲＯＭ、２　ＣＰＵ、３　ＲＡＭ、４　カメラＩ／Ｆ、５　メモリーカードＩ／Ｆ、５Ａ　メモリーカード、６　ネットワークＩ／Ｆ、７　表示装置、２０　記憶装置、２１　部位情報、２２　行動カテゴリテーブル、２３　部位間関係、２４　画像処理プログラム、２５，２７，３１，６１　人物、２９，６２　ボタン、３０　距離画像、３２　椅子、４１～４５　姿勢クラス、５１～５４　相対関係クラス、６０　入力画像、１００　画像処理装置、１１０　カメラ、２１０　物体抽出部、２１１　領域、２２０　対象抽出部、２３０　相対関係クラスタリング部、２４０　姿勢クラスタリング部、２５０　相対関係特定部、２６０　姿勢特定部、２７０　行動特定部、３２０，３２１　点、３２２，３２４，３２６，３２８　閾範囲。

Claims (13)

1. 　人物または動物である監視対象の行動を特定するための画像処理装置であって、
   　カメラの視野に含まれる被写体の３次元位置から、前記監視対象が存在する領域を抽出するとともに、当該監視対象が有する特徴的な各部位の位置を示す部位情報を抽出するための対象抽出部と、
   　前記部位情報から算出した前記監視対象の各部位間の第１の相対関係から前記監視対象の姿勢を特定するための姿勢特定部と、
   　前記監視対象と、当該監視対象以外の被写体との間の第２の相対関係を特定するための相対関係特定部と、
   　前記姿勢特定部によって特定された前記監視対象の姿勢と、前記第２の相対関係との組み合わせから、前記監視対象の行動を特定するための行動特定部とを備える、画像処理装置。
2. 　前記姿勢特定部は、前記第１の相対関係が、監視対象の姿勢の種類を示す複数の姿勢クラスのいずれに属するかを特定し、
   　前記相対関係特定部は、前記第２の相対関係が、監視対象と当該監視対象以外の被写体との間の相対関係の種類を示す複数の相対関係クラスのいずれに属するかを特定し、
   　前記行動特定部は、前記姿勢特定部によって特定された姿勢クラスと、前記相対関係特定部によって特定された相対関係クラスとの組み合わせから、前記監視対象の行動の種類を特定する請求項１に記載の画像処理装置。
3. 　前記対象抽出部は、異なる時間に得られた前記３次元位置から、監視対象が存在する領域を順次抽出するとともに、当該監視対象が有する特徴的な各部位の位置を示す部位情報を順次抽出し、
   　前記画像処理装置は、
   　　複数の前記部位情報を、類似する部位情報ごとにクラスタリングして前記複数の姿勢クラスを生成するための姿勢クラスタリング部と、
   　　前記対象抽出部により順次抽出された監視対象と、当該監視対象以外の被写体との間の第２の相対関係が互いに類似している集合ごとにクラスタリングして前記複数の相対関係クラスを生成するための相対関係クラスタリング部とをさらに備える、請求項２に記載の画像処理装置。
4. 　前記姿勢クラスタリング部は、前記対象抽出部によって順次抽出された複数の前記部位情報の各々から監視対象の各部位間の第１の相対関係を算出し、第１の相対関係が互いに類似する集合ごとに前記姿勢クラスを生成する、請求項３に記載の画像処理装置。
5. 　前記画像処理装置は、前記３次元位置から、監視対象以外の被写体である物体が存在する領域を抽出するための物体抽出部をさらに備え、
   　前記第２の相対関係は、前記監視対象と前記物体との間の相対的な位置関係を含む、請求項３または４に記載の画像処理装置。
6. 　前記相対関係クラスタリング部は、前記対象抽出部によって順次抽出された複数の前記部位情報の各々から、監視対象の特徴的な各部位について、当該部位と前記物体との間の距離が互いに類似している集合ごとに前記相対関係クラスを生成する、請求項５に記載の画像処理装置。
7. 　前記第２の相対関係は、前記監視対象の各関節と前記物体との間の各距離、および、当該監視対象の各端部と前記物体との間の各距離の少なくとも一方を含む、請求項５または６に記載の画像処理装置。
8. 　前記部位情報は、前記監視対象の各関節の位置、および、当該監視対象の各端部の位置の少なくとも一方を含む、請求項１～７のいずれか１項に記載の画像処理装置。
9. 　前記相対関係特定部は、前記監視対象の特徴的な各部位と、当該監視対象以外の被写体との間の距離の各々が、距離の長さに応じて予め分けられた前記複数の相対関係クラスのうちのいずれに属するかを特定する、請求項２または３に記載の画像処理装置。
10. 　前記画像処理装置は、類似する位置情報の集合ごとに前記３次元位置を分割して、前記被写体を複数の領域に分割するための分割部をさらに備え、
    　前記第２の相対関係は、前記監視対象の特徴的な各部位と前記複数の領域の各々との間の相対関係を含む、請求項１～９のいずれか１項に記載の画像処理装置。
11. 　前記複数の姿勢クラスと前記複数の相対関係クラスとの組み合わせのそれぞれには、前記監視対象の行動の種類を示す行動カテゴリがそれぞれ対応付けられており、
    　前記行動特定部は、前記姿勢特定部によって特定された姿勢クラスと前記相対関係特定部によって特定された相対関係クラスとの組み合わせに対応する行動カテゴリを特定する、請求項２～６のいずれか１項に記載の画像処理装置。
12. 　人物または動物である監視対象の行動を特定するための画像処理方法であって、
    　カメラの視野に含まれる被写体の３次元位置から、前記監視対象が存在する領域を抽出するとともに、当該監視対象が有する特徴的な各部位の位置を示す部位情報を抽出するステップと、
    　前記部位情報から算出した前記監視対象の各部位間の第１の相対関係から前記監視対象の姿勢を特定するステップと、
    　前記監視対象と、当該監視対象以外の被写体との間の第２の相対関係を特定するステップと、
    　前記姿勢と前記第２の相対関係との組み合わせから、前記監視対象の行動を特定するステップとを備える、画像処理方法。
13. 　人物または動物である監視対象の行動を特定するための画像処理プログラムであって、
    　前記画像処理プログラムは、コンピュータに、
    　　カメラの視野に含まれる被写体の３次元位置から、前記監視対象が存在する領域を抽出するとともに、当該監視対象が有する特徴的な各部位の位置を示す部位情報を抽出するステップと、
    　　前記部位情報から算出した前記監視対象の各部位間の第１の相対関係から前記監視対象の姿勢を特定するステップと、
    　　前記監視対象と、当該監視対象以外の被写体との間の第２の相対関係を特定するステップと、
    　　前記姿勢と前記第２の相対関係との組み合わせから、前記監視対象の行動を特定するステップとを実行させる、画像処理プログラム。

Images