WO2017086058A1

WO2017086058A1 - 画像処理装置と画像処理方法およびプログラム

Info

Publication number: WO2017086058A1
Application number: PCT/JP2016/080092
Authority: WO
Inventors: 高田　信一; 堅一郎多井; 弘長佐野
Original assignee: ソニー株式会社
Priority date: 2015-11-20
Filing date: 2016-10-11
Publication date: 2017-05-26
Also published as: CN108352064A; US20200175693A1; JP2017097510A

Abstract

閾値マップ生成部４１２は、入力装置３０からの操作信号に基づき撮像画像を混雑領域と閑散領域に区分して、領域毎に混雑レベルに応じた人物判定閾値を閾値記憶部４１１から取得して閾値マップを生成する。人物検出部４２１は、閾値マップに基づき、複数領域毎に領域に対応する人物判定閾値を用いて人物検出を行う。追尾部４２２は、検出された人物の追尾を行う。人物検出信頼度算出部４４１は、人物検出結果と追尾結果を用いて、検出された人物毎に人物検出信頼度を算出する。したがって、信頼度が高く精度よい人物検出情報を得ることができるようになる。

Description

画像処理装置と画像処理方法およびプログラム

　この技術は、画像処理装置と画像処理方法およびプログラムに関し、信頼度が高く精度よい人物検出情報を得られるようにする。

　従来、撮像装置で生成された画像から人物を検出して、検出された人物をカウントする技術が開示されている。例えば、特許文献１では、人物追跡位置情報の軌跡をフィルタ部に供給して、フィルタ部で選択された選択人物位置情報の軌跡（人物軌跡）の数から人物を集計することが行われている。また、フィルタ部では、人物位置情報の軌跡の中で人物が接近してくる接近人物軌跡の数が顔位置情報の軌跡の数に略等しくなるように、フィルタリングパラメータを調節して、人物追跡位置情報を選択することが行われている。

特開２０１３－２０６０１８号公報

　ところで、撮像装置で生成された画像から人物を検出する場合、人物が混雑していない領域を撮像した画像では人同士の重なりが少ない。したがって、精度の高い人物検出が可能である。しかし、人物が混雑している領域を撮像すると、この領域を撮像した画像では人同士の重なりの発生頻度が高くなり、人物を個々に精度よく検出することが難しくなってしまう。

　そこで、この技術では、信頼度が高く精度よい人物検出結果を得ることができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。

　この技術の第１の側面は、
　撮像画像を区分した複数領域毎に人物判定閾値を設定した閾値マップを生成する閾値マップ生成部と、
　前記閾値マップ生成部で生成された前記閾値マップに基づき、前記複数領域毎に領域に対応する前記人物判定閾値を用いて人物検出を行う人物検出部と、
　前記人物検出部で検出された人物の追尾を行う追尾部と、
　前記人物検出部の人物検出結果と前記追尾部の追尾結果を用いて、前記検出された人物毎に人物検出信頼度を算出する人物検出信頼度算出部と
を備える画像処理装置にある。

　この技術においては、撮像画像がユーザ操作によってまたは撮像画像の混雑レベル検出結果に基づいて混雑領域と閑散領域に区分される。閾値マップ生成部は、領域の混雑レベルに応じた人物判定閾値を用いて、領域毎に人物判定閾値を示した閾値マップを生成する。人物判定閾値は、混雑領域の人物において人物検出によって検出される人物がどの程度含まれるかを表す再現率を所定レベルに維持した状態で、人物検出によって検出された人物において混雑領域の人物がどの程度含まれるかを表す適合率が最大となるように設定する。また、閑散領域の人物判定閾値は、人物検出によって検出された人物において閑散領域の人物がどの程度含まれるかを表す適合率が所定レベル以上で、閑散領域の人物において人物検出によって検出される人物がどの程度含まれるかを表す再現率が最大となるように設定する。人物判定閾値は、例えば混雑領域と閑散領域の学習用画像を用いて閾値学習部によって予め設定しておく。

　人物検出部は、人物であることの確度を示すスコアの算出を被写体に対して行い、算出したスコアが閾値マップの被写体の位置に対応する人物判定閾値以上であるとき人物と判定する。追尾部は、人物検出部で検出された人物に対して追尾枠を設定して、追尾枠の枠内の画像と撮像時刻が異なる撮像画像を用いて、撮像時刻が異なる撮像画像における追尾枠の位置を予測する。また、追尾部は、追尾枠に対して人物毎に異なる追尾識別情報を設定して、追尾識別情報毎に追尾枠の位置の予測を行い、予測位置の追尾枠に対応する人物位置想定領域内において人物検出部で得られた人物検出結果を示す情報に予測位置の追尾枠に設定された追尾識別情報を含める。人物検出信頼度算出部は、人物検出部の人物検出結果と追尾部の追尾結果を用いて、信頼度算出期間における追尾位置での人物検出状況を、検出された人物毎に算出して人物検出信頼度とする。

　また、追尾部は、閑散領域で検出された人物を追尾して、人物の予測位置が混雑領域であるとき、閾値マップにおける予測位置を基準とした所定領域の人物判定閾値を、調整前よりも人物として判定され易くなるように調整する閾値調整部を設ける。

　また、閑散領域で検出された人物について過去方向に追尾と人物検出を行い、追尾における人物の予測位置が混雑領域であるとき、閾値マップにおける予測位置を基準とした所定領域の人物判定閾値を、調整前よりも人物として判定され易くなるように調整して、調整後の人物判定閾値を用いて人物検出を行うバックトラッキング部を設ける。また、バックトラッキング部を設けた場合、人物検出信頼度算出部は、バックトラッキング部で取得した人物検出結果と追尾結果を用いて人物検出信頼度を算出する
　さらに、画像処理装置では、人物検出信頼度算出部で算出された人物検出信頼度と追尾部の追尾結果に基づき、人物検出信頼度がカウント対象判別閾値以上であって予め設定したカウント位置を通過する人物をカウント対象として、カウント位置を通過する人物の数をカウントするカウント部を設ける。

　この技術の第２の側面は、
　撮像画像を区分した複数領域毎に人物判定閾値を設定した閾値マップを閾値マップ生成部で生成することと、
　前記閾値マップ生成部で生成された前記閾値マップに基づき、前記複数領域毎に領域に対応する前記人物判定閾値を用いて人物検出部で人物検出を行うことと、
　前記人物検出部で検出された人物の追尾を追尾部で行うことと、
　前記人物検出部の人物検出結果と前記追尾部の追尾結果を用いて、前記検出された人物毎に人物検出信頼度を人物検出信頼度算出部で算出することと
を含む画像処理方法にある。

　この技術の第３の側面は、
　画像処理をコンピュータで行われるプログラムであって、
　撮像画像を区分した複数領域毎に人物判定閾値を設定した閾値マップを生成する手順と、
　生成された前記閾値マップに基づき、前記複数領域毎に領域に対応する前記人物判定閾値を用いて人物検出を行う手順と、
　前記検出された人物の追尾を行う手順と、
　前記人物検出結果と前記追尾結果を用いて、前記検出された人物毎に人物検出信頼度を算出する手順と
を前記コンピュータで実行させるプログラムにある。

　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

　この技術によれば、撮像画像を区分した複数領域毎に人物判定閾値を設定した閾値マップが生成されて、この閾値マップに基づき、複数領域毎に領域に対応する人物判定閾値を用いて人物検出が行われる。また、検出された人物の追尾を行い、人物検出結果と追尾結果を用いて、検出された人物毎に人物検出信頼度が算出される。したがって、信頼度が高く精度よい人物検出情報を得ることができるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像処理システムの構成を例示した図である。第１の実施の形態の構成を示す図である。閾値マップの生成を説明するための図である。適合率と再現率を説明するための図である。適合率と再現率とスコアの関係を例示した図である。異なる時刻の人物検出結果を例示した図である。追尾結果と人物検出結果を例示した図である。カウント部の動作を例示した図である。第１の実施の形態の動作を示すフローチャートである。閾値マップ生成処理を示すフローチャートである。人物検出情報生成処理を示すフローチャートである。閑散領域から混雑領域に人物が移動している場合を示す図である。第２の実施の形態の構成を示した図である。人物判定閾値の調整動作を説明するための図である。第２の実施の形態における人物検出情報生成処理を示すフローチャートである。混雑領域から閑散領域に人物が移動している場合を示す図である。第３の実施の形態の構成を示した図である。バックトラッキング部の構成を示す図である。バックトラッキング部の動作を示す図である。第３の実施の形態における人物検出情報生成処理を示すフローチャートである。バックトラッキング処理を示すフローチャートである。第４の実施の形態の構成を示した図である。人物判定閾値の学習方法（混雑領域）を説明するための図である。人物判定閾値の学習方法（閑散領域）を説明するための図である。第４の実施の形態の動作を示すフローチャートである。閾値学習処理を示すフローチャートである。他の実施の形態の構成を示した図である。他の実施の形態の動作を示すフローチャートである。

　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．画像処理システムについて
　２．第１の実施の形態
　３．第２の実施の形態
　４．第３の実施の形態
　５．第４の実施の形態
　６．他の実施の形態

　＜１．画像処理システムについて＞
　図１は、画像処理システムの構成を例示している。画像処理システム１０は、撮像装置２０、入力装置３０、画像処理装置４０および表示装置５０を有している。

　撮像装置２０は、人が移動する場所を撮像して撮像画像を生成する。撮像画像では、混雑が生じ易い領域（以下「混雑領域」という）と他の領域（以下「閑散領域」という）が含まれている。例えば、幅が狭い通路と幅が広い通路との接続部分やゲート等が設けられている場所を撮像した撮像画像では、幅が狭い通路を移動する人やゲートを通過する人が多くなる場合では、これらの場所を撮像した画像領域が混雑領域に相当する。撮像装置２０は、生成した撮像画像の画像信号を画像処理装置４０へ出力する。

　入力装置３０は、操作キーや操作レバー，タッチパネル等を用いて構成されており、ユーザ操作を受け付けて、ユーザ操作に応じた操作信号を画像処理装置４０へ出力する。

　画像処理装置４０は、撮像装置２０で生成された撮像画像を区分した複数領域毎に人物判定閾値を設定した閾値マップを生成する。また、画像処理装置は、生成した閾値マップに基づき、領域毎に領域に対応する人物判定閾値を用いて人物検出を行う。また、画像処理装置４０は、検出された人物の追尾を行い、人物検出結果と追尾結果を用いて、検出された人物毎の人物検出信頼度を算出する。さらに、画像処理装置４０は、追尾結果と人物検出信頼度に基づき、予め設定した判定位置を通過する人物の数をカウントする。また、画像処理装置４０は、撮像画像から取得した情報例えばカウント結果等を示す信号を表示装置５０へ出力して、画像処理装置４０で取得した情報等を画面上に表示する。

　＜２．第１の実施の形態＞
　図２は、本技術の画像処理装置の第１の実施の形態の構成を示している。画像処理装置４０は、閾値記憶部４１１、閾値マップ生成部４１２、人物検出部４２１、追尾部４２２、人物検出信頼度算出部４４１、カウント部４５１、出力部４６１を有している。

　閾値記憶部４１１は、混雑レベル毎に予め人物判定閾値を記憶している。人物判定閾値は、後述するように人物検出部４２１で人物の判定を行う際に、判定基準として用いられる。閾値記憶部４１１は、後述する閾値マップ生成部４１２から示された混雑レベルに応じた人物判定閾値を閾値マップ生成部４１２へ出力する。

　閾値マップ生成部４１２は、予め設定された混雑領域と閑散領域および混雑領域の混雑レベルに応じて閾値マップを生成する。閾値マップ生成部４１２は、入力装置３０から供給された操作信号に基づき、ユーザ操作に応じて、撮像装置２０で生成される撮像画像を、予め混雑レベルの異なる複数の領域に区分する。領域の区分において、画像処理装置４０では、例えば撮像装置２０で生成された撮像画像を後述する出力部４６１から表示装置５０に出力して撮像画像を表示させる。ユーザは、表示装置５０で表示された撮像画像を利用して、撮像画像を混雑レベルの異なる複数の領域に区分する操作を行う。閾値マップ生成部４１２は、領域の区分操作を示す操作信号に基づき、撮像画像を混雑領域と閑散領域に区分する。図３は、閾値マップの生成を説明するための図である。図３の（ａ）は、撮像装置２０で生成された撮像画像を例示しており、斜線で示す領域が混雑領域ＡＲｃ、他の領域が閑散領域ＡＲｓである。

　また、閾値マップ生成部４１２は、区分した領域に対するユーザの混雑レベル指定操作に応じて人物判定閾値を閾値記憶部４１１から取得して閾値マップを生成する。例えば、ユーザは区分した領域に対して混雑レベルを指定する操作を行う。なお、図３の（ａ）では、混雑領域ＡＲｃに対して混雑レベルＣＬが指定されている。閾値マップ生成部４１２は、混雑レベルの指定操作に基づき、指定された混雑レベルを閾値記憶部４１１に通知する。さらに、閾値マップ生成部４１２は、混雑レベルの通知に応じて閾値記憶部４１１から示された人物判定閾値を取得して、取得した閾値を区分した領域に対応させて閾値マップを生成する。図３の（ｂ）は、閾値マップを例示している。閾値マップ生成部４１２は、図３の（ａ）に示すように、混雑領域ＡＲｃに対してユーザが混雑レベルＣＬを指定した場合、混雑レベルＣＬに対応した人物判定閾値Ｔｈｃを閾値記憶部４１１から取得して、混雑領域ＡＲｃに対する人物判定閾値Ｔｈｃとする。また、閾値マップ生成部４１２は、混雑領域を除く他の領域を閑散領域ＡＲｓとして、例えば閑散領域ＡＲｓに対する人物判定閾値を予め設定されている人物判定閾値Ｔｈｓとする。なお、閑散領域ＡＲｓは予め設定されている閾値に限らず、ユーザが閑散領域ＡＲｓの混雑レベルを設定して、設定した混雑レベルに対応した人物判定閾値Ｔｈｓを閾値記憶部４１１から取得する構成であってもよい。このように、閾値マップ生成部４１２は、撮像装置２０で生成された撮像画像における混雑領域と閑散領域および領域毎の人物判定閾値を示す閾値マップをユーザ操作に応じて予め生成して人物検出部４２１へ出力する。

　人物検出部４２１は、撮像装置２０で生成された撮像画像を用いて人物検出を行う。人物検出では、人物の確からしさを示すスコアを算出する。また、人物検出部４２１は、閾値マップ生成部４１２で生成されている閾値マップで示された領域毎に、領域に対応する人物判定閾値と領域内の被写体のスコアを比較して、スコアが人物判定閾値以上である被写体を人物と判定する。人物検出部４２１は、人物と判定した被写体の位置を示す人物検出位置を人物検出結果として追尾部４２２へ出力する。

　人物検出部４２１は、人物検出において、勾配情報に基づく特徴量，色情報に基づく特徴量，動きに基づく特徴量等を用いる。勾配情報に基づく特徴量は、例えばＨＯＧ（Histograms of Oriented Gradients）特徴量やＥＯＧ（Edge Orientation Histograms）特徴量等である。色情報に基づく特徴量は、例えばＩＣＦ（Integral Channel Features）特徴量やＣＳＳ（Color Self Similarity）等である。動きに基づく特徴量は、例えばＨａａｒ－ｌｉｋｅ特徴量やＨＯＦ（Histograms of Flow）特徴量等である。人物検出部４２１は、このような特徴量を用いて人物の確からしさを示すスコアを算出する。

　人物判定閾値は、閑散領域では適合率が一定値以上で再現率が最大となり、混雑領域では一定の再現率を維持した状態で適合率が最大となるように設定する。再現率は、撮像画像に含まれる人物において人物検出によって検出される人物がどの程度含まれるかを表している。また、適合率は、人物検出によって検出された人物において撮像画像に含まれる人物がどの程度含まれるかを表している。

　図４は適合率と再現率を説明するための図である。図４において、集合ＳＮは人物検出結果の数、集合ＳＣは撮像画像に映っている人の正しい数を示しており、集合ＳＮと集合ＳＣの共通部分ＳＲは人物検出結果の数の中での正解数（人物を正しく検出している数）を示している。適合率Ｒpreは「Ｒpre＝（ＳＲ／ＳＮ）」、再現率Ｒrecは「Ｒrec＝（ＳＲ／ＳＣ）」の演算を行うことで算出できる。

　ここで、人物検出の漏れが少なくなるように人物判定閾値を小さくすると、図４の（ａ）に示すように、適合率Ｒpreは小さくなり、再現率Ｒrecは「１」に近くなる。また、人物検出の精度が高くなるように人物判定閾値を大きくすると、図４の（ｂ）に示すように、適合率Ｒpreは「１」に近くなり、再現率Ｒrecは図４の（ａ）に比べて小さくなる。

　図５は、適合率と再現率とスコアの関係を例示している。なお、図５の（ａ）は閑散領域、図５の（ｂ）は混雑領域の場合を例示している。閑散領域ＡＲｓでは、適合率Ｒpreがある一定値Ｌpre以上かつ再現率Ｒrecが最大となるように人物判定閾値Ｔｈｓを設定する。混雑領域ＡＲｃでは、人物検出が取りこぼし易くなるので、再現率Ｒrecがある一定値Ｌrecを維持した状態で適合率Ｒpreが最大になるように人物判定閾値Ｔｈｃを設定する。また、再現率Ｒrecがある一定値Ｌrecを維持した状態で適合率Ｒpreが最大になるように人物判定閾値Ｔｈｃを設定すると、図５の（ｂ）に示すように適合率Ｒpreが低い値となり人物の誤検出が増加するおそれがある。このため、後述する人物検出信頼度を用いて人物検出結果から誤検出を排除する。

　追尾部４２２は、人物検出部４２１から供給された人物検出結果に基づいて人物の追尾を行う。図６は異なる時刻の人物検出結果を例示している。図６の（ａ）は時刻（ｔ－１）の撮像画像Ｆ（ｔ－１）、図６の（ｂ）は、時刻（ｔ）の撮像画像Ｆ（ｔ）を例示している。追尾部４２２は、人物検出結果に基づいて、検出された人物に対して追尾枠を人物毎に設定する。追尾枠は、例えば人物検出で頭部を検出している場合、人物の特徴を利用することで追尾を容易に行うことができるように、例えば検出された頭部に対する身体部分を含むように矩形状として設定する。このように身体部分を含むように追尾枠を設定すれば、体型の違いや服装の違い、服装の色の違い等の身体部分の特徴を利用して人物の追尾を容易に行うことができる。また、追尾部４２２は、追尾枠に追尾識別情報を設定して、追尾識別情報によって個々の人物を区分できるようにする。

　追尾部４２２は、例えば図６の（ｃ）に示すように、時刻（ｔ－１）の撮像画像Ｆ（ｔ－１）に設定した追尾枠ＷＴ（ｔ－１）の位置の画像と時刻（ｔ）の撮像画像Ｆ（ｔ）から、撮像画像Ｆ（ｔ）において対応する追尾枠ＷＴ（ｔ）の位置を予測する。追尾部４２２は、追尾枠の予測位置を示す情報に、この追尾枠に設定されている追尾識別情報を含めて追尾結果とする。

　さらに、追尾部４２２は、予測した追尾枠と追尾枠に対応する人物検出結果を対として人物検出信頼度算出部４４１へ出力する。例えば、上述のように身体部分に追尾枠を設定して追尾を行い人物検出では頭部を検出する場合、追尾枠に対して頭部の位置を想定できるので、頭部が位置すると想定される領域を追尾枠に対応する人物位置想定領域とする。ここで、人物検出で検出された頭部の位置が人物位置想定領域であれば、この人物検出結果と予測した追尾枠とを対として、例えば人物検出結果では予測した追尾枠に設定されている追尾識別情報が割り当てられているようにする。また、追尾部４２２は、検出された頭部の位置に応じて追尾枠の位置を調整して追尾を継続する。このように、検出された頭部の位置に応じて追尾枠の位置を調整すれば、追尾枠の位置を予測したときに誤差を生じても、誤差が累積されることがないので、追尾を精度よく行うことが可能となる。

　人物検出信頼度算出部４４１は追尾結果と人物検出結果を用いて人物検出信頼度を算出する。人物検出信頼度算出部４４１は、追尾枠の位置と人物検出結果の履歴を保持して、保持している履歴を用いて、追尾枠識別情報毎に、例えば信頼度算出期間の追尾枠に対して人物が検出されている追尾枠の割合を人物検出信頼度として算出する。人物検出信頼度算出部４４１は、追尾識別情報毎に、例えば現在から過去方向の所定フレーム期間の追尾枠において、人物検出と追尾枠の位置が対とされている追尾枠の割合を人物検出信頼度とする。人物検出信頼度算出部４４１は、算出した人物検出信頼度をカウント部４５１へ出力する。このようにして算出した人物検出信頼度は、人物が検出されているフレームの割合が多くなるに伴い人物検出信頼度が高くなることから、人物検出信頼度が高いと人物検出結果の信頼度は高いとする。

　なお、追尾部４２２および人物検出信頼度算出部４４１では、連続するフレームの撮像画像を用いて追尾や人物検出信頼度の算出を行う場合に限らず、所定フレーム間隔の撮像画像を用いて追尾や人物検出信頼度の算出を行うようにしてもよい。例えば、被写体の動きが遅い場合には時間方向に隣接するフレーム間で画像の違いが少ないため、所定フレーム間隔の撮像画像を用いることで、追尾や人物検出信頼度の算出を効率よく行うことができるようになる。

　図７は、追尾結果と人物検出結果を例示している。図７の（ａ）は、例えば時刻ｔ-2，ｔ-1，ｔで、追尾識別情報が同一である追尾枠に対応する人物位置想定領域で人物が検出されている場合を示している。図７の（ｂ）は、例えば時刻ｔ-2のみで、追尾枠に対応する人物位置想定領域で人物が検出されており、時刻ｔ-1，ｔでは、追尾枠に対応する人物位置想定領域で人物の検出が行われていない場合を例示している。なお、時刻ｔ-2における追尾枠を「ＷＴ（ｔ-2）」、時刻ｔ-1における追尾枠を「ＷＴ（ｔ-1）」、時刻ｔにおける追尾枠を「ＷＴ（ｔ）」として示している。また、追尾枠ＷＴ（ｔ-2）に対応する人物位置想定領域を「ＡＲａ（ｔ-2）」、追尾枠ＷＴ（ｔ-1）に対応する人物位置想定領域を「ＡＲａ（ｔ-1）」、追尾枠ＷＴ（ｔ）に対応する人物位置想定領域を「ＡＲａ（ｔ）」として示している。さらに、人物位置想定領域ＡＲａ（ｔ-2）において人物が検出された位置をＤＨ（ｔ-2）として示している。また、人物位置想定領域ＡＲａ（ｔ-1）において人物が検出された位置をＤＨ（ｔ-1）、人物位置想定領域ＡＲａ（ｔ）において人物が検出された位置をＤＨ（ｔ）として示している。

　人物検出信頼度算出部４４１は、追尾識別情報毎に追尾結果と人物検出結果を用いて人物検出信頼度ＲＤを算出する。例えば、図７の（ａ）に示す場合、時刻ｔ-2，ｔ-1，ｔのそれぞれのフレームで追尾枠ＷＴに対応する人物位置想定領域では人物が検出されている。したがって、人物検出信頼度ＲＤは「（人物が検出されたフレーム数／追尾を行ったフレーム数）＝（３／３）」となる。また、図７の（ｂ）に示す場合、時刻ｔ-2のフレームのみで人物が検出されていることから、人物検出信頼度ＲＤは「（人物が検出されたフレーム数／追尾を行ったフレーム数）＝（１／３）」となる。人物検出信頼度算出部４４１は、追尾識別情報毎に算出した人物検出信頼度ＲＤをカウント部４５１へ出力する。

　カウント部４５１は、追尾部４２２から供給された追尾結果に基づき、判定位置であるカウントラインを通過する追尾枠を判別する。また、カウント部４５１は、人物検出信頼度算出部４４１から供給された人物検出信頼度を用いて、カウントラインを通過する追尾枠毎に対応する人物検出信頼度と予め設定されているカウント対象判別閾値を比較する。さらに、カウント部４５１は、人物検出信頼度がカウント対象判別閾値以上である追尾枠に対応した人物をカウント対象として、人物のカウントを行う。図８は、カウント部の動作を例示した図である。例えば、予めユーザ等が設定したカウントラインＪｃを追尾枠ＷＴａが横切って移動した場合、カウントラインＪｃを横切った追尾枠ＷＴａに対応する人物検出信頼度ＲＤをカウント対象判別閾値と比較する。ここで、人物検出信頼度ＲＤがカウント対象判別閾値以上である場合、追尾枠ＷＴａに対応する人物検出結果は、人物を正しく検出しているとして、追尾枠ＷＴａに対応する被写体をカウント対象の人物とする。また、人物検出信頼度ＲＤがカウント対象判別閾値よりも小さい場合、追尾枠に対応する人物検出結果は、人物を正しく検出していないとして、この追尾枠に対応する被写体をカウントしないようにする。カウント部４５１はカウント結果を出力部４６１へ出力する。

　出力部４６１は、撮像装置２０で生成された撮像画像を表示装置５０で表示させる。また、出力部４６１は、ユーザ操作に応じて区分された領域を識別可能とするため、例えば閾値マップ生成部４１２から混雑領域と閑散領域を示す情報を出力部４６１に供給して、撮像画像における混雑領域と閑散領域を識別可能に表示させる。また、出力部４６１は、カウントラインの位置を識別可能とするため、例えば撮像画像にカウントラインの位置を示す画像を重畳して表示させる。さらに、出力部４６１は、画像処理装置４０で取得した情報、例えばカウント部４５１のカウント結果を表示装置５０で表示させる。なお、カウント結果は、例えば撮像画像とカウントラインと共に表示すれば、カウントラインを通過する人物の画像と撮像画像から算出したカウント結果の表示によって、カウントの進捗状況等をユーザが把握できるようになる。

　図９は第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理装置４０は、閾値マップ生成処理を行う。図１０は閾値マップ生成処理を示すフローチャートである。ステップＳＴ１１で画像処理装置４０はユーザ設定操作の受け付けを行う。画像処理装置４０の閾値マップ生成部４１２は、入力装置３０から供給された操作信号を受け付けてステップＳＴ１２に進む。

　ステップＳＴ１２で画像処理装置４０はマップの生成を行う。画像処理装置４０の閾値マップ生成部４１２は、撮像装置２０で生成された撮像画像を、ユーザ操作に応じて混雑領域ＡＲｃと閑散領域ＡＲｓに区分する。また、閾値マップ生成部４１２は、ユーザが設定した混雑レベルに応じた人物判定閾値を閾値記憶部４１１から取得して、混雑領域ＡＲｃと閑散領域ＡＲｓのそれぞれの領域に対して人物判定閾値を設定する。閾値マップ生成部４１２は、混雑領域ＡＲｃと閑散領域ＡＲｓおよびそれぞれの領域の人物判定閾値を示す閾値マップを生成する。

　図９に戻り、ステップＳＴ２で画像処理装置４０は人物検出情報生成処理を行う。図１１は人物検出情報生成処理を示すフローチャートである。ステップＳＴ２１で画像処理装置４０は撮像画像を取得する。画像処理装置４０の人物検出部４２１は、撮像装置２０で生成された撮像画像を取得してステップＳＴ２２に進む。

　ステップＳＴ２２で画像処理装置４０は人物の検出を行う。画像処理装置４０の人物検出部４２１は、撮像装置２０で生成された撮像画像を用いて特徴量等に基づき人物の確からしさを示すスコアを算出する。また、人物検出部４２１は、閾値マップで示された領域毎に、領域に対応する人物判定閾値と領域内の被写体のスコアを比較して、スコアが人物判定閾値以上のである被写体を人物と判定する。人物検出部４２１は、人物と判別された被写体の位置である人物検出位置を、人物検出結果としてステップＳＴ２３に進む。

　ステップＳＴ２３で画像処理装置４０は人物の追尾を行う。画像処理装置４０の追尾部４２２は、人物検出結果に基づき追尾枠を設定して、設定した追尾枠の枠内の画像とその後に取得された撮像画像から、その後に取得された撮像画像における追尾枠の位置を予測する。また、追尾部４２２は、追尾枠の設定時に追尾識別情報を設定する。さらに、追尾部４２２は、追尾枠の予測位置を示す情報に、この追尾枠に設定されている追尾識別情報を含めて追尾結果としてステップＳＴ２４に進む。

　ステップＳＴ２４で画像処理装置４０は人物検出信頼度を算出する。画像処理装置４０の人物検出信頼度算出部４４１は、ステップＳＴ２２で得られた人物検出結果とステップＳＴ２３で得られた追尾結果に基づき、予測した位置の追尾枠に対応する人物検出の状況を示す人物検出信頼度を算出する。人物検出信頼度算出部４４１は、予測した位置の追尾枠に対応して人物が検出されている割合が大きい場合に人物検出信頼度を高く、人物が検出される割合が小さい場合に人物検出信頼度を低くする。人物検出信頼度算出部４４１は、追尾枠の位置と追尾枠毎の人物検出信頼度を人物検出情報とする。

　図９に戻り、ステップＳＴ３で画像処理装置４０はカウント処理を行う。画像処理装置４０のカウント部４５１は、ステップＳＴ２で生成された人物検出情報を用いて、カウントラインを通過する追尾枠を判別する。さらに判別した追尾枠に対応する人物検出信頼度が予め設定されているカウント対象判定閾値以上である追尾枠の被写体をカウント対象としてカウントを行い、カウントラインを通過する人の数を算出してステップＳＴ４に進む。

　ステップＳＴ４で画像処理装置４０は出力処理を行う。画像処理装置４０の出力部４６１は、ステップＳＴ３で得られたカウント処理結果を表示する。出力部４６１は、例えば撮像画像にカウントラインの位置を示す画像およびカウントラインを通過した人のカウント結果を示す画像を重畳して表示させる。

　このような第１の実施の形態によれば、混雑した領域でも人物検出を精度よく行うことができるようになる。また、人物検出信頼度が算出されるので、信頼度が高く精度がよい人物検出情報を得ることができる。また、混雑した領域でも人物検出を精度よく行うことができることから、人物検出情報を用いることで、混雑領域での人の数を精度よく算出できる。

　＜３．第２の実施の形態＞
　次に、第２の実施の形態について説明する。混雑領域では人物の接近や重なり等が多くなることから、閑散領域に比べて人物を検出しにくい。したがって、例えば図１２に示すように、閑散領域から混雑領域に人物が移動している場合、閑散領域の位置では人物検出によって検出されている人物が、混雑領域の位置となると検出されなくなってしまうおそれがある。なお、図１２では、矢印方向に人物が移動しており、黒丸印は人物として検出された位置、バツ印は検出されなかった位置を例示している。

　したがって、カウントラインが混雑領域に設定されていると、閑散領域の位置で検出されている人物がカウントラインを通過しても、カウントラインを通過した人物としてカウントされない場合が生じる。このような場合、カウントラインを通過した人物の数を精度よく計測できない。そこで、第２の実施の形態では、閑散領域で検出された人物について追尾を行い、閑散領域から混雑領域に移動したとき、この人物を混雑領域でも検出できるようにする。具体的には、第１の実施の形態のように追尾によって追尾枠の位置を予測した場合、予測位置の追尾枠に対応する人物位置想定領域には、人物が位置している可能性が高い。このため、人物位置想定領域では、人物が検出され易くなるように人物判定閾値を調整する。

　図１３は、本技術の画像処理装置の第２の実施の形態の構成を示している。画像処理装置４０は、閾値記憶部４１１、閾値マップ生成部４１２、閾値調整部４１３、人物検出部４２１、追尾部４２２、人物検出信頼度算出部４４１、カウント部４５１、出力部４６１を有している。

　閾値記憶部４１１は、混雑レベル毎に予め人物判定閾値を記憶している。閾値記憶部４１１は、閾値マップ生成部４１２で示された混雑レベルに応じた人物判定閾値を閾値マップ生成部４１２へ出力する。

　閾値マップ生成部４１２は、入力装置３０から供給された操作信号に基づき、ユーザ操作に応じて閾値マップを生成する。閾値マップ生成部４１２は、撮像装置２０で生成される撮像画像を、ユーザ操作に応じて混雑レベルの異なる複数の領域に区分する。また、閾値マップ生成部４１２は、区分した領域に対するユーザの混雑レベル指定操作に応じて人物判定閾値を閾値記憶部４１１から取得する。閾値マップ生成部４１２は、取得した人物判定閾値を区分した領域に対応させて、例えば混雑領域と閑散領域および領域毎の人物判定閾値を示す閾値マップを生成して閾値調整部４１３へ出力する。

　閾値調整部４１３は、閾値マップ生成部４１２で生成された閾値マップに対して、後述する追尾部４２２から供給された追尾結果に基づき閾値調整を行う。閾値調整部４１３は、追尾結果で示された予測位置の追尾枠に対する人物位置想定領域の人物判定閾値を、人物と判定され易くなるように調整して、閾値調整後の閾値マップを人物検出部４２１へ出力する。図１４は、人物判定閾値の調整動作を説明するための図である。閾値調整部４１３では、追尾結果によって次に人物検出が行われるときの追尾枠の予測位置が示されていることから、この予測位置の追尾枠に対応する人物位置想定領域の人物判定閾値を、調整前よりも人物と判定され易くなるように調整する。閾値調整部４１３は、図１４の（ａ）に示すように、例えば追尾枠の予測位置から想定した頭部の位置Ｐｆを基準として、位置Ｐｆから水平および垂直方向にそれぞれ幅ｄａの範囲を人物位置想定領域ＡＲａとする。また、閾値調整部４１３は、人物位置想定領域ＡＲａの人物判定閾値を調整前の人物判定閾値Ｔｈｃよりも低い人物判定閾値Ｔｈａ（＜Ｔｈｃ）として、人物位置想定領域ＡＲａでは、人物が検出され易くする。人物判定閾値Ｔｈａは、人物判定閾値Ｔｈｃから所定の低減量だけ低下した値としてもよく、人物判定閾値Ｔｈｃを所定の低減率で低下した値を用いてもよい。また、混雑レベルに応じて低減量や低減率を設定してもよい。さらに、予測位置の追尾枠に対応する人物位置想定領域ＡＲａで人物が検出されない場合、ユーザは人物位置想定領域ＡＲａで人物が検出されるように人物判定閾値Ｔｈａを設定して、閾値調整部４１３は設定された人物判定閾値Ｔｈａをその後の人物検出で用いるようにしてもよい。

　人物検出部４２１は、撮像装置２０で生成された撮像画像を用いて人物検出を行う。人物検出では、人物の確からしさを示すスコアを算出する。また、人物検出部４２１は、閾値調整部４１３で調整された閾値マップで示された領域毎に、領域に対応する人物判定閾値と領域内の被写体のスコアを比較して、スコアが人物判定閾値以上である被写体を人物と判定する。ここで、人物判定閾値は、人物位置想定領域で人物として判定され易くなるように調整されていることから、図１４の（ｂ）に示すように、閑散領域から混雑領域に移動する人物を混雑領域ＡＲｃでも検出できるようになる。人物検出部４２１は、人物と判定した被写体の位置を示す人物検出位置の情報に追尾識別情報を含めて人物検出結果として追尾部４２２へ出力する。

　追尾部４２２は、人物検出部４２１から供給された人物検出結果に基づき検出した人物の追尾を行い、追尾枠の予測位置を示す情報に、この追尾枠に割り当てられている追尾識別情報を含めて追尾結果として閾値調整部４１３へ出力する。また、追尾部４２２は、追尾結果と人物検出結果を人物検出信頼度算出部４４１へ出力する。

　人物検出信頼度算出部４４１は追尾結果と人物検出結果を用いて人物検出信頼度を算出する。人物検出信頼度算出部４４１は、追尾識別情報毎に、追尾枠に対応する人物検出結果の履歴を保持する。また、人物検出信頼度算出部４４１は、保持している履歴を用いて、追尾識別情報毎に、追尾した位置と人物検出結果に基づき追尾した位置に対応する人物検出の検出状況を算出して人物検出信頼度とする。人物検出信頼度算出部４４１は、追尾識別情報毎に算出した人物検出信頼度をカウント部４５１へ出力する。

　カウント部４５１は、追尾部４２２から供給された追尾結果に基づき、判定位置であるカウントラインを通過する追尾枠を判別する。また、カウント部４５１は、人物検出信頼度算出部４４１から供給された人物検出信頼度を用いて、カウントラインを通過する追尾枠毎に対応する人物検出信頼度と予め設定されているカウント対象判別閾値を比較する。さらに、カウント部４５１は、人物検出信頼度がカウント対象判別閾値以上である追尾枠に対応した人物をカウント対象として、人物のカウントを行う。カウント部４５１は人物のカウント結果を出力部４６１へ出力する。

　出力部４６１は、撮像装置２０で生成された撮像画像を表示装置５０で表示させる。また、出力部４６１は、ユーザ操作に応じて区分された領域やカウントラインの位置を識別可能に表示させる。さらに、出力部４６１は、画像処理装置４０で取得したカウント結果党の情報を表示装置５０で表示させる。

　第２の実施の形態では、図９に示すフローチャートの処理を行いステップＳＴ２の人物検出情報生成処理では、第１の実施の形態と異なり図１５に示すフローチャートの処理を行う。

　図１５のステップＳＴ３１で画像処理装置４０は撮像画像を取得する。画像処理装置４０の人物検出部４２１は、撮像装置２０で生成された撮像画像を取得してステップＳＴ３２に進む。

　ステップＳＴ３２で画像処理装置４０は人物判定閾値を調整する。画像処理装置４０の閾値調整部４１３は、閾値マップにおいて、予測位置の追尾枠に対応する人物位置想定領域の人物判定閾値を、人物と判定され易くなるように調整してステップＳＴ３３に進む。

　ステップＳＴ３３で画像処理装置４０は人物の検出を行う。画像処理装置４０の人物検出部４２１は、撮像装置２０で生成された撮像画像を用いて特徴量等に基づき人物の確からしさを示すスコアを算出する。また、人物検出部４２１は、ステップＳＴ３２で人物判定閾値の調整が行われた閾値マップを用いて、領域毎に人物判定閾値と領域内の被写体のスコアを比較して、スコアが人物判定閾値以上のである被写体を人物と判定する。人物検出部４２１は、人物と判別された被写体の位置である人物検出位置を、人物検出結果としてステップＳＴ３４に進む。

　ステップＳＴ３４で画像処理装置４０は人物の追尾を行う。画像処理装置４０の追尾部４２２は、人物検出結果に基づき追尾枠を設定して、設定した追尾枠の枠内の画像とその後に取得された撮像画像から、その後に取得された撮像画像における追尾枠の位置を予測する。また、追尾部４２２は、追尾枠の設定時に追尾識別情報を設定する。さらに、追尾部４２２は、追尾枠の予測位置を示す情報に、この追尾枠に設定されている追尾識別情報を含めて追尾結果とする。また、追尾部４２２は、その後の人物の検出において、上述のように人物判定閾値を調整するため、追尾結果を閾値調整部４１３へ出力してステップＳＴ３５に進む。

　ステップＳＴ３５で画像処理装置４０は人物検出信頼度を算出する。画像処理装置４０の人物検出信頼度算出部４４１は、ステップＳＴ３３で得られた人物検出結果とステップＳＴ３４で得られた追尾結果に基づき、予測した位置の追尾枠に対応する人物検出の状況を示す人物検出信頼度を算出する。人物検出信頼度算出部４４１は、追尾枠の位置と追尾枠毎の人物検出信頼度を人物検出情報とする。

　このような第２の実施の形態によれば、第１の実施の形態と同様に信頼度が高く精度よい人物検出情報を得ることができる。さらに、第２の実施の形態では、予測した追尾枠の位置を基準とした所定範囲の領域に対する人物判定閾値が人物と判定され易くなるように調整されるので、人物検出の検出精度の低下を防止できるようになる。したがって、例えば閑散領域の位置では人物検出によって検出されている人物が、混雑領域の位置で検出されなくなってしまうことを防止することが可能となる。

　＜４．第３の実施の形態＞
　次に第３の実施の形態について説明する。上述のように、混雑領域では人物の接近や重なり等が多くなることから、閑散領域に比べて人物を検出しにくい。したがって、例えば図１６に示すように、混雑領域から閑散領域に人物が移動している場合、閑散領域の位置で人物検出によって検出されている人物が、混雑領域の位置では人物検出で検出されていないおそれがある。なお、図１６では、矢印方向に人物が移動しており、丸印は人物として検出された位置、バツ印は人物として検出されたかった位置を例示している。

　したがって、例えばカウントラインが混雑領域に設定されていると、閑散領域の位置で人物検出によって検出された人物は、混雑領域の位置では人物検出によって検出されておらず、カウントラインを通過した人物としてカウントされないおそれがある。このため、カウントラインを通過した人物の数を精度よく計測できない。そこで、第３の実施の形態では、閑散領域で検出された人物について過去方向に追尾を行い、閑散領域に混雑領域から移動したとき、この人物を混雑領域でも精度よく検出できるようにする。具体的には、第２の実施の形態に対して時間方向が逆である過去方向の追尾を行う。また、追尾枠の予測位置を基準とした所定範囲の領域に人物が存在している可能性が高いことから、人物が存在している可能性の高い領域では、人物が検出され易くなるように人物判定閾値を調整する。

　図１７は、本技術の画像処理装置の第３の実施の形態の構成を示している。画像処理装置４０は、閾値記憶部４１１、閾値マップ生成部４１２、人物検出部４２１、追尾部４２３、過去画像記憶部４３１、バックトラッキング部４３２、人物検出信頼度算出部４４２、カウント部４５１、出力部４６１を有している。

　閾値マップ生成部４１２は、入力装置３０から供給された操作信号に基づき、ユーザ操作に応じて閾値マップを生成する。閾値マップ生成部４１２は、撮像装置２０で生成される撮像画像を、ユーザ操作に応じて混雑レベルの異なる複数の領域に区分する。また、閾値マップ生成部４１２は、区分した領域に対するユーザの混雑レベル指定操作に応じて人物判定閾値を閾値記憶部４１１から取得する。閾値マップ生成部４１２は、取得した人物判定閾値を区分した領域に対応させて、例えば混雑領域と閑散領域および領域毎の人物判定閾値を示す閾値マップを生成して人物検出部４２１とバックトラッキング部４３２へ出力する。

　人物検出部４２１は、撮像装置２０で生成された撮像画像を用いて人物検出を行う。人物検出では、人物の確からしさを示すスコアを算出する。また、人物検出部４２１は、閾値調整部４１３で調整された閾値マップで示された領域毎に、領域に対応する人物判定閾値と領域内の被写体のスコアを比較して、スコアが人物判定閾値以上である被写体を人物と判定する。人物検出部４２１は、人物と判定した被写体の位置を示す人物検出位置を人物検出結果として追尾部４２３へ出力する。

　追尾部４２３は、人物検出部４２１から供給された人物検出結果に基づき検出した人物の追尾を行い、追尾枠の予測位置を示す情報に、この追尾枠に設定されている追尾識別情報を含めて追尾結果として人物検出信頼度算出部４４２へ出力する。また、追尾部４２３は、過去方向の追尾を行い、人物判定閾値を調整して人物検出を行う場合、追尾結果をバックトラッキング部４３２に出力して、バックトラッキング部４３２で過去方向に追尾および人物判定位置を調整して人物検出を行えるようにする。例えば追尾部４２３は、新たな人物検出が行われて追尾枠を設定した場合に過去方向の追尾を行うとして、設定した追尾枠の位置を示す情報に追尾識別情報を含めてバックトラッキング部４３２へ出力する。また、追尾部４２３は、追尾枠に対応する人物位置想定領域で人物が検出されておらずその後に予測位置で人物が検出される場合に過去方向の追尾を行うとして、人物が検出されるようになったときの追尾結果をバックトラッキング部４３２へ出力してもよい。

　過去画像記憶部４３１は、撮像装置２０で生成された撮像画像を、現在から例えば過去の所定期間まで記憶する。また、過去画像記憶部４３１は、記憶している撮像画像をバックトラッキング部４３２へ出力する。

　バックトラッキング部４３２は、現在の撮像画像や過去画像記憶部４３１に記憶されている過去の撮像画像を用いて、追尾部４２３から供給された追尾結果に基づき、追尾識別情報毎に追尾枠の人物を過去方向に追尾する。また、バックトラッキング部４３２は、過去方向の追尾における追尾枠の予測位置に対応する人物位置想定領域の人物判定閾値を、人物と判定され易くなるように調整して、調整後の閾値マップを用いて過去画像における人物検出結果を取得する。図１８は、バックトラッキング部の構成を示している。バックトラッキング部４３２は、過去画像選択部４３２１、閾値調整部４３２２、人物検出部４３２３、追尾部４３２４を有している。

　過去画像選択部４３２１は、過去画像記憶部４３１から追尾位置を予測する過去画像を取得して、人物検出部４３２３と追尾部４３２４へ出力する。例えば時刻ｔにおける追尾枠について時刻（ｔ－１）における追尾位置を予測する場合は、時刻（ｔ－１）の撮像画像を過去画像記憶部４３１から取得する。また、時刻（ｔ－１）における追尾枠について時刻（ｔ－２）における追尾位置を予測する場合は、時刻（ｔ－２）の撮像画像を過去画像記憶部４３１から取得する。

　閾値調整部４３２２は、閾値マップ生成部４１２で生成された閾値マップに対して、追尾部４３２４から供給された追尾結果に基づき閾値調整を行う。閾値調整部４３２２は、追尾結果で示された予測位置の追尾枠に対応する人物位置想定領域の人物判定閾値を、人物と判定され易くなるように調整して、閾値調整後の閾値マップを人物検出部４３２３へ出力する。

　人物検出部４３２３は、過去画像選択部４３２１で取得された過去画像を用いて人物検出を行う。人物検出では、人物の確からしさを示すスコアを算出する。また、人物検出部４３２３は、閾値調整部４３２２で調整された閾値マップで示された領域毎に、領域に対応する人物判定閾値と領域内の被写体のスコアを比較して、スコアが人物判定閾値以上である被写体を人物と判定する。人物検出部４３２３は、人物と判定した被写体の位置を示す人物検出位置を人物検出結果として追尾部４３２４へ出力する。

　追尾部４３２４は、追尾部４２３で示された追尾枠に対して、追尾識別情報毎に過去方向に追尾する。追尾部４３２４は、例えば追尾部４２３から追尾結果が供給されたとき、この追尾結果で示された追尾識別情報の追尾枠で示された人物に対して過去方向の追尾を開始する。追尾部４３２４は、過去画像選択部４３２１で取得された過去画像であって、追尾部４２３から供給された追尾結果の生成時に用いられた撮像画像よりもさらに古い画像を用いて追尾枠を過去方向に追尾する。追尾部４３２４は、過去方向の追尾を行い、追尾枠の予測位置を示す情報に、この追尾枠に設定されている追尾識別情報を含めて追尾結果として、閾値調整部４３２２へ出力する。また、追尾部４３２４は、追尾結果と人物検出結果を追尾識別情報毎に人物検出信頼度算出部４４２へ出力する。

　このようにバックトラッキング部４３２は、追尾部４２３で設定された追尾枠を、追尾識別情報毎に過去方向に追尾して、予測位置の追尾枠に対応する人物位置想定領域の人物判定閾値を、人物と判定され易くなるように調整して人物検出を行う。すなわち、第２の実施の形態において図１４を用いて説明した動作が時間方向を逆として行われて、閑散領域の位置で人物が過去に遡って追尾されて、混雑領域でも検出されるように人物判定閾値が調整される。したがって、図１９の（ａ）に示すように、過去方向に予測されている追尾枠の予測位置から想定した頭部の位置Ｐｆを基準として、位置Ｐｆから水平および垂直方向にそれぞれ幅ｄａの範囲を人物位置想定領域ＡＲａとする。また、閾値調整部４３２２は、人物位置想定領域ＡＲａの人物判定閾値を調整前の人物判定閾値Ｔｈｃよりも低い人物判定閾値Ｔｈａ（＜Ｔｈｃ）として、人物位置想定領域ＡＲａでは、人物が検出され易くする。このため、図１９の（ｂ）に示すように、閑散領域に混雑領域から移動した人物を、過去方向に遡って混雑領域ＡＲｃでも検出できるようになる。

　なお、画像処理装置４０でカウントラインを通過する人物のカウントを行い、人物がカウントラインを通り過ぎてから検出されて場合、バックトラッキング部４３２では、過去方向に追尾を行ったときに追尾枠がカウントラインを通過するように追尾期間を設定する。追尾期間は、例えば予め人物の移動速度等に応じて設定する。また、追尾期間は、人物検出部４２１の人物検出結果と追尾部４２２の追尾結果に基づき設定してもよい。例えば、人物が検出されたときの追尾枠を利用して人物の移動方向や移動速度を推定することが可能となる。また、追尾枠の位置に基づいてカウントラインまでの距離を算出できる。したがって、推定した人物の移動方向や移動速度と算出したカウントラインまでの距離に基づき、追尾枠がカウントラインを通過するように追尾期間を設定することが可能である。

　人物検出信頼度算出部４４２は追尾結果と人物検出結果を用いて人物検出信頼度を算出する。人物検出信頼度算出部４４２は、過去方向の追尾結果と人物検出結果に基づいて、追尾識別情報毎に人物検出信頼度を算出する。人物検出信頼度算出部４４２は、追尾識別情報毎に算出した人物検出信頼度をカウント部４５１へ出力する。

　カウント部４５１は、追尾部４２３から供給された追尾結果に基づき、判定位置であるカウントラインを通過する追尾枠を判別する。また、カウント部４５１は、人物検出信頼度算出部４４２から供給された人物検出信頼度を用いて、カウントラインを通過する追尾枠毎に対応する人物検出信頼度と予め設定されているカウント対象判別閾値を比較する。さらに、カウント部４５１は、人物検出信頼度がカウント対象判別閾値以上である追尾枠に対応した人物をカウント対象として、人物のカウントを行う。カウント部４５１は人物のカウント結果を出力部４６１へ出力する。

　第３の実施の形態では、図９に示すフローチャートの処理を行いステップＳＴ２の人物検出情報生成処理では、第１の実施の形態と異なり図２０に示すフローチャートの処理を行う。

　図２０のステップＳＴ４１で画像処理装置４０は撮像画像を取得する。画像処理装置４０の人物検出部４２１は、撮像装置２０で生成された撮像画像を取得してステップＳＴ４２に進む。

　ステップＳＴ４２で画像処理装置４０は取得した撮像画像を過去画像群に追加する。画像処理装置４０の過去画像記憶部４３１は、取得した撮像画像を順次記憶するとともに最も古い撮像画像から順に撮像画像を削除して、現在から過去の所定期間までの撮像画像を過去画像群として記憶するようにしてステップＳＴ４３に進む。

　ステップＳＴ４３で画像処理装置４０は人物の検出を行う。画像処理装置４０の人物検出部４２１は、撮像装置２０で生成された撮像画像を用いて特徴量等に基づき人物の確からしさを示すスコアを算出する。また、人物検出部４２１は、閾値マップで示された領域毎に、領域に対応する人物判定閾値と領域内の被写体のスコアを比較して、スコアが人物判定閾値以上のである被写体を人物と判定する。人物検出部４２１は、人物と判別された被写体の位置である人物検出位置を、人物検出結果としてステップＳＴ４４に進む。

　　ステップＳＴ４４で画像処理装置４０は人物の追尾を行う。画像処理装置４０の追尾部４２３は、人物検出結果に基づき追尾枠を設定して、設定した追尾枠の枠内の画像とその後に取得された撮像画像から、その後に取得された撮像画像における追尾枠の位置を予測する。また、追尾部４２３は、追尾枠の設定時に追尾識別情報を設定する。また、追尾部４２３は、追尾枠の予測位置を示す情報に、この追尾枠に設定されている追尾識別情報を含めて追尾結果とする。さらに、追尾部４２３は、過去方向の追尾を行う場合、追尾結果をバックトラッキング処理で用いるようにしてステップＳＴ４５に進む。

　ステップＳＴ４５で画像処理装置４０はバックトラッキング処理を行う。図２１はバックトラッキング処理を示すフローチャートである。ステップＳＴ５１でバックトラッキング部４３２は過去画像を選択する。バックトラッキング部４３２の過去画像選択部４３２１は、追尾枠の位置を予測する過去画像を過去画像記憶部４３１から取得してステップＳＴ５２に進む。

　ステップＳＴ５２でバックトラッキング部４３２は人物判定閾値を調整する。バックトラッキング部４３２の閾値調整部４３２２は、閾値マップにおいて、人物検出を行った撮像画像よりも古い過去画像における予測位置の追尾枠に対応した人物位置想定領域の人物判定閾値を、人物と判定され易くなるように調整してステップＳＴ５３に進む。

　ステップＳＴ５３でバックトラッキング部４３２は人物の検出を行う。バックトラッキング部４３２の人物検出部４３２３は、ステップＳＴ５１で取得した過去画像を用いて特徴量等に基づき人物の確からしさを示すスコアを算出する。また、人物検出部４３２３は、人物判定閾値の調整が行われた閾値マップを用いて、この閾値マップで示された領域毎に、領域に対応する人物判定閾値と領域内の被写体のスコアを比較して、スコアが人物判定閾値以上のである被写体を人物と判定する。人物検出部４３２３は、人物と判別された被写体の位置である人物検出位置を、人物検出結果としてステップＳＴ５４に進む。

　ステップＳＴ５４でバックトラッキング部４３２は人物の追尾を行う。バックトラッキング部４３２の追尾部４３２４は、追尾部４２３で設定された追尾枠の枠内の画像と取得されている過去画像から、取得された過去画像における追尾枠の位置を予測する。さらに、追尾部４３２４は、追尾枠の予測位置を示す情報に、この追尾枠に設定されている追尾識別情報を含めて追尾結果とする。また、追尾部４３２４は、その後の人物の検出において、上述のように人物判定閾値を調整するため、追尾結果を閾値調整部４３２２へ出力する。また、バックトラッキング部４３２は、追尾結果と人物検出結果を追尾識別情報毎に人物検出信頼度算出部４４２へ出力する。

　図２０に戻り、ステップＳＴ４６で画像処理装置４０は人物検出信頼度を算出する。画像処理装置４０の人物検出信頼度算出部４４２は、ステップＳＴ４３の人物の検出で得られた人物検出結果と、ステップＳＴ４４の追尾枠の設定、およびステップＳＴ４５のバックトラッキング処理で得られた追尾結果と人物検出結果に基づいて人物検出信頼度を算出する。人物検出信頼度算出部４４１は、追尾枠の位置と追尾枠毎の人物検出信頼度を人物検出情報とする。

　このような第３の実施の形態によれば、第１の実施の形態と同様に信頼度が高く精度よい人物検出情報を得ることができる。さらに、第３の実施の形態では、過去方向に予測した追尾枠の位置を基準とした所定範囲の領域に対する人物判定閾値が人物と判定され易くなるように調整されるので、人物検出の検出精度の低下を防止できるようになる。したがって、例えば混雑領域から閑散領域に移動した人物が閑散領域で検出されるようになった場合、バックトラッキング処理によって混雑領域でも検出できるようになる。

　＜５．第４の実施の形態＞
　第４の実施の形態では、閾値記憶部４１１に記憶する閾値情報の生成機能を設けた場合を例示している。

　図２２は、本技術の画像処理装置の第４の実施の形態の構成を示している。画像処理装置４０は、学習用画像群記憶部４０１、閾値学習部４０２、閾値記憶部４１１、閾値マップ生成部４１２、人物検出部４２１、追尾部４２２、人物検出信頼度算出部４４１、カウント部４５１、出力部４６１を有している。

　学習用画像群記憶部４０１は、混雑状況に応じた人物判定閾値を学習によって決定するための学習用画像群が記憶されている。学習用画像群記憶部４０１には、学習用画像群として、例えば混雑画像群と閑散画像群が記憶されている。混雑画像群は、人物が混雑している状態の画像群であり、画像群は混雑レベル毎に１枚または複数枚の画像で構成されている。閑散画像群は、人物が分散している状態の画像群である。

　閾値学習部４０２は、学習用画像を用いて混雑領域に対応する人物判定閾値と閑散領域に対応する人物判定閾値を設定する。また、閾値学習部４０２は、学習用画像を用いて混雑レベル毎の人物判定閾値を設定する。

　図２３と図２４は、閾値学習部４０２で行われる人物判定閾値の学習方法を説明するための図である。図２３の（ａ）（ｂ）は、混雑領域で混雑レベルが高い場合（混雑レベル１とする）の学習画像、および再現率および適合率と閾値の関係を例示している。図２３の（ｃ）（ｄ）は、混雑領域で混雑レベルが図２３の（ａ）よりも低い場合（混雑レベル２とする）の学習画像、および再現率および適合率と閾値の関係を例示している。図２３の（ｅ）（ｆ）は、混雑領域で混雑レベルが図２３の（ｃ）よりも低い場合（混雑レベル３とする）の学習画像、および再現率および適合率と閾値の関係を例示している。また、図２４の（ａ）（ｂ）は、閑散領域の学習画像、および再現率および適合率と閾値の関係を例示している。

　閾値学習部４０２は、学習用画像と、学習用画像に映り込んだ人物の正解データを用いて学習を行う。混雑領域の学習では、画像内における人物の分布の影響を受けないように、画像内で人物が一様に混雑している混雑レベル毎の画像を学習用画像として用いる。また、閾値学習部４０２は、混雑レベル毎の画像について、閾値を変更しながら各画像群で再現率Ｒrecと適合率Ｒpreを算出する。さらに閾値学習部４０２は、各混雑レベルで再現率Ｒrecが「Ｌrec」以上かつ適合率Ｒpreの最も高くなる閾値を人物判定閾値とする。例えば、混雑レベル１では人物判定閾値を「Ｔｈc1」、混雑レベル２では人物判定閾値を「Ｔｈc2」、混雑レベル３では人物判定閾値を「Ｔｈc3」とする。

　閑散領域の学習では、画像内における人物の分布の影響を受けないように、画像内で人物が一様にばらついている画像を学習用画像として用いる。また、閾値学習部４０２は、閾値を変更しながら再現率Ｒrecと適合率Ｒpreを算出する。さらに閾値学習部４０２は、適合率Ｒpreが「Ｌpre」以上かつ再現率Ｒrecの最も高くなる閾値を人物判定閾値とする。例えば、閑散領域の人物判定閾値を「Ｔｈs」とする。なお、閑散領域では図２４に示すように、再現率Ｒrecと適合率Ｒpreが共に高くなるように設定してもよい。

　閾値記憶部４１１は、閾値学習部４０２の学習結果を記憶して、閾値マップ生成部４１２で示された混雑レベルに応じた人物判定閾値を閾値マップ生成部４１２へ出力する。

　閾値マップ生成部４１２は、入力装置３０から供給された操作信号に基づき、ユーザ操作に応じて閾値マップを生成する。閾値マップ生成部４１２は、撮像装置２０で生成される撮像画像を、ユーザ操作に応じて混雑レベルの異なる複数の領域に区分する。また、閾値マップ生成部４１２は、区分した領域に対するユーザの混雑レベル指定操作に応じて人物判定閾値を閾値記憶部４１１から取得する。閾値マップ生成部４１２は、取得した人物判定閾値を区分した領域に対応させて、例えば混雑領域と閑散領域および領域毎の人物判定閾値を示す閾値マップを生成して人物検出部４２１へ出力する。

　人物検出部４２１は、撮像装置２０で生成された撮像画像を用いて人物検出を行う。人物検出では、人物の確からしさを示すスコアを算出する。また、人物検出部４２１は、閾値マップで示された領域毎に、領域に対応する人物判定閾値と領域内の被写体のスコアを比較して、スコアが人物判定閾値以上である被写体を人物と判定する。人物検出部４２１は、人物と判定した被写体の位置を示す人物検出位置を人物検出結果として追尾部４２２へ出力する。

　人物検出信頼度算出部４４１は追尾結果と人物検出結果を用いて人物検出信頼度を算出する。人物検出信頼度算出部４４１は、追尾識別情報毎に、追尾枠に対応する人物検出結果の履歴を保持する。また、人物検出信頼度算出部４４１は、保持している履歴を用いて、追尾識別情報毎に人物検出信頼度とする。人物検出信頼度算出部４４１は、追尾識別情報毎に算出した人物検出信頼度をカウント部４５１へ出力する。

　図２５は第４の実施の形態の動作を示すフローチャートである。ステップＳＴ６１で画像処理装置４０は、閾値学習処理を行う。図２６は閾値学習処理を示すフローチャートである。

　ステップＳＴ７１で画像処理装置４０は学習用情報を取得する。画像処理装置４０の閾値学習部４０２は、学習用情報として学習用画像と学習用画像に映り込んだ人物の正解データを取得する。学習用画像は、画像内における人物の分布の影響を生じないように、画像内で人物が一様に混雑している混雑レベル毎の混雑画像群と、画像内で人物が一様に分散している閑散画像群を用いる。閾値学習部４０２は、学習用情報を取得してステップＳＴ７２に進む。

　ステップＳＴ７２で画像処理装置４０は適合率と再現率を算出する。画像処理装置４０の閾値学習部４０２は、混雑レベル毎の混雑画像群および閑散画像群について、閾値を変更しながら各画像群で適合率Ｒpreと再現率Ｒrecを算出してステップＳＴ７３に進む。

　ステップＳＴ７３で画像処理装置４０は人物判定閾値を設定する。画像処理装置４０の閾値学習部４０２は、混雑画像群については、各混雑レベルについて再現率Ｒrecが「Ｌrec」以上かつ適合率Ｒpreの最も高くなる閾値を人物判定閾値とする。また、閾値学習部４０２は、閑散画像群については、適合率Ｒpreが「Ｌpre」以上かつ再現率Ｒrecの最も高くなる閾値を人物判定閾値とする。閾値学習部４０２は、混雑レベル毎の混雑画像群および閑散画像群の各画像群について設定した人物判定閾値を閾値記憶部４１１に記憶させる。

　図２５に戻り、ステップＳＴ６２で画像処理装置４０は、閾値マップ生成処理を行う。画像処理装置４０の閾値マップ生成部４１２は、図９のステップＳＴ１と同様な処理を行う。すなわち、閾値マップ生成部４１２はユーザ操作に応じて撮像画像を混雑レベルの異なる複数の領域に区分する。また、閾値マップ生成部４１２は、区分した領域に対するユーザの混雑レベル指定操作に応じて人物判定閾値を閾値記憶部４１１から取得する。さらに、閾値マップ生成部４１２は、取得した人物判定閾値を区分した領域に対応させて閾値マップを生成してステップＳＴ６３に進む。

　ステップＳＴ６３で画像処理装置４０は人物検出情報生成処理を行う。画像処理装置４０は、図９のステップＳＴ２と同様な処理を行う。すなわち、人物検出部４２１は、被写体検出を行い、人物検出位置を示す人物検出結果を生成する。また、追尾部４２２は、人物検出結果を用いて追尾枠の設定を行い、設定した追尾枠の枠内の画像とその後に取得された撮像画像から、その後に取得された撮像画像における追尾枠の位置を予測して、追尾枠の人物を追尾する。さらに、人物検出信頼度算出部４４１は、追尾結果と人物検出結果に基づいて人物検出信頼度を算出する。画像処理装置４０は、追尾枠の位置と追尾枠毎の人物検出信頼度を人物検出情報としてステップＳＴ６４に進む。

　ステップＳＴ６４で画像処理装置４０はカウント処理を行う。画像処理装置４０のカウント部４５１は、図９のステップＳＴ３と同様な処理を行い、ステップＳＴ６３で生成された人物検出情報における追尾枠の位置から、カウントラインを通過する追尾枠を判別する。さらに判別した追尾枠において、人物検出信頼度が予め設定されているカウント対象判別用閾値以上である追尾枠の人物をカウント対象としてカウントを行い、カウントラインを通過する人の数を算出してステップＳＴ６５に進む。

　ステップＳＴ６５で画像処理装置４０は出力処理を行う。画像処理装置４０の出力部４６１は、図９のステップＳＴ４と同様な処理を行い、ステップＳＴ６４で得られたカウント処理結果を表示する。

　このような第４の実施の形態によれば、混雑画像群と閑散画像群を用いた学習によって人物判定閾値が設定されることから、人物の混雑状況に応じた最適な人物判定閾値を設定できる。したがって、混雑領域および閑散領域のそれぞれで、混雑レベルに応じて人物検出を最適に行うことができるようになる。

　＜６．他の実施の形態＞
　ところで、上述の実施の形態では、ユーザ操作等に基づいて予め設定された混雑領域と閑散領域および混雑領域の混雑レベルに応じて閾値マップを生成する場合について説明した。しかし、領域設定や混雑レベル設定は、ユーザ操作等に基づいて行う場合に限られない。例えば、撮像画像に基づき自動的に領域設定や混雑レベル設定を行って閾値マップを生成するようにしてもよい。他の実施の形態では、領域設定と混雑レベル設定を自動的に行う場合について説明する。

　図２７は、他の実施の形態の構成を例示している。画像処理装置４０は、混雑レベル検出部４１０、閾値記憶部４１１、閾値マップ生成部４１２、人物検出部４２１、追尾部４２２、人物検出信頼度算出部４４１、カウント部４５１、出力部４６１を有している。

　混雑レベル検出部４１０は、撮像装置２０で取得された撮像画像を用いて混雑レベルを検出する。混雑レベル検出部４１０は、例えば文献「V. Lempisky and A. Zizzerman, “Learning to count objects in images”, in Neural Information Processing Systems, (2010).」で開示されているように、画像領域に対する人の密度と特徴量との関係性を示す辞書を予め生成して，混雑レベルの検知では，画像の特徴量抽出結果から人物の混雑レベルを予測する。また、混雑レベル検出では、撮像時刻が異なる複数の撮像画像から動物体の検出を行い、動物体が多く検出されたときには混雑レベルが高く、動物体の検出が少ないときには混雑レベルが低いとする。混雑レベル検出部４１０は、混雑レベル検知結果を閾値マップ生成部４１２へ出力する。

　人物検出信頼度算出部４４１は追尾結果と人物検出結果を用いて人物検出信頼度を算出する。人物検出信頼度算出部４４１は、追尾識別情報毎に、追尾枠に対応する人物検出結果の履歴を保持して、保持している履歴を用いて、追尾識別情報毎に人物検出信頼度を算出する。人物検出信頼度算出部４４１は、追尾識別情報毎に算出した人物検出信頼度をカウント部４５１へ出力する。

　図２８は、他の実施の形態の動作を示すフローチャートである。ステップＳＴ８１で画像処理装置４０は、混雑度検出処理を行う。画像処理装置４０の混雑レベル検出部４１０は、撮像装置２０で生成された撮像画像を用いて混雑レベルを検出してステップＳＴ８２に進む。

　ステップＳＴ８２で画像処理装置４０は、閾値マップ生成処理を行う。画像処理装置４０の閾値マップ生成部４１２は、ステップＳＴ８１で検出された混雑レベルに応じて、撮像画像を混雑領域と閑散領域に区分する。さらに閾値マップ生成部４１２は、混雑領域と閑散領域のそれぞれについて、各領域の混雑レベルに応じた人物判定閾値を閾値記憶部４１１から取得して、それぞれの領域に対して人物判定閾値を設定することで閾値マップを生成してステップＳＴ８３に進む。

　ステップＳＴ８３で画像処理装置４０は人物検出情報生成処理を行う。画像処理装置４０は、図９のステップＳＴ２と同様な処理を行う。すなわち、人物検出部４２１は、被写体検出を行い、人物検出位置を示す人物検出結果を生成する。また、追尾部４２２は、人物検出結果を用いて追尾枠の設定を行い、設定した追尾枠の枠内の画像とその後に取得された撮像画像から、その後に取得された撮像画像における追尾枠の位置を予測して、追尾枠の人物を追尾する。さらに、人物検出信頼度算出部４４１は、追尾結果と人物検出結果に基づいて人物検出信頼度を算出する。画像処理装置４０は、追尾枠の位置と追尾枠毎の人物検出信頼度を人物検出情報としてステップＳＴ８４に進む。

　ステップＳＴ８４で画像処理装置４０はカウント処理を行う。画像処理装置４０のカウント部４５１は、図９のステップＳＴ３と同様な処理を行い、ステップＳＴ８３で生成された人物検出情報における追尾枠の位置から、カウントラインを通過する追尾枠を判別する。さらに判別した追尾枠において、人物検出信頼度が予め設定されているカウント対象判別用閾値以上である追尾枠の人物をカウント対象としてカウントを行い、カウントラインを通過する人の数を算出してステップＳＴ８５に進む。

　ステップＳＴ８５で画像処理装置４０は出力処理を行う。画像処理装置４０の出力部４６１は、図９のステップＳＴ４と同様な処理を行い、ステップＳＴ８４で得られたカウント処理結果を表示する。

　このような他の実施の形態によれば、撮像画像から混雑領域や閑散領域の設定および領域に応じた人物判定閾値が自動的に設定されるので、ユーザが領域の設定や領域の混雑レベルを設定する操作を行う必要がなく、画像処理装置の利用が容易となる。また、領域の混雑レベルが変化したときは、変化に応じて人物判定閾値を最適化することが可能となり、ユーザが混雑レベルを設定する場合に比べて、人物検出の精度を向上させることが可能となる。

　また、上述の第２の実施の形態に第３の実施の形態を適用すれば、人物が閑散領域から混雑領域に移動する場合と混雑領域から閑散領域に移動する場合の何れであっても信頼度が高く精度よい人物検出情報を得ることができるようになる。

　また、上述の実施の形態では、カウントラインを通過する人物の数を計測する場合について説明したが、取得する情報に応じて上述のフローチャートの一部の処理を省略することもできる。例えば、混雑領域と閑散領域間を移動する人物の追尾結果を示す情報を取得する場合、実施の形態の動作を示すフローチャートにおいて、カウント処理を省略することができる。また、出力処理では、人物検出信頼度情報に基づき、信頼度の高い追尾結果を表示装置５０に表示してもよい。

　さらに、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　撮像画像を区分した複数領域毎に人物判定閾値を設定した閾値マップを生成する閾値マップ生成部と、
　前記閾値マップ生成部で生成された前記閾値マップに基づき、前記複数領域毎に領域に対応する前記人物判定閾値を用いて人物検出を行う人物検出部と、
　前記人物検出部で検出された人物の追尾を行う追尾部と、
　前記人物検出部の人物検出結果と前記追尾部の追尾結果を用いて、前記検出された人物毎に人物検出信頼度を算出する人物検出信頼度算出部と
を備える画像処理装置。
　（２）　前記撮像画像は混雑領域と閑散領域に区分されており、前記人物判定閾値は領域の混雑レベルに応じて設定する（１）に記載の画像処理装置。
　（３）　前記混雑領域の人物判定閾値は、前記混雑領域の人物において前記人物検出によって検出される人物がどの程度含まれるかを表す再現率を所定レベルに維持した状態で、前記人物検出によって検出された人物において前記混雑領域の人物がどの程度含まれるかを表す適合率が最大となるように設定する（２）に記載の画像処理装置。
　（４）　前記閑散領域の人物判定閾値は、前記人物検出によって検出された人物において前記閑散領域の人物がどの程度含まれるかを表す適合率が所定レベル以上で、前記閑散領域の人物において前記人物検出によって検出される人物がどの程度含まれるかを表す再現率が最大となるように設定する（２）または（３）に記載の画像処理装置。
　（５）　前記人物検出部は、人物であることの確度を示すスコアの算出を被写体に対して行い、算出した前記スコアが前記被写体の位置に対応する人物判定閾値以上であるとき人物と判定する（１）乃至（４）の何れかに記載の画像処理装置。
　（６）　前記追尾部は、前記人物検出部で検出された人物に対して追尾枠を設定して、前記追尾枠の枠内の画像と撮像時刻が異なる撮像画像を用いて、前記撮像時刻が異なる撮像画像における前記追尾枠の位置を予測する（１）乃至（５）の何れかに記載の画像処理装置。
　（７）　前記追尾部は、前記追尾枠に対して人物毎に異なる追尾識別情報を設定して、前記追尾識別情報毎に前記追尾枠の位置の予測を行い、予測位置の追尾枠に対応する人物位置想定領域内において前記人物検出部で得られた人物検出結果を示す情報に前記予測位置の追尾枠に設定された前記追尾識別情報を含める（６）に記載の画像処理装置。
　（８）　前記人物検出信頼度算出部は、信頼度算出期間における追尾位置での人物検出状況を算出して前記人物検出信頼度とする（１）乃至（７）の何れかに記載の画像処理装置。
　（９）　前記閑散領域で検出された人物を追尾して、前記人物の予測位置が前記混雑領域であるとき、前記閾値マップにおける前記予測位置を基準とした所定領域の人物判定閾値を、調整前よりも人物として判定され易くなるように調整する閾値調整部をさらに備える（２）に記載の画像処理装置。
　（１０）　前記閑散領域で検出された人物について過去方向に追尾と人物検出を行い、前記追尾における人物の予測位置が前記混雑領域であるとき、前記閾値マップにおける前記予測位置を基準とした所定領域の人物判定閾値を、調整前よりも人物として判定され易くなるように調整して、調整後の人物判定閾値を用いて前記人物検出を行うバックトラッキング部をさらに備える（２）または（９）に記載の画像処理装置。
　（１１）　前記人物検出信頼度算出部は、前記バックトラッキング部で取得した人物検出結果と追尾結果を用いて前記人物検出信頼度を算出する（１０）に記載の画像処理装置。
　（１２）　混雑領域と閑散領域の学習用画像を用いて領域毎に前記人物判定閾値を学習する閾値学習部をさらに備え、
　前記閾値学習部は、混雑領域では再現率を所定レベル以上かつ適合率が最も高くなる閾値を人物判定閾値として、閑散領域では、適合率が所定レベル以上かつ再現率の最も高くなる閾値または再現率と適合率が共に高くなる閾値を人物判定閾値とする（３）に記載の画像処理装置。
　（１３）　前記閾値マップ生成部は、予め設定された前記混雑領域と前記閑散領域および前記混雑領域の混雑レベルに応じて前記閾値マップを生成する（２）に記載の画像処理装置。
　（１４）　前記撮像画像を用いて混雑レベルを検出する混雑レベル検出部をさらに備え、
　前記閾値マップ生成部は、前記混雑レベル検出部で検出された混雑レベルに基づいて前記混雑領域と前記閑散領域の区分を行い、区分した領域毎の前記混雑レベルに応じて前記閾値マップを生成する（２）に記載の画像処理装置。
　（１５）　前記人物検出信頼度算出部で算出された人物検出信頼度と前記追尾部の追尾結果に基づき、前記人物検出信頼度がカウント対象判別閾値以上であって予め設定した判定位置を通過する人物をカウント対象として、前記判定位置を通過する人物の数をカウントするカウント部をさらに備える（１)乃至（１４）の何れかに記載の画像処理装置。

　この技術の画像処理装置と画像処理方法およびプログラムによれば、撮像画像を区分した複数領域毎に人物判定閾値を設定した閾値マップが生成されて、この閾値マップに基づき、複数領域毎に領域に対応する人物判定閾値を用いて人物検出が行われる。また、検出された人物の追尾を行い、人物検出結果と追尾結果を用いて、検出された人物毎に人物検出信頼度が算出される。このため、信頼度が高く精度よい人物検出情報を得ることができるようになる。したがって、例えば監視カメラ等の撮像画像から通行人の数等を精度よく計測できる。

　１０・・・画像処理システム
　２０・・・撮像装置
　３０・・・入力装置
　４０・・・画像処理装置
　５０・・・表示装置
　４０１・・・学習用画像群記憶部
　４０２・・・閾値学習部
　４１０・・・混雑レベル検出部
　４１１・・・閾値記憶部
　４１２・・・閾値マップ生成部
　４１３・・・閾値調整部
　４２１・・・人物検出部
　４２２，４２３・・・追尾部
　４３１・・・過去画像記憶部
　４３２・・・バックトラッキング部
　４３２１・・・過去画像選択部
　４３２２・・・閾値調整部
　４３２３・・・人物検出部
　４３２４・・・追尾部
　４４１，４４２・・・人物検出信頼度算出部
　４５１・・・カウント部
　４６１・・・出力部

Claims

　撮像画像を区分した複数領域毎に人物判定閾値を設定した閾値マップを生成する閾値マップ生成部と、
　前記閾値マップ生成部で生成された前記閾値マップに基づき、前記複数領域毎に領域に対応する前記人物判定閾値を用いて人物検出を行う人物検出部と、
　前記人物検出部で検出された人物の追尾を行う追尾部と、
　前記人物検出部の人物検出結果と前記追尾部の追尾結果を用いて、前記検出された人物毎に人物検出信頼度を算出する人物検出信頼度算出部と
を備える画像処理装置。
　前記撮像画像は混雑領域と閑散領域に区分されており、前記人物判定閾値は領域の混雑レベルに応じて設定する
請求項１に記載の画像処理装置。
　前記混雑領域の人物判定閾値は、前記混雑領域の人物において前記人物検出によって検出される人物がどの程度含まれるかを表す再現率を所定レベルに維持した状態で、前記人物検出によって検出された人物において前記混雑領域の人物がどの程度含まれるかを表す適合率が最大となるように設定する
請求項２に記載の画像処理装置。
　前記閑散領域の人物判定閾値は、前記人物検出によって検出された人物において前記閑散領域の人物がどの程度含まれるかを表す適合率が所定レベル以上で、前記閑散領域の人物において前記人物検出によって検出される人物がどの程度含まれるかを表す再現率が最大となるように設定する
請求項２に記載の画像処理装置。
　前記人物検出部は、人物であることの確度を示すスコアの算出を被写体に対して行い、算出した前記スコアが前記被写体の位置に対応する人物判定閾値以上であるとき人物と判定する
請求項１に記載の画像処理装置。
　前記追尾部は、前記人物検出部で検出された人物に対して追尾枠を設定して、前記追尾枠の枠内の画像と撮像時刻が異なる撮像画像を用いて、前記撮像時刻が異なる撮像画像における前記追尾枠の位置を予測する
請求項１に記載の画像処理装置。
　前記追尾部は、前記追尾枠に対して人物毎に異なる追尾識別情報を設定して、前記追尾識別情報毎に前記追尾枠の位置の予測を行い、予測位置の追尾枠に対応する人物位置想定領域内において前記人物検出部で得られた人物検出結果を示す情報に前記予測位置の追尾枠に設定された前記追尾識別情報を含める
請求項６に記載の画像処理装置。
　前記人物検出信頼度算出部は、信頼度算出期間における追尾位置での人物検出状況を算出して前記人物検出信頼度とする
請求項１に記載の画像処理装置。
　前記閑散領域で検出された人物を追尾して、前記人物の予測位置が前記混雑領域であるとき、前記閾値マップにおける前記予測位置を基準とした所定領域の人物判定閾値を、調整前よりも人物として判定され易くなるように調整する閾値調整部をさらに備える
請求項２に記載の画像処理装置。
　前記閑散領域で検出された人物について過去方向に追尾と人物検出を行い、前記追尾における人物の予測位置が前記混雑領域であるとき、前記閾値マップにおける前記予測位置を基準とした所定領域の人物判定閾値を、調整前よりも人物として判定され易くなるように調整して、調整後の人物判定閾値を用いて前記人物検出を行うバックトラッキング部をさらに備える
請求項２に記載の画像処理装置。
　前記人物検出信頼度算出部は、前記バックトラッキング部で取得した人物検出結果と追尾結果を用いて前記人物検出信頼度を算出する
請求項１０に記載の画像処理装置。
　混雑領域と閑散領域の学習用画像を用いて領域毎に前記人物判定閾値を学習する閾値学習部をさらに備え、
　前記閾値学習部は、混雑領域では再現率を所定レベル以上かつ適合率が最も高くなる閾値を人物判定閾値として、閑散領域では、適合率が所定レベル以上かつ再現率の最も高くなる閾値または再現率と適合率が共に高くなる閾値を人物判定閾値とする
請求項３に記載の画像処理装置。
　前記閾値マップ生成部は、予め設定された前記混雑領域と前記閑散領域および前記混雑領域の混雑レベルに応じて前記閾値マップを生成する
請求項２に記載の画像処理装置。
　前記撮像画像を用いて混雑レベルを検出する混雑レベル検出部をさらに備え、
　前記閾値マップ生成部は、前記混雑レベル検出部で検出された混雑レベルに基づいて前記混雑領域と前記閑散領域の区分を行い、区分した領域毎の前記混雑レベルに応じて前記閾値マップを生成する
請求項２に記載の画像処理装置。
　前記人物検出信頼度算出部で算出された人物検出信頼度と前記追尾部の追尾結果に基づき、前記人物検出信頼度がカウント対象判別閾値以上であって予め設定した判定位置を通過する人物をカウント対象として、前記判定位置を通過する人物の数をカウントするカウント部をさらに備える
請求項１に記載の画像処理装置。
　撮像画像を区分した複数領域毎に人物判定閾値を設定した閾値マップを閾値マップ生成部で生成することと、
　前記閾値マップ生成部で生成された前記閾値マップに基づき、前記複数領域毎に領域に対応する前記人物判定閾値を用いて人物検出部で人物検出を行うことと、
　前記人物検出部で検出された人物の追尾を追尾部で行うことと、
　前記人物検出部の人物検出結果と前記追尾部の追尾結果を用いて、前記検出された人物毎に人物検出信頼度を人物検出信頼度算出部で算出することと
を含む画像処理方法。
　画像処理をコンピュータで実行させるプログラムであって、
　撮像画像を区分した複数領域毎に人物判定閾値を設定した閾値マップを生成する手順と、
　生成された前記閾値マップに基づき、前記複数領域毎に領域に対応する前記人物判定閾値を用いて人物検出を行う手順と、
　前記検出された人物の追尾を行う手順と、
　前記人物検出結果と前記追尾結果を用いて、前記検出された人物毎に人物検出信頼度を算出する手順と
を前記コンピュータで実行させるプログラム。