JP7433864B2

JP7433864B2 - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: JP7433864B2
Application number: JP2019214784A
Authority: JP
Inventors: 良前田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2024-02-20
Anticipated expiration: 2039-11-27
Also published as: US11521330B2; JP2021086392A; US20210158555A1

Description

本発明は、画像処理技術に関する。

近年、撮像装置で所定の領域を撮像し、撮像した画像を解析することによって画像中の人物を計数するシステムが提案されている。このようなシステムは、公共の空間での混雑の検知及び混雑時の人物の流れを把握することでイベント時の混雑解消や災害時の避難誘導への活用が期待されている。

非特許文献１では、機械学習によって得た認識モデルを用いて、画像の所定の推定領域に映る人数を直接推定する方法が開示されている。以下、この方法を回帰ベース推定法とする。

池田浩雄，大網亮磨，宮野博義．ＣＮＮを用いた群衆パッチ学習に基づく人数推定の高精度化．ＦＩＴ，２０１４

回帰ベース推定法において、特定物体の数を推定する精度を向上させるために、画像上に映る特定物体のサイズに比例したサイズの推定領域を設定する必要がある。このとき、撮像装置により撮像された画像に対して複数の推定領域を設定する場合、該画像に映る特定物体のサイズをユーザが確認しながら該画像に対し複数の推定領域を設定する方法が考えられる。このとき、画像に映る特定物体のサイズのサンプルはより多いほうが画像上に映る特定物体のサイズに比例したサイズの推定領域をより適切に設定できる。しかしながら、ユーザが確認する画像には必ずしも十分な数の特定物体が映っているとは限らないため、画像上に映る特定物体のサイズに比例したサイズの推定領域を適切に設定できないことがあった。

そこで本発明は、特定物体の数を推定する精度を高くするためにより適切な推定領域を設定することを目的としている。

上記課題を解決するために、本発明の画像処理装置は以下の構成を備える。すなわち、撮像手段により撮像された画像において特定物体を検出する検出処理を実行する検出手段と、前記検出処理により検出された特定物体の前記画像上の位置およびサイズの情報を示す物体情報を保持する保持手段と、前記撮像手段により撮像された複数の画像に対する前記検出処理により前記特定物体が検出された回数が所定値に達したかを判定する判定手段と、前記特定物体が検出された回数が前記所定値に達したと前記判定手段により判定された場合、前記検出処理により検出された前記特定物体の前記物体情報に基づき、前記撮像手段により撮像された画像に対して複数の推定領域を設定する第１設定手段と、前記複数の推定領域の各々に含まれる前記特定物体の数を推定する推定処理を実行する推定手段と、を有する。

本発明によれば、特定物体の数を推定する精度を高くするためにより適切な推定領域を設定することができる。

システム構成の一例を示す図である。画像処理装置の機能ブロックを示す図である。推定領域を設定する処理を説明するための図である。推定領域を設定する処理を説明するための図である。推定領域に対する推定処理を説明するための図である。推定領域を設定する処理および推定領域に対する推定処理の流れを示すフローチャートである。推定領域を設定する処理を説明するための図である。推定領域を設定する処理の流れを示すフローチャートである。各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

画像処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、無線ＬＡＮ（ＷｉｒｅｌｅｓｓＬａｎ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）等により実現されてもよい。

画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。撮像装置１１０は、画像を撮像する装置である。撮像装置１１０は、撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、画像処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。

記録装置１２０は、撮像装置１１０が撮像した画像の画像データと、画像を撮像した撮像時刻の情報と、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、画像処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像、識別情報など）を画像処理装置１００へ送信する。

ディスプレイ１３０は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等により構成されており、画像処理装置１００の画像処理の結果や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１００と接続されている。

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した画像や、後述する画像処理による結果等を表示する。なお、ディスプレイ１３０、画像処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。また、画像処理装置１００および撮像装置１１０は単一の筐体に設けられていてもよい。すなわち、撮像装置１１０が後述する画像処理装置１００の機能および構成を有していてもよい。

なお、画像処理装置１００の画像処理の結果や、撮像装置１１０により撮像された画像は、画像処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

次に、図２に示す本実施形態に係る画像処理装置１００の機能ブロックを参照して、本実施形態に係る画像処理装置１００の画像処理について説明する。なお、図２に示す各機能は、本実施形態の場合、図９を参照して後述するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０２とＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９００とを用いて、次のようにして実現されるものとする。図２に示す各機能は、画像処理装置１００のＲＯＭ９０２に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ９００が実行することにより実現される。

通信部２００は、図９を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）９０４によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンドなどを含む。

記憶部２０１は、図９を参照して後述するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０１やＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）９０３等によって実現でき、画像処理装置１００による画像処理に関わる情報やデータを記憶する。記憶部２０１は、後述する検出部２０４による検出処理により検出された特定物体の画像上の位置およびサイズの情報を示す物体情報を保持する。

出力制御部２０２は、撮像装置１１０が撮像した画像や、画像処理の結果を示す情報などを外部装置に出力したり、ディスプレイ１３０に表示させたりする。なお、出力制御部２０２による情報の出力先である外部装置は、例えば、他の画像処理装置（不図示）や記録装置１２０を含む。操作受付部２０３は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。

検出部２０４は、回帰ベース推定法と異なる方法を用いて、画像における特定物体を検出する検出処理を実行する。本実施形態における検出部２０４は、例えば、照合パターン（辞書）を使用して、パターンマッチング等の処理を行うことで、画像から特定物体の検出を行う。そして記憶部２０１は、画像において特定物体が検出されるたびに特定物体の画像上の位置およびサイズを示す物体情報を蓄積していく。

なお、画像から特定物体として人物を検出する場合において、人物が正面向きである場合の照合パターンと横向きである場合の照合パターンなど複数の照合パターンを用いて画像から人物を検出するようにしてもよい。このように、複数の照合パターンを用いた検出処理を実行することで、検出精度の向上が期待できる。

なお、照合パターンとして、斜め方向からや上方向からなど他の角度から特定の物体を見た場合の照合パターンを用意しておいてもよい。また、特定物体として人物を検出する場合、必ずしも全身の特徴を示す照合パターン（辞書）を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。

判定部２０５は、複数の画像に対する検出処理により特定物体が検出された回数が所定値に達したかを判定する。言い換えれば、判定部２０５は、記憶部２０１により保持および蓄積される物体情報の数が所定値に達したかを判定する。

第１推定部２０６は、撮像装置１１０により撮像された複数の画像に対する検出部２０４の検出処理により検出された特定物体の物体情報に基づき、撮像装置１１０により撮像される画像上の位置ごとの特定物体のサイズを推定する。なお、以降の説明において、第１推定部２０６により推定される画像上の位置ごとの特定物体のサイズを示す情報をジオメトリ情報とする。

設定部２０７は、判定部２０５により特定物体が検出された回数が所定値に達したと判定された場合、検出処理により検出された特定物体の物体情報に基づき、複数の推定領域を設定する。具体的には、設定部２０７は、複数の画像に対する検出処理により特定物体が検出された回数が所定値に達した場合、記憶部２０１が蓄積した物体情報に基づき第１推定部２０６により推定されたジオメトリ情報に従い、画像に対し複数の推定領域を設定する。

第２推定部２０８は、回帰ベース推定法を用いて、設定部２０７により設定された画像における複数の推定領域の各々に含まれる特定物体の数を推定する推定処理を実行する。回帰ベース推定法では、ある固定サイズＳの小画像を入力とし、該小画像に写っている特定物体の数を出力とする回帰器（学習済み認識モデル）を用いることで、撮像装置１１０により撮像された画像上の推定領域における特定物体の数を推定する。回帰器を学習させるにあたって、特定物体の位置が既知である固定サイズＳの小画像を大量に用意し、該対象の小画像を学習データとして、機械学習手法に基づいて回帰器を学習しておく。このとき、特定物体の数の推定精度を向上させるため、学習データである小画像のサイズ（固定サイズＳ）と当該小画像に映る特定物体のサイズとの比率が略一定であることが望ましい。そして第２推定部２０８は、複数の推定領域の各々について、該推定領域の画像を固定サイズＳにリサイズしたものを小画像とし、該小画像を回帰器に入力することで「該推定領域内の特定物体の位置」を回帰器からの出力として求める。このとき、該推定領域内の特定物体の位置の数が、該推定領域内における特定物体の数となる。

また、設定部２０７が画像に対し複数の推定領域を設定するにあたって、推定領域のサイズと該推定領域における特定物体のサイズとの比率が、学習データである小画像のサイズと当該小画像に映る特定物体のサイズとの比率ｒと略同一になることが望ましい。このように、学習データの環境に近づくよう画像に対し推定領域を設定することで、推定領域に含まれる特定物体の数の推定精度をより高めることができる。

したがって、本実施形態における設定部２０７は、複数の画像に対する検出処理により特定物体が検出された回数が所定値に達したと判定部２０５により判定された場合、次のような処理を実行する。すなわち、設定部２０７は、記憶部２０１が蓄積した物体情報に基づき推定されたジオメトリ情報に従って、推定領域のサイズと該推定領域に含まれる特定物体のサイズとの比率が学習データに対応する比率ｒとなるよう画像に対し複数の推定領域を設定する。

計数部２０９は、撮像された画像に対し設定された複数の推定領域の各々に対する第２推定部２０８による推定処理に推定された特定物体の数を合算することで計数結果を取得する。出力制御部２０２は、推定領域の各々に対して推定された特定物体の数を合算した計数結果を示す情報を外部装置（ディスプレイ１３０等）へ出力する。

ここで、図３を参照して本実施形態に係る画像処理について更に具体的に説明する。なお、以降の説明において数の推定対象となる特定物体を人物として説明するが、人物に限定されるものではない。例えば、特定物体は、道路等を走行している各種車両、工場内のコンベアー上を流れている部品や製品、その他、動物等であってもよい。

図３は、検出部２０４により画像から人物が検出された様子を示す図である。画像３０１は、撮像装置１１０により撮像された画像であり、複数の人物３０２が映っている。なお、本実施形態における検出部２０４は、照合パターンを用いたパターンマッチング法により画像上の人物の領域（以下人物領域）を検出するものとする。図３に示す物体情報３０３は、画像から検出部２０４により検出された人物領域の画像上の位置およびサイズを示す情報である。物体情報３０３における検出された人物領域の画像上の位置は、画像の左上の端点を原点としたときの該人物領域の中心位置におけるＸ座標およびＹ座標で示されるものとする。また、物体情報３０３における検出された人物領域の画像上のサイズは、画像の垂直方向（Ｙ軸方向）における該人物領域の長さを示すものとする。記憶部２０１は、図３に示すように画像から検出された複数の人物３０２の各々に対応する物体情報を保持および蓄積していく。また図３に示す例では１枚のフレーム画像に対し人物が検出された様子を示しているが、検出部２０４は、撮像装置１１０により撮像された複数フレームの画像にわたって人物を検出する検出処理を実行する。そして、記憶部２０１は、複数フレームの画像において人物が検出されるたびに検出された人物の物体情報を保持および蓄積していく。

第１推定部２０６は、複数の画像において人物が検出された回数が所定値に達したと判定部２０５により判定された場合、記憶部２０１により蓄積された人物の物体情報に基づき、画像上の任意の位置に映る人物のサイズを示すジオメトリ情報を推定する。ジオメトリ情報は、画像上の任意の位置（ｘ，ｙ）から、当該位置で映る平均的な人物のサイズｆ（ｘ，ｙ）として与えられる。画像上の任意の位置における人物のサイズであるｆ（ｘ，ｙ）は、例えば、ｘ、ｙ及び１個以上のパラメータによって表せると仮定する。例えば、ｆ（ｘ，ｙ）＝ａｘ＋ｂｙ＋ｃと仮定する。この例では、未知のパラメータはａ、ｂ及びｃである。このとき第１推定部２０６は、記憶部２０１により蓄積された人物の物体情報を用いて、未知のパラメータを、例えば最小二乗法等の統計処理により求めることができる。最小二乗法やニュートン法などの既存の最適化手法によってｆ（ｘ，ｙ）のパラメータを推定する。

ここで、図４を参照して本実施形態における設定部２０７による複数の推定領域を設定する処理について説明する。図４（ａ）～（ｃ）は、撮像装置１１０により撮像された画像４００に対し設定部２０７により複数の推定領域を設定する様子を示す図である。なお図４に示す例において、ジオメトリ情報が示す画像上の任意の位置における人物のサイズとして、画像４００の水平方向において人物のサイズは略同一であり、画像４００の垂直方向における下部から上部に向かうにつれ人物のサイズは小さくなるものとする。まず、本実施形態における設定部２０７は、図４（ａ）に示すように、画像４００の下端に沿って複数の推定領域４０１を設定する。このとき推定領域４０１のサイズと、該推定領域４０１内の下端の座標においてジオメトリ情報が示す人物のサイズとの比率が学習データに対応する比率ｒと略同一になるように、設定部２０７は推定領域４０１を設定する。次に、設定部２０７は、図４（ｂ）に示すように、複数の推定領域４０１の上端に沿って、複数の推定領域４０２を設定する。このとき推定領域４０２のサイズと、該推定領域４０２内の下端の座標においてジオメトリ情報が示す人物のサイズとの比率が学習データに対応する比率ｒと略同一になるように、設定部２０７は推定領域４０２を設定する。次に、設定部２０７は、図４（ｃ）に示すように、複数の推定領域４０２の上端に沿って、複数の推定領域４０３を設定する。このとき推定領域４０３のサイズと、該推定領域４０３内の下端の座標においてジオメトリ情報が示す人物のサイズとの比率が学習データに対応する比率ｒと略同一になるように、設定部２０７は推定領域４０３を複数設定する。このように、本実施形態における設定部２０７は、推定領域のサイズと該推定領域における特定物体のサイズとの比率が、学習データである小画像のサイズと当該小画像に映る特定物体のサイズとの比率ｒと略同一になるよう、画像に対し推定領域を設定する。このように、学習データの環境に近づくよう画像に対し推定領域を設定することで、推定領域に含まれる特定物体の数の推定精度をより高めることができる。なお図４（ａ）～（ｃ）を参照した上述の説明において画像の下端から順番に推定領域を設定したが、これに限らず、他の位置から推定領域を設定してもよい。

第２推定部２０８は、画像５００に対し設定された複数の推定領域の各々について、推定領域の画像を固定サイズＳにリサイズしたものを小画像とし、予め学習した回帰器に該小画像を入力して「該推定領域内の人物の位置」を回帰器からの出力として求める。このとき、該推定領域内の人物の位置の個数が該推定領域に含まれる人物の数を示す、なお、該推定領域内の人物の位置の個数は、整数であってもよいし、小数点以下の数値を含む実数値であってもよい。図５は、画像５００に対して設定部２０７により設定された複数の小領域の各々に対する第２推定部２０８による推定処理の結果を示す模式図である。なお、図５に示すように、推定領域５０１に含まれる数値５０２は、推定領域５０１に対し推定された人物の数を示している。計数部２０９は、撮像された画像に対し設定された複数の推定領域の各々に対する第２推定部２０８による推定処理に推定された人物の数を合算した計数結果である１２．１人を取得する。出力制御部２０２は、複数の推定領域５０１と、当該複数の推定領域５０１に対する推定処理の結果を示す情報である数値５０２とを画像５００に重畳することで出力画像を生成し、生成した出力画像を外部装置（ディスプレイ１３０）に出力する。このとき、出力制御部２０２は、生成した該出力画像をディスプレイ１３０に表示させてもよい。

次に、図６を参照して、本実施形態における画像処理について更に詳細に説明する。なお、図６（ａ）に示すフローを実行することで、画像に対し複数の推定領域を設定することができる。また、図６（ｂ）に示すフローを実行することで、画像に対し設定された複数の推定領域の各々に対し推定処理を実行することで画像に含まれる人物の数を推定することができる。なお、図６（ａ）に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。そして、図６（ｂ）に示すフローの処理は、図６（ａ）に示すフロー処理が実行され複数の推定領域が設定されたのちに実行される。なお、図６に示すフローチャートの処理は、画像処理装置１００のＲＯＭ９０２に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ９００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

まず、図６（ａ）に示すフローの処理について説明する。Ｓ６０１にて、通信部２００は、撮像装置１１０により撮像された動画における１つのフレームの画像を処理対象の画像として取得する。なお、通信部２００は、ネットワーク１４０を介して撮像装置１１０や記憶装置１２０から処理対象の画像を取得してもよいし、画像処理装置１００の記憶部２０１から処理対象の画像を取得してもよい。

次に、Ｓ６０２にて、検出部２０４は、画像における人物を検出する検出処理を実行する。本実施形態における検出部２０４は、照合パターン（辞書）を使用して、パターンマッチング等の処理を行うことで、人物の検出を行う。

次に、Ｓ６０３にて、記憶部２０１は、画像において人物が検出されるたびに人物の画像上の位置およびサイズを示す物体情報を蓄積していく。

次に、Ｓ６０４にて、判定部２０５は、検出処理により人物が検出された回数が所定値に達したかを判定する。言い換えれば、判定部２０５は、記憶部２０１により保持および蓄積される物体情報の数が所定値に達したかを判定する。このとき、検出処理により人物が検出された回数が所定値に達していないと判定部２０５により判定された場合（Ｓ６０４にてＮｏ）、Ｓ６０１へ遷移する。そして、通信部２００は、撮像装置１１０により撮像された動画における次のフレームの画像を処理対象の画像として取得する。このように、検出処理により人物が検出された回数が所定値に達するまでＳ６０１～Ｓ６０３の処理が繰り返され、記憶部２０１は、人物が検出されるたびに該人物の物体情報を蓄積していく。

Ｓ６０４にて検出処理により人物が検出された回数が所定値に達したと判定部２０５により判定された場合（Ｓ６０４にてＹｅｓ）、Ｓ６０５へ遷移する。そしてＳ６０５にて第１推定部２０６は、記憶部２０１により蓄積された人物の物体情報に基づき、画像上の任意の位置に映る人物のサイズを示すジオメトリ情報を推定する。

次に、Ｓ６０６にて、設定部２０７は、ジオメトリ情報に基づき、推定領域のサイズと該推定領域における特定物体のサイズとの比率が、学習データに対応する比率ｒと略同一になるよう、撮像装置１１０により撮像される画像に対し複数の推定領域を設定する。

次に、図６（ｂ）に示すフローの処理について説明する。まずＳ６６１にて、通信部２００は、撮像装置１１０により撮像された動画における１つのフレームの画像を処理対象の画像として取得する。なお、通信部２００は、ネットワーク１４０を介して撮像装置１１０や記憶装置１２０から処理対象の画像を取得してもよいし、画像処理装置１００の記憶部２０１から処理対象の画像を取得してもよい。また、通信部２００は、撮像装置１１０により撮像された静止画を処理対象の画像として取得してもよい。

次に、Ｓ６６２にて、設定部２０７は、Ｓ６０６にて設定した複数の推定領域の情報を取得し、現在処理対象とする画像に対し該複数の推定領域を設定する。次に、Ｓ６６３にて、第２推定部２０８は、現在処理対象とする画像に対し設定された複数の推定領域の各々に対し人物の数を推定する推定処理を実行する。

次に、Ｓ６６４にて、計測部２０９は、撮像された画像に対し設定された複数の推定領域の各々に対する第２推定部２０８による推定処理に推定された特定物体の数を合算することで計数結果を取得する。次に、Ｓ６６５にて、出力制御部２０２は、推定領域の各々に対して推定された特定物体の数を合算した計数結果を示す情報を外部装置（ディスプレイ１３０等）へ出力する。次に、Ｓ６６６にて、ユーザによる終了の指示がない場合（Ｓ６６６にてＮｏ）、Ｓ６６１へ遷移し、通信部２００は、撮像装置１１０により撮像された動画における次のフレームの画像を処理対象の画像として取得する。一方、ユーザによる終了の指示がある場合（Ｓ６６６にてＹｅｓ）、図６（ｂ）に示す処理を終了する。

なお、図６（ａ）において人物が検出された回数が所定値に達したかを判定し（Ｓ６０４）、所定値に達した場合、ジオメトリ情報を推定し（Ｓ６０５）、複数の推定領域を設定（Ｓ６０６）したが、これに限らない。例えば、第１の閾値と、当該第１の閾値より大きい第２の閾値とを予め設定しておき、Ｓ６０４にて人物が検出された回数が第１の閾値に達した場合、ジオメトリ情報を推定し（Ｓ６０５）、複数の推定領域を設定（Ｓ６０６）してもよい。このとき設定された複数の推定領域の設定情報を第１設定情報とする。そして、図６（ｂ）に示すフローの処理を第１設定情報に基づき実行しつつ、図６（ａ）に示すフローの処理を並行して実行してもよい。この場合、第１設定情報に基づき実行される図６（ｂ）の処理と並行して実行される図６（ａ）の処理にて、人物が検出された回数が第２の閾値に達したかを判定し（Ｓ６０４）する。そして、第２の閾値に達した場合、ジオメトリ情報を推定し（Ｓ６０５）、複数の推定領域を設定（Ｓ６０６）する。このとき設定された複数の推定領域の設定情報を第２設定情報とする。第２設定情報が取得された場合、図６（ｂ）に示すフローの処理において用いられる設定情報として第１設定情報から第２設定情報に変更する。このように図６（ａ）の処理と図６（ｂ）の処理とを並行して実行してもよい。

また、画像処理装置１００は、Ｓ６０４にて、人物が検出された回数が所定値に達していなくても、図６（ａ）の処理を開始してから一定時間経過したらＳ６０５に遷移するようにしてもよい。

また、図６（ａ）に示すフローの処理は、例えば、撮像装置１１０のパンおよびチルトで示される撮像方向やズーム倍率が変化した場合に実行されるようにしてもよい。撮像装置１１０が撮像する範囲である撮像範囲（撮像方向およびズーム倍率により定まる）が変化した場合、画像上の任意の位置における人物のサイズ、すなわちジオメトリ情報が変化する。そのため図６（ａ）に示すフローの処理は、撮像装置１１０の撮像範囲の変化に伴って実行されるようにしてもよい。

以上説明したように、本実施形態において、画像処理装置１００は、複数の画像にわたって特定物体が検出された回数が所定値に達した場合、蓄積した物体情報に基づき、画像上の任意の位置における特定物体のサイズの情報であるジオメトリ情報を推定する。そして画像処理装置１００は、ジオメトリ情報に従って、推定領域のサイズと該推定領域に含まれる特定物体のサイズとの比率が学習データに対応する比率ｒとなるよう画像に対し複数の推定領域を設定する。このようにすることで、推定領域をより適切に設定することができ、結果的に推定領域における特定物体の数を推定する精度を高くすることができる。

（実施形態２）
本実施形態では、画像を複数に分割した分割領域において特定物体を検出し、複数の分割領域各々において複数の画像にわたって特定物体が検出された回数が所定値に達した場合、ジオメトリ情報を推定し、該ジオメトリ情報に従い複数の推定領域を設定する。なお、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。また実施形態１と同様、以下の説明において特定物体を人物として説明するが、人物に限定されるものではない。例えば、特定物体は、道路等を走行している各種車両、工場内のコンベアー上を流れている部品や製品、その他、動物等であってもよい。

ここでまず図７を参照して本実施形態における画像処理装置１００の処理について説明する。本実施形態における設定部２０７は、図７（ａ）に示すように、画像７０１を分割した複数の分割領域７０２を設定する。そして、検出部２０４は、画像７０１における複数の分割領域７０２において人物を検出する検出処理を実行する。

本実施形態における判定部２０５は、複数の画像に対する検出処理の結果に基づき、複数の分割領域の各々について、人物が検出された回数が所定値（閾値）に達したかを判定する。そして、検出部２０４は、複数の分割領域のうち、人物が検出された回数が所定値（閾値）に達したと判定部２０５により判定された分割領域について検出処理の実行を停止する。図７（ｂ）に示す分割領域７０３は、人物が検出された回数が所定値（閾値）に達したと判定部２０５により判定された分割領域を示す。このようにして、本実施形態における検出部２０４は、全ての複数の分割領域について、人物が検出された回数が所定値（閾値）に達したと判定されるまで、検出処理を継続する。なお、複数の分割領域の各々について検出された回数と比較される所定値（閾値）は、予め設定部２０７により設定されるものとする。このとき、設定部２０７は、例えば、ユーザによる指示に従って所定値（閾値）を設定する。なお、設定部２０７は、分割領域ごとに異なる所定値（閾値）を設定してもよい。

実施形態１と同様、記憶部２０１は、検出処理により人物が検出されるたびに該人物の画像上の位置およびサイズを示す物体情報を蓄積および保持する。そして、本実施形態では、複数の分割領域の各々について人物が検出された回数が所定値に達したと判定部２０５により判定された場合、第１推定部２０６は、記憶部２０１が蓄積した人物の物体情報に基づき、ジオメトリ情報を推定する。そして、設定部２０７は、第１推定部２０６により推定されたジオメトリ情報に基づき、画像に対して複数の推定領域を設定する。

次に、図８に示すフローを参照して、本実施形態における画像処理装置１００の画像処理について説明する。図８に示すフローの処理を実行することで、画像に対して複数の推定領域をより適切に設定することができる。なお、図８に示すフローチャートの処理は、画像処理装置１００のＲＯＭ９０２に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ９００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

まず、Ｓ８０１にて、通信部２００は、撮像装置１１０により撮像された動画における１つのフレームの画像を処理対象の画像として取得する。なお、通信部２００は、ネットワーク１４０を介して撮像装置１１０や記憶装置１２０から処理対象の画像を取得してもよいし、画像処理装置１００の記憶部２０１から処理対象の画像を取得してもよい。

次に、Ｓ８０２にて、設定部２０７は、処理対象とする画像に対し複数の分割領域を設定する。このとき、例えば、操作受付部２０３が受け付けた画像上の分割領域を指定する操作に基づき、設定部２０７は、図７に示すような６つの分割領域７０１を画像に対し設定する。図７に示す例では、画像の水平方向に並ぶ３つ分割領域からなる行が画像の垂直方向に２つ存在するが、これに限らない。例えば、設定部２０７は、画像の水平方向に並ぶ分割領域の数、および、該水平方向に並ぶ分割領域からなる行の垂直方向における数は任意の数でよい。また、設定部２０７は、行ごとに分割領域のサイズを異ならせてもよく、例えば、画像下端における行を構成する分割領域のサイズは、画像上端における行を構成する分割領域のサイズよりも大きくしてもよい。

次に、Ｓ８０３にて、検出部２０４は、処理対象の画像において未完了の分割領域について人物を検出する検出処理を実行する。なお、未完了の分割領域とは、画像に対して設定された複数の分割領域のうち、人物が検出された回数が所定値（閾値）に達していない分割領域を示す。つまり、Ｓ８０３にて、検出部２０４は、複数の分割領域のうち、人物が検出された回数が所定値に達した分割領域においては検出処理を実行せず、人物が検出された回数が所定値に達していない分割領域において検出処理を実行する。

次に、Ｓ８０４にて、記憶部２０１は、画像において人物が検出されるたびに人物の画像上の位置およびサイズを示す物体情報を蓄積していく。

次に、Ｓ８０５にて、判定部２０５は、未完了の分割領域があるかを判定する。言い換えれば、判定部２０５は、複数の分割領域のうち人物が検出された回数が所定値に達していない分割領域があるかを判定する。未完了の分割領域があると判定部２０５により判定された場合（Ｓ８０５にてＹｅｓ）、Ｓ８０１へ遷移し、通信部２００は、撮像装置１１０により撮像された動画における次のフレームの画像を処理対象の画像として取得する。このように、全ての分割領域について人物が検出された回数が所定値に達するまでＳ８０１～Ｓ８０４の処理が繰り返され、記憶部２０１は、人物が検出されるたびに該人物の物体情報を蓄積していく。

Ｓ８０５にて未完了の分割領域がないと判定部２０５により判定された場合（Ｓ８０５にてＹｅｓ）、Ｓ６０５へ遷移する。Ｓ６０５およびＳ６０６については、実施形態１において図６を参照して説明した内容と同様であるため、説明を省略する。

このように、図８に示すフロー処理では、画像を複数に分割した分割領域の各々について、人物が検出された回数が所定値に達するまで検出処理を継続し、検出された人物の物体情報を蓄積していく。そして、画像処理装置１００は、蓄積した物体情報に基づきジオメトリ情報を推定し、推定したジオメトリ情報に従って、画像に対して複数の推定領域を設定する。図８に示すフローの処理を実行したのち、図６（ｂ）に示すフローの処理を実行することで、図８に示すフローの処理を経て設定された複数の推定領域を用いて、画像に含まれる人物の数を推定し、推定した人物の数を合算した計数結果を出力する。

なお、本実施形態では、複数の分割領域の全てにおいて人物が検出された回数が所定値に達した場合、ジオメトリ情報を推定し（Ｓ６０５）し、複数の推定領域を設定（Ｓ６０６）したが、これに限らない。例えば、判定部２０５は、複数の分割領域のうち、所定数の分割領域の各々において複数の画像にわたって検出処理により人物が検出された回数が所定値に達したかを判定する。そして、所定数の分割領域の各々について人物が検出された回数が所定値に達したと判定部２０５により判定された場合、ジオメトリ情報を推定し（Ｓ６０５）し、複数の推定領域を設定（Ｓ６０６）するようにしてもよい。

また、判定部２０５は、画像に対し設定された複数の分割領域を、画像の垂直方向（Ｙ軸方向）において位置が同じ分割領域をグループ化し、複数のグループの各々において少なくとも１つの分割領域にて人物が検出された回数が所定値に達したかを判定する。例えば、判定部２０５は、図７（ａ）に示す６つの分割領域を上段の３つのグループと下段の３つのグループとにグループ化することで、画像の垂直方向において位置が同じ分割領域をグループ化する。そして、判定部２０５は、上段のグループ、下段のグループの各々において少なくとも１つの分割領域にて人物が検出された回数が所定値に達したかを判定する。そして、複数のグループの各々において少なくとも１つの分割領域にて人物が検出された回数が所定値に達したと判定部２０５により判定された場合、蓄積した物体情報に基づきジオメトリ情報を推定し（Ｓ６０５）する。一方、複数のグループの各々において少なくとも１つの分割領域にて人物が検出された回数が所定値に達していないと判定部２０５により判定された場合、画像に対して検出処理を繰り返して物体情報を蓄積していく。

以上説明したように、本実施形態における画像処理装置１００は、画像に対し複数の分割領域を設定する。そして、本実施形態における画像処理装置１００は、複数の画像にわたって分割領域の各々について特定物体が検出された回数に応じて、蓄積した物体情報に基づき、画像上の任意の位置における特定物体のサイズの情報であるジオメトリ情報を推定する。そして画像処理装置１００は、ジオメトリ情報に従って、推定領域のサイズと該推定領域に含まれる特定物体のサイズとの比率が学習データに対応する比率ｒとなるよう画像に対し複数の推定領域を設定する。このようにすることで、推定領域をより適切に設定することができ、結果的に推定領域における特定物体の数を推定する精度を高くすることができる。

（その他の実施形態）
次に図９を参照して、各実施形態の各機能を実現するための画像処理装置１００のハードウェア構成を説明する。なお、以降の説明において画像処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。

本実施形態における画像処理装置１００は、ＣＰＵ９００と、ＲＡＭ９０１と、ＲＯＭ９０２、ＨＤＤ９０３と、Ｉ／Ｆ９０４と、を有している。

ＣＰＵ９００は画像処理装置１００を統括制御する中央処理装置である。ＲＡＭ９０１は、ＣＰＵ９００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ９０１は、ＣＰＵ９００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ９０１は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ９０２は、ＣＰＵ９００が画像処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ９０３は、画像データ等を記録する記憶装置である。

Ｉ／Ｆ９０４は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ９００が処理を実行する例について説明するが、ＣＰＵ９００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬＵＳＥＲＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳＰＲＯＣＥＳＳＩＮＧＵＮＩＴ）で実行してもよい。また、ＲＯＭ９０２からプログラムコードを読み出してＲＡＭ９０１に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴＭＥＭＯＲＹＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図７に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

なお、上述した各実施形態に係る画像処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る画像処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

Claims

撮像手段により撮像された画像において特定物体を検出する検出処理を実行する検出手段と、
前記検出処理により検出された特定物体の前記画像上の位置およびサイズの情報を示す物体情報を保持する保持手段と、
前記撮像手段により撮像された複数の画像に対する前記検出処理により前記特定物体が検出された回数が所定値に達したかを判定する判定手段と、
前記特定物体が検出された回数が前記所定値に達したと前記判定手段により判定された場合、前記検出処理により検出された前記特定物体の前記物体情報に基づき、前記撮像手段により撮像された画像に対して複数の推定領域を設定する第１設定手段と、
前記複数の推定領域の各々に含まれる前記特定物体の数を推定する推定処理を実行する推定手段と、を有することを特徴とする画像処理装置。
前記保持手段は、前記複数の画像において前記特定物体が検出されるたびに前記特定物体の前記物体情報を蓄積し、
前記撮像手段により撮像された前記複数の画像に対する前記検出処理により前記特定物体が検出された回数が前記所定値に達したと前記判定手段により判定された場合、前記保持手段が蓄積した前記物体情報に基づき、前記複数の推定領域を設定することを特徴とする請求項１に記載の画像処理装置。
前記撮像手段により撮像された画像を複数に分割することにより複数の分割領域を設定する第２設定手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
前記判定手段は、前記複数の分割領域各々において前記複数の画像にわたって前記検出処理により前記特定物体が検出された回数が前記所定値に達したかを判定し、
前記第１設定手段は、前記複数の分割領域各々において前記複数の画像にわたって前記検出処理により前記特定物体が検出された回数が前記所定値に達したと前記判定手段により判定された場合、前記検出処理により検出された前記特定物体の前記物体情報に基づき、前記複数の推定領域を設定することを特徴とする請求項３に記載の画像処理装置。
前記判定手段は、前記複数の分割領域のうち所定数の分割領域の各々において前記複数の画像にわたって前記検出処理により前記特定物体が検出された回数が前記所定値に達したかを判定し、
前記第１設定手段は、前記複数の分割領域のうち所定数の分割領域の各々において前記複数の画像にわたって前記検出処理により前記特定物体が検出された回数が前記所定値に達したと前記判定手段により判定された場合、前記検出処理により検出された前記特定物体の前記物体情報に基づき、前記複数の推定領域を設定することを特徴とする請求項３に記載の画像処理装置。
前記検出手段は、前記複数の分割領域のうち前記特定物体を検出した回数が前記所定値に達した分割領域において前記検出処理を実行しないことを特徴とする請求項４又は５に記載の画像処理装置。
前記推定手段は、前記特定物体に関する学習済みモデルを用いて、前記推定領域に含まれる前記特定物体の数を推定することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
前記特定物体は、人物であることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
撮像手段により撮像された画像において特定物体を検出する検出処理を実行する検出工程と、
前記検出処理により検出された特定物体の前記画像上の位置およびサイズの情報を示す物体情報を保持する保持工程と、
前記撮像手段により撮像された複数の画像に対する前記検出処理により前記特定物体が検出された回数が所定値に達したかを判定する判定工程と、
前記特定物体が検出された回数が前記所定値に達したと前記判定工程において判定された場合、前記検出処理により検出された前記特定物体の前記物体情報に基づき、前記撮像手段により撮像された画像に対して複数の推定領域を設定する第１設定工程と、
前記複数の推定領域の各々に含まれる前記特定物体の数を推定する推定処理を実行する推定工程と、を有することを特徴とする画像処理方法。
前記保持工程において、前記複数の画像において前記特定物体が検出されるたびに前記特定物体の前記物体情報を蓄積し、
前記撮像手段により撮像された前記複数の画像に対する前記検出処理により前記特定物体が検出された回数が前記所定値に達したと前記判定工程において判定された場合、前記保持工程において蓄積された前記物体情報に基づき、前記複数の推定領域を設定することを特徴とする請求項９に記載の画像処理方法。
前記撮像手段により撮像された画像を複数に分割することにより複数の分割領域を設定する第２設定工程を更に有することを特徴とする請求項９又は１０に記載の画像処理方法。
前記判定工程において、前記複数の分割領域各々において前記複数の画像にわたって前記検出処理により前記特定物体が検出された回数が前記所定値に達したかを判定し、
前記第１設定工程において、前記複数の分割領域各々において前記複数の画像にわたって前記検出処理において前記特定物体が検出された回数が前記所定値に達したと前記判定工程において判定された場合、前記検出処理により検出された前記特定物体の前記物体情報に基づき、前記複数の推定領域を設定することを特徴とする請求項１１に記載の画像処理方法。
前記判定工程において、前記複数の分割領域のうち所定数の分割領域の各々において前記複数の画像にわたって前記検出処理により前記特定物体が検出された回数が前記所定値に達したかを判定し、
前記第１設定工程において、前記複数の分割領域のうち所定数の分割領域の各々において前記複数の画像にわたって前記検出処理により前記特定物体が検出された回数が前記所定値に達したと前記判定工程において判定された場合、前記検出処理により検出された前記特定物体の前記物体情報に基づき、前記複数の推定領域を設定することを特徴とする請求項１１に記載の画像処理方法。
前記検出工程において、前記複数の分割領域のうち前記特定物体を検出した回数が前記所定値に達した分割領域において前記検出処理を実行しないことを特徴とする請求項１２又は１３に記載の画像処理方法。
前記推定工程において、前記特定物体に関する学習済みモデルを用いて、前記推定領域に含まれる前記特定物体の数を推定することを特徴とする請求項９乃至１４の何れか１項に記載の画像処理方法。
前記特定物体は、人物であることを特徴とする請求項９乃至１５の何れか１項に記載の画像処理方法。
コンピュータを、請求項１乃至８の何れか１項に記載された画像処理装置の各手段として機能させるためのプログラム。