JP7329967B2 - 画像処理装置、システム、画像処理装置の制御方法、及び、プログラム - Google Patents

Description

本発明は、画像処理装置、システム、画像処理装置の制御方法、及び、プログラムに関する。

監視カメラで撮影された画像や、撮影後に記憶装置に記憶された画像を解析し、活用する事例が増えている。例えば、人体検出や人体追尾の技術を用いて領域内の人数を数えたり、ラインを通過した人数を数えたりすることができる。これにより、特定領域の人体の活動状況、特には特定領域に滞在している時間を把握することが可能である。特許文献１及び２には、特定領域内における人物の滞留時間（滞在時間）を測定する発明が開示されている。

特開２０１５－６９６３９号広報 特開２０１７－１８２６５４号公報

しかしながら、一つの窓口等に対して人物が対応を受ける所定の場所各々に対して領域を設定し、領域内における滞留時間を計測する場合、人物が複数の領域内で検出される場合がある。また、人物が一時的に異なる領域に出入りしてしまう場合や、異なる領域を通過する場合も考えられる。このため、人物の検出位置や移動範囲を予測して領域を設定するのが困難である。

そこで本発明は、画像内で検出された被写体を所定位置と関連付けて滞留時間を計測可能とする技術を提供する。

上記課題を解決するための発明は、画像処理装置であって、
時間的に連続する処理対象画像において、被写体を検出し、同一の被写体を追尾する追尾手段と、
前記追尾の結果を、前記処理対象画像に含まれる１つ以上の所定位置のうちのいずれか１つと関連付ける関連付け手段と、
前記１つの所定位置と関連付けられた前記追尾の結果に基づいて、該１つの所定位置との関連で前記被写体が滞留している滞留時間を決定する決定手段と、
を備え、
前記関連付け手段は、前記１つ以上の所定位置のうちから、前記追尾の結果における前記被写体との距離又は前記被写体の向きに基づいて１つの所定位置を特定して、前記追尾の結果と関連付けることを特徴とする。

本発明によれば、画像内で検出された被写体を所定位置と関連付けて滞留時間を計測することができる。

発明の実施形態に係るシステム構成の一例を示す図、及び、画像処理装置のハードウェア構成の一例を示す図。 発明の実施形態に係る画像処理装置の機能構成の一例を示す図。 発明の実施形態に係る処理の一例を示すフローチャート。 発明の実施形態に係る処理の一例を説明するための図。 発明の実施形態に係る処理の一例を説明するための図。 発明の実施形態に係る測定結果を登録するテーブルの一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
［実施形態１］
図１（Ａ）を参照して、発明の実施形態に係るシステム構成について説明する。図１（Ａ）は、本実施形態における画像処理システム１０の構成の一例を示したブロック図である。本実施形態において、画像処理システム１０は、例えば店舗、劇場、映画館、スタジアム、病院、駅構内などの所定位置にある窓口や接客カウンタ、会計レジなど人が対応を受けるような場所に対して適用される。画像処理システム１０は、所定位置の窓口に並ぶ人物を撮影し、対応に要した時間を滞留時間として測定する。また、画像処理システム１０は、少なくとも１台の撮像装置（ネットワークカメラ）１１０と画像処理装置１２０とがネットワーク１３０を介して接続されて構成される。

撮像装置１１０は、店舗、劇場、映画館、スタジアム、病院、駅構内といった監視対象区域に設置される監視カメラである。撮像装置１１０は、監視対象区域における所定の監視領域を撮影するように設置され、ネットワーク１３０を介して撮影した画像（動画像、静止画像）を画像処理装置１２０に配信する機能を持つ。また、撮像装置１１０は複数台が用意され、監視対象区域内の複数の監視領域を撮影するため、個々に設置されていてもよい。

撮像装置１１０は、監視対象区域内の監視領域を撮影することにより画像を生成する。撮像装置１１０では、ＣＣＤやＣＭＯＳイメージセンサなどの撮像素子を用いて光電変換により得られたアナログ画像信号をＡ／Ｄ変換によりデジタル画像信号に変換する。また、デジタル画像信号に対して、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理等の現像処理を実施する。更に、現像処理部が出力したデジタル画像信号を圧縮・符号化して、画像データを生成する。画像圧縮方式は、例えば、H.２６４、H.２６５、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp４やavi形式などを含む任意の形式の画像データを生成しても良い。符号化された画像データは、画像処理装置１２０に配信される。撮像装置１１０では、例えば、静止画像のほかに、１秒間に所定数のフレーム分（例えば、３０フレーム）の画像を取得して、監視領域の３０ｆｐｓの動画像（ライブ映像）を取得することが可能である。

画像処理装置１２０は、例えばパソコン、サーバ装置、タブレット等の、情報処理装置、通信装置、制御装置等として実現することができる。画像処理装置１２０は、ネットワーク１３０を介して撮像装置１１０と通信し、撮像装置１１０の動作を制御することができる。例えば、撮像装置１１０の撮影方向、画質設定やＰＴＺの制御等の変更要求を行ったりすることができる。また、ネットワーク１３０を介して撮像装置１１０で撮像された動画像及び静止画像を受信する。画像処理装置１２０は単一の装置により実現される場合だけでなく、複数の装置が協働して各機能を実現してもよい。

画像処理装置１２０は、撮像装置１１０に対して撮像制御のコマンドを送信してもよい。撮像装置１１０は、それらのコマンドに対するレスポンスを画像処理装置１２０に送信する。画像処理装置１２０は、取得した映像情報に対して、判定処理、出力処理など処理に関する設定をする。

ネットワーク１３０は、ＬＡＮ（Local Area Network）として構成することができる。但し、ネットワーク１３０はＬＡＮに限定されるものではなく、インターネットやＷＡＮ（Wide Area Network）などであってもよい。また、ＬＡＮ１３０への物理的な接続形態は、有線であってもよいし、無線であってもよい。さらに、図１（Ａ）において、撮像装置１１０及び画像処理装置１２０は、１台ずつがネットワーク１３０に接続されているが、接続台数は図１（Ａ）に示す数に限定されず、より多くの台数が接続されていてもよい。

次に、図１（Ｂ）を参照して、画像処理装置１２０のハードウェア構成について説明する。図１（Ｂ）は、発明の実施形態に係る画像処理装置１２０のハードウェア構成の一例を示すブロック図である。図１（Ｂ）に示した構成は、画像処理装置１２０の構成の一例に過ぎず、適宜変形変更が可能である。

ＣＰＵ１２１は、主記憶部１２２に格納されているコンピュータプログラムやデータを用いて処理を実行する。これにより、画像処理装置１２０全体の動作制御を行うと共に、画像処理装置１２０が行うものとして後述する各処理を実行する。ＣＰＵ１２１は、主記憶部１２２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、後述する機能を実現する。主記憶部１２２は、ＲＡＭ（Random Access Memory）等の記憶装置である。

主記憶部１２２は、補助記憶部１２３からロードされたコンピュータプログラムやデータ、ネットワークＩ／Ｆ１２７を介して撮像装置１１０から受信、もしくはファイルから取得した各種のデータや画像を格納するためのエリアを有する。さらに主記憶部１２２は、ＣＰＵ１２１が各種の処理を実行する際に用いるワークエリアを有する。このように主記憶部１２２は、各種のエリアを適宜提供することができる。

補助記憶部１２３は、ＨＤＤ（Hard Disk Drive）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）等の大容量情報記憶装置である。補助記憶部１２３には、ＯＳ（オペレーティングシステム）や、画像処理装置１２０が行うものとして後述する各処理をＣＰＵ１２１に実行させるためのコンピュータプログラムやデータが保存されている。また補助記憶部１２３には、ネットワークＩ／Ｆ１２６を介して撮像装置１１０から受信した各種のデータや撮像画像、もしくは、ネットワーク１３０に接続された他の外部装置（画像サーバ等）から取得した画像等も保存される。補助記憶部１２３に保存されているコンピュータプログラムやデータは、ＣＰＵ１２１による制御に従って適宜主記憶部１２２にロードされ、ＣＰＵ１２１による処理対象となる。

入力部１２４は、例えばキーボードやマウス、タッチパネルなどのユーザインターフェースにより構成され、画像処理装置１２０のユーザが操作することで各種の指示を画像処理装置１２０に入力できる。表示部１２５は、液晶画面などにより構成されており、画像処理装置１２０による処理結果を画像や図、文字などでもって表示することができる。ネットワークＩ／Ｆ１２６は、画像処理装置１２０がネットワーク１３０を介して撮像装置１１０との間のデータ通信を行うために利用するインターフェースである。

図１（Ｂ）では、画像処理装置１２０を、入力部１２４と表示部１２５とを備えた１つの装置としているが、入力部１２４と表示部１２５とを画像処理装置１２０とは別体としてもよい。また、表示部１２５は画像処理装置１２０と一体として入力部１２４を別体としてもよい。あるいは、入力部１２４は画像処理装置１２０と一体化させ表示部１２５を別体としてもよい。更には入力部１２４と表示部１２５とを一体化させつつ、画像処理装置１２０とは別体としてもよい。入力部１２４や表示部１２５を画像処理装置１２０とは別体とする場合には、画像処理装置１２０は、接続用のインターフェースを更に備えることができる。

次に、図２を参照して発明の実施形態に対応する画像処理装置１２０の機能構成について説明する。図２は、発明の実施形態に対応する画像処理装置１２０の機能構成の一例を示すブロック図である。以下、各機能ブロックが果たす機能について説明する。

通信部２０１は、ネットワーク１３０を介して撮像装置１１０と通信する。画像取得部２０２は、撮像装置１１０から通信部２０１を介して取得した画像、もしくは、補助記憶部１２３に記憶されている画像を処理対象画像として取得する。画像は静止画であってもよいし、動画であってもよい。動画は、時間的な連続性（あるいは、関連性）を有する複数のフレーム画像により構成され、各フレーム画像（以下、簡単のため「画像」ともいう）が本実施形態における処理対象画像となる。なお、時間的に連続する複数の画像とは、撮像装置１１０によって撮像された動画の各フレーム画像を間引いた画像であってもよい。例えば、撮像装置１１０によって撮像された動画の各フレーム画像を所定の数ごとに１つ取得して、それを処理対象画像としてもよい。

人体追尾部２０３は、処理対象画像を解析し、画像中に含まれる被写体である人体（人物）を検出する。また、人体の顔や体の特徴量から人体の向き（向いている方向）を検出することができる。本実施形態では、処理対象の被写体が人体である場合を説明するが、被写体には人体以外の車両などの有体物が含まれてもよい。さらに、時間的に連続する複数の画像（フレーム）の間で検出された人体のうち、同一人体を識別して追尾する。

所定位置決定部２０４は、入力部１２４からの信号の取り込みを行う。画像処理装置１２０を操作するユーザは、入力部１２４を介して表示部１２５に表示されたＧＵＩを操作し入力を行うことができる。所定位置決定部２０４は、画像内に所定位置を設定し、設定した位置に関する所定位置情報を保持する。一度設定した所定位置情報は、次に変更が加えられるまで保持される。また、所定位置決定部２０４は、人体追尾部２０３で検出した同一人体を所定位置として設定することができる。このようにすることで、店舗などの所定位置（受付の位置）が人体の位置に依存するケースに対応することができる。

所定位置関連付け部２０５は、人体追尾部２０３によって検出した人体（当該人体の追尾結果）と所定位置決定部２０４で決定した所定位置とを関連付ける。たとえば、追尾結果に含まれる人体の位置と複数の所定位置との距離を算出し、一番近い所定位置を当該追尾結果と関連付けることができる。また、人体追尾部２０３で検出した人体の向きに基づき、人体が向いている方向に存在する所定位置と、追尾結果とを関連づけても良い。人体追尾部２０３によって検出した人体の追尾結果には解析したフレーム数分の検出位置の情報が含まれる。そこで、同一人体の検出位置ごとに所定位置との距離を計算し、人体と最も近いと判定された回数が最多となった所定位置を、当該追尾結果と関連づけても良い。

滞留時間計測部２０６は、検出された人体毎に、滞留開始時刻、滞留終了時刻、滞留時間を、人体を識別する情報及び所定位置と関連付けて、「滞留単位」として補助記憶部１２３に保持する。本実施形態においては、店舗等の所定位置にある窓口等において、対応を受けるために人物が要した時間を滞留時間として計測することができる。例えば、人物が窓口での対応を受けるために列に並んでいる場合には、列に並び始めてから窓口において対応を受けた後、窓口付近から立ち去るまでの経過時間を滞留時間として計測することができる。また、列に並んでいる時間を除外して、窓口において対応を受けている時間のみを滞留時間としてもよい。

出力部２０７は、滞留時間計測部２０６で計測した滞留単位を出力する。表示制御部２０８は、撮像装置１１０から通信部２０１を介して取得した画像、もしくは補助記憶部１２３に記憶されている画像を、複数の処理ブロック２０２から２０６を介して、表示部１２５に表示するための処理を行う。また、画像処理装置１２０からの操作を受け付けるためのGUIを表示部１２５に表示することができる。

入力受付部２０９は、入力部１２４からの信号の取り込みを行う。画像処理装置１２０を操作するユーザは、入力部１２４を介して表示部１２５に表示されたＧＵＩを操作し入力を行うことができる。前述した所定位置の設定等もＧＵＩを介してユーザが行うことができる。以上の構成に基づき、画像処理装置１２０は、画像解析、設定、計測、出力等の処理を行う。

上記の構成で、画像処理システム１０において実行される処理の概要を説明する。まず、処理対象画像を解析して被写体となる人体を検出する。人体が画像内で複数検出された場合、時系列で個別に人体の同定を行い、同一の人体を追尾する（画像間において移動する人体の軌跡を追跡する）。また、画像内に所定位置が設定されている場合は、所定位置と関連づけて人体が滞留していた時間を計測する。さらに、時刻情報と共に計測した結果をファイル等に出力する。その際に、検出情報や追尾情報、設定情報を合わせて出力してもよい。また、検出情報やフレーム間の同一人体を識別する情報、設定情報、計測結果のいずれか一つ以上を表示部１２５に表示してもよい。

次に、図３のフローチャートを参照して画像処理装置１２０における全体的な処理の流れを説明する。ここでの処理は画像処理装置１２０が、画像処理装置１２０の内部の補助記憶部１２３から主記憶部１２２にプログラムを読み出して、ＣＰＵ１２１が、そのプログラムに基づいて実行する処理である。この処理の手順について詳細を以下に説明する。

Ｓ３０１では、所定位置決定部２０４が、監視対象区域を撮影して得られた処理対象の画像において所定位置を設定する。所定位置は１つ以上の任意の位置を指定して設定することができる。所定位置の情報は、画像における座標情報として設定することができる。例えば、撮像装置１１０により生成された画像に対してX-Y座標を適用し、当該座標系における座標情報（ｘ、ｙ）として表現することができる。

また、本実施形態においては、例えば店舗などにおける、窓口や接客カウンタ、会計レジなどの画像内の位置を所定位置として設定することができる。所定位置の設定は、例えば画像取得部２０２で取得した画像が表示部１２５に表示され、ユーザが当該表示された画像参照して、入力部１２４により位置の指定入力を行うことにより設定することができる。また、所定位置を設定する際に、画像取得部２０２が取得した画像上に、人体追尾部２０３によって得られた人体追尾結果を重畳して表示しても良い。或いは、人体追尾部２０３における人体追尾の結果と、監視対象区域の撮影画像の画像解析結果に基づいて、所定位置を自動で設定してもよい。また、自動で設定された内容をユーザが入力部１２４を介して修正できるようにしてもよい。このようにして画像内に設定された所定位置情報は、補助記憶部１２３に保持される。

続くＳ３０２では、画像取得部２０２が処理対象の画像を取得する。画像取得部２０２は、通信部２０１を介して撮像装置１１０から画像を取得するか、もしくは、補助記憶部１２３に記憶された画像を取得する。処理対象画像が動画のフレーム画像である場合、１フレーム画像毎に撮影時刻の情報が付随している。当該撮影時刻の情報は、処理対象画像において人体が検出された時刻情報として利用することができる。

続くＳ３０３では、人体追尾部２０３は、取得した処理対象の画像を解析して人体を検出する。さらに、補助記憶部１２３に保持されている検出された人体の位置情報から、時間的に連続する画像間の同一人体を特定する。特定した人体に同一人体を識別するための識別情報を付与し、補助記憶部１２３に保持する。同一人体については共通の識別情報が付与され、時間的に連続するフレーム画像における人体の位置情報が当該識別情報と関連付けられる。これにより、画像間における同一人体の移動を追跡することができる。
Ｓ３０３において、人体追尾部２０３は、処理対象の画像を解析して人体の向いている方向（向き）を特定することができる。人体の向きは、人体の顔や体の特徴量に基づいて判定することができる。人体の向きの情報は、例えば、画像に対して適用されるX-Y座標のX軸、或いはY軸のいずれかに対する傾き（角度、例：０度、±３０度、±４５度等）を表す情報として生成することができる。例えば、画像の横軸に相当するX軸を基準とする場合、人体が真横を見ていれば傾きは０度となる。また、斜め下方向を向いている場合には、傾きは－３０度となる。このようにして得られた向きの情報は、位置情報と同様に、時間的に連続するフレーム画像における人体の向きの情報が人体の識別情報と関連付けられる。

続くＳ３０４では、人体追尾部２０３が、人体追尾が終了した人体が存在するかどうかを判定する。判定方法は、人体追尾部２０３によってそれまで同一人体として検出されていた人体が処理対象画像内で検出されなくなった場合に、当該人体についての人体追尾が終了したと判定することができる。また、人体追尾部２０３によって検出されなくなった後、一定時間が経過してから、終了したと判定しても良い。

続くＳ３０５では、所定位置関連付け部２０５は、同一人体の追尾結果を所定位置と関連付ける。所定位置関連付け部２０５は、補助記憶部１２３に保持されている検出された人体の位置情報を取得して所定位置との関連付けを行う。また、所定位置が複数ある場合には、検出された人体が、いずれの所定位置に属しているかを特定する。所定位置を関連付けた結果は、補助記憶部１２３に保持する。追尾結果と所定位置との関連付けの具体的手法については図４から図６を参照して後述する。

続くＳ３０６では、滞留時間計測部２０６が滞留時間を決定する。滞留時間計測部２０６は、補助記憶部１２３に保持されている画像毎の時刻情報と、人体の識別情報と、追尾結果とを取得する。取得した情報に基づいて、人体の滞留時間を計測する。例えば、人体が検出された時刻を当該人体が検出された画像の撮像時刻に基づいて特定し、その後に同一人体が所定位置と一定の距離にいないと判定されるまでの時間を累積して滞留時間とすることができる。滞留時間の開始時刻は、同一人体について、当該人体が最初に検出された画像の撮像時刻、或いは、所定位置と一定の距離以内の時に人体が検出された画像の撮像時刻とすることができる。また、滞留時間の終了時刻は、連続的に検出されていた同一人体が所定位置と一定の距離を超えた位置で検出された画像の撮像時刻、或いは、当該人体が最後に検出された画像の撮像時刻とすることができる。滞留時間の計測処理については図４から図６を参照して後述する。計測した滞留時間は、人体を特定するための識別情報と、所定位置を特定するための情報と関連付けられて補助記憶部１２３に保持される。出力部２０７は、選択された滞留単位を適当なタイミングで出力してもよい。表示制御部２０８では、画像だけでなく、滞留単位の情報を表示してもよい。

続くＳ３０７では、画像取得部２０２が、未処理の画像が存在するか否かを判定し、画像が存在する場合は、処理はＳ３０２に戻る。一方、未処理の画像が存在しない場合は、本処理を終了する。

次に図４を参照して、所定位置関連付け部２０５および、滞留時間計測部２０６の処理の例を説明する。画像４００には受付机４０１と所定位置４０２、所定位置４０３、所定位置４０４が含まれる。これらは、例えば店舗等などにおける、受付、窓口、接客カウンタ等に対応する。具体的に、映画館などに入場しようとする観客が列に並んでチケットを購入する場合、所定位置４０２から４０４のいずれかに対応する接客カウンタで発券を求めることとなる。その際、当該観客は人体として各フレームにおいて検出され、時間の経過に伴って画像内を移動したり、接客カウンタ前に滞在したりすることとなる。

図４において、点４－０００１～点４－３００７は同一人体の検出位置を示している。点４－０００１～点４－３００７は連続したフレームで、全部で３００７枚のフレームに相当する。また、点４－０００１～点４－３００７は同一人体の追尾結果を示すことができる。点４－０００１～点４－３００７の追跡結果において、当該人体と最も関連性の高い所定位置は、人体との距離に基づき所定位置４０２と推定されるため、所定位置４０２と関連付ける。ここで距離は、画像内におけるそれぞれの人体の位置を示す座標と、所定位置４０２から４０４のそれぞれの画像内における位置を示す座標とに基づき算出することができる。

図４の例では、点４－３００５と所定位置４０２との距離が最短と判定され、追跡結果における人体位置と最も距離が近い所定位置は所定位置４０２と特定される。これにより図４に示す点４－０００１から点４－３００７の人体の追跡結果は所定位置４０２と関連付けられる。人体位置と所定位置との間の距離は、上述のように画像上の距離に基づいて決定してもよいし、画像を実際の監視対象区域の空間に座標変換した上で決定してもよい。

例えば、図４に示すように撮像装置１１０で監視対象区域を斜め上から撮影している場合、撮像装置１１０から遠くに位置する被写体ほど、画像内ではより小さく見えることになる。そこで画像中の画素位置と監視対象区域の空間内での位置とを対応付けること（座標変換）により、画像中の被写体の位置を監視対象区域の空間に投影し、現実空間における位置に対応させてもよい。これにより、実際の監視対象区域の空間内での位置に基づいて人体位置と所定位置との距離を計算することができる。なお、空間は３次元的に表現されてもよいし、平面図や見取り図のような２次元的に表現されたものであってもよい。

また、複数の所定位置の中から関連付けを行う１つの所定位置を選択するに際しては、人体位置と所定位置との最小距離に基づいてもよいし、検出された全人体位置と各所定位置との合計とを比較して、合計が最小となる所定位置としてもよい。また、距離に加えて、検出された人物の向く方向（向き）を考慮してもよい。

次に、滞留時間の計測方法には複数通りがある。例えば、同一人物が画像内で検出された時間の総計を滞留時間とすることができる。図４の例では、点４－０００１～点４－３００７までの時間が滞留時間となる。或いは、人体が移動している期間を除外して、所定位置との関連で実質的に停止（静止）している、或いは、静的な状態にある（画像間で特定される移動量が所定値以下）とみなされる時間を滞留時間としてもよい。具体的には、点４－０００１～点４－０００５は、検出された人体位置の間隔が長い（移動距離が長い）ので、人体が移動していると判断して滞留時間から除外することができる。

また、点４－０００５～点４－３００５は、所定位置と距離が近く、移動距離が短いため滞留していると判断し計測することができる。点４－３００５～点４－３００７は、検出された人体位置の間隔が長くなり移動距離が長いため、移動していると判断し、滞留時間から除外することができる。この他にも、関連付けがなされた所定位置との距離が所定値以上と判定される人体の検出位置、或いは、当該所定位置から所定範囲内に存在しないと判定される人体の検出位置を除外することもできる。例えば、点線４０５よりも所定位置寄りの検出位置のみを滞留時間に含める場合、点４－０００１から４－０００４まで、及び４－３００７を滞留時間から除外してもよい。以上のように、追尾結果から人体を所定位置と関連づけて滞留時間を計測することができる。

次に図５を参照して所定位置関連付け部２０５および、滞留時間計測部２０６における処理の別の例を説明する。図４と同様に画像５００には受付机５０１と所定位置５０２、所定位置５０３、所定位置５０４が存在する。また、点５－０００１～点５－３００７についても図４と同様であるため説明は割愛する。図４では、追跡結果における人体位置と所定位置との間の距離に基づいて、関連付けを行う所定位置を決定したが、図５の場合、点５－３００５の検出位置と、所定位置５０２と５０３とでは、所定位置５０２の方が画像上での距離は短くなる可能性がある。このような場合、人体位置と所定位置との間の距離に基づくのではなく、検出された人物の向きに基づいて、当該向きの近傍に存在する所定位置を選択するようにしてもよい。

例えば、点５－３００５において検出された人体の向きが、矢印５０５で示される向きの場合、点５－３００５と所定位置５０３とを結ぶ線分に対する矢印５０５が示す向きのずれは、点５－３００５と所定位置５０２とを結ぶ線分に対する矢印５０５が示す向きのずれよりも小さい。従って、図５の例では、検出された人体の向き５０５の近傍に存在するのは所定位置５０３と判定することができ、所定位置５０３を追跡結果と関連付ける。滞留単位の計測は、図４と同様であるため割愛する。以上のように、追尾結果から所定の位置と関連づけて滞留時間を計測する。

上記において複数の所定位置の中から関連付けを行う１つの所定位置を選択する場合、人体が静的に位置している時間の長い領域（位置）における向きに基づいてもよい。例えば、時間的に連続するフレーム間の人体の検出位置の差が所定の範囲内に連続的（複数の所定数のフレーム間に渡って）に収まる場合には、人体がある領域或いは位置に静的に位置しているとみなすことができる。換言すると、当該領域或いは位置において人体は移動量が少なく、静的な状態にある、動的ではない、或いは、静止しているとみなすことができる。また、全ての検出位置においてそれぞれ向きを判定して所定位置を選択し、全体で最も多く選択された所定位置を関連付けの対象としてもよい。また、向きに加えて、検出された人物と所定位置との距離を考慮してもよい。

次に図６を参照して、図３の処理に基づいて生成された測定結果を登録するテーブルのデータ構成の一例について説明する。図６は、発明の実施形態に対応する測定結果を登録するテーブルの一例を示す図である。

テーブル６００の情報は、補助記憶部１２３に保持される。テーブル６００の行は、各々の所定位置と関連づけた滞留時間を含む滞留単位を人体毎に表す。列６０１は人体の滞留開始時刻を表す。YYYY/MM/DDはYYYYが西暦、MMが月、DDが日の計形式で表示するが、表示の形式はこれに限らない。列６０２は人体の滞留終了時刻を表す。列６０３は同一人体を識別するための人体識別情報を登録する。この人体識別情報により、処理対象画像において検出された人体を、複数の画像間において同一人体として識別することができる。

列６０４、列６０５、列６０６は所定位置で人体が滞留した滞留時間を表している。所定位置の設定数は処理が可能であれば、数の制限は設けなくてよい。また、滞留時間を「００：０５：００」のように「時：分：秒」を各々二桁ずつ「：」で区切った形式で表しているが、滞留時間の表示の形式はこれに限らない。秒単位、ミリ秒単位などで表示をしてもよい。

図６では、検出された人体の位置情報や向きの情報の記載を省略したが、これらの情報は、人体が検出された時間（画像の撮影時刻）及び人体識別情報６０３と関連付けて補助記憶部１２３に保持しておくことができる。

本実施形態によれば、店舗、劇場、映画館、スタジアム、病院、駅構内などの所定位置にある窓口や接客カウンタ、会計レジなど人が対応を受けるような場所において、各々の人体の所定位置における滞留時間を計測することが可能となる。このとき、滞留時間を計測するために領域を設定する必要がなく、所定位置に存在する窓口等で対応に要した時間を正確に測定できる。更に、本実施形態では、各所定位置に滞留した時間の平均時間を求めることが可能となるので、一人当たりの滞留時間を統計的に計測できる。その結果、人員配置の最適化などの業務の効率化や改善に活用できる。

以上、発明の例示的な実施形態について説明したが、発明はこれらの実施形態に限定されることなく、その要旨の範囲内で種々の変形および変更が可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：システム、１１０：撮像装置、１２０：画像処理装置、１３０：ネットワーク

Claims (13)

1. 処理対象画像から検出される被写体を追尾する追尾手段と、
   前記追尾手段による追尾の結果を、前記処理対象画像における１つ以上の所定位置のうちのいずれか１つと関連付ける関連付け手段と、
   前記関連付け手段により前記１つの所定位置と関連付けられた前記追尾の結果に基づいて、該１つの所定位置との関連で前記被写体が滞留している滞留時間を決定する決定手段と、
   を備え、
   前記関連付け手段は、前記１つ以上の所定位置のうち、前記被写体との距離が一番近い所定位置か、又は前記被写体の向きに基づいて特定される所定位置を前記１つの所定位置として前記追尾の結果と関連付け、
   前記決定手段は、前記追尾の結果に含まれる、前記被写体が検出された時刻の情報に基づいて、前記滞留時間を決定することを特徴とする画像処理装置。
2. 前記関連付け手段は、前記１つ以上の所定位置のうち、前記被写体のいずれかの位置との距離が最小となる１つの所定位置を特定して前記追尾の結果と関連付けることを特徴とする請求項１に記載の画像処理装置。
3. 前記関連付け手段は、前記１つ以上の所定位置のうち、前記被写体のそれぞれの位置との距離の合計が最小となる１つの所定位置を特定して前記追尾の結果と関連付けることを特徴とする請求項１に記載の画像処理装置。
4. 前記処理対象画像は、所定の領域を撮影して得られた画像であって、
   前記関連付け手段は、前記処理対象画像を前記領域の空間に対応するように座標変換して得られた画像において前記距離を算出することを特徴とする請求項１から３のいずれか1項に記載の画像処理装置。
5. 前記関連付け手段は、前記１つ以上の所定位置のうち、前記追尾の結果におけるそれぞれの所定位置に最も近い被写体の向きに基づき前記１つの所定位置を特定することを特徴とする請求項１に記載の画像処理装置。
6. 前記関連付け手段は、前記追尾の結果において、静的な状態にあるとみなされた前記被写体の向きに基づき前記１つの所定位置を特定することを特徴とする請求項１に記載の画像処理装置。
7. 前記関連付け手段は、前記１つ以上の所定位置のうち、前記追尾の結果における前記被写体のそれぞれの位置における被写体の向きに基づき前記１つの所定位置を特定することを特徴とする請求項１に記載の画像処理装置。
8. 前記決定手段は、最初に前記被写体が検出された時刻から、最後に前記被写体が検出された時刻までの経過時間に基づき前記滞留時間を決定することを特徴とする請求項１に記載の画像処理装置。
9. 前記決定手段は、前記被写体が移動していると判定される期間を前記滞留時間から除外することを特徴とする請求項１に記載の画像処理装置。
10. 前記追尾の結果には、前記処理対象画像における前記被写体の検出位置の情報が含まれ、
    前記決定手段は、前記追尾の結果に含まれる前記被写体の検出位置のうち、前記１つの所定位置から所定範囲内にある検出位置に基づき、前記滞留時間を決定することを特徴とする請求項１に記載の画像処理装置。
11. 所定の領域を撮像して画像を生成する撮像装置と、
    前記撮像装置により生成された画像を前記処理対象画像として処理する請求項１から１０のいずれか１項に記載の画像処理装置と
    を備えるシステム。
12. 追尾手段が、処理対象画像から検出される被写体を追尾する工程と、
    関連付け手段が、前記追尾手段によるの結果を、前記処理対象画像における１つ以上の所定位置のうちのいずれか１つと関連付ける工程と、
    決定手段が、前記関連付け手段により前記１つの所定位置と関連付けられた前記追尾の結果に基づいて、該１つの所定位置との関連で前記被写体が滞留している滞留時間を決定する工程と、
    を含み、
    前記関連付ける工程では、前記１つ以上の所定位置のうち、前記被写体との距離が一番近い所定位置か、又は前記被写体の向きに基づいて特定される所定位置を前記１つの所定位置として前記追尾の結果と関連付け、
    前記決定する工程では、前記追尾の結果に含まれる、前記被写体が検出された時刻の情報に基づいて、前記滞留時間を決定することを特徴とする画像処理装置の制御方法。
13. コンピュータを請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images