JP6650677B2 - 映像処理装置、映像処理方法、およびプログラム - Google Patents

Description

本発明は、指定された映像処理領域に対して映像処理を実行可能な映像処理装置、映像処理方法、およびプログラムに関する。

監視システムでは、カメラによって撮像された映像を対象に種々の映像処理を行い、種々の有益な情報を取得することがなされている。映像処理を施す領域を、カメラによって撮影される映像の一部分に設定し、その領域のみに対して映像処理を施すことも可能である。

特許文献１には、エスカレータの乗降口などに滞留検出領域をあらかじめ設定し、滞留検知領域において滞留検出を行うことが記載されている。

特開２０００−１１５７５０号公報

しかしながら、ユーザの意図通りに映像処理領域を指定することが困難である場合があった。例えば、ユーザが、店舗のレジ前に滞留している人体を検出するための映像処理領域を指定しようとする場合であって、映像処理が人間の頭部の検出結果に基づいて実施される場合を考える。この場合、ユーザは、カメラによる撮像領域のうち、レジ前に滞留する人物の頭部が含まれる領域を指定する必要がある。

しかしながら、上記のような滞留検出のための映像処理領域を指定する際において、レジ前に人物がいるとは限らない。レジ前に誰もいない状態の撮像画像を見ながらユーザが滞留検出のための映像処理領域を指定することは困難である。仮にユーザが対象領域を指定したとしても、検出漏れが発生しうる。

本発明はこのような問題点に鑑みなされたもので、ユーザの意図により近い映像処理領域を容易に指定できるようにするための方法を提供することを目的とする。

本発明に係る映像処理装置は、上記の問題点を解決するために、例えば、以下の構成を有する。すなわち、画像フレームを入力する入力手段と、前記入力手段により入力された画像フレームからオブジェクトを検出する検出手段と、前記入力手段により入力された画像フレームに対する前記検出手段によるオブジェクトの検出結果に基づいて、重畳画像を、映像処理領域をユーザに指定させるために表示画面に表示させる参照画像として決定する画像決定手段と、前記入力手段により入力された複数の画像フレームのうち、第１画像フレームを含む１以上の画像フレームから検出されたオブジェクトに対応するオブジェクト画像を、前記１以上の画像フレームとは異なる第２画像フレームに重畳することで前記重畳画像を生成する生成手段とを有し、前記画像決定手段は、各オブジェクトの中心間の距離が第１の閾値以上且つ第２の閾値未満になるようにオブジェクトの位置を決定し、前記生成手段は、前記画像決定手段によって決定された位置に対応するオブジェクト画像が重畳された前記重畳画像を生成する。

本発明によれば、ユーザの意図により近い映像処理領域を容易に指定できるようになる。

実施形態の映像処理装置の構成一例を示す図である。 実施形態の映像処理装置のハードウェア構成例を説明するための図である。 実施形態の映像処理装置の動作を説明するためのフローチャートである。 実施形態における撮像画像と参照画像の関係を説明するための図である。 実施形態における参照画像の例を示す図である。 実施形態における映像処理領域の指定方法の例を説明するための図である。 実施形態における映像処理領域の指定方法の例を説明するための図である。 実施形態における映像処理領域の決定方法の例を説明するための図である。 実施形態における映像処理領域の決定方法と、決定された映像処理領域を視覚化するための方法の例を説明するための図である。 実施形態における参照画像の動的な変更方法の例を説明するための図である。

以下、本発明の実施形態について図面に基づいて説明する。本実施形態における映像処理装置１００の構成の例を図１に示す。

映像処理装置１００は、撮像部１０１、記録部１０２、物体検出部１０３、表示制御部１０４、情報取得部１０５、映像処理領域決定部１０６（以下、領域決定部１０６）、映像処理部１０７、画像決定部１０８を有する。本実施形態の映像処理装置１００は、例えば、ネットワークカメラである。すなわち、映像処理装置１００は、撮像画像に対して映像処理を実行し、映像処理の結果と撮像画像とを合わせて、ネットワークに接続されたクライアント装置に対して提供することが可能である。ただし、映像処理装置１００は、ネットワークカメラに限らず、例えば録画サーバであってもよいし、パーソナルコンピュータやスマートフォン等であっても良い。映像処理装置１００を例えば録画サーバによって実現する場合は、撮像部１０１の代わりに、映像取得部が映像処理装置１００に備わることになる。

撮像部１０１は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子を制御して撮像を行いし、画像データを取得する。撮像部１０１の撮像により得られた各画像フレームは記録部１０２に記録される。

記録部１０２は、撮像部１０１の撮像により得られた画像データを適当な符号化方式で符号化して保存する。符号化方式としてはＪＰＥＧやＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の方式がある。すなわち記録部１０２は、所定の符号化方式により符号化された複数の画像フレームを記録する。

物体検出部１０３は、撮像部１０１の撮像により得られた画像データ（画像フレーム）に対して、所定のオブジェクト（興味オブジェクト）の検出処理を実行する。本実施形態では所定のオブジェクトが人物であり、物体検出部１０３が、頭部検出器を用いて人物を検出する場合の例を中心に説明する。ただし、所定のオブジェクト（興味オブジェクト）は人物に限らず、自動車、動物、移動物体等や、それらの組み合わせであってもよい。また、頭部検出器と共に、または、頭部検出器に代えて、顔検出器や人体検出器を用いて人物が検出されるようにしてもよい。また、顔検出器や頭部検出器のようなパターン認識や機械学習に基づく手法に限定せず、背景画像と最新の画像との差分によって動体を検出する動体検出器等を任意に組み合わせて人物を検出することも可能である。物体検出部１０３による物体の検出結果は、画像決定部１０８に渡される。

画像決定部１０８は、記録部１０２に記録された１又は複数の画像フレームを用いて、参照画像を決定する。詳細は後述するが、本実施形態における参照画像は、映像処理領域を指定させるために表示される画像であり、例えば、図５（ａ）に示すような画像である。画像決定部１０８は、撮像部１０１の撮像により得られた複数の画像フレームから参照画像を生成することもできるし、当該複数の画像フレームのうち、検出されたオブジェクトの数が所定の条件を満たす画像を参照画像として決定することもできる。画像決定部１０８が決定した参照画像は、表示制御部１０４を介して表示部に表示される。本実施形態において、表示部は、映像処理装置１００とネットワークを介して接続される。ただし、表示部と映像処理装置１００とが一体であってもよい。画像決定部１０８による参照画像の設定方法及び決定方法の詳細は後述する。

情報取得部１０５は、上記の参照画像が表示された表示画面に対するユーザ操作に応じた入力情報を受け取る。情報取得部１０５が取得する入力情報の詳細は後述する。

領域決定部１０６は、情報取得部１０５を通じて取得された入力情報に基づいて、映像処理の対象となる映像処理領域を決定する。領域決定部１０６の詳細は後述する。

映像処理部１０７は、領域決定部１０６によって設定された映像処理領域を対象に、混雑検出や滞留検出などの映像処理を実施する。なお、映像処理は混雑検出や滞留検出に限らず、例えば、混雑度検出や滞留度検出、通過検出、持ち去り検出、置き去り検出、侵入検出等であってもよい。なお、本実施形態における混雑検出は、映像処理領域の面積に応じた閾値以上の数のオブジェクト（人体）が検出されたことを検出するための映像処理である。また、混雑度検出は、映像処理領域の面積に対するオブジェクト（人体）の数の割合に応じた混雑度を検出するための映像処理である。また、本実施形態における滞留検出は、映像処理領域内に同一オブジェクト（同一人物）が所定の時間閾値以上、存在し続けていることを検出するための映像処理である。また、滞留度検出は、映像処理領域内に同一オブジェクトが存在し続けている時間に応じた滞留度を検出するための映像処理である。また、通過検出は、例えばユーザ指示により指定された検知線をオブジェクトが通過したことを検出するための映像処理である。また、持ち去り検出は、オブジェクト（人物）が、所定のオブジェクトを持ち去ったことを検出するための映像処理であり、置き去り検出は、オブジェクト（人物）が、所定のオブジェクトを置き去ったことを検出するための映像処理である。

本実施形態の表示制御部１０４は、上記のような映像処理の対象となる映像処理領域をユーザに指定させるために、上述のような参照画像を表示させる。このようにすることで、ユーザが意図する映像処理領域が、より簡単に設定できるようになる。なお、通過検出を設定する場合、映像処理領域として、検知線がユーザにより指定される。すなわち、本実施形態の映像処理領域は、映像処理の内容に応じて、閉領域または線分の形態をとり得る。

なお、映像処理装置１００内の各部の一部又はすべてが、それぞれ個別のハードウェアで実装されてもよいし、ソフトウェアによって実現されるようにしてもよく、その構成に特段の制限はない。図２は、本実施形態に係る映像処理装置１００の機能をＣＰＵ等のハードウェア構成によって実現する場合における映像処理装置１００のハードウェア構成例である。

映像処理装置１００は、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３と、外部メモリ８０４と、通信Ｉ／Ｆ８０５と、撮像部８０６と、システムバス８０７とを備える。

ＣＰＵ８０１は、映像処理装置１００における動作を統括的に制御するものであり、システムバス８０７を介して、各構成部（８０２〜８０６）を制御する。

ＲＯＭ８０２は、ＣＰＵ８０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ８０４や着脱可能な記憶媒体に記憶されていてもよい。

ＲＡＭ８０３は、ＣＰＵ８０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ８０１は、処理の実行に際してＲＯＭ８０２から必要なプログラム等をＲＡＭ８０３にロードし、当該プログラム等を実行することで図１を用いて説明したような映像処理装置１００の各種機能動作を実現する。

外部メモリ８０４は、例えば、ＣＰＵ８０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ８０４には、例えば、ＣＰＵ８０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。

通信Ｉ／Ｆ８０５は、外部装置（本実施形態においては表示部や、ネットワークに接続された録画サーバ等）と通信するためのインターフェースである。通信Ｉ／Ｆ８０５は、例えばＬＡＮインターフェースである。

撮像部８０６は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子を有し、ＣＰＵ８０１からの制御に基づいて静止画、及び、動画の撮像を行うことが可能である。

システムバス８０７は、ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、外部メモリ８０４及び通信Ｉ／Ｆ８０５、及び、撮像部８０６を通信可能に接続する。

続いて、本実施形態の映像処理装置１００の動作について図３を用いて説明する。図３は本実施形態の映像処理装置１００の動作を説明するためのフローチャートである。本実施形態の映像処理装置１００は、図３の処理を実行するためのプログラムをＣＰＵ８０１が実行することが可能である。また、映像処理装置１００は、図１の各機能ブロックの一部またはすべてが、それぞれ個別のハードウェアによって実現されるようにしてもよい。

また、図３の処理は、映像処理装置１００（例えばネットワークカメラ）の電源がオンになったタイミングで開始される。ただし、図３の処理の開始タイミングは、電源オンのタイミングに限定する必要はない。

Ｓ２０１において、情報取得部１０５は、映像処理領域の設定要求を取得したか否かを判定する。本実施形態において、映像処理領域の設定要求は、映像処理装置１００にネットワークを介して接続されたクライアント装置（表示部）によって発行される。すなわち、情報取得部１０５は、クライアント装置のユーザがした操作に応じた信号を、ネットワークを介して、クライアント装置から取得する。また、情報取得部１０５は、Ｗｅｂサーバの機能によってクライアント装置に対してユーザインタフェースを提供し、ユーザインタフェースを介して入力されたユーザ操作に基づいて、設定要求を取得する。ただし、情報取得部１０５による映像処理領域の設定要求の取得方法は、上記の方法に限らない。

Ｓ２０２において、情報取得部１０５は、映像処理領域の設定要求を取得したか否かを判定する。設定要求を取得したと判定した場合はＳ２０３に進む。設定要求を取得していないと判定した場合はＳ２０１に戻る。

Ｓ２０３において、画像決定部１０８は、記録部１０２に記録された過去映像（過去の撮像により得られた画像フレーム）に基づいて、参照画像を決定する。本実施形態における参照画像は、映像処理領域を指定させるために表示画面に表示される画像であり、例えば、画像フレーム内の種々の場所に、所定のオブジェクト（例えば人物）が密に存在するような画像のことである。参照画像の例を図５（ａ）に示す。

参照画像は種々の方法により決定、又は、生成することができる。１つ目の方法は、記録部１０２に記録された１又は複数の画像フレームのうち、もっともオブジェクト（本実施形態においては人体）の数が多い画像フレームを参照画像とする方法である。ただし、同じ数のオブジェクトが検出された画像フレームが複数存在する場合は、当該複数の画像フレームのうち、撮像時刻が新しい画像フレームを参照画像とすることができる。また、最近撮像された画像フレームから順に、検出されたオブジェクトの数を参照し、当該オブジェクトの数が閾値以上の画像フレームを参照画像として決定することも可能である。すなわち画像決定部１０８は、複数の画像フレームのうち、検出されたオブジェクトの数が所定の条件を満たす画像フレームを、参照画像として決定する。

オブジェクトの数は、例えば物体検出部１０３が頭部検出器を用いることで検出することが可能である。なお、上述の通り、オブジェクトは人体に限らないし、オブジェクトの検出方法は頭部検出器を用いる方法に限らない。ユーザが検出したいと考えるオブジェクトの種別に応じて物体検出部１０３で用いる検出器が選択されればよい。また、人体、顔、種々の動物、自動車等のうち、どの種別のオブジェクトを興味オブジェクトとするかを、ユーザが指定することが可能である。また、オブジェクトの種別を指定する方法に代えて、興味オブジェクトの動きの速度やサイズをユーザが指定するようにしてもよい。

２つ目の方法は、過去の異なる時刻に撮像された画像フレームを合成し、参照画像を生成する方法である。例えば、図４（ａ）の背景画像３０１は、動物体が存在しない画像である。画像決定部１０８は、例えば、動体物が映っていない瞬間をユーザに指定させ、その瞬間の画像フレームを背景画像３０１として取得することが可能である。また、画像決定部１０８は、過去に撮像された複数の画像フレームの平均画像、または中央値画像を背景画像３０１として生成することも可能である。

図４（ｂ），（ｃ），（ｄ），及び（ｅ）は、ある時点において撮像された画像フレームである。図４（ｂ）〜（ｅ）のそれぞれの画像フレームは、オブジェクト３０２が左から右に歩いている様子を示している。画像決定部１０８は、これらの画像フレームのそれぞれについて、背景画像３０１との差分をとり、ある適当な閾値よりも差分が大きいピクセルの集合をとると、動体物を抽出できる。画像決定部１０８は、物体検出器を利用することで抽出した動体物が興味物体（人体）であると判定した場合、この動体物を、背景画像３０１に重畳することで参照画像（重畳画像）を生成することができる。すなわち、画像決定部１０８は、第１画像フレーム（図４（ｂ）の画像）を含む１以上の画像フレーム（図４（ｂ）〜（ｅ）の画像）から検出されたオブジェクトに対応するオブジェクト画像を、画像フレーム（図４（ａ）の画像）に重畳する。このようにすることで、画像決定部１０８は、参照画像（重畳画像）を生成することができる。上記のようにして生成された参照画像の例を図４（ｆ）に示す。なお、１以上の画像フレームとは異なる画像フレームは、当該１以上の画像フレームよりも後に入力（撮像）された画像フレームであってもよいし、図４（ａ）で示した背景画像３０１であってもよいし、それ以外の画像であってもよい。

図４（ｆ）は、図４（ａ）に示す背景画像３０１に、図４（ｂ）〜（ｅ）に示す画像フレームから検出されたオブジェクトに対応するオブジェクト画像を重畳することによって生成された参照画像（重畳画像）の例を示している。図４（ｆ）の画像フレームは、図４（ｂ）〜（ｅ）の画像フレームよりも人体が多く存在するため、映像処理領域の設定の際に表示させれば、ユーザが映像処理領域を指定しやすくなる。また、図（ｂ）〜（ｅ）よりも多くの画像フレームからオブジェクトを検出し、当該オブジェクトに対応するオブジェクト画像を重畳すると、図５（ａ）に示すような参照画像を生成することができる。図５（ａ）の参照画像によれば、図４（ｆ）よりもさらに人体が多く存在している。従って、図５（ａ）の参照画像を表示させることで、ユーザは、より映像処理領域を容易に設定できるようになるという効果がある。

また、本実施形態の画像決定部１０８は、複数の画像フレームから検出されたオブジェクトを他の画像フレームに重畳させる際に、各オブジェクトの距離が重ならないように、重畳位置を決定することができる。また、画像決定部１０８は、複数の画像フレームから検出されたオブジェクトを他の画像フレームに重畳させる際に、各オブジェクトの中心間の距離が第１の閾値以上になるように、重畳位置を決定することができる。さらに、本実施形態の画像決定部１０８は、複数の画像フレームから検出されたオブジェクトを他の画像フレームに重畳させる際に、各オブジェクトの中心間の距離が第２の閾値未満になるように、重畳位置を決定できる。図５（ａ）は、各オブジェクトの中心間の距離が第１の閾値以上且つ第２の閾値未満になるようにオブジェクトが重畳された参照画像の例を示している。このような参照画像を表示させることで、オブジェクトが多重に存在する領域と、オブジェクトが存在しない領域が混在する参照画像を表示させる場合よりも、ユーザは、映像処理領域を指定しやすくなる。ただし、オブジェクトの重畳方法は、上記の方法に限らない。例えば、第１の閾値のみに基づいてオブジェクトを重畳させるようにしてもよいし、第２の閾値のみに基づいてオブジェクトを重畳させるようにしてもよい。

また、以上説明した２つの方法では、興味オブジェクトとしてユーザに指定されたオブジェクト（人体）が、直接、表示画面に表示されるため、プライバシーの観点から問題が生じる可能性がある。そこで参照画像を表示させるための３つ目の方法として、オブジェクト領域の画像を単純図形やアバター（人体を模した図形）に変換して参照画像を生成する方法が考えられる。すなわち、画像決定部１０８は、第１画像フレームを含む複数の画像フレームから検出されたオブジェクトの位置に対応する第２画像フレーム内の位置に、検出済みオブジェクトを模したオブジェクト画像（単純図形等）を重畳することで参照画像を生成できる。

また、単純図形やアバター（人体を模した図形）の代わりに、オブジェクト画像をシルエット化した参照画像が生成されるようにしてもよい。すなわち、画像決定部１０８は、物体検出部１０３により検出されたオブジェクト（人体）に対して加工処理（シルエット化処理）を実行することで、オブジェクトがシルエット化された加工済み参照画像を生成することができる。シルエット化された参照画像や、オブジェクトが単純図形やアバターに置き換えられた参照画像を表示すれば、人物のプライバシーを守りつつ、映像処理領域の設定を容易に行うことができるという効果が得られる。

図５（ｂ）は、オブジェクトとして検出された人体の画像を単純図形に置き換えることで生成された参照画像（抽象化済み参照画像）の例である。図５（ｂ）に示されるように、画像フレームから検出されたオブジェクトが、同サイズの単純図形に置き換えられている。本実施形態の画像決定部１０８は、オブジェクトの大きさや向きを判定し、判定結果に応じて、人型の単純図形の表示サイズや向きを決定する。

なお、物体検出部１０３は、所定の条件に合致するオブジェクトのみを画像フレームから検出することが可能である。また、画像決定部１０８は、物体検出部１０３により画像フレームから検出された所定の条件に合致するオブジェクトを他の画像フレームに重畳することで参照画像を生成することが可能である。所定の条件とは、例えば、オブジェクトのサイズ範囲、色、及び、動きの速度等である。例えばユーザが１６０センチメートルから１８０センチメートルの人物を指定した場合、物体検出部１０３は、記録部１０２に記録された１以上の画像フレームから１６０センチメートルから１８０センチメートルの人体を検出することができる。そして、画像決定部１０８は、物体検出部１０３により検出された１６０センチメートルから１８０センチメートルの人体を他の画像フレームに重畳することで参照画像を生成することが可能である。

なお、人体のサイズは、ユーザが指定することもできるが、これまでの撮像画像から検出された人体のサイズの統計値等に基づいて自動決定されるようにしてもよい。このように重畳対象を限定することで、参照画像内に含まれるオブジェクト（興味オブジェクト）の見た目のばらつきを減らすことができるので、ユーザは、映像処理領域の指定をより簡単に行うことができるようになる。また、身長を数値として指定する方法のほか、画像フレームを表示する表示画面上で指定された領域に基づいてサイズが特定されるようにしてもよい。

なお、上記の説明では参照画像を表示させる方法を３つ紹介したが、これらの方法の一部を変更してもよいし、３つの方法を適宜組み合わせてもよい。

Ｓ２０４において、表示制御部１０４は、Ｓ２０３で決定、又は生成された参照画像を、表示部に表示させる。本実施形態では表示部（クライアント装置）と映像処理装置１００はネットワークを介して接続されている場合を想定しているが、映像処理装置と表示部とが一体の装置であってもよい。

Ｓ２０５において、情報取得部１０５は、表示部を有するクライアント装置からの入力情報を受信する。より具体的には、ユーザは、Ｓ２０４において表示された参照画像を見ながら、映像処理を実行させるべき映像処理領域を指定するために必要な情報を入力する。この情報を入力情報と呼ぶ。映像処理領域の指定には種々の方法を用いることができる。どの指定方法を採用するかによって入力情報の形式も異なる。以下、３つの指定方法について説明する。

１つ目の指定方法は、ユーザが、マウスなどの入力部を用いて、参照画像上の映像処理領域を明示的に指定する方法である。例えば入力部としてマウスを用いる場合、ユーザは、マウスをドラッグしながら任意の形状の閉領域を指定することで、その閉領域を映像処理領域とすることができる。または、ユーザは、マウスで３点以上の点を指定し、それらの点を指定された順に繋ぎ合わせることで形成される多角形を映像処理領域として指定することもできる。図６の閉領域６０１は、ユーザにより指定された６点の座標に基づいて映像処理領域が特定される場合の例である。入力部がタッチパネル等の他のユーザインタフェースであった場合においても、マウスの場合と同様にして映像処理領域の指定が可能である。１つ目の指定方法では、この閉領域を特定するための情報を入力情報とする。１つ目の指定方法を用いる場合、情報取得部１０５は、Ｓ２０５において、参照画像の座標を指定するユーザ入力を受け付ける。そして、領域決定部１０６は、情報取得部１０５により受け付けられたユーザ入力（座標）に従って、Ｓ２０６において映像処理領域を決定する。

なお、上述の通り、本実施形態では、映像処理領域が閉領域となるケースと、線分となるケースを想定している。映像処理領域が線分となるケースは、映像処理として、例えば、通過検出が実行されるケースである。映像処理領域が線分である場合、ユーザは、例えばマウスのドラッグ操作により参照画像上の２点を指定することにより、線分を指定することができる。この場合の入力情報は、線分を特定するための情報（例えば２点の座標情報）である。

また、これまでの画像フレーム中において、興味オブジェクトが１度も、又は、ほとんど検出されない領域（非検出領域）が存在する場合が考えられる。非検出領域は、興味オブジェクトが立ち入ることのできない領域であったり、もしくは物体検出器が興味オブジェクトの検出を苦手とする領域であったりする可能性がある。このような場合において、映像処理領域として非検出領域が設定されると、映像処理部１０７による映像処理の精度が保障できない恐れがある。

このような事態を防ぐため、領域決定部１０６は、ユーザによる非検出領域を含む映像処理領域の指定に対して、エラーを通知し、映像処理領域の指定を無効にしてもよい。この場合、ユーザは、非検出領域を含まない映像処理領域を設定しなおすことができる。また、例えば、領域決定部１０６は、ユーザによる非検出領域を含む映像処理領域の指定を受け付けた場合、確認画面を表示させ、確認画面に対するユーザ操作に応じて、非検出領域を含む映像処理領域の設定を行うようにしてもよい。さらに例えば、領域決定部１０６は、ユーザによる非検出領域を含む映像処理領域の指定を受け付けた場合、当該映像処理領域を設定すると共に、警告を出力するようにしてもよい。警告の出力には、警告メッセージの表示や、アラームの出力や、映像処理領域を通常とは異なる色で表示させる処理が含まれる。

すなわち、ユーザ操作により指定された映像処理領域内に非検出領域が含まれる場合、領域決定部１０６は、当該指定の無効化、及び、通知の出力のうち少なくともいずれかを実行する。なお、非検出領域とは、物体検出部１０３が所定数の画像フレームにおいて所定のオブジェクト（人体）を検出した回数が閾値未満である領域である。このような構成によれば、ユーザは、自分が指定した映像処理領域に非検出領域が含まれることを容易に知ることができる。

２つ目の指定方法は、参照画像内に存在する興味オブジェクト（人体）のうち、映像処理領域内のオブジェクトにしたいオブジェクトと映像処理領域外のオブジェクトにしたいオブジェクトとをそれぞれユーザに指定させる方法である。言い換えると、ユーザは、参照画像内のオブジェクトのうち、映像処理の対象とすべきオブジェクトと、映像処理の対象とすべきでないオブジェクトを指定することができる。映像処理が滞留検出である場合、滞留検出の対象とするオブジェクトと、滞留検出の対象とすべきでないオブジェクトをユーザが指定できる。

より具体的には、情報取得部１０５は、参照画像上に存在する各興味オブジェクトのそれぞれに対して、ユーザが左クリック、または右クリックしたことを検知する仕組みを、クリッカブルマップなどの手法を用いて提供できる。この構成により、例えばユーザが、あるオブジェクトの上にマウスカーソルをのせて左クリックした場合、当該オブジェクトは映像処理の対象とすべきオブジェクトとして指定されたことになる。一方、ユーザが別のオブジェクトの上にマウスカーソルをのせて右クリックした場合、当該オブジェクトは映像処理の対象とすべきでないオブジェクとして指定されたことになる。ただし、映像処理の対象とすべきオブジェクトであるか否かを判別する方法は、マウスの左クリックと右クリックとを判別する方法に限らない。

図７（ａ）の黒丸７０１は、映像処理の対象とすべきオブジェクトとしてユーザによって指定されたオブジェクト（処理対象オブジェクト）を示している。また、図７（ａ）の白丸７０２は、映像処理の対象とすべきでないオブジェクト（非処理対象オブジェクト）としてユーザによって指定されたオブジェクトを示している。

この２つ目の指定方法では、ユーザの入力情報は、処理対象オブジェクトと非処理対象オブジェクトに関する識別情報である。識別情報は、映像処理装置１００がオブジェクトを特定可能な情報であれば何でもよいが、例えば、オブジェクトの頭部座標の情報や、オブジェクトの中心座標の情報である。オブジェクトＩＤであってもよい。

すなわち、情報取得部１０５は、表示画面に表示された参照画像内のオブジェクトのうち、映像処理の対象とすべきオブジェクトと映像処理の対象とすべきでないオブジェクトとを指定するユーザ入力（入力情報）を受け付ける。そして、領域決定部１０６は、情報取得部１０５により受け付けられた入力情報に従って、映像処理領域を決定する。領域決定部１０６による映像処理領域の決定方法については後述する。
また、映像処理領域として線分が指定される場合、ユーザは、２つのオブジェクトを指定することで、映像処理領域を指定することが可能である。ユーザによって２つのオブジェクトが指定されると、当該２つのオブジェクトを結ぶ線分が、映像処理領域として指定される。この場合の入力情報は、例えば、指定された２つのオブジェクトの頭部座標の情報や中心座標の情報とすることができる。

３つ目の指定方法は、参照画像内に存在する興味オブジェクト（人体）のうち、映像処理領域内のオブジェクトにしたいとユーザが考えるオブジェクトのみをユーザが指定する方法である。すなわち、ユーザは、参照画像内の複数のオブジェクトのうち、映像処理の対象とすべきオブジェクト（処理対象オブジェクト）を指定し、非処理対象オブジェクトを指定しない。この３つ目の指定方法では、ユーザの入力情報は、処理対象オブジェクトの識別情報（例えば、オブジェクトの頭部座標やオブジェクトの中心座標の情報）である。すなわち、情報取得部１０５は、表示画面に表示された参照画像内のオブジェクトのうち、映像処理の対象とすべきオブジェクトを指定するユーザ入力（入力情報）を受け付ける。そして、領域決定部１０６は、情報取得部１０５により受け付けられた入力情報に従って、映像処理領域を決定する。領域決定部１０６による映像処理領域の決定方法は後述する。

情報取得部１０５は、Ｓ２０５において、以上説明した指定方法のいずれかに対応する入力情報を取得する。Ｓ２０６において、領域決定部１０６は、入力情報に基づいて、映像処理領域を決定する。入力情報の形式ごとに映像処理領域の決定方法が異なるため、Ｓ２０５で説明した３つの指定方法のそれぞれについて、映像処理領域の決定方法を説明する。

１つ目の指定方法を用いる場合の映像処理領域の決定方法は、入力情報として与えられる閉領域をそのまま映像処理領域として用いる。ただし、入力情報に従って決定された映像処理領域を領域決定部１０６が補正することも可能である。具体的な補正方法は後述する。

２つ目の指定方法を用いる場合の映像処理領域の決定方法について説明する。領域決定部１０６は、処理対象オブジェクトと非処理対象オブジェクトのそれぞれの位置を特定するための座標情報を用いて、処理対象オブジェクトと非処理対象オブジェクトとを分離する境界を求めることができる。そして、領域決定部１０６は、当該境界によって区切られた領域のうち、処理対象オブジェクト側の領域を映像処理領域とすることができる。境界の導出方法としては、例えば、ボロノイ図を用いることが可能である。図７（ｂ）は、図７（ａ）の処理対象オブジェクトと非処理対象オブジェクトの座標のみを表示した図である。領域決定部１０６は、処理対象オブジェクトと非処理対象オブジェクトの座標の和集合に対してボロノイ図を求めることで、和集合を構成する各要素に属するボロノイ領域を求めることができる。そして、領域決定部１０６は、処理対象オブジェクトの点に属するボロノイ領域を結合してできる領域を、映像処理領域として決定できる。この方法により求めた映像処理領域の例を図８の灰色領域９０１に示す。なお、領域決定部１０６は、上記のようにして求めた映像処理領域に対して、頂点の数を減らすなどの処理を行い、映像処理領域の形状を修正することもできる。

また、映像処理領域を、サポートベクターマシンなどの２クラス識別器を用いて求めることができる。領域決定部１０６は、処理対象オブジェクトと非処理対象オブジェクトとをよく分離する境界を学習し、処理対象オブジェクト側の領域を映像処理領域として決定できる。映像処理領域の求め方は以上に限定されるものではなく、任意の方法を用いることが可能である。

３つ目の指定方法を用いる場合の映像処理領域の決定方法について説明する。例えば、ユーザが処理対象オブジェクトとして指定していないオブジェクトをすべて非処理対象オブジェクトにみなすことで、２つ目の指定方法を用いる場合と同様にして映像処理領域を決定できる。また、他の方法として、ユーザが処理対象オブジェクトとして指定したオブジェクトの点をすべて含む閉領域を、凸包により求め、その領域を映像処理領域として決定することもできる。その際、凸包で求めた多角形の領域を膨張させることで、映像処理領域に余分な領域を持たせるようにしてもよい。図９の領域１００１は凸包で求めた映像処理領域の例である。

いずれの映像処理領域の決定方法で求めた映像処理領域についても、ユーザが手動で調整できるようにしてもよい。映像処理領域の決定方法は以上に限定されるものではなく、任意の方法を用いることが可能である。領域決定部１０６は、以上の方法によりＳ２０６にて決定された映像処理領域を、参照画像４０１に重畳してユーザに提示させることが可能である。

また、Ｓ２０６において、領域決定部１０６は、参照画像内の床に相当する領域を認識している場合は、映像処理領域を床に投影し、映像処理領域を疑似的な三次元図形で特定することができる。そして、表示制御部１０４は、領域決定部１０６により特定された三次元図形の映像処理領域を表示部に表示させることが可能である。図９（ｂ）の斜線で埋められた図形１１０１は、三次元図形の映像処理領域の例である。この表示により、ユーザは映像処理領域の範囲をより正確に理解することができる。

Ｓ２０７において、領域決定部１０６は、ユーザが映像処理領域の設定を完了したか否かを判定する。映像処理領域の設定を完了したと判定された場合、Ｓ２０８に進む。完了していないと判定された場合は、Ｓ２０３に戻る。本実施形態の映像処理装置１００は、複数の映像処理領域を設定させることが可能である。

また、ユーザが映像処理領域の設定を完了するまでの間、映像処理装置１００は、Ｓ２０３からＳ２０６までの処理を、インタラクティブに実行することもできる。例えば、２つ目の指定方法を用いる場合、領域決定部１０６は、ユーザが処理対象オブジェクトまたは非処理対象オブジェクトとして１つのオブジェクトを指定するたびに、映像処理領域を決定し直し、最新の映像処理領域を逐次ユーザに提示することができる。ユーザはこの映像処理領域をもとに、入力情報の調整を行うことができる。

また、Ｓ２０３において、ユーザの操作に応じてインタラクティブに参照画像を生成するようにすることで、ユーザがより効率よく映像処理領域を設定のための情報を入力できるようになる。より具体的には、Ｓ２０５において、ユーザの入力操作に付随する情報、例えばユーザが操作するマウスポインタの座標値などの情報を、入力情報に含める。例えば、ユーザが１つ目の指定方法（参照画像上の閉領域を指定する方法）を用いて、３点以上の点を指定しようとしている場合を考える。図１０は、ユーザが既に点１２０３および点１２０４を指定し終わり、３つ目の点を指定しようとしているところを表している。１２０５はマウスポインタである。図１０の（ａ）および（ｂ）は、マウスポインタ１２０５の位置に応じて、映像処理領域と非映像処理領域の境界となる仮の線分１２０６が参照画像に重畳表示されていることを示している。また、図１０は、仮の線分１２０６の両側のごく近くに存在する興味オブジェクトが、参照画像に動的に重畳されている状態を示している。この参照画像の動的な変更は、画像決定部１０８が行う。すなわち、画像決定部１０８は、映像処理領域の指定のためのユーザ操作に関する入力情報を取得し、取得された情報に応じた位置に存在するオブジェクトを他の画像フレームから検索し、検索されたオブジェクトを参照画像に重畳できる。言い換えると、画像決定部１０８は、表示画面に参照画像が表示された後、映像処理領域を指定するためのユーザ操作の入力状況に応じて、参照画像内のオブジェクトの位置を変更する。

このように、ユーザの操作に応じてインタラクティブに参照画像を生成することで、ユーザは、自分の行う操作によってどの領域に存在する興味オブジェクトが映像処理領域に入るかをよく理解できる。この際、仮の線分１２０６、もしくはマウスポインタ１２０５からの距離が遠い興味オブジェクトほど透過度を高くして背景に重畳して参照画像を生成することで、ユーザに余計な情報を提示しないようにすることもできる。

同様に、ユーザが２つ目または３つ目の指定方法を用いて映像処理領域を指定する場合においても、画像決定部１０８は、マウスポインタの位置に応じて、マウスポインタの位置に近い興味オブジェクトを選んで背景画像に重畳することができる。このようにして参照画像を動的に生成しても、ユーザは、どの領域の興味オブジェクトが映像処理領域に含まれるかをより正確に理解できるようになる。

Ｓ２０８において、映像処理部１０７は、Ｓ２０６によって決定された映像処理領域を対象に、映像処理を実施する。映像処理は、例えば、混雑検出、滞留検出、混雑度検出、滞留度検出、通過検出、持ち去り検出、置き去り検出、侵入検出等である。そして、表示制御部１０４は、映像処理部１０７による映像処理の結果を、ネットワークを介して接続される表示部に表示させることができる。上記説明した映像処理装置１００の構成によれば、映像処理の対象となる映像処理領域をユーザが設定することを補助できる。

なお、上記の実施形態では、参照画像を表示させることで、ユーザによる映像処理領域の指定を補助する例を中心に説明したが、映像処理装置１００は、参照画像を表示させる代わりに、または、参照画像の表示と共に、以下の制御を実行することが可能である。すなわち、映像処理装置１００の表示制御部１０４は、映像処理領域の設定のための表示画面上に、映像処理のために検出されるオブジェクトの部位に関する情報を表示させることができる。例えば、映像処理部１０７が映像処理として混雑度検出を行う場合において、人体の頭部の検出結果に基づいて混雑度検出が実行されることを示す画像を表示させる。ただし、頭部ではなく、顔、人体の中心、脚部等であってもよい。表示の方法は、文字列で表示させてもよいし、表示画像内のオブジェクトのうち、検出処理に関係する部位のみ色を変更することによって表示させてもよいし、その他の方法であってもよい。このようにすれば、ユーザは、オブジェクトのどの部位の検出結果に基づいて映像処理が実行されるのかを理解したうえで映像処理領域を指定できるので、より正確に映像処理領域を指定できるようになる。

また、ユーザが明示的に映像処理領域を指定した場合において、指定された映像処理領域を映像処理装置１００が補正することも可能である。すなわち、ユーザが指定したオブジェクトの部位に関する情報と、ユーザが指定した映像処理領域の情報とに基づいて、領域決定部１０６は、映像処理領域を補正することができる。

例えば、ユーザが人体の頭部を指定したあと、映像処理領域を指定した場合、情報取得部１０５は、部位（頭部）を示す入力情報と、映像処理領域を特定するための入力情報とを取得する。この場合、領域決定部１０６は、ユーザがオブジェクト（人物）の頭部に基づいて映像処理領域を指定したと判定することができる。また、領域決定部１０６は、映像処理部１０７がオブジェクトのどの部位を検出して映像処理を実行しているのかを示す情報を映像処理部１０７から取得することができる。そして、例えば、ユーザが、人体の頭部に基づいて映像処理領域を指定した場合であって、映像処理部１０７が、人体の脚部の検出結果に基づいて映像処理を実行する場合、領域決定部１０６は、ユーザが指定した映像処理領域を下にずらす。

一方、ユーザが人体の脚部を指定したあと、映像処理領域を指定した場合、情報取得部１０５は、部位（脚部）を示す入力情報と、映像処理領域を特定するための入力情報とを取得する。この場合、領域決定部１０６は、ユーザがオブジェクト（人物）の脚部に基づいて映像処理領域を指定したと判定することができる。また、領域決定部１０６は、映像処理部１０７がオブジェクトのどの部位を検出して映像処理を実行しているのかを示す情報を映像処理部１０７から取得することができる。そして、例えば、ユーザが、人体の脚部に基づいて映像処理領域を指定した場合であって、映像処理部１０７が、人体の頭部の検出結果に基づいて映像処理を実行する場合、領域決定部１０６は、ユーザが指定した映像処理領域を上にずらす。

なお、ユーザがオブジェクトの部位を指定する方法は、直接、オブジェクトの部位をクリック等により指定する方法のほか、ラジオボタン等の操作によって指定する方法も考えられる。上記の構成によれば、ユーザは、映像処理装置１００が、オブジェクトのどの部位の検出結果に基づいて映像処理が実行されているのかを意識せずに、より正確に映像処理領域を指定できるようになる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像部
１０２ 記録部
１０３ 物体検出部
１０４ 表示制御部
１０５ 情報取得部
１０６ 映像処理領域決定部
１０７ 映像処理部
１０８ 画像生成部

Claims (22)

1. 画像フレームを入力する入力手段と、
   前記入力手段により入力された画像フレームからオブジェクトを検出する検出手段と、
   前記入力手段により入力された画像フレームに対する前記検出手段によるオブジェクトの検出結果に基づいて、重畳画像を、映像処理領域をユーザに指定させるために表示画面に表示させる参照画像として決定する画像決定手段と、
   前記入力手段により入力された複数の画像フレームのうち、第１画像フレームを含む１以上の画像フレームから検出されたオブジェクトに対応するオブジェクト画像を、前記１以上の画像フレームとは異なる第２画像フレームに重畳することで前記重畳画像を生成する生成手段とを有し、
   前記画像決定手段は、各オブジェクトの中心間の距離が第１の閾値以上且つ第２の閾値未満になるようにオブジェクトの位置を決定し、
   前記生成手段は、前記画像決定手段によって決定された位置に対応するオブジェクト画像が重畳された前記重畳画像を生成することを特徴とする映像処理装置。
2. 撮像手段をさらに有し、
   前記入力手段は、前記撮像手段の撮像により得られた画像フレームを入力することを特徴とする請求項１に記載の映像処理装置。
3. 前記生成手段は、前記第１画像フレームを含む１以上の画像フレームから検出されたオブジェクトの位置に対応する前記第２画像フレーム内の位置に、前記検出済みオブジェクトを模したオブジェクト画像を重畳することで前記重畳画像を生成することを特徴とする請求項１または２に記載の映像処理装置。
4. 前記検出手段により画像フレームから検出されたオブジェクトに対して加工処理を実行する加工手段を有し、
   前記加工手段による加工済みの画像フレームが、前記参照画像として前記表示画面に表示されることを特徴とする請求項１または２に記載の映像処理装置。
5. 前記表示画面に表示された参照画像内の座標を指定するユーザ入力を受け付ける受付手段と、
   前記受付手段により受け付けられたユーザ入力に従って前記映像処理領域を決定する領域決定手段とを有することを特徴とする請求項１乃至４のうち、何れか１項に記載の映像処理装置。
6. 前記表示画面に表示された参照画像内のオブジェクトのうち、前記映像処理の対象とすべきオブジェクトを指定するユーザ入力を受け付ける受付手段と、
   前記受付手段により受け付けられたユーザ入力に従って前記映像処理領域を決定する領域決定手段とを有することを特徴とする請求項１乃至４のうち、何れか１項に記載の映像処理装置。
7. 前記表示画面に表示された画像フレーム内のオブジェクトのうち、前記映像処理の対象とすべきオブジェクトと、前記映像処理の対象とすべきでないオブジェクトとを指定するユーザ入力を受け付ける受付手段と、
   前記受付手段により受け付けられたユーザ入力に従って前記映像処理領域を決定する領域決定手段とを有することを特徴とする請求項１乃至４のうち、何れか１項に記載の映像処理装置。
8. 前記生成手段は、前記１以上の画像フレームから検出されたオブジェクトのうち、所定のサイズ範囲に収まるオブジェクトに対応するオブジェクト画像を、前記第２画像フレームに重畳することで、前記重畳画像を生成することを特徴とする請求項１乃至７のうち、何れか１項に記載の映像処理装置。
9. 前記表示画面に前記参照画像が表示された後、前記映像処理領域を指定するためのユーザ操作の入力状況に応じて、前記参照画像内のオブジェクトの位置を変更する変更手段を有することを特徴とする請求項１乃至８のうち、何れか１項に記載の映像処理装置。
10. ユーザ操作により指定された映像処理領域内に、前記検出手段が所定数の画像フレームにおいてオブジェクトを検出した回数が閾値未満である非検出領域が含まれる場合、当該指定の無効化、及び、通知の出力のうち、少なくとも何れかを実行する制御手段を有することを特徴とする請求項１乃至９のうち、何れか１項に記載の映像処理装置。
11. 前記映像処理は、前記映像処理領域の面積に応じた閾値以上の数のオブジェクトが存在することを検出するための混雑検出、前記映像処理領域の面積に対する人体の数の割合に応じた混雑度を検出するための混雑度検出、前記映像処理領域内に同一オブジェクトが所定の時間閾値以上、存在し続けていることを検出するための滞留検出、前記映像処理領域内に同一オブジェクトが存在し続けている時間に応じた滞留度を検出するための滞留度検出、検知線をオブジェクトが通過したことを検出するための通過検出、オブジェクトが所定のオブジェクトを持ち去ったことを検出するための持ち去り検出、及び、オブジェクトが、所定のオブジェクトを置き去ったことを検出するための置き去り検出のうち、少なくともいずれかが含まれることを特徴とする請求項１乃至１０のうち、何れか１項に記載の映像処理装置。
12. 画像フレームを入力する入力工程と、
    前記入力工程により入力された画像フレームからオブジェクトを検出する検出工程と、
    前記入力工程により入力された画像フレームに対する前記検出工程によるオブジェクトの検出結果に基づいて、重畳画像を、映像処理領域をユーザに指定させるために表示画面に表示させる参照画像として決定する画像決定工程と、
    前記入力工程により入力された複数の画像フレームのうち、第１画像フレームを含む１以上の画像フレームから検出されたオブジェクトに対応するオブジェクト画像を、前記１以上の画像フレームとは異なる第２画像フレームに重畳することで前記重畳画像を生成する生成工程とを有し、
    前記画像決定工程は、各オブジェクトの中心間の距離が第１の閾値以上且つ第２の閾値未満になるようにオブジェクトの位置を決定し、
    前記生成工程は、前記画像決定工程によって決定された位置に対応するオブジェクト画像が重畳された前記重畳画像を生成することを特徴とする映像処理方法。
13. 前記生成工程は、前記第１画像フレームを含む１以上の画像フレームから検出されたオブジェクトの位置に対応する前記第２画像フレーム内の位置に、前記検出済みオブジェクトを模したオブジェクト画像を重畳することで前記重畳画像を生成することを特徴とする請求項１２に記載の映像処理方法。
14. 前記検出工程により画像フレームから検出されたオブジェクトに対して加工処理を実行する加工工程を有し、
    前記加工工程による加工済みの画像フレームが、前記参照画像として前記表示画面に表示されることを特徴とする請求項１２に記載の映像処理方法。
15. 前記表示画面に表示された参照画像内の座標を指定するユーザ入力を受け付ける受付工程と、
    前記受付工程により受け付けられたユーザ入力に従って前記映像処理領域を決定する領域決定工程とを有することを特徴とする請求項１２乃至１４のうち、何れか１項に記載の映像処理方法。
16. 前記表示画面に表示された参照画像内のオブジェクトのうち、前記映像処理の対象とすべきオブジェクトを指定するユーザ入力を受け付ける受付工程と、
    前記受付工程により受け付けられたユーザ入力に従って前記映像処理領域を決定する領域決定工程とを有することを特徴とする請求項１２乃至１４のうち、何れか１項に記載の映像処理方法。
17. 前記表示画面に表示された画像フレーム内のオブジェクトのうち、前記映像処理の対象とすべきオブジェクトと、前記映像処理の対象とすべきでないオブジェクトとを指定するユーザ入力を受け付ける受付工程と、
    前記受付工程により受け付けられたユーザ入力に従って前記映像処理領域を決定する領域決定工程とを有することを特徴とする請求項１２乃至１４のうち、何れか１項に記載の映像処理方法。
18. 前記生成工程は、前記１以上の画像フレームから検出されたオブジェクトのうち、所定のサイズ範囲に収まるオブジェクトに対応するオブジェクト画像を、前記第２画像フレームに重畳することで、前記重畳画像を生成することを特徴とする請求項１２乃至１７のうち、何れか１項に記載の映像処理方法。
19. 前記表示画面に前記参照画像が表示された後、前記映像処理領域を指定するためのユーザ操作の入力状況に応じて、前記参照画像内のオブジェクトの位置を変更する変更工程を有することを特徴とする請求項１２乃至１８のうち、何れか１項に記載の映像処理方法。
20. ユーザ操作により指定された映像処理領域内に、前記検出工程が所定数の画像フレームにおいてオブジェクトを検出した回数が閾値未満である非検出領域が含まれる場合、当該指定の無効化、及び、通知の出力のうち、少なくとも何れかを実行する制御工程を有することを特徴とする請求項１２乃至１９のうち、何れか１項に記載の映像処理方法。
21. 前記映像処理は、前記映像処理領域の面積に応じた閾値以上の数のオブジェクトが存在することを検出するための混雑検出、前記映像処理領域の面積に対する人体の数の割合に応じた混雑度を検出するための混雑度検出、前記映像処理領域内に同一オブジェクトが所定の時間閾値以上、存在し続けていることを検出するための滞留検出、前記映像処理領域内に同一オブジェクトが存在し続けている時間に応じた滞留度を検出するための滞留度検出、検知線をオブジェクトが通過したことを検出するための通過検出、オブジェクトが所定のオブジェクトを持ち去ったことを検出するための持ち去り検出、及び、オブジェクトが、所定のオブジェクトを置き去ったことを検出するための置き去り検出のうち、少なくともいずれかが含まれることを特徴とする請求項１２乃至２０のうち、何れか１項に記載の映像処理方法。
22. コンピュータを請求項１乃至１１のうち、何れか１項に記載の映像処理装置として動作させるためのプログラム。

Images