以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の1つである。
図1は映像処理システムの構成図であり、101、108は光学ズーム機構を備えたカメラである。102はLAN等のネットワークである。104、106はPC(パーソナルコンピュータ)である。105、107はカメラ101、108からの画像データに基づく画像や、PC104、PC106の処理結果を表示するためのディスプレイである。また、ディスプレイ105、107は、本実施形態に係る映像の認識処理の設定を行うためのユーザインタフェースを提供することも可能である。
図2を参照して、第1実施形態に係る制御装置200の構成例を説明する。本実施形態では、制御装置200がカメラ(図1のカメラ101又はカメラ108)に組み込まれているものとして説明する。しかし、制御装置200の機能は、例えばPC(パーソナルコンピュータ)(図1のPC104、106に対応)で実現されてもよいし、動画像を撮像可能なカメラ内に搭載される画像処理回路で実現されてもよいし、それ以外の機器で実現されていてもよい。制御装置200は、映像の認識処理(例えば、人体検出)を行うためのパラメータの設定画面が表示装置210の表示画面に表示させると共に、パラメータ設定画面に対するユーザ指示に応じたパラメータの設定を行う機能を有する。なお、本実施形態において図2の表示装置210は、図1のディスプレイ105、107に対応する。
制御装置200は、画像取得部201と、物体検出部202と、物体追尾部203と、人体検出部204と、パラメータ設定部205と、物体対応付部206と、軌跡管理部207と、軌跡情報判定部208と、外部出力部209とを備える。また、制御装置200は、カメラのズーム機構を制御するためのズーム制御部211と、ズーム倍率(ズーム値)に応じてパラメータを制御するパラメータ制御部212を備える。また制御装置200は、CRT(Cathode Ray Tube)や液晶画面などにより構成される表示装置210と接続されている。表示装置210は、制御装置200による処理結果を画像や文字などにより表示する。以下、表示装置210の表示画面に動画像を表示する場合を中心に説明する。
画像取得部201は、内部撮像センサまたは外部から供給された動画像若しくは静止画像を取得し、取得した動画像若しくは静止画像を物体検出部202に送出する。
画像取得部201は、動画像を取得した場合は、該動画像を構成する各フレームの画像を順次、物体検出部202に送出し、静止画像を取得した場合は、この静止画像を物体検出部202に送出する。なお、動画像若しくは静止画像の供給元については特に限定するものではなく、有線若しくは無線を介して動画像若しくは静止画像を供給するサーバ装置や撮像装置であってもよい。また、外部に限るものではなく、制御装置内のメモリから動画像若しくは静止画像を取得するようにしてもよい。以下の説明では、画像取得部201が動画像を取得した場合であっても静止画像を取得した場合であっても、物体検出部202に対し、ある1枚の画像が入力された場合について説明する。前者の場合は、この1枚の画像が動画像を構成する各フレームに相当し、後者の場合は、この1枚の画像が静止画像に相当する。
物体検出部202は、画像取得部201から取得したフレーム画像から背景差分法により物体(オブジェクト)を検出する。すなわち、画像取得部201は、画像取得部201が取得したフレーム画像と所定のフレーム画像(背景画像)との比較により、物体を検出する。そして、物体検出部202は、物体の検出に応じて、オブジェクト情報を生成する。オブジェクト情報には、物体の画面上の位置と、外接矩形と、物体のサイズに関する情報が含まれる。物体検出部202は、背景差分法により画像から物体を検出する機能を有するが、この方法に限るものではない。
物体追尾部203は、複数のフレーム画像に対応するオブジェクト情報に基づいて、複数のフレーム画像のそれぞれから検出された物体を対応づける。物体追尾部203は、より具体的には、物体検出部202が着目フレームよりも1フレーム前のフレームの画像から検出した物体に対応する物体を、着目フレームの画像から検出した場合、それぞれのフレームにおける物体同士を対応づける。
例えば、物体追尾部203が、着目フレームよりも1フレーム前のフレームの画像から物体検出部202が検出した物体に対してオブジェクトID=Aを割り当てたとする。そして、物体検出部202が着目フレームの画像から、オブジェクトID=Aの物体に対応する物体を検出した場合、物体追尾部203は、この物体に対してもオブジェクトID=Aを割り当てる。このように、物体追尾部203は、複数フレームに渡って対応する物体が検出された場合には、それぞれの物体に同じオブジェクトIDを割り当てる。なお、着目フレームで新規に検出された物体に対しては、新規のオブジェクトIDが割り当てられる。
物体追尾部203において、異なるフレームの物体が対応するか否かを判定する方法としては、検出物体の移動ベクトルを用いて特定された物体の移動予測位置と、検出された物体の位置が一定距離内であれば同一物体とする方法がある。すなわち、物体追尾部203は、フレーム画像から検出された物体の位置と、当該フレーム画像に関する移動ベクトル情報に基づいて特定される物体の位置との距離を特定する。そして、物体追尾部203は、特定した距離が閾値未満である場合に、当該物体と、他のフレーム画像の物体との対応づけを行う。
ただし、物体の対応づけの方法は、上記の方法に限らず、例えば、物体の色、形状、大きさ(面積)等を用い、フレーム間で相関の高い物体を関連付ける方法もある。また、移動ベクトルの情報と、物体の色、形状、大きさ等の情報を組み合わせて物体の対応づけを行うようにしてもよい。物体位尾部203は、複数フレームに渡って検出された物体を所定の条件に従って対応づけて追尾する処理を行う。例えば、複数フレームにわたって、同じ人物が存在し続けた場合、物体追尾部203は、当該人物に対して同じオブジェクトIDを割り当てる。物体の対応づけの方法は、特定の方法に限るものではなく同様の処理を行う種々の方法を採用することが可能である。
人体検出部204は、後述のパラメータ設定部205により設定された物体検出領域のうち、物体検出部202が物体を検出した領域に対して人体検出処理を実施することによって人体を検出する。なお、本実施形態の人体検出部204は、物体が検出された領域とその周囲を含む領域(人体検出領域)に対して人体検出処理を実施する。例えば、フレーム内の座標(X,Y)を中心とした、縦100ピクセル、横20ピクセルの物体が検出された場合、人体検出部204は、当該フレームの座標(X,Y)を中心とした縦150ピクセル、横30ピクセルの領域に対して、人体検出処理を行う。
また、人体検出部204は、パラメータ設定部205により設定された人体検出の最大サイズと最小サイズを参照することで、最大サイズと最小サイズの範囲から外れた人体検出処理を省略できる。つまり、人体検出部204は、物体の検出によって特定される人体検出領域のうち、最大サイズよりも大きい人体検出領域や、最小サイズよりも小さい人体検出領域に対する人物検出処理を省略可能である。ただし、人体検出部204は、人体検出処理を省略せずに、人体の検出処理を行い、検出された人体のサイズが最大サイズよりも大きい場合と、最小サイズよりも小さい場合に、当該検出結果を人体検出処理の処理結果から除外することも可能である。
なお、人体検出部204は、人体のパターン画像とフレーム画像のとの比較によって、フレーム画像から人体を検出するが、人体の検出方法は、この方法に限らない。また本実施形態では検出対象を人体としているが、人体に限定されるものではない。検出対象は、人物の顔、自動車、動物などであってもよい。さらに、複数種類の特定物体が検出されるように、人体検出部204で同時に複数種類の検出処理を実行することも可能である。すなわち、本実施形態の人体検出部204は、認識処理によって、人体に限らず種々の所定の物体を画像データから検出することが可能である。
また、必ずしも物体検出部202が物体を検出した領域に基づいて、人体検出領域が決定されるような構成としなくてもよい。例えば、人体検出部204は、パラメータ設定部205により設定されたパラメータから人体検出領域を特定して人体検出処理を行うようにしてもよい。この場合、物体検出部202による物体検出処理を省略することも可能となる場合がある。
パラメータ設定部205は、各フレームにおける人体検出処理の検出処理範囲(人体検出領域)や、人体検出の最大サイズと最小サイズ等に関するパラメータの設定を行う。
また、パラメータ設定部205は、人体検出の設定だけでなく物体検出部202に対しても同様の検出処理に関するパラメータの設定を行うようにしてもよい。例えば、パラメータ設定部205は、物体検出部202に対するパラメータとして、物体検出領域や、物体検出の最大サイズと最小サイズ等に関するパラメータの設定を行うことも可能である。ただし、本実施形態の説明では、物体検出領域は画像取得部201が取得した画像全体であるものとする。一般的に物体検出領域を狭くすると処理速度は高くなる。
物体対応付部206は、物体検出部202が検出した物体と、人体検出部204が検出した人体とを対応付ける。図4(a)および(b)を参照して、物体と、人体との対応付けの例を説明する。図4(a)は、物体検出部202により検出された物体の外接矩形401に、人体検出部204により検出された人体の外接矩形402が内包されない場合の例を示す。なお、本実施形態の物体検出部202はフレーム全体に対して物体検出処理を行い、人体検出部204は、物体検出部202により検出された物体の外接矩形の周辺を含む領域を人体検出領域として人体検出処理を行う。
物体対応付部206は、図4(a)に示すように物体と人体が検出された場合、物体の外接矩形401に対する人体の外接矩形402の重畳率が予め設定された閾値を超えた場合に対応付けを行う。すなわち、物体対応付部206は、物体の外接矩形401と人体の外接矩形402とが重畳する重畳領域の面積の、人体の外接矩形402の面積に対する割合が閾値を超えた場合に、外接矩形401に対応する物体と、外接矩形402に対応する人体を対応づける。
一方、図4(b)は、検出した物体の外接矩形403から複数の人体が検出された場合の例を示す。この場合、物体対応付部206は、物体の外接矩形403と人体の外接矩形404とが重畳する重畳領域の面積の、人体の外接矩形404の面積に対する割合が閾値を超えた場合に、外接矩形403に対応する物体と、外接矩形404に対応する人体を対応づける。また、物体対応付部206は、物体の外接矩形403と人体の外接矩形405とが重畳する重畳領域の面積の、人体の外接矩形405の面積に対する割合が閾値を超えた場合に、外接矩形403に対応する物体と、外接矩形405に対応する人体を対応づける。物体対応付部206は、1つの物体と、複数の人体を対応づける場合がある。また、物体と人体の対応付けの方法については、上記の方法に限らない。
軌跡管理部207は、物体検出部202および物体追尾部203および物体対応付部206からオブジェクトに関する情報を取得し、管理情報としてオブジェクトごとに管理する。図3を参照して、軌跡管理部207が管理する管理情報301の例を説明する。本実施形態の軌跡管理部207は、図3に示すように、オブジェクトIDごとにオブジェクト情報302を管理する。1つのオブジェクトIDに対応するオブジェクト情報302には、当該オブジェクト情報が生成された日時を示すタイムスタンプが含まれる。また、オブジェクト情報302には、当該オブジェクトが検出されたフレーム毎の情報303が含まれている。情報303には、当該情報が生成された日時を示すタイムスタンプ、検出された物体の座標位置(Position)、検出された物体の領域を包含する外接矩形を示す情報(Bounding box)、物体のサイズ、物体の属性が含まれている。ただし、情報303に含まれる情報はこれらに限らず他のまた、ディスプレイ105、107は、情報を含めてもよい。軌跡管理部207が管理する管理情報301は、軌跡情報判定部208によって使用される。
軌跡管理部207は、物体対応付部206の対応付け結果に従って、オブジェクトの属性(Attribute)を更新する。さらに、過去のオブジェクトの属性(Attribute)も対応付け結果に従って更新するようにしてもよい。また、その後のオブジェクトの属性(Attribute)も対応付け結果に従って設定するようにしてもよい。このような処理を行うことで、同一のオブジェクトIDを有するオブジェクトの追尾結果は、どの時刻においても同一の属性を持つことができる。
軌跡情報判定部208は、通過物体検知部としての機能を有しており、パラメータ設定部205により設定されたパラメータと、軌跡管理部207が管理する管理情報とに従って、検知線に対する物体の通過判定処理を行う。なお、検知線は、例えば、表示装置210のパラメータ設定画面でユーザインタフェースを操作することにより、ユーザが設定可能である。本実施形態のパラメータ設定部205は、例えばユーザにより設定された線分を特定するための情報を、パラメータとして、軌跡情報判定部208に設定することが可能である。
軌跡情報判定部208は、着目フレームより1フレーム前のフレームにおける人体属性オブジェクトの外接矩形から、着目フレームにおける人体属性オブジェクトの外接矩形への移動ベクトルが、通過検出のための線分と交差しているか否かを判定する。なお、本実施形態における人体属性オブジェクトとは、物体対応付部206により人体と対応づけられた物体である。また、交差しているか否かの判定は、人体属性オブジェクトが、通過検出のための線分を通過したか否かの判定に相当する。軌跡情報判定部208による判定結果は、外部出力部209を介して外部(例えば表示装置210)へ出力されてもよい。また、外部出力部209がCRTや液晶画面などにより構成される表示部の機能を有している場合、表示装置210に代えて外部出力部209を用いて判定結果を表示してもよい。
ここで、本実施形態における軌跡情報判定部208は、人体属性オブジェクトが、所定の線分を通過したことを検出する例を説明したが、この例に限らない。例えば、軌跡情報判定部208は、所定の領域がパラメータとして設定された場合において、当該領域に人体属性オブジェクトが侵入したことを検出することも可能である。また、軌跡情報判定部208は、人体属性オブジェクトの代わりに、動物オブジェクトが侵入したことを検出することも可能である。このほか、軌跡情報判定部208は、イベント検出用のパラメータと軌跡情報を用いた種々の検出処理を実行することが可能である。
次に、図5及び図6を参照して、第1実施形態に係る映像の認識処理について説明する。
図5は、人体検出サイズの設定を説明するための図である。図5に示すパラメータ設定画面は、例えば、表示装置210で表示される。
図5(a)は、人体検出の最大サイズ、最小サイズを設定する画面例を示した図である。
図5(a)において、500は人体検出用のパラメータを設定する設定画面である。画面500は、画面左上から画面右下に道が伸びていることを示しており、左上(遠方)に人体501が、右下(近方)に人体502が映っている。設定矩形503は、人体検出の最大サイズを設定するためのUI(ユーザインタフェース)である。同様に、設定矩形504は、人体検出の最小サイズを設定するためのUIである。
本実施形態の人体検出部204は、人体のパターン画像とフレーム画像との比較によって、フレーム画像から人体を検出する。より具体的には、人体検出部204は、設定矩形503及び504のサイズに応じて、フレーム画像のサイズを変倍し、変倍されたフレーム画像と、人体のパターン画像とを比較して、人物の検出を行う。例えば、人体検出部204は、設定矩形503と504のサイズに応じて、フレーム画像のサイズが1/2倍された画像と、1/3倍された画像と、1/4倍された画像を生成し、それぞれの画像と人体のパターン画像とを比較することで人体の検出を行う。
上記の場合において、ユーザがズーム倍率を下げるためのユーザ操作を行なった場合、人体検出部204は、ズーム倍率を下げる前に検出されていた人物が、ズーム倍率の変更後でも検出されるように、フレーム画像の変倍率を制御する。より具体的には、人体検出部204は、例えば、フレーム画像のサイズが1/3倍された画像と、1/4倍された画像と、1/6倍された画像を生成し、それぞれの画像と人体のパターン画像を比較して、人体の検出を行う。
なお、人体の検出方法は上記の方法に限らず、例えば、設定矩形503及び504のサイズに応じて、人体のパターン画像を変倍し、フレーム画像と比較して人体を検出することも可能である。
このように、設定された人体検出サイズの範囲内の人体のみを検出するように、人体検出処理を行うようにすれば、処理の高速化または高精度化が行える。設定矩形503及び504は、設定矩形の辺や節点などを操作者のドラッグ等のマウス操作により大きさを変更することが可能である。なお、図5の説明では、人体検出の最大サイズと最小サイズを設定する例を説明したが、最大サイズか最小サイズのみが設定されるようにしてもよい。
図5(b)は、図5(a)の一部領域をズームアップした画面表示例である。ズーム範囲505は、図5(b)に相当する図5(a)上の範囲を表すための矩形である。よって、ズーム範囲505をズームした結果が画面510である。本図においてズーム倍率は図5(a)の2.5倍としている。
図6は、パラメータ設定部205が設定する設定パラメータの構成例を示す図である。制御装置200は、図6に示すパラメータの表示画面を、例えば、表示装置210で表示させることが可能である。
図6(a)は、設定矩形503及び504の設定値を示したものである。
図6(a)では、人体検出の最大サイズ(Max Size)が幅高さ(900,900)画素、最小サイズ(Min Size)が幅高さ(250,250)画素と設定している。なお画面500の解像度は縦横(1280,1024)としている。またこの時のズーム倍率は1倍としている。
ここで、図5(b)のようにズームアップした際に図6(a)の設定値がそのまま適用される場合を考える。
画面510のように、ズームアップ操作によって撮像される人体が大きくなる。そのためズームアップ後は設定矩形503(図6(a)のMax Size)よりも大きな人体が撮像されることも考えられるが、図6(a)の人体検出の最大サイズ(900,900)がそのまま適用されると大きな人体が検出されない可能性がある。
また、ズームアップ前は、人体検出の最小サイズよりも小さいために人体検出処理されなかった物体が、ズームアップ後は、人体検出処理の対象となり得る。このような場合、ユーザが意図していない人体検出処理が行われる可能性があり、処理負荷の増大等の発生が起こりうる。
上記のような問題は、ズームアウト時にも起こりうる。すなわち、ズームアウトによりフレーム内における人体のサイズは小さくなるが、人体検出の最小サイズのパラメータがズームアウト前と後で変わらない場合、検出漏れが発生する可能性がある。また、人体検出の最大サイズもズームアウト前と後で変わらない場合、ズームアウト前は検出対象でなかったサイズの人体についての検出処理することになるため余計な処理時間がかかってしまう可能性がある。
そこで、本実施形態のパラメータ制御部212は、ズーム倍率の変更に応じて、人体検出の最小サイズや最大サイズといった映像の認識処理に用いられるパラメータを変更する。このようにすることで、ズーム倍率が変更された後であっても好適な認識処理を行えるようになる。上述のように、本実施形態の人体検出部204は、人体のパターン画像と、変倍された複数のフレーム画像との比較によって、人体を検出する。この例においては、ズーム倍率の変化に応じて、フレーム画像を変倍する際の倍率が変更される。つまり、パラメータ制御部212は、ズーム倍率の変化に応じて、人体検出に用いるフレーム画像の最大サイズと最小サイズを変更する。
また、人体検出部204が、人体のパターン画像を変倍し、フレーム画像と比較して人体検出を行う場合、ズーム倍率の変化に応じて、人体のパターン画像を変倍する際の倍率が変更される。つまり、パラメータ制御部212は、ズーム倍率の変化に応じて人体検出に用いるパターン画像の最大サイズと最小サイズを変更する。
図5(c)は、画面500をズームアップした際に図6(a)の設定値をズーム倍率に応じて変更した場合の画面表示例である。図6(a)で示すパラメータは、以下に述べる処理により、図6(b)で示すパラメータに変更され、人体検出部204は、変更後のパラメータに基づいて人体検出処理を実行する。
図5の画面500から画面520へのズームにより、ズーム倍率は、1倍から2.5倍に変化する。本実施形態のパラメータ制御部212は、人体検出の最大サイズ、最小サイズともにズーム倍率の変化に応じて変更する。図6(b)に示すように、パラメータ制御部212は、ズーム倍率の変化後の人体検出の最小サイズを、図6(a)の人体検出の最小サイズ(250,250)に対して2.5倍のサイズ(625,625)に変更する。なお、人体検出の最大サイズも、最小サイズの場合と同様に、2.5倍となるべきだが、ここでは画面範囲を超えてしまうため、本実施形態のパラメータ制御部212は、画面520の縦サイズを上限としたサイズ(1024,1024)に変更する。
本実施形態のパラメータ制御部212は、上記のようなパラメータの変更処理をズーム制御部211からズーム倍率情報を受け取るたびに実行する。また、パラメータ制御部212は、パラメータを変更するたびに、当該変更後のパラメータをパラメータの設定ツール側に通知することでUI(User Interface)もズーム倍率の変化に応じて動的に変更される。
図5(c)は、ズーム倍率の変化に応じて、人体検出の最大サイズと最小サイズを変更した後における、パラメータの設定ツールのUIを示している。図5(c)の522は、図5(a)の設定矩形503に対応し、図5(c)の521は、図5(a)の設定矩形504に対応する。
上記の説明のように、本実施形態のパラメータ制御部212は、人体検出の最大サイズや最小サイズが指定された後に、ズーム倍率を上げるズーム制御が行なわれた場合、最大サイズと最小サイズをズーム制御前よりも大きくする制御を行なう。また、パラメータ制御部212は、人体検出の最大サイズや最小サイズが指定された後に、ズーム倍率を下げるズーム制御が行なわれた場合、最大サイズと最小サイズをズーム制御前よりも小さくする制御を行なう。
なお、ズーム倍率の変化に応じたパラメータの変更の際に変更に関する表示をしたり、パラメータの変更前に画面上にパラメータの変更の旨を通知し、ユーザの了解を得てからパラメータ変更を行うようにしてもよい。
また、本実施形態ではズーム倍率に応じて人体検出の最大サイズと最小サイズに関するパラメータを変更したが、変更後のサイズが所定の閾値を超えた場合は人体検出処理自体の停止や中止をするようにしてもよい。また、人体検出処理の停止や中止の代わりに、ディスプレイに警告等のメッセージを表示させるようしてもよい。このようにすれば、例えば、認識処理のパラメータのエラーを回避できるという効果がある。
また、本実施形態では人体検出サイズを矩形で設定する例を説明したが、多角形や円形など他の形状であってもよい。
また、本実施形態においてはパラメータ制御部212が変更するパラメータを人体検出の最小サイズと最大サイズとしたが撮像画像サイズや画像上の位置に依存するような他のパラメータであってもよい。例えば、物体追尾部203は、フレーム画像から検出された物体の位置と、当該フレーム画像に関する移動ベクトルから特定される物体の位置との距離が閾値未満であれば、当該物体と他のフレーム画像の物体とを対応付けると説明した。この閾値をズーム倍率の変化に応じて変更するパラメータとすることも可能である。
また例えば、軌跡情報判定部208がイベント検出に用いるパラメータ(通過検知のための線分や領域)を、ズーム倍率の変化に応じて変更するようにしてもよい。より具体的には、パラメータ制御部212は、例えば、通過判定に用いる線分の位置や長さ、及び、侵入判定のために用いる領域の位置やサイズを、ズーム倍率の変化に応じて変更することが可能である。
また、例えば、物体検出範囲をズーム倍率の変化に応じて変更するパラメータとしてもよい。なお、本実施形態では、物体検出範囲を画面全体として説明している。
また例えば、物体対応付部206は、物体の外接矩形と人体の外出矩形が重畳する重畳領域の面積の、人体の外接矩形の面積に対する割合(重畳率)が閾値を超えた場合に、物体と人物を対応付けることを説明した。この場合における閾値を、ズーム倍率の変化に応じて変更するパラメータとすることも可能である。なお、重畳率等は面積を比較するため本実施形態の人体検出サイズのようにズーム倍率に応じた等倍変換でない。本実施形態のパラメータ制御部212は、ズーム倍率と重畳率を対応付けたテーブルを用いることで、等倍変換ではないパラメータの変更を行うことができる。
また、本実施形態ではユーザインタフェースを用いて指定された人体検出の最大サイズや最小サイズを基準値として、ズーム倍率の変化に応じてパラメータを相対的に変換する場合の例を説明した。すなわち、上記の説明では、例えば、ユーザインタフェースを用いて人体検出の最大サイズ(基準値)が設定された後に、ズーム倍率が2倍になると、人体検出の最大サイズを基準値の2倍にする例を説明したがこれに限るものではない。
例えば、カメラ位置と、検出対象物体(ここでは人体)の存在し得る位置とが特定された絶対的範囲三次元領域と、検出対象物体の当該三次元領域内で取り得る絶対的なサイズの範囲が取得できるとする。そうすれば、パラメータ制御部212は、ズーム値に対して適切なパラメータ(ここでは人体検出の最大サイズと最小サイズ)を特定できる。また、パラメータ制御部212は、上記のようにしてパラメータを決定したときのズーム値を基準値とし、その後のズーム倍率変更に応じて認識パラメータを変更することも可能である。
また、図5は、人物のサイズの下限が有限になるようなカメラのアングルであった。すなわち、本実施形態では撮像映像上に映される人体のサイズの上限及び下限が有限となるカメラ位置と俯角と検出対象物体である場合の例を説明した。しかし、カメラ位置、カメラの向いている方向、検出対象となる物体の種類によっては、物体が無限遠に位置する場合等、最小サイズや最大サイズの設定が出来ないことが理論上考えられる。そのような場合、ズーム値(ズーム倍率)の変化に応じた物体検出のパラメータの変更を行わないようにする、あるいはあえて最小サイズを設定する、あるいはカメラ設置場所や方向を変える等の対応をするとよい。本実施形態の制御装置200は、ズーム倍率の変化に応じたパラメータの変更を行うか否かを、ユーザ操作によって切り替えることができる。
また、本実施形態においては、カメラのズーム機構は光学ズームとしたが、デジタルズームであってもよい。図5を用いてカメラのズーム機構がデジタルズームの場合の処理を以下に述べる。
デジタルズームが行われたことにより、画面500におけるズーム範囲505が画面510のように表示されることになったとする。その場合、パラメータ制御部212は、光学ズームの場合と同様に設定矩形503と設定矩形504をデジタルズーム倍率に応じて変更する。例えば、パラメータ制御部212は、デジタルズームによりズーム倍率が1倍から2倍になった場合、人物検出の最大サイズと最小サイズも2倍に変更する。そして、パラメータ制御部212は、変更後のパラメータを表示装置210に通知することで、図5(c)に示すようにユーザインタフェースの表示を変更させる。このようにデジタルズームとユーザインタフェースを連動させることでズーム倍率の変化に応じてパラメータが変更されたことをユーザが認識できる。ただしデジタルズームの場合、人体検出部204で実際に処理される画像はデジタルズーム後の画像ではなくズーム前の撮像画像であることがある。その場合はズーム倍率の変化に伴うパラメータは変更されないようにする。すなわち、パラメータ制御部212は、ズーム倍率の変更前と後で、映像の認識処理の対象となる画像領域が変化するか否かを判定し、画像領域が変化しないと判定した場合、ズーム倍率の変化に応じた認識処理のパラメータの変更は行わない。
以下で、人体検出部204で処理される画像がデジタルズーム後に切り出された画像である場合を述べる。パラメータ制御部212は、人体検出の最大サイズが切り出された画像範囲を上回る場合、人体検出の最大サイズを切り出し画像範囲まで縮小するようにパラメータを変更してもよい。例えば、パラメータ制御部212は、デジタルズーム前の人体検出の最大サイズが(1000,1000)であり、デジタルズームによって切り出される画像のサイズが(800,800)の場合、最大サイズを(800,800)にしてもよい。またあるいは人体検出の最小サイズが、切り出された画像範囲を上回る場合には、人体検出の処理自体の停止や中止をするようにしてもよい。
次に、図7のフローチャートを参照して、第1実施形態に係る制御装置200の動作を説明する。なお、本実施形態の制御装置200は、不図示のCPUが図7の処理に係る制御プログラムをメモリから読み出して実行することにより、図7の処理を実現する。また、本実施形態の制御装置200は、カメラに組み込まれており、カメラの起動と共に図7の処理を開始する。ただし、制御装置200は、カメラとは別の独立した装置であってもよいし、カメラによる撮影画像を表示するPCや携帯端末等に実装されていてもよい。制御装置200が有する不図示の制御部は、図7の処理を継続するか否かを判定する。制御部は、例えば、処理の終了がユーザによって指示された場合、図7の処理を終了すると判定し、ユーザから指示がない場合、図7の処理を継続すると判定する。処理を継続すると判定された場合(S701;YES)、S702へ進む。一方、処理を終了すると判定された場合(S701;NO)、処理を終了する。
S702において、画像取得部201は、制御装置200へ入力された画像データを取得する。S703において、物体検出部202は、画像取得部201が取得した画像に対して物体検出処理を行う。S704において、物体検出部202は、ステップS703で物体を検出したか否かを判定する。物体が検出されたと判定された場合(S704;YES)、S705へ進む。一方、物体が検出されなかったと判定された場合(S704;NO)、S701へ戻る。
S705において、物体追尾部203は、物体の追尾処理を行う。すなわち、物体追尾部203は、フレームから検出された物体を、所定の条件に従って、他のフレームから検出された物体に対応付ける処理を行う。追尾処理によって、例えば、複数のフレームに渡って同一の物体が存在する場合、当該物体は対応付けられる。
S706において、軌跡管理部207は、S705での追尾処理の結果に従って軌跡情報を更新する。軌跡情報の更新は、図3に示す情報303の追加に対応する。
ステップS707において、人体検出部204は、物体検出部202により検出された物体とその周辺の領域に対してパラメータ設定部205で設定されたパラメータを用いて人体検出処理を行う。
ここで図8のフローチャートを参照して、本実施形態の制御装置200による人体検出処理の詳細を説明する。
S801において、パラメータ制御部212は、パラメータ設定部205より設定されている設定パラメータ(人体検出の最大サイズや最小サイズ等の設定情報)を取得する。なお、設定パラメータは、人体検出の最大サイズや最小サイズの情報に限らない。すなわち、パラメータ制御部212は、S801において、映像の認識処理のためのパラメータを取得する。また、パラメータ制御部212は、現在のズーム倍率に関する情報を取得する。本実施形態の制御装置200は、カメラに組み込まれており、パラメータ制御部212は、当該カメラ内の記憶部からズーム倍率に関する情報を取得するが、例えば、当該カメラに接続されているPC104からズーム倍率に関する情報を取得するようにしてもよい。
S802において、パラメータ制御部212は、ズーム制御部211においてズーム倍率が変更されたか否かを判定する。すなわち、パラメータ制御部212は、前回取得したズーム倍率に関する情報と、今回取得したズーム倍率に関する情報が異なるか否かを判定する。ズーム倍率の変更を検出した場合(S802:YES)、S803に進む。一方、ズーム倍率が変更されていないと判定された場合(S802;NO)、S804に進む。
S803において、パラメータ制御部212は、S804の人体検出処理で用いるパラメータを、S801で取得したパラメータとS801で取得したズーム倍率から決定する。例えば、パラメータ制御部212は、ズーム倍率が1倍から2倍に変更された場合、人物検出の最大サイズも2倍にすることを決定する。ただし、この例に限らない。すなわち、パラメータ制御部212は、S801で取得されたパラメータを、撮像部のズーム倍率の変化に応じて変更する。
また、本実施形態のパラメータ制御部212は、ズーム倍率の変更に応じて認識処理のためのパラメータを変更したこと、及び、変更後のパラメータを通知するためのメッセージを表示装置210へ送信する。これにより、表示装置は、パラメータ設定画面上に、映像の認識処理のためのパラメータが変更されたことを示すメッセージや、変更後のパラメータ(例えば、人体検出の最大サイズや最小サイズに対応する矩形)を表示させることができる。
S804で人体検出部204は、S803で決定されたパラメータ(ズーム倍率が変更されていない場合はユーザによる設定に応じたパラメータ)を使用して人体検出処理を行う。S804で人体検出処理が完了すると、図7のS708へ進む。
S708において、人体検出部204は、S707で人体を検出したか否かを判定する。人体を検出したと判定された場合(S708;YES)、S709へ進む。一方、人体を検出していないと判定された場合(S708;NO)、S711へ進む。
S709において、物体対応付部206は、S703で検出された物体と、S707で検出された人体との対応付け処理を行う。上述のように、物体対応付部206は、物体の外接矩形と人体の外接矩形との重複領域に応じて、物体と人体を対応付ける。
S710において、軌跡管理部207は、S709での対応付け処理結果に基づいて、軌跡情報を更新する。軌跡情報の更新は、図3に示す情報303の追加に対応する。S711において、軌跡情報判定部208は、軌跡情報判定処理を行い、オブジェクトが検知線を通過したか否かを判定する。軌跡情報判定部208は、着目フレームの1フレーム前のフレームにおける人体属性オブジェクトから、着目フレームにおける人体属性オブジェクトへの移動ベクトルが、通過検知のための線分と交差しているか否かによって、通過の有無を判定する。なお、上記の人体属性オブジェクトは、物体追尾部203によって対応するオブジェクトであると判定され、同一のオブジェクトIDが付与されたオブジェクトである。
S712において、外部出力部209は、映像の認識処理に関する処理結果を外部へ出力し、S712へ戻る。外部出力部209は、例えば、検出された物体や人体の外接矩形が撮影画像の表示画面上に表示されるように、外接矩形の位置情報を表示装置210に出力する。また外部出力部209は、例えば、人物による検知線の通過や検知領域への侵入を検出した場合、当該検出結果に応じたメッセージが表示装置210の表示画面上に表示されるように、検出結果を表示装置210へ出力する。
以上説明したとおり、本実施形態によれば、ズーム倍率の変化に応じて、映像の認識処理のためのパラメータを変更することで、ズーム倍率を変更する機能を有する撮影部により撮影された画像に対する認識処理を、より好適に行えるようになる。なお、上記の説明では、人体検出の最大サイズと最小サイズをパラメータとする場合の例を中心に説明したが、例えば、検出対象を自動車や顔や動物など人体以外の所定の物体としてもよい。検出対象を自動車にした場合、認識処理のためのパラメータとして、自動車検出の最大サイズと最小サイズを設定し、そのパラメータを、ズーム倍率に応じて変更することが可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。