JP5047658B2 - カメラ装置 - Google Patents

Description

本発明は、撮像された画像から検出対象の物体の映像を検出する技術に関する。

従来、監視、セキュリティ等の分野において、カメラで撮像した静止画像、または動画像から人を検出する手法が提案されている。これらの技術分野では人の形状や動きをモデル化して、そのモデルに基づくテンプレートを動画像の各フレームにおいて走査し、パターン認識に基づく手法で人を検出する。

また、近年監視システムやセキュリティシステムの市場が発達するにつれて、外界の実環境においてカメラが取得した画像から特定のパターンを持つ検出対象物を認識し、検出する技術が必要となってきている。この場合、天候の変動，時間帯による明るさの変動によって画像のコントラストが変化したり、部分的に影がかかったりして検出対象パターンの見え方が大きく変化する。また、検出対象は３次元構造を持つため、視点位置が変化したり物体の姿勢が変化したりすると対象の見かけの変形が生じる。このように、実環境対応のパターン検出は理想環境下におけるパターン検出と異なり、大きさの変化，みかけの形状変化，照明変動が同時に生じうる。

このような対象物体の見かけの変化にも対応してパターン認識を行おうとすると、パターン認識処理をするための識別器の構成が複雑になり、計算量が増大する。また、上述したように、テンプレートを画像上で走査する場合、検出対象物の大きさや位置が未知であるため、可能な限りあらゆるサイズのテンプレートを画像上の全ての位置において走査する必要があり、さらに計算量が増大する要因となっている。

この改善策として、非特許文献１には、識別器を複数のサブ識別器に分解してカスケード構造とし、最初の段では識別率の精度が低いが、高速にサーチを行うことができる識別器を用いて検知対象の候補を検出し、次段には識別率がより高い識別器を用いて候補のふるい落としを行い、これを十分な検出率を達成するまで段数を増やす技術が開示されている。

P.Viola and M.Jones "Rapid Object Detection using a Boosted Cascade of Simple Features," Proc. of IEEE Conf. On Computer Vision and Pattern Recognition, vol.1, pp.511-518, December, 2001

ところで、上記非特許文献１に開示されている技術は、画像内に含まれる検出対象物体に類似する画像の検出精度は高まるものの、実際にはありえない大きさの画像までも、人の顔として検出してしまう場合がある。例えば、ＩＤカード等に印刷された顔画像をカメラにかざした場合や、人の顔が描かれている巨大な看板が画像内に写っている場合には、実際の人の顔の画像でないにもかかわらず、人の顔として検出してしまう。人の顔が写っている写真と実物の人の顔画像との区別がつかないと、特定の人物以外の入出を拒否する等の用途に使用することはできない。

本発明は上記事情を鑑みてなされたものであり、本発明の目的は、撮像された画像から、実物の検出対象物体を高い精度で検出できるようにすることにある。

上記課題を解決するために、本発明のカメラ装置は、撮像された画像内において、実物の検出対象物である可能性が高い大きさの物体が写っている領域について、パターンマッチングにより検出対象物体であるか否かの判定を行う。

例えば、本発明の第１の態様は、撮像された画像から検出対象物体を検出するカメラ装置であって、撮像手段と、検出対象物体のテンプレートおよび大きさの範囲を示す情報を格納するテンプレート格納手段と、撮像手段によって撮像された画像から、テンプレートに類似する領域を抽出する第１のパターンマッチング処理を実行する第１のパターンマッチング処理手段と、撮像手段から、第１のパターンマッチング処理手段によって抽出された領域までの距離を測定する距離測定手段と、距離測定手段によって測定された距離情報を用いて、第１のパターンマッチング処理手段によって抽出された領域の中で、テンプレート格納手段に格納された大きさの範囲に含まれる領域を抽出する第１の大きさ制限手段と、第１の大きさ制限手段によって抽出された領域の中から、テンプレートに類似する領域を抽出することにより、検出対象物体を検出する第２のパターンマッチング処理を実行する第２のパターンマッチング処理手段とを備えることを特徴とするカメラ装置を提供する。

また、本発明の第２の態様は、撮像された画像から検出対象物体を検出するカメラ装置であって、撮像手段と、撮像手段から、撮像手段によって撮像された画像内のそれぞれの物体までの距離を測定する距離測定手段と、距離の差が所定範囲内の領域を同一物体の領域としてクラスタリングするクラスタリング手段と、検出対象物体のテンプレートおよび大きさの範囲を示す情報を格納するテンプレート格納手段と、撮像手段からクラスタリング手段によってクラスタリングされた領域までの距離を用いて、当該クラスタリングされた領域の中で、テンプレート格納手段に格納された大きさの範囲に含まれる領域を抽出する第１の大きさ制限手段と、第１の大きさ制限手段によって抽出された領域の中から、テンプレートに類似する領域を抽出することにより、検出対象物体を検出するパターンマッチング処理手段とを備えることを特徴とするカメラ装置を提供する。

本発明のカメラ装置によれば、撮像された画像から、実物の検出対象物体を高い精度で検出することができる。

まず、本発明の第１の実施形態について説明する。

図１は、本発明の実施形態に係る監視システム１０の構成の一例を示すシステム構成図である。監視システム１０は、カメラ装置２０、汎用コンピュータ２１、モニタ２２、およびデータベース２３を備える。

カメラ装置２０は、撮像した画像の中から人の顔が映っている領域を特定し、特定した領域を示す情報を、撮像した画像と共に汎用コンピュータ２１へ出力する。データベース２３は、特定の人の顔を示す情報を格納する。また、データベース２３は、カメラ装置２０によって人の顔が検出された画像を格納する。

汎用コンピュータ２１は、カメラ装置２０から人の顔が映っている領域およびその画像を受け取った場合に、データベース２３を参照して、カメラ装置２０によって検出された領域に写っている人の顔画像が、データベース２３内に格納された人の顔画像と一致するか否かを判定する。

そして、カメラ装置２０によって検出された領域に写っている人の顔画像がデータベース２３内のいずれかの顔画像と一致した場合、汎用コンピュータ２１は、その旨をモニタ２２に表示したり、警報音を発生させたり、特定の連絡先にその旨を通知する。

なお、本実施形態では、人の顔を検出対象物体の一例として説明するが、他の形態として、監視システム１０は、車や動物等の人の顔以外の物体が写っている領域を検出して通知するようにしてもよい。

図２は、第１実施形態におけるカメラ装置２０の機能構成の一例を示すブロック図である。カメラ装置２０は、カメラ２００、カメラ２０１、画像補正部２０２、第１のパターンマッチング処理部２０３、テンプレート格納部２０４、ずれ量算出部２０５、距離測定部２０６、第１の大きさ制限部２０７、第２のパターンマッチング処理部２０８、第２の大きさ制限部２０９、領域情報算出部２１０、領域情報格納部２１１、制限情報生成部２１２、および制限情報格納部２１３を有する。

カメラ２００とカメラ２０１とは、光軸が平行になるように同一の方向へ向けられて固定されており、これらは、２台でステレオカメラを構成する。本実施形態にいて、カメラ２００はステレオカメラにおける右画像を撮像し、カメラ２０１はステレオカメラにおける左画像を撮像する。また、本実施形態において、左画像および右画像は、３２０×２４０ピクセルの画像である。

画像補正部２０２は、カメラ２００からの右画像およびカメラ２０１からの左画像を受け取り、受け取った２つの画像において、光軸のずれを画像処理により補正し、補正した右画像および左画像を第１のパターンマッチング処理部２０３へ出力する。画像補正部２０２が用いる補正量は、後述するずれ量算出部２０５によって算出される。

テンプレート格納部２０４には、例えば図３に示すように、人の顔画像の特徴を示すテンプレートデータ２０４０と、人の顔である可能性が高い大きさの範囲を示す範囲情報２０４１とが格納される。テンプレートデータ２０４０は、例えば、標準的な顔画像を示す２４×２４ピクセルのデータである。本実施形態において、範囲情報２０４１は、顔画像を囲む矩形領域の縦および横の長さの範囲を規定する。

第１のパターンマッチング処理部２０３は、補正後の右画像および左画像を画像補正部２０２から受け取り、受け取った右画像および左画像のそれぞれについて、テンプレート格納部２０４に格納されたテンプレートデータに類似する画像内の領域を高速に検出する第１のパターンマッチング処理を行う。

ここで、第１のパターンマッチング処理とは、テンプレート内の注目画素とその周辺画素との輝度値の差を示す符号を用いて、当該注目画素との相関値が高い、検索対象の画像（左画像または右画像）内の画素を検出することにより、テンプレートに類似する画像内の領域を検出する処理である。この第１のパターンマッチング処理には、ＰＩＳＣ（Peripheral Increment Sign Correlation）と呼ばれる技術が用いられる。ＰＩＳＣ技術の詳細については、”周辺増分符号相関画像に基づくロバスト物体検出及び分離”（信学論(D-II),Vol.J84-D-II,No.12,pp.2585-2594 佐藤雄隆，金子俊一，五十嵐悟）に開示されている。

本実施形態において、第１のパターンマッチング処理部２０３は、テンプレート内の特定の８つの注目画素を用いて、当該注目画素との相関値が所定値以上の領域を、テンプレートに類似する領域として検出する。これにより、第１のパターンマッチング処理部２０３は、人の顔以外の領域も顔画像として検出してしまう場合があり精度はあまり高くないが、人の顔画像の候補となる領域を高速に検出することができる。

そして、第１のパターンマッチング処理部２０３は、テンプレートに類似する領域を検出した場合に、検出した領域を示す情報を、右画像および左画像のデータと共に距離測定部２０６へ出力する。また、第１のパターンマッチング処理部２０３は、検出した領域を示す情報を、右画像および左画像のいずれか一方のデータと共に第２の大きさ制限部２０９へ出力する。本実施形態において、第１のパターンマッチング処理部２０３は、検出した領域を示す情報を、左画像のデータと共に第２の大きさ制限部２０９へ出力する。

距離測定部２０６は、検出された領域を示す情報と共に、右画像および左画像のデータを第１のパターンマッチング処理部２０３から受け取り、受け取った２つの画像のそれぞれについて、検出された領域どうしの視差から当該領域までの距離を算出する。そして、距離測定部２０６は、第１のパターンマッチング処理部２０３によって検出された領域を示す情報および当該領域までの距離を示す情報を、右画像または左画像のデータと共に、第１の大きさ制限部２０７へ出力する。
する。

ここで、ステレオ画像では、２台のカメラの光軸が平行に保たれている場合、撮像された画像内の物体までの距離Ｄは、２台のカメラの間隔Ｌ、それぞれのカメラの焦点距離ｆ、左画像および右画像内の同一物体の視差ｕから、下記の数式１を用いて算出される。

ここで、距離測定部２０６が、画像補正部２０２から出力された右画像および左画像のそれぞれについて、写っている全ての領域までの距離を算出するとすれば、人の顔画像以外の領域についてまで距離を算出してしまうため、計算量が膨大になる場合がある。これに対して、本実施形態のカメラ装置２０は、第１のパターンマッチング処理部２０３によって検出された、顔画像である可能性の高い領域について距離を算出するので、計算量を少なくすることができる。

第１の大きさ制限部２０７は、距離測定部２０６によって距離が算出された領域について、当該領域までの距離情報、および、画像内での当該領域の大きさから、当該領域に写っている物体の実際の大きさを予測する。そして、第１の大きさ制限部２０７は、大きさを予測した領域の中で、テンプレート格納部２０４に格納されている範囲情報を満たす領域を抽出し、抽出した領域を示す情報を、右画像または左画像のデータと共に第２のパターンマッチング処理部２０８へ出力する。

物体の画像内での見かけの大きさＳは、比例定数ａを用いて、Ｓ＝ａ／Ｄで表される。よって、対象物体の見かけの大きさとＳと視差ｕとの間には比例関係がある。この関係使って、第１の大きさ制限部２０７は、画像内に写っている領域の大きさと、当該領域までの距離の情報から、当該領域の実際の大きさを予測することができる。

第２のパターンマッチング処理部２０８は、第１の大きさ制限部２０７によって抽出された領域について、テンプレート格納部２０４に格納されたテンプレートデータに類似する画像内の領域を高精度で検出する第２のパターンマッチング処理を行う。

第２のパターンマッチング処理は、ＰＩＳＣを用いる点では、上記した第１のパターンマッチング処理と同一であるが、テンプレート内の全ての画素を注目画素として、当該注目画素との相関値が所定値以上の領域をテンプレートに類似する領域として検出する点が異なる。これにより、第２のパターンマッチング処理部２０８は、計算量が多いが、人の顔画像を高い精度で検出することができる。

ここで、画像補正部２０２から出力された右画像および左画像のいずれかについて、第２のパターンマッチング処理が実行されるとすれば、画像内に写っている物体の大きさが不明であるため、あらゆる大きさの領域について、テンプレート格納部２０４に格納されたテンプレートデータに類似する画像内の領域を検索する必要がある。また、第２のパターンマッチング処理では、テンプレートの全ての画素を注目画素としてＰＩＳＣ計算を行う。そのため、画像補正部２０２から出力された右画像および左画像のいずれかについて、第２のパターンマッチング処理が実行されるとすれば、計算量が膨大になり、汎用のコンピュータや、組込み機器で実現することは難しい。

しかし、本実施形態のカメラ装置２０は、第１のパターンマッチング処理部２０３によって人の顔画像である可能性の高い領域を、人の顔画像以外の領域も検出してしまうが高速である第１のパターンマッチング処理により大雑把に絞込み、絞り込んだ領域について大きさを算出し、人の顔である可能性の高い大きさの領域について、計算量が多いが精度が高い第２のパターンマッチング処理を実行する。これにより、カメラ装置２０は、計算量を低く抑えながら、高い精度で高速に顔画像を検出することができる。

第２のパターンマッチング処理部２０８は、テンプレートに類似する領域を検出した場合に、検出した領域を示す情報を、右画像または左画像のデータと共に、汎用コンピュータ２１へ出力する。なお、第２のパターンマッチング処理部２０８は、さらに、検出した顔画像の実際の大きさを示す情報を汎用コンピュータ２１へ出力するようにしてもよい。これにより、汎用コンピュータ２１は、検出された顔画像のパターンだけでなく、顔の大きさを示す情報も用いて、特定の人物を検出することができる。

また、第２のパターンマッチング処理部２０８は、検出した顔画像の領域を示す情報を、ずれ量算出部２０５および領域情報算出部２１０へ出力する。また、第２のパターンマッチング処理部２０８は、制限情報生成部２１２によって、後述する制限情報が生成された場合に、第２の大きさ制限部２０９によって抽出された領域について、第２のパターンマッチング処理を行う。

ずれ量算出部２０５は、第２のパターンマッチング処理部２０８によって抽出された領域を用いて、カメラ２００とカメラ２０１との光軸のずれ量を算出し、算出したずれ量を示す情報を画像補正部２０２へ送信することにより、画像補正部２０２に左画像および右画像を補正させる。

ここで、ステレオカメラ撮影では、右画像および左画像内において、対応する点が７つ以上特定できれば、２台のカメラの光軸のずれ量を検出可能であることが知られている。例えば、事前にカメラがキャリブレーションされた状態（光軸が並行に揃った状態で撮像されている状態）から光軸がずれると、画像中の少なくとも７点の組から計算される基礎行列（Ｆ行列、または、Fundamental Matrix）は、軸がずれる前後でこの行列の各要素の値が変わる。この変動を検知することにより、軸がずれたこと（正確には軸のずれ以外に画面内回転等のカメラの外部パラメータの変動）を検出することができる。Ｆ行列の計算方法は、例えば、佐藤淳著、「コンピュータビジョン―視覚の幾何学」、コロナ社（１９９９／０４）等に詳しく記載されている。ずれ量算出部２０５は、左画像および右画像について、第２のパターンマッチング処理部２０８によって抽出された領域内で７つ以上の点を特定することにより、光軸のずれ量を検出する。

このように、ずれ量算出部２０５によって検出された２台のカメラの光軸のずれ量に従って、画像補正部２０２が、２台のカメラから出力された画像を、光軸が平行なカメラから出力された画像となるように画像処理により補正することによって、温度変化や経年変化等により、２台のカメラの光軸がずれた場合であっても、距離測定部２０６による、検出対象物までの距離の測定精度を高く保つことができる。

領域情報算出部２１０は、第２のパターンマッチング処理部２０８によって人の顔画像の領域が抽出された場合に、当該領域の画像内での位置および大きさを算出して、領域情報として制限情報格納部２１３に格納する。本実施形態において、領域情報算出部２１０は、第２のパターンマッチング処理部２０８によって人の顔画像の領域が抽出された場合に、当該領域の、左画像内での位置および大きさを算出して、領域情報として制限情報格納部２１３に格納する。

制限情報格納部２１３には、例えば図４に示すように、第２のパターンマッチング処理部２０８によって抽出された領域の中心座標２１３１および当該領域を示す領域情報２１３２を、それぞれの領域情報を識別する番号２１３０に対応付けて格納する。本実施形態において、領域情報２１３２は、第２のパターンマッチング処理部２０８によって抽出された領域を囲む矩形において、対向する２つの頂点の座標である。また、中心座標２１３１は、領域情報２１３２に示された２点の座標の中点の座標である。

制限情報生成部２１２は、所定のタイミングで、制限情報格納部２１３に格納された複数の領域情報から、右画像および左画像のいずれか一方について制限情報を生成し、生成した制限情報を領域情報格納部２１１に格納する。制限情報とは、画像内の領域を示す情報毎に、当該領域内で撮像されるべき検出対象物体の大きさの範囲を示す情報である。

ここで、制限情報生成部２１２による制限情報の生成過程について、図５および図６を参照して説明する。制限情報格納部２１３に格納された複数の領域情報を、右画像および前記左画像のいずれか一方の画像３０上に示すと、例えば図５に示すようになる。本実施形態では、画像３０として左画像を用いる。

テンプレート格納部２０４に格納されている範囲情報を満たす物体を写した画像３０内の領域は、当該物体とカメラ２０１との距離が長くなるに従って小さくなる。また、固定カメラであれば、カメラ２０１によって撮像されている三次元空間の構造、当該空間を通過する人の平均的な身長や姿勢等によって、顔画像の画像３０内での位置と、カメラ２０１から当該顔画像までの距離との間に相関関係が現れる。

図５に示す例では、テンプレート格納部２０４に格納されている範囲情報を満たす大きさの物体の領域であっても、カメラ２０１からの距離が遠い位置にある顔の画像の領域３１ａは、画像３０の右上に表示され、カメラ２０１からの距離が比較的近い位置にある顔の画像の領域３１ｂは、画像３０の中央付近に表示され、カメラ２０１からの距離がさらに近い位置にある顔の画像の領域３１ｃは、画像３０の左下に表示されている。

このように、第２のパターンマッチング処理部２０８によって検出された複数の顔画像の領域について、画像３０内での分布を調べることにより、画像３０内のそれぞれの領域毎に、実物の顔として検出される領域の大きさの範囲を算出することができる。

図６に示す例では、それぞれ異なる顔画像の大きさの範囲が対応付けられる、基準座標３４と折れ線３３ａと画像３０の外周とで囲まれる領域３２ａ、折れ線３３ａと折れ線３３ｂと画像３０の外周とで囲まれる領域３２ｂ、折れ線３３ｂと折れ線３３ｃと画像３０の外周とで囲まれる領域３２ｃ、およびそれ以外の領域３２ｄが示されている。

制限情報生成部２１２は、図６に示すそれぞれの領域３２を特定する情報に、顔画像の大きさの範囲を示す情報を対応付けた制限情報を生成して領域情報格納部２１１に格納する。領域情報格納部２１１には、例えば図７に示すように、それぞれの領域を識別する番号２１１０毎に、図６に示した折れ線３３を特定する複数の座標を含む領域情報２１１１、顔画像の大きさの範囲を示す範囲情報２１１２、および図６に示した基準座標３４を示す基準座標２１１３が格納される。

なお、本実施形態において、制限情報生成部２１２は、制限情報格納部２１３に格納された顔画像の領域情報の個数が所定数（例えば１００個）に達した場合に、制限情報格納部２１３内の複数の領域情報から制限情報を生成する。また、他の形態として、制限情報生成部２１２は、カメラ装置２０が起動してから所定時間経過した場合や制限情報の生成を管理者から指示された場合等に、制限情報格納部２１３内の複数の領域情報から制限情報を生成するようにしてもよい。

第２の大きさ制限部２０９は、制限情報生成部２１２によって制限情報が生成された場合に、第１のパターンマッチング処理部２０３によって検出された顔画像の領域を示す情報および左画像のデータから、領域情報格納部２１１に格納された制限情報を満たす顔画像の領域を抽出する。

例えば、第２の大きさ制限部２０９は、領域情報格納部２１１を参照して、制限情報の領域情報の中で、第１のパターンマッチング処理部２０３によって検出された顔画像の領域との重なりが最も多い領域、あるいは、第１のパターンマッチング処理部２０３によって検出された顔画像の領域の中心座標を含む領域を特定し、特定した領域情報に対応付けられている範囲情報を抽出する。

そして、第２の大きさ制限部２０９は、第１のパターンマッチング処理部２０３によって検出された顔画像の領域の、左画像内での大きさが、領域情報格納部２１１から抽出した範囲情報を満たす場合に、当該顔画像の領域を、左画像のデータと共に第２のパターンマッチング処理部２０８へ出力する。

また、カメラ２００、ずれ量算出部２０５、距離測定部２０６、および第１の大きさ制限部２０７は、制限情報生成部２１２によって制限情報が生成された後に停止する。また、画像補正部２０２は、制限情報生成部２１２によって制限情報が生成された後に、カメラ２０１から受け取った左画像に対して補正を行わずに、当該左画像を第１のパターンマッチング処理部２０３へ出力する。また、第１のパターンマッチング処理部２０３は、制限情報生成部２１２によって制限情報が生成された後に、画像補正部２０２を介してカメラ２０１から受け取った左画像についてのみ、第１のパターンマッチング処理を実行する。

このように、所定のタイミングで制限情報生成部２１２によって制限情報が生成された後に、カメラ２００、ずれ量算出部２０５、距離測定部２０６、および第１の大きさ制限部２０７を停止させて、第２の大きさ制限部２０９が、第１のパターンマッチング処理部２０３によって検出された領域の中から、人の顔である可能性が高い大きさの領域を抽出することにより、カメラ装置２０の消費電力を低くすることができる。

図８は、第１実施形態におけるカメラ装置２０の動作の一例を示すフローチャートである。例えば、電源が投入される等の所定のタイミングで、カメラ装置２０は、本フローチャートに示す動作を開始する。

まず、カメラ２００およびカメラ２０１は、画像を取り込み、それぞれ右画像および左画像として画像補正部２０２へ出力する（Ｓ１００）。そして、画像補正部２０２は、ずれ量を示す補正値がずれ量算出部２０５によって算出されていれば、カメラ２００からの右画像、および、カメラ２０１からの左画像を、当該補正値を用いて補正する（Ｓ１０１）。

次に、第１のパターンマッチング処理部２０３は、画像補正部２０２によって補正された右画像および左画像のそれぞれについて、テンプレート格納部２０４内のテンプレートを用いて、第一のパターンマッチング処理を実行し、テンプレートに類似する領域を示す情報を、右画像および左画像のデータと共に距離測定部２０６へ出力する（Ｓ１０２）。そして、距離測定部２０６は、第１のパターンマッチング処理部２０３から受け取った左画像および右画像について、ステップＳ１０２において検出された領域どうしの視差から当該領域に写っている物体までの距離を算出する（Ｓ１０３）。

次に、第１の大きさ制限部２０７は、ステップＳ１０２において検出された領域までの距離および当該領域の画像内での見かけの大きさから、当該領域の実際の大きさを予測する。そして、第１の大きさ制限部２０７は、当該領域の中で、テンプレート格納部２０４に格納されている範囲情報を満たす物体の領域を抽出する（Ｓ１０４）。

次に、第２のパターンマッチング処理部２０８は、抽出された領域について、テンプレート格納部２０４に格納されたテンプレートデータに類似する画像内の領域を高精度で検出する第２のパターンマッチング処理を実行し、検出した領域を示す情報を、右画像および左画像のデータと共に、汎用コンピュータ２１へ出力する（Ｓ１０５）。

次に、ずれ量算出部２０５は、第２のパターンマッチング処理部２０８によって抽出された領域を用いて、カメラ２００とカメラ２０１との光軸のずれ量を算出し、算出したずれ量を示す情報を画像補正部２０２へ送信する（Ｓ１０６）。

次に、領域情報算出部２１０は、第２のパターンマッチング処理部２０８によって人の顔画像の領域が抽出された場合に、当該領域の画像内での位置および大きさを算出して、領域情報として制限情報格納部２１３に格納する（Ｓ１０７）。そして、制限情報生成部２１２は、所定数（例えば１００個）以上の領域情報が領域情報格納部２１１に格納されたか否かを判定する（Ｓ１０８）。所定数以上の領域情報が領域情報格納部２１１に格納されていない場合（Ｓ１０８：Ｎｏ）、カメラ２００およびカメラ２０１は、再びステップＳ１００に示した処理を実行する。

所定数以上の領域情報が領域情報格納部２１１に格納された場合（Ｓ１０８：Ｙｅｓ）、制限情報生成部２１２は、制限情報格納部２１３に格納された複数の領域情報から、左画像について制限情報を生成し、生成した制限情報を領域情報格納部２１１に格納する（Ｓ１０９）。ステップＳ１０９が実行された場合、カメラ２００、ずれ量算出部２０５、距離測定部２０６、および第１の大きさ制限部２０７は停止する。

次に、カメラ２０１は画像を取り込み、左画像として画像補正部２０２へ出力する（Ｓ１１０）。画像補正部２０２は、カメラ２０１から受け取った左画像に対して補正を行わず、受け取った左画像を第１のパターンマッチング処理部２０３へ出力する。そして、第１のパターンマッチング処理部２０３は、画像補正部２０２から受け取った左画像について、第１のパターンマッチング処理を実行し、テンプレートに類似する領域を示す情報を、左画像のデータと共に第２の大きさ制限部２０９へ出力する（Ｓ１１１）。

次に、第２の大きさ制限部２０９は、第１のパターンマッチング処理部２０３から受け取った顔画像の領域を示す情報および左画像のデータから、領域情報格納部２１１に格納された制限情報を満たす顔画像の領域を抽出する（Ｓ１１２）。そして、第２のパターンマッチング処理部２０８は、抽出された領域について、第２のパターンマッチング処理を実行し、検出した領域を示す情報を、左画像のデータと共に、汎用コンピュータ２１へ出力し（Ｓ１１３）、カメラ２０１は、再びステップＳ１１０に示した処理を実行する。

以上、本発明の第１の実施形態について説明した。

上記説明から明らかなように、本実施形態の監視システム１０によれば、撮像された画像から、実物の検出対象物体を高い精度で検出することができる。

次に、本発明の第２の実施形態について説明する。

図９は、第２実施形態におけるカメラ装置２０の機能構成の一例を示すブロック図である。カメラ装置２０は、カメラ２００、カメラ２０１、画像補正部２０２、テンプレート格納部２０４、ずれ量算出部２０５、距離測定部２０６、第１の大きさ制限部２０７、第２のパターンマッチング処理部２０８、第２の大きさ制限部２０９、領域情報算出部２１０、領域情報格納部２１１、制限情報生成部２１２、制限情報格納部２１３、およびクラスタリング部２２０を有する。

なお、以下に説明する点を除き、図９において、図２と同じ符号を付した構成は、図２における構成と同一または同様の機能を有するため説明を省略する。第２実施形態のカメラ装置２０は、第１実施形態のカメラ装置２０と比較して、クラスタリング部２２０を有しており、第１のパターンマッチング処理部２０３を有していない点が大きく異なる。

距離測定部２０６は、画像補正部２０２によって補正された右画像および左画像を用いて、それぞれの画像に写っている物体の領域の視差から距離を算出し、算出した距離情報を、左画像または右画像と共にクラスタリング部２２０へ出力する。ここで、距離測定部２０６によって行われる距離計算の方法について図１０を用いて説明する。

ステレオマッチングでは、左画像上のある注目画素、または注目画素近傍の画素を用いて、右画像中における対応点が探索される。平行ステレオ画像の場合は、画像の走査線に沿って、そうでない場合はエピポーラ線に沿って対応点が探索される。探索範囲が指定されない場合は、走査線またはエピポーラ線に沿って、全ての画素について対応点が探索されるが、これには大きな計算コストが要求される。

そこで、距離測定部２０６は、図１０に示すように、増分符号（ＰＩＳ：Peripheral Incremental Sign）を使って、段階的にパターン間相関を行って絞込みを行い、高速に対応点を探索する。ＰＩＳを使った相関計算では、参照画像内（本例では左画像４０内）の領域４２において、注目画素を中心とする矩形領域の中で任意の２画素の組が少なくとも１組選択され、輝度値の差分が計算される。このとき差分が正の値であれば１、負の値であれば０とする増分符号ビットが定義され、２画素の組の数を要素数とする増分符号ビット列が生成される。なお、増分符号を用いた相関計算については”周辺増分符号相関画像に基づくロバスト物体検出及び分離”（信学論(D-II),Vol.J84-D-II,No.12,pp.2585-2594 佐藤雄隆，金子俊一，五十嵐悟）に詳細に開示されている。

距離測定部２０６は、参照元となる左画像４０の領域４２内の増分符号からなるベクトルを用いて、右画像４１内で対応する領域の検出を行うが、このときに増分符号ビット列を定義する画素数を最初８画素にして、右画像４１の走査線またはエピポーラ線に沿って、右画像４１内の全ての領域４４について相関値を算出し、所定値以上の相関値を示す領域４４について、増分符号ビット列を定義する画素数を増やして、再度相関値を算出する。

このように、距離測定部２０６は、参照元の領域の画素および検索対象の領域の画素について、相関値を計算する画素数を段階的に増加させながら、各段階で算出された相関値で検索対象領域を絞り込むことにより、左右の画像における対応点の探索を行う。

クラスタリング部２２０は、左画像または右画像と共に、当該画像内に写っている領域の距離情報を距離測定部２０６から受け取り、距離の差が所定範囲内の領域を同一物体の領域としてクラスタリングし、クラスタリングした領域を示す情報を、当該クラスタリングされた領域までの距離情報、および、左画像または右画像と共に、第１の大きさ制限部２０７へ出力する。なお、クラスタリング部２２０は、距離だけでなく、色やテクスチャ等の情報も用いて、クラスタリングすべき同一物体を判定してもよい。

第１の大きさ制限部２０７は、クラスタリング部２２０によってクラスタリングされた領域について、当該領域までの距離情報、および、画像内での当該領域の大きさから、当該領域に写っている物体の実際の大きさを予測する。そして、第１の大きさ制限部２０７は、クラスタリング部２２０によってクラスタリングされた領域の中で、テンプレート格納部２０４に格納されている範囲情報を満たす領域を抽出し、抽出した領域を示す情報を、右画像または左画像のデータと共にパターンマッチング処理部２２１へ出力する。

図１１は、第２実施形態におけるカメラ装置２０の動作の一例を示すフローチャートである。例えば、電源が投入される等の所定のタイミングで、カメラ装置２０は、本フローチャートに示す動作を開始する。

まず、カメラ２００およびカメラ２０１は、画像を取り込み、それぞれ右画像および左画像として画像補正部２０２へ出力する（Ｓ２００）。そして、画像補正部２０２は、ずれ量を示す補正値がずれ量算出部２０５によって算出されていれば、カメラ２００からの右画像、および、カメラ２０１からの左画像を、当該補正値を用いて補正する（Ｓ２０１）。

次に、距離測定部２０６は、画像補正部２０２によって補正された右画像および左画像を用いて、それぞれの画像に写っている物体の領域の視差から距離を算出する（Ｓ２０２）。そして、クラスタリング部２２０は、距離の差が所定範囲内の領域を同一物体の領域としてクラスタリングする（Ｓ２０３）。

次に、第１の大きさ制限部２０７は、クラスタリングされた領域までの距離および当該領域の画像内での見かけの大きさから、当該領域の実際の大きさを予測する。そして、第１の大きさ制限部２０７は、当該領域の中で、テンプレート格納部２０４に格納されている範囲情報を満たす大きさの物体の領域を抽出する（Ｓ２０４）。

次に、第２のパターンマッチング処理部２０８は、抽出された領域について、テンプレート格納部２０４に格納されたテンプレートデータに類似する画像内の領域を高精度で検出する第２のパターンマッチング処理を実行し、検出した領域を示す情報を、右画像および左画像のデータと共に、汎用コンピュータ２１へ出力する（Ｓ２０５）。

次に、ずれ量算出部２０５は、第２のパターンマッチング処理部２０８によって抽出された領域を用いて、カメラ２００とカメラ２０１との光軸のずれ量を算出し、算出したずれ量を示す情報を画像補正部２０２へ送信する（Ｓ２０６）。

次に、領域情報算出部２１０は、第２のパターンマッチング処理部２０８によって人の顔画像の領域が抽出された場合に、当該領域の画像内での位置および大きさを算出して、領域情報として制限情報格納部２１３に格納する（Ｓ２０７）。そして、制限情報生成部２１２は、所定数以上の領域情報が領域情報格納部２１１に格納されたか否かを判定する（Ｓ２０８）。所定数以上の領域情報が領域情報格納部２１１に格納されていない場合（Ｓ２０８：Ｎｏ）、カメラ２００およびカメラ２０１は、再びステップＳ２００に示した処理を実行する。

所定数以上の領域情報が領域情報格納部２１１に格納された場合（Ｓ２０８：Ｙｅｓ）、制限情報生成部２１２は、制限情報格納部２１３に格納された複数の領域情報から、左画像について制限情報を生成し、生成した制限情報を領域情報格納部２１１に格納する（Ｓ２０９）。ステップＳ１０９が実行された場合、カメラ２００、ずれ量算出部２０５、距離測定部２０６、第１の大きさ制限部２０７、およびクラスタリング部２２０は停止する。

次に、カメラ２０１は画像を取り込み、左画像として画像補正部２０２へ出力する（Ｓ２１０）。画像補正部２０２は、カメラ２０１から受け取った左画像に対して補正を行わず、受け取った左画像を第２の大きさ制限部２０９へ出力する。そして、第２の大きさ制限部２０９は、画像補正部２０２から受け取った左画像について、領域情報格納部２１１に格納された制限情報を満たす顔画像の領域を抽出する（Ｓ２１１）。そして、第２のパターンマッチング処理部２０８は、抽出された領域について、第２のパターンマッチング処理を実行し、検出した領域を示す情報を、左画像のデータと共に、汎用コンピュータ２１へ出力し（Ｓ２１２）、カメラ２０１は、再びステップＳ２１０に示した処理を実行する。

以上、本発明の第２の実施形態について説明した。

なお、本発明は、上記した実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

例えば、上記した実施形態において、カメラ装置２０は、ステレオカメラを用いて、撮像領域内の物体までの距離を測定したが、他の形態として、カメラ装置２０は、赤外線や超音波等を用いて物体までの距離を測定してもよい。また、カメラ装置２０は、ＴＯＦ（Time of Flight）技術を用いて、物体までの距離を測定してもよい。

また、他の形態として、監視システム１０は、第１実施形態に記載したカメラ装置２０の機能を実現する第１のカメラ装置２０と、第２実施形態に記載したカメラ装置２０の機能を実現する第２のカメラ装置２０と、第１のカメラ装置２０および第２のカメラ装置２０のいずれか一方に顔画像の検出を行わせ、当該一方の検出精度が低い場合に、他方に顔画像の検出を行わせる切替手段と、を備えるように構成してもよい。

また、上記した実施形態のカメラ装置２０において、一連の演算処理を行う処理機能ブロックおよび処理手段は、ＣＰＵ（Central Processing Unit）を有する電子計算機により構築されたシステム上に、ソフトウェアにより構成されて処理されているが、これらは様々な形態の電子計算機システムで構成することが可能である。例えば、カメラ装置２０は、組み込み機器やワンチップ化された画像処理プロセッサ中に構築することも可能である。以上説明した実施例では主に人や車両の検出について説明したが、人や車両の他に人物の胴体，文字，記号の検出にも本発明は有効である。

また、上記したステレオカメラによる対象物体の検出手法は、例えば組み込み機器でパターン検出をする必要がある用途で特に有効である。組み込み機器では汎用コンピュータで用いられるような高速なプロセッサは消費電力や、発熱量、コスト等の問題で搭載できない場合が多いため、低消費電力で発熱量が低く、低コストである組み込みマイコンやＤＳＰ（Digital Signal Processor）を搭載する必要がある。このような組込み機器としては、例えばスタンドアロンで動作するハードディスクレコーダ、ＤＣＣＴＶ（Digital Closed Circuit TeleVision）、小型画像処理ユニット等がある。

本発明の実施形態に係る監視システム１０の構成の一例を示すシステム構成図である。 第１実施形態におけるカメラ装置２０の機能構成の一例を示すブロック図である。 テンプレート格納部２０４に格納されるデータ構造の一例を示す図である。 制限情報格納部２１３に格納されるデータ構造の一例を示す図である。 領域情報算出部２１０によって算出される検出対象画像の領域の一例を説明するための概念図である。 制限情報生成部２１２によって算出される領域情報の一例を説明するための概念図である。 領域情報格納部２１１に格納されるデータ構造の一例を示す図である。 第１実施形態におけるカメラ装置２０の動作の一例を示すフローチャートである。 第２実施形態におけるカメラ装置２０の機能構成の一例を示すブロック図である。 第２実施形態における距離測定部２０６の対応領域検出処理を説明するための概念図である。 第２実施形態におけるカメラ装置２０の動作の一例を示すフローチャートである。

符号の説明

１０・・・監視システム、２０・・・カメラ装置、２００・・・カメラ、２０１・・・カメラ、２０２・・・画像補正部、２０３・・・第１のパターンマッチング処理部、２０４・・・テンプレート格納部、２０４０・・・テンプレートデータ、２０４１・・・範囲情報、２０５・・・ずれ量算出部、２０６・・・距離測定部、２０７・・・第１の大きさ制限部、２０８・・・第２のパターンマッチング処理部、２０９・・・第２の大きさ制限部、２１０・・・領域情報算出部、２１１・・・領域情報格納部、２１１０・・・番号、２１１１・・・領域情報、２１１２・・・範囲情報、２１１３・・・基準座標、２１２・・・制限情報生成部、２１３・・・制限情報格納部、２１３０・・・番号、２１３１・・・中心座標、２１３２・・・領域情報、２２０・・・クラスタリング部、２２１・・・パターンマッチング処理部、２１・・・汎用コンピュータ、２２・・・モニタ、２３・・・データベース、３０・・・画像、３１・・・領域、３２・・・領域、３３・・・折れ線、３４・・・基準座標、４０・・・左画像、４１・・・右画像、４２・・・領域、４３・・・走査線、４４・・・領域、４５・・・領域

Claims (9)

1. 撮像された画像から検出対象物体を検出するカメラ装置であって、
   撮像手段と、
   前記検出対象物体のテンプレートおよび大きさの範囲を示す情報を格納するテンプレート格納手段と、
   前記撮像手段によって撮像された画像から、前記テンプレートに類似する領域を抽出する第１のパターンマッチング処理を実行する第１のパターンマッチング処理手段と、
   前記撮像手段から、前記第１のパターンマッチング処理手段によって抽出された領域までの距離を測定する距離測定手段と、
   前記距離測定手段によって測定された距離情報を用いて、前記第１のパターンマッチング処理手段によって抽出された領域の中で、前記テンプレート格納手段に格納された大きさの範囲に含まれる領域を抽出する第１の大きさ制限手段と、
   前記第１の大きさ制限手段によって抽出された領域の中から、前記テンプレートに類似する領域を抽出することにより、検出対象物体を検出する第２のパターンマッチング処理を実行する第２のパターンマッチング処理手段と
   を備えることを特徴とするカメラ装置。
2. 請求項１に記載のカメラ装置であって、
   前記第１のパターンマッチング処理は、前記第２のパターンマッチング処理よりも、精度が低いが高速であることを特徴とするカメラ装置。
3. 請求項１に記載のカメラ装置であって、
   前記撮像手段は、左右に２つの画像取り込み手段を有するステレオカメラであり、
   前記第１のパターンマッチング処理手段は、
   前記撮像手段によって撮像された左画像および右画像のそれぞれについて、前記第１のパターンマッチング処理を行い、
   前記距離測定手段は、
   前記第１のパターンマッチング処理手段によって前記右画像および前記左画像のそれぞれで抽出された領域において、対応する領域を特定し、対応する領域の視差から、当該領域までの距離を算出することを特徴とするカメラ装置。
4. 請求項３に記載のカメラ装置であって、
   前記距離測定手段は、
   前記右画像および前記左画像のいずれか一方の画像に含まれる、前記第１のパターンマッチング処理手段によって抽出された領域内の一部の画素を基準として、ＰＩＳＣ（Peripheral Increment Sign Correlation）を用いて、他方の画像内で対応する領域を特定することを特徴とするカメラ装置。
5. 請求項３に記載のカメラ装置であって、
   前記第２のパターンマッチング処理によって抽出された領域を用いて、前記２つの画像取り込み手段の光軸のずれ量を算出するずれ量算出手段と、
   前記ずれ量算出手段によって算出されたずれ量に基づいて、前記撮像手段によって撮像された画像を補正し、補正した画像を前記第１のパターンマッチング処理手段へ供給する画像補正手段と
   をさらに備えることを特徴とするカメラ装置。
6. 請求項３に記載のカメラ装置であって、
   前記右画像および前記左画像のそれぞれについて、前記第２のパターンマッチング処理によって抽出された領域の画像内での位置および大きさを示す領域情報を格納する領域情報格納手段と、
   前記第２のパターンマッチング処理によって検出対象物体の領域が抽出された場合に、当該領域の画像内での位置および大きさを算出して領域情報として前記領域情報格納手段に格納する領域情報算出手段と、
   所定のタイミングで、前記領域情報格納手段に格納された複数の領域情報から、前記右画像および前記左画像のいずれか一方について、画像内の領域を示す情報毎に、当該領域内で撮像されるべき検出対象物体の大きさの範囲を示す制限情報を生成する制限情報生成手段と、
   前記第１のパターンマッチング処理手段によって抽出された領域の中から、前記撮像手段によって撮像された右画像および左画像のいずれか一方について、画像内の位置および大きさが、前記制限情報生成手段によって生成された制限情報を満たす領域を抽出する第２の大きさ制限手段と
   をさらに備え、
   前記距離測定手段および前記第１の大きさ制限手段は、
   前記制限情報生成手段によって制限情報が生成された場合に処理を停止し、
   前記第２のパターンマッチング手段は、
   前記制限情報生成手段によって前記制限情報が生成された場合に、前記第２の大きさ制限手段によって抽出された領域の中から、前記テンプレートに類似する領域を抽出することにより、検出対象物体を検出することを特徴とするカメラ装置。
7. 撮像された画像から検出対象物体を検出するカメラ装置であって、
   左右に２つの画像取り込み手段を有するステレオカメラである撮像手段と、
   前記撮像手段によって撮像された左画像および右画像において、対応する領域の視差から、当該領域までの距離を算出する距離測定手段と、
   前記距離測定手段によって測定されたそれぞれの前記物体までの距離の差が、前記検出対象物体としてあり得る奥行きの範囲内である領域を同一物体の領域としてクラスタリングするクラスタリング手段と、
   前記検出対象物体のテンプレートおよび大きさの範囲を示す情報を格納するテンプレート格納手段と、
   前記撮像手段から前記クラスタリング手段によってクラスタリングされた領域までの距離を用いて、当該クラスタリングされた領域の中で、前記テンプレート格納手段に格納された大きさの範囲に含まれる領域を抽出する第１の大きさ制限手段と、
   前記第１の大きさ制限手段によって抽出された領域の中から、前記テンプレートに類似する領域を抽出することにより、検出対象物体を検出するパターンマッチング処理手段と
   を備え、
   前記距離測定手段は、
   前記右画像および前記左画像のいずれか一方の画像に含まれる物体の領域内の画素を基準として、ＰＩＳＣ（Peripheral Increment Sign Correlation）を用いて、他方の画像内で対応する物体の領域を特定する処理を、基準とする画素数を徐々に増やしながら繰り返すことにより、前記右画像および前記左画像のそれぞれの領域において、対応する領域を特定することを特徴とするカメラ装置。
8. 請求項７に記載のカメラ装置であって、
   前記パターンマッチング処理手段によって抽出された領域を用いて、前記２つの画像取り込み手段の光軸のずれ量を算出するずれ量算出手段と、
   前記ずれ量算出手段によって算出されたずれ量に基づいて、前記撮像手段によって撮像された画像を補正し、補正した画像を前記距離測定手段へ供給する画像補正手段と
   をさらに備えることを特徴とするカメラ装置。
9. 請求項７に記載のカメラ装置であって、
   前記右画像および前記左画像のそれぞれについて、前記パターンマッチング処理手段によって抽出された領域の画像内での位置および大きさを示す領域情報を格納する領域情報格納手段と、
   前記パターンマッチング処理手段によって検出対象物体の領域が抽出された場合に、当該領域の画像内での位置および大きさを算出して領域情報として前記領域情報格納手段に格納する領域情報算出手段と、
   所定のタイミングで、前記領域情報格納手段に格納された複数の領域情報から、前記右画像および前記左画像のいずれか一方について、画像内の領域を示す情報毎に、当該領域内で撮像されるべき検出対象物体の大きさの範囲を示す制限情報を生成する制限情報生成手段と、
   前記撮像手段から出力される右画像および左画像のいずれか一方について、当該画像に含まれる物体の領域の中から、当該画像内での位置および大きさが前記制限情報生成手段によって生成された制限情報を満たす領域を抽出する第２の大きさ制限手段と
   をさらに備え、
   前記距離測定手段、前記クラスタリング手段、および前記第１の大きさ制限手段は、
   前記制限情報生成手段によって制限情報が生成された場合に処理を停止し、
   前記パターンマッチング手段は、
   前記制限情報生成手段によって前記制限情報が生成された場合に、前記第２の大きさ制限手段によって抽出された領域の中から、前記テンプレートに類似する領域を抽出することにより、検出対象物体を検出することを特徴とするカメラ装置。

Images