JPWO2017006749A1 - 画像処理装置および画像処理システム - Google Patents

Abstract

処理すべき画像や人物の抜けを低減して、検索および検知精度を向上することを目的とする。画像から人物の特徴量を算出する画像処理装置において、画像から人物領域の検出を行う人物領域検出手段と、人物領域検出手段で検出した人物の人物領域に対して画像認識技術を用いて特徴量の算出を行う人物特徴量抽出手段と、人物領域検出手段で検出した人物領域を基に当該人物の画像サイズを算出する人物サイズ算出手段と、人物サイズ算出手段で算出した人物のうち少なくとも画像サイズが最大の人物を人物特徴量抽出手段による人物特徴量抽出対象とするとともに、人物特徴量抽出対象外の人物のうち、人物特徴量抽出手段による過去の特徴量累積回数が最少の人物を人物特徴量抽出手段による人物特徴量抽出対象として選定する人物特徴量抽出対象選定手段と、を有することを特徴とする。

Description

本発明は、類似画像処理システムに係り、特に、映像監視システムで撮影・記録した映像において、特定の人物の類似画像検索または類似画像検知した検出結果を間引きする用途に用いて好適な画像処理装置および画像処理システムに関する。

従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設や場所には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、撮影した映像を管理事務所や警備室等の監視センタに伝送し、常駐する監視者がその映像を監視して、目的や必要に応じて、注意したり、あるいは映像を録画・保存するものである。

映像監視システムでの映像の録画・保存において、記録媒体として、従来のビデオテープ媒体に代えて、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は、録画できる映像の量を飛躍的に増大させ、より多地点や長時間の録画を可能にしつつある反面、録画画像を目視でチェックする負担の増加が問題として顕在化しつつある。

このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生に対して、画像認識技術を用いてリアルタイムで自動検知して映像とともに記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に録画画像中から人物登場画像を探し出せる機能である。機能面から人物検索機能は、以下の２種類に大別される。

１つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント「有」と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等を提示する。なお、この検索のクエリ（Ｑｕｅｒｙ）は、イベント発生時刻や撮像装置番号等、検索対象範囲を絞込むための情報として与えられる場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。

２つ目は、類似人物検索機能である。上述した登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、あるいは他の地点の撮像装置で撮影されていないかどうかを、録画画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、特定人物「有」の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、後述の類似度等を返す。特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）をユーザが１ケ指定することで実施される。検索キー画像は、録画画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、録画画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。同一人物判定では、一例として、比較する２つの画像の人物について画像特徴量の類似度を求め、その結果（類似度）が所定の基準値以上である場合に、これらの人物は同一人物であると判定する。なお、録画画像中の人物の画像特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。

特許文献１には、類似画像検索システムを識別器として使う場合において、単一の画像を格子状に分割して類似した画像を集約し検索回数を減らす類似画像検索システムが開示されている。
また、特許文献２には、複数の検索キーを用いて類似画像検索を繰り返すことで網羅的な検索を行う類似画像検索システムに関し、検索回数の抑制と検索精度の向上を両立させることが可能な技術が開示されている。
また、上記した検索のニーズとは別に、あらかじめ登録しておいた１つ以上の顔と類似度が高い顔が映像監視システムのカメラに映ったとき、監視者に通知する類似顔画像検知システムが存在している。

特開２０１１−１０７７９５号公報 特開２０１３−１０１４３１号公報

しかしながら、類似画像検索システムにおいて、映像中への人物の登場を自動検知の対象としてリアルタイムに記録（登録処理）するが、同時に多数の人物が登場すると、登録処理が間に合わなくなる場合がある。このとき、全ての人物を処理している間に何枚か処理すべき画像が抜けてしまう場合がある。

また、類似画像検知システムにおいて、映像中への人物の登場を自動検知の対象としてリアルタイムに類似画像検知処理を行うが、同時に多数の人物が登場すると、上記した類似画像検索システムと同様に、全ての人物をあらかじめ登録した画像と類似しているかの処理（以降、照合処理と呼ぶ）をしている間に何枚か処理すべき画像が抜けてしまう場合がある。

上述したように、類似画像検索システムや類似画像検知システムにおいては、全ての人物が網羅的に一度は処理されるという長所がある一方で、それぞれの人物がカメラ前を通過する間に複数回自動検知される中、ベストのタイミングでの検知結果、すなわち、処理すべき画像が抜けてしまって処理が為されず、結果として検索および検知精度が悪くなるという課題がある。

そこで、類似画像検索システムや類似画像検知システムを運用する際に、検知対象の人物が比較的大きく映っているもののみを処理するように設定し、ベストのタイミングでの画像が抜けてしまうことを防ぐ方法をとることがある。このようにすれば、類似画像検索システムにおける検索精度や類似画像検知システムにおける検知精度が高い画像のみを検知対象とする効果が得られる。しかし、このような方法では、手前に人物が立ち止まっていると、奥にいる人物が類似画像検索システムの登録処理や類似画像検知システムの照合処理にかけられることなく、通過してしまう場合があるという課題がある。

上記の特許文献１は、映像中への人物の登場を自動検知する際の処理量を減らすものであるが、類似画像検知システムにおける登録処理や類似画像検知システムにおける照合処理に関わるものではない。また、上記の特許文献２は、類似画像検知システムにおける検索回数の抑制と検索精度の向上を両立させるものであるが、類似画像検索システムの登録処理や類似画像検知システムの照合処理に関わるものではない。

本発明は、このような従来の事情に鑑みなされたものであり、処理すべき画像や人物の抜けを低減して、検索および検知精度を向上することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、画像から人物の特徴量を算出する画像処理装置において、画像から人物領域の検出を行う人物領域検出手段と、前記人物領域検出手段で検出した人物の人物領域に対して画像認識技術を用いて特徴量の算出を行う人物特徴量抽出手段と、前記人物領域検出手段で検出した人物領域を基に当該人物の画像サイズを算出する人物サイズ算出手段と、前記人物サイズ算出手段で算出した人物のうち少なくとも画像サイズが最大の人物を前記人物特徴量抽出手段による人物特徴量抽出対象とするとともに、前記人物特徴量抽出対象外の人物のうち、前記人物特徴量抽出手段による過去の特徴量累積回数が最少の人物を前記人物特徴量抽出手段による人物特徴量抽出対象として選定する人物特徴量抽出対象選定手段と、を有することを特徴とする。

また、上記目的を達成するために、本発明に係る画像処理装置は、画像から人物の特徴量を算出する画像処理装置において、画像から人物領域の検出を行う人物領域検出手段と、前記人物領域検出手段で検出した人物の人物領域に対して画像認識技術を用いて特徴量の算出を行う人物特徴量抽出手段と、前記人物領域検出手段で検出した人物領域を基に当該人物の画像サイズを算出する人物サイズ算出手段と、乱数を生成する乱数生成手段と、前記人物サイズ算出手段で算出した人物のうち少なくとも画像サイズが最大の人物を前記人物特徴量抽出手段による人物特徴量抽出対象とするとともに、前記乱数生成手段により生成された乱数を用いて演算を実施し、実施した演算結果に応じて前記人物特徴量抽出対象外とした人物から前記人物特徴量抽出手段による人物特徴量抽出対象とする人物を選定する人物特徴量抽出対象選定手段と、を有することを特徴とする。

また、上記目的を達成するために、本発明に係る画像処理システムは、画像から人物の特徴量を算出する画像処理システムにおいて、画像を撮像する撮像手段と、前記撮像手段により撮像された画像データを記録する録画手段と、前記画像データを処理する画像処理手段を有し、前記画像処理手段は、前記撮像手段により撮像された画像から人物領域の検出を行う人物領域検出手段と、前記人物領域検出手段で検出した人物の人物領域に対して画像認識技術を用いて特徴量の算出を行う人物特徴量抽出手段と、前記人物領域検出手段で検出した人物領域を基に当該人物の画像サイズを算出する人物サイズ算出手段と、前記人物サイズ算出手段で算出した人物のうち少なくとも画像サイズが最大の人物を前記人物特徴量抽出手段による人物特徴量抽出対象とするとともに、前記人物特徴量抽出対象外の人物のうち、前記人物特徴量抽出手段による過去の特徴量累積回数が最少の人物を前記人物特徴量抽出手段による人物特徴量抽出対象として選定する人物特徴量抽出対象選定手段を有し、前記撮像手段、前記録画手段、前記画像処理手段はネットワークにて接続されることを特徴とする。

また、上記目的を達成するために、本発明に係る画像処理システムは、画像から人物の特徴量を算出する画像処理システムにおいて、画像を撮像する撮像手段と、前記撮像手段により撮像された画像データを記録する録画手段と、前記画像データを処理する画像処理手段を有し、前記画像処理手段は、前記撮像手段により撮像された画像から人物領域の検出を行う人物領域検出手段と、前記人物領域検出手段で検出した人物の人物領域に対して画像認識技術を用いて特徴量の算出を行う人物特徴量抽出手段と、前記人物領域検出手段で検出した人物領域を基に当該人物の画像サイズを算出する人物サイズ算出手段と、乱数を生成する乱数生成手段と、前記人物サイズ算出手段で算出した人物のうち少なくとも画像サイズが最大の人物を前記人物特徴量抽出手段による人物特徴量抽出対象とするとともに、前記乱数生成手段により生成された乱数を用いて演算を実施し、実施した演算結果に応じて前記人物特徴量抽出対象外とした人物から前記人物特徴量抽出手段による人物特徴量抽出対象とする人物を選定する人物特徴量抽出対象選定手段を有し、前記撮像手段、前記録画手段、前記画像処理手段はネットワークにて接続されることを特徴とする。

本発明によれば、処理すべき画像や人物の抜けを低減して、検索および検知精度を向上することができる。

本発明の実施形態１に係る画像処理システムのシステム構成を例示する図である。 本発明の実施形態１に係る画像処理システムに用いる撮像装置のハードウェア構成を例示する図である。 本発明の実施形態１に係る画像処理システムに用いる録画装置のハードウェア構成を例示する図である。 本発明の実施形態１に係る画像処理システムに用いる端末装置のハードウェア構成を例示する図である。 本発明の実施形態１に係る画像処理システムにおける検索人物登録処理のシーケンスの一例を示す図である。 本発明の実施形態１に係る画像処理システムにおける検索人物登録テーブルの一例を示す図である。 本発明の実施形態２に係る画像処理システムのシステム構成を例示する図である。 本発明の実施形態２に係る画像処理システムにおける検索人物照合処理のシーケンスの一例を示す図である。 本発明の実施形態２に係る画像処理システムにおける検索人物登録テーブルの一例を示す図である。

＜実施形態１＞ 以下、本発明の実施形態１に係る画像処理システムについて、図面を参照して説明する。

［画像処理システムの構成］
まず、図１を参照して、本発明の実施形態１に係る画像処理システムの構成について説明する。図１は、本発明の実施形態１に係る画像処理システムのシステム構成を例示する図である。
本実施形態１に係る画像処理システムは、図１に示すように、ネットワーク２００に、撮像装置２０１、録画装置１０２、端末装置１０３が接続され、互いに通信可能な状態で構成される。

ネットワーク２００は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の各装置を相互に接続して通信を行う通信手段である。

撮像装置２０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子等で撮像した画像にデジタル変換処理を施し、変換された画像データを、ネットワーク２００を介して録画装置１０２へ出力するネットワークカメラや監視カメラ等の装置である。

録画装置１０２は、ネットワーク２００を介して撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本装置には、本発明の方式を含む人物検索機能も搭載されている。
録画装置１０２は、機能構成として、画像送受信部２１０、画像記録部２１１、再生制御部２１２、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、属性情報記録部２１６、要求受信部２１７、類似人物検索部２１８、登場イベント検索部２１９、検索結果送信部２２０、キーワード記録部１１０、キーワード検索部１１１、処理人物選択部１２０の各処理部を有する。

画像送受信部２１０は、装置外部からの画像の入出力を行う処理部であり、撮像装置２０１からの入力画像データの受信、端末装置１０３への出力画像データの送信を行う。
画像記録部２１１は、入力画像データの記録媒体への書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（画像の識別情報）も併せて記録する。また、画像記録部２１１は、記録媒体の記憶容量が満杯になるのを防止するため、古い画像データに新たに撮影した画像データを自動的に上書きするようにしている。
再生制御部２１２は、端末装置１０３への映像再生を制御する。

人物領域検出部２１３は、入力画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。
人物特徴量抽出部２１４は、人物領域検出部２１３で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容（どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方）、或いは、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等が挙げられるが、本実施形態においては、使用する特徴量の種類や数はいずれであってもよい。

人物特徴量記録部２１５は、人物特徴量抽出部２１４で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部２１１における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部２１６は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。

要求受信部２１７は、端末装置１０３からの検索要求やキーワード付与要求の受信をおこなう。検索要求には、類似画像検索要求と、登場イベント検索要求がある。
類似人物検索部２１８は、要求受信部２１７にて受信した要求が類似人物検索要求であった場合に、類似画像検索を行う。
登場イベント検索部２１９は、要求受信部２１７にて受信した要求が登場イベント検索要求であった場合に、検索を行う。
検索結果送信部２２０は、類似人物検索部２１８や登場イベント検索部２１９から得た類似人物検索結果や登場イベント検索結果の端末装置１０３への送信を行う。

キーワード記録部１１０は、要求受信部２１７にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しを行う。
キーワード検索部１１１は、要求受信部２１７にて受信した要求がキーワード検索要求であった場合に、キーワード検索を行う。
処理人物選択部１２０は、人物領域検出部２１３の複数の検出結果に対し、個別に次の処理に送るかどうかの判定を行う。

端末装置１０３は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。
端末装置１０３は、機能構成として、検索要求送信部２２１、検索結果受信部２２２、検索結果表示部２２３、再生画像表示部２２４、画面操作検知部２２５、キーワード付与要求送信部１１２、複数検索キー選択部１１３の各処理部を有する。また、本装置には、本発明の方式を実現するための人物検索機能も搭載されている。

検索要求送信部２２１は、検索要求の録画装置１０２への送信を行う。類似人物検索の場合、検索要求データには、類似人物検索の検索キーとして、検索キー画像或いはその特徴量が含まれる。また、検索要求データには、絞込みパラメータを含めることも可能である。
検索結果受信部２２２は、検索結果の録画装置１０２からの受信を行う。検索結果として受信するデータには、録画装置１０２において、類似人物検索、あるいは、登場イベント検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置１０２に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」ということにする。

検索結果表示部２２３は、検索結果受信部２２２にて受信した検索結果の画面表示を行う。
再生画像表示部２２４は、録画装置１０２から入力された画像データの画面への連続動画表示を行う。
画面操作検知部２２５は、ユーザによる操作内容の検知及び取得を行う。
キーワード付与要求送信部１１２は、キーワード付与要求の録画装置１０２への送信を行う。
複数検索キー選択部１１３は、検索キーが複数選択されたときに、より少ない数の検索キーを適切に選択する処理を行う。複数検索キー選択部１１３は、録画装置１０２内に設けてもよい。

［撮像装置のハードウェア構成］
図２には、本発明の実施形態１に係る画像処理システムに用いる撮像装置２０１のハードウェア構成を例示してある。
撮像装置２０１のハードウェア構成は、図２に示すように、撮像部２４１、主記憶部２４２、符号化部２４３、ネットワークインタフェース（Ｉ／Ｆ）２４５が、バス２４０で結合された形態である。

撮像部２４１は、レンズを通して撮像した光信号をデジタルデータに変換する。符号化部２４３は、撮像部２４１が出力するデジタルデータを符号化して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの画像データに変換する。主記憶部２４２は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークＩ／Ｆ２４５は、ネットワーク２００を介して、主記憶部２４２上の画像データを録画装置１０２に送信するためのインタフェースである。

［録画装置のハードウェア構成］
図３には、本発明の実施形態１に係る画像処理システムに用いる録画装置１０２のハードウェア構成を例示してある。
録画装置１０２のハードウェア構成は、図３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２５１、主記憶部２５２、補助記憶部２５３、ネットワークＩ／Ｆ２５４が、バス２５０で結合された形態である。

ＣＰＵ２５１は、録画装置１０２の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２５２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体装置で実現され、検索のための画像データやＣＰＵ２５１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２５３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２５２より大容量のメモリであり、画像データやプログラムを格納する。ネットワークＩ／Ｆ２５４は、ネットワーク２００を介して、撮像装置２０１からの画像データを受信したり、端末装置１０３から検索キーワードを受信したり、端末装置１０３に画像データを送信するためのインタフェースである。

［端末装置のハードウェア構成］
図４には、本発明の実施形態１に係る画像処理システムに用いる端末装置１０３のハードウェア構成を例示してある。
端末装置１０３のハードウェア構成は、図４に示すように、ＣＰＵ２６１、主記憶部２６２、補助記憶部２６３、表示Ｉ／Ｆ２６４、入出力Ｉ／Ｆ２６５、ネットワークＩ／Ｆ２６６が、バス２６０で結合された形態である。また、表示Ｉ／Ｆ２６４は、表示装置２７０と接続され、入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続される。

ＣＰＵ２６１は、端末装置１０３の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２６２は、ＤＲＡＭなどの半導体装置で実現され、表示のための画像データやＣＰＵ２６１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２６３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２６２より大容量のメモリであり、検索キーワード、画像データやプログラムを格納する。表示Ｉ／Ｆ２６４は、表示装置２７０と接続するためのインタフェースである。入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続するためのインタフェースである。ネットワークＩ／Ｆ２６６は、ネットワーク２００を介して、録画装置１０２から画像データを受信したり、録画装置１０２に検索キーワードを送信するためのインタフェースである。
表示装置２７０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの装置であり、画像や動画をその表示部に表示する装置である。ユーザは、表示装置２７０の表示部に表示された画像を、キーボード２８０やマウス２８２などの入出力装置を操作して、例えばＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）操作することによって、端末装置１０３、及び、画像処理システムを操作する。

［画像処理システムの検索人物登録処理］
次に、本発明の実施形態１に係る画像処理システムにおける検索人物の登録処理について、図５および図６を参照して説明する。図５は、本発明の実施形態１に係る画像処理システムにおける検索人物登録処理のシーケンスの一例を示す図である。また、図６は、本発明の実施形態１に係る画像処理システムにおける検索人物登録テーブルの一例を示す図である。図６に示すように、検索人物登録テーブル５００には、画像処理システムでの検索人物登録処理における人物追跡結果と人物サイズ、特徴量抽出処理累積回数および今回特徴量抽出フラグが登録されている。
本実施例では、１画像あたり３つの顔画像をリアルタイムに登録処理できる性能を持つ画像処理システムについて述べる。図５の１画像あたりの登録処理手順は画像毎に繰り返し実行されるものであるが、ここでは、複数回実施された後、１画像あたり４つの顔画像を検知した場合について述べる。

最初の初期化処理（Ｓ５００１）では、メモリの確保や今回特徴量抽出フラグのゼロクリアが行われる。メモリ上の検索人物登録テーブル５００の値は、図６（ａ）に示すようになっている。例えば、特徴量抽出処理累積回数は、人物Ａが「４」、人物Ｂが「１」、人物Ｃが「３」となっている。特徴量抽出処理累積回数のカウント方法については後述する。
次に、画像の受信処理（Ｓ５００２）では、録画装置１０２の画像送受信部２１０によって、撮像装置２０１から画像の受信が行われる。
次に、人物領域の検出処理（Ｓ５００３）では、録画装置１０２の人物領域検出部２１３によって、画像から人物領域の検出が行われる。なお、本実施例では人物領域とは顔の領域である。また、本実施例では４つの人物画像を検出したが、それぞれの検出領域をメモリ上に保持し、次の処理が参照できるようにする。
続いて、人物領域の追跡処理（Ｓ５００４）、人物サイズ優先判定処理（Ｓ５００５）および処理数最少判定（Ｓ５００６）が、録画装置１０２の処理人物選択部１２０にて実施される。

人物領域の追跡処理（Ｓ５００４）では、前回の人物領域の検出位置と今回の人物領域の検出位置の位置関係から、前回処理した人物と今回検出された人物の追跡処理を行う。この処理によってどの検出結果がどの人物かが分かるので、それぞれの人物サイズを人物領域から計算して、図６（ｂ）に示すように関連付けを行うことができる。ここでは、人物Ａの人物サイズが「７２画素」、人物Ｂの人物サイズが「６０画素」、人物Ｃの人物サイズが「４８画素」となっている。また、前回検出されなかった人物Ｄが人物サイズ「３８画素」で今回初めて検出されている。
なお、本実施例では、人物領域の追跡処理（Ｓ５００４）は前回の人物領域の検出位置と今回の人物領域の検出位置の位置関係から追跡処理を行うとしたが、位置関係ではなく、前回の人物領域の顔画像と今回の人物領域の顔画像の特徴量の一致度等別の方法によって追跡処理を行ってもよい。

人物サイズ優先判定処理（Ｓ５００５）では、人物Ａ〜人物Ｄのうち少なくとも人物サイズが最大であった人物画像を選択する処理を行う。ここでは大きかった２人の人物画像を選択する処理を行う。上位何人を選択するかはシステムにおける処理能力に応じて決定される。同一最大サイズの人が複数存在した場合は、ランダムに選択するか、抽出履歴が少ない人を選択する。図６（ｃ）に示す例では、人物サイズが「７２画素」の人物Ａと人物サイズが「６０画素」の人物Ｂが選択される。選択した人物Ａと人物Ｂの今回特徴量抽出フラグが「１」に変更され、特徴量抽出累積回数が１ずつ増やされる。
なお、本実施例では、人物サイズ優先判定処理（Ｓ５００５）は２つの人物画像を選択する処理を行うが、２つではなく１つでもよい。また、リアルタイムに登録処理できる性能が３つではなく４つであれば３つの人物画像を選択するようにしてもよい。

処理数最少判定処理（Ｓ５００６）では、今回特徴量抽出フラグが「０」の人物のうち、特徴量抽出処理累積回数が少ない人物を選択し、今回特徴量抽出フラグを「１」にして特徴量抽出処理累積回数を１ずつ増やす処理を行う。つまり、特徴量抽出処理累積回数が最小の人を選択する。最小回数の人が複数存在する場合はランダムあるいは人物サイズが大きい方を選択する。具体的には、図６(ｃ)の段階で今回特徴量抽出フラグが「０」の人物Ｃと人物Ｄのうち、人物Ｄの特徴量抽出処理累積回数が「０」であり、人物Ｃの特徴量抽出処理累積回数より少ないので、人物Ｄが選択され、図６（ｄ）のように、人物Ｄの今回特徴量抽出フラグが「１」になり、特徴量抽出累積処理回数が「１」になっている。

人物特徴量の抽出処理（Ｓ５００７）では、録画装置１０２の人物特徴量抽出部２１４によって、今回特徴量抽出フラグが「１」になっている人物の人物領域に対して画像認識技術を用いて特徴量算出をおこなう。具体的には、図６（ｄ）の場合、人物Ａ、人物Ｂ及び人物Ｄに対して特徴量算出をおこなう。
人物特徴量の記録処理（Ｓ５００８）では、録画装置１０２の人物特徴量記録部２１５によって、人物特徴量の抽出処理（Ｓ５００７）で算出した特徴量の記録媒体への書込みをおこなう。

なお、本実施例では、人物サイズ優先判定処理（Ｓ５００５）を設けたが、人物のサイズではなく、人物の向き優先判定処理としてもよい（例えば正面向きを優先する）。あるいは、また、人物領域の検出処理における人物らしさの度合いが、より人物らしいと判断されたものを優先する判定処理としてもよい。ここでの人物とは人物全体としても良いし、人物における顔のみとしてもよい。

以上説明したように、本発明の実施形態１に係る画像処理システムによれば、処理すべき画像や人物の抜けを低減して、検索および検知精度を向上することができる。

＜実施形態２＞ 以下、本発明の実施形態２に係る画像処理システムについて、図面を参照して説明する。なお、各図の説明において、本発明の実施形態１に係る画像処理システムと共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避けるため、説明を省略するようにした。

［画像処理システムの構成］
まず、図７を参照して、本発明の実施形態２に係る画像処理システムの構成について説明する。図２は、本発明の実施形態２に係る画像処理システムのシステム構成を例示する図である。
本実施形態２に係る画像処理システムは、図７に示すように、ネットワーク２００に、撮像装置２０１および端末装置７０３が接続され、互いに通信可能な状態で構成される。

端末装置７０３は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。
端末装置７０３は、機能構成として、画像受信部７１０、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、類似人物検知部７１８、検知結果表示部７２０、処理人物選択部１２０の各処理部を有する。また、本装置には、本発明の方式を実現するための人物検索機能も搭載されている。

画像受信部７１０は、装置外部からの画像入力をおこなう処理部であり、撮像装置２０１からの入力画像データの受信を行う。
人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５は、図１の構成要素と同様であるので説明を省略する。

類似人物検知部７１８は、画像受信部７１０において撮像装置２０１から受信した画像に対し、人物領域検出部２１３で検出した結果、人物が含まれていた場合において、当該人物の特徴量を人物特徴量抽出部２１４で抽出した結果と、あらかじめ検知対象として記録しておいた人物特徴量記録部２１５に記録されている特徴量との比較を行い、類似度が一定以上かどうかで検知を行う。

検知結果表示部７２０は、類似人物検知部７１８から得た類似人物検知結果の端末装置７０３のモニタ表示を行う。
処理人物選択部１２０は、人物領域検出部２１３の複数の検出結果に対し、個別に次の処理に送るかどうかの判定を行う。

なお、端末装置７０３の一部の機能、例えば人物領域検出部２１３が撮像装置２０１の内部にあってもよい。また、端末装置７０３の機能を２つに分け、検知結果表示部７２０を別の端末装置内に移してもよい。なお、類似画像検知装置である端末装置７０３のハードウェア構成は図３に示される端末装置１０３のハードウェア構成と全く同一である。

［画像処理システムの検索人物照合処理］
次に、本発明の実施形態２に係る画像処理システムにおける検索人物の照合処理について、図８および図９を参照して説明する。図８は、本発明の実施形態２に係る画像処理システムにおける検索人物照合処理のシーケンスの一例を示す図である。また、図９は、本発明の実施形態２に係る画像処理システムにおける検索人物登録テーブルの一例を示す図である。図９に示すように、検索人物登録テーブル５１０には、画像処理システムでの検索人物照合処理における人物サイズおよび今回特徴量抽出フラグが登録されている。
本実施例では、１画像あたり３つの顔画像をリアルタイムに照合処理できる性能を持つ類似画像検知システムについて述べる。図８の１画像あたりの照合処理手順は画像毎に繰り返し実行されるものであるが、ここでは、１画像あたり４つの顔画像を検知した場合について述べる。

最初の初期化処理（Ｓ８００１）では、メモリの確保や今回特徴量抽出フラグのゼロクリアが行われる。メモリ上の検索人物登録テーブル５１０の値は、図９（ａ）に示すようになっている。例えば、人物サイズは、人物Ａが「７２画素」、人物Ｂが「６０画素」、人物Ｃが「４８画素」、人物Ｄが「３８画素」となっている。
次に、画像の受信処理（Ｓ８００２）では、端末装置７０３の画像受信部７１０によって撮像装置２０１から画像の受信が行われる。
次に、人物領域の検出処理（Ｓ８００３）では、端末装置７０３の人物領域検出部２１３によって、画像から人物領域の検出が行われる。なお、本実施例では人物領域とは顔の領域である。また、本実施例では４つの人物画像を検出したが、それぞれの検出領域をメモリ上に保持し、次の処理が参照できるようにする。
続いて、人物サイズ優先判定処理（Ｓ８００４）、乱数取得処理（Ｓ８００５）および乱数による判定処理（Ｓ８００６）が、端末装置７０３の処理人物選択部１２０にて実施される。

人物サイズ優先判定処理（Ｓ８００４）では、人物Ａ〜人物Ｄのうち人物サイズが大きかった２つの人物画像を選択する処理を行う。図９（ｂ）に示す例では、人物サイズが「７２画素」の人物Ａと人物サイズが「６０画素」の人物Ｂが選択される。選択した人物Ａと人物Ｂの今回特徴量抽出フラグが「１」に変更される。
なお、本実施例において、人物サイズ優先判定処理（Ｓ８００４）では２つの人物画像を選択する処理を行うが、２つではなく１つでもよい。また、リアルタイムに登録処理できる性能が３つではなく４つであれば３つの人物画像を選択するようにしてもよい。

乱数取得処理（Ｓ８００５）では、乱数を取得する。検知する可能性のある桁数の乱数が取得できればよく、暗号で利用されるような乱数でなくてもよい。ここでは、２桁の乱数を取得し、例えば“１５”という値が取得できたとする。
乱数による判定処理（Ｓ８００６）では、乱数取得処理（Ｓ８００５）で取得した乱数を今回特徴量抽出フラグが「０」の人物数で割って、余りが“０”であれば今回特徴量抽出フラグが「０」の人のうち１番目の人物を選択し、余りが“１”であれば２番目の人物を選択するようにする。
本実施例では、人物Ｃと人物Ｄの２人の人物が、今回特徴量抽出フラグが「０」であるので、１５÷２＝７あまり１であるので、２番目の人物Ｄを選択する。人物Ｄが選択されると、図９（ｃ）に示すように、人物Ｄの今回特徴量抽出フラグが「１」となっている。

人物特徴量の抽出処理（Ｓ８００７）では、端末装置７０３の人物特徴量抽出部２１４によって、今回特徴量抽出フラグが「１」になっている人物の人物領域に対して画像認識技術を用いて特徴量算出をおこなう。具体的には、図９（ｃ）の場合、人物Ａ、人物Ｂ及び人物Ｄに対して特徴量算出をおこなう。
類似人物の検知処理（Ｓ８００８）では、事前に検知対象として端末装置７０３の人物特徴量記録部２１５に記録された人物の特徴量と、今回撮像装置２０１からの画像を受信して抽出した人物の特徴量の比較処理を類似人物検知部７１８において行い、類似度合が一定以上であれば、検知結果表示部７２０に表示させる処理を行う。本実施例の場合、人物Ａ、人物Ｂ及び人物Ｄに対して処理をおこなう。
本実施例で示した乱数による判定処理は、複数の人物を網羅的に処理する方法の一例である。動画における人物の画像処理で、撮像装置２０１前を通過するまでに１０フレーム検知されるとき、例えば２人のうち１人を乱数によって選択する処理を行えば、処理されない可能性は１／１０２４となり、非常に小さく、網羅的に処理できるといえる。

なお、本実施例では、人物サイズ優先判定処理（Ｓ８００４）を設けたが、人物のサイズではなく、人物の向き優先判定処理としてもよい（例えば正面向きを優先する）。あるいは、また、人物領域の検出処理における人物らしさの度合いが、より人物らしいと判断されたものを優先する判定処理としてもよい。ここでの人物とは人物全体としても良いし、人物における顔のみとしてもよい。
また、本実施例では、乱数による判定処理（Ｓ８００６）を設けたが、本発明の実施形態１と同様に、人物領域の追跡結果を利用してもよい。また、同様に、本発明の実施形態１のような画像処理システムに乱数による判定処理（Ｓ８００６）を設けてもよい。
また、本実施例では、類似画像検索システムあるいは類似画像検知システムは同一フレームの中で優先的処理と網羅的処理を分けて実施したが、本実施例と同様のことを複数フレームにまたがって実施してもよい。例えば、奇数フレームは優先的処理を実施し、偶数フレームは網羅的処理を実施してもよい。

以上説明したように、本発明の実施形態２に係る画像処理システムによれば、処理すべき画像や人物の抜けを低減して、検索および検知精度を向上することができる。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

本発明は、映像監視システムで撮影・記録した映像において、特定の人物の類似画像検索または類似画像検知した検出結果を間引きする用途に用いて好適な画像処理システムを提供する産業で利用される。

１０２：録画装置、１０３：端末装置、１１０：キーワード記録部、１１１：キーワード検索部、１１２：キーワード付与要求送信部、１１３：複数検索キー選択部、１２０：処理人物選択部、２００：ネットワーク、２０１：撮像装置、２１０：画像送受信部、２１１：画像記録部、２１２：再生制御部、２１３：人物領域検出部、２１４：人物特徴量抽出部、２１５：人物特徴量記録部、２１６：属性情報記録部、２１７：要求受信部、２１８：類似人物検索部、２１９：登場イベント検索部、２２０：検索結果送信部、２２１：検索要求送信部、２２２：検索結果受信部、２２３：検索結果表示部、２２４：再生画像表示部、２２５：画面操作検知部、２４０：バス、２４１：撮像部、２４２：主記憶部、２４３：符号化部、２４５：ネットワークＩ／Ｆ、２５０：バス、２５１：ＣＰＵ、２５２：主記憶部、２５３：補助記憶部、２５４：ネットワークＩ／Ｆ、２６０：バス、２６１：ＣＰＵ、２６２：主記憶部、２６３：補助記憶部、２６４：表示Ｉ／Ｆ、２６５：入出力Ｉ／Ｆ、２６６：ネットワークＩ／Ｆ、２７０：表示装置、２８０：キーボード、２８２：マウス、５００：検索人物登録テーブル、５１０：検索人物登録テーブル、７０３：端末装置、７１０：画像受信部、７１８：類似人物検知部、７２０：検知結果表示部。

Claims (4)

1. 画像から人物の特徴量を算出する画像処理装置において、
   画像から人物領域の検出を行う人物領域検出手段と、前記人物領域検出手段で検出した人物の人物領域に対して画像認識技術を用いて特徴量の算出を行う人物特徴量抽出手段と、
   前記人物領域検出手段で検出した人物領域を基に当該人物の画像サイズを算出する人物サイズ算出手段と、
   前記人物サイズ算出手段で算出した人物のうち少なくとも画像サイズが最大の人物を前記人物特徴量抽出手段による人物特徴量抽出対象とするとともに、前記人物特徴量抽出対象外の人物のうち、前記人物特徴量抽出手段による過去の特徴量累積回数が最少の人物を前記人物特徴量抽出手段による人物特徴量抽出対象として選定する人物特徴量抽出対象選定手段と、を有することを特徴とする画像処理装置。
2. 画像から人物の特徴量を算出する画像処理装置において、
   画像から人物領域の検出を行う人物領域検出手段と、前記人物領域検出手段で検出した人物の人物領域に対して画像認識技術を用いて特徴量の算出を行う人物特徴量抽出手段と、
   前記人物領域検出手段で検出した人物領域を基に当該人物の画像サイズを算出する人物サイズ算出手段と、
   乱数を生成する乱数生成手段と、
   前記人物サイズ算出手段で算出した人物のうち少なくとも画像サイズが最大の人物を前記人物特徴量抽出手段による人物特徴量抽出対象とするとともに、前記乱数生成手段により生成された乱数を用いて演算を実施し、実施した演算結果に応じて前記人物特徴量抽出対象外とした人物から前記人物特徴量抽出手段による人物特徴量抽出対象とする人物を選定する人物特徴量抽出対象選定手段と、を有することを特徴とする画像処理装置。
3. 画像から人物の特徴量を算出する画像処理システムにおいて、
   画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像データを記録する録画手段と、
   前記画像データを処理する画像処理手段を有し、
   前記画像処理手段は、
   前記撮像手段により撮像された画像から人物領域の検出を行う人物領域検出手段と、前記人物領域検出手段で検出した人物の人物領域に対して画像認識技術を用いて特徴量の算出を行う人物特徴量抽出手段と、
   前記人物領域検出手段で検出した人物領域を基に当該人物の画像サイズを算出する人物サイズ算出手段と、
   前記人物サイズ算出手段で算出した人物のうち少なくとも画像サイズが最大の人物を前記人物特徴量抽出手段による人物特徴量抽出対象とするとともに、前記人物特徴量抽出対象外の人物のうち、前記人物特徴量抽出手段による過去の特徴量累積回数が最少の人物を前記人物特徴量抽出手段による人物特徴量抽出対象として選定する人物特徴量抽出対象選定手段を有し、
   前記撮像手段、前記録画手段、前記画像処理手段はネットワークにて接続されることを特徴とする画像処理システム。
4. 画像から人物の特徴量を算出する画像処理システムにおいて、画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像データを記録する録画手段と、
   前記画像データを処理する画像処理手段を有し、
   前記画像処理手段は、
   前記撮像手段により撮像された画像から人物領域の検出を行う人物領域検出手段と、前記人物領域検出手段で検出した人物の人物領域に対して画像認識技術を用いて特徴量の算出を行う人物特徴量抽出手段と、
   前記人物領域検出手段で検出した人物領域を基に当該人物の画像サイズを算出する人物サイズ算出手段と、
   乱数を生成する乱数生成手段と、
   前記人物サイズ算出手段で算出した人物のうち少なくとも画像サイズが最大の人物を前記人物特徴量抽出手段による人物特徴量抽出対象とするとともに、前記乱数生成手段により生成された乱数を用いて演算を実施し、実施した演算結果に応じて前記人物特徴量抽出対象外とした人物から前記人物特徴量抽出手段による人物特徴量抽出対象とする人物を選定する人物特徴量抽出対象選定手段を有し、
   前記撮像手段、前記録画手段、前記画像処理手段はネットワークにて接続されることを特徴とする画像処理システム。

Images