JP4939968B2 - 監視画像処理方法、監視システム及び監視画像処理プログラム - Google Patents
監視画像処理方法、監視システム及び監視画像処理プログラム Download PDFInfo
- Publication number
- JP4939968B2 JP4939968B2 JP2007035541A JP2007035541A JP4939968B2 JP 4939968 B2 JP4939968 B2 JP 4939968B2 JP 2007035541 A JP2007035541 A JP 2007035541A JP 2007035541 A JP2007035541 A JP 2007035541A JP 4939968 B2 JP4939968 B2 JP 4939968B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- face image
- monitoring
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、監視システムに係り、具体的には、監視システムにより撮影された動画像の監視画像に基づいて、人物識別に最適な顔画像情報を生成する監視画像処理方法、監視画像処理装置を備えた監視システム及び監視画像処理プログラムに関する。
ビルのエントランス、駐車場、工場、学校などの敷地の入口、大規模店舗やコンビニエンスストアなどの店舗内部などに監視カメラを設け、監視カメラにより撮影された監視画像に基づいて、施設の管理者や警備員などによってリアルタイムで人流監視などを行う監視システムが設けられている。また、監視カメラにより撮影された監視画像を磁気テープや磁気ディスクなどの記憶媒体に記録しておき、必要に応じて監視画像を再生して施設の管理者や警備員などによって準リアルタイムで人流監視などを行う監視システムが設けられている。
このように人が自由に行き来するフリーフロー環境下における人流監視の主な目的は、テロリスト等の犯罪者や不審者を雑踏の中から発見したり、捜査願いの出ている失踪者等を発見するためである。しかし、四六時中、監視者が監視画面を眺めて対象者を発見することは人的コストが非常に大きく、また、疲労や集中力低下により見逃しをする可能性もあり、確実に発見することは困難である。
そこで、監視画像に対して画像処理及び画像認識処理を施して、自動的に対象者を発見することが望まれている。例えば、特許文献１には、監視画像から自動的に顔画像領域を連続的に切出し、時間的に連続する複数の切出し結果に対して、より良く映っている顔画像を各人物毎に１枚だけ抽出することが提案されている。
また、切出された顔画像を監視者により観察するだけでなく、顔画像を用いて人物を識別するシステムにおいては、身分証などによって予め登録した顔画像と、監視画像から切出された顔画像を対比して、一致又は不一致を識別することが要望されている。しかし、識別に用いるカメラで撮影した顔画像は、カメラに対する人物の姿勢の変化に起因する見かけの歪みや変形が起こるから、特定の姿勢の登録顔画像と対比して識別する方法においては、認証精度が低下する要因となっている。特に、顔認識処理のみを行うプログラム（以下、顔認識エンジンという。）においては、正面顔のみを対象にしたものが多く、こうした正面顔の顔認識エンジンでは、見かけの歪みや変形の影響を受けやすい。
このような問題を解決するために、例えば、特許文献２には、登録されている１枚の正面顔画像から三次元の頭部形状モデルを生成し、監視カメラなどで撮影された任意角度の顔画像と同じ向きを向かせるように画像変換を施し、比較・照合を行う手法が提案されている。
しかしながら、特許文献１では、各人物につき１枚の画像のみを出力するため、三次元的な奥行き情報を含む顔形状情報が失われてしまうため、人物の認証精度向上に限界がある。
一方、特許文献２では、フリーフロー環境下で撮影した監視画像の顔画像の画質や顔の向きが適切でない場合は、動画像の監視画像をコマ送りしながら適切な顔画像を選択して三次元の頭部形状モデルの画像変換をしなければならない。したがって、適切な顔画像を選択するために、監視画像の巻き戻し、コマ送りを繰返し行う必要があり、人物識別用の顔画像を生成するのに、手間及び時間がかかる。また、監視画像中に複数の人物が写っている場合は、一人ずつ照合しなければならないから、監視画像の巻き戻し及びコマ送りを繰返し行う必要があるという問題がある。
本発明が解決しようとする課題は、フリーフロー環境下で撮影した監視画像に基づいて、人物識別に最適な顔画像情報を生成することにある。
上記課題を解決するため、本発明の監視システムは、動画像の監視画像を出力する画像入力装置と、該画像入力装置から入力される監視画像に基づいて人物識別に用いる顔画像情報を生成する画像処理装置を備えて構成されている。そして、画像処理装置は、画像入力装置から監視画像をフレーム単位で順次取り込む画像入力部と、該画像入力部から取り込まれる監視画像が格納される入力画像メモリと、該入力画像メモリから監視画像をフレーム単位で順次読み出してフレーム中の一又は複数の人物の顔部を検出する顔画像検出部と、該顔画像検出部により検出された各人物の顔画像を異なるフレーム間で追跡する顔画像追跡部と、該顔画像追跡部により追跡された各人物の顔画像についてフレーム毎に、予め定めた顔画像の画質評価指標を算出する画質評価指標算出部と、該画質評価指標算出部により算出された画質評価指標とともに複数枚の顔画像が格納される顔画像メモリと、該顔画像メモリに格納された複数枚の顔画像の画質評価指標に基づいて、顔向きが異なる複数枚の顔画像を選択して顔画像情報を生成する画像選択部と、画質評価指標算出部によりフレーム毎に算出された顔画像の画質評価指標と顔向きに基づいて最良の顔画像を抽出する最良顔画像評価部と、該最良顔画像評価部により抽出された最良顔画像が格納される最良顔画像メモリを有し、画像選択部は、最良顔画像メモリに格納された最良顔画像と顔画像メモリに格納された複数枚の顔画像の画質評価指標に基づいて、顔向きが異なる複数枚の顔画像を選択して顔画像情報を生成することを特徴とする。
また、画像処理装置は、画像選択部により生成された顔画像情報を出力する画像出力手段を有し、該画像出力手段から出力される顔画像情報を表示する画像表示装置を備えた構成とすることができる。
さらに、監視システムは、三次元形状データ再構成装置を備えた構成とし、該三次元形状データ再構成装置は、前記画像処理装置から出力される複数枚の顔画像に基づいて頭部の三次元形状モデルを再構成し、該三次元形状モデルに基づいて任意角度から見た顔画像を合成する構成とすることができる。この場合、三次元顔認証装置を備えた構成とし、該三次元顔認証装置は、前記三次元形状データ再構成装置により再構成された前記三次元形状モデルに基づいて、監視対象人物の顔写真と同一の角度から見た顔画像を合成して監視対象人物か否かを識別する構成とすることもできる。
さらに、監視システムは、三次元形状データ再構成装置を備えた構成とし、該三次元形状データ再構成装置は、前記画像処理装置から出力される複数枚の顔画像に基づいて頭部の三次元形状モデルを再構成し、該三次元形状モデルに基づいて任意角度から見た顔画像を合成する構成とすることができる。この場合、三次元顔認証装置を備えた構成とし、該三次元顔認証装置は、前記三次元形状データ再構成装置により再構成された前記三次元形状モデルに基づいて、監視対象人物の顔写真と同一の角度から見た顔画像を合成して監視対象人物か否かを識別する構成とすることもできる。
また、画像処理装置は、表示装置の表示画面に画像入力装置から入力される監視画像を表示し、該表示された監視画像上で指定される人物の顔画像情報を同一画面に並べて表示する構成とすることができる。さらに、指定された人物が写っている監視画像に含まれる他の人物の前記顔画像情報を同一画面に並べて表示する構成とすることもできる。
なお、監視システムにおいて、顔画像情報には、該情報に含まれる顔画像が撮影された日時を含ませることも可能である。
なお、監視システムにおいて、顔画像情報には、該情報に含まれる顔画像が撮影された日時を含ませることも可能である。
すなわち、監視画像の連続する複数のフレーム中の一又は複数の人物の顔部を検出して追跡し、同一人物について追跡した複数の顔画像の中から、人物識別に適切な例えば顔向きの角度が異なる複数の顔画像が選択され表示される。したがって、監視カメラから送られてくる監視画像に基づいて、異なる角度から見た人物の特徴をよく表す複数の画像からなる画像セットを得ることができる。特に、監視者が人物を観察する場合、正面顔画像など特定の１枚の画像に加えて、適切に選択された横顔画像や斜め顔画像が同時に提示されると、人物識別をより容易に行うことができる。
しかも、異なる複数の人物ごとに複数枚セットの顔画像が表示されるから、複数の人物の識別、認証、等の監視を精度よく行うことができる。つまり、監視画像の巻き戻し及びコマ送りを繰返し行うことなく、一度の再生で複数の人物の物識別用顔画像を生成することができる。
また、顔向きが異なる複数枚の顔画像を取得できるから、高精度な三次元頭部形状の再構成を行うことができる。
また、本発明の監視画像処理プログラムは、動画像の監視画像をフレーム単位で順次取り込んで各フレーム中の一又は複数の人物の顔部を検出するとともに、各人物の顔画像を異なるフレーム間で追跡する第１処理と、該第１処理で追跡された各人物の顔画像についてフレーム毎に、予め定めた顔画像の画質評価指標を算出する第２処理と、第２処理で算出された画質評価指標が異なる複数枚の顔画像を選択して顔画像メモリに格納する第３処理と、顔画像メモリに格納された複数枚の顔画像の評価指標に基づいて、顔向きが異なる複数枚の顔画像を選択して顔画像情報として画像表示部に出力する第４処理と、第２処理で算出された各フレームの顔画像の画質評価指標と顔向きを評価して最良の顔画像を抽出して最良顔画像メモリに格納する第５処理とを備えて構成されている。そして、第５処理は、最良顔画像と顔画像メモリに格納された複数枚の顔画像の評価指標に基づいて、顔向きが異なる複数枚の顔画像を選択して顔画像情報として画像表示部に出力することを特徴とする。
本発明によれば、フリーフロー環境下で撮影した監視画像に基づいて、人物識別に最適な顔画像情報を生成することができる。
以下、本発明の監視画像処理方法を適用してなる監視システムの実施形態について、図面を参照して説明する。
（第１の実施形態）
以下、本発明の監視システムの第１の実施形態について、図１〜図８を参照しながら詳細に説明する。図１は、本実施形態に係る監視システムの全体構成図である。図２は、本実施形態の主要部である画像処理装置の内部の処理ブロックの概略図である。図３は、画像処理装置の内部の処理の流れを示す図である。
以下、本発明の監視システムの第１の実施形態について、図１〜図８を参照しながら詳細に説明する。図１は、本実施形態に係る監視システムの全体構成図である。図２は、本実施形態の主要部である画像処理装置の内部の処理ブロックの概略図である。図３は、画像処理装置の内部の処理の流れを示す図である。
図１に示すように、本実施形態の監視システムは、監視カメラなどの画像入力装置１と、画像入力装置１から入力される監視画像を処理して顔画像情報を生成する画像処理装置２と、生成された顔画像情報を出力表示する表示装置３を備えて構成されている。画像入力装置１としては、監視カメラの他、デジタルビデオレコーダや、ネットワークカメラ映像集約装置などを適用することができる。画像処理装置２は、プログラムによって動作する情報処理装置（ＣＰＵ）、半導体メモリやハードディスク記憶装置などからなる記憶装置及び各種の入出力装置を備えた、コンピュータによって実現される。
画像処理装置２は、図２に示すように、画像入力装置１に接続された画像入力部２１を備え、動画像の監視画像がフレーム毎に入力されるようになっている。画像入力部２１には、順次、画像処理部２２、画質評価部２３、最良顔画像判定部２４、相関計算部２５、出力部２６が接続されている。出力部２６からは、生成された顔画像情報が表示装置３に出力表示されるようになっている。画像入力部２１と画像処理部２２は、バス３２を介して入力画像メモリ２７に接続されている。画質評価部２３と相関計算部２５は、バス２８を介して顔画像メモリ２９に接続されている。また、最良顔画像判定部２４と相関計算部２５は、バス３０を介して最良顔画像メモリ３１に接続されている。
入力画像メモリ２７には、画像入力装置１から取込まれた画像が格納され、画像処理部２２から必要に応じてアクセスされる。顔画像メモリ２９には、画像処理部２２の処理結果画像、撮像時刻、処理結果画像の個数などの情報が、人物ごとに格納される。また、相関計算部２５は、顔画像メモリ２９に必要に応じてアクセスして、格納された情報を読み取ることができる。
図３は、画像処理装置２の内部の処理の流れを示すブロック図である。図に示すように、画像処理装置２は、画像読込手段４１、顔検出手段４２、顔追跡手段４３、顔向き算出手段４４、画質評価値算出手段４５、最良顔画像評価手段４７、追跡終了判定手段４９、画像間相関算出手段５０、画像選択手段５１、画像セット出力手段５２から構成され、画質評価値算出手段４５は顔画像メモリ２９に、最良顔画像評価手段４７は最良顔画像メモリ３１に、それぞれアクセスするようになっている。
なお、画像読込手段４１の一部と、顔画像メモリ２９、最良顔画像メモリ３１は、コンピュータの記憶装置の一部に割り当てられた記憶領域である。また、顔検出手段４２、顔追跡手段４３、顔向き算出手段４４、画質評価値算出手段４５、最良顔画像評価手段４７、追跡終了判定手段４９、画像間相関算出手段５０、画像選択手段５１は、ＣＰＵが記憶装置に格納されている所定のプログラムを実行することによって実現される。また、画像読込手段４１の一部と、画像セット出力手段５２は、コンピュータの入力又は出力インターフェース回路と、その回路を駆動・制御するプログラムをＣＰＵが実行することとによって実現される。
このように構成される画像処理装置２の各手段４１〜５２の詳細構成について、動作とともに説明する。画像読取手段４１は、画像入力装置１から提供される時間的に連続した映像系列（動画像）のある瞬間の映像フレームを画像データとして獲得する。顔検出手段４２は、獲得された画像データ中の顔領域を検出する。顔領域の検出は、一般的な手法を用いることができ、例えば、画像の輝度、色相、形状、目などの顔画像の特徴情報を用いて検出する。具体的には、非特許文献１に記載された手法を用いることができる。
Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊｏｎｅｓ、"Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ"、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２００１（ＣＶＰＲ０１）。 顔追跡手段４３は、顔検出手段４２で検出された顔画像を連続する複数のフレーム間で追跡する。すなわち、顔検出手段４２によって連続する複数のフレーム毎に顔部の検出を行っても、ノイズ、顔の向き、又は照明条件の変化などにより、一瞬顔を見失うおそれがある。そこで、本実施形態では、顔追跡手段４３を用いて顔画像の追跡を行い、一定時間以内に一定範囲内に顔画像が存在する場合には、同じ顔と判断させている。
Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊｏｎｅｓ、"Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ"、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２００１（ＣＶＰＲ０１）。 顔追跡手段４３は、顔検出手段４２で検出された顔画像を連続する複数のフレーム間で追跡する。すなわち、顔検出手段４２によって連続する複数のフレーム毎に顔部の検出を行っても、ノイズ、顔の向き、又は照明条件の変化などにより、一瞬顔を見失うおそれがある。そこで、本実施形態では、顔追跡手段４３を用いて顔画像の追跡を行い、一定時間以内に一定範囲内に顔画像が存在する場合には、同じ顔と判断させている。
顔追跡手段４３による追跡は、検出された顔画像をテンプレートとし、残差逐次検定法（ＳＳＤＡ法）などの一般的手法を用い、テンプレートに一致度が高い画像を移動先として追跡することができる。また、検出精度をあげるために、必要に応じて、テンプレートの更新を行ってもよい。あるいは、連続するフレーム画像間でオプティカルフロー法などの一般的な移動体追跡手法を用いて、同一人物の同定を行ってもよい。さらには、検出された顔画像の位置から画面下方を調べて服装の画像を得ることができるから、服装の模様や色を特徴として、顔画像の追跡を行ってもよい。顔画像追跡は、入力装置から指定する特定の人物について行ってもよいが、フレーム画像中に検出された全ての顔画像について行うことができる。
顔向き算出手段４４は、顔検出手段４２又は顔追跡手段４３により処理が行われている間、検出及び追跡された顔画像に対して顔面の向いている方向を計算する。例えば、正面画像の直交３軸方向に対する向き（α、β、γ）を算出する。
画質評価値算出手段４５は、検出及び追跡された顔画像が、人間にとってどの程度見分けやすい画像かという観点で予め設定された評価ルールに従って評価し、顔画像の画質評価指標である画質評価値を計算する。また、画質評価値は、三次元再構成を行う際に有用な画像かという観点で、予め評価ルールを設定することができる。
顔画像メモリ２９は、顔検出手段４２又は顔追跡手段４３により検出及び追跡された顔画像、及び画質評価値算出手段４５で計算された画質評価値が格納されるようになっている。本実施形態では、顔検出手段４２又は顔追跡手段４３により検出及び追跡された全ての顔画像が顔画像メモリ２９に格納されるようになっている。しかし、顔画像メモリ２９の記憶容量を節約するために、画質評価値が明らかに低い画像は、格納しないようにすることもできる。また、顔画像を顔向き角度に関して離散化し、同一角度の顔画像のうち画質評価値が最良のもののみを格納するようにすることができる。
最良顔画像評価手段４７は、顔検出手段４２又は顔追跡手段４３により検出及び追跡された顔画像のうち、画質評価値算出手段４５で計算された画質評価値の高さ、及び顔向き角度の正面向きへの近さを基準として、 最良顔画像の評価値を算出する。そして、最良顔画像メモリ３１には、同一人物について算出された最良顔画像評価値が最も高い最良顔画像を１枚だけが記憶されるようになっている。すなわち、連続する複数フレームで検出及び追跡された顔画像に対して、その都度、最良顔画像評価値を算出し、既に記憶している最良顔画像があれば、新たに算出された顔画像の最良顔画像評価値と比較し、いずれか高い方の顔画像を最良顔画像として、最良顔画像メモリ３１に記憶する。なお、最良顔画像としては、必ずしも正面向きの顔画像が選択されるわけではなく、多少斜め向きでも最良顔画像評価値の高い顔画像が選択されることもある。
追跡終了判定手段４９は、同一人物が監視画像から消えたときに追跡を終了し、消えていないときは画像読込手段４１に戻って、手段４２〜４５、４７の処理を繰返し実行する。この追跡終了判定は、顔追跡手段４３の検出が一定時間失敗している場合には、追跡中の人物が撮像範囲外に出たと判定し、その人物の顔画像の追跡を終了する。
追跡が終了した場合は、画像間相関算出手段５０に進んで、顔画像メモリ２９に蓄積されている各顔画像に対し、最良顔画像メモリ３１に記憶されている最良顔画像、及び画像選択手段５１によって既に選択された顔画像を基準として、画像相関値を計算する。この画像相関値は、例えば、三次元再構成を目的とする場合は、自己遮蔽による奥行き情報獲得の困難さを回避するために、基準とする顔画像に対し、頭部を上下方向あるいは左右方向のどちらか一方にのみ角度変化があるような顔画像の画像相関値が高くなるように、画像相関値の計算式を事前に決めておく。
画像選択手段５１は、画像間相関算出手段５０により算出された画像相関値が高い顔画像を、あらかじめ設定された枚数を選択し、画像セットの複数枚の顔画像を抽出する。設定枚数に達していない場合は、再度、画像間相関算出手段５０に戻り、画像相関値を再計算して追加の画像を選択する。このようにして、画像選択手段５１は、同一人物について追跡した複数の顔画像に基づいて少なくとも顔向きが異なる複数枚の顔画像を選択して、画像セットの顔画像情報を生成する。画像セットの顔画像については、顔画像メモリ２９にその旨の符号を付しておく。
画像セット出力手段５２は、最良顔画像メモリ３１に記憶されている最良顔画像と、画像選択手段５１により選択されている顔画像メモリ２９内の顔画像とを、表示装置３に出力する。画像選択手段５１により選択されている顔画像は、図示していないが、画像セットとしてメモリに格納しておく。
次に、本実施形態の主要部における画像処理手段の詳細なフローについて説明する。
（顔検出手段４２・顔追跡手段４３）
図４に、顔検出及び顔追跡の処理フローを示す。図示のように、例えば、非特許文献１に記載されているＶｉｏｌａらの方法を用いて顔検出を行う（Ｓ６１）。次いで、検出された顔画像に基づいて、顔の位置、顔の大きさ、顔向き角度を算出する（Ｓ６２）。このステップＳ６１、Ｓ６２の処理は、同一の監視画像内に写っている複数の人物に対して行う。次に、同一人物の顔画像の位置の変化を追跡して同定する（Ｓ６３）。例えば、ステップＳ６３の処理において、同一人物が撮像範囲内を移動している場合、その人物の顔画像は連続する複数のフレーム間で比較的近接した位置で検出される。また、その人物の顔画像の顔の大きさも急激に変化しない。そこで、動画像中の連続するフレーム間で、顔の位置の変化量がある閾値以下で、かつ顔のサイズの変化量がある閾値以下の場合は、検出された顔画像が同一人物のものであると同定する。そして、同一人物の顔画像については、識別符号を付して対応付ける。
図４に、顔検出及び顔追跡の処理フローを示す。図示のように、例えば、非特許文献１に記載されているＶｉｏｌａらの方法を用いて顔検出を行う（Ｓ６１）。次いで、検出された顔画像に基づいて、顔の位置、顔の大きさ、顔向き角度を算出する（Ｓ６２）。このステップＳ６１、Ｓ６２の処理は、同一の監視画像内に写っている複数の人物に対して行う。次に、同一人物の顔画像の位置の変化を追跡して同定する（Ｓ６３）。例えば、ステップＳ６３の処理において、同一人物が撮像範囲内を移動している場合、その人物の顔画像は連続する複数のフレーム間で比較的近接した位置で検出される。また、その人物の顔画像の顔の大きさも急激に変化しない。そこで、動画像中の連続するフレーム間で、顔の位置の変化量がある閾値以下で、かつ顔のサイズの変化量がある閾値以下の場合は、検出された顔画像が同一人物のものであると同定する。そして、同一人物の顔画像については、識別符号を付して対応付ける。
なお、必ずしも全てのフレームで確実に安定した顔検出が行えるとは限らないため、一般的な統計的手法であるカルマンフィルタを用いて、顔の位置や顔のサイズを追跡することで、一時的な見失いや外乱による追跡の失敗を軽減することができる。また、前述したように、テンプレートマッチング法、オプティカルフローの算出値に基づいて、顔領域の追跡を行ってもよい。この場合、一旦顔検出が成功すれば、横向きや後ろ向きになっても追跡が行えるという利点がある。
（顔向き算出手段４４）
顔向き算出手段４４は、検出又は追跡されている顔画像に対して、例えば、円形フィルターなどにより鼻腔を検出し、鼻腔と目との位置関係に基づいて、顔の向き（α、β、γ）を大まかに計測することができる。又は、各顔向き毎に予め平均的な参照顔画像を作成しておき、検出又は追跡されている顔画像と参照画像との類似度を計算し、最も近い参照顔画像の顔向き（角度）を採用するようにすることができる。
顔向き算出手段４４は、検出又は追跡されている顔画像に対して、例えば、円形フィルターなどにより鼻腔を検出し、鼻腔と目との位置関係に基づいて、顔の向き（α、β、γ）を大まかに計測することができる。又は、各顔向き毎に予め平均的な参照顔画像を作成しておき、検出又は追跡されている顔画像と参照画像との類似度を計算し、最も近い参照顔画像の顔向き（角度）を採用するようにすることができる。
（画質評価値算出手段５５）
画質評価値算出手段５５は、検出又は追跡されている顔画像に対して、人間にとってどの程度見分けやすい画像か、という観点で予め設定された評価ルールに従って評価し、顔画像の画質評価指標である画質評価値を計算する。画質評価値の基準としては、少なくとも以下の項目のうちの１つを含む。
画質評価値算出手段５５は、検出又は追跡されている顔画像に対して、人間にとってどの程度見分けやすい画像か、という観点で予め設定された評価ルールに従って評価し、顔画像の画質評価指標である画質評価値を計算する。画質評価値の基準としては、少なくとも以下の項目のうちの１つを含む。
顔領域の大きさ（Ｌ） （検出されたサイズ）
表情状態（Ｅ） （閉目、口開き、隠れ状態）
画像の明るさ（Ｂ） （ブライトネス）
画像の鮮明さ（Ｓ） （コントラスト、Ｓ／Ｎ比）
照明の方向（Ｄ） （セルフシャドウ）
顔の移動量（Ｍ） （画像ぶれ）
画質評価値Ｔは、次式によって算出することができる。
表情状態（Ｅ） （閉目、口開き、隠れ状態）
画像の明るさ（Ｂ） （ブライトネス）
画像の鮮明さ（Ｓ） （コントラスト、Ｓ／Ｎ比）
照明の方向（Ｄ） （セルフシャドウ）
顔の移動量（Ｍ） （画像ぶれ）
画質評価値Ｔは、次式によって算出することができる。
Ｔ＝ｗ１（Ｌ）＋ｗ２（Ｅ）＋ｗ３（Ｂ）＋ｗ４（Ｓ）＋ｗ５（Ｄ）＋ｗ６（Ｍ）
ここで、ｗ１、ｗ２、ｗ３、ｗ４、ｗ５、ｗ６は重み付け係数であり、実験的に決められる数値である。
ここで、ｗ１、ｗ２、ｗ３、ｗ４、ｗ５、ｗ６は重み付け係数であり、実験的に決められる数値である。
（顔画像メモリ２９）
顔画像メモリ２９には、切り出された顔画像を各人物毎に分けて蓄積される。蓄積は画像だけでなく、同一人物を識別する符号、画質評価値及び顔向きとを関連付けて蓄積することで、後述する画像間相関の算出を効率化することができる。全ての画像を蓄積する代わりに、画質評価値がある閾値よりも低い場合には、不適切な画像とみなし、蓄積から除外することも可能である。この場合、画質評価値を算出するための各評価要素に対して、それぞれ一定の閾値を設け、いずれかの評価要素の評価値が閾値以下であるものを蓄積から除外することで実現できる。
顔画像メモリ２９には、切り出された顔画像を各人物毎に分けて蓄積される。蓄積は画像だけでなく、同一人物を識別する符号、画質評価値及び顔向きとを関連付けて蓄積することで、後述する画像間相関の算出を効率化することができる。全ての画像を蓄積する代わりに、画質評価値がある閾値よりも低い場合には、不適切な画像とみなし、蓄積から除外することも可能である。この場合、画質評価値を算出するための各評価要素に対して、それぞれ一定の閾値を設け、いずれかの評価要素の評価値が閾値以下であるものを蓄積から除外することで実現できる。
例えば、顔の大きさに関する閾値（Ｌｔｈｒ）、表情状態に関する閾値（Ｅｔｈｒ）、画像の明るさに関する閾値（Ｂｔｈｒ）、画像の鮮明さに関する閾値（Ｓｔｈｒ）、照明の方向に関する閾値（Ｄｔｈｒ）、顔の移動量に関する閾値（Ｍｔｈｒ）を設定し、次式のように画質評価値Ｔを定義して、Ｔ＞０のものだけ蓄積すればよい。
Ｔ＝｛ｗ１（Ｌ）＋ｗ２（Ｅ）＋ｗ３（Ｂ）＋ｗ４（Ｓ）＋ｗ５（Ｄ）＋ｗ６（Ｍ）｝
・ｆ（Ｌ＞Ｌｔｈｒ）・ｆ（Ｅ＞Ｅｔｈｒ）・ｆ（Ｂ＞Ｂｔｈｒ）・ｆ（Ｓ＞Ｓｔｈｒ）
・ｆ（Ｄ＞Ｄｔｈｒ）・ｆ（Ｍ＜Ｍｔｈｒ）
ただし、ここでｆ（ｘ）は、次の関数であり、閾値を超える評価要素、あるいは閾値未満の評価要素があれば、０とすることにより、その顔画像を蓄積対象から除外する。
・ｆ（Ｌ＞Ｌｔｈｒ）・ｆ（Ｅ＞Ｅｔｈｒ）・ｆ（Ｂ＞Ｂｔｈｒ）・ｆ（Ｓ＞Ｓｔｈｒ）
・ｆ（Ｄ＞Ｄｔｈｒ）・ｆ（Ｍ＜Ｍｔｈｒ）
ただし、ここでｆ（ｘ）は、次の関数であり、閾値を超える評価要素、あるいは閾値未満の評価要素があれば、０とすることにより、その顔画像を蓄積対象から除外する。
ｆ（ｘ）＝１ ｉｆ ｘ ｉｓ ＴＲＵＥ
ｆ（ｘ）＝０ ｉｆ ｘ ｉｓ ＦＡＬＳＥ
ここで、顔の大きさ（Ｌ）、表情状態（Ｅ）、画像の明るさ（Ｂ）、画像の鮮明さ（Ｓ）、照明の方向（Ｄ）、顔の移動量（Ｍ）の具体的な決め方の例を詳細に説明する。
ｆ（ｘ）＝０ ｉｆ ｘ ｉｓ ＦＡＬＳＥ
ここで、顔の大きさ（Ｌ）、表情状態（Ｅ）、画像の明るさ（Ｂ）、画像の鮮明さ（Ｓ）、照明の方向（Ｄ）、顔の移動量（Ｍ）の具体的な決め方の例を詳細に説明する。
顔の大きさ（Ｌ）は、顔検出に非特許文献１の手法を用いる場合、検出と同時にその大きさが計測されるので、その大きさをそのままＬとすればよい。又は、顔の検出後、顔付近の肌色領域の面積をＬとしてもよい。さらに、眼や口等の顔部品をテンプレートとしたテンプレートマッチング法で求められる両目間隔をＬとすることができる。
表情の状態（Ｅ）は、目が開き、口が閉じ、頬が歪んでいない、自然な状態の顔画像を取得したいという観点から、表情変化の無い場合にＥが大きくなるように定義する。これは顔の向き毎及び顔部品毎に予め作成しておいた無表情の顔画像テンプレートとの比較を行い、その差分絶対値の逆数をＥとすることにより実現できる。又は、動的輪郭法などを適用して各顔部品の形状を抽出し、事前に設定しておいた無表情状態との形状差分の絶対値の逆数をＥとすることができる。逆に、表情変化にこそ個性が出るという観点で、前記差分の絶対値をそのままＥとすることも考えられる。
画像の明るさ（Ｂ）は、照明が適切にあてられている場合に取得された画像は情報量を多く含んでいるが、強すぎる照明による輝度値の飽和や、照明不足による不鮮明化が起こった画像は情報量が不足していて利用しにくい。このような観点より、顔画像中に含まれる画素の最大輝度値と最小輝度値の差をＢとすることにより、コントラストのはっきりしている顔領域に対し評価値を高くすることができる。又は、顔画像中に含まれる画素の輝度値の分散をＢとすることができる。輝度値の分散を利用することにより、ノイズの影響を低減することができる。
画像の鮮明さ（Ｓ）は、適切に焦点が合っている画像に対する評価値を高くし、ピントずれなどが起こっている場合は評価値を低くしたいという観点から、顔画像に対してエッジ抽出を行い、エッジ強度の合計値をＳとすればよい。又は、顔画像に対してフーリエ変換を行い、その特定帯域のエネルギをＳとすることができる。
照明の方向（Ｄ）は、顔面に対して均一な照明が当たっている顔画像に対しては評価値を高くし、下や真横から照明が当たり、セルフシャドウが発生しているような顔画像に対しては評価値を低くしたいという観点から、照明光源の方向を推定し、照明方向と顔面方向との角度の余弦をＤとすればよい。
顔の移動量（Ｍ）は、移動速度が速い場所で撮像した顔画像は、撮像時のブレが大きいと考えられるため、前フレームからの移動量が大きい場合に撮像した顔画像に対しては評価値を低くしたい。逆に、前フレームからの移動量が小さい場合には、比較的暗い環境であってもブレが少なく撮像できていると考えられる。このような観点で、カメラ撮像範囲内で顔画像が検出された位置を、動画像中の各フレームにおいて追跡し、前フレームからの移動量をＭとすればよい。又は、カメラ撮像範囲内において、前フレームと現在フレームの画像についてオプティカルフローを計算し、対応する顔画像のオプティカルフローの移動量の和をＭと することができる。
（最良顔画像評価手段４７）
一般に、人間の頭部の特徴は、頭部前方の顔部に集まっている。このため、三次元頭部データを再構成する際も、正面向きに近い顔部が撮像できているほうが、より精度の高い三次元形状データが再構成できると期待される。一方、正面向きの顔画像であっても、撮像装置から遠く離れた画像は、解像度が非常に低く、有用ではないことがある。
一般に、人間の頭部の特徴は、頭部前方の顔部に集まっている。このため、三次元頭部データを再構成する際も、正面向きに近い顔部が撮像できているほうが、より精度の高い三次元形状データが再構成できると期待される。一方、正面向きの顔画像であっても、撮像装置から遠く離れた画像は、解像度が非常に低く、有用ではないことがある。
そこで、最良顔画像評価手段４７は、顔向きに加えて、画質評価値を加味して、最良顔画像を選択するため、最良顔画像の評価指標である最良顔画像評価値Ｆを算出する。三次元空間中での顔向きを（α、β、γ）、画質評価値をＴとすると、次式により最良顔画像評価値Ｆを計算することができる。
Ｆ＝ｖ１・ｃｏｓ（α）＋ｖ２・ｃｏｓ（β）＋ｖ３・ｃｏｓ（γ）＋ｖ４・Ｔ
ここで、ｖ１、ｖ２、ｖ３、ｖ４は重み付け係数であり、実験的に決められる数値である。これにより、正面に近い向きで、かつ画質のよい最良顔画像を選択することができる。
ここで、ｖ１、ｖ２、ｖ３、ｖ４は重み付け係数であり、実験的に決められる数値である。これにより、正面に近い向きで、かつ画質のよい最良顔画像を選択することができる。
また、正面付近での微小な向きの変化は、顔認証に対しては特に大きな影響を及ぼさない場合がある。この場合は、各回転成分に関しての角度閾値（αｔｈｒ、βｔｈｒ、γｔｈｒ）を設定しておき、その角度条件を満たす顔領域は画質評価値のみの比較を行うことにしてもよい。具体的には、次式のように最良顔画像評価値Ｆを定義すればよい。
Ｆ＝ｆ（‖α‖＜αthr）・ｆ（‖β‖＜βthr）・ｆ（‖γ‖＜γthr）・Ｔ
ただし、ここでｆ（ｘ）は以下の関数である。
ただし、ここでｆ（ｘ）は以下の関数である。
ｆ（ｘ）＝１ ｉｆ ｘ ｉｓ ＴＲＵＥ
ｆ（ｘ）＝０ ｉｆ ｘ ｉｓ ＦＡＬＳＥ
これにより、真正面を向いている低画質の顔画像よりも、正面より多少角度がずれていても高画質の顔画像を選択することができるという効果がある。
ｆ（ｘ）＝０ ｉｆ ｘ ｉｓ ＦＡＬＳＥ
これにより、真正面を向いている低画質の顔画像よりも、正面より多少角度がずれていても高画質の顔画像を選択することができるという効果がある。
（最良顔画像メモリ３１）
最良顔画像メモリ３１には、最適な最良顔画像が１人につき１枚ずつ別個に記憶されるようになっている。新しい人物が撮像範囲内に進入してくると、その人物に対する最良顔画像記憶スペースを作成し、最初に検出あるいは追跡された顔画像を格納する。そして、その人物に対して２回目以降の検出の場合は、既に格納されている最良顔画像評価値と、今回の追跡で得られた画像に対して最良顔画像評価手段４７で計算された最良顔画像評価値とを比較する。今回の画像の方が高い最良顔画像評価値を持つ場合、記憶している画像を更新する。
最良顔画像メモリ３１には、最適な最良顔画像が１人につき１枚ずつ別個に記憶されるようになっている。新しい人物が撮像範囲内に進入してくると、その人物に対する最良顔画像記憶スペースを作成し、最初に検出あるいは追跡された顔画像を格納する。そして、その人物に対して２回目以降の検出の場合は、既に格納されている最良顔画像評価値と、今回の追跡で得られた画像に対して最良顔画像評価手段４７で計算された最良顔画像評価値とを比較する。今回の画像の方が高い最良顔画像評価値を持つ場合、記憶している画像を更新する。
（追跡終了判定手段４９）
追跡終了判定手段４９は、顔追跡手段４３の結果が一定時間（例えば２秒間）失敗している場合には、追跡中の人物が撮像範囲外に出たと判定し、その人物の顔画像の追跡を終了する。追跡が終了していない場合は、再度、画像読込手段４１に戻り、動画像からの画像読込を継続する。
追跡終了判定手段４９は、顔追跡手段４３の結果が一定時間（例えば２秒間）失敗している場合には、追跡中の人物が撮像範囲外に出たと判定し、その人物の顔画像の追跡を終了する。追跡が終了していない場合は、再度、画像読込手段４１に戻り、動画像からの画像読込を継続する。
しかし、この場合、動画像中から人物がいなくなるまで出力結果が得られないことになるため、追跡状態であっても一定時間（例えば１０秒間）間隔で、以降の処理を実行し、画像セット出力手段５２の出力を得られるようにしてもよい。
（画像間相関算出手段５０、画像選択手段５１）
図５に、画像間相関算出手段５０と画像選択手段５１により選択される複数（ｎ）枚の顔画像を出力するまでの処理のフローを示す。
図５に、画像間相関算出手段５０と画像選択手段５１により選択される複数（ｎ）枚の顔画像を出力するまでの処理のフローを示す。
例えば、三次元頭部形状モデルを再構成するためには、同一対象を異なる方向から撮像した複数の頭部画像が必要である。監視画像に写る人物頭部に関して、高精度な三次元頭部形状を再構成するためには、撮影された複数の監視画像から、異なる複数の視点から撮影された画像を適切に選択する必要がある。
図５において、画像間相関算出手段５０では、最良顔画像メモリ３１に最初に選択された１枚の最良顔画像を初期選択顔画像とする（Ｓ７１）。そして、初期選択顔画像と顔画像メモリ２９に蓄積された各顔画像との相関を計算する（Ｓ７２）。この相関は、自己遮蔽による奥行き情報獲得の困難さを回避するために、最良顔画像又は選択された顔画像に対し、頭部を上下方向あるいは左右方向のどちらか一方にのみ角度変化がある顔画像の相関値が高くなるように、相関関数を設定すると都合がよい。これは、例えば、最初に選択されている画像の三次元空間中での顔向きを（α０、β０、γ０）とし、相関を計算する対象の顔画像の三次元空間中での顔向きを（αＣ、βＣ、γＣ）、画質評価値をＴＣとすると、例えば、相関値Ｃは次式のように表現できる。
Ｃ＝ｕ１・ｓｉｎ（ｕ０｜αＣ−α０｜）ｃｏｓ（βＣ−β０）ｃｏｓ（γＣ−γ０）
＋ｕ２・ｃｏｓ（αＣ−α０）ｓｉｎ（ｕ０｜βＣ−β０｜）ｃｏｓ（γＣ−γ０）
＋ｕ３・ｃｏｓ（αＣ−α０）ｃｏｓ（βＣ−β０）ｓｉｎ（ｕ０｜γＣ−γ０｜）
＋ｕ４・ＴＣ
ここで、ｕ０、ｕ１、ｕ２、ｕ３、ｕ４は重み付け係数であり、実験的に決められる数値である。
＋ｕ２・ｃｏｓ（αＣ−α０）ｓｉｎ（ｕ０｜βＣ−β０｜）ｃｏｓ（γＣ−γ０）
＋ｕ３・ｃｏｓ（αＣ−α０）ｃｏｓ（βＣ−β０）ｓｉｎ（ｕ０｜γＣ−γ０｜）
＋ｕ４・ＴＣ
ここで、ｕ０、ｕ１、ｕ２、ｕ３、ｕ４は重み付け係数であり、実験的に決められる数値である。
各顔画像に対して、相関値Ｃを計算した後、相関の最も高い顔画像を選択する（Ｓ７３）。その後、設定枚数の顔画像を選択したか否かを判断し（Ｓ７４）、選択終了ならば選択した設定枚数の顔画像からなる画像セットを出力する（Ｓ７５）。
図６を参照して、具体例を説明する。同図に示すように、例えば、入力された監視画像から得られた顔画像が、時系列順にＩ１〜Ｉ５、顔向きが以下のようになっていると考える。
Ｉ１ α＝＋１５、 β＝＋１５、 γ＝０
Ｉ２ α＝ ０、 β＝＋３０、 γ＝０
Ｉ３ α＝−１５、 β＝＋１５、 γ＝０
Ｉ４ α＝−１５、 β＝＋３０、 γ＝０
Ｉ５ α＝ ０、 β＝＋６０、 γ＝０
このとき、最良顔画像メモリ３１に、最良顔画像としてＩ１が記憶されている場合、（α０、β０、γ０）＝（１５、１５、０）であり、これを基準に他の顔画像を選択することになる。計算を容易にするために、仮に、ｕ0＝ｕ１＝ｕ２＝ｕ３＝ｕ４＝１とおくと、それぞれの画像に対する相関値は次のように計算できる。
Ｉ２ Ｃ２＝ｓｉｎ（１５）ｃｏｓ（１５）
Ｉ３ Ｃ３＝ｓｉｎ（３０）
Ｉ４ Ｃ４＝ｓｉｎ（３０）ｃｏｓ（１５）
Ｉ５ Ｃ５＝ｓｉｎ（１５）ｃｏｓ（４５）
明らかに、
ｓｉｎ（ａ）＜ｓｉｎ（ｂ） ｉｆ ０＜ａ＜ｂ＜１８０
ｃｏｓ（ｘ）≦１
であるため、顔画像Ｉ１と上下方向の角度のみ異なる顔画像Ｉ３に対応するＣ３が最大と計算できる。このように、上下方向あるいは左右方向のどちらか一方にのみ角度変化のある画像セットを選択することで、自己遮蔽による奥行き情報獲得の困難さを回避することができる。
Ｉ１ α＝＋１５、 β＝＋１５、 γ＝０
Ｉ２ α＝ ０、 β＝＋３０、 γ＝０
Ｉ３ α＝−１５、 β＝＋１５、 γ＝０
Ｉ４ α＝−１５、 β＝＋３０、 γ＝０
Ｉ５ α＝ ０、 β＝＋６０、 γ＝０
このとき、最良顔画像メモリ３１に、最良顔画像としてＩ１が記憶されている場合、（α０、β０、γ０）＝（１５、１５、０）であり、これを基準に他の顔画像を選択することになる。計算を容易にするために、仮に、ｕ0＝ｕ１＝ｕ２＝ｕ３＝ｕ４＝１とおくと、それぞれの画像に対する相関値は次のように計算できる。
Ｉ２ Ｃ２＝ｓｉｎ（１５）ｃｏｓ（１５）
Ｉ３ Ｃ３＝ｓｉｎ（３０）
Ｉ４ Ｃ４＝ｓｉｎ（３０）ｃｏｓ（１５）
Ｉ５ Ｃ５＝ｓｉｎ（１５）ｃｏｓ（４５）
明らかに、
ｓｉｎ（ａ）＜ｓｉｎ（ｂ） ｉｆ ０＜ａ＜ｂ＜１８０
ｃｏｓ（ｘ）≦１
であるため、顔画像Ｉ１と上下方向の角度のみ異なる顔画像Ｉ３に対応するＣ３が最大と計算できる。このように、上下方向あるいは左右方向のどちらか一方にのみ角度変化のある画像セットを選択することで、自己遮蔽による奥行き情報獲得の困難さを回避することができる。
図７に、画像相関の計算の別な方法の例を示す。同図は、入力動画像の各フレームにおいて、顔向き算出手段４４から得られた顔向き角度を、各人物毎に単位球７１上に投影し、顔向き変化の軌跡を連続的に表現したものである。この軌跡上で複数（ｎ）点を選択し、その点ｎに対応する顔画像を出力することを考える。まず、最良顔画像メモリ３１に記憶されている顔画像の顔向き方向に対応する単位球上の点７２を選択点に加える。次に、点７２を含み、選択された点を結ぶようなｎ多角形の面積が最大となるような（ｎ−１）個の点７３，７４を選択点に追加する。各選択点に対して、対応する顔向きの顔画像を選択し、画像セット７５として、顔画像メモリ２９にノア対応する顔画像にその旨を付す。これにより、視点の異なる複数の顔角度を自動的に選択し、その顔画像をセットとして出力することができる。
ここでは、多角形の面積のみに着目していたが、各点における画質評価値を考慮して、単位球上の点を選択してもよい。すなわち、単位球上の軌跡上にある各点の座標をＰｉとする（ｉ＝１、２、・・・）。Ｐｉに対応する顔画像の画質評価値をＴｉとし、Ｐｉにより形成される多角形の面積をＳ〔Ｐ１、Ｐ２、・・・、Ｐｎ〕とすると、次式の画像相関値Ｃを最大化するようなＰｉを選択する。これにより、低画質の顔画像の最適な角度の組合せよりも、高画質の顔画像の組合せを選択することができ、より高精度な三次元頭部形状の再構成が可能となったり、高画質な人物画像の組合せを監視者に提示することができたりする効果がある。
Ｃ＝Ｓ〔Ｐ１、Ｐ２、・・・、Ｐｎ〕＋ｕ０・Σ｛Ｔｉ・ｆ（Ｔｉ＞Ｔｔｈｒ）｝
ただし、ここでｆ（ｘ）は以下の関数である。
ただし、ここでｆ（ｘ）は以下の関数である。
ｆ（ｘ）＝１ ｉｆ ｘ ｉｓ ＴＲＵＥ
ｆ（ｘ）＝０ ｉｆ ｘ ｉｓ ＦＡＬＳＥ
ここで、ｕ０は重み付け係数であり、実験的に決められる数値である。
ｆ（ｘ）＝０ ｉｆ ｘ ｉｓ ＦＡＬＳＥ
ここで、ｕ０は重み付け係数であり、実験的に決められる数値である。
さらに、図８を参照して、画像相関の計算の別な方法の例を説明する。同図は、動画像の監視画像の各フレームにおいて、顔向き算出手段４４から得られた顔向き角度を各人物毎に単位球７１上に投影し、顔向き変化の軌跡を連続的に表現したものである。この単位球上の軌跡上で複数（ｎ）点を選択することは図７の例と同様であるが、まず軌跡上の任意の２点をペアと考え、そのペアの画像相関値Ｃを計算しながら選択点を追加していく。
具体的な選択方法は、以下のように実行される。図８に示すように、軌跡上に２点７６，７７を取り、その位置の相対関係、ペアの各点での画像相関値を基準に最適な画像セットを選んでもよい。
画像選択手段５１では、上述のように計算された画像相関値を基に、出力する画像セットに含める顔画像を選択する。選択した画像の枚数が、設定枚数に満たなければ、再度、画像間相関算出手段５０に戻って、画像相関値の計算を行い、更に顔画像を追加選択する。画像セット出力手段５２では、最良顔画像メモリ３１に記憶されている最良顔画像と、画像間相関算出手段５０と画像選択手段５１で選択された顔画像とを画像セットとして出力する。
（顔画像の表示例）
図９〜図１３に、画像セット出力手段５２から表示装置３の画面上に出力表示する画像セットの表示構成例を示す。図９は、画面内にカメラ全体画像１０１と、画像セット出力手段５２から出力される最良顔画像及び選択された顔画像の画像セット１０２とを並べて表示する場合の例である。図から明らかなように、異なる角度から見た人物の特徴をよく表す複数の顔画像（正面顔画像、横顔画像、斜め顔画像等）からなる画像セット１０２が同時に表示されるから、監視者は人物識別をより容易に行うことができる。
図９〜図１３に、画像セット出力手段５２から表示装置３の画面上に出力表示する画像セットの表示構成例を示す。図９は、画面内にカメラ全体画像１０１と、画像セット出力手段５２から出力される最良顔画像及び選択された顔画像の画像セット１０２とを並べて表示する場合の例である。図から明らかなように、異なる角度から見た人物の特徴をよく表す複数の顔画像（正面顔画像、横顔画像、斜め顔画像等）からなる画像セット１０２が同時に表示されるから、監視者は人物識別をより容易に行うことができる。
また、図１０に示すように、画面に表示されたカメラ全体画像１０１あるいは画像セット１０２のいずれかで、注目人物をマウス等の入力デバイスによりカーソル１０３を操作して指定すると、指定された人物の詳細拡大画像１０４を並べて表示するようにすることができる。
また、図１１に示すように、画像セット１０２の１つの顔画像１０５をカーソル１０３で指定すると、指定した顔画像１０５が撮影された時刻のカメラ全体画像１０６を並べて表示するようにすることができる。
さらに、図１２に示すように、カメラ全体画像１０１の画像に指定された人物の移動軌跡１０７を表示することができる。この場合、移動軌跡１０７上をカーソル１０３で指定すると、指定された移動位置における詳細拡大画像１０８を並べて表示するようにすることができる。
さらに、別の表示例を図１３に示す。本図示例は、カメラ全体画像１０１に対応付けて撮影された日時１１０が表示され、カーソル１０３で注目人物を指定すると、その人物の画像セット１１１を同一画面上に並べて表示する。さらに、指定された人物が撮像されていた時間帯に、同じ撮像範囲にいた他の人物に関する画像セット１１２、１１３、１１４、１１５を同一画面上に並べて表示することができる。また、それらの画像セット１１２〜１１５が取得された日時、検出人数、移動方向等の付帯情報が分かる拡大画像１１６、１１７、１１８を同一画面上に並べて表示することができる。図１３の例によれば、指定した人物に関係のある人物を抽出することができ、人間関係を把握することができるとともに、その顔画像を得ることができる。
以上説明したように、第１の実施形態の画像処理装置２は、動画像中で顔が検出されてから、顔が検出されなくなるまでの一連の流れのなかで、最適な複数枚からなる顔画像セットを自動的に選択し、記録及び出力表示することができる。このため、三次元頭部形状モデルの再構成や監視画像に適した画像が得られ、顔認証の精度を向上でき、あるいは人間にとって監視しやすい監視システムを構築することができる。
（第２の実施形態）
図１４に、本発明の第２の実施形態に係る画像処理装置の概要構成図を示す。図示のように、本実施形態が第１の実施形態と相違する点は、画像処理装置２に接続して、三次元形状データ再構成装置４及び三次元顔認証装置５を設けたことにある。その他の点は、第１の実施形態と同一であることから、同一の符号を付して説明を省略する。
図１４に、本発明の第２の実施形態に係る画像処理装置の概要構成図を示す。図示のように、本実施形態が第１の実施形態と相違する点は、画像処理装置２に接続して、三次元形状データ再構成装置４及び三次元顔認証装置５を設けたことにある。その他の点は、第１の実施形態と同一であることから、同一の符号を付して説明を省略する。
三次元形状データ再構成装置４は、画像処理装置２で生成された複数の顔画像を入力して、三次元頭部形状を復元するものである。三次元頭部形状を再構成する技術は、一般的に知られている手法を適用することができる。例えば、ステレオ距離測定技術、あるいは非特許文献２に示すような技術を用いることができる。
第１の実施形態で説明したように、画像処理装置２からは、動画像中で顔が検出されてから、顔が検出されなくなるまでの一連の流れのなかで、顔向きの異なる複数枚の顔画像セットを自動的に選択して出力される。三次元形状データ再構成装置４は、画像処理装置２から出力される顔画像セットに基づいて、例えば、頭部の三次元形状の頭部モデルを作成し、その頭部モデルに対して各顔画像の顔向きに応じて顔画像を投影することにより、人物頭部の三次元形状を再構成するようになっている。
このようにして、頭部の三次元形状データが作成できると、任意視点からみた人物の画像を合成することができる。その結果、監視画像中では斜め顔あるいは横顔のみしか映っていない人物についても、正面顔画像を生成することができるから、監視の視認性や認証精度向上に役立てることができる。
すなわち、三次元形状データ再構成装置４は、画像処理装置２から出力される複数枚の顔画像に基づいて頭部の三次元形状モデルを再構成し、これに基づいて任意角度から見た顔画像を合成する。
一方、三次元顔認証装置５は、三次元形状データ再構成装置４により再構成された三次元形状モデルに基づいて、監視対象人物の顔写真と同一の角度から見た顔画像を合成して監視対象人物か否かを識別することができるようになっている。
Ｒ．Ｍｏｈｒ、Ｌ．Ｑｕａｎ、Ｆ．Ｖｅｉｌｌｏｎ、"Ｒｅｌａｔｉｖｅ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ｕｎｃａｌｉｂｒａｔｅｄ Ｉｍａｇｅｓ"、ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）１９９３ （第３の実施形態） 図１５に本発明の第３の実施形態の主要部である画像処理装置の内部の処理ブロックの概略図を示し、図１６に本実施形態の画像処理装置の内部の処理の流れ図を示す。本実施形態が第１の実施形態と異なる点は、最良顔画像判定部２４と最良顔画像メモリ３１を省略したことにある。その他の点は、第１の実施形態と同一であることから、同一の符号を付して説明を省略する。
Ｒ．Ｍｏｈｒ、Ｌ．Ｑｕａｎ、Ｆ．Ｖｅｉｌｌｏｎ、"Ｒｅｌａｔｉｖｅ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ｕｎｃａｌｉｂｒａｔｅｄ Ｉｍａｇｅｓ"、ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）１９９３ （第３の実施形態） 図１５に本発明の第３の実施形態の主要部である画像処理装置の内部の処理ブロックの概略図を示し、図１６に本実施形態の画像処理装置の内部の処理の流れ図を示す。本実施形態が第１の実施形態と異なる点は、最良顔画像判定部２４と最良顔画像メモリ３１を省略したことにある。その他の点は、第１の実施形態と同一であることから、同一の符号を付して説明を省略する。
図１６に示すように、最良顔画像評価手段４７及び最良顔画像メモリ３１を省略した他は、図３と同じ処理である。顔画像メモリ２９には、画質評価値算出主段４５で算出された画質評価値に応じて顔画像が送られてくる。画像相関計算手段５０は、顔画像メモリ２９に格納された各顔画像とその付属情報とから、画像相関値を算出する。画像選択手段５１は、画像相関値の高い複数枚の顔画像を選択して、画像セット出力手段５２を介して出力する。
本実施形態によれば、最良顔画像を評価して更新することしないで、顔画像メモリ２９に蓄積した顔画像に対して画像相関計算をまとめて行うようにしたことから、顔画像の記録時の処理負荷を低減できる。
（第４の実施形態）
図１７に、本発明の第４の実施形態の主要部である画像処理装置の内部の処理ブロックの概略図を示す。第３の実施形態と異なる点は、画質評価部２３は、相関計算部２５とは直接は接続せず、顔画像メモリ２９を介して情報をやり取りする。この構成により、画像撮像及び画質評価と、画像間の相関計算とを非同期に動作させることができる。具体的には、顔画像メモリ２９と相関計算部２５とを、異なるタスク、異なるスレッド、あるいは異なるプログラム等で分離することにより実現できる。
図１７に、本発明の第４の実施形態の主要部である画像処理装置の内部の処理ブロックの概略図を示す。第３の実施形態と異なる点は、画質評価部２３は、相関計算部２５とは直接は接続せず、顔画像メモリ２９を介して情報をやり取りする。この構成により、画像撮像及び画質評価と、画像間の相関計算とを非同期に動作させることができる。具体的には、顔画像メモリ２９と相関計算部２５とを、異なるタスク、異なるスレッド、あるいは異なるプログラム等で分離することにより実現できる。
本実施形態によれば、人物の追跡が終了していなくても、相関計算部２５を定期的に動作させることができる。例えば、人物が１画面内で長時間滞留している場合、人物が画面外に出てから最適な顔画像を選択するのではなく、例えば５秒間隔で、その時点での最適な顔画像のセットを出力する。これにより、第２の実施形態を適用すれば、必要に応じて三次元頭部形状の再構成や、顔認証を行うことができ、監視システムのリアルタイム性が向上し、結果出力までのレイテンシを削減することができるという効果がある。
以上各実施形態により説明したように、本発明によれば、監視システムにおいて、動画像を入力として顔切出しによって得られた多数の顔画像から、撮影の上下、左右、斜め方向、あるいは顔の各種表情、照明変動などの様々な観点において、最適な複数枚からなる顔画像セットを得ることができる。
また、最適な顔画像セットを用いることで、高精度な三次元頭部形状を再構成でき、監視しやすい監視画面を提供することができる。
また、高精度の顔画像認識装置に適用して、信頼性及び確度の高い防犯システム、監視システム、セキュリティシステム等を実現することができる。
１ 画像入力装置
２ 画像処理装置
３ 表示装置
２１ 画像入力部
２２ 画像処理部
２３ 画質評価部
２４ 最良顔画像判定部
２５ 相関計算部
２６ 出力部
２７ 入力画像メモリ
２９ 顔画像メモリ
３１ 最良顔画像メモリ
４１ 画像読込手段
４２ 顔検出手段
４３ 顔追跡手段
４４ 顔向き算出手段
４５ 画質評価値算出手段
４７ 最良顔画像評価手段
４９ 追跡終了判定手段
５０ 画像間相関算出手段
５１ 画像選択手段
５２ 画像セット出力手段
２ 画像処理装置
３ 表示装置
２１ 画像入力部
２２ 画像処理部
２３ 画質評価部
２４ 最良顔画像判定部
２５ 相関計算部
２６ 出力部
２７ 入力画像メモリ
２９ 顔画像メモリ
３１ 最良顔画像メモリ
４１ 画像読込手段
４２ 顔検出手段
４３ 顔追跡手段
４４ 顔向き算出手段
４５ 画質評価値算出手段
４７ 最良顔画像評価手段
４９ 追跡終了判定手段
５０ 画像間相関算出手段
５１ 画像選択手段
５２ 画像セット出力手段
Claims (8)
- 動画像の監視画像を出力する画像入力装置と、該画像入力装置から入力される監視画像に基づいて人物識別に用いる顔画像情報を生成する画像処理装置を備えてなる監視システムにおいて、
前記画像処理装置は、
前記画像入力装置から前記監視画像をフレーム単位で順次取り込む画像入力部と、
該画像入力部から取り込まれる前記監視画像が格納される入力画像メモリと、
該入力画像メモリから前記監視画像をフレーム単位で順次読み出してフレーム中の一又は複数の人物の顔部を検出する顔画像検出部と、
該顔画像検出部により検出された各人物の顔画像を異なるフレーム間で追跡する顔画像追跡部と、
該顔画像追跡部により追跡された各人物の顔画像についてフレーム毎に、予め定めた顔画像の画質評価指標を算出する画質評価指標算出部と、
該画質評価指標算出部により算出された画質評価指標とともに複数枚の顔画像が格納される顔画像メモリと、
該顔画像メモリに格納された複数枚の顔画像の画質評価指標に基づいて、顔向きが異なる複数枚の顔画像を選択して顔画像情報を生成する画像選択部と、
前記画質評価指標算出部によりフレーム毎に算出された顔画像の画質評価指標と顔向きに基づいて最良の顔画像を抽出する最良顔画像評価部と、
該最良顔画像評価部により抽出された最良顔画像が格納される最良顔画像メモリを有し、
前記画像選択部は、前記最良顔画像メモリに格納された最良顔画像と前記顔画像メモリに格納された複数枚の顔画像の画質評価指標に基づいて、顔向きが異なる複数枚の顔画像を選択して前記顔画像情報を生成することを特徴とする監視システム。 - 請求項１に記載の監視システムにおいて、
前記画像処理装置は、前記画像選択部により生成された前記顔画像情報を出力する画像出力手段を備え、
前記画像出力手段から出力される前記顔画像情報を表示する画像表示装置を備えてなる監視システム。 - 請求項１に記載の監視システムにおいて、
さらに、三次元形状データ再構成装置を備え、
該三次元形状データ再構成装置は、前記画像処理装置から出力される複数枚の顔画像に基づいて頭部の三次元形状モデルを再構成し、該三次元形状モデルに基づいて任意角度から見た顔画像を合成することを特徴とする監視システム。 - 請求項３に記載の監視システムにおいて、
さらに、三次元顔認証装置を備え、
該三次元顔認証装置は、前記三次元形状データ再構成装置により再構成された前記三次元形状モデルに基づいて、監視対象人物の顔写真と同一の角度から見た顔画像を合成して監視対象人物か否かを識別することを特徴とする監視システム。 - 請求項１乃至４のいずれか１項に記載の監視システムにおいて、
前記画像処理装置は、前記表示装置の表示画面に画像入力装置から入力される監視画像を表示し、該表示された監視画像上で指定される人物の前記顔画像情報を同一画面に並べて表示することを特徴とする監視システム。 - 請求項５に記載の監視システムにおいて、
前記画像処理装置は、前記指定された人物が写っている監視画像に含まれる他の人物の前記顔画像情報を同一画面に並べて表示することを特徴とする監視システム。 - 請求項１乃至６のいずれか１項に記載の監視システムにおいて、
前記顔画像情報には、該情報に含まれる顔画像が撮影された日時が含まれることを特徴とする監視システム。 - 動画像の監視画像をフレーム単位で順次取り込んで各フレーム中の一又は複数の人物の顔部を検出するとともに、各人物の顔画像を異なるフレーム間で追跡する第１処理と、
該第１処理で追跡された各人物の顔画像についてフレーム毎に、予め定めた顔画像の画質評価指標を算出する第２処理と、
第２処理で算出された画質評価指標が異なる複数枚の顔画像を選択して顔画像メモリに格納する第３処理と、
前記顔画像メモリに格納された複数枚の顔画像の評価指標に基づいて、前記顔向きが異なる複数枚の顔画像を選択して顔画像情報として画像表示部に出力する第４処理と、
前記第２処理で算出された各フレームの顔画像の画質評価指標と顔向きを評価して最良の顔画像を抽出して最良顔画像メモリに格納する第５処理とを備えてなり、
前記第５処理は、前記最良顔画像と前記顔画像メモリに格納された複数枚の顔画像の評価指標に基づいて、前記顔向きが異なる複数枚の顔画像を選択して顔画像情報として画像表示部に出力することを特徴とする監視画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007035541A JP4939968B2 (ja) | 2007-02-15 | 2007-02-15 | 監視画像処理方法、監視システム及び監視画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007035541A JP4939968B2 (ja) | 2007-02-15 | 2007-02-15 | 監視画像処理方法、監視システム及び監視画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008199549A JP2008199549A (ja) | 2008-08-28 |
| JP4939968B2 true JP4939968B2 (ja) | 2012-05-30 |
Family
ID=39758069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007035541A Expired - Fee Related JP4939968B2 (ja) | 2007-02-15 | 2007-02-15 | 監視画像処理方法、監視システム及び監視画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4939968B2 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010231402A (ja) * | 2009-03-26 | 2010-10-14 | Sogo Keibi Hosho Co Ltd | 監視装置の画像表示方法及び画像表示システム |
| JP5552946B2 (ja) * | 2010-07-30 | 2014-07-16 | 株式会社リコー | 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム |
| US9672432B2 (en) | 2011-06-09 | 2017-06-06 | Aisin Seiki Kabushiki Kaisha | Image generation device |
| JP5516998B2 (ja) * | 2011-06-09 | 2014-06-11 | アイシン精機株式会社 | 画像生成装置 |
| US8705812B2 (en) | 2011-06-10 | 2014-04-22 | Amazon Technologies, Inc. | Enhanced face recognition in video |
| JP5349632B2 (ja) * | 2012-02-28 | 2013-11-20 | グローリー株式会社 | 画像処理方法及び画像処理装置 |
| JP5959923B2 (ja) * | 2012-04-26 | 2016-08-02 | キヤノン株式会社 | 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 |
| JP6312991B2 (ja) | 2013-06-25 | 2018-04-18 | 株式会社東芝 | 画像出力装置 |
| JP6403687B2 (ja) * | 2013-12-10 | 2018-10-10 | 株式会社日立国際電気 | 監視システム |
| JP2016071591A (ja) * | 2014-09-30 | 2016-05-09 | アズビル株式会社 | 照合装置および照合方法 |
| CN104699842B (zh) | 2015-03-31 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | 图片展示方法和装置 |
| JP6691309B2 (ja) * | 2017-10-31 | 2020-04-28 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、及びその制御方法、プログラム |
| JP7357192B2 (ja) * | 2018-02-14 | 2023-10-06 | パナソニックＩｐマネジメント株式会社 | インターホンシステム、インターホンシステムの画像出力方法、及びプログラム |
| JP6973258B2 (ja) * | 2018-04-13 | 2021-11-24 | オムロン株式会社 | 画像解析装置、方法およびプログラム |
| JP7034827B2 (ja) * | 2018-05-21 | 2022-03-14 | 株式会社東芝 | 監視方法 |
| JP7257765B2 (ja) * | 2018-09-27 | 2023-04-14 | キヤノン株式会社 | 情報処理装置、認証システムおよびそれらの制御方法、プログラム |
| JP7180243B2 (ja) * | 2018-09-27 | 2022-11-30 | 株式会社デンソーウェーブ | 監視システムおよびカメラ |
| CN111161206A (zh) * | 2018-11-07 | 2020-05-15 | 杭州海康威视数字技术股份有限公司 | 一种图像抓拍方法、监控相机及监控系统 |
| WO2020149001A1 (ja) * | 2019-01-17 | 2020-07-23 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| JP6788205B2 (ja) * | 2019-02-15 | 2020-11-25 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、個人認証システム、その制御方法、個人認証方法、そのプログラム |
| CN111582242B (zh) * | 2020-06-05 | 2024-03-26 | 上海商汤智能科技有限公司 | 滞留检测方法、装置、电子设备和存储介质 |
| JP7093037B2 (ja) | 2020-10-28 | 2022-06-29 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、顔認証システム、その制御方法とプログラム |
| CN112836682A (zh) * | 2021-03-04 | 2021-05-25 | 广东建邦计算机软件股份有限公司 | 视频中对象的识别方法、装置、计算机设备和存储介质 |
| JP7266071B2 (ja) * | 2021-08-02 | 2023-04-27 | 株式会社日立ソリューションズ西日本 | オンライン認証装置、方法、およびプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4208450B2 (ja) * | 2001-10-15 | 2009-01-14 | 株式会社東芝 | 顔画像監視システム |
| JP2004282675A (ja) * | 2003-03-19 | 2004-10-07 | Sanyo Electric Co Ltd | 監視システム |
| JP4321350B2 (ja) * | 2004-05-14 | 2009-08-26 | パナソニック株式会社 | パラメタ推定方法、パラメタ推定装置および照合方法 |
| JP4685465B2 (ja) * | 2005-02-01 | 2011-05-18 | パナソニック株式会社 | 監視記録装置 |
| JP4316541B2 (ja) * | 2005-06-27 | 2009-08-19 | パナソニック株式会社 | 監視記録装置及び監視記録方法 |
-
2007
- 2007-02-15 JP JP2007035541A patent/JP4939968B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008199549A (ja) | 2008-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4939968B2 (ja) | 監視画像処理方法、監視システム及び監視画像処理プログラム | |
| JP4616702B2 (ja) | 画像処理 | |
| Shreve et al. | Macro-and micro-expression spotting in long videos using spatio-temporal strain | |
| JP5001260B2 (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
| EP2192549B1 (en) | Target tracking device and target tracking method | |
| Seemann et al. | Head pose estimation using stereo vision for human-robot interaction | |
| Zhang et al. | Spatio-temporal fusion for macro-and micro-expression spotting in long video sequences | |
| JP4381310B2 (ja) | メディア処理システム | |
| CN101673346B (zh) | 对图像进行处理的方法、设备和系统 | |
| JP2008501172A (ja) | 画像比較方法 | |
| JP6007682B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2004192637A (ja) | 顔検出 | |
| JP2006508461A (ja) | 顔検出及び顔追跡 | |
| JPWO2006025272A1 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
| Tawari et al. | Attention estimation by simultaneous analysis of viewer and view | |
| Raghavendra et al. | 3d face reconstruction and multimodal person identification from video captured using smartphone camera | |
| Winarno et al. | Anti-cheating presence system based on 3WPCA-dual vision face recognition | |
| Kurihara et al. | Non-contact heart rate estimation via adaptive rgb/nir signal fusion | |
| WO2008132741A2 (en) | Apparatus and method for tracking human objects and determining attention metrics | |
| JP4821355B2 (ja) | 人物追跡装置、人物追跡方法および人物追跡プログラム | |
| JP2009098901A (ja) | 表情検出方法及び装置及びプログラム | |
| JP6544970B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| Voit et al. | A bayesian approach for multi-view head pose estimation | |
| Funes Mora et al. | Eyediap database: Data description and gaze tracking evaluation benchmarks | |
| JP2009289210A (ja) | 重要物体認識装置および重要物体認識方法ならびにそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100106 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120227 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4939968 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |