JP4725892B2 - 顔画像抽出蓄積システム、及び顔画像抽出蓄積方法 - Google Patents

Description

本発明は、顔画像抽出蓄積システム、及び顔画像抽出蓄積方法に関し、特に、カメラ映像や録画再生映像が映っている画面から、顔画像を抽出する顔画像抽出蓄積システム、及び顔画像抽出蓄積方法に関する。

近年、顔画像を含む映像を撮影する撮影機器が、多様化しながら普及している。

例えば、デジタルビデオカメラや防犯用ネットワークカメラなどが、顔画像を含む映像として、撮影する撮影機器に該当する。

これらのデジタルビデオカメラや防犯用ネットワークカメラなどの撮影機器は、動画像を撮影し、その動画像の中から人の顔画像を抽出することができる。

そして、これらの撮影機器は、人の顔画像を抽出すると、その顔画像に対応する固有情報や識別子を付すことにより、人の顔画像を特定することができる（例えば、特許文献１参照）。
特開２００６−２９３９１２号公報

ところで、特許文献１に記載された情報表示システムは、上記のように、撮影された動画像に顔画像が存在する場合には、その動画像を撮影した撮影機器が、顔画像に固有情報を割り当ててサーバに送信する。

従って、顔画像を受信したサーバは、顔画像が撮影された撮影機器に依存してしまうので、他の撮影機器によって撮影された顔画像を蓄積し、検索することができないという問題があった。

すなわち、顔画像を含む映像から顔画像を抽出する場合には、顔画像が撮影された撮影機器ごとにインターフェースを設けなければならないという問題があった。

本発明は、上記問題点を鑑みてなされたものであり、映像機器に依存せず、画面に表示される映像の中から顔画像を抽出し、その顔画像を映像機器の種別に対応して、検索可能に蓄積する顔画像抽出蓄積システム、及び顔画像抽出蓄積方法を実現することを目的とする。

本発明に係る顔画像抽出蓄積システムは、種別の異なる複数の映像機器が接続され、前記種別の異なる複数の映像機器から送信された複数の画像を１つの画面上に表示する映像表示処理装置と、前記映像表示処理装置の画面上に表示された画像から抽出された顔画像を蓄積する顔画像データベースとを備えた顔画像抽出蓄積システムであって、前記映像表示処理装置は、前記画面が複数のエリアを有し、前記種別の異なる複数の映像機器から送信された複数の画像を前記複数のエリアに表示する手段と、前記複数のエリアに表示された画像のうち指定されたエリアの画像を切り出し、前記切り出したエリアの画像の中から顔画像を抽出する手段と、前記抽出した顔画像を送信元の映像機器の種別を示す情報と共に前記顔画像データベースに送信する手段と、を備え、前記顔画像データベースは、前記映像表示処理装置から送信された顔画像及び送信元の映像機器を示す情報を受信し、前記受信した顔画像及び送信元の映像機器を示す情報を蓄積することを特徴とする。

また、本発明に係る顔画像抽出蓄積方法は、種別の異なる複数の映像機器が接続され、前記種別の異なる複数の映像機器から送信された複数の画像を１つの画面上に表示する映像表示処理装置と、前記映像表示処理装置の画面上に表示された画像から抽出された顔画像を蓄積する顔画像データベースとを備えた顔画像抽出蓄積システムの顔画像抽出蓄積方法であって、前記映像表示処理装置が、前記種別の異なる複数の映像機器から送信された複数の画像を、前記画面の複数のエリアに表示するステップと、前記複数のエリアに表示された画像のうち、指定されたエリアの画像を切り出し、前記切り出したエリアの画像の中から顔画像を抽出するステップと、前記抽出した顔画像を送信元の映像機器の種別を示す情報と共に前記顔画像データベースに送信するステップと、を含み、前記顔画像データベースが、前記映像表示処理装置から送信された顔画像及び送信元の映像機器を示す情報を受信し、前記受信した顔画像及び送信元の映像機器を示す情報を蓄積するステップを含むことを特徴とする。

本発明によれば、映像機器がどのような形態であれ、映像表示処理装置の画面に映像が表示さえすれば、映像機器に依存せずに画面に表示された映像の中から顔画像を抽出し、映像機器の種別毎に顔画像を蓄積することができる。

本発明は、カメラ映像、録画再生映像が映っている画面に対して、複数のエリアを指定し、そのエリア内から顔画像の部分のみを抽出し、時刻、映像名称と共にデータベースに登録し、蓄積および検索を行うことができるシステムを提供する。

次に、本発明を実施するための実施例について、図面を参照して詳細に説明する。

（１）顔画像抽出蓄積システムの構成
まず、本発明に係る実施例として、顔画像抽出蓄積システムの構成例を、図１に示す。

図１に示す顔画像抽出蓄積システムは、映像機器１００と、映像表示端末２００と、ネットワーク網３００と、顔画像データベース４００と、顔画像検索端末５００とを備えている。

また、映像機器１００は、アナログカメラ１０１と、ネットワークカメラ１０２と、ＵＳＢ（universal serial bus）カメラ１０３と、ビデオプレイヤー１０４と、ＤＶＤ（digital versatile disk）プレイヤー１０５とを備えている。

また、アナログカメラ１０１は、アナログデジタル変換器１０６に接続され、ビデオプレイヤー１０４は、アナログデジタル変換器１０７に接続されている。

なお、このアナログデジタル変換器１０６、１０７は、アナログカメラ１０１やビデオプレイヤー１０４から入力されたアナログデータの画像を、デジタルデータの画像に変換するものである。

映像表示端末２００は、アナログカメラ映像１１と、ネットワークカメラ映像１２と、ＵＳＢカメラ映像１３と、ビデオプレイヤー映像１４と、ＤＶＤプレイヤー映像１５と、アナログカメラ映像１６と、ネットワークカメラ映像１７と、ＵＳＢカメラ映像１８と、ＤＶＤプレイヤー映像１９とを表示可能な画面として備えている。

なお、映像表示端末２００と、顔画像データベース４００と、顔画像検索端末５００は、ネットワーク網３００に接続されている。

次に、顔画像データベース４００が保持する管理情報４０２を、図２に示す。

図２に示す管理情報４０２は、３つの顔画像の情報（すなわち、アナログカメラ映像１１と、ＵＳＢカメラ映像１３と、ネットワークカメラ映像１７である。）を有しており、日時、映像種別、顔画像が登録されている。

この顔画像データベース４００は、管理情報４０２として、日時や、映像種別（映像機器名）、顔画像を蓄積することにより、顔画像検索端末５００によって参照される。
（２）顔画像抽出蓄積システムの動作
次に、実施例の顔画像抽出蓄積システムの動作について、図３の状態遷移図と、図４に示すフローチャートを用いて、詳細に説明する。

なお、図３に示すステップ番号と、図４に示すステップ番号は、同一の処理を示すものであり、図４は、図３の表示方法をフローチャートで表現したものである。

まず、映像機器１００から映像表示端末２００へ送られてくる映像データを、映像表示端末２００が受信し、映像表示端末２００の画面上に表示する（ステップＳ１）。

次に、映像表示端末２００の画面上に表示されている映像を、ユーザーがエリアを指定して画面上の映像をキャプチャし、映像機器毎に複数の静止画として取得する（ステップＳ２）。

なお、映像表示端末２００がパソコン等の情報処理装置によって形成されている場合には、ユーザは、その情報処理装置の画面上から映像ごとにエリアを指定し、その各映像をキャプチャする。

そして、映像表示端末２００は、静止画の中で、顔画像が写っている部分だけを切り出す（ステップＳ３）。

そして、映像表示端末２００は、その切り出した顔画像データを、ネットワーク網３００を介して、顔画像データベース４００へ送信すると共に、顔画像データベースは、日時、映像種別（映像機器名）と共に顔画像データを保存する（ステップＳ４）。

このように、ステップＳ２からステップＳ４の処理を実行することにより、顔画像を抽出して蓄積（登録）することができ、更にこれらのステップを繰り返すことにより、より多くの顔画像を抽出し、蓄積（登録）することができる。

そして、顔画像検索端末５００は、顔画像データベース４００から、検索したい顔画像を、特徴量を基に検索することができる。

例えば、図３のステップＳ５では、顔画像検索端末５００が、アナログカメラ映像１１の顔画像と同一と判断できる特徴量を有する顔画像を有しており、この顔画像の特徴量を基に、顔画像データベース４００を検索することにより、照合を行うことができる。

この場合の照合は、顔画像の特徴量のみに限定されるものではなく、映像種別や、日時等も組み合わせて、検索するようにしても良い。

従って、顔画像検索端末５００が顔画像データベース４００を検索するによって、ユーザは、顔画像検索端末５００に保存された顔画像を、日時、映像種別、顔画像に基づいて、検索することができる（ステップＳ５）。
（３）顔画像抽出蓄積システムの効果
本実施例によれば、映像機器がどのような形態であれ、映像表示端末２００の画面に映像が表示さえすれば、映像機器に依存せずに画面に表示された映像の中から顔画像を抽出し、映像機器の種別毎に顔画像を蓄積することができる。

これにより、利用者は、映像機器の種類を気にすることなく顔画像を蓄積する機能を選択することができる。

また、同一の静止画内においても、複数の顔画像が検出された場合には、同一の静止画から個別に異なるエリアを指定することにより、別々の顔画像として蓄積することができるので、顔画像ごとに指定した検索を行う場合には、不要な顔画像を排除できる。

このように、顔画像ごとに保存することができると共に、画面上の顔画像を効率的に抽出することができるので、顔画像検索端末５００を用いて顔画像を検索する監視用途のシステムに適用すると、更に顕著な効果を奏する。

なお、本実施例では、静止画によって実施例の動作について説明したが、本実施例は静止画に限定されるものではなく、動画像を再生することにより、動画像から顔画像を抽出するようにしても良い。

この場合、１人の顔画像の動画像から、正面の顔や左右から見た横顔を関連付けてキャプチャして、静止画として保存するようにすれば良い。

本発明の実施例における顔画像抽出蓄積システムの構成を示す構成図である。 本発明の実施例における顔画像データベースが保持する管理情報を示したものである。 本発明の実施例における顔画像抽出蓄積システムの動作を説明する状態遷移図である。 本発明の実施例における顔画像抽出蓄積システムの動作を説明するフローチャートである。

符号の説明

１００ 映像機器
１０１ アナログカメラ
１０２ ネットワークカメラ
１０３ ＵＳＢカメラ
１０４ ビデオプレーヤー
１０５ ＤＶＤプレーヤー
１０６、１０７ アナログデジタル変換器
２００ 映像表示端末
３００ ネットワーク網
４００ 顔画像データベース
４０２ 管理情報
５００ 顔画像検索端末

Claims (4)

1. 種別の異なる複数の映像機器が接続され、前記種別の異なる複数の映像機器から送信された複数の画像を１つの画面上に表示する映像表示処理装置と、前記映像表示処理装置の画面上に表示された画像から抽出された顔画像を蓄積する顔画像データベースとを備えた顔画像抽出蓄積システムであって、
   前記映像表示処理装置は、
   前記画面が複数のエリアを有し、前記種別の異なる複数の映像機器から送信された複数の画像を前記複数のエリアに表示する手段と、
   前記複数のエリアに表示された画像のうち指定されたエリアの画像を切り出し、前記切り出したエリアの画像の中から顔画像を抽出する手段と、
   前記抽出した顔画像を送信元の映像機器の種別を示す情報と共に前記顔画像データベースに送信する手段と、を備え、
   前記顔画像データベースは、前記映像表示処理装置から送信された顔画像及び送信元の映像機器を示す情報を受信し、前記受信した顔画像及び送信元の映像機器を示す情報を蓄積することを特徴とする顔画像抽出蓄積システム。
2. 顔画像検索端末を更に備え、前記顔画像検索端末は、前記顔画像データベースに接続されると共に、前記顔画像データベースに蓄積されている前記顔画像を、所定の条件を基に検索する顔画像データベース検索手段を備えることを特徴とする請求項１に記載の顔画像抽出蓄積システム。
3. 種別の異なる複数の映像機器が接続され、前記種別の異なる複数の映像機器から送信された複数の画像を１つの画面上に表示する映像表示処理装置と、前記映像表示処理装置の画面上に表示された画像から抽出された顔画像を蓄積する顔画像データベースとを備えた顔画像抽出蓄積システムの顔画像抽出蓄積方法であって、
   前記映像表示処理装置が、
   前記種別の異なる複数の映像機器から送信された複数の画像を、前記画面の複数のエリアに表示するステップと、
   前記複数のエリアに表示された画像のうち、指定されたエリアの画像を切り出し、前記切り出したエリアの画像の中から顔画像を抽出するステップと、
   前記抽出した顔画像を送信元の映像機器の種別を示す情報と共に前記顔画像データベースに送信するステップと、を含み、
   前記顔画像データベースが、
   前記映像表示処理装置から送信された顔画像及び送信元の映像機器を示す情報を受信し、前記受信した顔画像及び送信元の映像機器を示す情報を蓄積するステップを含むことを特徴とする顔画像抽出蓄積方法。
4. 顔画像検索端末を更に備え、前記顔画像検索端末は、前記顔画像データベースに接続されると共に、前記顔画像データベースに蓄積されている前記顔画像を、所定の条件を基に検索する顔画像データベース検索ステップを備えることを特徴とする請求項３に記載の顔画像抽出蓄積方法。

Images