WO2005031612A1

WO2005031612A1 - 電子画像蓄積方法、電子画像蓄積装置、及び電子画像蓄積システム

Info

Publication number: WO2005031612A1
Application number: PCT/JP2004/014073
Authority: WO
Inventors: Tetsushi Nomoto
Original assignee: Nikon Corporation; Nikon Technologies Inc.
Priority date: 2003-09-26
Filing date: 2004-09-27
Publication date: 2005-04-07
Also published as: EP1669890A1; US20060161588A1; US20090006482A1; JPWO2005031612A1; JP4569471B2; EP1669890A4

Abstract

　電子画像蓄積方法は、顔画像登録フェーズ及び画像整理フェーズを有する。前記顔画像登録フェーズは、登録画像が入力されるステップと、前記登録画像中の顔画像の顔の特徴量を求めるステップと、前記特徴量を登録顔画像として記憶するステップとを含む。前記画像整理フェーズは、整理対象画像が入力されるステップと、前記整理対象画像中の顔画像の顔の特徴量を求めるステップと、前記求めた整理対象画像中の顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出するステップと、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップとを含む。

Description

明細書

電子画像蓄積方法、電子画像蓄積装置、及び電子画像蓄積システム技術分野

[0001] 本発明は、電子画像分類装置及システム並びにこれらを用いた電子画像蓄積装置及びシステムに関し、特に、電子画像に撮影されている人物に基づいて分類、蓄積する装置及びシステムに関する。

背景技術

[0002] 撮影した画像の画像データは、後日の利用のために画像管理ソフトウェア力 Sインストールされたパーソナルコンピュータ（PC)や画像蓄積に特ィ匕したコンピュータシステムである専用の画像蓄積装置に蓄積保管される。保管に際しては、後日取り出し易いような方法で整理される。例えば、撮影日時や撮影したイベント名などを検索キーとして画像データに関連付けて記憶させる。画像の撮影日時はデジタルカメラによつて自動的に各画像に付与させることができる。後日、画像データを利用する際には、前記検索キーによってコンピュータ検索すれば、所望の画像データを容易に取り出すことができる。画像プリントや画像編集、画像送信などのために画像データにァクセスした日時も自動的に該画像データと関連付けて記憶させ前記検索キーとすることがでさる。

[0003] 一方、予め、任意の人物の顔の特徴量とその人物の属性とを記憶させたデータべースを参照して、テレビカメラなどが現在電子画像として捉えて、る画像又は録画された電子画像の再生画像中の人物の顔の特徴量によって該人物を特定する顔認識システムが知られている。

発明の開示

発明が解決しょうとする課題

[0004] 撮影日時など日時に関するデータは、撮影に用いたデジタルカメラや画像プリント、画像編集、画像送信等の為に画像データを取り扱う機器により自動的に付与させることができるので、画像データに容易に検索キーを付することができる力イベント名などは手操作による入力作業を要する。この入力作業は手間が力かり面倒なので、画像データに適切な検索キーが付されることなく記憶、蓄積されることが多い。

[0005] 日時データは画像データに対して容易に付与することができるが、撮影されて!、る内容と直接的に結び付いているものではないので一般的に印象が薄ぐ必ずしも検索キーとして適当ではない。

[0006] 一方、画像に誰が撮影されて!、るかは、殆どの場合、検索目的そのものなので、後日の画像検索に重要な検索キーとなる。し力しながら、前記理由により撮影された人名が検索キーとして入力されることは少ない。

[0007] 本発明は、画像に撮影されて!ヽる被写体の属性、例えば人の名前などを前記画像に自動的に付することができ、これを用いて前記画像を自動的に分類整理する画像蓄積方法及び画像蓄積装置並びに画像蓄積システムを提供する。

課題を解決するための手段

[0008] 本発明の第 1の態様によると、顔画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法は、前記顔画像登録フェーズは、登録画像が入力されるステップと、前記登録画像中の顔画像の顔の特徴量を求めるステップと、前記特徴量を登録顔画像として記憶するステップとを含み、前記画像整理フェーズは、整理対象画像が入力されるステップと、前記整理対象画像中の顔画像の顔の特徴量を求めるステップと、前記求めた整理対象画像中の顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出するステップと、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップとを含む。

本発明の第 2の態様によると、第 1の態様の画像蓄積方法において、前記特徴量を登録顔画像として記憶するステップは、前記特徴量と前記登録画像中の顔画像とを登録顔画像として記憶するステップであるのが好ましい。

本発明の第 3の態様によると、第 1又は 2の態様の電子画像蓄積方法において、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像の特徴量を付加するステップであるのが好ましい本発明の第 4の態様によると、第 1又は 2の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像の人物に関する属性情報を入力させるステップと、前記入力された属性情報と前記登録顔画像とを関連付けて記憶するステツプとを更に含むのが好ましい。

本発明の第 5の態様によると、第 4の態様の電子画像蓄積方法において、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像に対応する前記属性情報を付加するステップであるのが好ましい。

本発明の第 6の態様によると、第 1又は 2の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像に対応する画像保存用フォルダを作成するステップを更に含み、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像を前記検出した登録顔画像に対応する前記画像保存用フォルダに収納するステップであるのが好ましい。

本発明の第 7の態様によると、第 6の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像の特徴量を前記画像保存用フォルダと関連付けるステップとを更に含むのが好まし!/、。

本発明の第 8の態様によると、第 6の態様の電子画像蓄積方法において、前記顔画像登録フェーズは、前記登録顔画像の人物に関する属性情報を入力させるステツプと、前記属性情報の少なくとも一部を前記画像保存用フォルダと関連付けるステツプとを更に含むのが好まし!/、。

本発明の第 9の態様によると、第 6の態様の電子画像蓄積方法において、前記求めた顔の特徴量に該当する特徴量の顔を前記登録顔画像力も検出できな力つたとき、前記整理対象画像を予め用意された未登録顔画像フォルダに収納するステップを更に含むのが好ましい。

本発明の第 10の態様によると、第 1一 9のいずれかの態様の電子画像蓄積方法において、前記画像整理フェーズは、整理対象画像中の顔の位置を示す位置情報を求めるステップを更に含み、前記画像保存用フォルダに収納するステップ又は未登録顔画像フォルダに収納するステップは、前記求めた顔の位置を示す位置情報を前記整理対象画像と関連付けて収納するのが好ましヽ。

本発明の第 11の態様によると、第 6の態様の電子画像蓄積方法において、前記整理対象画像中に顔画像を検出されなかったとき、前記整理対象画像を予め用意された無顔画像フォルダに収納するステップを更に含むのが好まし!/、。

本発明の第 12の態様によると、第 1又は 2の態様の電子画像蓄積方法において、動作フェーズとして画像検索フェーズを更に有し、前記画像検索フェーズは、前記画像入力部に検出すべき顔画像が撮影された検索画像が入力されるステップと、前記検索画像中の顔画像の顔の特徴量を求めるステップと、前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記整理対象画像から検出するステップとを更に含むのが好ましい。

本発明の第 13の態様によると、第 12の態様の電子画像蓄積方法において、前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記未登録顔画像フォルダ力も検出するステップを更に含むのが好ましい。

本発明の第 14の態様によると、第 12又は 13の態様の電子画像蓄積方法において、前記検出した画像を表示するステップを更に含み、表示した画像の前記位置情報に基づく位置に、所定の表示を表示するのが好ま、。

本発明の第 15の態様によると、プログラムは、第 1一 14のいずれかの態様の方法をコンピュータに実行させるプログラムである。

本発明の第 16の態様によると、電子画像蓄積装置は、画像入力部と、顔認識部と、画像蓄積部とを備え、前記画像入力部には登録画像と整理対象画像とが入力され、前記顔認識部は、前記画像入力部に入力された前記各画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記顔画像とその特徴量とを関連付けて登録顔画像として記憶する第 1の記憶部とを有し、前記画像蓄積部は、第 2の記憶部を有し、前記第 2の記憶部は、前記整理対象画像を収納する画像蓄積フオルダを備え、前記画像処理部が求めた前記整理対象画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに前記整理対象画像を収納して記憶する。

本発明の第 17の態様によると、第 16の態様の電子画像蓄積装置において、前記第 1の記憶部と前記第 2の記憶部とは一つの記憶部として構成されるのが好ましい。本発明の第 18の態様によると、第 16の態様の電子画像蓄積装置において、画像検索部を更に備え、前記画像入力部には検索画像が更に入力され、前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに収納された前記整理対象画像を抽出するのが好ましい。

本発明の第 19の態様によると、第 16の態様の電子画像蓄積装置において、画像検索部を更に備え、前記画像入力部には検索画像が更に入力され、前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の顔画像を含む整理対象画像を前記未登録顔画像フォルダから抽出するのが好ましい。

本発明の第 20の態様によると、画像撮像装置は、撮影手段を含む画像入力部と、顔認識部と、登録顔画像と整理対象画像とを記憶する記憶部とからなり、前記画像入力部には、前記画像撮影手段で撮影した画像が前記整理対象画像として入力され、前記記憶部は、前記登録顔画像の顔の特徴量を記憶する第 1の記憶部と、前記整理対象画像を記憶する第 2の記憶部とを有し、前記顔認識部は、前記整理対象画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記画像処理部が求めた前記整理対象画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する画像比較部とを有し、前記第 2の記憶部は、前記整理対象画像を前記画像処理部が求めた前記画像中の顔画像の顔の特徴量に該当する前記登録顔画像の顔の特徴量と関連付けて記憶する。

本発明の第 21の態様によると、第 20の態様の画像撮像装置において、前記第 1の記憶部は、前記登録顔画像の特徴量を外部から読み込んで記憶するのが好ましヽ。本発明の第 22の態様によると、第 20の態様の画像撮像装置において、前記入力部には前記登録画像が更に入力され、前記画像処理部は、前記入力部に入力された登録画像中の顔画像の顔の特徴量を更に求め、前記第 1の記憶部は、前記画像処理部が求めた前記顔画像の顔の特徴量を前記登録顔画像として記憶するのが好ましい。

本発明の第 23の態様によると、電子画像蓄積システムは、表示部と画像入力部と属性入力部とを有し、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と所望の人物の顔画像を含む検索画像とが前記画像入力部に入力される端末装置と、入力された前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記登録画像中の顔画像の特徴量を登録顔画像として記憶する第 1の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶すると共に前記登録画像の属性情報を記憶する第 2の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、前記各装置を互いに情報授受可能に接続する通信網とから成り、前記端末装置は、前記画像入力部に入力された登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と前記属性入力部に入力された属性情報とを前記画像蓄積装置に送信し、前記表示部に前記画像蓄積装置から受けた検出画像を表示し、前記画像蓄積装置は、前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、前記顔認識装置から各登録顔画像を識別する符号を受け、前記属性情報を前記符号と関連付けて前記第 2記憶部に記憶し、前記蓄積画像を前記符号と関連付けて前記第 2記憶部に記憶し、前記画像検索部によって、前記符号と関連付けられた前記蓄積画像を抽出し、前記抽出した蓄積画像を前記端末装置に送信し、前記顔認識装置は、前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第 1の記憶部に記憶し、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。

本発明の第 24の態様によると、第 23の態様の電子画像蓄積システムにおいて、前記蓄積画像を前記符号と関連付けて前記第 2記憶部に記憶することは、前記蓄積画像を前記第 2記憶部の前記符号が示す登録顔画像に対応する前記収納場所に記憶することであるのが好まし、。

本発明の第 25の態様によると、第 23の態様の電子画像蓄積システムにおいて、前記顔画像と前記収納場所とは、前記属性情報によって対応付けられて、るのが好ましい。本発明の第 26の態様によると、電子画像蓄積システムは、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する第 1の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する第 2の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、前記顔認識装置と前記画像蓄積装置と端末装置とを互いに情報授受可能に接続する通信網とから成り、前記画像蓄積装置は、前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、前記顔認識装置から各登録顔画像を識別する符号を受け、前記属性情報を前記符号と関連付けて前記第 2記憶部に記憶し、前記蓄積画像を前記符号と関連付けて前記第 2記憶部に記憶し、前記画像検索部によつて、前記符号と関連付けられた前記蓄積画像を抽出し、前記抽出した蓄積画像を前記端末装置に送信し、前記顔認識装置は、前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第 1の記憶部に記憶し、記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。

本発明の第 27の態様によると、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有し、端末装置及び画像蓄積装置と通信手段で情報授受可能に結ばれた顔認識装置は、前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記記憶部に記憶し、記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。

本発明の第 28の態様によると、登録顔画像毎に夫々対応する収納場所を有し蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する記憶部を有し、端末装置及び顔認識装置と通信手段で情報授受可能に結ばれた画像蓄積装置は、前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、前記顔認識装置力各登録顔画像を識別する符号を受けると共に、前記属性情報を前記符号と関連付けて前記記憶部に記憶し、前記蓄積画像を前記符号と関連付けて前記記憶部に記憶し、前記画像検索部によって前記符号と関連付けられた前記蓄積画像を抽出し、前記抽出した蓄積画像を前記端末装置に送信する。

本発明の第 29の態様によると、画像登録フェーズ及び画像整理フェーズの動作フエーズを有する電子画像蓄積方法は、前記画像登録フェーズは、登録画像が入力されるステップと、前記登録画像中の対象物の特徴量を求めるステップと、前記特徴量を登録画像として記憶するステップとを含み、前記画像整理フェーズは、蓄積画像が入力されるステップと、前記蓄積画像中の対象物の特徴量を求めるステップと、前記求めた蓄積画像中の対象物の特徴量に該当する特徴量を前記登録画像から検出するステップと、前記蓄積画像と前記検出した登録画像とを関連付けるステップとを含む。

本発明の第 30の態様によると、電子画像蓄積方法は、登録用画像の中から被写体を特定する特定情報を抽出し、前記抽出した被写体の特定情報を登録し、蓄積対象画像を入力し、前記蓄積対象画像の中から被写体を特定する特定情報を抽出し、前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記蓄積対象画像を前記登録した被写体の特定情報に関連付けて記憶装置に蓄積する。本発明の第 31の態様によると、第 30の態様の電子画像蓄積方法において、前記被写体は人物であり、前記被写体を特定する特定情報は、人物の顔の画像から抽出できる情報であり、前記蓄積画像は、前記特定情報に基づき、人物単位に管理されるように前記記憶装置に蓄積されるのが好ましい。

本発明の第 32の態様によると、電子画像蓄積装置は、登録用画像と蓄積対象画像を入力する画像入力部と、前記入力された蓄積対象画像を蓄積する記憶部と、前記入力された登録用画像の中から被写体を特定する特定情報を抽出し、登録する特定情報登録部と、前記入力された蓄積対象画像の中から被写体を特定する特定情報を抽出する特定情報抽出部と、前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記入力された蓄積対象画像を前記登録した被写体の特定情報に関連付けて前記記憶装置に蓄積する制御部とを備える。

発明の効果

[0009] 本発明は、以上説明したように構成しているので、次のような効果を奏する。

電子画像を被写体を特定する特定情報や特徴量に関連付けて蓄積するので、自動的にかつ適切に分類し整理することができる。すなわち、電子画像を、煩わしい操作を不要とし、かつ、適切に分類および整理をすることができる。特に、被写体である人物の顔の画像力抽出した情報に基づいて分類するので、電子画像の中に撮像されている人物単位に適切に分類がなされる。

図面の簡単な説明

[0010] [図 1]本発明の実施の形態例装置の構成を示すブロック図。

[図 2]図 1の装置による処理の流れを示した図。

[図 3]図 1の装置による画像登録フェーズの処理の流れを示した図。

[図 4]図 1の装置による画像整理フェーズの処理の流れの前半を示した図。

[図 5]図 1の装置による画像整理フェーズの処理の流れの後半を示した図。

[図 6]図 1の装置による画像検索フェーズの処理の流れを示した図。

[図 7]本発明の実施の形態例システムの構成を示すブロック図。

[図 8]図 7のシステムによる画像登録フェーズの処理の流れを示した図。

[図 9]図 7のシステムによる画像整理フェーズの処理の流れの前半を示した図。

[図 10]図 7のシステムによる画像整理フェーズの処理の流れの後半を示した図。

[図 11]図 7のシステムによる画像検索フェーズの処理の流れを示した図。 [図 12]登録画像に線枠のマークが表示された状態を示した図。

[図 13]登録顔画像の内容を説明する図。

[図 14]蓄積画像に線枠のマークが表示された状態を示した図。

[図 15]蓄積画像に属性が表示された状態を示した図。

[図 16]画像蓄積フォルダの種類と各フォルダに収納される画像を説明する図。

[図 17]他の蓄積画像を示した図。

[図 18]図 7のシステムにおける登録顔画像の属性情報の内容を説明する図。

[図 19]図 7のシステムにおける登録顔画像情報の内容を説明する図。

[図 20]プログラムをコンピュータに提供する様子を示す図。

発明を実施するための最良の形態

[0011] 図 1は、本発明装置の構成の概要を示すブロック図である。本発明装置は、コンビユータ装置ないしコンピュータシステムによって所定のプログラムを実行することにより実現される。

[0012] 11は記憶媒体読み取り手段や、外部機器からデータを受信するデータ通信手段などで構成され、画像が入力される画像入力部である。画像入力部 11には登録画像、蓄積画像、検索画像が入力される。 12はキーボードなどの入力手段で構成され、前記登録画像に撮影されている人物の属性、例えば氏名が入力される属性入力部である。 14は画像を表示する表示部である。

[0013] 21は顔認識部であり、画像処理部 15と第 1の記憶部 131とで構成されている。画像処理部 15は画像入力部 11に入力された画像に含まれる人物の顔の部分の画像 ( 以下、顔画像という）を解析してその顔の特徴量を求める。第 1記憶部 131はハードディスク装置、光磁気記憶装置、 CD— Rなどで構成され、登録画像中の顔画像と画像処理部 15が求めた前記顔画像の顔の特徴量 (以下、単に顔画像の特徴量という）と前記人物に関する属性とを、後述する顔認識処理の参照データとなる登録顔画像として記憶する。画像処理部 15は更に、前記求めた顔の特徴量と第 1記憶部 131に記憶した顔画像の特徴量とを比較して、前記求めた顔の特徴量に該当する特徴量の登録顔画像を抽出する。

[0014] 22は画像蓄積部であり、第 2の記憶部 132で構成されている。第 2記憶部 132はハードディスク装置、光磁気記憶装置、 CD— Rなどで構成され、画像入力部 11に蓄積画像として入力された画像を蓄積'記憶する。その際、画像処理部 21が行う、蓄積画像中の顔画像の特徴量と登録顔画像の特徴量とに基づいて蓄積画像中の人物を識別する顔認識処理の結果に基づ、て、前記蓄積画像と識別した人物の属性とを関係付けると共に前記蓄積画像を分類して蓄積'記憶する。なお、第 1記憶部 131と第 2記憶部 132とは、図 1に 13で示したように一つの記憶部の一部として構成されることが多い。

[0015] 17は画像蓄積部 22の蓄積画像力所望の画像を取り出す画像検索部である。画像検索部 17は、属性入力手段 12から入力された検索キーワードと蓄積画像に関係付けられた属性に基づいて所望の画像を検索する。更に、顔認識部 21に、画像入力部 11に入力された検索画像中の顔画像の特徴量を求めさせると共に前記求めた特徴量と登録顔画像の特徴量とに基づいて検索画像中の人物を識別する顔認識処理を行わせ、その結果に基づ、て検索画像中の人物の属性に対応する属性の人物が撮影された蓄積画像を取りだして表示部 14に表示する。即ち、画像検索部 17は顔認識部 21と協同するか、若しくは包含する。

[0016] 18は上記各部に接続され上記各部の動作を制御する制御部である。

[0017] 次に、本発明装置による画像の取扱を説明する。本発明装置による画像の取扱いには三つのフェーズがある。

[0018] 第 1の顔画像登録フェーズでは、後の画像整理フェーズで入力される画像中から検出すべき人物の顔画像をその人物の属性と共に第 1記憶部 131に登録顔画像として記憶させる。第 2の画像整理フェーズでは、入力された画像に撮影されている人物の顔画像を検出すると共に、登録顔画像として記憶されている顔画像に該当する人物を検知し、前記画像を前記検知した人物の属性情報と関連付けて第 2記憶部 1 32に蓄積画像として蓄積 '記憶させる。前記属性情報は、後の画像検索フェーズにおいて検索キーとして用いられる。第 3の画像検索フェーズでは、検索条件の入力を受け、該検索条件によって第 2記憶部 132の蓄積画像を検索し、該検索条件に合致する画像を取り出す。

[0019] 本発明装置を起動させると図 2に手順を示した処理が行われる。即ち、ステップ 21 ( 図中では S21と記す。他のステップも同様とする。 )において、前記三つのフェーズの一つを選択させる画面が表示される。前記画面には処理を終了させる処理を選択する表示も表示されている。

[0020] ステップ 22において、マウスなどにより任意の処理が選択される。ステップ 23において、処理の終了が選択されたかを判断する。処理の終了が選択された場合には処理を終了する。それ以外の場合はステップ 24に進む。ステップ 24において、前記選択されたフェーズの処理を実行してステップ 21に戻る。

[0021] 以下、各フェーズを詳細に説明する。図 3に顔画像登録フェーズの処理手順を、図

4、図 5に画像整理フェーズの処理手順を、図 6に画像検索フェーズの処理手順を示す。

[0022] 顔画像登録フェーズの処理（図 3参照）では、ステップ 31において、画像入力部 11 に所望の人物の顔が撮影された画像が登録画像として入力される。入力された登録画像は表示部 14に表示される。

[0023] ステップ 32におヽて、画像処理部 15が前記登録画像を解析して、該登録画像に撮影されている人物の顔画像を検出あるいは抽出する。検出した顔画像の位置に線枠などのマークが表示される。複数の顔画像が検出された場合には、夫々の顔画像の位置に前記マークが表示される。図 12は、前記入力された登録画像 120に前記線枠のマーク 121— 125が表示された状態を示した図である。顔画像が一つも検出されない場合は、図示していないが、その旨を表示するエラー処理を行って処理を終了する。

[0024] ステップ 33において、マウスなどの指示装置によって前記マークが表示された顔画像のうち、任意の人物の顔画像が一つ選択される。表示部 14には選択終了ボタンが前記画像と共に表示される。前記顔画像の一つが選択された時、又は前記選択終了ボタンが選択された時にステップ 34に進む。なお、検出した顔画像が一つのみの場合はその顔画像が自動的に選択され、このステップはスキップされるようにしても良い。

[0025] ステップ 34にお、て、ステップ 33で選択された顔画像の有無を判断し、あればステップ 35に進み、無ければ処理を終了する。選択された顔画像が無いのは、登録すベき全ての人物の顔画像が登録され、未登録の人物の顔画像が無くなった時、又は有つても登録の必要のない人物の顔画像のみとなつた時である。

[0026] ステップ 35におヽて、画像処理部 15が前記選択された顔画像の特徴量を求める（抽出する)。前記特徴量は、顔の輪郭の縦横比や、目、鼻、口の相対的位置及び顔輪郭に対する位置、夫々の形状及び大きさ等を含み、個人を十分な精度で識別可能な特徴量である。すなわち、顔画像の特徴量は、被写体である各人物を特定することが可能な情報である。なお、顔画像自体も各人物を特定することができる情報である。前記特徴量を求めるための処理は、「従来の技術」の欄で述べたシステムに用 V、られる処理と同様の処理である。

[0027] ステップ 36において、前記選択された人物の属性が入力部 12から入力される。ステツプ 37におヽて、前記画像の前記選択された顔画像を前記特徴量及び前記属性と関連付けて第 1記憶部 131に登録顔画像として記憶して登録する。

[0028] ステップ 38にお、て、画像蓄積フォルダを作成する。その際、フォルダ名をステップ 36で入力された属性の一部、例えばその人物の名前などとする。顔画像の特徴量をフォルダ名としても良い。

[0029] ステップ 39にお、て、前記選択された顔画像に対する前記マークを消去する。ステップ 40において、他に検出された顔画像があるカゝ否かを判断し、あればステップ 33 に戻り、無ければ処理を終了する。

[0030] この様にして、登録顔画像として記憶 (登録)すべき顔画像が第 1記憶部 131に記憶される。図 13は図 12の枠線 123の人物を除き登録顔画像として記憶された場合の第 1記憶部 131の記憶内容を示した図である。 ID1は図 12のマーク 121の「Aさん」に、 ID2はマーク 122の「Bさん」に、 ID3はマーク 124の「じさん」に、 ID4はマーク 1 25の「Dさん」にそれぞれ対応する。登録顔画像は、図 12の登録画像 120から抽出したそれぞれの顔画像データが格納される。表示して!/ヽな、が少なくとも特徴量の欄にはデータが記入されている。この場合、ステップ 38において、フォルダ名「Aさん」、「Bさん」、「じさん」、「Dさん」の 4つの画像蓄積フォルダが作成されている。その他に「未登録顔画像」フォルダ及び「無人画像」フォルダが予め作成されて!、る。

[0031] 画像整理フェーズの処理を図 4、図 5を参照して説明する。図 4、図 5の処理は一連の処理であるが、紙面の都合により前半を図 4に、後半を図 5に示した。

[0032] ステップ 41にお、て、 DSCなどの外部機器から整理すべき対象画像、即ち蓄積画像が入力される。ステップ 42において、画像処理部 15が前記蓄積画像を解析して、前記蓄積画像中に撮影されて!ヽる顔画像を検出する。前記顔画像の位置に線枠などのマークが表示される。複数の顔画像が検出された場合には、夫々の顔画像の位置に前記マークが表示される。図 14は蓄積画像 140に前記線枠のマーク 141一 14 3が表示された状態を示した図である。

[0033] ステップ 43にお、て、前記蓄積画像中に顔画像があるか否か、即ち前記線枠などのマークの有無を判断する。前記マークがあればステップ 44に進み、なければステツプ 144に進む。ステップ 144では、該蓄積画像を、人物が撮影されていない画像の保管用に予め用意された無人画像フォルダに収納して処理を終了する。

[0034] ステップ 44において、画像処理部 15が前記検出した顔画像を処理してその顔画像の特徴量を求める。該顔画像の特徴量を検出するための処理は前記画像登録フエーズのステップ 35と同じである。

[0035] ステップ 45において、第 1記憶部 131の登録顔画像の特徴量を参照して、前記検出した特徴量に該当する登録顔画像を検出する。そして、ステップ 46において、前記検出された登録顔画像と関連付けられた属性、例えば名前を前述の処理をした顔画像の近傍に表示する。蓄積画像中に検出された全ての顔画像にっ、てステップ 4 4一ステップ 46の処理を行う。検出した特徴量に該当する登録顔画像が無いときは未登録である旨を表示する。

[0036] 図 15は蓄積画像 140に前記属性および未登録である旨が表示された状態の図であり、図 13の登録顔画像に含まれている顔画像 151と 152には、その属性「Aさん」、「Dさん」が表示され、前記登録顔画像に含まれてヽな、顔画像 153には「未登録」が表示される。前記蓄積画像と同時に収納ボタン 154と追加登録ボタン 155とキャンセルボタン 156とが表示される。なお、以下、該当する登録顔画像が検出された顔画像を検出顔画像、登録顔画像が無!ヽ顔画像を未登録顔画像と言う。

[0037] ステップ 47において、マウスなどの指示装置により前記収納ボタン 154、追加登録ボタン 155、キャンセルボタン 156のいずれのボタンが選択されたかを判断する。そして、収納ボタン 154の選択に応じてステップ 48に、追加登録ボタン 156の選択に応じてステップ 148に、キャンセルボタン 156の選択に応じてステップ 248に進む。ここで、前記各ボタンが選択される前に、前記顔画像がマウスなどで選択された場合は該選択された顔画像だけがその後の処理の対象とされる。前記顔画像の選択は複数を選択することができる。

[0038] ステップ 48において、前記蓄積画像が、特徴量が該当する登録顔画像に対応する画像蓄積フォルダに収納される。特徴量が該当する登録顔画像が複数ある場合、即ち顔画像が登録されて、る人物が複数撮影されて、る場合は、各登録顔画像に対応する全ての画像蓄積フォルダに前記蓄積画像が収納される。即ち、前述の場合、図 14の蓄積画像はフォルダ「Aさん」とフォルダ「Dさん」とに収納される。

[0039] なお、蓄積画像を画像保存フォルダに収納するとは、蓄積画像と画像保存フォルダとを対応付けること、又は、前記蓄積画像と特徴量が該当する登録画像に対応する属性情報とを関連付けること、前記蓄積画像の画像ファイルに前記属性情報を付カロすることも含むものとする。なお、ステップ 38において顔画像の特徴量をフォルダ名とした場合には前記蓄積画像と前記特徴量とを関連付ける。前記蓄積画像の画像ファィルに前記特徴量を付加しても良ヽ。

[0040] ステップ 49において、ステップ 48の処理の対象となった検出顔画像のマークが消去されてステップ 50に進む。検出顔画像に対して表示された名前が違っているものがある場合には、正しい表示の検出顔画像をマウスで選択した後に収納ボタンを選択する。その結果、選択された検出顔画像、即ち正しい表示の検出顔画像に対応する登録顔画像の画像蓄積フォルダに蓄積画像が収納される。一方、選択されなかつた検出顔画像は未登録顔画像とされる。元々の未登録顔画像はそのまま維持される

[0041] ステップ 148におヽて、前記未登録顔画像を対象として前記顔画像登録フェーズのステップ 33—ステップ 40の処理が実行される。即ち、未登録顔画像を登録顔画像に追加登録する処理が行われる。そして、この処理の中で登録された顔画像に対応する画像蓄積フォルダが作成される。但し、ステップ 35は画像整理フェーズのステツプ 44と重複するので除外される。追加登録の必要が無い未登録顔画像は、後述のステップ 248の処理の対象としてキャンセルする。

[0042] ステップ 149において、前記蓄積画像がステップ 148の処理で作成された画像蓄積フォルダに収納されると共に、このステップの処理の対象となった未登録顔画像のマークが消去されステップ 50に進む。選択されな力つた検出顔画像は、ステップ 148 、ステップ 149の処理後もそのまま維持される。

[0043] ステップ 248において、ステップ 42で顔画像に付されたマーク及びステップ 6で顔画像に表示された名前が消去される。このステップの処理の対象となった全ての顔画像のマークや名前が消去される。

[0044] ステップ 249において、キャンセル対象となった未登録顔画像を含む蓄積画像は、前記未登録顔画像の位置情報及び特徴量と関連付けられると共に未登録顔画像フオルダに収納されステップ 50に進む。前述の例において、顔画像 153をステップ 14 8による追加登録の対象とせず、ステップ 248によりキャンセルすると、図 14の画像は予め用意された「未登録顔画像」フォルダにも収納される。検出顔画像の一部だけを

、場合は、予め処理の対象とする顔画像をマウスで選択した後にキャンセルボタン 156を選択する。

[0045] ステップ 50において、ステップ 48、ステップ 148、ステップ 248のいずれの処理もされていない顔画像が残っているかを判断し、残っていればステップ 47に戻り、残って V、なければ処理を終了する。

[0046] 図 16は、上記処理により図 17の画像 170を更に整理蓄積したときに、各画像蓄積フォルダに収納されている画像を示した図である。フォルダ「Aさん」 161に図 14の画像 140と図 17の画像 170と力フォルダ「Bさん」 162に図 17の画像 170力フォルダ「Dさん」 164に図 14の画像 140力フォルダ「未登録」 165に図 14の画像 140が、夫々収納されている。フォルダ「じさん」 163とフォルダ「無人画像」 166には画像が一つも収納されていない。

[0047] 検出顔画像と未登録顔画像とが混在する画像の場合には、例えばステップ 47にお V、て、まず収納ボタン 154を選択して各検出顔画像に対応する画像蓄積フォルダに蓄積画像を収納し、次に、未登録顔画像の中で登録顔画像として登録しておきたい人物の顔画像をマウスで選択した後、追加登録ボタン 155を選択して前記顔画像登録フェーズの処理手順に従って所要の登録操作を行う。次に、キャンセルボタン 156 を選択して残った未登録顔画像の処理を放棄する。

[0048] 最初に蓄積画像を画像蓄積フォルダに収納する必要のな、人物の顔画像や追カロ登録する必要のない人物の顔画像をマウスで選択した後にキャンセルボタン 156を選択してこれらを処理対象から除外した後、収納ボタン 154又は追加登録ボタン 155 を選択しても良い。即ち収納ボタン 154、追カロ登録ボタン 155、キャンセルボタン 156 は適宜の順に選択することができる。

[0049] さて、同一人物の顔画像であっても顔の向きや表情の違いによって求めた顔の特徴量に若干の相異が生ずることがある。また、加齢によっても顔の特徴量は多少変化する。そこで、前記ステップ 48の処理と同時に、ステップ 45で検出した特徴量によつて登録顔画像に関連付けられた特徴量に修正を加えるか、前記登録画像に前記検出した特徴量を更に関連付けて記憶させることが好ま U、。蓄積画像の顔画像に対応する登録顔画像をより正確に検出することができる。

[0050] 両画像の特徴量に所定量以上の差がある場合に前記特徴量の修正又は追加を行うようにしても良い。また、登録画像、蓄積画像には、各画像が撮影された撮影日時が撮影したデジタルカメラによって関連付けられている。登録画像の撮影日時と蓄積画像の撮影日時とを参照して、両者間に所定日数以上の時間経過がある場合に前記特徴量の修正又は追加を行うようにしても良、。

[0051] 更に、顔画像登録フェーズのステップ 36で入力された属性が既に記憶されたものと重複した場合、特徴量の更新を行うか否かを確認の上で記憶済みの特徴量の修正又は追加を行うようにしても良ヽ。

[0052] 次に画像検索フェーズを説明する。画像検索フェーズでは前記第 2記憶部 132の蓄積画像から所望の人物が撮影された画像を抽出するために、 2種類の画像検索方法を選択的に用いることができる。その一は、検索部 18が、入力された検索キーヮードに基づいて蓄積画像についてフォルダ名、画像ファイル名、これらに関連付けられた属性情報を検索して該当する画像を抽出する方法であり、主に、所望の人物の顔画像が登録顔画像に登録されて、る人物、即ち所望の人物の属性が知れて、る場合に用いられる。この方法は周知の方法である。 [0053] その二は、入力された顔画像の特徴量と一致する特徴量の顔画像が含まれる画像を抽出する検索方法であり、主として、所望の人物の顔画像が登録顔画像に登録されていない人物である場合に用いられる方法である。以下、この場合の方法をその処理手順を示した図 6を参照して説明する。

[0054] ステップ 61におヽて、所望の人物の顔画像が撮影された検索画像が入力される。

ステップ 62において、画像処理部 15が前記検索画像を解析して、前記画像に撮影されている未登録顔画像を検出し、検出した顔画像の位置に線枠などのマークを表示する。複数の未登録顔画像が検出された場合には、夫々の顔画像の位置に前記マークを表示する。

[0055] ステップ 63において、マウスなどの指示装置によって所望の未登録顔画像が選択される。表示部 14には選択終了ボタンが前記検索画像と共に表示され、該選択終了ボタンが選択された時にステップ 64に進む。検出した未登録顔画像が一つのみの場合はその顔画像が自動的に選択され、このステップはスキップされるようにしても良い。以下、選択された顔画像を検索顔画像と言う。

[0056] ステップ 64にお、て、画像処理部 15が前記検索顔画像の特徴量を求める。ステツプ 65にお、て、画像検索部 17が未登録顔画像フォルダ中の画像と関連付けられた顔画像の特徴量を参照して、画像処理部 15が求めた前記検索顔画像の特徴量に該当すると思われるものを検出する。画像処理部 15の顔画像比較機能を利用して前記処理を行うようにしても良、。

[0057] ステップ 66にお、て、前記検出した特徴量に関連付けられた画像、即ち前記検索顔画像の特徴量に該当すると思われる特徴量の顔画像を含む画像を表示部 14〖こ表示すると共に、該画像と関連付けて記憶されて、る位置情報に基づ、て該位置情報の位置にマークを表示する。その結果、前記該当すると思われる顔画像にマークが付される。表示部 14には前記画像と同時に参照顔画像登録フェーズを開始させるボタンと処理終了ボタンとが表示される。

[0058] ステップ 67にお!/、て、、ずれのボタンが選択されたかを判定し、前者のボタンの選択に応じてステップ 68に進み、後者のボタンの選択に応じて処理を終了する。ステツプ 68にお、て、前記顔画像登録フェーズを実行して処理を終了する。 [0059] この検索方法によれば、所望の人物の顔画像が予め登録顔画像に登録されていなくても、その人物が撮影されている画像を容易に抽出することができる。例えば、図 12の画像を検索画像とし、線枠 123の顔画像を検索顔画像とすれば、図 16のフォルダ「未登録」から図 14の画像が抽出される。

[0060] なお、ステップ 62において全ての顔画像を検出するようにすると共に、ステップ 65 にお!/、て登録顔画像に対応する画像保存フォルダを検索対象とすれば、顔画像を登録済みだが名前等の属性を忘れてしまった人物が撮影された画像を抽出することができる。ステップ 38及びステップ 48におヽて顔画像の特徴量を用いた場合には、ステップ 64では求めた特徴量をフォルダ名とする画像保存フォルダに収納されて!ヽる画像を抽出すれば良い。

[0061] また、ステップ 48の処理を行う際に、各蓄積画像に該蓄積画像を収納するフォルダに対応する顔画像の位置を示す位置情報を関連付けて記憶させれば、前記画像保存フォルダに収納されている画像を表示する際に、検索顔画像に該当する人物の顔の位置にその人物の名前等の属性情報を表示するようにすることができる。抽出する人物の名前を忘れても確認することができる。更に、ステップ 48において、検出した全ての登録顔画像の位置と属性情報とを蓄積画像と関連付けて記憶させておけば検索顔画像の人物以外の人物につ、ても名前を表示することができる。

[0062] 以上説明した方法は、画像蓄積装置のみならず画像撮影装置にお!、ても実現することができる。その場合には、前記画像入力部に画像撮影手段を備え、前記画像撮影手段で撮影した画像を前記整理対象画像 (蓄積画像)とし、前記第 2の記憶部を前記撮影した画像を記録する記憶媒体とする。その結果、撮影した画像を撮影と同時に所望の分類に分けて画像撮影装置の記録媒体に記録することができる。なお、登録顔画像とその属性情報とは前記画像蓄積装置が記憶する登録顔画像を読み込んで記憶しても良、し、撮影した画像を登録画像としても良、。

[0063] 図 7は上記各フェーズの処理をコンピュータネットワーク上で実施した場合のシステムの構成例を示した図である。図 1の構成と同様の機能の構成には同一符号を付した。前記システムは顔認識を行う顔認識コンピュータ（以下顔認識 CPU) 71と、画像を蓄積保管する画像蓄積サーバ 72と、利用者が操作する端末装置としてのパーソナルコンピュータ (PC) 73と、これらを結ぶ通信手段、例えばインターネット 74とで構成されている。画像蓄積サーバ 72は、例えばインターネットのプロバイダや画像プリント業者などが提供する画像預カゝりサービス用のサーバ等である。顔認識 CPU73は顔認識サービスを提供する業者のコンピュータである。

[0064] 顔認識 CPU71は、入力された画像中の顔画像の特徴量と求める特徴量検出部 1 51と、登録顔画像の特徴量を含む登録顔画像情報 711が記憶された記憶部 131と、特徴量検出部 151が検出した特徴量に該当する特徴量の登録顔画像を抽出する顔画像検索部 152とを備えている。特徴量検出部 151と顔画像検索部 152とで前述の実施の形態例の画像処理部 15が構成される。

[0065] 画像蓄積サーバ 72は蓄積画像 721と登録顔画像の人物の属性情報等 722とを記憶した記憶部 132と画像検索部 17とを備えている。前記蓄積画像 721は画像蓄積フ才ノレダ 723【こ収糸内されて!ヽる。

[0066] PC73は一般的仕様の PCであり、表示部 14やキーボード、マウスなどを備えると共に、本システム用のプログラム力 Sインストールされ、該プログラムによって記憶媒体読取部や外部機器接続部、例えば外部記憶装置が接続された USBコネクタが画像入力部 11として、キーボードが属性入力部 12として作用する。キーボードは他の文字情報の入力などにも用いられる。

[0067] 以下、前述の実施の形態例と異なる点を中心に各フーズにおける処理を説明する。各フェーズにおける処理の内容には、前述の実施の形態例と同様の処理を行うステップが含まれると共に、それらのステップの処理を顔認識 CPU71と画像蓄積サーバ 72と PC73とで分担するためのステップが追加されたものとなっている。なお、以下の説明に参照する図 8—図 11にお、て、各ステップの処理の説明の先頭の文字は、そのステップを実行するコンピュータを示すものであり、 K:は顔認識 CPU71を、 S：は画像蓄積サーバ 72を、 P：は PC73を示して!/、る。

[0068] 顔画像登録フェーズを説明する。図 8のステップ 81にお、て、登録画像と利用者に割り当てられた IDとが PC73の画像入力部 11及びキーボード力も入力される。入力された登録画像は表示部 14に表示される。入力された登録画像と IDとが画像蓄積サーバ 72に送られる。 [0069] ステップ 82において、画像蓄積サーバ 72は、前記 IDと予め前記 IDに対応させて記憶した利用者情報 (不図示)とに基づ!/ヽて利用者を特定し認証すると共に前記登録画像に識別符号を付し、前記識別符号と前記登録画像とを顔認識 CPU71に転送する。前記識別符号には前記利用者を特定する情報、例えば前記 IDが含まれることが好ましい。

[0070] ステップ 83において、顔認識 CPU71は、前記登録画像中の顔画像を検出し、前記登録画像中における顔画像の位置を示す位置情報を求めて前記識別符号と共に画像蓄積サーバ 72に送信すると共に該顔画像を画像解析してその顔の特徴量を求め前記識別符号及び前記位置情報と共に記憶する。

[0071] ステップ 84において、画像蓄積サーバ 72は前記識別符号と前記位置情報とを PC 73に転送する。ステップ 85において、 PC73は前記位置情報の位置にマークを表示する。その結果、 PC73に表示された登録画像の顔画像にマークが付される。

[0072] ステップ 86にお!/、て、 PC73にお!/、て、登録すべき顔画像がマウスで選択され、これに応じて表示される属性入力欄に該顔画像の人物の属性が入力される。マークが付されて!ヽても登録不要の顔画像は選択されな!ヽ。選択された顔画像の位置情報と属性とが前記識別符号と共に画像蓄積サーバ 72に送信される。

[0073] ステップ 87において、画像蓄積サーバ 72は、受信した前記識別符号と位置情報と前記属性とを関連付けて記憶部 132に記憶する。図 18に示した前記記憶内容が前述の登録顔画像の属性情報等 722である。画像蓄積サーバ 72は、更に、前記属性に対応した、例えば前記属性に含まれる人名をフォルダ名とする画像蓄積フォルダ 7 23を記憶部 132に作成する。更に顔認識 CPU51に前記受信した識別符号と位置情報とを送信する。

[0074] ステップ 88において、顔認識 CPU71は、前記識別符号と前記位置情報とを受信し、前記識別符号と前記位置情報とその位置の顔画像の特徴量とを登録顔画像情報 711として記憶部 131に記憶する。図 19は画像認識 CPU71が記憶した登録顔画像情報 711の内容を示した図である。図 19の例では顔画像も登録顔画像情報として記憶した。受信した位置情報に含まれて、な、位置の顔画像の特徴量は破棄する。なお、図 18、図 19の IDは便宜上付したもので必須ではない。また、両者の IDが同一でも対応して、る必要はな、。

[0075] ステップ 83の顔の特徴量の検出は、ステップ 88において受信した位置情報の位置の顔画像のみにっ、て行うようにしても良ヽ。連続して処理されるなど処理中の画像が他の画像と混同される恐れが無いステップでは前記識別符号の送受信を省略しても良、。登録顔画像の人物の属性情報も顔認識 CPU71に記憶させることもできるが、通常、顔認識 CPU71は画像蓄積サーバ 72の運営者により選定され、利用者が直接選択しな!、ので個人情報保護の観点カゝら上記のように属性情報は画像蓄積サーノ 72に記憶させることが好ましい。

[0076] 画像整理フェーズを説明する。図 9のステップ 91にお、て、蓄積画像と前記 IDとが PC73に入力される。 PC73は蓄積画像を表示部 14に表示すると共に、入力された蓄積画像と IDとを画像蓄積サーバ 72に送信する。ステップ 92において、画像蓄積サーバ 72は前記 IDに基づ、て利用者を特定し、前記蓄積画像を一時保管フォルダに収納すると共に顔認識 CPU71に転送する。

[0077] ステップ 93において、顔認識 CPU71は前記蓄積画像中の顔画像を検出し、前記蓄積画像中における顔画像の位置を示す位置情報と該顔画像の特徴量とを求め、登録顔画像情報 711を参照して、前記求めた特徴量に該当する特徴量の顔画像を記憶部 131の登録顔画像から検出する。そして、該当する特徴量の顔画像が検出された顔画像については該顔画像が含まれる登録画像の識別符号及び登録顔画像の位置情報と、前記蓄積画像中に検出した顔画像の位置情報とを画像蓄積サーバ 72に送信し、該当する特徴量の顔画像が検出されない顔画像については未登録であることを示す未登録情報と前記蓄積画像中に検出した顔画像の位置情報とを画像蓄積サーバ 72に送信する。登録画像の識別符号及び登録顔画像の位置情報を送信しな、ことをもって未登録情報としても良!、。

[0078] ステップ 94において、画像蓄積サーバ 72は登録顔画像の属性情報 722を参照して、前記識別符号及び位置情報に関連付けられた属性を検出する。属性情報 722 を顔認識 CPU71に登録顔画像情報 711の一部として各登録顔画像と関連付けて記憶させることもでき、その場合にはステップ 93において前記検出した登録顔画像の属性情報 711も画像蓄積サーバ 72に送信する。ステップ 94の前記識別符号及び位置情報に関連付けられた属性を検出することは不要となる。本実施の形態例では

、登録顔画像の人物に関する情報保護を重視し、属性情報 711は画像蓄積サーバ 72に記憶させている。

[0079] ステップ 95において、画像蓄積サーバ 72は前記顔認識 CPU71から受けた蓄積画像中に検出した顔画像の位置情報を前記属性又は未登録情報と共に PC73に送信する。ステップ 96において、 PC73は受信した位置情報の位置に前記属性又は未登録であることを示す未登録マークを表示する。その結果、表示部 14に表示した蓄積画像の顔画像に前記属性又は未登録マークが表示される。以下、図 10を参照する。

[0080] ステップ 97において、 PC73は以降の処理の対象とする顔画像のマウスによる選択入力を受ける。即ち、表示部 14に前記蓄積画像と共に収納ボタン、追加登録ボタン、キャンセルボタンを表示し、選択されたボタンに応じて夫々ステップ 98、ステップ 19 8、ステップ 298の処理に進む。

[0081] ステップ 98において、 PC73は選択された顔画像の位置情報を画像蓄積サーバ 7 2に送信する。ステップ 99において、画像蓄積サーバ 72は、前記受信した位置情報の位置の顔画像の属性に対応する画像蓄積フォルダ 723に前記蓄積画像を蓄積画像として収納する。そして、ステップ 100に進む。

[0082] ステップ 198において、前述の顔画像登録フェーズを実行する。この処理の中で登録された顔画像に対応する画像蓄積フォルダ 723が作成される。ステップ 199にお V、て、上記顔画像登録フェーズで作成した画像蓄積フォルダ 723に前記蓄積画像を収納する。そして、ステップ 100に進む。

[0083] ステップ 298にお!/、て、 PC73はキャンセルボタンが選択されたことを画像蓄積サーノ 72に通知すると共に、ステップ 96で顔画像に表示された名前や未登録マークを消去する。このステップの処理の対象となった全ての名前や未登録マークが消去される。ステップ 299において、画像蓄積サーバ 72は前記処理の対象となった未登録顔画像を含む蓄積画像を、前記未登録顔画像の位置情報及び特徴量と関連付けると共に予め設けられた未登録顔画像フォルダに収納する。そして、ステップ 100に進む。検出顔画像の一部だけをこの処理の対象としたい場合は、予め、処理の対象とする顔画像をマウスで選択した後にキャンセルボタンを選択する。

[0084] ステップ 100において、ステップ 98、ステップ 198、ステップ 298のいずれの処理もされていない顔画像が残っているかを判断し、残っていればステップ 7に戻り、残って V、なければ処理を終了する。

[0085] 画像検索フェーズを説明する。画像検索フェーズでは、前述の実施の形態例と同様、検索キーワードに基づき、記憶部 131の登録顔画像に登録されている人物が撮影された画像を検索する検索と、入力された検索画像中の所望の人物の登録顔画像に基づ、て、前記登録顔画像の人物に対応する画像蓄積フォルダ 723に収納されている蓄積画像を抽出する検索とが可能である。後者の場合、前記検索画像中の所望の人物の顔画像の特徴量を求め、前記求めた特徴量に該当する特徴量の登録顔画像を検出し、前記登録顔画像の属性に対応する画像保存フォルダ 723に収納されている蓄積画像を抽出する。更に、所望の人物の顔画像に基づいて、登録顔画像に登録されていない前記所望の人物が撮影された画像を抽出する検索も可能である。ここではこの方法を図 11を参照して説明する。

[0086] ステップ 101において、 PC73は利用者の IDと検索すべき人物の顔が撮影された検索画像とを読み込むと共に、前記検索画像を表示部に表示する。ステップ 102において、 PC73はマウスによる検索すべき人物の顔画像の位置の指示入力を受ける。即ち、前記表示した検索画像の前記顔画像の位置がマウスでクリックされる。

[0087] ステップ 103において、 PC73は前記指示入力された位置を示す位置情報を求めて、前記 IDと共に画像蓄積サーバ 72に送信する。ステップ 104において、画像蓄積サーバ 72は前記 IDに基づいて利用者を特定すると共に、前記検索画像と前記位置情報とを顔認識 CPU71に転送する。

[0088] ステップ 105において、顔認識 CPU71は前記位置情報の位置の顔画像を検出し、該顔画像の特徴量を求めて画像蓄積サーバ 72に転送する。ステップ 106において、画像蓄積サーバ 72は画像検索部 17によって画像未登録顔画像フォルダ中の画像と関連付けられた顔画像の特徴量を参照し、受信した特徴量に該当する特徴量の顔画像を含む画像を求め、該画像を PC73に送信する。

[0089] ステップ 107において、 PC73は受けた画像を表示部に表示する。顔認識 CPU71 と画像蓄積サーバ 72とは前述の説明の如く異なる管理者に管理されても良いし、同一の管理者に管理されても良ぐ更に、一台のコンピュータで両者を兼ねても良い。

[0090] 本実施の形態例のシステムは、例えば、インターネットプロバイダや映像産業関連業者など力インターネット上で運営する画像預カりサービスのサイトと連携する力その機能を利用して構築することができる。即ち、画像蓄積サーバ 72と前記画像預カりサービス用サーバとは、少なくとも一方が他方の機能の一部を兼ねても良い。

[0091] 前記各実施の形態例では、撮影された人物の顔画像に基づ!、て蓄積画像を分類し蓄積する例を説明したが、被写体の種類毎に、例えば人物の有無、自動車、電車、花等の植物、動物等に分類して蓄積'記録することもできる。更に、自動車や電車の車種毎、花などの植物や動物の種類毎に細分して蓄積 ·記録することもできる。

[0092] 上記説明した処理は、コンピュータ装置ないしコンピュータシステムが所定のプログラムを実行することにより行われる。このようなプログラムは、 CD— ROMなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図 20はその様子を示す図である。コンピュータ 200は、 CD— ROM204を介してプログラムの提供を受ける。また、コンピュータ 200は通信回線 201との接続機能を有する。コンピュータ 202は上記プログラムを提供するサーバーコンピュータであり、ハードディスク 203などの記録媒体にプログラムを格納する。通信回線 201は、インターネット、電話回線などの通信回線、あるいは専用通信回線などである。コンピュータ 202はハードディスク 203を使用してプログラムを読み出し、通信回線 201を介してプログラムをコンピユータ 200に送信する。すなわち、プログラムをデータ信号として搬送波にのせて (embodied),通信回線 201を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

[0093] 上記説明した実施の形態の装置は、次のような効果を奏する。電子画像を被写体を特定する特定情報や特徴量に関連付けて蓄積するので、自動的にかつ適切に分類し整理することができる。すなわち、撮像した電子画像を、煩わしい操作を不要とし、かつ、適切に分類および整理をすることができる。特に、被写体である人物の顔の画像力も抽出した情報に基づ、て分類するので、電子画像の中に撮像されて、る人物単位に適切に分類がなされる。

[0094] 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

[0095] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。

日本国特許出願 2003年第 334528号（2003年 9月 26日出願）

Claims

請求の範囲

[1] 顔画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法であって、

前記顔画像登録フェーズは、

登録画像が入力されるステップと、

前記登録画像中の顔画像の顔の特徴量を求めるステップと、

前記特徴量を登録顔画像として記憶するステップとを含み、

前記画像整理フェーズは、

整理対象画像が入力されるステップと、

前記整理対象画像中の顔画像の顔の特徴量を求めるステップと、

前記求めた整理対象画像中の顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出するステップと、

前記整理対象画像と前記検出した登録顔画像とを関連付けるステップとを含む。

[2] 請求項 1に記載の画像蓄積方法にぉ、て、

前記特徴量を登録顔画像として記憶するステップは、前記特徴量と前記登録画像中の顔画像とを登録顔画像として記憶するステップである。

[3] 請求項 1又は 2に記載の電子画像蓄積方法において、

前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像の特徴量を付加するステップである。

[4] 請求項 1又は 2に記載の電子画像蓄積方法において、

前記顔画像登録フェーズは、

前記登録顔画像の人物に関する属性情報を入力させるステップと、

前記入力された属性情報と前記登録顔画像とを関連付けて記憶するステップとを更に含む。

[5] 請求項 4に記載の電子画像蓄積方法において、

前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像に前記検出した登録顔画像に対応する前記属性情報を付加するステツプである。

[6] 請求項 1又は 2に記載の電子画像蓄積方法において、

前記顔画像登録フェーズは、

前記登録顔画像に対応する画像保存用フォルダを作成するステップを更に含み、前記整理対象画像と前記検出した登録顔画像とを関連付けるステップは、前記整理対象画像を前記検出した登録顔画像に対応する前記画像保存用フォルダに収納するステップである。

[7] 請求項 6に記載の電子画像蓄積方法において、

前記顔画像登録フェーズは、

前記登録顔画像の特徴量を前記画像保存用フォルダと関連付けるステップとを更に含む。

[8] 請求項 6に記載の電子画像蓄積方法において、

前記顔画像登録フェーズは、

前記属性情報の少なくとも一部を前記画像保存用フォルダと関連付けるステップとを更に含む。

[9] 請求項 6に記載の電子画像蓄積方法において、

前記求めた顔の特徴量に該当する特徴量の顔を前記登録顔画像から検出できなかったとき、前記整理対象画像を予め用意された未登録顔画像フォルダに収納するステップを更に含む。

[10] 請求項 1一 9のいずれかに記載の電子画像蓄積方法において、

前記画像整理フェーズは、

整理対象画像中の顔の位置を示す位置情報を求めるステップを更に含み、前記画像保存用フォルダに収納するステップ又は未登録顔画像フォルダに収納するステップは、前記求めた顔の位置を示す位置情報を前記整理対象画像と関連付けて収納する。

[11] 請求項 6に記載の電子画像蓄積方法にぉ、て、

前記整理対象画像中に顔画像を検出されなかったとき、前記整理対象画像を予め用意された無顔画像フォルダに収納するステップを更に含む。

[12] 請求項 1又は 2に記載の電子画像蓄積方法において、

動作フェーズとして画像検索フェーズを更に有し、

前記画像検索フェーズは、前記画像入力部に検出すべき顔画像が撮影された検索画像が入力されるステップと、

前記検索画像中の顔画像の顔の特徴量を求めるステップと、

前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記整理対象画像から検出するステップとを更に含む。

[13] 請求項 12に記載の電子画像蓄積方法において、

前記求めた顔の特徴量に該当する特徴量の顔を含む画像を前記未登録顔画像フオルダ力検出するステップを更に含む。

[14] 請求項 12又は 13に記載の電子画像蓄積方法において、

前記検出した画像を表示するステップを更に含み、

表示した画像の前記位置情報に基づく位置に、所定の表示を表示する。

[15] 請求項 1一 14のいずれかに記載の方法をコンピュータに実行させるプログラム。

[16] 電子画像蓄積装置であって、

画像入力部と、

顔認識部と、

画像蓄積部とを備え、

前記画像入力部には登録画像と整理対象画像とが入力され、

前記顔認識部は、前記画像入力部に入力された前記各画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記顔画像とその特徴量とを関連付けて登録顔画像として記憶する第 1の記憶部とを有し、

前記画像蓄積部は、第 2の記憶部を有し、

前記第 2の記憶部は、前記整理対象画像を収納する画像蓄積フォルダを備え、前記画像処理部が求めた前記整理対象画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに前記整理対象画像を収納して記憶する。

[17] 請求項 16に記載の電子画像蓄積装置において、前記第 1の記憶部と前記第 2の記憶部とは一つの記憶部として構成される。

[18] 請求項 16に記載の電子画像蓄積装置において、

画像検索部を更に備え、

前記画像入力部には検索画像が更に入力され、

前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の前記登録顔画像に対応する前記画像蓄積フォルダに収納された前記整理対象画像を抽出する。

[19] 請求項 16に記載の電子画像蓄積装置において、

画像検索部を更に備え、

前記画像入力部には検索画像が更に入力され、

前記画像検索部は、前記画像処理部が求めた前記検索画像中の顔画像の顔の特徴量に該当する特徴量の顔画像を含む整理対象画像を前記未登録顔画像フォルダ力抽出する。

[20] 画像撮像装置であって、

撮影手段を含む画像入力部と、

顔認識部と、

登録顔画像と整理対象画像とを記憶する記憶部とからなり、

前記画像入力部には、前記画像撮影手段で撮影した画像が前記整理対象画像として入力され、

前記記憶部は、前記登録顔画像の顔の特徴量を記憶する第 1の記憶部と、前記整理対象画像を記憶する第 2の記憶部とを有し、

前記顔認識部は、前記整理対象画像中の顔画像を検出して該顔画像の顔の特徴量を求める画像処理部と、前記画像処理部が求めた前記整理対象画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する画像比較部とを有し、前記第 2の記憶部は、前記整理対象画像を前記画像処理部が求めた前記画像中の顔画像の顔の特徴量に該当する前記登録顔画像の顔の特徴量と関連付けて記憶する。

[21] 請求項 20に記載の画像撮像装置において、前記第 1の記憶部は、前記登録顔画像の特徴量を外部から読み込んで記憶する。

[22] 請求項 20に記載の画像撮像装置にぉ、て、

前記入力部には前記登録画像が更に入力され、

前記画像処理部は、前記入力部に入力された登録画像中の顔画像の顔の特徴量を更に求め、

前記第 1の記憶部は、前記画像処理部が求めた前記顔画像の顔の特徴量を前記登録顔画像として記憶する。

[23] 電子画像蓄積システムであって、

表示部と画像入力部と属性入力部とを有し、登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と所望の人物の顔画像を含む検索画像とが前記画像入力部に入力される端末装置と、

入力された前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記登録画像中の顔画像の特徴量を登録顔画像として記憶する第 1の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、

各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶すると共に前記登録画像の属性情報を記憶する第 2の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、前記各装置を互いに情報授受可能に接続する通信網とから成り、

前記端末装置は、

前記画像入力部に入力された登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像と前記属性入力部に入力された属性情報とを前記画像蓄積装置に送信し、

前記表示部に前記画像蓄積装置から受けた検出画像を表示し、

前記画像蓄積装置は、

前記端末装置から受けた前記登録画像と前記蓄積画像とを前記顔認識装置に送出し、

前記顔認識装置から各登録顔画像を識別する符号を受け、前記属性情報を前記符号と関連付けて前記第 2記憶部に記憶し、前記蓄積画像を前記符号と関連付けて前記第 2記憶部に記憶し、

前記画像検索部によって、前記符号と関連付けられた前記蓄積画像を抽出し、前記抽出した蓄積画像を前記端末装置に送信し、

前記顔認識装置は、

前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記第 1の記憶部に記憶し、

前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。

[24] 請求項 23に記載の電子画像蓄積システムにお、て、

前記蓄積画像を前記符号と関連付けて前記第 2記憶部に記憶することは、前記蓄積画像を前記第 2記憶部の前記符号が示す登録顔画像に対応する前記収納場所に記憶することである。

[25] 請求項 23に記載の電子画像蓄積システムにお、て、

前記顔画像と前記収納場所とは、前記属性情報によって対応付けられて、る。

[26] 電子画像蓄積システムであって、

登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する第 1の記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有する顔認識装置と、

各登録顔画像に夫々対応する収納場所を有し前記蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する第 2の記憶部と、前記収納場所から所望の蓄積画像を抽出する画像検索部とを有する画像蓄積装置と、

前記顔認識装置と前記画像蓄積装置と端末装置とを互いに情報授受可能に接続する通信網とから成り、

前記画像蓄積装置は、

前記顔認識装置から各登録顔画像を識別する符号を受け、

前記属性情報を前記符号と関連付けて前記第 2記憶部に記憶し、

前記蓄積画像を前記符号と関連付けて前記第 2記憶部に記憶し、

前記顔認識装置は、

記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を示す符号を前記画像蓄積装置に出力する。

[27] 登録顔画像として記憶すべき顔画像を含む登録画像と整理すべき蓄積画像とが入力され、前記各画像中の顔画像の特徴量を求める特徴量検出部と、前記特徴量を登録顔画像として記憶する記憶部と、前記特徴量検出部が求めた前記蓄積画像中の顔画像の特徴量に該当する特徴量の登録顔画像を検出する顔画像検索部とを有し、端末装置及び画像蓄積装置と通信手段で情報授受可能に結ばれた顔認識装置であって、

前記特徴量検出部が求めた前記登録画像中の顔画像の特徴量を前記顔画像を示す識別符号と関連付けて前記記憶部に記憶し、

[28] 登録顔画像毎に夫々対応する収納場所を有し蓄積画像を前記収納場所に蓄積記憶し前記登録画像の属性情報を記憶する記憶部を有し、端末装置及び顔認識装置と通信手段で情報授受可能に結ばれた画像蓄積装置であって、

前記顔認識装置力ゝら各登録顔画像を識別する符号を受けると共に、

前記属性情報を前記符号と関連付けて前記記憶部に記憶し、前記蓄積画像を前記符号と関連付けて前記記憶部に記憶し、

前記画像検索部によって前記符号と関連付けられた前記蓄積画像を抽出し、前記抽出した蓄積画像を前記端末装置に送信する。

[29] 画像登録フェーズ及び画像整理フェーズの動作フェーズを有する電子画像蓄積方法であって、

前記画像登録フェーズは、

登録画像が入力されるステップと、

前記登録画像中の対象物の特徴量を求めるステップと、

前記特徴量を登録画像として記憶するステップとを含み、

前記画像整理フェーズは、

蓄積画像が入力されるステップと、

前記蓄積画像中の対象物の特徴量を求めるステップと、

前記求めた蓄積画像中の対象物の特徴量に該当する特徴量を前記登録画像から検出するステップと、

前記蓄積画像と前記検出した登録画像とを関連付けるステップとを含む。

[30] 電子画像蓄積方法であって、

登録用画像の中から被写体を特定する特定情報を抽出し、

前記抽出した被写体の特定情報を登録し、

蓄積対象画像を入力し、

前記蓄積対象画像の中から被写体を特定する特定情報を抽出し、

前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、

前記蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記蓄積対象画像を前記登録した被写体の特定情報に関連付けて記憶装置に蓄積する。

[31] 請求項 30に記載の電子画像蓄積方法において、

前記被写体は人物であり、

前記被写体を特定する特定情報は、人物の顔の画像力抽出できる情報であり、前記蓄積画像は、前記特定情報に基づき、人物単位に管理されるように前記記憶装置に蓄積される。

[32] 電子画像蓄積装置であって、

登録用画像と蓄積対象画像を入力する画像入力部と、

前記入力された蓄積対象画像を蓄積する記憶部と、

前記入力された登録用画像の中から被写体を特定する特定情報を抽出し、登録する特定情報登録部と、

前記入力された蓄積対象画像の中から被写体を特定する特定情報を抽出する特定情報抽出部と、

前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応するかどうかを判断し、前記入力された蓄積対象画像の中から抽出した被写体の特定情報が前記登録した被写体の特定情報に対応すると判断すると、前記入力された蓄積対象画像を前記登録した被写体の特定情報に関連付けて前記記憶装置に蓄積する制御部とを備える。