JP4810420B2 - 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体 - Google Patents

Description

本発明は、記録媒体から所望の画像を検索して表示する技術に関する。

最近のデジタルカメラにおいては、ＣＣＤの高集積化に伴って画質、即ち画像データの構成画素数が飛躍的に向上しており、これに従って１つの画像データあたりのデータ量が増大している。また、現在のデジタルカメラで取り扱い可能な記録媒体は、不揮発性のフラッシュＲＯＭを有するメモリカードが主流となっている。ところが、現状のメモリカードは記録容量に制限があるため、より容量の大きなメモリカードが相次いで開発されている。また、メモリカードに代えて、より大容量の動画像等の画像データを記録できるハードディスク装置や光磁気ディスク装置を搭載したデジタルカメラも提案されている（例えば、特許文献１）。
特開２００１−０３６７８６号公報

しかしながら、上記大容量の記録媒体を持つデジタルカメラにおいては、ユーザがカメラ本体の表示画面に対して記録媒体に記録した画像データを再生したい場合に、画像データの数が膨大であるために所望の画像データを探し出すのに時間を要する。

また、従来のデジタルカメラでは、表示画面に画像の一枚を表示する形態と、表示画面に複数枚の縮小画像を同時に表示するインデックス表示とがあるが、たとえインデックス表示を使用しても表示画面に表示できる画像数は多くとも１０数枚程度である。このため、例えば１万枚を超える画像中から所望の画像を探し出すことはユーザにとって容易ではなく、非常に時間がかかる作業となる。

本発明は、上記課題に鑑みてなされ、その目的は、記録媒体から所望の画像を検索し表示する際の検索速度を向上できる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、サーバに画像データを送信する送信手段と、前記サーバから前記画像データに対して少なくとも人物の特徴抽出を行った結果に基づく当該画像データの特徴データを受信する受信手段と、前記サーバから受信した当該画像データに関連する前記特徴データを記録媒体に記録する記録手段と、前記特徴データを指定可能に提示すると共に、指定された特徴データを前記記録媒体から検索する検索手段と、前記検索手段により検索された特徴データに対応する画像データを表示する表示手段と、を有する。

また、本発明のサーバは、画像処理装置から画像データを受信する受信手段と、前記画像データに対して少なくとも人物の特徴抽出を行って特徴データを抽出する画像分析手段と、前記画像データと当該画像データに関連する前記特徴データとを記録媒体に記録する記録手段と、前記特徴データを前記画像データの検索用データとして前記画像処理装置に送信する送信手段と、を有する。

また、本発明の画像処理方法は、サーバに画像データを送信する送信ステップと、前記サーバから前記画像データに対して少なくとも人物の特徴抽出を行った結果に基づく当該画像データの特徴データを受信する受信ステップと、前記サーバから受信した当該画像データに関連する前記特徴データを記録媒体に記録する記録ステップと、前記特徴データを指定可能に提示すると共に、指定された前記特徴データを前記記録媒体から検索する検索ステップと、前記検索ステップにより検索された特徴データに対応する画像データを表示部に表示する表示ステップと、を有する。

また、本発明のサーバの制御方法は、画像処理装置と通信するサーバの制御方法であって、前記画像処理装置から画像データを受信する受信ステップと、前記画像データに対して少なくとも人物の特徴抽出を行って特徴データを抽出する画像分析ステップと、前記画像データと当該画像データに関連する前記特徴データとを記録媒体に記録する記録ステップと、前記特徴データを前記画像データの検索用データとして前記画像処理装置に送信する送信ステップと、を有する。

本発明によれば、記録媒体から所望の画像を高速に検索し表示することが可能になり、かつ画像から抽出される特徴データをサーバに生成させることで画像処理装置側での処理負荷を低減することができる。

以下、本発明に係る一実施形態について図面を参照して詳細に説明する。

なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

［第１の実施形態］
図１は本発明に係る実施形態のデジタルカメラの機能ブロック図である。

図１において、１０１はデジタルカメラである。１０２はユーザインタフェース部であり、撮影処理、データベース生成処理、あるいは検索処理に対するユーザからの要求を受け付ける。１０３は表示部であり、画像やユーザに操作を促すメニュー画面等を表示する。１０４は検索部であり、ユーザインタフェース部１０２にて入力された検索キーを用いてデータベース検索を行い、所望の画像データを探し出す処理を行う。１０５はデジタルカメラ１０１に搭載される記録媒体としてのハードディスクである。本実施形態において、データベース１０６及び画像データ１０７はハードディスク１０５に記録される。１０６はデータベースであり、各画像データのメタデータを管理するためのデータである。なお、ハードディスク１０５に代えて（又はハードディスク１０５と共に）、着脱可能なメモリカードや光ディスク装置を搭載してもよい。

図２はデータベース１０６に格納されるデータ構成を例示する図である。

図２において、データベース１０６に格納されるデータは全てテキストで記述され、各画像データが縦（行）方向に配列され、各画像データのメタデータが横（列）方向に配列して記述されている。

２０１は各画像データを識別するためのＩＤであり、画像データを一意に示すための識別子である。２０２はフラグであり、後述するようにサーバによって生成されたメタデータが記述されているかどうかを示す。２０３はパスであり、デジタルカメラ１０１内のファイルシステム（不図示）によって管理されている画像データの位置情報である。２０４は種類を示すメタデータであり、画像データが動画像データであるか静止画像データであるかを示す。２０５は撮影日時を示すメタデータであり、画像データが撮影され生成された日時情報を示す。２０６は、画像データが人物画であるか、或いは風景画であるか、を示すメタデータであり、画像データに人が写っている場合は人物画、そうでない場合は風景画であることを示す。２０７は色に関するメタデータであり、画像データの色情報を示し、該当する色の名前がＣＳＶ（コンマ区切り）形式で記述される。２０８は天気に関するメタデータであり、画像データが撮影された時の天気の情報が記述される。なお、上記データベース１０６の構成は一例であり、これに限られるわけではない。また、図２に例示するメタデータの全てを含まなくとも、少なくともいずれかを含んでいれば良い。

図１の説明に戻り、１０７は、動画像データ及び静止画像データ等の画像データである。１０８はデータベース生成部であり、ユーザインタフェース部１０２にて入力された要求に従い、画像データ１０７に対するデータベース１０６を生成若しくは更新する処理を行う。１０９はネットワーク部であり、図３に示す外部のサーバと通信を行う。１１０は撮像部であり、ユーザインタフェース部１０２からの指示に従って撮影を行い、画像データを生成する処理を行う。

デジタルカメラ１０１における機能ブロックはこれらに限られないが、本発明に係わる機能ブロック以外については説明を省略する。

図３に本発明に係る実施形態のサーバの機能ブロック図である。

図３において、３０１はサーバである。３０２はネットワーク部であり、デジタルカメラ１０１と通信を行う。３０３はメタデータ生成部であり、デジタルカメラ１０１から送信される画像データを受け付け、記録し、画像分析処理、データベース照合、等のメタデータ生成のための各処理を統括して管理する。３０４はデジタルカメラ１０１から送信された画像データを記録する画像データ記録媒体である。

３０５は画像分析部であり、画像データを分析し、画像の特徴量を抽出する処理を行う。３０６はデータベース照合部であり、上記特徴量を用いて、後述するテキストデータベースに対して照合処理を行い、上記特徴量に基づくテキストデータを取得する処理を行う。３０７はテキストデータベースであり、上記特徴量に対応するテキストデータを格納しているデータベースである。本実施形態では、テキストデータベース３０７には、デフォルトとして、或いはユーザ登録によって予めテキストデータが格納されているものとする。なお、上記画像データ記録媒体３０４及びテキストデータベース３０７はハードディスク装置、光ディスク装置、或いは半導体メモリ装置からなる。

デジタルカメラ１０１のネットワーク部１０９並びにサーバ３０１のネットワーク部３０２は、本実施形態においては通信プロトコルとしてＨＴＴＰ(Hyper Text Transfer Protocol)による通信手段を有するものとする。なお、本発明は、ＨＴＴＰに限られず、例えばＦＴＰ(File Transfer Protocol)等によってもネットワークを介した制御コマンドやデータの送受信が可能であることは言うまでもない。

以上、第１の実施形態におけるデジタルカメラ１０１及びサーバ３０１の内部構成について説明した。

次に、第１の実施形態におけるデジタルカメラ１０１及びサーバ３０１による処理動作について説明する。

＜撮影処理＞
先ず図４を用いて、本実施形態のデジタルカメラ１０１による撮影処理について説明する。

図４のＳ４０１において、ユーザが撮影ボタンを押すなどしてユーザインタフェース部１０２に対して撮影要求の入力があった場合、ユーザインタフェース部１０２は撮像部１１０に撮影処理要求を行う。本実施形態では、動画撮影と静止画撮影はそれぞれ異なるボタン（不図示）によって処理されることとするが、これに限られるわけではない。

Ｓ４０２において、ユーザインタフェース部１０２から撮影要求を受けた撮像部１１０は、撮影処理を行い画像データを生成する。そしてデータベース生成部１０８に画像データを送る。

Ｓ４０３において、データベース生成部１０８は、データベース１０６に記録するための初期データを生成し、ハードディスク１０５内のデータベース１０６に対して追加記録する。初期データとは、図２に示すＩＤ２０１、Ｆｌｇ２０２、パス２０３、種類２０４、及び撮影日時２０５に関するメタデータである。

ＩＤ２０１は、データベース１０６において一意の値となるように設定される。Ｆｌｇ２０２は０（ゼロ）と設定される。Ｆｌｇがゼロは、未だサーバ３０１によって生成されたメタデータが記述されていないことを示す。パス２０３は、画像データが記録される位置情報を設定する。種類２０４は生成された画像データの種類を設定する。撮影日時２０５は、撮像部１１０が画像データを生成した日時情報を設定する。図２における人物／風景２０６、色２０７、天気２０８に関するメタデータは、サーバ３０１で生成されるものであり、初期データとしては生成されない。

Ｓ４０４において、データベース生成部１０８は、撮像部１１０で生成された画像データをハードディスク１０５に記録する。このときハードディスク１０５への記録はファイルシステム（図示せず）を介して記録してもよい。なお、画像データの記録されたアドレスが、パス２０３で表わされる位置情報となる。

図５は上記撮影処理が行われ、新規に画像データが３つ生成された時のデータベースの内部構成を例示する図である。

図５において、新しく生成された３つの画像データはＩＤが０００００００７、０００００００８、０００００００９であり、これらのＦｌｇメタデータは０であり、データベースの初期データが記述されている。

＜画像データ送信処理＞
次に図６を用いて、本実施形態のデジタルカメラ１０１による画像データ送信処理について説明する。

図６のＳ６０１において、ユーザがメニュー画面からデータベース更新ボタンを押すなどして、ユーザインタフェース部１０２に対してデータベース更新要求を入力する。すると、ユーザインタフェース部１０２はデータベース生成部１０８にメタデータ生成要求を通知する。

Ｓ６０２において、データベース生成部１０８は、データベース１０６においてＦｌｇメタデータが０（ゼロ）である画像データをチェックする。

Ｓ６０３において、Ｓ６０２でＦｌｇメタデータが０（ゼロ）であった画像データ、即ち図５に示す、ＭＯＶ＿０００２．ＭＰＧ、ＩＭＧ＿０００６．ＪＰＧ、及びＩＭＧ＿０００７．ＪＰＧをハードディスク１０５の画像データ１０７から読み出す。そして、これらの画像データを、ネットワーク部１０９を介してサーバ３０１に送信する。

本実施形態においては、図６の画像データ送信処理において、デジタルカメラ１０１とサーバ３０１とはネットワークで接続されていることが前提である。即ち、デジタルカメラ１０１はサーバ３０１のＩＰアドレスや送信先のＵＲＬ(Uniform Resource Locators)等を認識していることを前提している。なお、本発明はこれに限らず、例えば、Ｓ６０１においてメタデータ生成要求がデータベース生成部１０８に送信された時に、ネットワーク部１０９を有効化する。そして、ＵＰｎＰ（Universal Plug and Play）等の自動検出アルゴリズムを利用してネットワーク中からサーバを検出して接続を行ってもよい。また、予めデジタルカメラ１０１の内部に設定されているサーバのＩＰアドレス情報に基づいてサーバとの接続を確立してもよい。

＜メタデータ生成処理＞
次に図７を用いて、本実施形態のサーバ３０１によるメタデータ生成処理について説明する。

図７のＳ７０１において、ネットワーク部３０２はデジタルカメラ１０１より送信された画像データを受信し、メタデータ生成部３０３に通知する。

Ｓ７０２において、メタデータ生成部３０３は受信した画像データを画像データ記録媒体３０４に記録する。

Ｓ７０３において、画像分析部３０５は、画像データ記録媒体３０４に記録される画像データに対して分析処理を行い、画像に対する特徴量データを算出する。このとき、公知の画像認識、および公知の顔画像認識技術を用いて、画像内に顔が含まれているか否かの判断、画像に含まれる主要な色成分の抽出、および画像の色成分の分布と明るさなどにより天気情報を判断する。

なお、顔検出技術としては、様々な手法が公知となっている。例えば、ニューラルネットワークに代表される学習を用いた方法がある。また、目、鼻、口、及び、顔の輪郭といった物理的な形状の特徴のある部位を画像データからテンプレートマッチングを用いて識別する手法がある。他にも、肌の色や目の形といった画像データの特徴量を検出し統計的解析を用いた手法があげられる（例えば、特開平１０−２３２９３４号公報や特開２０００−４８１８４号公報等を参照）。本実施形態では、一対の目（両目）、鼻、口、及び、顔の輪郭を検出し、これらの相対位置より人物の顔を決定する手法により顔の識別処理を行っている。

Ｓ７０４において、データベース照合部３０６は、Ｓ７０３にて算出された特徴量データに基づいてテキストデータベース３０７を検索し、対応するメタデータを取得する。

Ｓ７０５において、メタデータ生成部３０３は、Ｓ７０４で得られたメタデータに基づいてデジタルカメラ１０１への返信用のメタデータを作成する。

Ｓ７０６において、デジタルカメラ１０１から要求された全ての画像データに対してメタデータ生成を行ったかどうかの確認を行い、全てのメタデータを生成するまで、上記Ｓ７０３〜Ｓ７０５の処理を繰り返す。

図８は全てのメタデータ生成処理が終了し、サーバ３０１から返信されるメタデータの構成を示している。メタデータ生成部３０３は、図５のデータベース１０６において未だ記述されていないＩＤ８０１が０００００００７、０００００００８、０００００００９の各画像データに関する人物／風景８０２、色８０３、天気８０４を補完するメタデータを作成する。

Ｓ７０７において、サーバ３０１はデジタルカメラ１０１に対して、要求されたメタデータ生成処理が終了したことを通知する。この通知内容には返信するデータを取得するためのＵＲＬ情報が含まれる。通知処理は、デジタルカメラ１０１がサーバ３０１に対して定期的に状態取得を行うことで実施可能であることは言うまでもない。また、サーバ３０１がデジタルカメラ１０１に通知内容を送信することでも実施可能であることは言うまでもない。

＜メタデータ受信処理＞
次に図９を用いて、本実施形態のデジタルカメラ１０１によるメタデータ受信処理について説明する。

図９のＳ９０１において、データベース生成部１０８がネットワーク部１０９を介してサーバ３０１からメタデータ生成処理の終了通知を受信すると、Ｓ９０２において通知内容に含まれるＵＲＬに対応するメタデータの送信要求を行いメタデータを受信する。

Ｓ９０３において、データベース生成部１０８は、受信したメタデータ８０２〜８０４の内容をデータベース１０６に追加し変更した行のＦｌｇメタデータを１に設定する。

図１０は更新後のデータベース１０６の構成を例示し、ＩＤが０００００００７、０００００００８、０００００００９の各画像データに対して、図８のメタデータの内容、人物／風景８０２、色８０３、天気８０４がデータベース１０６に記録される。

＜画像検索表示処理＞
次に図１１及び図１２を用いて、本実施形態のデジタルカメラ１０１による画像検索表示処理について説明する。

図１２はコンテンツ検索画面であり、１２０１は検索カテゴリ設定エリア、１２０２は検索結果表示エリアである。

図１１のＳ１１０１において、ユーザが検索カテゴリ設定エリア１２０１で検索したいカテゴリを選択してユーザインタフェース部１０２に対して検索要求の入力があった場合、入力された検索キーが検索部１０４に送られる。

Ｓ１１０２において、検索部１０４は入力された検索キーに基づいてデータベース１０６に対してメタデータを用いた検索処理を行う。検索部１０４は、検索によってヒットした画像データのパス情報を表示部１０３に送る。

Ｓ１１０３において、表示部１０３は受信したパス情報に基づいてハードディスク１０５にアクセスし、検索によってヒットした画像データの再生画像を表示する。

図１２におけるコンテンツ検索画面の例では、ユーザから入力された検索キーは「人物画」であり、図１０に示すデータベースに対して検索処理が行われる。この場合、ＩＤが０００００００２、０００００００３、０００００００４、０００００００６、０００００００７、０００００００８、０００００００９の画像データがヒットし、そのパス情報が表示部１０３に送られる。その結果、図１２のように、ヒットした画像データの縮小画像が再生表示される。なお、動画像の場合は代表画面の縮小画像が表示される。このように、表示部１０３は、ユーザにより入力された検索キーに基づいて画像データの検索処理を高速に行い表示することができる。もちろん、検索結果である縮小画像を指定することにより、本来の再生画像を表示することも可能である。

上記実施形態によれば、ハードディスク１０５から所望の画像データ１０７を高速に検索し表示することが可能になり、かつ画像データから生成されるメタデータをサーバ３０１により生成されるので、カメラ側での処理負荷を低減することができる。

［第２の実施形態］
上記第１の実施形態では、サーバ３０１のメタデータ生成部３０３で生成されるメタデータは、図８に示した、人物／風景８０２、色８０３、天気８０４である。これに対して、第２の実施形態では、サーバ３０１が人物を特定するメタデータの生成と、検索キーとなる画像を生成するものである。なお、本実施形態のデジタルカメラ及びサーバの構成、デジタルカメラにおける撮影処理、画像データ送信処理については第１の実施形態と同様であるので説明を省略する。

図１３を用いてデータベース１０６に格納されるデータ構成を説明する。なお、図２で示す第１の実施形態と同様のデータについては、同じ番号を使用し説明を省略する。１３０１は、画像データに写っている人物の数のメタデータである。人物／風景２０６が“風景”である場合は、“０”となる。１３０２は、人物ＩＤのメタデータであり、人物を特定する識別子である。人物の数１３０１と同じ数の人物ＩＤ１３０２がＣＳＶ形式で記述される。１３０３は、人物ＩＤ１３０２に対応する人物の検索キー画像であり、カメラ１０１の検索画面において、検索キーとして表示される。検索キー画像１３０３は、人物の数１３０１と同じ数だけ生成され、画像ファイル名がＣＳＶ形式で記述される。

＜メタデータ生成処理＞
次に図１４を用いて、本実施形態のメタデータ生成処理について説明する。なお、図７で示す第１の実施形態と同様のステップについては、同じ番号を使用し説明を省略する。

Ｓ１４０１において、画像分析部３０５は、画像データ記録媒体３０４に記録される画像データに対して分析処理を行い、画像に対する特徴量データを算出する。このとき、公知の顔画像認識技術を用いて、画像内に顔が含まれているか否かの判断、含まれている場合は顔の数、およびそれぞれの顔に対する特徴量の抽出を行う。また、第1の実施形態と同様に、画像に含まれる主要な色成分の抽出、および画像の色成分の分布と明るさなどにより天気情報を判断する。

Ｓ１４０２において、データベース照合部３０６は、Ｓ１４０１にて算出された特徴量データに基づいてテキストデータベースを検索し、対応するメタデータを取得する。このとき、抽出された顔の特徴量データを用いてテキストデータベースを検索し、ヒットした場合は、テキストデータベース内に既に格納されている人物ＩＤに該当し、同じ顔のデータが既に格納されていることを意味する。一方、ヒットしない場合は、新規の顔とみなされ、新規の人物ＩＤが生成される。

Ｓ１４０３において、メタデータ生成部３０３は、Ｓ１４０２で得られたメタデータに基づいてデジタルカメラ１０１への返信用のメタデータを作成する。

Ｓ１４０４において、Ｓ１４０２において検出された人物ＩＤに対して検索キー画像を生成する。ここでは、Ｓ１４０１において分析した画像データから、顔の部分だけを切り出し、サムネイルサイズの顔画像データを、Ｓ１４０２でヒットした人物ＩＤ及び／又は新規に作成された人物ＩＤの種類分作成する。作成した画像データのファイル名は、返信用のメタデータの中に記入される。

図１５は全てのメタデータ生成処理が終了し、サーバ３０１から返信されるメタデータの構成を示している。なお、図８で示す第１の実施形態と同様の項目については、同じ番号を使用し説明を省略する。人数１５０１は、ＩＤ８０１が００００００１０、００００００１１、００００００１２の画像データに対して、それぞれ顔（人物）が２人、３人、１人抽出されたことを示す。人物ＩＤは、ＩＤ８０１が００００００１０の画像データにおいてＡ、Ｂであり、ＩＤ８０１が００００００１１の画像データにおいて、Ｂ、Ｃ、Ｄであり、ＩＤ８０１が００００００１２の画像データにおいて、Ｃであることを示す。つまり、ＩＤ８０１が００００００１０と００００００１１の画像データには、Ｂに該当する同じ人物が写っていることを示す。検索キー画像１５０３は、人物ＩＤ１５０２がＡの検索キー画像のファイル名はＡ．ｊｐｇであり、同様に人物ＩＤがＢの検索キー画像のファイル名がＢ．ｊｐｇであり、以下同様である。

Ｓ１４０５において、サーバ３０１は、デジタルカメラ１０１に対して、要求されたメタデータ生成処理が終了したことを通知する。この通知内容には図１５に示す返信用のメタデータを取得するためのＵＲＬ情報、および検索キー画像本体を取得するためのＵＲＬ情報が含まれる。この通知処理は、デジタルカメラ１０１がサーバ３０１に対して定期的に状態取得を行うことで実施可能であることは言うまでもない。また、サーバ３０１がデジタルカメラ１０１に通知内容を送信することでも実施可能であることは言うまでもない。

＜メタデータ受信処理＞
次に図１６を用いて、本実施形態のデジタルカメラ１０１によるメタデータ受信処理について説明する。なお図９で示す第１の実施形態と同様のステップについては、同じ番号を使用し説明を省略する。

Ｓ１６０１において、サーバ３０１からの通知内容に含まれるＵＲＬに対応するメタデータの送信要求を行い、メタデータを受信する。また、メタデータ内に検索キー画像が含まれる場合は、全ての検索キー画像の送信要求を行い、画像を取得する。

Ｓ１６０２において、データベース生成部１０８は、受信したメタデータの内容をデータベース１０６に追加し、変更した行のＦｌｇメタデータを１に設定する。受信した検索キー画像は、ハードディスク１０５内の所定の記録エリアに保存する。

図１７に、更新後のデータベース１０６の構成を例示する。

＜画像検索表示処理＞
次に図１１、図１８及び図１９を用いて、本実施形態のデジタルカメラ１０１による画像検索表示処理について説明する。

図１８はコンテンツ検索画面であり、１７０１は検索カテゴリ設定エリアである。ここで、ユーザが（人物／風景）の中の人物画を選択した場合は、１８０１に示すように検索する顔画像の選択画面になる。ここで１８０１には、図１６のＳ１６０１においてサーバ３０１から取得したＡ．ｊｐｇ、Ｂ．ｊｐｇ、Ｃ．ｊｐｇ、Ｄ．ｊｐｇそれぞれの検索キー画像が表示される。

図１１のＳ１１０１において、ユーザが検索キー画像の中から所望の顔を選択すると、選択された検索キー画像に対応する人物ＩＤが検索部１０４に送られる。

Ｓ１１０２において、検索部１０４は入力された検索キーに基づいてデータベース１０６に対してメタデータを用いた検索処理を行う。例えば、選択された検索キー画像に対応する人物ＩＤと同じ人物ＩＤを有する画像データの検索を行う。検索部１０４は、検索によってヒットした画像データのパス情報を表示部１０３に送る。Ｓ１１０３において、表示部１０３は受信したパス情報に基づいてハードディスク１０５にアクセスし、検索によってヒットした画像データの再生画像を表示する。

図１９は、図１８においてＢの顔をユーザが選択した場合の検索結果を示す画面である。Ｂの顔に対応する人物ＩＤによって図１７に示すデータベースを検索し、ＩＤが００００００１０、および００００００１１がヒットし、そのパス情報が表示部１０３に送られる。その結果、図１９の１９０１に示すようにヒットした画像データの縮小画像が再生表示される。

このように、表示部１０３は、ユーザにより入力された顔画像の検索キーに基づいて画像データの顔検索処理を高速に行い表示することができる。もちろん、検索結果である縮小画像を指定することにより、本来の再生画像を表示することも可能である。

［第３の実施形態］
上記第１及び第２の各実施形態では、デジタルカメラ１０１による撮影処理並びにサーバ３０１への画像データ送信処理は非同期で行われている。これに対して、第３の実施形態では、撮影処理及び画像データ送信処理を同期して行うものである。なお、本実施形態のデジタルカメラ及びサーバの構成、サーバにおけるメタデータ生成処理、デジタルカメラにおけるメタデータ受信処理、画像検索表示処理については第１、第２の実施形態と同様であるので説明を省略する。

図２０を用いて、本実施形態のデジタルカメラ１０１による撮影処理及び画像データ送信処理を同期して行う処理について説明する。

図２０のＳ２００１において、ユーザが撮影ボタンを押すなどしてユーザインタフェース部１０２に対して撮影要求の入力があった場合、ユーザインタフェース部１０２は撮像部１１０に撮影処理要求を行う。本実施形態でも、動画撮影と静止画撮影はそれぞれ異なるボタンによって処理されることを前提としている。

Ｓ２００２において、撮影要求を受けた撮像部１１０は、撮影処理を行い画像データを生成し、データベース生成部１０８に画像データを送る。

Ｓ２００３において、データベース生成部１０８は、データベース１０６に記録するための初期データを生成し、ハードディスク１０５内のデータベース１０６に対して追加記録する。

Ｓ２００４において、データベース生成部１０８は、ハードディスク１０５に画像データ１０７を記録する。このハードディスク１０５への記録はファイルシステム（図示せず）を介して記録してもよい。Ｓ２００５において、撮影した画像データをサーバ３０１に送信する。

［第４の実施形態］
上記第１、第２及び第３の実施形態では、デジタルカメラ１０１が画像検索表示処理を行い、サーバ３０１から所望の画像データに対応するパスのメタデータを取得した後、デジタルカメラ１０１が有する画像データを読み込んで表示を行う構成を説明した。これに対して、第４の実施形態では、デジタルカメラ１０１での検索結果に基づきサーバ３０１から画像データを取得して表示するものである。この場合、デジタルカメラ１０１は大容量のハードディスク装置等を持つ必要がなく実装コストを抑えることができる。

なお、以下では、第４の実施形態の特徴点についてのみ説明を行う。

図２１は第４の実施形態のデジタルカメラ１０１の機能ブロック図である。

第１、第２及び第３の実施形態との違いは、図１と比べると明らかなように、ハードディスク１０５内に画像データ１０７は記録されておらず、表示部１０３とネットワーク部１０９との間で制御／データの通信が行われるように構成したところである。

図２２は第４の実施形態のサーバ３０１の機能ブロック図である。

第１、第２及び第３の実施形態との違いは、図３と比べると明らかなように、画像データ送信部２２０１が付加されているところである。画像データ送信部２２０１は、デジタルカメラ１０１からの画像データ取得要求に応じて、指定されたＵＲＬの画像データをデジタルカメラ１０１に送信する処理を行う。

以下に、第４の実施形態のデジタルカメラ１０１及びサーバ３０１による動作処理について説明する。

先ず図２３を用いて、本実施形態のデジタルカメラ１０１による撮影処理及び画像データ送信処理を同期して行う処理について説明する。

図２３のＳ２３０１において、ユーザが撮影ボタンを押すなどしてユーザインタフェース部１０２に対して撮影要求の入力があった場合、ユーザインタフェース部１０２は撮像部１１０に撮影処理要求を行う。本実施形態でも、動画撮影と静止画撮影はそれぞれ異なるボタンによって処理されることを前提とする。

Ｓ２３０２において、撮影要求を受けた撮像部１１０は、撮影処理を行い画像データを生成し、データベース生成部１０８に画像データを送る。

Ｓ２３０３において、データベース生成部１０８は、データベース１０６に記録するための初期データを生成し、ハードディスク１０５内のデータベース１０６に追加記録する。

Ｓ２３０４において、データベース生成部１０８は、画像データをサーバ３０１に送信する。Ｓ２３０４においては、デジタルカメラ１０１が送信する画像データのサーバ３０１における保存先（ＵＲＬ）を予め指定して送るものとする。或いは、画像データを受信したサーバ３０１が、保存先を示すＵＲＬ情報をデジタルカメラに１０１に返信するように構成しても良い。いずれの場合も、サーバ３０１における画像データの保存先（ＵＲＬ）が、データベース１０６に記述されるパスで表わされる当該画像データの位置情報となる。

サーバ３０１によるメタデータ生成処理並びにデジタルカメラ１０１によるメタデータ受信処理については第１、第２の実施形態と同様であるので説明を省略する。

次に図２４を用いて、本実施形態のデジタルカメラ１０１による画像検索表示処理について説明する。

図２４のＳ２４０１において、ユーザが検索ボタンを押すなどしてユーザインタフェース部１０２に対して検索要求の入力があった場合、入力された検索キーが検索部１０４に送られる。

Ｓ２４０２において、検索部１０４は入力された検索キーに基づいてデータベース１０６に対してメタデータを用いた検索処理を行う。検索部１０４は、検索によってヒットした画像データのパス情報（ＵＲＬ）を表示部１０３に送る。

Ｓ２４０３において、表示部１０３は受信したパス情報（ＵＲＬ）に基づいてネットワーク部１０９を介してサーバ３０１に画像データ取得要求を行い、検索によってヒットした画像データを取得する。

Ｓ２４０４において、表示部１０３は、受信した画像データの再生画像を表示する。

上記実施形態によれば、膨大な数の画像データの中から所望の画像データを高速に検索し表示する処理をリソースの限られたデジタルカメラにおいて実現することが可能になる。

［他の実施形態］
以上、本発明に係る実施形態について具体例を用いて詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、図示の機能ブロック及び動作において、いずれの部分をハードウェア回路により実現し、或いはコンピュータを用いたソフトウェア処理によって実現しても達成されることは言うまでもない。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給することによって達成される場合も含む。その場合、システム等のコンピュータが該プログラムコードを読み出して実行することになる。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク等がある。その他にも、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM、DVD-R)等がある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのものをダウンロードすることもできる。また圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザが、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードすることもできる。この場合、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現する。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行うことによっても実現され得る。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のCPU等が実際の処理の一部又は全部を行うことによっても実現される。

本発明に係る第１の実施形態のデジタルカメラの内部構成を示すブロック図である。 本発明に係る第１の実施形態のデータベースの構成を示す図である。 本発明に係る第１の実施形態のサーバの内部構成を示すブロック図である。 第１の実施形態のデジタルカメラによる撮影処理を示すフローチャートである。 第１の実施形態における初期データを追加したデータベースの構成を示す図である。 第１の実施形態のデジタルカメラによる画像データ送信処理を示すフローチャートである。 第１の実施形態のサーバによるメタデータ生成処理を示すフローチャートである。 第１の実施形態のサーバから返信されるメタデータの構成を示す図である。 第１の実施形態のデジタルカメラによるメタデータ受信処理を示すフローチャートである。 第１の実施形態におけるメタデータを追加したデータベースの構成を示す図である。 第１の実施形態のデジタルカメラによる画像検索表示処理を示すフローチャートである。 第１の実施形態のデジタルカメラにおける検索画面を示す図である。 第２の実施形態におけるデータベースの構成を示す図である。 第２の実施形態のサーバによるメタデータ生成処理を示すフローチャートである。 第２の実施形態のサーバから返信されるメタデータの構成を示す図である。 第２の実施形態のサーバによるメタデータ受信処理を示すフローチャートである。 第２の実施形態におけるメタデータを追加したデータベースの構成を示す図である。 第２の実施形態のデジタルカメラにおける検索画面を示す図である。 第２の実施形態のデジタルカメラにおける検索結果を示す図である。 第３の実施形態のデジタルカメラによる撮影処理及び画像データ送信処理を示すフローチャートである。 第４の実施形態のデジタルカメラの内部構成を示すブロック図である。 第４の実施形態のサーバの内部構成を示すブロック図である。 第４の実施形態のデジタルカメラによる撮影処理及び画像データ送信処理を示すフローチャートである。 第４の実施形態のデジタルカメラによる画像検索表示処理を示すフローチャートである。

符号の説明

１０１ デジタルカメラ
１０２ ユーザインタフェース部
１０３ 表示部
１０４ 検索部
１０５ ハードディスク
１０６ データベース
１０７ 画像データ
１０８ データベース生成部
１０９ ネットワーク部
３０１ サーバ
３０２ ネットワーク部
３０３ メタデータ生成部
３０４ 画像データ記録媒体
３０５ 画像分析部
３０６ データベース照合部
３０７ テキストデータベース
２２０１ 画像データ送信部

Claims (19)

1. サーバに画像データを送信する送信手段と、
   前記サーバから前記画像データに対して少なくとも人物の特徴抽出を行った結果に基づく当該画像データの特徴データを受信する受信手段と、
   前記サーバから受信した当該画像データに関連する前記特徴データを記録媒体に記録する記録手段と、
   前記特徴データを指定可能に提示すると共に、指定された特徴データを前記記録媒体から検索する検索手段と、
   前記検索手段により検索された特徴データに対応する画像データを表示する表示手段と、を有することを特徴とする画像処理装置。
2. 被写体を撮像して画像データを生成する撮像手段を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像手段によって生成された画像データの前記記録媒体への記録と前記サーバへの送信とを同期して行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記記録手段は、前記撮像手段によって生成された画像データを前記記録媒体に記録し、
   前記表示手段は、前記検索手段により検索された特徴データに対応する画像データを前記記録媒体から読み出して表示することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記撮像手段によって生成された画像データは前記記録媒体に記録されずに、前記送信手段により前記サーバに送信されることを特徴とする請求項２に記載の画像処理装置。
6. 前記表示手段は、前記検索手段により検索された特徴データに対応する画像データを前記サーバから取得し表示することを特徴とする請求項５に記載の画像処理装置。
7. 前記特徴データは、前記画像データに含まれる人物、風景、画像中の主要な色、天気を表すデータの少なくとも１つを含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記送信手段及び前記受信手段は、前記サーバとの間でインターネットプロトコルに準拠した通信処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 画像処理装置から画像データを受信する受信手段と、
   前記画像データに対して少なくとも人物の特徴抽出を行って特徴データを抽出する画像分析手段と、
   前記画像データと当該画像データに関連する前記特徴データとを記録媒体に記録する記録手段と、
   前記特徴データを前記画像データの検索用データとして前記画像処理装置に送信する送信手段と、を有することを特徴とするサーバ。
10. 前記送信手段は、前記画像処理装置から要求された特徴データに対応する画像データを当該画像処理装置に送信することを特徴とする請求項９に記載のサーバ。
11. 前記特徴データは、前記画像データに含まれる人物、風景、画像中の主要な色、天気を表すデータの少なくともいずれかを含むことを特徴とする請求項９又は１０に記載のサーバ。
12. 前記画像データに人物の顔が含まれるか判断する判断手段を更に有し、
    前記特徴データは、前記画像データに顔が含まれている場合は人物画、顔の数、顔の識別情報の少なくとも１つを含み、人物が含まれていない場合は人物以外の画像であることを示す情報を含むことを特徴とする請求項９乃至１１のいずれか１項に記載のサーバ。
13. 前記判断手段により前記画像データに顔が含まれていると判断された場合、前記記録媒体に既に記録された顔の識別情報と照合し、一致する識別情報がない場合に、当該顔の識別情報を新規に生成することを特徴とする請求項１２に記載のサーバ。
14. 前記判断手段により前記画像データに顔が含まれていると判断された場合、前記記録媒体に既に格納された顔の識別情報と照合し、一致する識別情報に対して顔だけを切り出した検索用画像を前記特徴データとして生成することを特徴とする請求項１２又は１３に記載のサーバ。
15. 前記受信手段及び前記送信手段は、前記画像処理装置との間でインターネットプロトコルに準拠した通信処理を行うことを特徴とする請求項９乃至１４のいずれか１項に記載のサーバ。
16. サーバに画像データを送信する送信ステップと、
    前記サーバから前記画像データに対して少なくとも人物の特徴抽出を行った結果に基づく当該画像データの特徴データを受信する受信ステップと、
    前記サーバから受信した当該画像データに関連する前記特徴データを記録媒体に記録する記録ステップと、
    前記特徴データを指定可能に提示すると共に、指定された前記特徴データを前記記録媒体から検索する検索ステップと、
    前記検索ステップにより検索された特徴データに対応する画像データを表示部に表示する表示ステップと、を有することを特徴とする画像処理方法。
17. 画像処理装置と通信するサーバの制御方法であって、
    前記画像処理装置から画像データを受信する受信ステップと、
    前記画像データに対して少なくとも人物の特徴抽出を行って特徴データを抽出する画像分析ステップと、
    前記画像データと当該画像データに関連する前記特徴データとを記録媒体に記録する記録ステップと、
    前記特徴データを前記画像データの検索用データとして前記画像処理装置に送信する送信ステップと、を有することを特徴とする制御方法。
18. 請求項１６に記載の画像処理方法又は請求項１７に記載の制御方法をコンピュータに実行させるためのプログラム。
19. 請求項１８に記載のプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。

Images