JP3984029B2 - 画像処理装置およびプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、電子撮像装置を用いて撮像されたデジタル画像を蓄積し表示する画像処理装置およびプログラムに関し、特に撮影された人物の顔を認識して画像の検索、抽出などを行う画像処理装置およびプログラムに関する。
【０００２】
【従来の技術】
近年デジタルカメラなどの電子撮像装置が広く一般家庭にも普及してきており、撮影された画像はパソコンなどの画像処理装置に設けられた記憶装置あるいは記憶媒体に記録されて保存されている。
【０００３】
そして、このように保存されている画像を整理し編集して閲覧するための、「デジタルアルバム」とも呼ばれるソフトウエアが発売されている。このソフトウエアは、撮影した画像を多彩なレイアウトで配置でき、また画像だけでなく音声情報も併せて記録できるなど、視覚的に楽しむだけに留まらずより豊富な情報を提供できるように構成されている。
【０００４】
ところで、この「デジタルアルバム」を活用して楽しもうとする際には、そのアルバムに貼付する画像の検索が問題になると考えられる。例えば、電子撮像装置で撮影した画像が長年にわたって多数保存されている場合などには、欲しい画像を探そうとしてもなかなか見つけることができない状況になってしまうと考えられる。
【０００５】
この検索の問題を解決するための技術として、撮影画像から所定のインデックスを抽出して登録、検索し、検索条件に合った写真をデジタルアルバム装置に表示等するものが提案されている（特開平１０−１２４６５５号公報）。
【０００６】
【発明が解決しようとする課題】
しかしながら、この技術ではイメージ情報をインデックス化し、複数のインデックスの組み合わせで検索する画像を特定する方式であるため、例えば、同一人物を検索しようとした場合、その人物が何年にもわたって成長している画像を対象とする場合、また同一人物でも撮影条件によって色調が異なる場合などでは、それぞれに異なる複数のインデックスが必要とされるため、適切なインデックスの選択に熟練が必要とされ、また何種類かのインデックスを用いて繰り返して検索することが必要とされると考えられる。
【０００７】
一般家庭でデジタルアルバムを編集しようとする場合は、その検索の対象は大半が人物であり、検索機能を人物に限定したとしてもその検索技術の利用価値は損なわれないと考えられる。
【０００８】
例えば、１人または複数人の特定の人物（以下、「特定人物」という）の成長記録を作るためにその特定人物の画像を検索する、集合写真において特定人物を見つけ出す、あるいは他の人物の名前を照合する、等の人物を識別する検索機能があれば前述のアルバム編集作業には充分活用することができると考えられる。
【０００９】
一方、近年の顔認識技術は急速に進歩しており、直接写真などと照合して個人を識別する技術も各種提案されている（例えば、特開２０００−１９４８４９）。したがって、これらの技術を活用することで特定人物の検索を煩雑な操作を行うことなく実行することができると考えられる。
【００１０】
ここで、画像同士を比較照合して個人を認識する検索処理は時間を要する処理であるため、操作性の観点からその処理の高速化を図ることが必要不可欠とされる。また、本画像処理装置においては、検索のみでなく画像を多彩な形態で表示等する機能も搭載されることとなるが、この処理についても画像を取り扱うことから同様に高速化を図ることが必要とされる。
【００１１】
しかしながら、画像処理の高速化を実現する技術は千差万別であり、本画像処理装置に適合して検索・表示に関する操作の簡便化を確保しつつ、これらの処理の高速化が図れる技術について開示されたものはない。
【００１２】
本発明は、係る事情に鑑みてなされたものであって、簡便な操作で人物を特定して画像を高速に検索することができる画像処理装置およびプログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記課題を解消するための本発明は、検索の基準となる第1の顔画像を参照画像として登録する登録手段と、入力された画像から第２の顔画像を抽出する第２の抽出手段と、第２の顔画像と同一人物の参照画像を検索する顔画像検索手段と、参照画像の撮影された日付けが現在の日付けよりも所定以上過去の日付けであるときは新しい参照画像を登録するように促す指示を出力する警告手段とを備えた画像処理装置である。
【００１４】
また本発明は、上記記載の発明である画像処理装置において、参照画像と第２の顔画像との関連付けを修正する修正手段を備えた画像処理装置である。
【００１５】
また本発明は、上記記載の発明である画像処理装置において、第２の顔画像を新たな参照画像として追加登録する追加登録手段を備えた画像処理装置である。
【００１６】
また本発明は、上記記載の発明である画像処理装置において、顔画像検索手段で該当した参照画像を抽出したときは該当した参照画像に付加されている人物の名前、撮影年の内少なくとも１つを第２の顔画像とともに記憶する記憶手段を備えた画像処理装置である。
【００１７】
また本発明は、上記記載の発明である画像処理装置において、顔画像検索手段は、第２の顔画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、その参照画像を基準として第２の顔画像を検索する選択検索手段を備えた画像処理装置である。
【００１８】
また本発明は、上記記載の発明である画像処理装置において、第２の顔画像中の顔の中心近傍の位置を表す座標データ、顔の領域を表す座標データの内少なくとも１つを第２の顔画像とともに記憶する座標記憶手段を備えた画像処理装置である。
【００１９】
また本発明は、コンピュータに、検索の基準となる第1の顔画像を参照画像として登録する登録手順、入力された画像から第２の顔画像を抽出する第２の抽出手順、第２の顔画像と同一人物の参照画像を検索する顔画像検索手順、参照画像の撮影された日付けが現在の日付けよりも所定以上過去の日付けであるときは新しい参照画像を登録するように促す指示を出力する警告手順、を実行させるためのプログラムである。
【００２０】
【発明の実施の形態】
図１は、本発明に係る画像処理装置の構成を示すブロック図である。
【００２１】
本画像処理装置は、画像の検索等を行う画像処理部１と、この画像処理部１の周辺端末である、処理された画像などを表示する表示装置２、画像処理部１に対して各種データあるいは操作指示等の入力を行うための操作入力部３、処理画像等を印刷するプリンタ４、基準となる参照画像の人物像を撮影する撮像装置５及び検索処理等の対象となる画像を記録した画像記録媒体６で構成されている。
【００２２】
そして、画像処理部１には、これらの周辺端末と信号の授受を行なう画像処理部１の各処理機能のインターフェースである入出力制御部１０、検索の基準となる参照画像を登録する登録部１１、検索対象となる画像の検索に関連する付加情報を作成して画像処理部１の内部に蓄積する画像蓄積処理部１２、参照画像の人物が撮影された画像を検索する検索部１３、画像を表示すると共にその画像に付加された情報も関連付けて表示する表示部１４、画像から人物の顔を抽出しまたは個人を認識する抽出認識部１５及び画像と付加情報を集約して印刷するプリント処理部１６が備えられている。
【００２３】
更に、登録部１１には、画像記録媒体６から入力された画像から人物を抽出して、それに基づいてその人物の顔の部分を取り出した画像である顔画像を作成し参照画像として登録する画像指定登録部１１ａ、撮像装置から入力された撮像に基づいて顔画像を作成し参照画像として登録する新規登録部１１ｂが設けられ、また検索部１３には、画像中に指定された参照画像の人物が撮影されているかどうかを調べて該当した画像を抽出する参照画像指定検索部１３ａが設けられ、そして抽出認識部１５には、画像から人物の顔の部分を識別してその顔画像を抽出する顔抽出部１５ａ、参照画像の顔が指定された画像中にあるかどうかを照合して認識する個人認識部１５ｂが設けられている。
【００２４】
また、画像処理部１にはこれらの各機能の動作に必要な情報を記憶する記憶部２０が備えられ、この記憶部２０には検索の対象となる画像を記憶する画像記憶部２１、検索の基準となる参照画像を記憶する参照画像記憶部２２が設けられている。
【００２５】
次に、本画像処理装置を構成する各処理機能の動作について説明する。操作者が画像処理装置の電源を投入したとき、また操作入力部３から初期操作を行ったときは表示部２にはメニュー画面が表示される。
【００２６】
図２は本画像処理装置の処理機能を表すメニュー画面である。
【００２７】
この画像処理装置の処理機能は、登録モード、画像蓄積モード、検索モード、画像表示モードの４つの機能で構成さている。そしてこのメニュー画面では、登録モードには画像指定登録ボタン３０と新規登録ボタン３１が表示され、画像蓄積モードには画像蓄積処理ボタン３２が表示され、検索モードには参照画像指定検索ボタン３３が表示され、画像表示モードには画像表示ボタン３４が表示されている。
【００２８】
操作者が参照画像を登録しようとするときは、人物の撮影された画像が記録された画像記録媒体６を画像処理部１に接続してメニュー画面の画像指定登録ボタン３０を操作すると、画像指定登録部１１ａが起動して参照画像の登録処理を行う。
【００２９】
図３は、画像指定登録部１１ａの概略の動作手順を示すフロー図である。
【００３０】
本画像指定登録機能は、外部の画像記録媒体６に記録されてある画像から参照画像を作成する機能で、参照画像として採用できるかどうかを判断する機能、情報を付加できる機能を併せて有している。尚、この画像記録媒体６に記録されてある画像は、撮像装置５又は他の撮像装置を用いて撮像された画像である。
【００３１】
操作者は表示部２に表示される画像記録媒体６に記録されてある画像のサムネイル画像から、参照画像として登録したい人物の撮影されている画像を選択する（Ｓ１）。
【００３２】
画像指定登録部１１ａは操作者によって選択された画像を画像記録媒体６から抽出して表示部２に表示する（Ｓ２）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５はその画像に撮影されている人物の顔画像を抽出して（Ｓ３）、その結果を画像指定登録部１１ａに返す。
【００３３】
図４は、顔抽出部１５ａによる顔抽出結果を示す図である。
【００３４】
元の画像上に、顔抽出部１５が抽出した人物の顔を囲むように枠が表示されている。操作者が参照画像として登録しようとする人物を操作入力部３から選択すると（Ｓ４）、画像指定登録部１１ａはその選択された人物の顔画像が参照画像として適切かどうかを判断する（Ｓ５）。
【００３５】
例えば、顔の部分が髪または帽子などで覆われて小さい領域しか写っていない場合、目を閉じている場合、等は不適切な顔画像でありこのような場合は表示部２に適切でない旨の警告を表示しまた不適切な理由を表示（Ｓ７）する。顔画像が適切と判断されたときは（Ｓ６）、顔のサイズを所定の大きさに調整した情報入力画面を表示部２に表示する（Ｓ８）。
【００３６】
図５は、情報入力画面の構成を示す図である。
【００３７】
この情報入力画面には、リサイズされた顔画像とともに、後に述べる検索時の情報となる名前、生年月日、撮影年月日、登録年月日などの付加情報の入力欄が設けられている。尚、撮影年月日は、元の画像に付随して既に情報が入力されている場合はそのデータを表示し、登録年月日は当日の日付けを予め設定するように構成しても良い。
【００３８】
操作者が、これらの情報を入力して（Ｓ９）、登録ボタンを操作すれば画像指定登録部１１ａは顔画像と付加情報を参照画像記憶部２２に登録する（Ｓ１０）。そして、まだ処理すべき画像が残っている場合（Ｓ１１）は、以上の手順を繰り返す。ここで、登録とは参照画像を識別するための識別符号と関連付けて記憶することをいう。
【００３９】
操作者が撮像装置５を用いて参照画像を登録しようとするときは、撮像装置５を画像処理部１に接続してメニュー画面の新規登録ボタン３１を操作すると、新規登録部１１ｂが起動して参照画像の登録処理を行う。
【００４０】
図６は、新規登録部１１ｂの概略の動作手順を示すフロー図である。
【００４１】
本新規登録機能は、撮像装置５から取り込んだ人物画像から参照画像を作成する機能である。まず新規登録部１１ｂは、撮像装置５に対して人物の画像を規定するためのテンプレートを出力する（Ｓ１５）。
【００４２】
図７は、撮像装置５の表示部に表示される人物像を示す図である。
【００４３】
撮像装置５の撮影者は、このテンプレートに合わせて人物の大きさ向きなどを設定して撮影することで容易に適正な顔画像を得ることが可能となる。こうして撮影された人物画像は新規登録部１１ｂに送り出され、新規登録部１１ｂは撮像装置５から撮像データを受取り、表示部２に表示する（Ｓ１６）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５はその画像に撮影されている人物の顔画像を抽出して（Ｓ１７）、その結果を新規登録部１１ｂに返す。
【００４４】
次に新規登録部１１ｂは、その抽出した顔画像が参照画像として適切かどうかを判断する（Ｓ１８）。例えば、顔の部分が髪または帽子などで覆われて小さい場合、目を閉じている場合、等は不適切な顔画像でありこのような場合は表示部２に適切でない旨の警告を表示しまた不適切な理由を表示（Ｓ２０）する。これによって撮影者は適正な顔画像を容易に再撮影することができる。顔画像が適切と判断されたときは（Ｓ１９）、顔のサイズを所定の大きさに調整した図５に示す情報入力画面を表示部２に表示する（Ｓ２１）。
【００４５】
操作者が、後述する検索時の情報となる名前、生年月日、撮影年月日、登録年月日などの付加情報を入力して（Ｓ２２）、登録ボタンを操作すれば新規登録部１１ｂは顔画像と付加情報を参照画像記憶部２２に登録する（Ｓ２３）。そして、まだ処理すべき画像が残っている場合（Ｓ２４）は、以上の手順を繰り返す。
【００４６】
参照画像の登録処理をこのように構成すれば、人物の特徴を表す複数のインデックスを抽出しなくても簡便に参照画像として登録ができ、また不適切な顔画像を除去して認識処理の確実性を高めることが可能となる。
【００４７】
次に、外部の画像記録装置等から入力される画像を本画像処理装置の画像記憶部２１に蓄積記憶する際の処理について説明する。操作者が、外部端末を画像処理部１に接続してメニュー画面の画像蓄積処理ボタン３２を操作すると、画像蓄積処理部１２が起動して画像蓄積処理を行う。
【００４８】
図８、図９は、画像蓄積処理部１２の概略の動作手順を示すフロー図である。
【００４９】
本画像蓄積処理機能は、画像を入力する際に、その後の検索処理で必要とされる検索情報を予め抽出して画像と共に蓄積するものである。
【００５０】
画像蓄積処理部１２は、撮像装置５または画像記録媒体６から画像データを受取り、表示部２に表示する（Ｓ３０）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５ａはその画像に撮影されている人物の顔画像を抽出して（Ｓ３２）、その結果を画像蓄積処理部１２に返す。
【００５１】
画像蓄積処理部１２は、画像データ中にある各顔の位置情報（エリア情報又は中心座標）を確定する（Ｓ３３）。
【００５２】
図１０は、画像データ中にある各顔の位置情報を確定する方法を示す図である。
【００５３】
図１０の（１）は、顔のエリア情報を示している。この情報は、顔の存在する領域を例えば複数の座標点からなる多角形で囲まれた領域として表している。一方、図１０の（２）は、顔の中心座標を示している。この情報は、顔の存在する画像データ中の位置を例えば顔の領域の略中心位置を示す1点の座標として代表している。これらの顔位置情報は表示処理において人物の顔の位置を特定するための情報として取り扱われる。
【００５４】
続いて、画像蓄積処理部１２は個人認識部１５ｂを起動する。個人認識部１５ｂは、顔抽出部１５ａが抽出した顔画像を参照画像の顔画像と照合し、参照画像の人物として認識できるかどうかを調べる個人認識処理を実行する（Ｓ３４）。
【００５５】
顔画像が参照画像の特定の人物として認識できた場合（Ｓ３５）は、画像データ中の認識された人物に参照画像の識別符号を付して表示部に表示し（Ｓ３６）、参照画像の特定の人物として認識できなかった場合（Ｓ３５）は、画像データ中のその認識できなかった人物に？符号を付して表示部に表示する（Ｓ３７）。
【００５６】
以上の、個人認識処理を画像データに含まれる全ての人物について繰り返し照合を行ない、全ての顔の照合が終わったときに（Ｓ３８）、認識画面を表示部２に表示する（Ｓ３９）。
【００５７】
図１１は、認識画面の構成を示す図である。
【００５８】
この認識画面では、画像データの各人物に前述の識別符号が付されると共に、参照画像がサムネイル形式で画面の下部に表示されている。この識別符号を介して各人物と参照画像が関連付けられる。そしてこのように関連付けて表示することによって、操作者は認識結果を容易に確認することができる。操作者は、識別符号に基づいて画像データの人物と参照画像の人物を比較して、変更または追加等の識別符号の修正が必要か否かを判断する（Ｓ４０）。
【００５９】
変更または追加が必要であるときは、画像上のメニュー（図示していない）から変更または追加を選択してその操作を行う（Ｓ４１）。
【００６０】
変更を選択した場合（Ｓ４２）は、先ず画像上の人物を、その顔位置（または顔エリア内）にマウスなどを操作することによって特定し、次にその人物に対応させようとする参照画像をマウスなどを用いて特定する（Ｓ４３）。この操作によって画像データ上の人物に付された識別符号が特定された参照画像の識別符号に変更される。
【００６１】
追加を選択した場合（Ｓ４２）は、画像上の人物を、その顔位置（または顔エリア内）にマウスなどを操作することによって特定し、次にその人物を登録させようとする空きの参照画像欄（図１１では識別符号「０」の欄）をマウスなどを用いて対応させる（Ｓ４４）。この操作によって、画像データ上の該人物の顔の部分が参照画像用に切り出されて表示される（Ｓ４５）。そして同時に表示される付加情報入力欄に名前などの情報を入力して追加登録操作を行う（Ｓ４６）。すると、追加した参照画像の識別符号が新たな識別符号として画像上の人物に付されて表示される。尚、この追加登録操作は図５に示す情報入力画面を用いて構成しても良い。
【００６２】
この変更追加の操作を必要な数だけ繰り返して実行し、全ての変更追加処理が終わったときは（Ｓ４７）、蓄積操作を行うことにより、画像データと参照画像から読み出した人物の個人名、顔位置情報等の付加情報とを画像記憶部２１に記憶させる（Ｓ４８）。そして、以上の処理を全ての入力画像について繰り返して（Ｓ４９）、画像蓄積処理を終了する。
【００６３】
図１２は、画像記憶部２１のデータの構成を示す図である。
【００６４】
ヘッダ部には、その画像のファイル名と共に、撮影年月、登録年月、人物の名前、生年月日、顔位置情報等の付加情報が記憶され、それと対応した本画像部には画像データが例えばＪＰＥＧ方式によって圧縮されるなどして記憶されている。
【００６５】
尚、本実施例では、外部の画像記録装置等から入力される画像を対象として蓄積記録する処理について説明したが、本発明はこの形態に限定されるものではなく、一旦前述の処理がされ装置内部の画像記憶部２１に蓄積されている画像を対象として再度同じ処理を繰り返して蓄積記録するように構成することもできる。このように構成すれば、新しく追加された参照画像に関する付加情報を取り込んで、検索などの処理を行うことが可能となる。
【００６６】
次に、検索機能について説明する。本機能は、参照画像の人物が含まれている画像を抽出してサムネイルで表示する機能であり、このとき検索する画像は外部画像記録媒体に記録されている場合と、内部の記録媒体である画像記録部に記録されている場合の２つの場合がある。
【００６７】
先ず、外部画像記録媒体に記録されている画像の処理について説明する。外部端末を画像処理部１に接続してメニュー画面の参照画像指定検索ボタン３３を操作すると、参照画像指定検索部１３ａが起動して検索処理を行う。
【００６８】
図１３、図１４は、参照画像指定検索部１３ａの概略の動作手順を示すフロー図である。
【００６９】
先ず参照画像指定検索部１３ａは、図１５に示す参照画像の一覧を表示部２に表示する（Ｓ５１）。操作者は、この画面上で検索したい人物をマウスなどで指定して特定するが、この際複数画像を指定することも可能である（Ｓ５２）。すると、特定された該当人物の参照画像のみが表示部２に一覧表示される（Ｓ５３）。
【００７０】
続いて参照画像指定検索部１３ａは、一覧表示されている参照画像の付帯情報から撮影年月を取り出して、その年月が現在から所定の期間内にあるか否かを調べる（Ｓ５４）。所定の期間内にない場合は、その参照画像は旧い画像であるため、その参照画像のみの表示色を変更するなどして操作者に注意を促し、新しい参照画像の再登録を促す警告メッセージを出力する（Ｓ５５）。このように構成することにより、旧い参照画像のまま更新がされない不具合を防止することができる。また、該当人物の年令によって所定期間を変更してもよい。つまり、生年月日より年令を計算し、子供であれば顔の変化が大きいことから所定期間を短く設定するようにするとより適切になる。
【００７１】
尚、本実施例では、人物を特定したときに参照画像の撮影年月のチェックを行っているが、この形態のみに限定されず参照画像を一覧表示する際には常に撮影年月のチェックを行うように構成しても良い。
【００７２】
次に参照画像指定検索部１３ａは、撮像装置５または画像記録媒体６から画像データを受取り、表示部２に表示する（Ｓ５６）と共に、その画像から特定人物の顔画像を抽出させるために顔抽出部１５ａを起動する。顔抽出部１５ａはその画像に撮影されている人物の顔画像を抽出して（Ｓ５７）、その結果を参照画像指定検索部１３ａに返す。
【００７３】
顔画像が抽出できなかった場合（Ｓ５８）は、抽出できない旨のメッセージを表示して（Ｓ５９）、次の画像データの処理を開始する。
【００７４】
顔画像が抽出できた場合（Ｓ５８）は、その顔画像と参照画像を比較照合させるが、参照画像に同一人物が複数含まれている場合は、その画像データが撮影された日付けに近い日付けを持つその人物の参照画像を選択する（Ｓ６０）。そして、参照画像指定検索部１３ａは個人認識部１５ｂを起動する。個人認識部１５ｂは、顔抽出部１５ａが抽出した顔画像を参照画像の顔画像と照合し、参照画像の人物として認識できるかどうかを調べる個人認識処理を実行する（Ｓ６１）。
【００７５】
参照画像の特定の人物として認識できた場合（Ｓ６２）は、画像データ中の認識された人物を、例えばマークを付するなどして強調して記憶する（Ｓ６３）。参照画像の特定の人物として認識できなかった場合（Ｓ６２）は、その画像データ中には参照画像の人物がいない旨のメッセージを表示部に表示（Ｓ６４）して次の画像データの処理を行う。
【００７６】
この処理を全ての入力画像データについて繰り返し、全ての入力画像データの処理が完了したときは（Ｓ６５）、抽出した画像データをサムネイル形式で一覧として表示する（Ｓ６６）。そして、このサムネイルを操作者が選択するとその画像データが通常のサイズで表示される。
【００７７】
このように構成することにより、検索しようとする画像の撮影された日付に近い顔画像を参照画像として検索することができるため、同一人物の他の参照画像に基づいた検索が不要となり検索時間を短縮できると共に、検索精度を高めることができる。また、検索結果をサムネイル表示、拡大表示する機能を設けることにより検索結果を容易に確認することができる。
【００７８】
次に、内部記録媒体に記録されている画像の処理について説明する。操作者がメニュー画面の参照画像指定検索ボタン３３を操作すると、参照画像指定検索部１３ａが起動して検索処理を開始する。
【００７９】
図１６は、参照画像指定検索部１３ａの概略の動作手順を示すフロー図である。本内部画像の検索では、前述の画像蓄積処理によって検索情報が既に抽出されているため、外部画像の検索と比して高速に検索することができる。
【００８０】
参照画像指定検索部１３ａは、先ず参照画像の選択処理を行うがこの手順は前述のステップＳ５１からステップＳ５５と同じであるため、その詳細の説明は省略する。続いて参照画像指定検索部１３ａは、指定された画像記憶部２１の各画像毎のヘッダ部の情報を取り出す（Ｓ７０）。そして、参照画像の付加情報に記載されてある名前などが、ヘッダ情報にある名前等と一致するかどうかを調べる（Ｓ７１）。一致する場合（Ｓ７２）は、その画像を抽出して記憶し（Ｓ７３）、一致しない場合は、その画像には検索する人物はいないものとして次の画像データの検索処理に移る。
【００８１】
この処理を全ての入力画像データについて繰り返し、全ての入力画像データの処理が完了したときは（Ｓ７４）、抽出した画像データをサムネイル形式で一覧として表示する（Ｓ７５）。そして、このサムネイルを操作者が選択するとその画像データが通常のサイズで表示される。
【００８２】
このように、付加情報を検索するように構成することで高速に検索を行うことができる。
【００８３】
次に、内部に蓄積された画像を本画像処理装置の表示部２に表示し、またプリンタ４に出力する際の処理について説明する。操作者が、メニュー画面の画像表示ボタン３４を操作すると、画像表示部１４が起動して画像表示処理を行う。
【００８４】
図１７は、画像表示部１４の概略の動作手順を示すフロー図である。
【００８５】
操作者が表示したい画像を指定すると、画像表示部１４は画像記憶部２１からヘッダ情報とその画像データを読み出して表示部２に画像を表示する（Ｓ８０）。操作者が画像データの特定の人物の上にマウス等を操作してポインタを移動すると、画像表示部１４はそのポインタの位置を読み取って、ヘッダ情報の顔位置データである顔座標または顔エリア情報と対応させる（Ｓ８１）。
【００８６】
そして、ヘッダ情報の顔位置データと対応が付けられたときは、その人物の名前などの個人情報を表示し（Ｓ８２）、更に、操作者がその人物の上にポインタを合わせてクリックすれば人物の拡大像が表示される（Ｓ８３）。
【００８７】
続いて、操作者が表示されている画像を印刷する指示操作を行ったときは、画像表示部１４は画像記憶部２１から読み出したヘッダ情報とその画像データをプリント処理部１６に渡して印刷動作を開始させる（Ｓ８６）。そしてプリント処理部１６は画像と共に、ヘッダ情報にある日付け、個人名などの付加情報をプリントする（Ｓ８７）。
【００８８】
このように、本機能では、前述の画像蓄積処理によって付加情報が既に抽出されているため、人物の画像上にポインタを置くだけでその人物の名前が表示でき、また人物上でクリックすればその人物の拡大像を表示させることができ、プリントアウトすれば画像だけでなく写っている人物の名前などの付加情報も併せて印刷することができる。従って、簡便な取り扱いによって関連した情報を集約して参照することができる。
【００８９】
尚、本実施例では撮像画像を対象としてデジタルアルバムの機能を目的として説明したが、本発明はこの実施例に限定されるものではなく、顔を認識して特定するための個人認証、写真照合等の技術領域に広く適用できるものである。
【００９０】
【発明の効果】
以上説明したように、本発明による画像蓄積記録手段を用いて構成すれば簡便な操作で人物を特定して高速に画像を検索することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の構成を示すブロック図。
【図２】画像処理装置の処理機能を表すメニュー画面。
【図３】画像指定登録部の概略の動作手順を示すフロー図。
【図４】顔抽出部による顔抽出結果を示す図。
【図５】情報入力画面の構成を示す図
【図６】新規登録部の概略の動作手順を示すフロー図。
【図７】撮像装置の表示部に表示される人物像を示す図。
【図８】画像蓄積処理部の概略の動作手順を示すフロー図。
【図９】画像蓄積処理部の概略の動作手順を示すフロー図。
【図１０】画像データ中にある各顔の位置情報を確定する方法を示す図。
【図１１】認識画面の構成を示す図。
【図１２】画像記憶部のデータの構成を示す図。
【図１３】参照画像指定検索部の概略の動作手順を示すフロー図。
【図１４】参照画像指定検索部の概略の動作手順を示すフロー図。
【図１５】参照画像の一覧を示す図。
【図１６】参照画像指定検索部の概略の動作手順を示すフロー図。
【図１７】画像表示部の概略の動作手順を示すフロー図。
【符号の説明】
１…画像処理部
２…表示部
４…プリンタ
５…撮像装置
６…画像記録媒体
１１ａ…画像指定登録部
１１ｂ…新規登録部
１２…画像蓄積処理部
１３ａ…参照画像指定検索部
１４…画像表示部
１５ａ…顔抽出部
１５ｂ…個人認識部
１６…プリント処理部
２１…画像記憶部
２２…参照画像記憶部

Claims (7)

1. 画像検索手段を有する画像処理装置において、
   検索の基準となる第1の顔画像を参照画像として登録する登録手段と、
   入力された画像から第２の顔画像を抽出する第２の抽出手段と、
   前記第２の顔画像と同一人物の前記参照画像を検索する顔画像検索手段と、
   前記参照画像の撮影された日付けが現在の日付けよりも所定以上過去の日付けであるときは新しい参照画像を登録するように促す指示を出力する警告手段と
   を備えたことを特徴とする画像処理装置。
2. 前記参照画像と第２の顔画像との関連付けを修正する修正手段を備えた事を特徴とする請求項１に記載の画像処理装置。
3. 前記第２の顔画像を新たな参照画像として追加登録する追加登録手段を備えたことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記顔画像検索手段で該当した参照画像を抽出したときは該当した参照画像に付加されている人物の名前、撮影年の内少なくとも１つを前記第２の顔画像とともに記憶する記憶手段を備えたことを特徴とする請求項１に記載の画像処理装置。
5. 前記顔画像検索手段は、前記第２の顔画像の撮影された日付けに近い撮影日付けをもつ参照画像を選択し、その参照画像を基準として前記第２の顔画像を検索する選択検索手段を備えた事を特徴とする請求項１乃至４の内いずれか１の請求項に記載の画像処理装置。
6. 前記第２の顔画像中の顔の中心近傍の位置を表す座標データ、顔の領域を表す座標データの内少なくとも１つを前記第２の顔画像とともに記憶する座標記憶手段を備えた事を特徴とする請求項１乃至５の内いずれか１の請求項に記載の画像処理装置。
7. 画像検索手段を有する画像処理装置の画像処理プログラムにおいて、
   コンピュータに、
   検索の基準となる第1の顔画像を参照画像として登録する登録手順、
   入力された画像から第２の顔画像を抽出する第２の抽出手順、
   前記第２の顔画像と同一人物の前記参照画像を検索する顔画像検索手順、
   前記参照画像の撮影された日付けが現在の日付けよりも所定以上過去の日付けであるときは新しい参照画像を登録するように促す指示を出力する警告手順、
   を実行させるためのプログラム。

Images