以下、図面を参照して本発明の実施形態について説明する。
図1は本発明の第1の実施形態となる画像整理装置を備えた写真プリントの注文受付装置の外観斜視図である。図1に示すように、本発明の第1の実施形態となる注文受付装置1は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されるものであり、プリント注文するための画像が記録された各種メモリカード2を装填し、メモリカード2から画像を読み出したり、メモリカード2に画像を記録したりするための複数種類のカードスロット4と、顧客IDが記録された磁気カード3を読み取るカードリーダ5と、プリント注文のための各種表示を行う表示部6とを備えている。また、この注文受付装置1は、顧客からの注文に基づいて写真プリントを行うプリンタ8、および画像に対する画像処理やプリント注文の管理を行うためのデジタルイメージコントローラ(DIC)10とネットワーク経由で接続されている。なお、表示部6はタッチパネル式の入力部18を備え、ユーザは表示部6の表示にしたがって表示部6にタッチすることにより、プリント注文や画像整理に必要な入力を行うことができる。
図2は本発明の実施形態による注文受付装置1の構成を示す概略ブロック図である。図2に示すように、注文受付装置1は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置1を構成する各部の制御を行うCPU12と、装置1を動作させるための基本的なプログラムおよび各種係数等が記録されているROM並びにCPU12が処理を実行する際の作業領域となるRAMにより構成されるシステムメモリ14と、種々の指示を装置1に対して行うためのタッチパネル式の入力部18と、上述した表示部6とを備える。
また、注文受付装置1は、上述したカードスロット4のメモリカード2から読み出した画像、CPU12が実行する、画像のプリント注文や整理を行うための各種プログラムや、整理条件等の参照データ等を記録するハードディスク24と、システムメモリ14、カードスロット4、カードリーダ5およびハードディスク24を制御するメモリ制御部16と、表示部6の表示を制御する表示制御部26と、入力部18による入力を制御する入力制御部22と、装置1をプリンタ8、およびDIC10とネットワークを介して通信するためのネットワークインターフェース30とを備える。
なお、カードスロット4はメモリカード2の種類に応じて複数用意されているが、図2においては1つのカードスロット4のみを示している。
注文受付装置1で行われる後述の処理は、ハードディスク24に記憶されている各種プログラムが実行されることによって実現される。なお、ハードディスク24への各種プログラムの記憶は、この各種プログラムが記録されたCD−ROM等のコンピュータが読取可能な記録媒体からインストールすることによってなされる。また、各種プログラムは、注文受付装置1で行われる処理全体を制御するメインプログラムと、メインプログラムから必要に応じて呼び出される、注文処理や画像整理処理を行うサブプログラム等とからなる。
このような注文受付装置1におけるプリント注文は以下のようにして行われる。図3は注文受付装置1の表示部6に表示される初期画面を示す図である。この画面はメインプログラムの制御によって表示される。図3に示すように初期画面40には、プリント注文を行うためのプリント注文ボタン40A、および後述するように画像の整理を行うための画像整理ボタン40Bが表示されている。ここで、ユーザがプリント注文ボタン40Aを選択した場合、CPU12では、メインプログラムからプリント注文処理サブプログラムが呼び出され、このサブプログラムによる処理が実行される。ユーザが画面に表示される指示にしたがって複数の画像を記録したメモリカード2をカードスロット4に装填すると、装置1では、メモリカード2から複数の画像を読み出して一時的にハードディスク24に保存し、さらに、複数の画像の一覧を表示部6に表示する
ユーザは表示部6に表示された画像の一覧からのプリント注文を行う画像の選択、注文枚数および注文サイズの設定をタッチパネル方式の入力部16を用いて行う。そして、ユーザがプリント実行の指示を入力部16を用いて行うと、ユーザが選択した画像、並びに注文枚数および注文サイズを表す注文情報がDIC10に送信され、ここで画質を向上させるために必要な画像処理が画像に対して施され、注文情報に応じた注文枚数および注文サイズによりプリント注文した画像がプリンタ8からプリント出力される。
次に、本発明の実施形態における画像整理の処理について説明する。この処理は、ユーザが図3の初期画面で画像整理ボタン40Bを選択することにより、メインプログラムから画像整理サブプログラムが呼び出され、実行されることによって実現される。
図4は、本発明の第1の実施形態となる画像整理処理における主なデータの流れと機能を模式的に表したブロック図である。図に示したように、顧客IDを取得する顧客ID入力部51と、画像の入力を受け付ける画像入力部52と、画像整理条件設定モードの選択を受け付ける整理条件設定モード選択部61と、整理条件設定モードとして「自動」が選択された場合に、顧客ID入力部51によって取得された顧客IDに対応づけられた整理条件を整理条件テーブルT1から取得する整理条件取得部53と、整理条件設定モードとして「手動」が選択された場合に、整理条件の入力を受け付ける整理条件入力部62と、取得/入力された整理条件に基づき、必要に応じて人物情報テーブルT2から人物の特徴量を取得し、入力された画像の整理を行う画像整理部54と、整理の結果の好ましさを評価する整理結果評価部55と、評価の結果に基づいて画像の整理結果を表示部6に表示させる整理結果表示部56と、表示された整理結果の修正を受け付ける整理結果修正部63と、整理結果の選択を受け付ける整理結果選択部57と、選択された整理結果をメモリカード2に記録する整理結果記録部58と、選択された整理結果に対応する整理条件を整理条件テーブルT1に登録する整理条件登録部59とによって、この画像整理処理が実現される。
ここで、顧客ID入力部51は、表示部6に「磁気カードを挿入してください」等の磁気カード3のカードリーダ5への挿入を促すメッセージを表示させ、磁気カード3がカードリーダ5に挿入されると、挿入された磁気カード3の磁気部分を読み取って顧客IDを取得する。
画像入力部52は、表示部6に「メモリカードを挿入してください」等のメモリカード2のカードスロット4への挿入を促すメッセージを表示させ、メモリカード2がカードスロット4に挿入されると、挿入されたメモリカード2から画像ファイルを読み込み、装置1のハードディスク24に一時的に記憶させる。
整理条件設定モード選択部61は、画像の整理条件設定モード選択画面を表示部6に表示させる。この画面には、「画像の整理条件の設定モードを選択してください」というメッセージと、「自動」「手動」の選択用ボタンが含まれ、ユーザの入力部18の操作による「自動」「手動」の選択を受け付ける。
整理条件テーブルT1には、図8に示したように、顧客ID、整理のタイトル、および、画像の抽出条件、画像のグルーピング条件、画像のソート条件からなる画像整理条件が関連づけられて登録され、顧客IDと連番の組合せによって1つの画像整理条件(整理パターン)を識別可能となっている。すなわち、1つの顧客IDに対して、連番の値を変えることにより、複数の画像整理条件を対応づけることが可能となっている。なお、図中の顧客ID=「ZZZ9999」は、実在する顧客と対応づけられたものではなく、この画像整理装置の既定の整理条件と対応づけられている。この整理条件テーブルT1に設定されている整理条件にしたがった画像整理処理の具体例については後述する。
整理条件取得部53は、整理条件設定モード選択部61において整理条件設定モードとして「自動」が選択された場合に、顧客ID入力部51によって取得された顧客IDを検索キーとして整理条件テーブルT1にランダムアクセスし、この顧客に対応づけられた整理条件を1件取得する。このとき、整理条件取得部53は取得した位置(整理条件テーブルT1のレコードのアドレス)を記憶しており、整理条件テーブルT1にこの顧客IDに対応づけられた整理条件が複数件登録されている場合、この顧客IDに対応づけられた次の整理条件を読み込む際には、ランダムアクセスではなく、整理条件テーブルT1の現在の読込み位置からのシーケンシャルアクセスで読み込むことができる。
整理条件入力部61は、整理条件設定モード選択部61において、整理条件設定モードとして「手動」が選択された場合に、整理条件の設定を行う画面を表示部6に表示させ、ユーザによる整理条件の入力を受け付ける。図7は、整理条件の設定画面の一例を示したものである。図のように、整理条件設定画面41は、抽出条件設定エリア41A、グルーピング条件設定エリア41E、ソート条件設定エリア41Kから構成される。
抽出条件設定エリア41Aには、抽出条件として設定可能な項目41Cが列挙されており、ユーザは、チェックボックス41Bをタッチすることにより、その項目を抽出条件とするかどうかを選択する。また、設定/変更ボタン41Dをタッチすると、その項目の詳細な条件を設定するための画面が表示される。例えば、撮影日時についての設定/変更ボタン41Dをタッチすると、整理条件入力部61は、画像入力部52で入力された画像ファイルの付帯情報を参照し、最も古い撮影日時と最も新しい撮影日時を特定して、入力された画像ファイルの画像の撮影期間内の撮影日時をカレンダー形式で表した詳細設定画面を表示部6に表示させ、ユーザが抽出対象となる画像の撮影期間の始期と終期をタッチすることによる、撮影日時に関する抽出条件の設定を受け付け、設定された撮影期間を整理条件設定画面41の抽出条件設定エリア41Aの撮影日時の項目の位置41Cに表示させる。また、人物についての設定/変更ボタン41Dをタッチすると、整理条件入力部61は、画像入力部52で入力された画像ファイルを順次読み込み、画像中の顔領域の検出を行い、さらに、検出された顔の類似性を判定し、類似する顔の画像をグループ化し、各グループの代表的な顔の画像を決定し、代表的な顔のサムネイル画像を一覧にした詳細設定画面を表示部6に表示させ、ユーザが所望のサムネイル画像にタッチすることによる、抽出対象の画像に含まれているべき顔の画像の選択を受け付け、選択された顔のサムネイル画像を整理条件設定画面41の抽出条件設定エリア41Aの人物の項目の位置41Cに表示させる。ここで、顔領域の検出は、AdaBoost等のマシンラーニングによって得られた識別器を用いた方法(例えば特開2005−108195号公報)、顔の類似性の判定は、顔領域から抽出された目、鼻、口等の特徴点の位置、形状、サイズ等を表す特徴ベクトル(特徴量)を求め、各顔画像間での特徴ベクトルの統計的距離に基づいて顔画像のグルーピングを行う方法(例えば特開平09−251534号公報)、代表的な顔の決定は、グループ内の顔画像のエッジ成分や肌色成分等に基づいて最も好ましい画質の画像を選択する方法(例えば、特開2005−49968号公報、特開2005−122721号公報)等の公知の技術を利用することが可能である。なお、上記の各グループの代表的な顔の画像の特徴量は、顧客ID入力部51で取得された顧客IDと関連づけられて人物情報テーブルT2に登録される。このとき、1つの顧客IDに対して複数の顔の特徴量が関連づけられることになるので、顧客IDと連番を組み合わせた人物IDによって個々の顔の特徴量を識別できるようにしている。また、その顧客IDと関連づけられた顔の特徴量が既に登録されている場合には、今回登録対象の顔の特徴量と既に登録されている顔の特徴量の類似性を判定し、類似と判定された場合には新たな登録を行わず、類似しないと判定された場合には、新たな登録を行う。
グルーピング条件設定エリア41Eは、グルーピングのキーとすることが可能な項目41Fが一覧表示されており、ユーザが各項目に対応するチェックボックス41Gをタッチすることによる、グルーピングのキーの選択を受け付ける。また、ユーザが各項目に対応する「↑」ボタン41H、または「↓」ボタン41Jをタッチすることにより、グルーピングの優先順位の設定を受け付ける。
ソート条件設定エリア41Kについても、グルーピング条件設定エリア41Eと同様に、並べ替えのキーとすることが可能な項目41Lが一覧表示されており、ユーザがチェックボックス41Mをタッチすることによる並べ替えのキー項目の選択、「↑」ボタン41N、または「↓」ボタン41Pをタッチすることによる並べ替えのキー項目の優先順位の設定、および、昇順ボタン41Qまたは降順ボタン41Rをタッチすることによる並べ替えの昇降順の選択を受け付ける。なお、昇順ボタン41Qと降順ボタン41Rは、選択された方のボタンが強調表示されるようになっている。整理条件入力部61において手動入力された整理条件は、システムメモリ14の所定の記憶領域に記憶され、後述の画像整理部54の整理処理で用いられる。
画像整理部54は、取得/入力された整理条件、すなわち、抽出条件、グルーピング条件、およびソート条件に基づき、入力された画像の付帯情報や入力された画像に対する解析処理によって得られる特徴量を、画像の抽出、グルーピング、ソートのキー情報とし、必要に応じて人物情報テーブルT2から人物の特徴量を取得し、入力画像のうち抽出条件を満たす画像を抽出する抽出処理、入力/抽出された画像をグルーピング条件を満たすように1以上のグループに分類する処理、入力/抽出された画像またはグルーピング処理によって分類された各グループをソート条件を満たすように並べ替えるソート処理を行う。なお、グルーピング処理によって分類された各グループは、画像ファイルの論理的な格納場所、すなわち、フォルダ(ディレクトリパス)に対応づけられる。
具体的には、画像の抽出処理では、例えば、所定の期間に撮影された画像を抽出するように抽出条件が設定されている場合には、画像整理部54は、入力された画像ファイルのExifタグに記録されている撮影日時を取得し、取得された撮影日時が、設定された所定期間内である画像ファイルのみを抽出する。
また、整理条件設定モード選択部61において「手動」が選択され、図7の整理条件設定画面41等での操作によって、特定の人物の顔を含む画像を抽出するように抽出条件が設定された場合には、画像整理部54は、整理条件入力部62において、整理条件設定画面41の人物についての設定/変更ボタン41Dがタッチされることによって行われた前述の顔検出、グループ化、代表顔画像の決定の各処理の結果を利用し、抽出対象の顔を代表画像とするグループに属する入力画像を、抽出条件に合致するものとして抽出する。
一方、整理条件設定モード選択部61において「自動」が選択され、整理条件取得部53が整理条件テーブルT1から取得した抽出条件が、例えば、人物ID=「ABC0001_01」であった場合、この人物IDの人物の顔の特徴量を取得するために、人物情報テーブルT2にアクセスする。この人物情報テーブルT2は、人物の氏名等の属性情報やその人物の顔画像に対する解析処理によって得られるその人物の顔の特徴量と人物IDとを関連づけたものである。この人物IDは、顧客IDと連番の組合せによって構成される。したがって、例えば、ある顧客IDの顧客本人は連番「00」、その本人の子どもは連番「01」というように、1つの顧客IDに対してその顧客IDの顧客が撮影する複数の人物を対応づけることが可能となっている。画像整理部54は、抽出条件として取得した人物ID=「ABC0001_01」を検索キーとして、人物情報テーブルT2を参照し、この人物ID=「ABC0001_01」に関連づけられた顔の特徴量を取得するとともに、画像入力部52で入力された画像ファイルを順次読み込み、画像中の顔領域の検出し、検出された顔領域から目、鼻、口等の特徴点の位置、形状、サイズ等を表す特徴量を算出する。さらに、人物情報テーブルT2から取得した人物ID=「ABC0001_01」に対応する顔の特徴量と、入力画像から検出された顔の各々に対応する特徴量との統計的距離を算出し、算出された統計的距離の値が所定の閾値以下となる入力画像を抽出する。
また、GPS情報によって特定される所定の撮影場所で撮影された画像を抽出するように抽出条件が設定されている場合には、画像整理部54は、入力された各画像ファイルのExifタグに記録されている撮影場所を表すGPS情報を取得し、GPS情報に基づいて、抽出条件である所定の場所と入力された各画像の撮影場所との距離を算出し、算出された距離が所定の閾値以下となる入力画像を抽出する。
さらに失敗写真を除外する抽出条件が設定されている場合には、例えば、入力画像中の顔等の主要被写体領域を検出し、主要被写体領域とそれ以外の背景領域における輝度のヒストグラムを各々生成し、そのプロフィールと、予め登録しておいた適正な明るさの場合のプロフィールとの比較を行い、その差が所定の閾値よりも大きい画像を明るさが不適正な画像として除外したり、画像中の主要被写体を検出し、検出された領域における高周波成分の積分値が所定の閾値よりも小さい画像をピンボケ画像として除外したり、入力画像から複数の方向のエッジを検出し、エッジ方向毎に求められたエッジ幅のヒストグラムを作成し、直交する2方向におけるエッジ幅のヒストグラムの相関値を各方向組について求め、各方向における平均エッジ幅と各方向組におけるエッジ幅のヒストグラムの相関値とに基づき、相関値が所定の閾値より小さい方向組における、平均エッジ幅がより大きい方向をぶれ方向を決定し、決定されたぶれ方向に垂直なエッジの幅をぶれの幅とし(特開2005-122721号公報参照)、得られたぶれの幅が所定の閾値よりも大きい画像を手ぶれ画像として除外したりする。
なお、この抽出処理によって、抽出されなかった画像、または除外された画像は、後述の整理処理によって分類されるフォルダとは別に作成される「未整理フォルダ」に分類される。
次に、画像のグルーピング処理では、例えば、撮影日時(年・月)毎に分類するようにグルーピング条件が設定されている場合には、画像整理部54は、入力された画像ファイルのExifタグに記録されている撮影日時を取得し、入力された画像ファイルを、取得された撮影日時のうちの撮影年月の値毎のグループに分類する。なお、撮影日時による分類は、各画像の撮影日時を時間軸上に配置し、撮影日時が隣接する2つの画像についての撮影間隔の大小に応じて画像を複数のグループに分類する手法(特開2000−112997号公報参照)、撮影日時が隣接する画像間の撮影間隔が所定の閾値よりも大きい場合にその画像の間をグループの境界とする手法(特開2001−228582号公報)等を用いて行ってもよい。
また、グルーピング条件として「撮影年、撮影月、撮影場所」というように複数の項目が設定されている場合には、画像整理部54は、まず、入力された画像ファイルのExifタグに記録されている撮影日時を取得し、入力された画像ファイルを、取得された撮影日時のうちの撮影年の値毎のグループに分類する。次に、各撮影年のグループに属する画像ファイルを、取得された撮影日時のうちの撮影月の値毎のグループに分類する。最後に、各撮影年・撮影月のグループに属する画像ファイルのExifタグに記録されている撮影場所を表すGPS情報(緯度・経度)を取得し、取得された各画像ファイルの緯度・経度を、縦軸を緯度、横軸を経度とする座標平面上にプロットしたものを画像(以下、プロット画像という)として捉え、プロット画像に対して膨張処理を行うことによって連結領域を形成し、連結領域に対してラベリング処理を行うことによってグループ化を行う(例えば、特開2005−49968号公報参照)。なお、GPS情報に基づいて分類された各グループには、「撮影場所1」「撮影場所2」というようなグループ名を付してもよいし、GPS情報と地名を対応づける参照テーブルを予め用意しておき、各グループのGPS情報に対応する地名を参照テーブルから取得し、取得された地名をグループ名としてもよい。このように、グループ化のための項目が複数設定されている場合には、画像整理部54は、入力された画像ファイルを、まず撮影年毎に分類し、撮影年毎の各グループに属する画像ファイルを、撮影月毎に分類し、撮影年・月毎の各グループに属する画像ファイルを、撮影場所毎に分類することにより、階層的なグループ化がなされる。
人物毎に分類するようにグルーピング条件が設定されている場合には、前記の整理条件入力部61において人物についての設定/変更ボタン41Dがタッチされた際の処理と同様に、画像整理部54は、画像入力部52で入力された画像ファイルを順次読み込み、画像中の顔領域の検出を行い、さらに、検出された顔の類似性を判定し、類似する顔の画像をグループ化する。なお、このグループ化を行った際の各グループの代表的な顔の画像の特徴量は、顧客ID入力部51で取得された顧客IDと関連づけられて人物情報テーブルT2に登録される。このとき、1つの顧客IDに対して複数の顔の特徴量が関連づけられることになるので、顧客ID+連番によって個々の顔の特徴量を識別できるようにしている。また、その顧客IDと関連づけられた顔の特徴量が既に登録されている場合には、今回登録対象の顔の特徴量と既に登録されている顔の特徴量の類似性を判定し、類似と判定された場合には新たな登録を行わず、類似しないと判定された場合には、新たな登録を行う。また、整理条件入力部62において、整理条件設定画面41の人物についての設定/変更ボタン41Dがタッチされたことにより、上記と同様の顔のグループ化が行われている場合には、その処理結果を利用することができる。
画像中に表現されているイベント毎に分類するようにグルーピング条件が設定されている場合には、画像整理部54は、例えば、入力画像に対する複数の種類の画像解析によって得られる複数の特徴量に基づいて得られる、複数の総合的な特徴量の中から、隣接画像間での総合的特徴量の変化量が撮影日時の間隔と正の高い相関を有するものを、その複数の入力画像中に表現されているイベントを最もよく表すイベント特徴量として選択し、選択されたイベント特徴量の分布に応じた分類を行う。
具体的には、まず、画像整理部54は、入力された画像ファイルの各々について、複数の種類の画像解析を行い、複数の種類の特徴量gi(i=1,2,・・・,n,・・・,N)を算出する。ここで、算出される特徴量としては、例えば、画像の色、輝度、テキスチャ、奥行き、画像中のエッジ等を表すものがある。次に、例えば、下の式(1)のようにして、これら複数の特徴量giと複数の係数ai[j],bi[j],ci[j] (j=1,2,・・・,m,・・・,M)に基づいて、M種類の新たな複数の総合特徴量Ev(j)を求める。
Ev[j] = (a1[j]・g1+a2[j]・g2+...+aN[j]・gN)
+(b1[j]・g1・g2+ b2[j]・g2・g3+...+ bN-1[j]・gn-1・gn)
+(c1[j]・g1 2+ c2[j]・g2 2+...+ cN[j]・gn 2) (1)
これにより、1つの入力画像について、係数ai[j],bi[j],ci[j]の値の組合せの異なるM個の総合特徴量Ev[j]が求まる。
さらに、入力された画像を撮影日時順に並べた際の隣接画像間の撮影時間間隔Δtと、隣接画像間の総合特徴量の差分ΔEv[j]との相関係数R[j]を、j=1,2,・・・,m,・・・,Mについて求め、 相関係数R[j]が最大となるときのjの値Jにおける総合的特徴量Ev[J]をイベント特徴量として決定する。
そして、入力画像を各画像のイベント特徴量Ev[J]の値の順に並べ替え、隣接画像間のイベント特徴量Ev[J]の差が所定の閾値より大きい場合に、その画像間がグループの境界となるように分類する。
例えば、ある総合的特徴量Ev[J1]について、縦軸を総合的特徴量、横軸を撮影順として、入力された複数の画像の各々についての総合的特徴量Ev[J1]の時系列的な分布を表現すると、図9(a)のように、連続する複数の画像毎にグループ(A〜E)を形成したものとなったとすれば、この総合的特徴量Ev[J1]は、この入力画像を分類するのに好ましいものであると考えられる。一方、ある総合的特徴量Ev[J2]についても同様の時系列的な分布を表現すると、図9(b)のように、ランダムな分布になったとすれば、この総合的特徴量Ev[J2]は、この入力画像を分類するのには好ましいものではないと考えられる。上記の分類方法では、これらの分布パターンを識別するために、「画像間の撮影間隔が空いていれば、その画像間でイベントが異なっている可能性が高い」ことを前提とし、入力画像を時系列に並べたときの隣接画像間における撮影間隔と総合的特徴量の差とが最も高い正の相関を示す総合的特徴量を、入力された複数の画像に表現されたイベント毎に分類するのに最適なイベント特徴量として選択し、選択されたイベント特徴量の分布に応じて、入力画像の分類を行っている。なお、図9(a)の場合、イベント特徴量Ev[J1]に応じた分類結果では、グループBとDは同一グループとなる。例えば、グループBには去年の運動会の画像が含まれ、グループDには今年の運動会の画像が含まれる場合、これらの2つのグループは、運動会という1つのグループに統合されて分類される。
画像のソート処理では、例えば、撮影日時の昇順に並べ替えるようにソート条件が設定されている場合には、画像整理部54は、入力された画像ファイルのExifタグに記録されている撮影日時を取得し、グルーピング処理で分類されたグループ毎に、そのグループに属する画像を撮影日時の昇順に並べ替える処理を行う。また、撮影日時毎にグルーピングされている場合には、その分類されたグループの並び順も撮影日時順に並べ替える処理を行う。
以上のような画像整理部54によって行われた整理の結果としては、抽出された画像のファイル名と、そのファイルが属するグループ名(フォルダ名)とが関連づけられ、ソート条件に基づいて並べ替えられたリスト形式のものが考えられる。
整理結果評価部55は、画像整理部54で行われた複数(K種類)の整理処理の結果の各々について、結果の好ましさを表す評価値Sc[k](k=1,2,・・・,K)を算出する。この評価値Sc[k]は、各整理結果に対して、例えば、整理処理によって分類されたグループ数やグループ内の画像数、グループ間の画像数の偏り(分散)等の各評価項目についての所定の評価基準に基づく0から5までの評価スコアを決定し、各評価項目における評価スコアを合計することによって求めることができる。ここで、所定の評価基準としては、例えば、分類されたグループ数であれば、多すぎても少なすぎても適切とはいえないので、所定の値の範囲にあれば評価スコア=5とし、その範囲から離れるにしたがって評価スコアを低くすることが考えられる。グループ内の画像数についても、多すぎても少なすぎても適切とはいえないので、グループ数と同様に、1グループ当たりの平均画像数が所定の値の範囲にあれば評価スコア=5とし、その範囲から離れるにしたがって評価スコアを低くすることが考えられる。また、グループ間の画像数の偏りについては、偏りがないほど適切と考えられるので、グループ毎の画像数の分散を求め、その値が所定の値よりも小さければ評価スコア=5とし、分散の値が大きくなるにしたがって評価スコアを低くすることが考えられる。
整理結果表示部56は、整理結果評価部55によって算出された評価値Sc[k]に基づき、評価値の高い順に表示の優先順位を設定し、優先順位の高い順に所定数の整理結果を表示部6に順次表示させる。図10は、整理結果を表示した整理結果表示画面の一例である。図に示したように、整理結果表示画面42は、整理結果の表示の優先順位と整理のタイトルとを表示するタイトル領域42Aと、画像整理部54によって分類されたフォルダを表示するフォルダ領域42Bと、フォルダ領域42Bにおいてユーザによって選択されたフォルダ内の画像ファイルを読み込んで、サムネイル画像を表示するサムネイル画像領域42Cと、前の整理結果、すなわち、優先順位のより高い整理結果を表示させる「前の整理結果」ボタン42Dと、次の整理結果、すなわち、優先順位のより低い整理結果を表示させる「次の整理結果」ボタン42Eと、現在表示されている整理結果に対応する整理条件を別画面に表示させる「整理条件の確認」ボタン42Fと、現在表示されている整理結果のタイトルを編集するための画面を表示させる「タイトルの編集」ボタン42Gと、ユーザによって選択されたフォルダによる分類を除外する「フォルダの除外」ボタン42Hと、ユーザによって選択された画像をその画像が属するフォルダから除外する「ファイルの除外」ボタン42Jと、各フォルダの画像から手ぶれやピンぼけ等の失敗写真を除外する「失敗写真の除外」ボタン42Kと、入力画像の整理方法を現在表示されている整理結果に対応するものに確定する「この整理結果に決定」ボタン42Lと、画像整理メニューでの作業を終了する「終了」ボタン42Mとから構成されている。
ここで、タイトル領域42Aの整理結果"n"とは、優先順位がn番目、すなわち評価値Sc[k]がn番目に高い整理結果であることを示す。また、表示されているタイトル(「富士太郎ちゃんの成長記録(2005年1月〜2005年12月)」)は、整理条件テーブルT1のタイトルの項目から取得されたものか、または、タイトル編集ボタン42Gのタッチによって表示されるタイトル編集画面において、入力されたものである。なお、タイトルで使用される人物名(富士太郎)については、固定値として整理条件テーブルT1に登録せず、"NAME"という変数として登録しておくとともに、抽出条件で指定された人物IDに対応する人物の氏名を人物情報テーブルT2から取得するようにしてもよい。年月についても、同様に、"YY/MM-1"、"YY/MM-2"という変数で登録しておき、各々、抽出処理後の画像の撮影日時の最小値と最大値を、各画像ファイルのExifタグから取得するようにしてもよい。
フォルダ領域42Bには、整理結果のリストの各ファイルが属するフォルダ名の情報に基づいて、フォルダの分類の階層を視覚化した表示が行われる。
整理結果修正部63は、ユーザによる「タイトルの編集」ボタン42G、「フォルダの除外」ボタン42H、「ファイルの除外」ボタン42J、「失敗写真の除外」ボタン42Kのタッチに応じて、整理結果の修正を行う。
具体的には、「タイトルの編集」ボタン42Gに対するタッチが検出された場合には、タイトル編集画面を表示部6に表示させる。タイトル編集画面は、定型的なタイトルからの選択を行うためのユーザインターフェースと、仮名やアルファベット等の文字ボタンを用いて自由にタイトルの入力を行うためのユーザインターフェースとを備えている。この画面で選択・入力されたタイトルは、整理結果表示画面42のタイトル領域42Aに表示される。さらに、タイトル編集画面は、抽出条件として設定された人物の顔画像や、グルーピング条件で人物毎のグルーピングが設定された場合の各グループに対応する人物の顔画像に対して、その人物の名前等の属性の入力を行うためのユーザインターフェースを備えている。ここで入力された人物の属性は、その人物の顔の特徴量とともに、人物IDと関連づけられて、人物情報テーブルT2に登録される。
整理結果表示画面42のフォルダ領域42Bにおいて、ユーザが除外対象のフォルダをタッチすることによって選択し、さらに、「フォルダの除外」ボタン42Hにタッチしたことが検出された場合には、整理の結果リストにおいて、選択された除外対象のフォルダと対応づけられたすべてのファイルの行を削除することによって、選択された除外対象のフォルダに属するすべての画像ファイルを未整理フォルダに移動させる。ここで行われた除外処理は、除外対象ではないフォルダに属する画像ファイルのみを抽出する処理と同じであることから、この除外処理は、抽出条件として反映される。例えば、人物毎に分類されたフォルダ(人物ID="DEF0001_00"〜"DEF0001_05")のうち、人物ID="DEF0001_05"のフォルダを除外した場合には、人物ID="DEF0001_00"〜"DEF0001_04"の人物が含まれる画像を抽出したことになるので、人物ID="DEF0001_00"〜"DEF0001_04"という抽出条件が追加される。
整理結果表示画面42のサムネイル画像領域42Cにおいて、ユーザが除外対象の画像をタッチすることによって選択し、さらに、「ファイル除外」ボタン42Jにタッチしたことが検出された場合には、選択された除外対象のファイルの行を整理結果のリストから削除することによって、選択された除外対象の画像ファイルを未整理フォルダに移動させる。
「失敗写真の除外」ボタン42Kに対するタッチが検出された場合には、画像整理部54の失敗写真の除外処理と同様の処理を行い、失敗写真と判定された画像のファイルを未整理フォルダに移動させる。
整理結果選択部57は、整理結果表示画面42の「この整理結果に決定」ボタン42Lに対するタッチを検出し、そのタッチが行われた時に整理結果表示画面42に表示されている整理結果と、それに対応する整理条件を特定する。
整理結果記録部58は、整理結果選択部57によって特定された整理結果に対応する整理結果リストをカードスロット4に装填されたメモリカード2に記録する。
整理結果登録部59は、整理結果選択部57によって特定された整理結果に対応する整理条件を、顧客ID入力部51で取得された顧客IDと対応づけて整理条件テーブルT1に登録する。このとき、その顧客IDに対応する整理条件が既に登録されている場合には、同じ整理条件の登録があるかどうかをチェックし、既に登録がある場合には登録を行わない。同じ整理条件の登録がない場合には、その顧客IDに対する連番の最大値に1加算した値を新たな連番として、今回の整理条件と登録する。
次に、図5および6のフローチャートと図8の整理条件テーブルT1の登録例を用いて、本発明の実施形態となる画像整理処理の流れの概要について説明する。
まず、第1のケースとして、図8の整理条件テーブルT1に顧客ID「ABC0001」と対応づけられた整理条件がまったく登録されていない状態で、この顧客ID「ABC0001」を有するユーザが、自分の子どもの画像を成長記録として整理するために、手動で整理条件を設定して、画像の整理を行わせる場合について説明する。
ユーザが図3の初期画面で画像整理ボタン40Bを選択すると、顧客ID入力部51は「磁気カードを挿入してください」とのメッセージを表示部6に表示させ、ユーザがカードリーダ5に磁気カード3を挿入すると、顧客ID入力部53は、挿入された磁気カード3を読み取って、顧客ID「ABC0001」を取得する(ステップS1)。
次に、画像入力部52が「メモリカードを装填してください」とのメッセージを表示部6に表示させ、ユーザが、メモリカード2をカードスロット4に装填すると、画像入力部52は、装填されたメモリカード2から複数の画像の画像ファイルを読み込んでハードディスク24に一時的に記憶させる(ステップS2)。
顧客IDと画像の入力が完了すると、整理条件設定モード選択部61は、画像整理条件設定モード選択画面を表示部6に表示させる。ここでは、ユーザが画像整理条件設定モード選択画面で「手動」ボタンにタッチすることにより、手動による整理条件の設定が選択される(ステップS3)。
この「手動」による整理条件の設定という選択を受けて(ステップS4;No)、整理条件入力部61が、整理条件設定画面41を表示部6に表示させる。ここで、ユーザが、抽出条件設定エリア41Aにおいて人物についての設定/変更ボタン41Dにタッチすると、整理条件入力部61は、画像入力部52で入力された各画像に対して、顔検出、類似顔画像のグループ化、およびグループ毎の代表画像の決定を行い、入力画像に含まれる顔のサムネイル画像を一覧にした詳細設定画面を表示部6に表示させる。さらに、整理条件入力部61は、グループ毎の代表画像の特徴量と、顧客ID入力部51で取得された顧客IDとを関連づけて人物情報テーブルT2に登録する。ユーザが、表示された顔のサムネイル画像の中から整理対象である自分の子どもの顔のサムネイル画像をタッチすることによって選択すると、整理条件入力部61は、選択された顔のサムネイル画像を抽出条件設定エリア41Aの人物についての抽出条件を表示するエリアに表示させるとともに、人物についてのチェックボックスにチェックマークを表示させる。また、ユーザは、グルーピング条件設定エリア41Eにおいて、撮影年と撮影月のチェックボックス41Gにタッチすることによって分類のキー項目の選択を行い、矢印ボタン41H,41Jに適宜タッチすることによって、分類の階層が撮影年、撮影月の順になるように、分類のキー項目の並び順を変更する。さらに、ソート条件設定エリア41Kにおいて、撮影年、撮影月、撮影日、撮影時刻のチェックボックス41Mにタッチすることによって並べ替えのキー項目の選択を行い、矢印ボタン41H,41Jに適宜タッチすることによって、並べ替えのキー項目の優先順位が撮影年、撮影月、撮影日、撮影時刻の順になるように、並べ替えのキー項目の並び順を変更し、昇順ボタン41Qにタッチすることによって、並べ替えの昇降順を選択する。以上のユーザの操作によって手動入力された画像の整理条件は、整理条件入力部62によって、システムメモリ14の所定の記憶領域に記憶される(ステップS22)。
画像整理部54は、整理条件入力部62において入力された整理条件に基づき、入力画像から、指定されたユーザの子どもの顔が含まれる画像を抽出し、抽出された画像の各々について、どの撮影年・撮影月のフォルダに属するかを決定することによって、撮影年毎、撮影月毎に階層的に分類し、分類された各フォルダが撮影年、撮影月の昇順に並び、各撮影月のフォルダ内の各ファイルが撮影日時の昇順に並ぶように、整理結果リストの画像ファイルの並び順を決定する(ステップS23)。
整理結果表示部56は、画像整理部54による整理結果を表した整理結果表示画面42(図10参照)を表示部6に表示させる(ステップS14)。
ここでは、ユーザは、表示された整理結果を確認するとともに、「タイトル編集」ボタン42Gにタッチする(ステップS15;あり)。この「タイトル編集」ボタン42Gのタッチに応じて、整理結果修正部63は、タイトル編集画面を表示部6に表示させる。ユーザは、定型的なタイトルの中から「(NAME)ちゃんの成長記録((YY/MM-1)〜(YY/MM-2))」を選択するとともに、抽出条件として選択された自分の子どもの顔画像に対応する人物名(富士太郎)を入力する(ステップS21)。これにより、図10に示したように、整理結果表示画面42のタイトル領域42Aには、「富士太郎ちゃんの成長記録(2005年1月〜2006年2月)」という整理のタイトルが表示される。(ステップS14)。なお、このとき入力された「富士太郎」という人物名は、抽出条件として選択された自分の子どもの顔画像の特徴量と同じ人物IDと対応づけられて、人物情報テーブルT2に登録される。
タイトルの編集および整理結果の修正が完了し(ステップS15;なし)、ユーザが整理結果表示画面42の「この整理結果に決定」ボタン42Lにタッチすると(ステップS16;あり)、整理結果選択部57は、これに応じて、整理結果表示画面42に表示されている表示結果と、それに対応する整理条件を特定する。
整理結果記録部58は、特定された整理結果のリストをカードスロット4に装填されたメモリカード2に記録する(ステップS17)。
整理条件登録部59は、整理条件テーブルT1から、顧客ID入力部51で入力された顧客ID「ABC0001」に対応する、既に登録済みの整理条件を取得し(ステップS18)、現在特定された整理条件と重複するかどうか判定する(ステップS19)。ここでは、整理条件テーブルT1に顧客ID「ABC0001」と対応づけられた整理条件が登録されていないことを前提としているので、整理条件の重複はないと判定し(ステップS19;なし)、現在の整理条件を、顧客ID「ABC0001」と連番「01」に対応づけて、整理条件テーブルT1に登録する(ステップS20)。図8に例示される整理条件テーブルT1の顧客ID「ABC0001」かつ連番「01」と対応づけられた整理のタイトルと抽出条件、グルーピング条件、ソート条件は、以上のようにして登録されたものである。
なお、ユーザが、整理結果表示画面42において「終了」ボタン42Mにタッチした場合には(ステップS16;なし)、整理結果の記録や整理条件の登録は行わずに、初期画面40に戻る。
次に、第2のケースとして、上記の処理により整理条件テーブルT1に顧客ID「ABC0001」かつ連番「01」と対応づけられた整理条件の登録がされた後に、この顧客ID「ABC0001」のユーザが、新たに撮影して得た画像について、前回と同様に、自分の子どもの成長記録として整理を行う場合について説明する。
上記と同様にして、画像整理ボタン40Bの選択、磁気カード3の挿入・顧客IDの取得(ステップS1)、メモリカード2の装填・画像の入力(ステップS2)が行われた後、整理条件設定モード選択部61は、画像整理条件設定モード選択画面を表示部6に表示させ、ユーザが画像整理条件設定モード選択画面で「自動」ボタンにタッチすることにより、自動による整理条件の設定が選択される(ステップS3)。
この「自動」による整理条件の設定という選択を受けて(ステップS4;Yes)、整理条件取得部53は、顧客ID入力部51で入力された顧客IDと連番「01」を検索キーとして整理条件テーブルT1を参照し(ステップS5)、整理条件テーブルT1から顧客ID「ABC0001」に対応する整理条件の1件目(連番「01」)を取得する(ステップS6;あり)。
画像整理部54は、取得された抽出条件「人物ID="ABC0001_01"」に基づき、画像入力部52で入力された画像から顔領域を検出し、顔の特徴量を求めるとともに、人物情報テーブルT2から人物ID「ABC0001_01」に対応する特徴量を取得し、両特徴量の統計的距離を算出し、算出された統計的距離が所定の閾値以下となる入力画像を抽出し、グルーピング条件「撮影日時(YY)、撮影日時(MM)」に基づき、抽出された画像に付帯する撮影日時に基づいて、撮影年、撮影月毎に階層的に分類し、ソート条件「撮影日時、昇順)に基づき、撮影日時順に画像を並べ替える(ステップS7)。
このようにして1件目の整理条件に基づく画像整理処理が完了したら、整理条件取得部53は、連番の値を1加算して「02」とし、顧客ID「ABC0001」に対応する2件目の整理条件の取得を試みる(ステップS8)。ここでは、顧客ID「ABC0001」に対応する整理条件は1件しか登録されていないので、2件目は該当なしとなり(ステップS9;なし)、引き続いて、装置既定の整理条件による画像の整理を行うかどうかを選択させるユーザインターフェースを表示部6に表示させる(ステップS10)。
ここでは、ユーザが既定の整理条件による画像の整理を行わない方を選択して、既定の整理条件による画像整理処理をスキップした後(ステップS10;しない)、行われた整理処理が1パターンのみかどうかの判定が行われる(ステップS12)。ここでは、顧客ID「ABC0001」かつ連番「01」の整理条件の1パターンのみしか行っていないので(ステップS12;Yes)、整理結果表示部56が、その整理条件による整理結果を表した整理結果表示画面42(図10参照)を表示部6に表示させる(ステップS14)。なお、整理結果表示画面42のタイトル領域42Aの「富士太郎」という名前は、抽出条件にある人物ID「ABC0001_01」と対応づけられて人物情報テーブルT2に登録されているものを整理結果表示部56が取得している。
その後、上記と同様に、必要に応じて整理結果の修正を行い(ステップS15、S21)、ユーザが整理結果表示画面42の「この整理結果に決定」ボタン42Lにタッチすると(ステップS16;あり)、整理結果選択部57が整理結果表示画面42に表示されている表示結果とそれに対応する整理条件を特定し、整理結果記録部58は、特定された整理結果のリストをメモリカード2に記録する(ステップS17)。
整理条件登録部59は、整理条件テーブルT1から、顧客ID入力部51で入力された顧客ID「ABC0001」に対応する、既に登録済みの整理条件を取得し(ステップS18)、現在特定された整理条件と重複するかどうか判定する(ステップS19)。ここでは、整理条件テーブルT1に既に登録されている顧客ID「ABC0001」かつ連番「01」の整理条件が取得され、現在の整理条件との比較が行われる。ユーザが整理条件に影響するような整理結果の修正を行っていなければ、整理条件が重複していると判断され(ステップS19;あり)、今回の整理条件の登録は行われない。整理結果の修正によって整理条件が変更され、整理条件の重複はないと判定された場合には(ステップS19;なし)、現在の整理条件が、顧客ID「ABC0001」と連番「02」に対応づけられて、整理条件テーブルT1に登録される(ステップS20)。
さらに、第3のケースとして、上記第1のケースの処理により整理条件テーブルT1に顧客ID「ABC0001」かつ連番「01」と対応づけられた整理条件のみが登録された状態で、この顧客ID「ABC0001」のユーザが、別のメモリカード2に記憶されている画像について、何をいつ撮影したものかを失念してしまったので、自ら整理条件を設定せずに、装置1によって自動的に設定される整理条件に基づいて整理を行わせる場合について説明する。
上記と同様にして、画像整理ボタン40Bの選択、磁気カード3の挿入・顧客IDの取得(ステップS1)、メモリカード2の装填・画像の入力(ステップS2)が行われた後、整理条件設定モード選択部61は、画像整理条件設定モード選択画面を表示部6に表示させ、ユーザが画像整理条件設定モード選択画面で「自動」ボタンにタッチすることにより、自動による整理条件の設定が選択される(ステップS3)。
この「自動」による整理条件の設定という選択を受けて(ステップS4;Yes)、整理条件取得部53は、顧客ID入力部51で入力された顧客IDと連番「01」を検索キーとして整理条件テーブルT1を参照し(ステップS5)、整理条件テーブルT1から顧客ID「ABC0001」に対応する整理条件の1件目(連番「01」)を取得する(ステップS6;あり)。
画像整理部54は、取得された整理条件に基づいて画像整理処理を行う(ステップS7)。ここでは、n番目に行われた画像整理処理の結果を第nの整理結果とする。したがって、この顧客ID「ABC0001」かつ連番「01」に対応する整理条件による整理結果を第1の整理結果となる。
1件目の整理条件に基づく画像整理処理が完了したら、整理条件取得部53は、連番の値を1加算して「02」とし、顧客ID「ABC0001」に対応する2件目の整理条件の取得を試みる(ステップS8)。ここでは、顧客ID「ABC0001」に対応する整理条件は1件しか登録されていないので、2件目は該当なしとなり(ステップS9;なし)、引き続いて、装置既定の整理条件による画像の整理を行うかどうかを選択させるユーザインターフェースを表示部6に表示させる(ステップS10)。
ここで、ユーザは既定の整理条件による画像の整理を行う方を選択し(ステップS10;する)、整理条件取得部53と画像整理部54は、既定の整理条件による画像の整理処理を行う(ステップS11)。具体的には、整理条件取得部53は、顧客IDを既定の整理条件用の予約値「ZZZ9999」に設定し、連番を「01」として、整理条件テーブルT1を参照し、整理条件テーブルT1から既定の整理条件の1件目を取得し、画像整理部54が、取得した既定の整理条件に基づく画像整理処理を行う。以下、整理条件取得部53は、連番を1ずつ加算しながら、次の既定の整理条件を取得し、画像整理部54は、取得された既定の整理条件に基づく画像整理処理を行うことを繰り返す。
以上の画像整理処理により、図8の整理条件テーブルT1(ただし、この時点では、顧客ID「ABC0001」かつ連番「02」の整理条件は未登録である)の場合には、顧客ID「ABC0001」かつ連番「01」の整理条件に基づく第1の整理結果と、および、顧客ID「ZZZ9999」かつ連番「01」の整理条件に基づいて、人物ID、撮影年、撮影月毎に階層的に分類され、撮影日時の昇順に並べ替えられた第2の整理結果と、顧客ID「ZZZ9999」かつ連番「02」の整理条件に基づいて、撮影年、撮影月、撮影場所毎に階層的に分類され、撮影日時の昇順に並べ替えられた第3の整理結果と、顧客ID「ZZZ9999」かつ連番「03」の整理条件に基づいて、イベント特徴量の分布にしたがって分類され、撮影日時の昇順に並べ替えられた第4の整理結果の合計4パターンの画像整理結果が得られる。なお、第2の整理結果における人物IDは、前述のとおり、入力画像から検出された顔画像をその類似性によってグループ化することを示しており、このグループ化を行ったときの各グループの代表顔画像の特徴量は、人物IDと対応づけられて人物情報テーブルT2に登録される。
このように、このケースでは整理処理が複数パターン行われているので(ステップS12;No)、整理結果評価部55が、整理結果の各々について、グループ数やグループ内の画像数、グループ間の画像数の偏り(分散)等をポイント化することによって、各整理結果の好ましさを表す評価値Sc[1]からSc[4]を算出する(ステップS13)。
整理結果表示部56は、評価値Sc[1]からSc[4]を値の降順に並べ替えて表示の優先順位とし、最も評価値の大きい(優先順位の高い)整理結果を整理結果1として整理結果表示画面42を表示部6に表示させる(ステップS14)。なお、ユーザが整理結果表示画面42の「次の整理結果」ボタン42Eにタッチすると、整理結果表示部56は、評価値の値が次に大きい整理結果を整理結果2として整理結果表示画面42を表示部6に表示させる。以下同様にして、整理結果3および4を表示させることができる。また、ユーザが整理結果表示画面42の「前の整理結果」ボタン42Dにタッチすると、整理結果表示部56は、現在表示されている整理結果より1つ優先順位が高い整理結果を表す整理結果表示画面42を表示部6に表示させる。
その後、上記と同様に、必要に応じて整理結果の修正を行い(ステップS15、S21)、ユーザによって最も好ましいと判断された整理結果(ここでは第4の整理結果とする)が整理結果表示画面42に表示されている状態で、ユーザが「この整理結果に決定」ボタン42Lにタッチすると(ステップS16;あり)、整理結果選択部57が整理結果表示画面42に表示されている表示結果とそれに対応する整理条件を特定し、整理結果記録部58は、特定された整理結果のリストをメモリカード2に記録する(ステップS17)。
整理条件登録部59は、整理条件テーブルT1から、顧客ID入力部51で入力された顧客ID「ABC0001」に対応する、既に登録済みの整理条件を取得し(ステップS18)、現在特定された整理条件と重複するかどうか判定する(ステップS19)。ここでは、整理条件テーブルT1に既に登録されている顧客ID「ABC0001」かつ連番「01」の整理条件と、ユーザによって選択された整理条件、すなわち顧客ID「ZZZ9999」かつ連番「03」の、イベント特徴量による分類かつ撮影日時の昇順の並べ替えという条件とは異なるものであるから、整理条件の重複はないと判定され(ステップS19;なし)、選択された整理条件が、顧客ID「ABC0001」と連番「02」に対応づけられて、整理条件テーブルT1に登録される(ステップS20)。なお、図8の顧客ID「ABC0001」かつ連番「02」と関連づけられた登録例は、整理結果表示画面42で「タイトルの編集」ボタン42Gがタッチされ、タイトル「運動会」が入力された場合を示している(ステップS15、S21;整理結果修正部63)。
同様に、第4のケースとして、この顧客ID「ABC0001」のユーザが、さらに新たな画像に対して自動的に設定された整理条件による整理を行わせる場合には、上記のステップS5からS9の整理条件取得部53と画像整理部54での処理により、整理条件テーブルT1に既に登録されている顧客ID「ABC0001」に対応づけられた2件の整理条件に基づく2つの整理結果が得られ、ここで、ユーザが既定の整理条件での整理を行わない旨の選択をした場合には(ステップS10;しない)、整理結果評価部55が、これら2つの整理結果の各々についての評価値Sc[1]、Sc[2]を算出し(ステップS13)、整理結果表示部56は、評価値の高い順に整理結果1,2として、整理結果表示画面42を表示部6に表示させる(ステップS14)。このように、整理条件テーブルT1に顧客IDと対応づけられた整理条件が複数登録されている場合にも、第3のケースと同様に、これらの整理条件に基づく整理結果の評価、整理結果の表示を行うことができる。
ここで、整理結果の修正内容を整理条件に反映する処理について補足する。例えば、顧客ID「DEF0001」のユーザが、整理条件テーブルT1にこの顧客IDと関連づけられた整理条件が登録されていない状態で、新たな画像に対して、自動的に整理条件を設定させて整理を行わせる場合、ステップS10で既定の整理条件で整理を行うことを選択し、整理条件取得部53が整理条件テーブルT1から順次取得した顧客ID「ZZZ9999」の3つの整理条件の各々に基づいて、画像整理部54が画像整理処理を行って3つの整理結果を取得し(ステップS11)、整理結果評価部55が、各整理結果についての評価値Sc[1]からSc[3]を算出し(ステップS13)、整理結果表示部56が、評価値の高い順に整理結果1、2、3として、整理結果表示画面42を表示部6に表示させる(ステップS14)。ここで、顧客ID「ZZZ9999」かつ連番「01」の整理条件に基づく画像整理処理の結果、人物ID「DEF0001_00」〜「DEF0001_05」の6つのフォルダに画像が分類されていた場合に、ユーザが、フォルダ領域42Bの人物ID「DEF0001_05」のフォルダにタッチしてフォルダの選択を行い、「フォルダ除外」ボタン42Hにタッチすると、人物ID「DEF0001_05」のフォルダは未整理フォルダに移動され、結果表示画面42上からはこのフォルダは消去される。さらに、「失敗写真の除外」ボタン42Kにタッチすると、各フォルダに分類された画像から前述の処理で失敗写真と判定された画像が未整理フォルダに移動され、整理結果表示画面42上からはこの画像は消去される。ここで、ユーザがこの整理結果に満足して「この整理結果に決定」ボタン42Lにタッチすると(ステップS16;あり)、整理結果選択部57が整理結果表示画面42に表示されている表示結果とそれに対応する整理条件を特定し、整理結果記録部58は、特定された整理結果のリストをメモリカード2に記録するとともに(ステップS17)、整理条件登録部59が、既登録整理条件との重複チェックを行った上で(ステップS18,S19)、整理条件の整理条件テーブルT1への登録を行う(ステップS20)。ここで、図8に示された整理条件テーブルT1において、登録された顧客ID「DEF0001」かつ連番「01」に対応づけられた整理条件と、この整理条件による整理結果のもととなった顧客ID「ZZZ9999」かつ連番「01」の既定の整理条件とを比較すると、登録された整理条件には、人物ID=「DEF0001_00」〜「DEF0001_04」という抽出条件と、「失敗写真除外」という抽出(除外)条件が追加されていることがわかる。これらは、整理結果表示画面42におけるユーザの操作によって行った整理結果の修正が、整理結果選択部57によって特定され、整理条件に反映されていることを示している。
以上のように、本発明の第1の実施形態となる画像整理処理では、過去に行った画像の整理条件を、ユーザの顧客ID毎に整理条件テーブルT1に記憶させておき、整理条件設定モード選択部61において、ユーザが整理条件の自動設定を選択した場合には、整理条件取得部53が、顧客ID入力部51で入力された顧客IDと対応づけられた整理条件を整理条件テーブルT1から取得し、画像整理部54が、取得された整理条件に基づいて、画像入力部52から入力された新たな画像の整理を行うので、従来のように、ユーザによらず一律的な整理条件で画像の整理を行う場合に比べて、ユーザが所望する整理の観点に合致した、より好ましい画像の自動整理が可能になるだけでなく、撮影の度に画像と整理条件の対応づけを行う必要もなくなり、ユーザの手間もかからない自動整理が可能になる。
また、整理条件テーブルT1において、顧客IDと連番を組合せで個々の整理条件を識別することによって、1ユーザ(1つの顧客ID)毎に整理条件を複数記憶可能にしておき、整理条件取得部53によって順次取得された複数の整理条件の各々に基づいて、画像整理部54が、複数のパターンの画像の整理を行うので、ユーザの画像整理条件に対する様々な要求に対してより柔軟に対応することが可能になる。
さらに、整理結果評価部55が、複数のパターンの整理の結果の各々について整理結果の好ましさを表す評価値Sc[k]を算出し、整理結果表示部56が、より好ましいと評価された整理の結果を優先的に表示させるようにしたので、ユーザは、複数のパターンによる整理の結果のどれが好ましいかをより容易に判断できるようになる。
次に、本発明の第2の実施形態となる画像整理処理について説明する。第2の実施形態では、ユーザ毎の整理条件や人物情報を注文受付装置1のハードディスク等の記憶装置に記憶させておかず、ユーザが所持するICカードに記憶させておく点において、第1の実施形態と異なる。なお、ハードウェア構成については、図1、図2に示した第1の実施形態のものとほぼ同様であるが、磁気カード3は、より記憶容量が大きいICカード3’に、カードリーダ5は、ICカードのメモリに対する読み書きが可能なカードリーダ・ライタ5’に置換した構成となっている。
図11は、本発明の実施形態による注文受付装置1の構成を示す概略ブロック図である。図11に示したように、顧客ID入力部51がない代わりに、整理条件を読み込む整理条件読込部71と、人物ID毎の属性および特徴量からなる人物情報を読み込む人物情報読込部72とをさらに備えた点で第1の実施形態とは異なる。
ここで、整理条件読込部71と人物情報読込部72は、表示部6に「ICカードを挿入してください」等のICカード3’のカードリーダ・ライタ5’への挿入を促すメッセージを表示させ、ICカード3’がカードリーダ・ライタ5’に挿入されると、挿入されたICカード3’のメモリから、各々、整理条件、および人物情報を取得する。
この整理条件は、このICカード3’を所持しているユーザが過去に行った画像整理の際の整理条件である。整理条件読込部71によって読み込まれた整理条件は、注文受付装置1のシステムメモリ14の所定の記憶領域(ユーザ整理条件メモリ)に一時的に記憶される。これらのユーザ独自の整理条件と装置の既定の整理条件は、第1の実施形態と同様に、整理条件取得部53によって参照されるが、ユーザ整理条件メモリには、そのユーザの整理条件しか記憶されていないため、顧客IDは不要であり、整理条件取得部53は、ユーザ整理条件メモリに記憶されている先頭の整理条件から順に読み込み、整理条件を取得する。一方、装置の既定の整理条件は、画像整理処理を行うサブプログラムの起動時に、ハードディスク24から読み込まれ、システムメモリ14の所定の記憶領域(既定整理条件メモリ)に記憶される。この既定の整理条件についても、ユーザ独自の整理条件とは別に記憶されているので、特別な顧客ID等によって識別する必要がなく、整理条件取得部53は、既定整理条件メモリに記憶されている先頭の整理条件から順に読み込み、整理条件を取得する。
整理条件登録部59が新たな整理条件を登録する際には、カードリーダ・ライタ5’経由で、ICカード3’のメモリに書き込みを行う。
また、人物情報は、このICカード3’を所持している顧客IDのユーザが過去に行った画像整理の際に得られたものである。人物情報読込部72によって読み込まれた人物情報は、注文受付装置1のシステムメモリ14の所定の記憶領域(人物情報メモリ)に一時的に記憶される。記憶された人物情報は、第1の実施形態と同様に、画像整理部54によって、必要に応じて参照される。また、新たに人物情報を書き込む際には、人物情報メモリに一旦書込みを行い、整理条件登録部58がカードリーダ・ライタ5’経由でICカード3’への書込みを行う際に、同時に、人物情報メモリの内容を書き込む。
この第2の実施形態での処理の流れは、図5および6の第1の実施形態のフローチャートにおいて、顧客IDの入力受付(ステップS1)を行わないようにし、ステップS5の整理条件取得の際に、ICカード3’のメモリからユーザ独自の整理条件と人物情報を読み込み、取得するようにしたものとなり、それ以外については、第1の実施形態と同様である。
以上のように、本発明の第2の実施形態となる画像整理処理では、ユーザ独自の整理条件や人物情報を注文受付装置1側で管理せずに、ユーザが所持するICカード3’で管理するようにしたので、注文受付装置1側の管理が容易になるとともに、個人情報の保護も強化される。なお、第1の実施形態で得られた効果については、この実施形態でも同様に得られる。