JP6948123B2 - 画像ファイルリスト表示方法 - Google Patents

Description

本発明は、画像ファイルリストを表示するための画像ファイルリスト表示方法に関する。

画像複写装置に、ネットワーク接続機能、ファクシミリ機能、データ通信機能、データ入出力機能、データ格納機能などを追加した複合機においては、メモリカード又はネットワークなどから入力した画像ファイルに格納されている画像データに基づいて、画像の印刷をすることがある。

この印刷の際には、入力した全ての画像ファイルに格納されている画像を印刷することもあるが、利用者により選択された画像ファイルに格納されている画像のみを印刷することもある。この選択のために、複合機においては、例えば、タッチパネル表示部に画像ファイルリストを表示する。利用者は、リストに含まれる画像ファイルから画像を印刷するものを選択する。

特許第４９５１３９８号公報 特許第４４３２８８６号公報

画像ファイルは、人物を含むものと含まないものに大きく分類することができるが、入力した画像ファイルは両者が混在している場合が多い。利用者は、人物を含む画像を印刷する場合が多いが、両者が混在していると、ファイルの選択が不便である。そこで、例えば、人物を含む画像を優先的に表示すると選択の効率が良くなる。しかし、これだけでは、十分効率的であるとはいえない。

特許文献１には、任意に設定された並替条件を満たす画像をマトリックスに従って抽出し、並替条件を充足する画像から優先的に画像を配列して一覧表示を行う発明が開示されている。しかし、特許文献１の発明では、画像に含まれる顔の数に応じて画像が並べ替えられることはないので、例えば、先頭部分に多人数の顔を含む画像が配置されてしまい、所定の条件を満たした顔がどの顔であるのかを利用者が判別することが困難となる場合がある。また、特許文献１の発明では、画像に含まれる顔の方向に応じて画像が並べ替えられることがないので、例えば、同一人物であっても縦の顔の画像と横の顔の画像がランダムに並ぶことになり、画像リストが見づらいものとなってしまう。しかも、人数を表す表示も顔の向きを表す表示もないので、利用者は、満遍と画像を見ることとなってしまい、そのようなランダムな表示となっていることさえ掴むことができない場合もある。

特許文献２（特許文献２には撮影回数に応じて並べ替えることの記載はありますが、焦点調整することの記載は無いかと思われます。別の特許文献でしょうか？）には、カメラにおいて、被写体に登録した人物が含まれている場合には、その人物に適合するように焦点調整する発明と、被写体に登録した人物が複数含まれている場合に、優先して焦点調整に利用するために登録された人物に対して優先順位付けを利用者にさせるための画面において、人物を被写体とした撮影回数に応じて人物を並べ替える発明が開示されている。しかし、特許文献１の発明では、画像に含まれる顔の方向に応じて画像が並べ替えられることはなく、画像に含まれる人物の数に応じて画像が並べ替えられることもない。

そこで、本発明は、上記の課題を解決し、画像ファイルを選択する際に、その選択操作を利用者が効率的に行うことを可能とする画像ファイルリスト表示装置、画像ファイルリスト表示方法及び画像ファイルリスト表示用プログラムを提供することを目的とする。

本発明によれば、画像ファイルリストを表示する画像ファイルリスト表示装置であって、各画像を識別するための画像ファイル識別情報に、その画像に含まれる各顔を識別するための顔識別情報及び各顔の方向を表す顔方向情報の一方又は双方を少なくとも対応付けた顔関連情報を保持する保持手段と、前記顔関連情報に基づいて、所定の顔を含む画像を表す画像ファイルに対して、画像に含まれる顔の数及び画像に含まれる顔の方向の一方又は双方を表すためのマークを付するマーク追加手段と、前記所定の顔を含む画像を表す画像ファイルを少なくとも含む画像ファイルリストを表示する表示手段と、を備えることを特徴とする画像ファイルリスト表示装置が提供される。

また、本発明によれば、上記画像ファイルリスト表示装置を備えることを特徴とする複合機が提供される。

更に、本発明によれば、画像ファイルリストを表示する画像ファイルリスト表示方法であって、各画像を識別するための画像ファイル識別情報に、その画像に含まれる各顔を識別するための顔識別情報及び各顔の方向を表す顔方向情報の一方又は双方を少なくとも対応付けた顔関連情報を保持手段に保持する保持ステップと、前記顔関連情報に基づいて、所定の顔を含む画像を表す画像ファイルに対して、画像に含まれる顔の数及び画像に含まれる顔の方向の一方又は双方を表すためのマークを付するマーク追加ステップと、前記所定の顔を含む画像を表す画像ファイルを少なくとも含む画像ファイルリストを表示する表示ステップと、を有することを特徴とする画像ファイルリスト表示方法が提供される。

更に、本発明によれば、コンピュータを上記の画像ファイルリスト表示装置として機能させるための画像ファイルリスト表示用プログラムが提供される。

本発明によれば、画像ファイルを選択する際に、その選択操作を利用者が効率的に行うことが可能となる。

本発明の第１の実施の形態で表示される画像を用いた画像ファイルリストを示す図である。 （“更新日時”と“サイズ”部分がずれています。貼り付け部分の位置調整をお願いします。） 本発明の第１の実施の形態で表示される文字を用いた画像ファイルリストを示す図である。 本発明の第２の実施の形態で表示される画像を用いた第１の画像ファイルリストを示す図である。 本発明の第２の実施の形態で表示される画像を用いた第２の画像ファイルリストを示す図である。 本発明の第２の実施の形態で表示される画像を用いた第３の画像ファイルリストを示す図である。 本発明の第４の実施の形態で表示される画像を用いた画像ファイルリストを示す図である。 本発明の第５、第６及び第７の実施の形態で表示される画像を用いた第１の画像ファイルリストを示す図である。 本発明の第５の実施の形態で表示される画像を用いた第２の画像ファイルリストを示す図である。 本発明の第６の実施の形態で表示される画像を用いた文字を用いた画像ファイルリストを示す図である。 本発明の第７の実施の形態で表示される画像を用いた画像を用いた画像ファイルリストを示す図である。 本発明の第８の実施の形態で表示される画像を用いた画像を用いた画像ファイルリストを示す図である。 本発明の第９の実施の形態で表示される画像を用いた画像を用いた第１の画像ファイルリストを示す図である。 本発明の第９の実施の形態で表示される画像を用いた画像を用いた第２の画像ファイルリストを示す図である。 本発明の第１２の実施の形態で表示される画像を用いた画像を用いた第２の画像ファイルリストを示す図である。 本発明の第１３の実施の形態による複合機の概略の構成を示す断面図である。 本発明の第１３の実施の形態による複合機の機能ブロック図である。

以下、図面を参照して本発明を実施するための形態について詳細に説明する。

［第１の実施の形態］
図１を参照すると、画像を用いた画像ファイルリスト３０１には、画像３０１ａ乃至３０１ｈが、各画像ファイルを表す画像として表示される。画像３０１ａ、３０１ｂ、３０１ｃ、３０１ｄは、人物を含み、画像３０１ｅ、３０１ｆ、３０１ｇ、３０１ｈは人物を含まない。人物を含む画像３０１ａ、３０１ｂ、３０１ｃ、３０１ｄには、矢印のマークが付されるが、人物を含まない画像３０１ｅ、３０１ｆ、３０１ｇ、３０１ｈには、矢印のマークは付されない。従って、画像に矢印のマークが付されているか否かを見ることのみにより、利用者は、その画像が人物を含むか否かを判断することができる。

また、画像３０１ａ、３０１ｂの画像は、ポートレイトの画像であり、画像３０１ｃ、３０１ｄの画像は、ランドスケープの画像であるが、画像３０１ａ、３０１ｂの画像に付される矢印は、上向きであり、画像３０１ｃ、３０１ｄ画像に付される矢印は、右向きであり、従って、利用者は、矢印の向きにより、画像がポートレートの画像であるのか、又は、ランドスケープの画像であるのかを判断することができる。また、人物を含まない画像と判断する際、画像全体に含まれる顔の面積がある一定の値よりも低ければ人物として認識しない、または画像に含まれる一人あたりの顔の面積が一定の値よりも低ければ、その人物を人物として認識しない。

図２を参照すると、文字を用いた画像ファイルリスト３０３には、属性値３０３ａ乃至３０３ｅが、各画像ファイルを表す属性値として表示される。属性値３０３ａ、３０３ｂ、３０３ｃ、３０３ｄにより表される画像ファイルの画像は、人物を含み、属性値３０３ｅにより表される画像ファイルの画像は人物を含まない。人物を含む画像に対応する属性値３０３ａ、３０３ｂ、３０３ｃ、３０３ｄには、矢印のマークが付されるが、人物を含まない画像に対応する属性値３０３ｅには、矢印のマークは付されない。従って、属性値に矢印のマークが付されているか否かを見ることのみにより、利用者は、その属性値により表される画像ファイルの画像が人物を含むか否かを判断することができる。

また、属性値３０３ａ、３０３ｂに対応する画像は、ポートレイトの画像であり、属性値３０３ｃ、３０３ｄに対応する画像は、ランドスケープの画像であるが、属性値３０３ａ、３０３ｂに付される矢印は、上向きであり、属性値３０３ｃ、３０３ｄに付される矢印は、右向きであり、従って、利用者は、矢印の向きにより、属性値に対応する画像がポートレートの画像であるのか、又は、ランドスケープの画像であるのかを判断することができる。

なお、マークを、数字付の矢印として、これにより画像に含まれる顔の数と顔の方向の双方を表すようにしたが、他のマークを用いて、顔の数のみ又は顔の方向のみを表すようにしてもよい。また、そのようなマークを同時に付するようにしてもよい。また、マークを用いない代わりに、ファイル名に顔の数や顔の方向を表すように情報を付してもよい。例えば、顔の数が1人で、顔の方向が上方向であれば、「1_上_File1.jpg」である。これによって、ファイル名によるソートも容易となる。

第１の実施の形態においては、特に、顔の指定をしない。少なくとも１つの顔を含む画像に対して、顔の数と方向を示すマークが付される。また、顔の数と方向に基づいて、画像ファイルが並び替えられる。

［第２の実施の形態］
図３を参照すると、画像を用いた画像ファイルリスト３０５には、各画像ファイルを表す画像として画像３０５ａ乃至３０５ｈが表示されている。画像３０５ａ、３０５ｂ、３０５ｃ、３０５ｄ、３０５ｅは、女性の医師を含み、画像３０５ｆ、３０５ｇ、３０５ｈは女性の医師を含まない。また、画像３０５ｄ、３０５ｅ、３０５ｆは、男性の医師を含み、画像３０５ａ、３０５ｂ、３０５ｃ、３０５ｇ、３０５ｈは、男性の医師を含まない。

ここで、利用者が、女性の医師に着目し、女性の医師を含んでいる画像３０５ａ、３０５ｂ、３０５ｃ、３０５ｄ、３０５ｅのうちの何れかの画像を選択すると、図４に示すように、画像３０５ａ、３０５ｂ、３０５ｃ、３０５ｄ、３０５ｅの全ての画像に星マークが付される。ここで、利用者は、画像３０５ａ、３０５ｂ、３０５ｃ、３０５ｄ、３０５ｅのうちの何れかの画像を選択する時点においては、これらの全ての画像が女性の医師を含んでいることを認識しているとは限らず、そうでなくても、画像３０５ａ、３０５ｂ、３０５ｃ、３０５ｄ、３０５ｅのうちの何れかの画像を選択した後には、画像３０５ａ、３０５ｂ、３０５ｃ、３０５ｄ、３０５ｅの全ての画像に星マークが付されるので、その時点になって、女性の医師を含んでいる画像３０５ａ、３０５ｂ、３０５ｃ、３０５ｄ、３０５ｅを容易に認識することができる。

次に、利用者が、男性の医師に着目し、男性の医師を含んでいる画像３０５ｄ、３０５ｅ、３０５ｆのうちの何れかの画像を選択すると、図５に示すように、画像３０５ｄ、３０５ｅ、３０５ｆの全ての画像に星マークが付される。ここで、利用者は、画像３０５ｄ、３０５ｅ、３０５ｆのうちの何れかの画像を選択する時点においては、これらの全ての画像が男性の医師を含んでいることを認識しているとは限らず、そうでなくても、画像３０５ｄ、３０５ｅ、３０５ｆのうちの何れかの画像を選択した後には、画像３０５ｄ、３０５ｅ、３０５ｆの全ての画像に星マークが付されるので、その時点になって、男性の医師を含んでいる画像３０５ｄ、３０５ｅ、３０５ｆを容易に認識することができる。なお、図４の画面で女性の医師に付すマークと、図５の画面で男性の医師に付すマークを異ならせてもよい。また、男性の医師は、画像ファイルリストから選択してもよいし、顔リストから選択してもよい。

［第３の実施の形態］
第３の実施の形態は、第２の実施の形態の一部を変更したものである。

第２の実施の形態では、女性の医師又は男性の医師を画像ファイルリスト３０５から直接選択することとしたが、第３の実施の形態では、予め人物リストを作成しておいて、利用者が人物リストから女性の医師又は男性の医師を選択する。ここで、画像ファイルに一人以上の人物が含まれていれば、それらの人物に対応したＩＤが画像ファイル自体又は画像ファイルに関連付けられたファイルに記録され、又は、データベースに画像ファイルとそれらの人物に対応したＩＤが記録される。また、人物リストにおいては、同一人物に対しては、上記と同一のＩＤが記録されている。また、通常は、人物リストには、人物の顔などの画像も含まれている。従って、利用者が人物リストから特定の一人の人物を選択すれば、その人物を含むすべての画像が画像ファイルリスト３０５において、星マーク付きで表示される。

なお、選択が行われるまでは、どの画像にも星マークが付けられていない。また、画像ファイルは、女性の医師を含む画像が先頭に配置されるように並び替えられていない。選択の後、図４に示すような画面が表示される。

［第４の実施の形態］
図６を参照すると、画像を用いた画像ファイルリスト３０９には、各画像ファイルを表す画像として画像３０９ａ乃至３０９ｈが表示されている。画像３０９ａ、３０９ｂ、３０９ｃ、３０９ｄは、女性の医師を含み、画像３０９ｅ、３０９ｆ、３０９ｇ、３０９ｈは女性の医師を含まない。また、画像３０９ｄは、男性の医師を含み、画像３０９ａ、３０９ｂ、３０９ｃ、３０９ｅ、３０９ｆ、３０９ｇ、３０９ｈは、男性の医師を含まない。従って、画像３０９ａ、３０９ｂ、３０９ｃは、女性の医師である一人の人物を含み、画像３０９ｄは、女性の医師と男性の医師の二人の人物を含む。

ここで、第４の実施の形態においては、第２の実施の形態と同様に、人物リストに含まれる各人物と、各画像に含まれる一人以上の人物が両者に共通な又は対応付けられたＩＤにより管理される。

従って、例えば、人物リストから女性の医師と男性の医師を特定して選択すると、図６に示すように、女性の医師及び男性の医師のうちの少なくとも一人を含む画像３０９ａ、３０９ｂ、３０９ｃ、３０９ｄに星マークが付けられる。

また、上述したように、画像３０９ａ、３０９ｂ、３０９ｃは、女性の医師である一人の人物を含み、画像３０９ｄは、女性の医師と男性の医師の二人の人物を含むので、画像３０９ａ、３０９ｂ、３０９ｃには、一つの星印が付され、画像３０ｄには、二つの星印が付される。但し、星印の数ではなく、星印の色などで、人数を表すようにしてもよい。

また、画像３０９ａ、３０９ｂ、３０９ｃ、３０９ｄには、画像が人物を含むことを示す矢印も付される。そして、ポートレイト画像に付される矢印は上向きであり、ランドスケープ画像に付される矢印は、右向きである。更に、矢印には、画像に含まれる指定した人物の数を表す数値が追加される。具体的には、画像３０９ａ、３０９ｂ、３０９ｃに付される矢印には「１」が追加され、画像３０９ｄに付される矢印には「２」が追加される。

［第５の実施の形態］
図７を参照すると、画像を用いた画像ファイルリスト３１１には、各画像ファイルを表す画像として画像３１１ａ乃至３１１ｈが表示されている。画像３１１ａ、３１１ｂ、３１１ｃ、３１１ｄは、女性の医師を含み、画像３１１ｅ、３１１ｆ、３１１ｇ、３１１ｈは女性の医師を含まない。ここで、実際には、画像３１１ａ、３１１ｂ、３１１ｃ、３１１ｄは、同一の女性の医師を含むが、所定の画像認識を適用した場合、画像３１１ａ、３１１ｂ、３１１ｃは、同一の女性の医師を含むが、画像３１１ｄは、それとは同一人物の顔ではないが類似した顔の女性の医師を含むと認識されるとする。

そのような場合、第２又は第３の実施の形態と同様であれば、図７に示すように、画像３１１ａ、３１１ｂ、３１１ｃに対して星印が付されるが、画像３１１ｄに対しては星印は付されない。

本実施形態では、画像３１１ａ、３１１ｂ、３１１ｃの何れかの画像、何れの画像に付されている星印を押下したり、メニューから類似画像の項目を選択したり、画面にある類似画像ボタンを押したり、類似画像表示のコマンドを入力することにより、図８に示すように、画像３１１ａ、３１１ｂ、３１１ｃに付されている星印が削除され、画像３１１ｄに星印が付される。但し、画像３１１ａ、３１１ｂ、３１１ｃに付されている星印を維持したまま、画像３１１ｄに星印を付してもよい。これらの場合、画像３１１ａ、３１１ｂ、３１１ｃに付す星印と、画像３１１ｄに付す星印を異なったものにして、同一の顔と類似の顔との区別が付くようにしても良い。

なお、顔からは様々な特徴量を抽出することができ、各特徴量を成分とするベクトルを特徴ベクトルとして顔に対応付けることができる。このベクトルを顔同士で比較し、これらのベクトルの近似度が所定範囲内であれば、顔が同一のものであると判断し、その範囲内にないがもう少し広い別の所定範囲内にあれば顔が近似すると判断することができる。

［第６の実施の形態］
第６の実施の形態では、第４の実施の形態における図７に示す画像ファイルリストをまず表示する。図７を参照すると、第４の実施の形態と同様に、画像を用いた画像ファイルリスト３１１には、各画像ファイルを表す画像として画像３１１ａ乃至３１１ｈが表示されている。画像３１１ａ、３１１ｂ、３１１ｃ、３１１ｄは、女性の医師を含み、画像３１１ｅ、３１１ｆ、３１１ｇ、３１１ｈは女性の医師を含まない。ここで、実際には、画像３１１ａ、３１１ｂ、３１１ｃ、３１１ｄは、同一の女性の医師を含むが、所定の画像認識を適用した場合、画像３１１ａ、３１１ｂ、３１１ｃは、同一の女性の医師を含むが、画像３１１ｄは、それとは同一人物の顔ではないが類似した顔の女性の医師を含むと認識されるとする。

そのような場合、第４の実施の形態と同様であれば、図７に示すように、画像３１１ａ、３１１ｂ、３１１ｃに対して星印が付されるが、画像３１１ｄに対しては星印は付されない。

本実施形態では、画像３１１ａ、３１１ｂ、３１１ｃの何れかの画像、何れかの画像に付されている星印を押下したり、メニューから属性表示の項目を選択したり、画面にある属性表示ボタンを押したり、属性表示のコマンドを入力することにより、図９に示すように、画面が画像リストから属性リストに切り替わる。

図９を参照すると、属性リストには、属性として、ファイル名、顔面積、顔の向きが含まれている。また、図９の例では、ファイル名の順番に画像ファイルが表示されている。顔面積、顔の向きは、顔認識の結果得られたものである。ここで、ファイル名、顔面積、又は、顔の向きを選択することにより、ファイルの順序をこれらに従った順序に変更することができる。また、再度、ファイル名、顔面積、又は、顔の向きを選択することにより、順序を逆にすることができる。また、ある特定ファイル中の顔、または予め登録されたリストから選択された顔を基準として、各ファイルに類似度を表示してもよい。

［第７の実施の形態］
図１０を参照すると、第1の実施の形態と同様な画像を用いた画像ファイルリスト３０１には、画像３０１ａ乃至３０１ｈが、各画像ファイルを表す画像として表示される。画像３０１ａ、３０１ｂ、３０１ｃ、３０１ｄは、人物を含み、画像３０１ｅ、３０１ｆ、３０１ｇ、３０１ｈは人物を含まない。人物を含む画像３０１ａ、３０１ｂ、３０１ｃ、３０１ｄには、矢印のマークが付されるが、人物を含まない画像３０１ｅ、３０１ｆ、３０１ｇ、３０１ｈには、矢印のマークは付されない。従って、画像に矢印のマークが付されているか否かを見ることのみにより、利用者は、その画像が人物を含むか否かを判断することができる。

また、画像３０１ａ、３０１ｂの画像は、ポートレイトの画像であり、画像３０１ｃ、３０１ｄの画像は、ランドスケープの画像であるが、画像３０１ａ、３０１ｂの画像に付される矢印は、上向きであり、画像３０１ｃ、３０１ｄ画像に付される矢印は、右向きであり、従って、利用者は、矢印の向きにより、画像がポートレートの画像であるのか、又は、ランドスケープの画像であるのかを判断することができる。

ここで、利用者が画像３０１ｂを選択すると、これに対応したプレビュー画面３１７ｂを表示する。画像３０１ｂは、正立したポートレイトの画像であるが、画像３１７ｂも正立したポートレイトの画像である。

また、利用者が画像３０１ｃを選択すると、これに対応したプレビュー画面３１７ｃを表示する。画像３０１ｃは、９０度回転したランドスケープの画像であるが、画像３１７ｃは正立したランドスケープの画像である。

更に、利用者が画像３０１ｄを選択すると、これに対応したプレビュー画面３１７ｄを表示する。画像３０１ｄは、９０度回転したランドスケープの画像であるが、画像３１７ｄは正立したランドスケープの画像である。

上記の例に限らず、画像の向きとは無関係に、プレビューの画像は、正立したものとなる。これにより、画像に含まれる人物の顔を利用者は認識することが容易となる。

［第８の実施の形態］
図１１を参照すると、画像を用いた画像ファイルリスト３１９には、画像３１９ａ乃至３１９ｈが、各画像ファイルを表す画像として表示される。画像３１９ａ、３１９ｂ、３１９ｃ、３１９ｄは、人物を含み、画像３１９ｅ、３１９ｆ、３１９ｇ、３１９ｈは人物を含まない。人物を含む画像３１９ａ、３１９ｂ、３１９ｃ、３１９ｄには、矢印のマークが付されるが、人物を含まない画像３１９ｅ、３１９ｆ、３１９ｇ、３１９ｈには、矢印のマークは付されない。従って、画像に矢印のマークが付されているか否かを見ることのみにより、利用者は、その画像が人物を含むか否かを判断することができる。

また、画像３１９ａ、３１９ｂの画像は、ポートレイトの画像であり、画像３１９ｃ、３１９ｄの画像は、ランドスケープの画像であるが、画像３１９ａの画像に付される矢印は、上向きであり、画像３１９ｂの画像に付される矢印は、下向きであり、画像３１９ｃに付される矢印は、右向きであり、画像３１９ｄに付される矢印は、左向きであり、従って、利用者は、矢印の向きにより、画像が正立したポートレートの画像であるのか、画像が上下が反転したポートレートの画像であるのか、右側に画像の上端が対応するランドスケープの画像であるのか、又は、左側に画像の上端が対応するランドスケープの画像であるのかを判断することができる。

ここで、利用者が画像３１９ａを選択して、印刷を実行すると、用紙には、正立した向きで画像３２１ａが印刷される。また、利用者が画像３１９ｂを選択して、印刷を実行すると、用紙には、正立した向きで画像３２１ｂが印刷される。更に、利用者が画像３１９ｃを選択して、印刷を実行すると、用紙には、左辺に画像の上端が対応する向きで画像３２１ｃが印刷される。更に、利用者が画像３１９ｄを選択して、印刷を実行すると、用紙には、左辺に画像の上端が対応する向きで画像３２１ｄが印刷される。

何れの場合であっても、ポートレイトの画像は、常に、正立した向き（上側に画像の上端が対応した）で印刷される。また、ランドスケープの画像は、常に、左辺に画像の上端が対応した向きで印刷される。これにより、利用者は、印刷後の用紙の向きを変更する必要がなくなる。右辺に画像の上端が対応した向きに印刷してもよい。

［第９の実施の形態］
図１２を参照すると、画像を用いた画像ファイルリスト３２３には、画像３２３ａ乃至３２３ｈが、各画像ファイルを表す画像として表示される。画像３２３ａ、３２３ｂ、３２３ｃ、３２３ｄは、同一の女性の医師を人物として含み、画像３２３ｅ、３２３ｆ、３２３ｇ、３２３ｈは人物を含まない。人物を含む画像３２３ａ、３２３ｂ、３２３ｃ、３２３ｄには、矢印のマークが付されるが、人物を含まない画像３２３ｅ、３２３ｆ、３２３ｇ、３２３ｈには、矢印のマークは付されない。従って、画像に矢印のマークが付されているか否かを見ることのみにより、利用者は、その画像が同一の女性の医師を人物として含むか否かを判断することができる。

ここで、利用者が、画像３２３ａ、３２３ｂ、３２３ｃ若しくは３２３ｄ、若しくは、これらの画像の何れかに付されている星マークを選択し、又は、確認のためのメニュー項目を選択したり、確認のためのコマンドを入力すると、図１３に示すような画像ファイルリスト３２５に画面が変化する。画像３２３ａ、３２３ｂ、３２３ｃ、３２３ｄに対応する画像ファイルリスト３２５中の画像３２５ａ、３２５ｂ、３２５ｃ、３２５ｄにおいては、女性の医師の顔が円形のマーカにより囲まれる。これにより、利用者は、女性の医師の顔が画像中のどこにあるのかを容易に認識することができ、これにより、女性の医師の顔自体も容易に認識することができるようになる。従って、利用者は、仮に、図１２に示す画像ファイルリスト３２３を見ても、女性の医師の顔を認識することが困難であるとしても、図１３に示す画像ファイルリスト３２５を見ることにより、これが容易となる。例えば、画像ファイルリスト３２３の画像３２３ｃにおいては、女性の医師の顔を認識することが困難であるが、画像ファイルリスト３２５の画像３２５ｃにおいては、女性の医師の顔を認識することが容易となる。

また、
［第１０の実施の形態］
上記の実施形態では、画像ファイルリストを画像により表す場合においても、属性値の文字列による表す場合においても、何れかの人物を含む画像ファイルや、特定の条件を満たす人物を含む画像ファイルに対して、矢印や、星マークなどを付することにより、利用者が、そのような画像ファイルを他の画像ファイルと区別して認識することができるようにしたが、他の方法によって、利用者が、そのような画像ファイルを他の画像ファイルと区別して認識することができるようにしてもよい。例えば、何れかの人物を含む画像ファイルや、特定の条件を満たす人物を含む画像ファイルのみを表示するようにしてもよいし、そのようなファイルをリストの先頭部分に表示するようにしても良いし、そのようなファイルを点滅表示してもよいし、拡大表示してもよい。また、条件を満たさないファイルを満たすファイルに対して相対的に目立たないように表示してもよい。

［第１１の実施の形態］
画像に含まれる顔の数が所定数又は所定の範囲にある画像を他の画像と区別が付くように表示してもよい。また、所定数又は所定の範囲を複数種類用意して、複数種類を同時に表示してもよい。

顔を含む画像のうち、画像が所定の方向を向いている画像を他の画像と区別が付くように表示してもよい。

例えば、利用者による指定により顔を複数種類選択し、これらのうちの少なくとも一人の顔を含む画像を他の画像と区別が付くように表示してもよいし、これら全員の顔を含む画像を他の画像と区別が付くように表示してもよい
［第１２の実施の形態］
図１４は、第１乃至第１０の実施の形態を実行するための画像ファイルリスト表示装置１００の構成を示す機能ブロック図である。

図１４を参照すると、この画像ファイルリスト表示装置１００は、画像ファイル入力部１０１、画像ファイル記憶部１０３、顔認識部１０５、画像ファイル識別情報、顔識別情報、顔方向情報、顔特徴量、類似情報記憶部１０７、同一画像認識部１０９、顔識別情報、顔画像抽出部１１１、顔画像記憶部１１２、顔指定部１１３、画像特定部１１５、マーク追加部１１７、ファイル並替部１１８、及び画像ファイルリスト表示部１１９を含む。

画像ファイル入力部１０１は、外部から画像ファイルを入力する。

画像ファイル記憶部１０３は、画像ファイル入力部１０１が入力した画像ファイルを記憶する。

顔認識部１０５は、画像ファイル記憶部１０３に格納されている各画像ファイルから顔を認識する。また、顔認識部１０５は、顔を認識したならば、その顔の識別情報（顔識別情報）を付与し、その顔を含んでいる画像のファイル識別情報（画像ファイル識別情報）に、顔識別情報と、認識した顔の顔特徴量と、画像における顔方向を表す顔方向情報を対応付けて、これらを、顔関連情報として、画像ファイル識別情報、顔識別情報、顔方向情報、顔特徴量、類似情報記憶部１０７に格納する。ここで、顔方向情報は、ランドスケープ、ポートレートに関係ない、絶対的な方向である。なお、画像に複数の顔が含まれている場合、画像に含まれる顔の方向は、必ずしも、全部が一致するとは限らない。全部が一致すれば、一致している方向を画像に対応付けた顔方向とするが、そうでない場合には、例えば、多数決などを用いて出した方向を画像に対応付けた顔方向にする。

同一画像認識部１０９は、画像ファイル識別情報、顔識別情報、顔方向情報、顔特徴量、類似情報記憶部１０７に格納されている顔識別情報毎の顔特徴量を相互に比較し、同一の顔に対応する顔識別情報があれば、顔識別情報を統一する。また、似ている顔同士の顔識別情報を結びつける類似情報を、画像ファイル識別情報、顔識別情報、顔方向情報、顔特徴量、類似情報記憶部１０７に格納する。

顔画像抽出部１１１は、画像ファイル識別情報、顔識別情報、顔方向情報、顔特徴量、類似情報記憶部１０７に格納されている顔関連情報に基づいて、画像ファイル記憶部１０３に格納されている対応する画像ファイルのうちの各顔識別情報が対応付けられている画像ファイルから顔画像を抽出し、抽出した顔画像を顔識別情報に対応付けて顔識別情報、顔画像記憶部１１２に格納する。なお、抽出の際には、顔方向情報に基づいて、顔方向を補正する。

顔指定部１１３は、顔識別情報、顔画像記憶部１１２に格納されている顔画像と顔識別情報に基づいて、利用者に顔を指定させるためのユーザインターフェースを提供し、利用者による顔の指定を入力する。また、顔指定部１１３は、画像ファイルリスト表示部１１９が表示している画像ファイルリストからも、利用者による顔の指定を入力する。更に、顔指定部１１３は、個別の顔の指定を入力することの他に、不特定の顔の指定を入力することもできる。指定される顔の数は、単数の場合もあるし、複数の場合もある。

画像特定部１１５は、顔指定部１１３が指定を受けた顔に対応する顔識別情報と、画像ファイル識別情報、顔識別情報、顔方向情報、顔特徴量、類似情報記憶部１０７に格納されている画像ファイル識別情報、顔識別情報に基づいて、顔指定部１１３が指定を受けた顔を含む画像ファイルを特定する。なお、画像特定部１１５は、顔指定部１１３が複数の顔を指定していれば、各顔毎にそれを含む画像を特定する。また、特定した画像ファイルに対しては、それに含まれる顔の数に関する情報も付加する。更に、顔毎に、顔方向情報（絶対的な方向を示すもの）等に基づいて画像の方向を示す画像方向情報を生成し、これを付加する。なお、顔を含まない画像に対しては、他の方法により画像方向情報を生成し、これを付加する。

マーク追加部１１７は、画像指定部１１５から入力した、画像特定情報、顔の数に関する情報、顔の方向に関する情報に基づいて、画像につけるマークを生成し、それを対象の画像に付加する。

ファイル並替部１１８は、画像ファイルリストに含めるべき画像ファイルを並べ替える。ファイル並替部１１８は、例えば、画像に含まれる顔の数、顔の向き又はこれらの組合せにより画像ファイルを並べ替える。また、図２、又は図９のリストにおいて、指定された項目をキーにして画像ファイルを並べ替える。

画像ファイルリスト表示部１１９は、マークが付けられた画像とマークが付けられない画像のリストを表示する。但し、マークが付けられた画像のみのリストを表示してもよい。

プレビュー表示部１２１は、指定された画像のプレビューを表示する。表示の際には、画像ファイル記憶部１０３に格納されている画像ファイルの画像を画像特定部１１５から入力した画像方向情報により補正する。

印刷部１２３は、指定された画像を印刷する。印刷の際には、画像ファイル記憶部１０３に格納されている画像ファイルの画像を画像特定部１１５から入力した画像方向情報により補正する。

［第１３の実施の形態］
第１３の実施の形態は、第１２の実施の形態による画像ファイルリスト表示装置１００を含む複合機８００に関するものである。図１５及び図１６は、複合機８００の構成などを示すものである。

図１５及び図１６に示すように、複合機８００は、原稿の画像を読み取る原稿読取装置８２０と、シートに画像を形成する複合機本体（画像形成部本体）２１５と、原稿読取装置８２０及び複合機本体２１５を操作するための操作パネル部２１７と、操作パネル部２１７による操作に基づいて原稿読取装置８２０及び複合機本体２１５を制御する演算処理部２１３と、を備えている。操作パネル２１７が、顔指定部１１３の少なくとも一部と画像ファイルリスト表示部１１９の少なくとも一部を構成するようにしてもよい。

画像読取りのために原稿読取装置８２０を単体で用いること、画像形成のために画像形成部本体２１５を単体で用いることの他に、画像を複写するためにこれらを連動させることもできる。また、複合機８００は図示しない記憶装置及びファクシミリ装置を含んでいてもよい。記憶装置は、原稿読取装置により読み取られた画像やファクシミリ装置により受信した画像を格納することができる。ファクシミリ装置は、原稿読取装置により読み取られた画像や記憶装置に格納されている画像を送信することと、外部から画像を受信することができる。更に、複合機８００は、ネットワークを介してパーソナルコンピュータと接続するためのインターフェースを含んでいてもよい。複合機８００に接続されたパーソナルコンピュータは、これが管理できるデータについて複合機の機能を利用することができる。

原稿読取装置８２０は、原稿を自動給送する原稿自動給送部ＳＰＦ(Single Pass Feeder)８２４と、原稿の画像を読み取る読取装置本体８２２と、を備えている。なお、原稿読取装置８２０は、図１６に示す構成要素の他に、図１６には示されないが図１５に示される構成要素も含む。

複合機本体２１５は、シートを給送するシート給送部１０と、シートを手差し給送可能な手差し給送部２０と、シート給送部１０又は手差し給送部２０により給送されるシートに画像を形成する画像形成部３０と、を備えている。

シート給送部１０は、シートを積載するシート積載部１１と、シート積載部１１に積載されたシートを１枚ずつ分離給送する分離給送部１２と、を備えている。シート積載部１１は、回転軸１３を中心に回動する中板１４を備えており、中板１４は、シートを給送する際に回動してシートを上方に持ち上げる。分離給送部１２は、中板１４により持ち上げられたシートを給送するピックアップローラ１５と、ピックアップローラ１５により給送されるシートを１枚ずつに分離する分離ローラ対１６と、を備えている。

手差し給送部２０は、シートを積載可能な手差しトレイ２１と、手差しトレイ２１に積載されたシートを１枚ずつ分離給送する分離給送部２２と、を備えている。手差しトレイ２１は、複合機本体２１５に回動自在に支持されており、手差し給送する際には、所定の角度に固定させることでシートを積載可能になる。分離給送部２２は、手差しトレイ２１に積載されたシートを給送するピックアップローラ２３と、ピックアップローラ２３により給送されるシートを１枚ずつに分離する分離ローラ２４及び分離パッド２５と、を備えている。

画像形成部３０は、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の画像を形成する４つのプロセスカートリッジ３１Ｙ〜３１Ｋと、後述する感光体ドラム７４０Ｙ〜７４０Ｋと、これらの表面を露光する露光装置３２と、感光体ドラム７４０Ｙ〜７４０Ｋの表面に形成されたトナー像をシートに転写する転写部（転写手段）３３と、転写したトナー像をシートに定着させる定着部３４と、を備えている。なお、符号の最後に付すアルファベット（Ｙ、Ｍ、Ｃ、Ｋ）は、それぞれの色（イエロー、マゼンタ、シアン、ブラック）を示している。

４つのプロセスカートリッジ３１Ｙ〜３１Ｋのそれぞれは、複合機本体２１５から取り外し可能に構成されており、交換可能となっている。なお、４つのプロセスカートリッジ３１Ｙ〜３２Ｋは、形成する画像の色が異なること以外は同様な構成であるため、イエロー（Ｙ）の画像を形成するプロセスカートリッジ３１Ｙの構成のみの説明し、プロセスカートリッジ３１Ｍ〜３１Ｋの説明は省略する。

プロセスカートリッジ３１Ｙは、像担持体としての感光体ドラム７４０Ｙと、感光体ドラム７４０Ｙを帯電させる帯電器７４１Ｙと、感光体ドラム７４０Ｙ上に形成された静電潜像を現像する現像装置７４２Ｙと、感光体ドラム７４０Ｙの表面に残留するトナーを除去するドラムクリーナと、を備えている。現像装置７４２Ｙは、感光体ドラム７４０Ｙを現像する現像装置本体（詳細には図示せず）と、現像装置本体にトナーを供給するトナーカートリッジ（詳細には図示せず）と、を備えている。トナーカートリッジは、現像装置本体に着脱可能に構成されており、収容されたトナーが無くなると、現像装置本体から取り外して、交換することができるようになっている。

露光装置３２は、レーザ光を照射する光源（図示せず）と、レーザ光を感光体ドラム７４０Ｙ〜７４０Ｋに導く複数のミラー（図示せず）等と、を備えている。転写部３３は、感光体ドラム７４０Ｙ〜７４０Ｋに形成されたトナー像を担持する中間転写ベルト３５と、感光体ドラム７４０Ｙ〜７４０Ｋに形成されたトナー像を中間転写ベルト３５に一次転写する一次転写ローラ３６Ｙ〜３６Ｋと、中間転写ベルト３５に転写されたトナー像をシートに二次転写する二次転写ローラ３７と、中間転写ベルト３５に残留するトナーを除去するベルトクリーナ３８と、を備えている。中間転写ベルト３５は、駆動ローラ３９ａ及び従動ローラ３９ｂに掛け渡されており、一次転写ローラ３６Ｙ〜３６Ｋによって感光体ドラム７４０Ｙ〜７４０Ｋに押し付けられている。二次転写ローラ３７は、駆動ローラ３９ａとで中間転写ベルト３５をニップ（挟持）しており、ニップ部Ｎで中間転写ベルト３５が担持するトナー像をシートに転写する。定着部３４は、シートを加熱する加熱ローラ３４ａと、加熱ローラ３４ａに圧接する加圧ローラ３４ｂと、を備えている。

操作パネル部２１７は、所定の情報を表示する表示部２１１と、利用者が原稿読取装置８２０及び複合機本体２１５への指示を入力する入力部２０３と、を備えている。本実施形態においては、操作パネル部２１７は、読取装置本体８２２の正面側に配設されている。なお、正面側は図１５の紙面の手前側に対応し、裏面側は図１５の背面側に対応する。

図１６に示すように、演算処理部２１３は、シート給送部１０、手差し給送部２０、画像形成部３０及び原稿読取装置８２０を駆動制御するＣＰＵ２１３ａと、ＣＰＵ２１３ａを動作させるための各種プログラムとＣＰＵ２１３ａが用いる各種情報等を記憶するメモリ２１３ｂと、を備えている。演算処理部２１３は、利用者による操作パネル部２１７への操作に基づいて、シート給送部１０、手差し給送部２０、画像形成部３０及び原稿読取装置８２０の動作を統合して制御し、シートに画像を形成させる。

なお、演算処理部２１３に、図１４に示す画像ファイルリスト表示装置が含まれていてもよい。

次に、上述のように構成された複合機８００による画像形成動作（演算処理部２１３による画像形成制御）について説明する。本実施形態においては、原稿自動給送部８２４により給送され、読取装置本体８２２により読み取られた読取原稿の画像を、シート給送部１０により給送されるシートに画像形成部３０が形成する画像形成動作を例にとり説明する。

利用者による操作パネル部２１７の入力部２０３への入力により、画像形成開始信号が発信されると、利用者により原稿自動給送部８２４に載置された読取原稿が原稿読取位置に向けて自動給送され、原稿読取位置で読取装置本体８２２によって画像が読み取られる。

読取装置本体８２２により原稿の画像が読み取られると、読み取られた原稿の画像情報に基づいて、露光装置３２が感光体ドラム７４０Ｙ〜７４０Ｋに向けて、それぞれに対応する複数のレーザ光を照射する。このとき、感光体ドラム７４０Ｙ〜７４０Ｋは、それぞれ、帯電器７４１Ｙ〜７４１Ｂにより予め帯電されており、それぞれに対応するレーザ光が照射されることで感光体ドラム７４０Ｙ〜７４０Ｋ上にそれぞれの静電潜像が形成される。その後、現像装置７４２Ｙ〜７４２Ｋにより感光体ドラム７４０Ｙ〜７４０Ｋ上にそれぞれ形成された静電潜像が現像され、感光体ドラム７４０Ｙ〜７４０Ｋ上に、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）及びブラック（Ｋ）のトナー像が形成される。感光体ドラム７４０Ｙ〜７４０Ｋ上に形成された各色のトナー像は、一次転写ローラ３６Ｙ〜３６Ｋによって中間転写ベルト３５に重畳転写され、重畳転写されたトナー像（フルカラーのトナー像）は、中間転写ベルト３５に担持された状態でニップ部Ｎまで搬送される。

上述の画像形成動作に並行して、シート積載部１１に積載されたシートが、分離給送部１２によって１枚ずつに分離されながら、ピックアップローラ１５によりシート搬送路２６に給送される。そして、ニップ部Ｎのシート搬送方向上流にあるレジストローラ対２７で、斜行が補正されると共に、所定の搬送タイミングでニップ部Ｎに搬送される。ニップ部Ｎに搬送されたシートは、二次転写ローラ３７によって中間転写ベルト３５が担持するフルカラーのトナー像が転写される。

トナー像が転写されたシートは、定着部３４で加熱・加圧されることでトナー像が溶融定着され、排出ローラ対１８により装置外に排出される。装置外に排出されたシートは、排出シート積載部１９に積載される。

なお、シートの両面（第１面及び第２面）に画像を形成する場合に、第１面に画像が形成されたシートが装置外に排出される前に、排出ローラ対１８を逆回転させて両面搬送路１７に搬送し、両面搬送路１７を介して画像形成部３０に再搬送する。そして、第１面と同様に、第２面に画像を形成し、装置外に排出する。装置外に排出されたシートは、排出シート積載部１９に積載される。

なお、上記の画像ファイルリスト表示装置は、ハードウェア、ソフトウェア又はこれらの組合わせにより実現することができる。また、上記の画像ファイルリスト表示装置により行なわれる画像ファイルリスト表示方法も、ハードウェア、ソフトウェア又はこれらに組合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory)）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

さらに、上記に列挙した実施例やその一部構成を種々組み合わせることで、様々な実施形態が考えられる。

本発明は、画像ファイルをリスト表示するために利用することができる。

１０１ 画像ファイル入力部
１０３ 画像ファイル記憶部
１０５ 顔認識部
１０７ 画像ファイル識別情報、顔識別情報、顔方向情報、顔特徴量、類似情報記憶部
１０９ 同一画像認識部
１１１ 顔識別情報、顔画像抽出部
１１２ 顔画像記憶部
１１３ 顔指定部
１１５ 画像特定部
１１７ マーク追加部
１１８ ファイル並替部
１１９ 画像ファイルリスト表示部

Claims (7)

1. 画像ファイルリストを表示する画像ファイルリスト表示方法であって、
   各画像を識別するための画像ファイル識別情報に、その画像に含まれる各顔を識別するための顔識別情報及び各顔の方向を表す顔方向情報の一方又は双方を少なくとも対応付けた顔関連情報を保持手段に保持する保持ステップと、
   前記顔関連情報に基づいて、所定の顔を含む画像を表す画像ファイルに対して、画像に含まれる顔の数及び画像に含まれる顔の方向の一方又は双方を表すためのマークを付するマーク追加ステップと、
   前記所定の顔を含む画像を表す画像ファイルを少なくとも含む画像ファイルリストを表示する表示ステップと、
   を有する画像ファイルリスト表示方法において、
   前記所定の顔を含む画像を表す画像ファイルにおいて、画像全体に含まれる顔の面積が、ある一定の値よりも低い場合、前記画像ファイルの画像は人物を含まない画像であると判断する判断ステップをさらに有し、
   前記顔関連情報は、顔同士の類似関係を示す類似情報を含み、
   前記表示ステップでは、画像ファイルリストに表示されている顔で指定可能なもののうちの何れかが指定されたならば、指定された顔に類似した顔を含む画像を表す画像ファイルと、指定された顔に類似した顔を含まない画像を表す画像ファイルとの双方の区別が付くように、互いが一画面で表示されるよう前記画像ファイルリストを表示することを特徴とする画像ファイルリスト表示方法。
2. 請求項１に記載の画像ファイルリスト表示方法であって、
   前記所定の顔とは、指定された１又は２以上の顔であることを特徴とする画像ファイルリスト表示方法。
3. 請求項１又は２に記載の画像ファイルリスト表示方法であって、
   画像に含まれる顔の数、画像に含まれる顔の方向若しくはこれらの組合せ、顔面積、又は、画像ファイルの所定の属性に基づいて、前記画像ファイルリストに含める画像ファイルを並べ替える並替ステップを更に備えることを特徴とする画像ファイルリスト表示方法。
4. 請求項１乃至３の何れか１項に記載の画像ファイルリスト表示方法であって、
   前記表示ステップでは、画像が１又は２以上の任意の顔を含むこと、画像が１又は２以上の所定の顔を含むこと、画像が所定数又は所定範囲の数の顔を含むこと、画像に含まれる顔が所定の方向を向いていることのうちの１つ又は２以上の組合せにより設定した所定の条件を満たす画像と、満たさない画像との区別が付くように画像ファイルリストを表示することを特徴とする画像ファイルリスト表示方法。
5. 請求項１乃至４の何れか１項に記載の画像ファイルリスト表示方法であって、
   前記表示ステップでは、画像ファイルリストに表示されている顔で指定可能なものの何れか指定されたならば、指定された顔を含む１又は２以上の画像において、指定された顔にマークを付けて、前記画像ファイルリストを表示することを特徴とする画像ファイルリスト表示方法。
6. 請求項１乃至５の何れか１項に記載の画像ファイルリスト表示方法であって、
   画像の天が上に位置するようにプレビュー表示をする表示画像方向調整ステップを含むことを特徴とする画像ファイルリスト表示方法。
7. 請求項１乃至６の何れか１項に記載の画像ファイルリスト表示方法であって、
   ランドスケープの画像の天の位置が所定方向に対応するように印刷し、ポートレイトの画像の天の位置が所定方向に対応するように印刷する印刷方向調整ステップを更に含むことを特徴とする画像ファイルリスト表示方法。

Images