JP5136819B2 - 画像分類装置、画像分類方法及びプログラム - Google Patents

Description

本発明は、画像分類装置、画像分類方法及びプログラムに関し、詳しくは、デジタルカメラ等で撮影された、少なくとも人物を含む大量の画像を分類整理するための画像分類装置、画像分類方法及びプログラムに関する。

今日、写真機は、フィルムを使用する旧来の「銀塩カメラ」から、ＣＣＤ等の電子撮影デバイスを用いた、いわゆるデジタルカメラまたはカメラ付き携帯電話機、若しくはカメラ付き情報端末等の「電子カメラ」へとシフトしてきており、これに伴い、写真の保存や閲覧及び整理分類等も、パーソナルコンピュータ等の電子機器上において電子的に行われるようになってきた。

電子カメラの大きなメリットの一つは、画像の撮影自体にコストが発生しないことにある。つまり、銀塩カメラのようなフィルム代を必要としないことにある。このため、電子カメラの撮影者は、多くの場合、頻繁に、言い換えれば無造作にシャッターを切ることとなり、その結果、多くの画像が撮影され、結局、パーソナルコンピュータ等の電子機器上には、大量の画像が蓄積保存されることになる。

さて、このような大量の画像は、当然ながら分類整理が必要である。数十枚程度の画像であれば、たとえば、パーソナルコンピュータのサムネイル機能（ある種のＯＳ：オペレーティングシステムにおいてはフォルダに保存された画像のサムネイルを一覧表示する機能が備えられている）を利用するなどして、所望の画像を選び出すことができるが、数百枚あるいはそれ以上の大量画像になると、このような支援機能だけでは、なかなか所望の画像を簡単に見つけ出せないからである。

古典的な画像分類の第一の方法は、ファイル名によって行うというものである。この方法では、カテゴリごとの識別文字列、たとえば、家族写真であれば「ＦＡＭＩＬＹ」などの識別文字列をファイル名の先頭に付加する。ファイル名一覧でソートすることにより、カテゴリごとの画像を一括分類できる。第二の方法は、カテゴリごとのフォルダを作成し、それらのフォルダに画像を振り分けて保存するというものである。

しかし、これらの古典的な分類方法は、いずれも人為的に行う必要があり、手間がかかるうえ、大量の画像をまとめて一度に分類できないといった問題点がある。

下記の特許文献１に記載された画像分類の技術（以下、従来技術）が知られている。この従来技術では、入力された画像データの中から被写体の特徴部分、たとえば、人物ＴＡＲＯの顔の特徴部分、人物ＨＡＮＡＫＯの同特徴部分、人物ＪＩＲＯの同特徴部分、人物ＳＡＢＵＲＯの同特徴部分・・・・を抽出し、その特徴部分に応じて各画像データを自動分類、たとえば、フォルダ名ＴＡＲＯ、フォルダ名ＨＡＮＡＫＯ、フォルダ名ＪＩＲＯ、フォルダ名ＳＡＢＵＲＯ・・・・に自動分類する。したがって、この従来技術においては、人手を介することなく、画像の仕分けを行うことができるので、上記の古典的な分類方法の問題点を解消できる。

特開２００５−３２３０１４号公報

しかしながら、上記の従来技術は、単に画像の特徴部分に基づいて、各画像を仕分けするだけのものに過ぎず、より一層高度な分類の仕組みを実現するという点で、未だ改善の余地がある。

たとえば、人物が写った大量の画像の中から、ある人物が写った全ての画像と、その人物と何らかの関係を有する他の人物が写った全ての画像とを抽出して表示するなどといった分類の仕組みは、より一層高度な分類を実現できる点で有益であり、たとえば、デジタルカメラの保存画像の閲覧補助機能に適用したり、あるいは、パーソナルコンピュータ等の画像管理ソフトウェアに適用したりすれば、それらのデジタルカメラやソフトウェアの差別化を図ることができるから、きわめて産業上好都合であると考えられる。

かかる観点から上記の従来技術を評価すると、従来技術は、画像データの中から被写体の特徴部分、たとえば、人物ＴＡＲＯの顔の特徴部分、人物ＨＡＮＡＫＯの同特徴部分、人物ＪＩＲＯの同特徴部分、人物ＳＡＢＵＲＯの同特徴部分・・・・を抽出して、フォルダに分類するだけのものに過ぎないから、結局、各々のフォルダ内の画像、すなわち、ある人物が写った全ての画像しか表示できないものである。

したがって、上記の従来技術は、より一層高度な分類の仕組みを実現するという点で、未だ改善の余地がある。

そこで、本発明の目的は、より一層高度な分類の仕組みを実現した画像分類装置、画像分類方法及びプログラムを提供することにある。

請求項１に記載の発明に係る画像分類装置は、人物が写った複数の画像を入力する入力手段と、前記入力手段により入力された画像に写っている人物の顔写真を生成する顔写真生成手段と、前記顔写真から特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された特徴点に基づいて前記人物を特定する人物特定手段と、前記人物特定手段の特定結果に従って各人物ごとの出現回数を表す出現回数値を設定する出現回数値設定手段と、前記入力手段により入力された画像の各々に写っている人物の間において、一つの画像に一緒に写っている頻度が高いほど大きくなる、親しさの度合いを表す相関値を設定する相関値設定手段と、前記出現回数値設定手段により設定された出現回数値に基づいて前記顔写真の表示順を決定する顔写真表示順決定手段と、前記顔写真表示順決定手段によって表示順が決定された顔写真をその表示順で表示部に表示させる第１表示制御手段と、前記第１表示制御手段の制御により前記表示部に表示された顔写真の一つをユーザ操作に応答して選択する顔写真選択手段と、前記顔写真選択手段によって選択された顔写真に対応する人物の画像と、その人物との間の相関値がゼロを超える他の人物の画像とを前記入力手段により入力された画像の中から取り出して前記表示部に表示させる第２表示制御手段とを備えたことを特徴とする。
請求項２に記載の発明に係る画像分類装置は、請求項１記載の画像分類装置において、前記第２表示制御手段の制御によって表示部に表示された画像は、前記顔写真選択手段によって選択された顔写真に対応する人物を含む画像のサムネイルと、その人物との間の相関値がゼロを超える人物を含む他の画像のサムネイルとであることを特徴とする。
請求項３に記載の発明に係る画像分類方法は、人物が写った複数の画像を入力する入力手段と、前記入力手段により入力された画像に写っている人物の顔写真を生成する顔写真生成手段とを備えている画像分類装置に用いられる画像分類方法において、前記顔写真から特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップにより抽出された特徴点に基づいて前記人物を特定する人物特定ステップと、前記人物特定ステップの特定結果に従って各人物ごとの出現回数を表す出現回数値を設定する出現回数値設定ステップと、前記入力手段により入力された画像の各々に写っている人物の間において、一つの画像に一緒に写っている頻度が高いほど大きくなる、親しさの度合いを表す相関値を設定する相関値設定ステップと、前記出現回数値設定ステップにより設定された出現回数値に基づいて前記顔写真の表示順を決定する顔写真表示順決定ステップと、前記顔写真表示順決定ステップによって表示順が決定された顔写真をその表示順で表示部に表示させる第１表示制御ステップと、前記第１表示制御ステップの制御により前記表示部に表示された顔写真の一つがユーザ操作に応答して顔写真選択手段により選択されると、この選択された顔写真に対応する人物の画像と、その人物との間の相関値がゼロを超える他の人物の画像とを前記入力手段により入力された画像の中から取り出して前記表示部に表示させる第２表示制御ステップと、を備えたことを特徴とする。
請求項４に記載の発明に係るプログラムは、コンピュータに、人物が写った複数の画像を入力する入力手段と、前記入力手段により入力された画像に写っている人物の顔写真を生成する顔写真生成手段と、前記顔写真から特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された特徴点に基づいて前記人物を特定する人物特定手段と、前記人物特定手段の特定結果に従って各人物ごとの出現回数を表す出現回数値を設定する出現回数値設定手段と、前記入力手段により入力された画像の各々に写っている人物の間において、一つの画像に一緒に写っている頻度が高いほど大きくなる、親しさの度合いを表す相関値を設定する相関値設定手段と、前記出現回数値設定手段により設定された出現回数値に基づいて前記顔写真の表示順を決定する顔写真表示順決定手段と、前記顔写真表示順決定手段によって表示順が決定された顔写真をその表示順で表示部に表示させる第１表示制御手段と、前記第１表示制御手段の制御により前記表示部に表示された顔写真の一つをユーザ操作に応答して選択する顔写真選択手段と、前記顔写真選択手段によって選択された顔写真に対応する人物の画像と、その人物との間の相関値がゼロを超える他の人物の画像とを前記入力手段により入力された画像の中から取り出して前記表示部に表示させる第２表示制御手段とを実行させることを特徴とする。

本発明によれば、複数の画像に写っている人物間の親しさの度合いを定量的に把握することができ、より一層高度な分類の仕組みを実現した画像分類装置、画像分類方法及びプログラムを提供することができる。

以下、本発明の実施形態を、デジタルカメラへの適用を例にして、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

図１は、本実施形態の適用システムの一例を示すデジタルカメラの構成図である。この図において、デジタルカメラ１は、ＣＰＵ２やＲＯＭ３及びＲＡＭ４並びに不図示の各種周辺回路等を含む、典型的には１チップ化されたマイクロプロセッサからなる制御部５と、この制御部５を中心にして適宜に配置された、デジタルカメラに必要な、少なくとも、以下の各部を備えて構成されている。

ストロボ発光部６及びストロボ駆動部７は、制御部５からのコントロールにより、画像撮影時の明るさが不足するなどの特定条件下において、ストロボ発光部６から被写体８に向けて所定光量または被写体８までの距離に対応して調節された光量のストロボ光９を発光する。

撮像部１０は、撮影レンズや絞り機構、焦点合わせ機構（及び必要であればズーム機構）を含む光学系１１と、ＣＣＤセンサまたはＣＭＯＳセンサなどの二次元イメージセンサからなる撮像デバイス１２とで構成される。撮像部２１の動作（絞りの大きさやズーム倍率、つまり撮影画角αの調整並びに焦点合わせ、及び、撮像デバイス１２の露光並びに読み出し動作）は、制御部５からの撮影動作指示を受けた撮像制御部２４からのコントロールによって制御される。制御部５からの撮影動作指示は、撮影構図確認用（いわゆるスルー画像用）または動画撮影用の所定フレームレート（たとえば、毎秒数十乃至は数百枚のフレームレート）のフレーム画像読み出し動作指示、高解像度の静止画撮影動作指示、並びに、それらの動作に必要な絞り値設定やズーム倍率設定等の事前動作指示などを含む。

撮像部２１からは、上記の制御部５からの撮影動作指示に応答して、撮影構図確認用や動画用のフレーム画像が上記のフレームレートで周期的に読み出され、あるいは、高解像度の静止画フレーム画像が読み出される。これらのフレーム画像は、画像処理部１４において、デジタル信号に変換されると共に、所要の画像処理（たとえば、ガンマ補正処理等）が施された後、制御部５に取り込まれる。

操作部１５は、デジタルカメラ１のユーザ操作用入力インターフェースに必要な各種操作子、たとえば、電源スイッチ、画像撮影と画像再生のモード切替スイッチ、静止画撮影や動画撮影を行うためのシャッタボタン、各種設定メニューを表示するためのメニューボタン、そのメニュー項目を選択したり、画像再生モード時に再生を希望する画像を選択したりするための選択ボタン等を含む。

表示制御部１６は、制御部５から適宜に出力される様々な表示データ、たとえば、スルー画像用示データ、メニュー画面用表示データ、画像の再生画面用表示データなどを所定の表示形式に変換して、液晶ディスプレイなどの平面表示デバイスで構成された表示部１７に出力する。なお、この表示部１７は、タッチパネル１８付きのものであり、タッチ検出部１９は、タッチパネル１８への指またはペン等のタッチ座標を検出して、その検出結果を制御部５に出力する。

画像記憶部２０は、フラッシュメモリ、ハードディスクまたは光ディスク等の不揮発性（電源をオフにしてもその記憶内容を失わない）の大容量記憶装置によって構成されており、主に、このデジタルカメラ１で撮影された画像を蓄積保存するために用いられる。なお、蓄積保存される各画像は、たとえば、ＪＰＥＧ形式等の圧縮ファイル、または、非圧縮の生データファイル（いわゆるＲＡＷファイル）であり、また、それら画像の保存領域は、ファイルシステムにおけるルート直下であってもよいし、あるいは、そのルート直下に適宜に作成された１階層ないしは多階層構造のフォルダであってもよい。加えて、この画像記憶部２０は、固定型であってもよく、あるいは、デジタルカメラ１から取り外して、たとえば、不図示のパーソナルコンピュータに装着可能な汎用形式のメモリデバイスであってもよい。

外部インターフェース２１は、たとえば、ＵＳＢやＩＥＥＥ１３９４などの汎用プロトコルに対応したデータ入出力部であり、この外部インターフェース２１を介し、必要に応じて、不図示のパーソナルコンピュータ等との間で撮影済み画像の転送（画像記憶部２０に蓄積保存されている画像をパーソナルコンピュータに転送する）や読み込み（パーソナルコンピュータから画像記憶部２０に画像を読み込む）を行うことができるものである。

電源部２２は、充電式の二次電池あるいは使い捨て型の一次電池を含み、制御部５をはじめとした、デジタルカメラ１の各部の動作に必要な電源電圧を供給する。

次に、本実施形態におけるデジタルカメラ１の特有の動作について説明する。すなわち、本実施形態のデジタルカメラ１は、静止画や動画を撮影してその撮影画像を、たとえば、ＪＰＥＧ形式やＲＡＷ形式の画像ファイルで画像記憶部２０に蓄積保存することができると共に、その蓄積保存画像のうち所望の画像を選択して表示部１７に再生表示できる点で、他の公知のデジタルカメラと同様であるが、その画像再生の際に、画像記憶部２０に蓄積保存されている大量の画像のうち、特に人物が写った画像について、ある人物が写った全ての画像と、その人物と何らかの関係を有する他の人物が写った全ての画像とを抽出して一覧表示することができる点で、他の公知のデジタルカメラにない独自性を有している。

以下、この独自な点について説明する。
図２は、画像記憶部２０に蓄積保存されている大量の画像を示す図である。ただし、この図では、説明の簡単化のために、５枚の画像Ｐ１〜Ｐ５を代表的に示している。図において、左端の画像Ｐ１には二人の人物（人物Ａ、Ｂ）が写っており、左から２番目の画像Ｐ２には三人の人物（人物Ａ、Ｂ、Ｅ）が写っている。同様に、中央の画像Ｐ３には二人の人物（人物Ｃ、Ｄ）が写っており、右から２番目の画像Ｐ４には三人の人物（人物Ｅ、Ａ、Ｃ）が写っており、また、右端の画像Ｐ５には四人の人物（人物Ｂ、Ｃ、Ａ、Ｆ）が写っている。

ここで、図中の“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”、“Ｅ”、“Ｆ”は、それぞれ同一人物を示しており、したがって、これら５枚の画像Ｐ１〜Ｐ５には、全部で６人の人物（Ａ〜Ｆ）が写っている。

このような画像Ｐ１〜Ｐ５は、いわゆる集合写真ということができる。すなわち、画像Ｐ１は、人物Ａ、Ｂをある場所で一緒に撮影した集合写真ということができ、同様に、画像Ｐ２は、人物Ａ、Ｂ、Ｅをある場所で一緒に撮影した集合写真ということができる。同じく、画像Ｐ３は、人物Ｃ、Ｅをある場所で一緒に撮影した集合写真ということができ、また、画像Ｐ４は、人物Ｅ、Ａ、Ｃをある場所で一緒に撮影した集合写真ということができ、さらに、画像Ｐ５は、人物Ｂ、Ｃ、Ａ、Ｆをある場所で一緒に撮影した集合写真ということができる。

一般的に、集合写真においては、意識的に無関係な人物を一緒に写し込むことはなく、通常は何らかの関係を有する人物を１枚の写真に収める。したがって、上記の例示の画像Ｐ１〜Ｐ５に写っている各々の人物は、それらの画像Ｐ１〜Ｐ５ごとに互いに関連のある人物であるということができる。たとえば、一緒に観光地などを訪れた家族や友人等である。

さて、これら画像Ｐ１〜Ｐ５の全てを横断的に眺めると、人物Ａは画像Ｐ１、Ｐ２、Ｐ４、Ｐ５の４枚に写っており、人物Ｂは画像Ｐ１、Ｐ２、Ｐ５の３枚に写っている。同様に、人物Ｃは画像Ｐ２、Ｐ４、Ｐ５の３枚に写っており、人物Ｄは画像Ｐ３の１枚に写っている。さらに、人物Ｅは画像Ｐ２、Ｐ４の２枚に写っており、人物Ｆは画像Ｐ５の１枚に写っている。したがって、これらの人物Ａ〜Ｆは、お互いに、ある親しさの関係にある間柄である。この親しさの関係のことを相関ということにする。

図３は、相関のデータテーブル例を示す図である。このデータテーブル（以下、相関データテーブル２３）は、制御部５のＣＰＵ２からアクセス可能な記憶要素であって、その記憶内容が不揮発性かつ書き換え可能な、たとえば、画像記憶部２０に保持される。あるいは、制御部５のＲＡＭ４の記憶空間の一部または全てがバッテリバックアップされている場合には、そのバックアップ領域内に保持される。若しくは、制御部５にフラッシュメモリ等のプログラマブルメモリ（ＰＲＯＭ）が設けられている場合には、そのＰＲＯＭに保持される。いずれにせよ、この相関データテーブル２３は、制御部５のＣＰＵ２からアクセス可能で、且つ、その記憶内容が不揮発性しかも書き換え可能な任意の記憶要素に保持されていればよい。以下、説明の便宜上、画像記憶部２０に保持されるものとする。なお、画像記憶部２０に保持される場合、相関データテーブル２３の不可視属性をオンにしておくことが望ましい。不可視属性をオンにすると、ファイルリストに表示されないので誤削除を防止できる。

今後の便宜のために、人物Ａ〜Ｆの一人一人に対応するノードというものを定義する。つまり、ノードＡは人物Ａのノードであり、ノードＢは人物Ｂのノードである。同様に、ノードＣは人物Ｃのノードであり、ノードＤは人物Ｄのノードである。さらに、ノードＥは人物Ｅのノードであり、ノードＦは人物Ｆのノードである。
図３には、（ａ）、（ｂ）二つの状態の相関データテーブル２３が示されている。（ａ）はデータが入っていない空の状態、（ｂ）は、後述の図６の相関図の相関データが収められたデータ実装の状態である。まず、（ａ）の空状態のものを参照して相関データテーブル２３の構造を説明する。相関データテーブル２３は、ノードごとのレコードを備えており、各レコードは、ノード名フィールド２３ａ、顔写真フィールド２３ｂ、ノード値フィールド２３ｃ、リンク先ノード名フィールド群２３ｄなどを含む。さらに、リンク先ノード名フィールド群２３ｄは、全てのノードに対応した個別ノード名フィールド２３ｄ−１、２３ｄ−２、２３ｄ−３、２３ｄ−４、２３ｄ−５、２３ｄ−６・・・・を含む。

ノード名フィールド２３ａには、そのノードの名称（機械的に生成された文字列またはユーザによって任意に入力された文字列）が格納され、顔写真フィールド２３ｂには、そのノードに対応する人物の顔写真（後述の図５の顔認識処理；ステップＳ５によって抽出された画像）が格納される。また、ノード値フィールド２３ｃには、そのノードに対応する人物の出現回数が格納され、リンク先ノード名フィールド群２３ｄの各々の個別ノード名フィールド２３ｄ−１、２３ｄ−２、２３ｄ−３、２３ｄ−４、２３ｄ−５、２３ｄ−６・・・・には、全てのノードのノード名称が格納される。

ノード名フィールド２３ａと、リンク先ノード名フィールド群２３ｄの各個別ノード名フィールド２３ｄ−１、２３ｄ−２、２３ｄ−３、２３ｄ−４、２３ｄ−５、２３ｄ−６・・・・との交点のうち、同一ノード名同士の交点（斜線入りの交点）を除く各交点は、「相関値」を格納するためのエリアである。すなわち、これらの交点には、ノードのリンクの数、したがって、その二つのノードに対応する人物同士の親しさを表す「相関値」が格納される。

次に、相関データテーブル２３のデータ実装例を説明する。（ｂ）のデータ実装状態において、第１レコードＲ１から第６レコードＲ６のそれぞれのノード名フィールドには、“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”、“Ｅ”、“Ｆ”が格納されており、これらの格納データは、後述の図６の相関図におけるノード名（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）である。すなわち、これらの格納データは、前出の図２における画像Ｐ１〜Ｐ５に写っている各人物の便宜的識別名（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）に相当する。

また、第１レコードＲ１から第６レコードＲ６のそれぞれの顔写真フィールドには、人物Ａの顔写真２４ａ、人物Ｂの顔写真２４ｂ、人物Ｃの顔写真２４ｃ、人物Ｄの顔写真２４ｄ、人物Ｅの顔写真２４ｅ、人物Ｆの顔写真２４ｆが格納されている。

また、第１レコードＲ１のノード値フィールドには、人物Ａの出現回数であるノードＡのノード値（“４”）が格納され、第２レコードＲ２のノード値フィールドには、人物Ｂの出現回数であるノードＢのノード値（“３”）が格納されている。以下同様に、第３レコードＲ３のノード値フィールドには、人物Ｃの出現回数であるノードＣのノード値（“３”）が格納され、第４レコードＲ４のノード値フィールドには、人物Ｄの出現回数であるノードＤのノード値（“１”）が格納され、第５レコードＲ５のノード値フィールドには、人物Ｅの出現回数であるノードＥのノード値（“２”）が格納され、第６レコードＲ６のノード値フィールドには、人物Ｆの出現回数であるノードＦのノード値（“１”）が格納されている。

そして、ノード名フィールド２３ａと、リンク先ノード名フィールド群２３ｄの各個別ノード名フィールド２３ｄ−１、２３ｄ−２、２３ｄ−３、２３ｄ−４、２３ｄ−５、２３ｄ−６・・・・との交点のうち、同一ノード名同士の交点（斜線入りの交点）を除く各交点には、それぞれ二つのノードに対応する人物同士の親しさを表す「相関値（＝リンク数）」が格納されている。すなわち、ノード名Ａとそのリンク先ノード名Ｂの交点には、それらのノードＡ、Ｂ間のリンクの数、したがって、人物Ａと人物Ｂの親しさの度合いを表す「相関値＝“３”」が格納されており、また、ノード名Ａとそのリンク先ノード名Ｃの交点には、それらのノードＡ、Ｃ間のリンクの数、したがって、人物Ａと人物Ｃの親しさの度合いを表す「相関値＝“２”」が格納されている。

以下同様に、ノード名Ａとそのリンク先ノード名Ｄの交点には、それらのノードＡ、Ｄ間のリンクの数（この場合は０）、したがって、人物Ａと人物Ｄの親しさの度合いを表す「相関値＝“０”」が格納されており、ノード名Ａとそのリンク先ノード名Ｅの交点には、それらのノードＡ、Ｅ間のリンクの数、したがって、人物Ａと人物Ｅの親しさの度合いを表す「相関値＝“２”」が格納されており、ノード名Ａとそのリンク先ノード名Ｆの交点には、それらのノードＡ、Ｆ間のリンクの数、したがって、人物Ａと人物Ｆの親しさの度合いを表す「相関値＝“１”」が格納されている。

なお、説明を省略するが、第２〜第６レコードＲ２〜Ｒ６についても同様に、それぞれ二つのノードに対応する人物同士の親しさを表す「相関値」が格納されている。

親しさの度合いは、相関値＝“０”が最低（親しさの関係が全くない）であり、以降、“１”、“２”、“３”、“４”・・・・と相関値が大きくなるにつれて、親しさの度合いが増していく。したがって、親しい関係にある人物同士とは、相関値がゼロを超える二つのノード（リンク元ノードとリンク先ノード）の各々に対応した人物同士のことを意味する。たとえば、第１レコードＲ１に注目すると、リンク元ノードＡ（人物Ａ）の相関値は、それぞれ、リンク先ノードＢで“３”、リンク先ノードＣで“２”、リンク先ノードＤで“０”、リンク先ノードＥで“２”、リンク先ノードＢで“１”となっているので、人物Ａに対して親しい関係にある人物は、相関値がゼロを超える人物Ｂ、Ｃ、Ｅ、Ｆ（言い換えれば相関値ゼロの人物Ｄ以外の人物）であり、且つ、その親しさの度合いの順位は、人物Ｂ＞人物ＣまたはＥ＞人物Ｆとなる。このことは、前出の画像Ｐ１〜Ｐ５から明らかである。これらの画像Ｐ１〜Ｐ５において、人物Ａと一緒に写っている人物は、人物Ｄ以外の人物Ｂ、Ｃ、Ｅ、Ｆであるからであり、しかも、人物Ａと人物Ｂが一緒に写っている回数が３回（相関値＝“３”）、人物Ａと人物Ｃが一緒に写っている回数が２回（相関値＝“２”）、人物Ａと人物Ｅが一緒に写っている回数が２回（相関値＝“２”）、人物Ａと人物Ｆが一緒に写っている回数が１回（相関値＝“１”）であるからである。

図４は、画像リストテーブル２５の一例を示す図である。この画像リストテーブル２５は、各ノードごとに、そのノードに対応した人物が写った画像ファイル名をリストアップするためのテーブルである。すなわち、前出の図２の画像Ｐ１〜Ｐ５を例にすれば、人物Ａ（ノードＡ）は、四つの画像Ｐ１、Ｐ２、Ｐ４、Ｐ５に写っているので、そのノードＡに関連付けして、それらの画像ファイル名（“Ｐ１”、“Ｐ２”、“Ｐ４”、“Ｐ５”）を格納する。また、人物Ｂ（ノードＢ）は、三つの画像Ｐ１、Ｐ２、Ｐ５に写っているので、そのノードＢに関連付けして、それらの画像ファイル名（“Ｐ１”、“Ｐ２”、“Ｐ５”）を格納する。

以下同様にして、人物Ｃ（ノードＣ）は、三つの画像Ｐ３、Ｐ４、Ｐ５に写っているので、そのノードＣに関連付けして、それらの画像ファイル名（“Ｐ３”、“Ｐ４”、“Ｐ５”）を格納し、人物Ｄ（ノードＤ）は、一つの画像Ｐ３に写っているので、そのノードＤに関連付けして、その画像ファイル名（“Ｐ３”）を格納し、人物Ｅ（ノードＥ）は、二つの画像Ｐ２、Ｐ４に写っているので、そのノードＥに関連付けして、それらの画像ファイル名（“Ｐ２”、“Ｐ４”）を格納し、人物Ｆ（ノードＦ）は、一つの画像Ｐ５に写っているので、そのノードＦに関連付けして、その画像ファイル名（ “Ｐ５”）を格納する。

なお、画像リストテーブル２５に格納する“ファイル名”は、画像記憶部２０内の画像ファイルの物理的な格納位置を表すリンク情報であり、たとえば、ドライブ番号やフォルダ名を含むフルパス付きファイル名とすることができる。

図５は、相関データテーブル２３及び画像リストテーブル２５に所要のデータを登録するための動作プログラム（以下単にプログラムという。）の概略フローチャートである。このプログラムは、制御部５のＲＯＭ３に予め格納されており、必要に応じて、ＲＡＭ４に読み出され、ＣＰＵ２によって実行される。なお、図示のフローチャートは、相関データテーブル２３や画像リストテーブル２５に所要のデータを登録できることを立証するための単なる一例に過ぎず、当然ながら、このフローチャートの構造から本件発明の外縁を把握してはならない。

このプログラムを開始すると、まず、画像記憶部２０に蓄積保存されている画像ファイルの総数（ｎ）を取得する（ステップＳ１）。なお、一般的に写真を数える際の単位は「枚」であるので、総数（ｎ）を枚数（ｎ）と読み替えても構わない。次いで、ｎ＝０であるか否かを判定する（ステップＳ２）。ｎ＝０の場合、画像記憶部２０に画像が全く保存されていないので、プログラムを終了する。

ｎ＝０でない場合は、画像記憶部２０に１枚またはそれ以上の数（ｎ）の画像が保存されているものと判断して、画像カウンタｉを１に初期化し（ステップＳ３）、ｉ枚目の画像を画像記憶部２０から読み込む（ステップＳ４）。今、ｉは初期値の１であるから、この段階では１枚目の画像を画像記憶部２０から読み込むことになる。便宜的に１枚目の画像を図２の画像Ｐ１とする。すなわち、二人の人物Ａ、Ｂが写った画像Ｐ１とする。

次に、この画像Ｐ１に対して顔認識処理を実行する（ステップＳ５）。ここで、顔認識処理とは、画像内に人間の顔の部分が写っているか否かを判定し、写っている場合に、その顔の部分を顔画像（図３の顔写真２４ａ〜２４ｆとして登録される画像）として切り出す処理のことをいう。たとえば、画像内の所定サイズの肌色エリアを顔部分として認識する。

このようにして、画像Ｐ１に対する顔認識処理を実行すると、次いで、認識された顔の数（ｊｍａｘ）をセットし（ステップＳ６）、ｊｍａｘ＝０であるか否かを判定する（ステップＳ７）。ｊｍａｘ＝０の場合、その画像には人物が写っていない（つまり、風景写真等の画像である）と判断し、ｉ＝ｎであるか否か、すなわち、画像カウンタｉが、画像記憶部２０に蓄積保存されている画像ファイルの総数（ｎ）に達したか否かを判定する（ステップＳ１７）。そして、達していればプログラムを終了し、達していなければ、画像カウンタｉを＋１し（ステップＳ１８）、上記のステップＳ４に復帰する。

ここで、画像Ｐ１には、二人の人物Ａ、Ｂが写っている。したがって、この画像Ｐ１に対して顔認識処理を実行した結果、ｊｍａｘには人物Ａ、Ｂの数、すなわち“２”がセットされる。このため、ステップＳ７の判定結果が“ＮＯ”となるので、次に、ノード変数ｊを１に初期化（ステップＳ８）し、ｊ番目の顔の識別を行う。

顔の識別とは、先のステップＳ５で切り出しておいた顔画像の特徴点に基づいて、各人物を特定する処理のことである。この識別技術については、既に多種多様な技術が知られている。たとえば、特開平７−１２８０３１号公報には、人物の顔の特徴点（目や鼻、口など）を抽出する技術が記載されており、また、特開平５−２６６１７３号公報などにも、人物の顔の特徴点の抽出技術が記載されているから、これらの技術を単独で、または組み合わせて用いてもよい。

ステップＳ９でｊ番目の顔の識別を完了すると、次に、そのｊ番目の顔が作成済みのノードとして、相関データテーブル２３に既に登録されているか否かを判定する（ステップＳ１０）。今、ｉ＝１且つｊ＝１であるので、この段階の判定対象の顔は、画像Ｐ１の１番目の顔である。便宜的に、この顔を人物Ａの顔であるとすると、この場合は、相関データテーブル２３にノードＡ（人物Ａ）が登録済みであるか否かを判定する。そして、この段階では、まだ、相関データテーブル２３にノードＡ（人物Ａ）が登録されていないので、新ノードを作成する（ステップＳ１１）。すなわち、相関データテーブル２３に第１レコードを新規追加し、そのノード名フィールドに“Ａ”を登録すると共に、その顔写真フィールドに人物Ａの顔写真２４ａを登録し（ステップＳ１２）、且つ、画像リストテーブル２５に新規レコードを追加して、そのノード名に“Ａ”を、また、その登録画像リストに画像Ｐ１のファイル名（“Ｐ１”）を登録（ステップＳ１３）した後、そのノード値を＋１する（ステップＳ１４）。

このように、ステップＳ１０で、ｊ番目の顔が作成済みのノードとして相関データテーブル２３に既に登録されているか否かを判定して、登録済みでなければ、ステップＳ１１で新ノードを作成し、ステップＳ１２で顔写真登録を行うが、ステップＳ１０で、ｊ番目の顔が作成済みのノードであると判定された場合は、これらのステップＳ１１やステップＳ１２をパスして、ステップＳ１４で、そのノード値を＋１する。

次いで、所定のフラグに１がセットされているか否かを判定する（ステップＳ１５）。このフラグは、後述するように、一つの画像内に二人以上の人物の顔が写っているときに１にセットされるものである。ただし、現段階では、まだフラグに１がセットされていない。したがって、ステップＳ１５の判定結果は“ＮＯ”である。次いで、ｊ＝ｊｍａｘであるか否かを判定する（ステップＳ１６）。今、画像Ｐ１の人物Ａの顔を処理しており、ｊ＝１である。これに対して、ｊｍａｘには、画像Ｐ１の二人の人物Ａ、Ｂに対応した“２”がセットされているので、ステップＳ１６の判定結果は“ＮＯ”となり、先に説明したフラグに１をセットし（ステップＳ１９）、ｊを＋１（ステップＳ２０）した後、ステップＳ９に復帰する。

これにより、ステップＳ２０で、画像Ｐ２の二人目の人物（人物Ｂ）に対する顔の識別が行われる。そして、この人物Ｂのノードも未登録であるので、ステップＳ１１でノードを作成する。すなわち、相関データテーブル２３に第２レコードを新規追加し、そのノード名フィールドに“Ｂ”を登録すると共に、その顔写真フィールドに人物Ｂの顔写真２４ｂを登録し（ステップＳ１２）、且つ、画像リストテーブル２５に新規レコードを追加して、そのノード名に“Ｂ”を、また、その登録画像リストに画像Ｐ１のファイル名（“Ｐ１”）を登録した後、そのノード値を＋１する（ステップＳ１４）。

次に、フラグに１がセットされているので、ステップＳ１５の判定結果が“ＹＥＳ”となり、先に登録したノードＡとノードＢのノード間の相関値を＋１する（ステップＳ２１）。すなわち、この場合は、図３の相関データテーブル２３の第１レコードＲ１のノード名Ａとリンク先ノード名Ｂとの交点に相関値＝１をセットすると共に、第２レコードＲ２のノード名Ｂとリンク先ノード名Ａとの交点に相関値＝１をセットする。なお、図３の相関データテーブル２３のこれらの交点には相関値＝３がセットされているが、この相関値＝３は画像Ｐ１〜Ｐ５の全てに対する処理を完了した後の最終的な値である。画像Ｐ１を処理している途中の段階では、まだ、相関値＝１である。

相関値をセットすると、次に、フラグをリセット（フラグ＝０）（ステップＳ２２）した後、ｉ＝ｎであるか否か、すなわち、画像カウンタｉが、画像記憶部２０に蓄積保存されている画像ファイルの総数（ｎ）に達したか否かを判定する（ステップＳ１７）。そして、達していればプログラムを終了し、達していなければ、画像カウンタｉを＋１し（ステップＳ１８）、上記のステップＳ４に復帰する。

以上の説明は、図２の５つの画像のうち最初の画像Ｐ１（つまり、二人の人物Ａ、Ｂが写った画像Ｐ１）に対する処理である。この処理を完了した段階で、相関データテーブル２３に人物Ａ、Ｂのノード（ノードＡ、Ｂ）が作成され、且つ、それぞれのノード値に“１”がセットされると共に、それらのリンク先ノードとの交点に相関値＝１がセットされる。加えて、画像リストテーブル２５にノードＡとノードＢのレコードが追加され、それらのレコードに画像Ｐ１のファイル名（“Ｐ１”）が登録される。

そして、画像カウンタｉを＋１して、以上のステップＳ４〜ステップＳ２２を繰り返す度に、画像Ｐ２（つまり、三人の人物Ａ、Ｂ、Ｅが写った画像Ｐ２）に対する処理、画像Ｐ３（つまり、二人の人物Ｃ、Ｄが写った画像Ｐ３）に対する処理、画像Ｐ４（つまり、三人の人物Ｅ、Ａ、Ｃが写った画像Ｐ４）に対する処理、及び、画像Ｐ５（つまり、四人の人物Ｂ、Ｃ、Ａ、Ｆが写った画像Ｐ５）に対する処理が逐次に行われる。

したがって、最終的には、前出の図３に示すように、相関データテーブル２３に全ての人物Ａ〜Ｆのノード（ノードＡ〜Ｆ）が作成され、且つ、それぞれのノード値に“４”、“３”、“３”、“１”、“２”、“１”がセットされると共に、それらのリンク先ノードとの交点に適切な「相関値」がセットされる。加えて、前出の図４に示すように、画像リストテーブル２５に全てのノードＡ〜Ｆのレコードが追加され、それらのレコードに画像Ｐ１〜Ｐ５のファイル名（“Ｐ１”〜“Ｐ５”）が登録される。

図６は、このようにして得られた「相関」をグラフ化したのものである。従って、図６は、画像Ｐ１〜Ｐ５における人物Ａ〜Ｆの相関を示す図となっている。この図において、楕円はノードであり、各々のノードは人物Ａ〜Ｆの一人一人に対応する。つまり、楕円内にＡを記したノードは人物Ａのノードであり、楕円内にＢを記したノードは人物Ｂのノードである。同様に、楕円内にＣを記したノードは人物Ｃのノードであり、楕円内にＤを記したノードは人物Ｄのノードである。さらに、楕円内にＥを記したノードは人物Ｅのノードであり、楕円内にＦを記したノードは人物Ｆのノードである。

各ノード内の数字は、画像Ｐ１〜Ｐ５において、その人物が出現した回数を示す。つまり、上記のとおり、人物Ａは画像Ｐ１、Ｐ２、Ｐ４、Ｐ５の４枚に写っており、人物Ｂは画像Ｐ１、Ｐ２、Ｐ５の３枚に写っており、人物Ｃは画像Ｐ２、Ｐ４、Ｐ５の３枚に写っており、人物Ｄは画像Ｐ３の１枚に写っており、人物Ｅは画像Ｐ２、Ｐ４の２枚に写っており、人物Ｆは画像Ｐ５の１枚に写っているのであるから、それぞれの人物の出現回数は、人物Ａ＝４回、人物Ｂ＝３回、人物Ｃ＝３回、人物Ｄ＝１回、人物Ｅ＝２回、人物Ｆ＝１回となる。

ノード間を結ぶ線（以下、リンク）は、画像Ｐ１〜Ｐ５の各々において、その画像に一緒に写っている人物同士であることを示す。すなわち、画像Ｐ１においては、二人の人物Ａ、Ｂが一緒に写っているので、それらの人物Ａ、Ｂの各ノード間にリンクが引かれており、同様に、画像Ｐ２においては、三人の人物Ａ、Ｂ、Ｅが一緒に写っているので、それらの人物Ａ、Ｂ、Ｅの各ノード間にリンクが引かれている。さらに、画像Ｐ３においては、二人の人物Ｃ、Ｄが一緒に写っているので、それらの人物Ｃ、Ｄの各ノード間にリンクが引かれており、画像Ｐ４においては、三人の人物Ｅ、Ａ、Ｃが一緒に写っているので、それらの人物Ｅ、Ａ、Ｃの各ノード間にリンクが引かれており、画像Ｐ５においては、四人の人物Ｂ、Ｃ、Ａ、Ｆが一緒に写っているので、それらの人物Ｂ、Ｃ、Ａ、Ｆの各ノード間にリンクが引かれている。

各々のリンク上の四角図形内に記されている数字は、上記のようにして引かれたリンクの数を示しており、この数字（リンクの数）は、そのリンクの二つのノードに対応する人物同士の親しさを表す「相関値」である。

この相関値は、画像Ｐ１〜Ｐ５において、それらの人物が一緒に写っている回数を表しており、一般的にその回数が多いほど、たとえば、観光地等に一緒に出かける頻度が高く、したがって、親しさの度合いが高いものといえるから、この相関値（各々のリンク上の四角図形内に記されている数字）によって、人物間の親しさの度合いを直接的に表すことができる。

たとえば、図６の相関図においては、人物Ａと人物Ｂの間の相関値が「３」となっており、また、人物Ａと人物Ｃの間、及び、人物Ａと人物Ｅの間の相関値が各々「２」となっており、残りの他の相関値が全て「１」となっている。したがって、これらの相関値より、人物Ａと人物Ｂの親しさが最大で、人物Ａと人物Ｅの親しさがそれに次ぎ、残りの人物間の親しさが最低であることが分かる。

このように、図６の相関図を参照することにより、画像Ｐ１〜Ｐ５に写っている人物Ａ〜Ｆの間の親しさの度合いを定量的に把握することができる。
本実施形態では図６に示した相関図を表示部に表示することでユーザに対し、集合写真に写った人物間の親しさをわかりやすく示すことができる。図６では各ノードは楕円と人物名で示されているが、この楕円部分に各人物の顔画像を表示することも可能である。

さらに本実施形態は、このようにして作成された相関データテーブル２３や画像リストテーブル２５を利用して、より一層高度な画像分類の仕組みをも実現する。好ましくは、人物が写った大量の画像の中から、ある人物が写った全ての画像と、その人物と何らかの関係を有する他の人物が写った全ての画像とを抽出して一覧表示できるようにする。

以下、その具体例について説明する。
図７は、本実施形態における画像分類のユーザインターフェース画面の一例を示す図である。この図において、登録顔写真一覧画面２６、関連写真一覧画面２７、及び、拡大写真画面２８は、いずれも、必要に応じて、デジタルカメラ１の表示部１７（図１参照）に表示される高度な画像分類のためのユーザインターフェース画面である。

まず、登録顔写真一覧画面２６について説明する。この登録顔写真一覧画面２６は、デジタルカメラ１の操作部１５において、所定のボタン操作を行ったときに表示部１７に表示される。すなわち、画像再生モードを選択して、当該モード用の不図示のメニュー画面を表示させ、且つ、そのメニュー画面中の、たとえば、「人物相関分類表示」などといったメニュー項目を選択した際に表示される。

図示の登録顔写真一覧画面２６には、複数の人物の顔写真が表示されている。これらの顔写真は、前出の図３の相関データテーブル２３の顔写真フィールドに格納されている顔写真であり、図３の実際のデータに従えば、人物Ａの顔写真２４ａ、人物Ｂの顔写真２４ｂ、人物Ｃの顔写真２４ｃ、人物Ｄの顔写真２４ｄ、人物Ｅの顔写真２４ｅ、人物Ｆの顔写真２４ｆである。また、各々の顔写真の上には、ノード名Ａ〜Ｆ（人物名でもある）が識別のために表示されており、これらのノード名は、前出の図３の相関データテーブル２３のノード名フィールドに格納されているデータである。さらに、登録顔写真一覧画面２６の下隅には、終了ボタン２６ａと関連写真表示ボタン２６ｂが表示されており、終了ボタン２６ａを押す（タッチパネル１７のタッチ操作のことであるが、便宜的に「押す」と表現する；以下同様）と、この登録顔写真一覧画面２６を閉じて、元の画面（たとえば、メニュー画面）に復帰するようになっている。

また、関連写真表示ボタン２６ｂを押すと、黒く縁取りされた選択中の顔写真に関連する関連写真一覧画面２７を表示する。今、登録顔写真一覧画面２６における選択中の顔写真が人物Ａの顔写真２４ａであったとすると、関連写真一覧画面２７には、人物Ａに関連する全ての画像のサムネイルが表示される。すなわち、前出の画像Ｐ１〜Ｐ５を例にすれば、これらの画像Ｐ１〜Ｐ５のうち人物Ａに関連する画像は、Ｐ１、Ｐ２、Ｐ４、Ｐ５であるから、これら四つの画像Ｐ１、Ｐ２、Ｐ４、Ｐ５のサムネイルが表示される。

かかるサムネイルの表示は、前出の図４に示す画像リストテーブル２５に基づくものである。すなわち、この画像リストテーブル２５のノードＡ（人物Ａ）のレコードには、その登録画像としてファイル名Ｐ１、Ｐ２、Ｐ４、Ｐ５がリストアップされているので、これらのファイル名を手がかりにして、該当する画像Ｐ１、Ｐ２、Ｐ４、Ｐ５を画像記憶部２０から読み出し、それぞれのサムネイルを作成して、関連写真一覧画面２７に表示するのである。なお、画像記憶部２０に画像Ｐ１、Ｐ２、Ｐ４、Ｐ５と一緒にそれらのサムネイルが保存されていれば、すなわち、画像Ｐ１、Ｐ２、Ｐ４、Ｐ５がサムネイル付きのものであれば、それらのサムネイルを読み出して、関連写真一覧画面２７に表示してもよい。

関連写真一覧画面２７の下隅には、戻るボタン２７ａと拡大表示ボタン２７ｂが表示されており、戻るボタン２７ａを押すと、この関連写真一覧画面２７を閉じて登録顔写真一覧画面２６に復帰するようになっている。また、拡大表示ボタン２７ｂを押すと、黒く縁取りされた選択中のサムネイルの元画像を画像記憶部２０から読み出し、拡大写真画面２８に表示するようになっている。たとえば、選択中のサムネイルが、画像Ｐ１のサムネイルであったとすると、この場合、拡大写真画面２８には、画像記憶部２０から読み出された画像Ｐ１が拡大表示される。

なお、拡大表示とは、拡大写真画面２８の有効表示領域一杯になるように、画像Ｐ１のサイズを調節して表示することをいい、このサイズ調節は必ずしも“拡大”方向のみに限らない。元画像（画像Ｐ１）の画素数が拡大写真画面２８の有効表示領域の画素数よりも大きい場合は、元画像（Ｐ１）のサイズを縮小して拡大写真画面２８の有効表示領域に収まるように調節することもあるからである。

なお、拡大写真画面２８の有効表示領域とは、この拡大写真画面２８の全表示領域の内、たとえば、関連写真一覧画面２７に復帰するための戻るボタン２８ａの表示エリアなどを除いた残りの領域のことをいい、要するに、実質的に利用可能な画像の表示領域のことをいう。

図８は、登録顔写真一覧画面２６、関連写真一覧画面２７及び拡大写真画面２８の表示動作プログラムの概略フローチャートである。このプログラムも、前出の図５のプログラムと同様に、制御部５のＲＯＭ３に予め格納されており、必要に応じて、ＲＡＭ４に読み出され、ＣＰＵ２によって実行される。なお、図５と同様に、このプログラムも、登録顔写真一覧画面２６、関連写真一覧画面２７及び拡大写真画面２８の表示動作を立証するための単なる一例に過ぎず、当然ながら、このプログラムの構造から本件発明の外縁を把握してはならない。

このプログラムは、デジタルカメラ１の操作部１５によって、画像再生モードを選択して、当該モード用の不図示のメニュー画面を表示部１７に表示させ、且つ、そのメニュー画面中の、たとえば、「人物相関分類表示」などといったメニュー項目を選択した際に、ＣＰＵ２で実行される。

このプログラムを開始すると、まず、登録顔写真一覧画面２６を表示する（ステップＳ３１）。そして、顔写真の選択（ステップＳ３２）を経た後、その選択された顔写真の関連写真を一覧表示するか否かを判定する（ステップＳ３３）。この判定は、登録顔写真一覧画面２６の関連写真表示ボタン２６ｂが押されたか否かで行われる。押されなかった場合は、終了ボタン２６ａの操作を判定し（ステップＳ３４）、終了ボタン２６ａが操作された場合はプログラムを終了する。

登録顔写真一覧画面２６の関連写真表示ボタン２６ｂが押された場合は、次に、選択中の顔写真（便宜的に人物Ａの顔写真２４ａ）に関連する全ての画像（画像Ｐ１、Ｐ２、Ｐ４、Ｐ５）のサムネイルを関連写真一覧画面２７に表示し（ステップＳ３５）、次いで、サムネイルの選択（ステップＳ３６）を経た後、その選択されたサムネイルの元画像（画像Ｐ１）を拡大表示するか否かを判定する（ステップＳ３７）。この判定は、関連写真一覧画面２７の拡大表示ボタン２７ｂが押されたか否かで行われる。押されなかった場合は、戻るボタン２７ａの操作を判定し（ステップＳ３８）、戻るボタン２７ａが操作された場合はステップＳ３２に復帰し、操作されなかった場合は、ステップＳ３６に復帰する。

以上のとおり、図８のプログラムによれば、登録顔写真一覧画面２６を表示して、その登録顔写真一覧画面２６に、図３の相関データテーブル２３に登録されている各ノードの顔写真（人物Ａ〜Ｆの顔写真２４ａ〜２４ｆ）を一覧表示することができる。そして、画像記憶部２０に保存されている全画像の中から、所望の人物、たとえば、人物Ａが写ったすべての画像を抽出したい場合は、登録顔写真一覧画面２６に表示されている人物Ａの顔写真２４ａを選択し、関連写真表示ボタン２６ｂを押すという簡単な操作を実行するだけで、関連写真一覧画面２７に、人物Ａが写ったすべての画像（Ｐ１、Ｐ２、Ｐ４、Ｐ５）のサムネイルを表示することができる。

したがって、画像記憶部２０に大量の画像が保存されていたとしても、きわめて簡単な操作で、それらの画像の中から、ある人物が写った全ての画像を一覧表示することができるという従来技術にない格別独自性のある画像分類技術を提供することができる。また、希望の人物選択は、もっぱら顔写真２４ａ〜２４ｆを見ながら直感的に行うことができるので、操作ミスが少なく、誰でも容易に使いこなせるというメリットもある。

さらに、登録顔写真一覧画面２６への顔写真２４ａ〜２４ｆの表示順を、それら顔写真２４ａ〜２４ｆの元になっている人物Ａ〜Ｆの出現回数（つまりノード値）に従って降順ソートで行うようにすれば、出現回数の多い人物の顔写真から順に表示されるので、具体的には、人物Ａ（出現回数４）の顔写真２４ａ→人物Ｂ（出現回数３）の顔写真２４ｂ→人物Ｃ（出現回数３）の顔写真２４ｃ→人物Ｅ（出現回数２）の顔写真２４ｅ→人物Ｄ（出現回数１）の顔写真２４ｄ→人物Ｆ（出現回数１）の顔写真２４ｆの順に表示されるので、所望の人物を見つけ出しやすくなり、より一層の操作性向上を望めるから好ましい。

また、同様に、関連写真一覧画面２７へのサムネイルの表示も相関性の高い順番にしてもよい。たとえば、人物Ａに関連する画像Ｐ１、Ｐ２、Ｐ４、Ｐ５のサムネイルを表示する場合、単に、画像記憶部２０からの読み出し順（Ｐ１→Ｐ２→Ｐ４→Ｐ５）に従って機械的に表示するのではなく、その人物との関連性（相関値）の順番で表示してもよい。たとえば、その人物を人物Ａとした場合、人物Ａとの関連性が高い人物Ｂ（相関値＝３）が写った画像Ｐ１、Ｐ２、Ｐ５のサムネイルを最初の方に表示し、人物Ａとの関連性が低い人物Ｃ、Ｅ（相関値＝２）が写った画像Ｐ４、Ｐ５のサムネイルを後の方に表示してもよい。ちなみに、ここでは、高々５枚の少ない画像Ｐ１、Ｐ２、Ｐ４、Ｐ５しか例にしていないため、なかなか実感が湧かないが、数百またはそれ以上の大量のサムネイルを表示する場合には、かかる表示順の工夫は大きな効果が期待される。

なお、以上の実施形態は、人物が写った大量の画像の中から、ある人物が写った全ての画像と、その人物と何らかの関係を有する他の人物が写った全ての画像とを抽出して一覧表示するようにしたものであるが、これに限定されない。かかる実施の形態を変形し、または、発展させた様々な態様が含まれる。

次に説明するものは、その第１の態様を示すものであり、前出の図６の相関図を発展させてノード（人物）のグルーブ化を行うようにしたものである。

図９は、第１の態様に係る相関図である。この図において、楕円は人物一人一人に対応するノードであり、全てのノードにはノード名（便宜的にＮａ、Ｎｂ・・・・Ｎｐ）が記されている。なお、この図では省略しているが、前出の相関図（図６）と同様に、全てのノードには、そのノードに対応する人物の出現回数（ノード値）が記されている。

ノード間を結ぶ線はリンクである。この図では省略しているが、前出の相関図（図６）と同様に、それらのリンク上にはリンクの数、つまり、そのリンクの二つのノードに対応する人物同士の親しさを表す「相関値」が記されている。

さて、この第１の態様に係る相関図において、ノードＮａ、Ｎｂ、Ｎｃ、Ｎｄ、Ｎｅ、Ｎｆ、Ｎｇ、Ｎｈの間には互いを結ぶ、少なくとも１本以上のリンクが引かれており、また、ノードＮｇ、Ｎｈ、Ｎｉ、Ｎｊの間にも互いを結ぶ、少なくとも１本以上のリンクが引かれている。さらに、ノードＮａ、Ｎｋ、Ｎｌ、Ｎｍ、Ｎｎの間にも互いを結ぶ、少なくとも１本以上のリンクが引かれており、同様に、ノードＮｄ、Ｎｏ、Ｎｐの間にも互いを結ぶ、少なくとも１本以上のリンクが引かれている。

このように、全てのノード間で、互いを結ぶ、少なくとも１本以上のリンクが引かれているノードの集合を「グループ」ということにすると、図示の例では、ノードＮａ、Ｎｂ、Ｎｃ、Ｎｄ、Ｎｅ、Ｎｆ、Ｎｇ、Ｎｈをメンバ（構成員）とする第１のグループＧ１と、ノードＮｇ、Ｎｈ、Ｎｉ、Ｎｊをメンバとする第２のグループＧ２と、ノードＮａ、Ｎｋ、Ｎｌ、Ｎｍ、Ｎｎをメンバとする第３のグループＧ３と、ノードＮｄ、Ｎｏ、Ｎｐをメンバとする第４のグループＧ４とが形成されている。

第１〜第４のグループＧ１〜Ｇ４の各々のメンバは、そのグループ内で互いに、少なくとも１本以上のリンクで結ばれているから、グループ内のメンバ同士は、そのリンクの数（つまり、相関値）で度合いが表される親密な関係を有している。

したがって、上記の「グループ」は、大量の画像の各々に写っている人物の間に設定される相関値がゼロを超える人物同士をまとめたものということができる。

加えて、第１〜第４のグループＧ１〜Ｇ４の一部のメンバは、複数のグループのメンバでもある。たとえば、第１のグループＧ１のメンバＮａは、第３のグループＧ３のメンバでもあり、同様に、第１のグループＧ１のメンバＮｇ、Ｎｈは、第２のグループＧ２のメンバでもある。さらに、第１のグループＧ１のメンバＮｄは、第４のグループＧ４のメンバでもある。したがって、第１〜第４のグループＧ１〜Ｇ４は、一部のメンバを介して相互に関係している。

第１の態様では、図９に示したグループ化図を表示部に表示することでユーザに対し、集合写真に写った人物間のグループ構成をわかりやすく示すことができる。図９では各ノードは楕円と人物名で示されているが、この楕円部分に各人物の顔画像を表示することも可能である。

このようなグルーブ化された相関図を利用すると、より一層高度な分類の仕組みを提供することができる。
図１０は、グルーブ化された相関図に適用できる画像分類のユーザインターフェース画面の一例を示す図である。この図において、グループリスト画面２９は、必要に応じて、デジタルカメラ１の表示部１７（図１参照）に表示される高度な画像分類のためのユーザインターフェース画面である。

このグループリスト画面２９には、グループＧ１〜Ｇ４ごとの表示エリア２９ａ〜２９ｄが設けられている。それらの表示エリア２９ａ〜２９ｄには、グループのメンバごとの顔写真（Ｎａ、Ｎｂ、Ｎｃ・・・・）が一覧表示されるようになっており、その下の終了ボタン２９ｅを押すと、グループリスト画面２９を閉じ、また、関連写真表示ボタン２９ｆを押すと、選択中のグループの各メンバに関連する全ての画像のサムネイルを、たとえば、図７（ｂ）の関連写真一覧画面２７のような画面で表示するようになっている。

図１１は、グループリスト画面２９の表示動作プログラムの概略フローチャートである。このプログラムを開始すると、まず、全てのノードについて、互いにリンクが張られているノードをメンバとしてグループ化し（ステップＳ４１）、グループリスト画面２９を表示して、グループごとに各々のグループメンバの顔写真を表示する（ステップＳ４２）。そして、グループの選択（ステップＳ４３）を経た後、その選択されたグループのメンバに関連する全ての画像のサムネイルを表示するか否かを判定する（ステップＳ４４）。この判定は、グループリスト画面２９の関連写真表示ボタン２９ｆが押されたか否かで行われる。押されなかった場合は、終了ボタン２９ｅの操作を判定し（ステップＳ４５）、終了ボタン２９ｅが操作された場合はプログラムを終了する。

グループリスト画面２９の関連写真表示ボタン２９ｆが押された場合は、次に、選択中のグループ（便宜的に第１のグループＧ１とする）のメンバ（Ｎａ、Ｎｂ、Ｎｃ、Ｎｄ、Ｎｅ、Ｎｆ、Ｎｇ、Ｎｈ）に関連する全ての画像のサムネイルを、たとえば、図８のステップＳ３５以降を流用して一覧表示する。ただし、この場合、図８のステップＳ３５の「選択中の顔写真に関連する全ての写真のサムネイルを一覧表示」という記載を、「選択中の“グループのメンバ”に関連する全ての写真のサムネイルを一覧表示」と読み替えるものとする。

以上のとおり、図１１のプログラムによれば、全てのノードをグルーブ化して、各グループごとにそのメンバーの顔写真を一括表示することができる。したがって、特定のグループの写真を見たい場合には、そのグループを選択して、関連写真表示ボタン２９ｆを押すだけのきわめて簡単な操作で、当該グループのメンバに関連する全ての写真のサムネイルを表示させることができる。また、所望により、その中の任意のサムネイルの元画像を拡大表示することもができる。したがって、人物が写った大量の画像の中から、各グループごとの写真を一覧表示することができ、より一層高度な画像分類の仕組みを提供することができる。

図１２は、第２の態様に係る相関図である。この図において、四つの円図形３０〜３３は、それぞれグループごとのノードである。以下、これらのノードのことをグループノード３０〜３３という。説明の便宜上、第１のグループノード３０を図９の第１のグループＧ１のノード、第２のグループノード３１を同第２のグループＧ２のノード、第３のグループノード３２を同第３のグループＧ３のノード、第４のグループノード３３を同第４のグループＧ４のノードとする。

第１〜第４のグループノード３０〜３３の括弧内に記された数値は、そのグループ内のメンバ同士の総合的な親しさの度合い（以下、グループ結束値という）を示し、このグループ結束値は、そのグループに含まれるメンバ間の「相関値」を積算したものである。たとえば、図示の例では、第１のグループノード３０の「グループ結束値」として“７０”が、また、第２のグループノード３１の「グループ結束値」として“４０”が記されており、同様に、第３のグループノード３２の「グループ結束値」として“２０”が、第４のグループノード３３の「グループ結束値」として“３０”が記されている。

つまり、グループ結束値の順番が「第１のグループノード３０＞第２のグループノード３１＞第４のグループノード３３＞第３のグループノード３２」となっている。
第２の態様では、図１２に示したグループ結束図を表示部に表示することでユーザに対し、集合写真に写った人物グループ間の結束の強弱をわかりやすく示すことができる。

このような「グループ結束値」を前記の第１の態様に利用することにより、より一層高度な画像分類を実現できる。たとえば、前記の第１の態様におけるグループリスト画面２９（図１０参照）は、単に、グループＧ１〜Ｇ４ごとの表示エリア２９ａ〜２９ｄを有しているに過ぎず、それらのグループＧ１〜Ｇ４ごとの表示エリア２９ａ〜２９ｄの表示の順番については特に言及していなかったが、「グループ結束値」の高い方から順に表示するようにすれば、より親しさの度合いが高いグループを見つけ出しやすくなり、一層高度な画像分類の仕組みを提供できる。

また、この第２の態様を改良し、グループ同士の結合の度合い（結合の強さ）を定量的に把握するようにしてもよい。つまり、図１２において、第１のグループノード３０と第２〜第４のグループノード３１〜３３との間に引かれた矢印線３４〜３９は、その矢印の向きで結合方向を示し、また、それらの矢印線３４〜３９上の矩形枠４０〜４５内に記された数値は、結合度合いを示している。たとえば、第１のグループノード３０から第２のグループノード３１に向かう矢印線３４は、第１のグループＧ１から第２のグループＧ１への結合関係を示し、同矢印線３４上の矩形枠４０内の数値（“０．２５”）は、その結合度合いを示している。

結合度合いは、結合元グループの構成メンバのうち結合先グループにも含まれるメンバの割合で与えられる。たとえば、第１のグループＧ１から第２のグループＧ２への結合を例にすると、図９において、結合元グループは第１のグループＧ１であり、結合先グループは第２のグループＧ２である。そして、第１のグループＧ１は八つのメンバ（Ｎａ、Ｎｂ、Ｎｃ・・・・Ｎｈ）で構成されており、そのうちの二つのメンバ（Ｎｇ、Ｎｈ）が第２のグループＧ２の構成メンバでもあるから、この場合の結合度合いは「２÷８＝０．２５」となる。

また、その逆方向の結合（第２のグループＧ２から第１のグループＧ１への結合）を例にすると、図９において、第２のグループＧ２は四つのメンバ（Ｎｇ、Ｎｈ、Ｎｉ、Ｎｊ）で構成されており、そのうちの二つのメンバ（Ｎｇ、Ｎｈ）が第１のグループＧ１の構成メンバでもあるから、この場合の結合度合いは「２÷４＝０．５」となる。

同様に、第１のグループＧ１から第３のグループＧ３への結合度合いは「１÷８＝０．１２５」となり、その逆方向の結合度合い（第３のグループＧ３から第１のグループＧ１への結合度合い）は「１÷５＝０．２」となる。さらに、第１のグループＧ１から第４のグループＧ４への結合度合いは「１÷８＝０．１２５」となり、その逆方向の結合度合い（第４のグループＧ４から第１のグループＧ１への結合度合い）は「１÷３＝０．３３」となる。

このように、グループ間の結合度合いを定量的に把握することによって、たとえば、特定のグループから見た他のグループの表示順を、結合の高い順とすることができるようになり、さらに、一層高度な画像分類技術を提供できる。

次に、第３の態様について説明する。先の実施形態においては、１枚の写真に、たとえば、人物Ａ、Ｂが写っている場合に、それらの人物Ａ、Ｂの相関値を共に＋１していた。しかし、このような相関値の設定は、次の点で改善すべき余地がある。前記のとおり、「相関値」は、１枚の写真に写っている人物同士の親しさの度合いを表す値であるが、“１枚の写真に写っている”といっても、その親しさの度合いはまちまちである。たとえば、１枚の写真に人物Ａ、Ｂが写っている場合であっても、その人物Ａ、Ｂが夫婦や恋人のようにきわめて親しい間柄であることもあるし、単なる知人に過ぎないこともある。かかる温度差が否めない人物同士に一定の相関値を適用することは、不適切であるといえなくもない。第３の態様は、１枚の写真に写り込んでいる複数の人物間の親しさの度合いを、より正確に把握し、それを適用して確度の高い相関値を設定しようとするものである。

図１３は、第３の態様を示す図である。この図においては、１枚の写真に写り込んでいる複数の人物間の親しさの度合いを、より正確に把握するための二つの方法が示されている。（ａ）は第１の方法、（ｂ）は第２の方法を示す図である。

第１の方法は、１枚の写真に写り込んでいる人物の数（人数）に基づいて、人物間の親しさの度合いに差を付けるというものである。（ａ）には、多人数の集合写真４６と二人だけの集合写真４７の二例が示されている。これら二例の集合写真４６、４７を見比べると、二人だけの集合写真４７に写っている人物間の親しさの度合いの方が高いということがいえる。つまり、人数が多くなるほど単なる知人の集まりである可能性が高くなり、一方、二人だけの集合写真４７のように、少ない人数の場合は、そこに写っている人物同士が相当な親しさの関係にあるということができるからである。このような観点から、１枚の写真に写っている人数（図５のｊｍａｘの値は、その人数に相当する）に応じて人物間の親しさの度合いに差を付けることが好ましい。具体的には、二人の人物が写っている場合の親しさの度合いを最大とし、以降、三人、四人・・・・と人数が増えるにつれて親しさの度合いを低くしていけばよい。たとえば、１枚の写真に、人物Ａ、Ｂが二人だけで写っている場合に、それらの人物Ａ、Ｂの相関値を共に＋１し、他の人も写っていて全体の人数が三人、四人・・・・と増えるにつれて相関値の増やし方を＋０．９、＋０．８・・・・と少なくしていけばよい。

第２の方法は、１枚の写真に写り込んでいる人物間の距離に基づいて、人物間の親しさの度合いに差を付けるというものである。（ｂ）には、いずれも二人だけの集合写真４８、４９が示されており、一方の集合写真４８の人物間の距離は大きく、他方の集合写真４９の人物間の距離は小さい。通常、二人で写真を撮る場合、その人物が親しい間柄であればあるほど、互いにふれ合う程度に接近することが多い。これに対して、単なる知人程度の間柄である場合は、若干の距離を保って並ぶことが多い。このような事実を踏まえると、１枚の写真に写り込んでいる人物間の距離は、その人物相互の親しさの度合いを表しているとみなすことができる。したがって、人物間距離がゼロのときに親しさの度合いを最大とし、距離が離れるほど親しさの度合いを低くしていけばよい。たとえば、１枚の写真に、人物Ａ、Ｂが写っている場合に、ＡとＢの距離が所定値（たとえば肩幅）以下ならそれらの人物Ａ、Ｂの相関値を共に＋１し、ＡとＢの距離が所定値の２倍３倍・・・・と増えるにつれて相関値の増やし方を＋０．９、＋０．８・・・・と少なくしていけばよい。

このように、第１の方法または第２の方法もしくはそれらの方法を組み合わせることにより、１枚の写真に写っている人物間の親しさの度合いを、より正確に把握することができるようになり、画像分類の正確さを一層高めることができる。

なお、以上の説明では、デジタルカメラ１への適用を例にしたが、これに限定されない。カメラ付き携帯電話機やカメラ付き情報端末等の撮像装置であってもよく、あるいは、パーソナルコンピュータ等の電子機器上で実行される画像管理ソフトウェアであってもよい。

また、画像管理ソフトウェアに適用する場合は、その画像管理ソフトウェアをパーソナルコンピュータ等の電子機器上で実行することによって始めて、以上説明した独自性のある画像分類機能を実現できるのであり、すなわち、上記の画像管理ソフトウェアやオペレーティングシステム等のソフトウェア資源と、パーソナルコンピュータ等の電子機器を構成する様々なハードウェア資源との有機的結合によって、その独自性のある画像分類機能を実現できるのであるが、上記ハードウェア資源は、汎用品（パーソナルコンピュータ等）で提供されるから、実質的に、その独自性のある画像分類機能に必須の事項は、もっぱら上記の画像管理ソフトウェアに含まれているというべきである。したがって、本発明は、かかる画像管理ソフトウェアそれ自体を包含し、また、かかる画像管理ソフトウェアの提供媒体（磁気ディスク等の物理的媒体やネットワーク上に存在する記憶手段等）も包含する。

加えて、デジタルカメラ１やカメラ付き携帯電話機、カメラ付き情報端末等の撮像装置に適用する場合、一般的に、それらの撮像装置内に組み込まれた制御プログラムによって、上記の独自性のある画像分類機能が提供されるので、当該制御プログラムそれ自体も本発明に包含され、また、その制御プログラムの提供媒体も本発明に包含される。

本実施形態の適用システムの一例を示すデジタルカメラの構成図である。 画像記憶部２０に蓄積保存されている大量の画像を示す図である。 相関のデータテーブル例を示す図である。 画像リストテーブル２５の一例を示す図である。 相関データテーブル２３及び画像リストテーブル２５に所要のデータを登録するための動作プログラムの概略フローチャートである。 画像Ｐ１〜Ｐ５における人物Ａ〜Ｆの相関図である。 本実施形態における画像分類のユーザインターフェース画面の一例を示す図である。 登録顔写真一覧画面２６、関連写真一覧画面２７及び拡大写真画面２８の表示動作プログラムの概略フローチャートである。 第１の態様に係る相関図である。 グルーブ化された相関図に適用できる画像分類のユーザインターフェース画面の一例を示す図である。 グループリスト画面２９の表示動作プログラムの概略フローチャートである。 第２の態様に係る相関図である。 第３の態様を示す図である。

符号の説明

Ａ〜Ｆ：人物
Ｐ１〜Ｐ５：画像
１：デジタルカメラ（画像分類装置）
５：制御部（顔認識手段、人物特定手段、相関値設定手段、グループ化手段、結束度算定手段化手段、相関値補正手段、顔写真生成手段、特徴点抽出手段、ノード値設定手段、顔写真表示順決定手段、第１表示制御手段、顔写真選択手段、第２表示制御手段）
１５：操作部（入力手段）
１７：表示部
１８：タッチパネル（入力手段）
２４ａ〜２４ｆ：顔写真

Claims (4)

1. 人物が写った複数の画像を入力する入力手段と、
   前記入力手段により入力された画像に写っている人物の顔写真を生成する顔写真生成手段と、
   前記顔写真から特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段により抽出された特徴点に基づいて前記人物を特定する人物特定手段と、
   前記人物特定手段の特定結果に従って各人物ごとの出現回数を表す出現回数値を設定する出現回数値設定手段と、
   前記入力手段により入力された画像の各々に写っている人物の間において、一つの画像に一緒に写っている頻度が高いほど大きくなる、親しさの度合いを表す相関値を設定する相関値設定手段と、
   前記出現回数値設定手段により設定された出現回数値に基づいて前記顔写真の表示順を決定する顔写真表示順決定手段と、
   前記顔写真表示順決定手段によって表示順が決定された顔写真をその表示順で表示部に表示させる第１表示制御手段と、
   前記第１表示制御手段の制御により前記表示部に表示された顔写真の一つをユーザ操作に応答して選択する顔写真選択手段と、
   前記顔写真選択手段によって選択された顔写真に対応する人物の画像と、その人物との間の相関値がゼロを超える他の人物の画像とを前記入力手段により入力された画像の中から取り出して前記表示部に表示させる第２表示制御手段と、
   を備えたことを特徴とする画像分類装置。
2. 前記第２表示制御手段の制御によって表示部に表示された画像は、前記顔写真選択手段によって選択された顔写真に対応する人物を含む画像のサムネイルと、その人物との間の相関値がゼロを超える人物を含む他の画像のサムネイルとであることを特徴とする請求項１記載の画像分類装置。
3. 人物が写った複数の画像を入力する入力手段と、前記入力手段により入力された画像に写っている人物の顔写真を生成する顔写真生成手段とを備えている画像分類装置に用いられる画像分類方法において、
   前記顔写真から特徴点を抽出する特徴点抽出ステップと、
   前記特徴点抽出ステップにより抽出された特徴点に基づいて前記人物を特定する人物特定ステップと、
   前記人物特定ステップの特定結果に従って各人物ごとの出現回数を表す出現回数値を設定する出現回数値設定ステップと、
   前記入力手段により入力された画像の各々に写っている人物の間において、一つの画像に一緒に写っている頻度が高いほど大きくなる、親しさの度合いを表す相関値を設定する相関値設定ステップと、
   前記出現回数値設定ステップにより設定された出現回数値に基づいて前記顔写真の表示順を決定する顔写真表示順決定ステップと、
   前記顔写真表示順決定ステップによって表示順が決定された顔写真をその表示順で表示部に表示させる第１表示制御ステップと、
   前記第１表示制御ステップの制御により前記表示部に表示された顔写真の一つがユーザ操作に応答して顔写真選択手段により選択されると、この選択された顔写真に対応する人物の画像と、その人物との間の相関値がゼロを超える他の人物の画像とを前記入力手段により入力された画像の中から取り出して前記表示部に表示させる第２表示制御ステップと、
   を備えたことを特徴とする画像分類方法。
4. コンピュータに、
   人物が写った複数の画像を入力する入力手段と、
   前記入力手段により入力された画像に写っている人物の顔写真を生成する顔写真生成手段と、
   前記顔写真から特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段により抽出された特徴点に基づいて前記人物を特定する人物特定手段と、
   前記人物特定手段の特定結果に従って各人物ごとの出現回数を表す出現回数値を設定する出現回数値設定手段と、
   前記入力手段により入力された画像の各々に写っている人物の間において、一つの画像に一緒に写っている頻度が高いほど大きくなる、親しさの度合いを表す相関値を設定する相関値設定手段と、
   前記出現回数値設定手段により設定された出現回数値に基づいて前記顔写真の表示順を決定する顔写真表示順決定手段と、
   前記顔写真表示順決定手段によって表示順が決定された顔写真をその表示順で表示部に表示させる第１表示制御手段と、
   前記第１表示制御手段の制御により前記表示部に表示された顔写真の一つをユーザ操作に応答して選択する顔写真選択手段と、
   前記顔写真選択手段によって選択された顔写真に対応する人物の画像と、その人物との間の相関値がゼロを超える他の人物の画像とを前記入力手段により入力された画像の中から取り出して前記表示部に表示させる第２表示制御手段と、
   を実行させることを特徴とするプログラム。