JP7013135B2 - 情報処理装置の制御方法およびプログラム - Google Patents

Description

本発明は、コンテンツをカテゴリに分類し、その代表コンテンツを選択するための技術に関する。

従来、コンテンツが大量に存在する場合に、ユーザーが手動でコンテンツを選択してカテゴリに振り分けることは非常に手間がかかっていた。そこで、コンテンツの属性を算出し、それに基づいて各コンテンツを最適なカテゴリに自動的に分類することが行われている（特許文献１参照）。

特開２００７－１０２３６２号公報

しかしながら、コンテンツが分類されたカテゴリを識別するための名称を付与する場合、ユーザーは、各カテゴリに振り分けられたすべての画像を閲覧して、その傾向や特徴を把握し、最適な名称を決めなければならなかった。例えば、Ａさんの運動会で撮影された複数の画像が、撮影日時や撮影場所に基づいて１つのカテゴリに分類されている場合に、Ａさんが写っている１枚の画像で判断すると、カテゴリにＡさんの名称を付与する可能性が高くなる。そうすると、そのカテゴリにＡさん以外の同級生の画像も含まれていることが分からなくなってしまうため、ユーザーは、最適な名称を付与するためには、カテゴリに含まれる多くの写真を確認しなければならなかった。

そこで、本発明は、コンテンツを自動的にカテゴリに分類した場合に、ユーザーが各カテゴリに振り分けられた画像の傾向や特徴を確認するのにかかる手間を低減することを目的とする。

本願に係る発明の１つは、情報処理装置であって、複数の画像をそのメタデータにしたがってカテゴリに分類する分類手段と、前記画像の被写体の認識結果に基づき、第１のカテゴリに分類された第１の画像同士の類似度を算出する算出手段と、複数の前記第１の画像の中から、前記第１の画像同士の類似度の平均値が最大の画像を、第１の代表画像として選択する第１の選択手段と、前記複数の第１の画像のうち、前記第１の代表画像との類似度の算出結果が閾値より小さい第２の画像が所定枚数より多ければ、複数の前記第２の画像のうち少なくとも１つを第２の代表画像として選択する第２の選択手段を備え、前記第２の選択手段は、前記第２の画像が所定枚数より少なければ、前記第２の代表画像を選択しないことを特徴とする。

本発明によれば、画像をそのメタデータにしたがって自動的にカテゴリに分類した場合に、ユーザーが各カテゴリに振り分けられた画像の傾向や特徴を確認するのにかかる手間を低減することができるという効果が得られる。

本発明の一実施形態に係る画像分類装置の構成の一例を示すブロック図である。 本発明の一実施形態に係る画像分類装置の動作の一例を示すフローチャート図である。 本発明の一実施形態に係るカテゴリを管理するためのテーブルの一例を示す図である。 本発明の一実施形態に係る類似度マトリックスの一例を示す図である。 本発明の一実施形態に係る画像分類装置の動作の一例を示すフローチャート図である。 本発明の一実施形態に係るカテゴリ入力画面の一例を示す図である。

以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

（第１の実施形態）
本実施例の画像分類装置１００を実現するコンピュータ装置（情報処理装置）の構成について、図１のブロック図を参照して説明する。画像分類装置１００は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続されている。

図１において、制御部１０１は画像分類装置１００全体を制御し、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）１０２は変更を必要としないプログラムやパラメータを格納する。Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）１０３は外部装置などから供給されるプログラムやデータを一時記憶する。外部記憶装置１０４は画像分類装置１００に固定して設置されたハードディスクドライブ（ＨＤＤ）、フラッシュメモリで構成されるソリッドステートドライブ（ＳＳＤ）、ハードディスクとフラッシュメモリを併用したハイブリッドドライブやメモリカード等である。外部記憶装置１０４はＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などのプログラムを記憶する。また、外部記憶装置１０４は、本実施例の自動分類アプリケーションプログラムソフトウエア（以下、自動分類アプリと言う）を記憶したり、画像ファイルや音楽ファイルを記憶したりする。

操作入力インターフェイス１０５はユーザーの操作を受付け、データを入力するポインティングデバイスやキーボード、タッチパネルなどの操作入力装置１０９と接続する。Ｖｉｄｅｏ ＲＡＭ（ＶＲＡＭ）１０６は、表示装置１１１に表示する為の画像を描画する。このＶＲＡＭ１０６に生成した画像を、所定の規定に従って表示装置１１１に送信し、これにより表示装置１１１は画像を表示する。なお、メモリ間（例えば、ＶＲＡＭ１０６と他のメモリとの間）や、メモリと各Ｉ／Ｏデバイス（例えば、ネットワークインターフェイス１０７）間のデータ転送はＢｉｔ Ｍｏｖｅ Ｕｎｉｔ（ＢＭＵ）により制御される。画像分類装置１００はデータ入力インターフェイス１０８を介してデータ入力装置１１２から画像ファイルや音楽ファイル等のデータの入力を受け付ける。ネットワークインターフェイス１０７はインターネットなどのネットワーク回線１１０に接続する。システムバス１１３は１０１～１０８の各ユニットを通信可能に接続する。

本実施形態の画像分類装置１００において、複数の画像ファイルを自動的にカテゴリに分類し、各カテゴリの代表画像を表示して、カテゴリに付与される名称の入力を受け付ける動作について、図２および図５のフローチャートを参照して説明する。以下で説明する動作は、画像分類装置１００の制御部１０１が、自動分類アプリをＨＤＤ１０４から読み出して起動し、上述の図１の各モジュールを制御することによって実現される。

まず、図２のフローチャートを参照して、画像ファイルを各カテゴリへ分類する動作について説明する。本動作は画像ファイルが新規にＨＤＤ１０４に記憶されるたびに自動的に実行されてもよいし、ユーザーの操作に応答して、実行されてもよい。

制御部１０１は、画像ファイルをＨＤＤ１０４から読み込み（Ｓ２０１）、画像ファイルに含まれる画像データに対して画像解析を行い、画像データの属性として、特徴量を取得する（Ｓ２０２）。ステップＳ２０２において、制御部１０１は、画像データの被写体の人物や物体を認識したり、画像データの明るさや色味を検出したりして、これらに基づく特徴量を取得する。また、制御部１０１は画像ファイルに含まれる画像データのメタデータ（撮影日時や撮影場所、カメラの機種、撮影者など）に基づく特徴量を取得する。

そして、制御部１０１は、画像ファイルをその特徴量に基づき、予め定められたルールにしたがってカテゴリに分類し、分類されたカテゴリに関連付けて記憶する。（Ｓ２０３）。例えば、ルールが、撮影場所または被写体の人物またはそれらの組合せ毎のカテゴリに分類するものであった場合、制御部１０１は、画像ファイルをその撮影場所または被写体の人物またはそれらの組合せと対応する各カテゴリに分類する。ここで、画像ファイルをカテゴリに関連付けて記憶するためのテーブルの一例を図３に示す。図３のテーブルでは、画像ファイル１～１１が、カテゴリＡ、Ｂ、Ｃに分類され、関連付けて記憶されていることを示す。また、１つの画像ファイルは該当する複数のカテゴリに関連付けて記憶され、例えば、画像ファイル６は、カテゴリＡとＢに関連付けられている。なお、画像ファイルを分類するカテゴリが画像分類テーブル３００に存在しなければ、その都度、新しいカテゴリが追加される。

制御部１０１は、画像ファイルと、当該画像ファイルの属するカテゴリに関連付けられた他の画像ファイルとの類似度をそれぞれの特徴量に基づき算出する（Ｓ２０４）。また、ステップＳ２０４で算出された他の画像ファイルとの類似度の平均値を算出する（Ｓ２０５）。そして、ステップＳ２０４およびＳ２０５での算出結果を画像ファイルに関連付けて記憶する。ここで、各カテゴリに属する画像ファイルの他の画像ファイルの類似度とその平均値を記憶するためのテーブルの一例を図４に示す。図４の類似度マトリックス４００はカテゴリＡにおいて、被写体の認識結果の特徴量に基づき、カテゴリ内の画像ファイル同士の類似度を算出した場合を示す。縦軸と横軸それぞれにカテゴリ内に含まれるすべての画像ファイルが割り当てられ、縦軸と横軸の交点に互いの類似度を示す値が格納されている。図４では、例えば、画像ファイル３と画像ファイル４の類似度として、「０．２」が格納されている。また、画像ファイルそれぞれの他の画像ファイルとの類似度の平均値が類似度平均として格納される。

次に、各カテゴリの代表画像を選択して、表示し、カテゴリに付与される名称の入力を受け付ける動作を図５のフローチャートを参照して説明する。なお、以下のフローはカテゴリ毎に繰り返し実行される。また、本動作は画像ファイルが所定数以上記憶されるなど所定の条件を満たすと自動的に実行されるようにしてもよいし、ユーザーの操作に応答して、実行されてもよい。

制御部１０１は、カテゴリに関連付けて記憶された画像ファイルを抽出し（Ｓ５０１）、抽出された画像ファイルのうち、類似度平均値が最大のものを第１代表画像として選択し（Ｓ５０２）、表示装置１１１に表示するよう表示制御する（Ｓ５１０）。そして、制御部１０１は、抽出された画像ファイルのうち、第１代表画像との類似度が所定の閾値以下のもの（第２代表画像候補）が存在するかを判定する（Ｓ５０３）。

第２代表画像候補が存在すれば（Ｓ５０３でＹｅｓ）、その枚数が所定数以上であるかどうかを判定する（Ｓ５０４）。例えば、類似度の所定の閾値が「０．２」、第２代表画像候補の所定枚数が「３」枚の時、図４の類似度マトリックス４００で、第１代表画像として選択された画像ファイル３との類似度が閾値「０．２」以下の画像ファイルは「２」、「４」、「６」の３枚である。よって、ステップＳ５０４でＹｅｓと判断される。第２代表画像候補が所定数以上であれば（Ｓ５０４でＹｅｓ）、第２代表画像候補同士の類似度を、類似度マトリックス４００を参照して取得する（Ｓ５０５）。そして、制御部１０１は、取得された類似度が所定の閾値以上の第２代表画像候補の組合せ毎にグループに分類し（Ｓ５０６）、これらのグループのうち所定数以上の第２代表画像候補が存在するグループをさらに選択する（Ｓ５０７）。例えば、類似度の所定の閾値が「０．５」、グループ内の所定枚数が「２」枚の時、画像ファイル「２」と「４」の類似度は「０．８」なので、画像ファイル「２」と「４」の２枚で構成されたグループが選択される。

そして、制御部１０１は、類似度マトリックス４００を参照して、選択されたグループに属する第２代表画像候補それぞれと第１代表画像の類似度を取得する（Ｓ５０８）。ステップＳ５０７で選択されたグループに属する第２代表画像候補のうち、他のグループに存在しない第２代表画像候補の中で、第１代表画像との類似度が最低のものを第２代表画像として選択する（Ｓ５０９）。そして、第１代表画像と第２代表画像を表示装置１１１に表示するよう表示制御する（Ｓ５１０）。例えば、第１代表画像として選択された画像ファイル３と、画像ファイル「２」および「４」それぞれの類似度は「０」と「０．２」であるため、類似度の低い画像ファイル「２」が第２代表画像として選択され、第１代表画像とともに表示装置１１１に表示される。

ステップＳ５１０で、第１代表画像および第２代表画像が表示装置１１１に表示される様子の一例を図６に示す。図６では、カテゴリＡの第１代表画像６０１および第２代表画像６０２が、カテゴリ入力画面６００に表示されている。図６に示す入力ボックス６０３には、現在、カテゴリ名が未登録であることが示されている。

なお、ステップＳ５０３において、制御部１０１は、第２代表画像候補が存在しないと判定すれば、第２代表画像なしで、第１代表画像を表示装置１１１に表示するよう表示制御する（Ｓ５１０）。また、ステップＳ５０４において、制御部１０１は、第２代表画像候補が所定の枚数未満であると判定すれば、第２代表画像なしで、第１代表画像を表示装置１１１に表示するよう表示制御する（Ｓ５１０）。これらの場合、カテゴリ名入力画面２００には第２代表画像６０２なしで、第１代表画像６０１が表示される。

ユーザーによる操作入力装置１０９への操作に応答して、カテゴリを識別するためのカテゴリ名を示す文字列が入力され、入力ボックス６０３に表示される。その後、ユーザーの操作に応答してＯＫボタン６０４が押下されると（Ｓ５１１でＹｅｓ）、図３（ｂ）のカテゴリ名テーブル３１０に示すように、入力されたカテゴリ名をカテゴリＡに関連付けて記憶し（Ｓ５１２）、本処理を終了する。一方、キャンセルボタン６０５が押下されると（Ｓ５１１でＮｏ）、カテゴリ名の入力処理を中止し、カテゴリ入力画面６００を非表示にして本処理を終了する。

以上のように、本実施形態によれば、ユーザーは同じカテゴリに分類された複数の画像のうち、他の画像と互いに最も類似している第１代表画像と、第１代表画像とは似ていない第２代表画像とを選択して表示する。これにより、ユーザーは同じカテゴリに分類された複数の画像の傾向や特徴を少ない枚数の画像で確認することができ、適切なカテゴリ名を速やかに決定して付与することができる。

なお、本実施形態では第１代表画像と第２代表画像をそれぞれ１枚ずつ選択する場合について説明した。しかしながら、これに限らず、ステップＳ５０２で類似度平均値が高いものから順に所定枚数の画像ファイルを第１代表画像として選択してもよいし、類似度平均値が閾値より高いものを選択してもよい。また、ステップＳ５０９で第１代表画像との類似度が低いものから順に所定枚数の第２代表画像候補を第２代表画像として選択してもよいし、類似度平均値が閾値より低いものを選択してもよい。

また、第１代表画像として、他のカテゴリにも分類された画像ファイルが選択されている場合は、その旨をカテゴリ入力画面６００に表示して通知するようにしてもよい。

また、ステップＳ５０２において、他のカテゴリに分類されてない画像の中から、類似度平均値が最も高いものを第１代表画像として選択し、そのカテゴリだけに分類されている画像ファイルを代表画像として表示するようにしてもよい。

また、ステップＳ５０９で他のカテゴリにも属している画像ファイルの中から、第１代表画像との類似度が最も低いものを第２代表画像として選択し、他のカテゴリにも分類されている画像ファイルを代表画像として表示するようにしてもよい。

また、ステップＳ２０５では、類似度の平均値を算出するようにしたが、これに限らず、例えば、標準偏差などを算出するようにしてもよい。

また、本実施形態では、画像ファイルをカテゴリに分類し、代表画像を選択して表示する例を説明したが、音楽ファイルやテキストファイルなど他のコンテンツのファイルを分類し、代表コンテンツを選択して表示することも同様にして実現できる。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (7)

1. 複数の画像をそのメタデータにしたがってカテゴリに分類する分類手段と、
   前記画像の被写体の認識結果に基づき、第１のカテゴリに分類された第１の画像同士の類似度を算出する算出手段と、
   複数の前記第１の画像の中から、前記第１の画像同士の類似度の平均値が最大の画像を、第１の代表画像として選択する第１の選択手段と、
   前記複数の第１の画像のうち、前記第１の代表画像との類似度の算出結果が閾値より小さい第２の画像が所定枚数より多ければ、複数の前記第２の画像のうち少なくとも１つを第２の代表画像として選択する第２の選択手段を備え、
   前記第２の選択手段は、前記第２の画像が所定枚数より少なければ、前記第２の代表画像を選択しないことを特徴とする情報処理装置。
2. 前記算出手段により算出された前記第２の画像同士の第２の類似度が閾値より大きい第２の画像の組み合わせをグループに分類する第２の分類手段をさらに備え、
   前記第２の選択手段は、前記グループ毎に、前記グループに属する複数の第２の画像のうち、前記第１の代表画像との類似度の算出結果が最低の第２の画像を前記第２の代表画像として選択することを特徴とする請求項１に記載の情報処理装置。
3. 前記第２の選択手段は、前記複数の第２の画像のうち、前記第１のカテゴリとは異なる第２のカテゴリに分類されていない第２の画像を前記第２の代表画像として選択することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記メタデータは、撮影日時、撮影場所、撮影装置の種類および撮影者のうち少なくとも１つであることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記第１の代表画像および前記第２の代表画像を表示装置に表示するよう制御する表示制御手段をさらに備えたことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 情報処理装置により実行される制御方法であって、
   複数の画像をそのメタデータにしたがってカテゴリに分類するステップと、
   前記画像の被写体の認識結果に基づき、第１のカテゴリに分類された第１の画像同士の類似度を算出するステップと、
   複数の前記第１の画像の中から、前記第１の画像同士の類似度の平均値が最大の画像を、第１の代表画像として選択するステップと、
   前記複数の第１の画像のうち、前記第１の代表画像との類似度の算出結果が閾値より小さい第２の画像が所定枚数より多ければ、複数の前記第２の画像のうち少なくとも１つを第２の代表画像として選択するステップを備え、
   前記第２の画像が所定枚数より少なければ、前記第２の代表画像は選択されないことを特徴とする制御方法。
7. コンピュータを請求項１乃至５のいずれか一項に記載の情報処理装置の各手段として機能させるプログラム。

Images