JPWO2012017620A1 - 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 - Google Patents

画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 Download PDF

Info

Publication number
JPWO2012017620A1
JPWO2012017620A1 JP2012527581A JP2012527581A JPWO2012017620A1 JP WO2012017620 A1 JPWO2012017620 A1 JP WO2012017620A1 JP 2012527581 A JP2012527581 A JP 2012527581A JP 2012527581 A JP2012527581 A JP 2012527581A JP WO2012017620 A1 JPWO2012017620 A1 JP WO2012017620A1
Authority
JP
Japan
Prior art keywords
image
evaluation value
unit
image group
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012527581A
Other languages
English (en)
Other versions
JP5739428B2 (ja
Inventor
山口　晃一郎
晃一郎 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012527581A priority Critical patent/JP5739428B2/ja
Publication of JPWO2012017620A1 publication Critical patent/JPWO2012017620A1/ja
Application granted granted Critical
Publication of JP5739428B2 publication Critical patent/JP5739428B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

１枚の画像からその画像の特徴を抽出し、抽出された特徴を用いてその画像を分類する従来の画像分類装置では、その画像が、その画像を含む画像グループに属する他の画像と異なる特徴を有している場合に、その画像の分類先が、その画像グループに属する他の画像の分類先と異なるカテゴリとなってしまうことがある。この問題を解決するために、本願発明に係る画像分類装置は、一つのイベントに関連して撮影された複数枚の画像からなる画像グループ単位でその画像グループに写る人物の重要度を示す指標である主役度を算出し、算出した主役度に基づいて、画像グループ単位で画像を互いに異なる分類先イベントのうちのいずれかの分類先イベントに分類する。

Description

本発明は、画像を分類する画像分類装置に関する。
デジタルスチルカメラやカメラ機能付き携帯電話機等のデジタル画像撮影機器が普及し、撮影された画像を記録するためのハードディスク等の記録媒体が安価に提供されている。
一般に、デジタル画像撮影機器等のユーザ（以下、単にユーザという。）は、撮影した各画像を、大容量のハードディスク等の記録媒体に蓄積している。
蓄積している画像が大量になると、蓄積している画像の中から目的の画像を探すのが難しくなるため、ユーザによる画像の検索を容易にする目的で、各画像をいくつかのカテゴリに分類することがある。
画像を分類する技術として、例えば、特許文献１、特許文献２に記載されているように、蓄積されているそれぞれの画像からその画像の特徴を抽出し、抽出された特徴を用いてそれぞれの画像をそれぞれの分類先に分類する技術が知られている。
特許第４２３２７７４号公報 特許第４３１５３４４号公報
一方、ユーザが画像を撮影する機会は、例えば、ピクニックや川釣りといった行事である場合が多く、また、ユーザが画像を鑑賞する場合には、ある行事で撮影された画像群を単位として画像を鑑賞する場合が多い。
従って、ある行事において撮影された画像の集合からなる画像グループに属する画像は、同一のカテゴリに分類されることが望まれる。
しかしながら、１枚の画像からその画像の特徴を抽出し、抽出された特徴を用いてその画像を分類する技術では、その画像が、その画像を含む画像グループに属する他の画像と異なる特徴を有している場合に、その画像の分類先が、その画像グループに属する他の画像の分類先と異なるカテゴリとなってしまうことがある。
例えば、分類先のカテゴリに、ピクニックというカテゴリと川釣りというカテゴリとがある場合において、ピクニックにいった時に撮影された画像からなる画像グループの中に川のほとりで遊んでいるシーンが撮影された画像があるときに、その川のほとりで遊んでいるシーンの画像だけが川釣りというカテゴリに分類され、その他の画像がピクニックというカテゴリに分類されてしまうこと等である。
そこで、本発明は係る問題に鑑みてなされたものであり、ある行事において撮影された画像グループに属する画像が、互いに異なるカテゴリに分類されてしまうことがないように、ある程度妥当性のある基準に基づいて画像を分類することができる画像分類装置を提供することを目的とする。
上記課題を解決するために本発明に係る画像分類装置は、一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部と、前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定部と、前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類部とを備えることを特徴とする。
上述の構成を備える本発明に係る画像分類装置は、ある行事において撮影された画像グループに属する画像が、互いに異なるカテゴリに分類されてしまうことがないように画像を分類することができる。
画像分類装置１００のハードウエア構成を示すハードウエアブロック図 画像分類装置１００の機能構成を示す機能ブロック図 画像記憶部２３１のディレクトリ構造を示すディレクトリ構造図 画像特徴情報記憶部２３２に記憶されている画像特徴情報のデータ構造図 顔対応表記憶部２３５に記憶されている顔対応表のデータ構造図 主役度情報記憶部２３３に記憶されている主役度情報のデータ構造図 イベント特徴情報記憶部２３４に記憶されているイベント特徴情報のデータ構成図 画像グループ分類処理のフローチャート 顔対応表生成処理のフローチャート 多様性算出処理のフローチャート 主役度情報生成処理のフローチャート 家族のメンバーが参加するイベントで撮影された画像群の一例 家族のメンバーが参加するイベントで撮影された画像群の一例 第１変形多様性算出処理のフローチャート 第２変形多様性算出処理のフローチャート シーン分割処理のフローチャート 補足の変形例におけるイベント特徴情報のデータ構成図 変形例における画像分類装置の機能構成を示す機能ブロック図
＜実施の形態１＞
以下、本発明に係る画像分類装置の一実施形態として、一つのイベントに関連して撮影された複数枚の画像からなる画像グループ単位でその画像グループに写る人物の重要度を示す指標である主役度を算出し、算出した主役度に基づいて、画像グループ単位で画像を互いに異なる分類先イベントのうちのいずれかの分類先イベントに分類する画像分類装置について説明する。
ここで画像グループとは、ユーザによって指定された複数の画像からなる画像の集合のことであって、例えば、２００９年初夏の六甲山への旅行というイベントにて撮影された画像の集合や、例えば、２０１０年の子供の誕生日に行われた誕生会というイベントにて撮影された画像の集合等である。
＜構成＞
＜画像分類装置１００のハードウエア構成＞
図１は、画像分類装置１００の主要なハードウエア構成を示すハードウエアブロック図である。
画像分類装置１００は、システムＬＳＩ（Large Scale Integrated circuit）１１０と、ハードディスク装置１３０と、外部記録媒体読取書込装置１４０と、ＵＳＢ制御装置１５０と、出力装置１６０と、入力装置１７０と、通信装置１８０とから構成され、デジタル写真である画像を、ＪＰＥＧ（Joint Photographic Experts Group）方式で符号化されたデータとして記憶し、記憶する画像を分類する機能を有する。
また、画像分類装置１００は、デジタルスチルカメラ１９２に代表される、画像を記録している機器と着脱可能なＵＳＢケーブル１９５を介して接続し、画像を表示するためのディスプレイ１９３とモニタケーブル１９６を介して接続し、ネットワーク１９４と接続し、ユーザからの操作コマンドを受け付けるリモコン１９７と無線通信を行い、ＳＤメモリカード１９１等で代表される外部記録媒体に対して、データの読み出しと書き込みとを行う機能を有する。
システムＬＳＩ１１０は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ハードディスク装置インターフェース１０４と、外部記録媒体読取書込装置インターフェース１０５と、ＵＳＢ（Universal Serial Bus）制御装置インターフェース１０６と、出力装置インターフェース１０７と、入力装置インターフェース１０８と、通信装置インターフェース１０９と、デコーダ１１１と、バスライン１２０とを１つの集積回路に集積したＬＳＩであって、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０と接続する。
ＣＰＵ１０１は、バスライン１２０と接続し、ＲＯＭ１０２又はＲＡＭ１０３に記憶されているプログラムを実行することで、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０、デコーダ１１１を制御して、様々な機能、例えば、ハードディスク装置１３０から符号化された画像データを読み出して復号し、復号した画像データをディスプレイ１９３に出力する機能等を実現する。
ＲＯＭ１０２はバスライン１２０と接続し、ＣＰＵ１０１の動作を規定するプログラムと、ＣＰＵが利用するデータとを記憶する。
ＲＡＭ１０３は、バスライン１２０と接続し、ＣＰＵ１０１がプログラムを実行することに伴って発生するデータを一時的に記憶し、また、ハードディスク装置１３０、外部記録媒体読取書込装置１４０から読み取ったデータや書き込むデータ、通信装置１８０が受信したデータや送信するデータ等を一時的に記憶する。
デコーダ１１１は、符号化された画像データを復号する機能を有するＤＳＰ（Digital Signal Processor）であって、バスライン１２０と接続し、ＣＰＵ１０１によって制御され、ＪＰＥＧデコード機能を有する。
ハードディスク装置インターフェース１０４、外部記録媒体読取書込装置インターフェース１０５、ＵＳＢ制御装置インターフェース１０６、出力装置インターフェース１０７、入力装置インターフェース１０８、通信装置インターフェース１０９は、それぞれ、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０と、バスライン１２０との信号のやり取りを仲介するインターフェースである。
ハードディスク装置１３０は、ハードディスク装置インターフェース１０４と接続し、ＣＰＵ１０１によって制御され、内蔵するハードディスクにデータを書き込む機能と、内蔵するハードディスクに書き込まれているデータを読み取る機能を有する。
外部記録媒体読取書込装置１４０は、外部記録媒体読取書込装置インターフェース１０５と接続し、ＣＰＵ１０１によって制御され、外部記録媒体にデータを書き込む機能と、外部記録媒体に書き込まれているデータを読み取る機能とを有する。
ここで、外部記録媒体とは、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc）、ＢＤ−Ｒ、ＢＤ−ＲＥ、ＳＤメモリカード１９１等であって、外部記録媒体読取書込装置１４０は、これら、ＤＶＤ、ＢＤ等からのデータの読み取りや、ＤＶＤ−Ｒ、ＢＤ−Ｒ、ＢＤ−ＲＥ、ＳＤメモリカード等へのデータの書き込みと読み取りとをすることができる。
ＵＳＢ制御装置１５０は、ＵＳＢ制御装置インターフェース１０６と接続し、ＣＰＵ１０１によって制御され、着脱可能なＵＳＢケーブル１９５を介して外部機器にデータを書き込む機能と、外部機器に書き込まれているデータを読み取る機能とを有する。
ここで、外部機器とは、デジタルスチルカメラ１９２、パーソナルコンピュータ、カメラ機能付け携帯電話機等の、画像を記憶する機器であって、ＵＳＢ制御装置１５０は、ＵＳＢケーブル１９５を介してこれら外部機器へのデータの書き込みと読み取りとをすることができる。
出力装置１６０は、出力装置インターフェース１０７と、モニタケーブル１９６とに接続し、ＣＰＵ１０１によって制御され、モニタケーブル１９６を介してディスプレイ１９３に表示させるデータを出力する機能を有する。
入力装置１７０は、入力装置インターフェース１０８と接続し、ＣＰＵ１０１によって制御され、リモコン１９７から無線で送信されるユーザからの操作コマンドを受け付け、受け付けた操作コマンドをＣＰＵ１０１に送信する機能を有する。
通信装置１８０は、通信装置インターフェース１０９と、ネットワーク１９４とに接続し、ＣＰＵ１０１によって制御され、ネットワーク１９４を介して、外部通信機器とデータの送受信を行う機能を有する。
ここで、ネットワーク１９４とは、光通信回線、電話回線、無線回線等によって実現されており、外部通信機器や、インターネット等と接続している。
また、外部通信機器とは、外部ハードディスク装置等といった、画像や、ＣＰＵ１０１の動作を規定するプログラム等を記憶する機器であって、通信装置１８０は、ネットワーク１９４を介してこれら外部通信機器からデータの読み取りをすることができる。
以上のようなハードウエアで実現される画像分類装置１００は、ＣＰＵ１０１が、ＲＯＭ１０２又はＲＡＭ１０３に記憶されているプログラムを実行し、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスク装置１３０、外部記録媒体読取書込装置１４０、ＵＳＢ制御装置１５０、出力装置１６０、入力装置１７０、通信装置１８０、デコーダ１１１を制御することで様々な機能を実現する。
以下、図面を用いて、画像分類装置１００の機能構成を説明する。
＜画像分類装置１００の機能構成＞
図２は、画像分類装置１００の主要な機能ブロックの構成を示す機能ブロック図である。
画像分類装置１００は、画像グループデータ受付部２０１、画像書込読出部２０２、画像特徴情報書込読出部２０３、主役度情報書込読出部２０４、画像特徴量抽出部２０５、主役度情報算出部２０６、画像グループ分類部２０８、イベント特徴情報書込読出部２０９、分類結果出力部２１０、イベント名情報受付部２１１、イベント特徴情報受付部２１２、サンプル画像受付部２１３、サンプル画像書込部２１４、画像記憶部２３１、画像特徴情報記憶部２３２、主役度情報記憶部２３３、イベント特徴情報記憶部２３４、顔対応表記憶部２３５とから構成される。
画像グループデータ受付部２０１は、画像書込読出部２０２と接続し、２枚以上の画像からなる画像グループ２４１の画像の指定を受け付け、指定された画像群を、１つの画像グループに含まれる画像群として読み込む機能を有する。
画像グループデータ受付部２０１が画像を受け付ける場合には、外部記録媒体読取書込装置１４０経由で外部記録媒体から画像を受け付ける場合と、ＵＳＢ制御装置１５０経由で外部機器から画像を受け付ける場合と、通信装置１８０経由で外部通信機器から画像を受け付ける場合とがある。
また、画像グループデータ受付部２０１は、画像を受け付ける際に、その画像を特定するための画像ＩＤを付与する機能を有する。
画像記憶部２３１は、画像としてのデジタル写真を、ＪＰＥＧ方式で符号化された画像データとして記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
各画像データは、その画像が撮影された日時を含むメタデータと対応付けられており、画像記憶部２３１は、画像データとともに対応するメタデータを対応付けて記憶する。
画像記憶部２３１に記憶される各データは、ファイルシステム配下において、論理的にディレクトリ構造により管理されている。
図３は画像記憶部２３１のディレクトリ構造を示すディレクトリ構造図である。
同図に示されているように、画像記憶部２３１のディレクトリ構造は、最上位階層３１０と、第１ディレクトリ階層３２０と、第２ディレクトリ階層３３０との合計３階層からなっている。
第１ディレクトリ階層３２０には、誕生会ディレクトリ３２１、旅行ディレクトリ３２２、運動会ディレクトリ３２３等の複数の分類先イベントディレクトリと、実データ保管ディレクトリ３２４とが存在する。
ここで、分類先ディレクトリとは、画像グループの分類先である分類先イベントと同じ名前を持つディレクトリであって、同じ名前のディレクトリは１つしか存在しない。
実データ保管ディレクトリ３２４は、画像データとメタデータとを対応付けて保持するディレクトリであって、画像のデータとメタデータとはこの実データ保管ディレクトリ３２４のみに保持される。
第２ディレクトリ階層３３０には、２０１０年４月１０日ディレクトリ３３１、２００９年４月１０日ディレクトリ３３２、六甲山２００９初夏ディレクトリ等の複数のイベントディレクトリが存在する。
イベントディレクトリは、画像グループデータ受付部２０１が受け付けた画像群からなる画像グループに対応するディレクトリであって、実データ保管ディレクトリ３２４に保持されているデータのうち、その画像グループに属する全ての画像のデータのアドレスを示す情報が保持されることによって、その画像のデータがリンクされている状態となっているディレクトリである。
各イベントディレクトリは、対応する画像グループが分類されている分類先イベントに対応する分類先イベントディレクトリの下に存在している。
もし、複数の分類先イベントに分類されている画像グループが存在する場合には、分類されているイベントの数だけ、同一名称で同一の画像がリンクされているディレクトリが存在する。
再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。
画像書込読出部２０２は、画像グループデータ受付部２０１と、画像特徴量抽出部２０５と、主役度情報算出部２０６と、画像グループ分類部２０８とに接続し、画像記憶部２３１に記憶されている画像とメタデータとを読み出す機能と、画像記憶部２３１に画像とメタデータとを書き込む機能と、画像記憶部２３１のディレクトリ構造を変更する機能と、画像データのリンクを変更する機能とを有する。
画像特徴量抽出部２０５は、画像書込読出部２０２と画像特徴情報書込読出部２０３と接続し、以下の３つの機能を有する。
機能１：人の顔の特徴を示す予め定められた顔のモデルを保持し、保持する顔のモデルを参照することで、１枚の画像に含まれる顔の認識を試み、認識した顔の領域の面積と、認識した顔の位置と、認識した顔の向きとを算出し、認識した認識顔それぞれに、その認識顔を特定するための顔ＩＤを、シーケンシャルに付与する機能。
ここで、顔のモデルとは、例えば、目、鼻、口等の顔を形成するパーツの輝度や、相対的な位置関係に関する情報等である。
機能２：画像に含まれる各画素について、その画素を構成する色成分、例えば、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの各輝度から、その画素の色が、例えば、黒、青、緑、白等のうちのいずれの色であるかを特定する機能と、特定された色のそれぞれに対して、その色に特定された画素数に対する画像に含まれる全画素数の比率とを、色特徴量として算出する機能。
ここで、ある画素が、例えば、黒であると特定する方法としては、例えば、その画素のＲｅｄの輝度と、Ｇｒｅｅｎの輝度と、Ｂｌｕｅの輝度とが、全て１０％未満である場合に、その画素を黒であると特定するといった方法がある。
機能３：認識した顔の領域の面積、認識した顔の領域の位置、認識した顔の位置、認識した顔の向き、抽出した色特徴量等から、画像特徴情報（後述）を生成する機能。
画像特徴情報記憶部２３２は、画像特徴情報を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
図４は、画像特徴情報記憶部２３２に記憶されている画像特徴情報のデータ構造を示す図である。
同図に示されているように、画像特徴情報は、対応する画像を特定するための画像ＩＤ４０１と、対応する画像に含まれる、画像特徴量抽出部２０５によって認識された顔（以下、認識顔という。）の特徴を示す顔特徴量４０２と、対応する画像の色の特徴を示す色特徴量４０３と、対応する画像が撮影された時刻を示す撮影時刻４０４とから構成される。
顔特徴量４０２は、さらに、認識顔を特定するための顔ＩＤ４１１と、画像の面積と認識顔の面積との比率を示す顔面積４１２と、画像の中心に対する認識顔の位置のずれの度合いを示す顔位置４１３と、認識顔の向きを示す顔向き４１４と、認識顔の領域の座標を示す座標４１５とから構成されている。
顔面積４１２は、画像の面積に対する認識顔の面積の比率であって、認識顔が画面全体に写っている場合に１となるように正規化されている。
顔位置４１３は、認識顔の位置を示す値であって、認識顔の位置が画像の中心のときに１となり、認識顔の位置が、画像の端のときに０となるように正規化されている。
例えば、顔の中心と画像の中心を線分で結び、その線分の長さをＸとし、その線分を画像の中心から顔の中心に向かって画像の端まで伸ばしたときの長さをＹとして、ＹからＸを減算することで得られる値をＹで除算することで、顔位置を求めることができる。
顔向き４１４は、画像の正面方向に対する認識顔の向いている角度を示す値であって、認識顔の向いている角度が画像平面に対して垂直のときに１となり、認識顔の向いている角度が画像平面に対して水平のときに０となるように正規化されている。
例えば、画像の正面方向に対する認識顔の向いている角度をＸ度とし、１８０からＸを減算することで得られる値を１８０で除算することで、顔向きを求めることができる。
座標４１５は、認識顔の領域を取り囲む長方形のうち、最小面積の長方形の左上の頂点の座標と右下の頂点の座標との組からなる。
色特徴量４０３は、画像特徴量抽出部２０５によって算出された各色の画素数比率からなり、その画像に含まれる色の特徴を示すものである。
例えば、画像ＩＤ４０１が００００１である画像に対応する画像特徴情報の色特徴量４０３は、赤４２１が１０％、青４２２が２０％、緑４２３が６０％、白４２４が１０％の画像であることを示している。
再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。
画像特徴情報書込読出部２０３は、画像特徴量抽出部２０５と、主役度情報算出部２０６とに接続し、画像特徴情報記憶部２３２に対して、画像特徴情報の読み出し、書き込みを行う機能を有する。
イベント名情報受付部２１１は、主役度情報算出部２０６と接続し、画像分類装置１００を利用するユーザによって入力される、画像グループの名称であるイベント名を受け付ける機能を有する。
サンプル画像受付部２１３は、サンプル画像書込部２１４と接続し、特定の人物の顔が写っている画像とその人物を特定する名称とを受け付ける機能を有する。
サンプル画像受付部２１３が画像を受け付ける場合には、外部記録媒体読取書込装置１４０経由で外部記録媒体から画像を受け付ける場合と、ＵＳＢ制御装置１５０経由で外部機器から画像を受け付ける場合と、通信装置１８０経由で外部通信機器から画像を受け付ける場合とがある。
サンプル画像記憶部２３６は、画像としてのデジタル写真を、ＪＰＥＧ方式で符号化された画像データとして記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
各画像データは、その画像に写る人物を特定する名称と対応付けられている。
サンプル画像書込部２１４は、サンプル画像受付部２１３と接続し、サンプル画像受付部２１３によって受け付けられた画像と人物を特定する名称とを、サンプル画像記憶部２３６に書き込む機能を有する。
主役度情報算出部２０６は、画像書込読出部２０２と、画像特徴情報書込読出部２０３と、主役度情報書込読出部２０４と、イベント名情報受付部２１１とに接続し、以下の５つの機能を有する。
機能１：画像グループに属する画像に写る認識顔に対して、顔の特徴を抽出し、抽出された顔の特徴に基づいて、同一人物であると判断される認識顔が同一の集合になるように、認識顔を区分し、区分された各認識顔群の集合に、その集合を特定するためのラベルを付与する機能。
ここで、顔の特徴とは、例えば、目、鼻、口等の顔を形成するパーツの相対的な位置関係や、これらパーツの面積比率等のことである。
機能２：ラベルと、そのラベルによって特定される集合に属する認識顔との対応関係を示す顔対応表（後述）を生成して顔対応表記憶部２３５に書き込む機能。
機能３：ラベルを付与された人物毎に、その主役度（後述）を算定する機能。
機能４：画像グループに対して、その画像グループの画像に写るラベルを付与された人物の主役度に基づいて、プライベート度（後述）を算定する機能。
機能５：算定された主役度、算定されたプライベート度、イベント名情報受付部２１１によって受け付けられたイベント名等から主役度情報（後述）を生成する機能。
顔対応表記憶部２３５は、顔対応表を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
図５は、顔対応表記憶部２３５に記憶されている顔対応表のデータ構造を示す図である。
同図に示されるように、顔対応表は、同一人物であるとして区分された認識顔の集団を特定するためのラベル５０１と、同一人物であるとして区分された認識顔の集団に属する認識顔のＩＤを示す顔ＩＤ５０２〜顔ＩＤ５０４等とが対応付けられているものである。
例えば、ラベル５０１が息子であるとして区分されている認識顔の集団は、顔ＩＤ０００１、顔ＩＤ０００３、顔ＩＤ０１０１等によって示される認識顔が属するものであることを示している。
再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。
主役度情報記憶部２３３は、主役度情報を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
図６は、主役度情報記憶部２３３に記憶されている主役度情報のデータ構造を示す図である。
同図に示されるように、主役度情報は、画像グループを特定するための画像グループＩＤ６０１と、その画像グループに含まれる区分された認識顔の集団を特定するためのラベル６０２と、ラベル６０２に対応する多様性６０３と、ラベル６０２に対応する主役度６０４と、画像グループに対応するイベント名６０５と、画像グループに対応するプライベート度６０６とから構成される。
多様性６０３は、対応する画像グループＩＤ６０１によって特定される画像グループに含まれる画像それぞれの撮影時間の順番からなる集合における、対応するラベル６０２を付与された人物の写っている画像それぞれの撮影時刻の順番の分散度合いを示す情報であって、０〜１の値を取り、分散度合いが大きいほど、値が大きくなる。
多様性６０３の算出方法については、後程＜多様性算出処理＞で詳細に説明する。
主役度６０４は、対応する画像グループＩＤ６０１によって特定される画像グループにおいて、対応するラベル６０２を付与された人物の重要度を示す情報であって、０以上の値を取り、その人物の重要度が高いほど、値が大きくなる
主役度６０４の算出方法については、後程＜主役度情報生成処理＞で詳細に説明する。
プライベート度６０６は、対応する画像グループＩＤ６０１によって特定される画像グループにおいて、家族以外の人物の重要度に対する家族の人物の重要度を示す指標であって、“極めて高い”、“高い”、“普通”、“低い”のうちのいずれか１つの値となる。
プライベート度６０６の算出方法については、後程＜プライベート度処理＞で詳細に説明する。
再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。
主役度情報書込読出部２０４は、主役度情報算出部２０６と画像グループ分類部２０８と接続し、主役度情報記憶部２３３に記憶されている主役度情報を読み出す機能と、主役度情報記憶部２３３に主役度情報を書き込む機能とを有する。
イベント特徴情報記憶部２３４は、イベント特徴情報を記憶するための記憶領域であって、ハードディスク装置１３０に内蔵されているハードディスクの一部の領域として実装されている。
図７は、イベント特徴情報記憶部２３４に記憶されているイベント特徴情報のデータ構成を示す図である。
同図に示されるように、イベント特徴情報は、“誕生会”、“運動会”、“遠足”、“結婚式”、“旅行”といった分類先イベントのそれぞれを、（１）プライベート度７０１として取り得る４つの値である、極めて高い７１１と高い７１２と普通７１３と低い７１４とのうちのいずれか１つと、（２）重要人物を構成する４つの値である、息子７２１と母７２２と父７２３と家族全員８２４とのうちのいずれか１つとに対応付けているものである。
ここで、重要人物とは、画像グループにおいて、主役度の値が例えば３以上である人物のことであり、重要人物が家族全員とは、息子の主役度の値と母の主役度の値と父の主役度の値との全ての値が例えば３以上であることを示している。
例えば、分類先イベント“誕生会”は、プライベート度７０１が極めて高い７１１と重要人物７０２が息子７２１とに対応付けられており、プライベート度が極めて高く、重要人物が息子である分類先イベントであることがわかり、分類先イベント“旅行”は、プライベート度７０１が極めて高い７１１と重要人物７０２が家族全員７２４とに対応付けられており、プライベート度が極めて高く、重要人物が家族全員である分類先イベントであることがわかる。
再び図２に戻って、画像分類装置１００の機能構成の説明を続ける。
イベント特徴情報書込読出部２０９は、画像グループ分類部２０８とイベント特徴情報受付部２１２とに接続し、イベント特徴情報記憶部２３４に記憶されているイベント情報を読み出す機能と、イベント特徴情報記憶部２３４にイベント特徴情報を書き込む機能とを有する。
イベント特徴情報受付部２１２は、イベント特徴情報書込読出部２０９と接続し、画像分類装置１００を利用するユーザによって入力される、イベント特徴情報を受け付ける機能を有する。
画像グループ分類部２０８は、画像書込読出部２０２と、主役度情報書込読出部２０４と、イベント特徴情報書込読出部２０９と、分類結果出力部２１０とに接続し、主役度情報書込読出部２０４を介して、主役度情報記憶部２３３から主役度情報を読み出し、読み出した主役度情報と、イベント特徴情報記憶部２３４に記憶されているイベント特徴情報とに基づいて、読み出した主役度情報に対応する画像グループを、分類先イベントに分類する機能を有する。
分類結果出力部２１０は、画像グループ分類部２０８と接続し、画像グループ分類部が画像グループを分類した場合に、分類結果をディスプレイ１９３に表示させる機能を有する。
以上のように構成される画像分類装置１００の行う動作について、以下、図面を用いて説明する。
＜動作＞
画像分類装置１００の行う特徴的な動作に、画像グループに属する画像を入力され、入力された画像グループをイベントに分類する画像グループ分類処理がある。
また、画像グループ分類処理はさらに、顔対応表を生成する顔対応表生成処理と、多様性を算出する多様性算出処理と、主役度情報を生成する主役度情報生成処理とを含んでいる。
以下、それぞれの処理について、図面を用いて説明する。
＜画像グループ分類処理＞
図８は、画像分類装置１００の行う画像グループ分類処理のフローチャートである。
リモコン１９７が、ユーザから画像グループ分類処理を開始する旨の操作を受け付けることで、画像分類装置１００は画像グループ分類処理の処理を開始する。
画像グループ分類処理が開始されると、画像グループデータ受付部２０１は、１つの画像グループの画像の読み込みを開始し、イベント名情報受付部２１１は、その画像グループに属する画像が撮影されたイベントのイベント名の受け付けを開始する（ステップＳ８００）。
画像グループデータ受付部２０１は、外部記録媒体読取書込装置１４０に装着された外部記録媒体から、又は、ＵＳＢ制御装置１５０に接続されたＵＳＢケーブル１９５を介して外部機器から、もしくは、ネットワーク１９４に接続された通信装置１８０から、画像を読み込むことができる。
ここでは、例えば、外部記憶媒体としてのＳＤメモリカード１９１に記録されている画像グループの画像を、外部記録媒体読取書込装置１４０から読み込むものとする。
画像グループデータ受付部２０１は、ＳＤメモリカード１９１に記録されている画像とその画像が撮影された日時を含むメタデータとの組を１組ずつ読み込んで、読み込んだ画像に対して、シーケンシャルに画像ＩＤを付与し、画像データとメタデータと画像ＩＤとを対応付けて、画像書込読出部２０２を用いて、画像記憶部２３１の実データ保管ディレクトリ３２４に書き込む。
イベント名情報受付部２１１は、ユーザからのリモコン１９７の操作によって、画像グループに属する画像が撮影されたイベントのイベント名を受け付ける。
画像グループに属する画像が全て画像記憶部２３１に書き込まれると、画像特徴量抽出部２０５は、画像書込読出部２０２を用いて、画像記憶部２３１から、画像グループデータ受付部２０１によって受け付けられた画像グループに属する画像を１枚ずつ読み出していく（ステップＳ８１０）。
画像特徴量抽出部２０５は、画像特徴算出制御部２２１によって読み出された１枚の画像について、保持する顔のモデルを参照することで、１枚の画像に含まれる顔の認識を試み、認識顔のそれぞれについて、顔特徴量を算出し、認識顔を特定するための顔ＩＤを、各認識顔にシーケンシャルに付与する（ステップＳ８２０）。
ステップＳ８２０の処理が終わると、画像特徴量抽出部２０５は、画像に含まれる各画素について、その画素の色成分の各輝度から、その画素の色を特定し、特定された色のそれぞれに対して、画像に含まれる全画素数に対するその特定された色の画素数の比率を色特徴量４０３として算出する（ステップＳ８３０）。
ステップＳ８３０の処理が終わると、画像特徴量抽出部２０５は、算定した顔面積と顔位置と顔向きと座標と色特徴量と対象としている画像に対応付けられているメタデータに含まれる撮影時刻の情報とから、画像特徴情報を生成し、画像特徴情報書込読出部２０３を用いて画像特徴情報記憶部２３２に書き込む（ステップＳ８４０）。
画像特徴量抽出部２０５は、画像グループデータ受付部２０１が受け付けた１つの画像グループの全ての画像に対して、画像特徴情報の生成を終了していない場合（ステップＳ８５０：Ｎｏ）には、まだ画像特徴情報の算出を終了していない画像に対して、再びステップＳ８１０以降の処理を行う。
画像特徴量抽出部２０５は、画像グループデータ受付部２０１が受け付けた１つの画像グループの全ての画像に対して、画像特徴情報の生成を終了している場合（ステップＳ８５０：Ｙｅｓ）には、主役度情報算出部２０６は、画像特徴情報記憶部２３２が記憶している、画像グループデータ受付部２０１が読み込んだ画像グループに属する画像に対応する全ての画像特徴情報を、画像特徴情報書込読出部２０３を用いて読み出す。
主役度情報算出部２０６は、画像グループに属する画像に対応する全ての画像特徴情報を読み出すと、顔対応表を生成する顔対応表生成処理を行う（ステップＳ８６０）。
以下、主役度情報算出部２０６が行う、顔対応表生成処理について、図面を用いて説明する。
＜顔対応表生成処理＞
図９は、主役度情報算出部２０６が行う、顔対応表生成処理のフローチャートである。
主役度情報算出部２０６は、顔対応表生成処理を開始すると、読み出した全ての画像特徴情報から、認識顔の顔ＩＤと、その顔ＩＤによって特定される顔の領域の座標と、その顔ＩＤを含む画像特徴情報に対応する画像ＩＤとを抽出する（ステップＳ９００）。
主役度情報算出部２０６は、画像書込読出部２０２を用いて画像記憶部２３１から、顔ＩＤを含む画像特徴情報に含まれる画像ＩＤによって特定される画像を読み出して、抽出された顔ＩＤに対応する顔の領域の座標によって特定される顔の領域の全てに対して、顔の特徴を抽出する（ステップＳ９１０）。
主役度情報算出部２０６は、抽出した顔の特徴のうち、同じ顔の特徴を持つ顔の集団を同一人物の顔であると判断し、同一人物であると判断される認識顔が同一の集合になるように、認識顔を区分し、区分された各認識顔群の集合に、その集合を特定するためのラベルを付与して、顔対応表を生成する（ステップ９２０）。
ステップＳ９２０の処理が終わると、主役度情報算出部２０６は、画像グループ内の１つのラベルを選択し（ステップＳ９３０）、サンプル画像記憶部２３６に記憶されている画像（以下、サンプル画像と呼ぶ。）に写る人物の中に、そのラベルで特定される集合に区分された認識顔の特徴と一致する顔を有する人物がいるか否かを調べる（ステップＳ９４０）。
ここでは、例えば、サンプル画像記憶部２３６には、家族の一員である息子が写る画像と、家族の一員である母親が写る画像と、家族の一員である父親が写る画像とがサンプル画像として記憶されており、サンプル画像に写る人物を特定する名称として、それぞれ、息子、母、父であるとする。
ステップＳ９４０の処理において、一致する人物がいる場合に（ステップＳ９４０：Ｙｅｓ）、主役度情報算出部２０６は、選択しているラベルの名称を、サンプル画像記憶部２３６に記憶されている、一致するサンプル画像に写る人物を特定する名称に変更する（ステップＳ９５０）。
ステップＳ９４０の処理において、一致する人物がいない場合（ステップＳ９４０：Ｎｏ）、又は、ステップＳ９５０の処理が終了した場合に、主役度情報算出部２０６は、未だ選択していないラベルがあるか否かを調べる（ステップＳ９６０）。
ステップＳ９６０の処理において、未選択のラベルが存在する場合に（ステップＳ９６０：Ｎｏ）、主役度情報算出部２０６は、未選択ラベルのうちの１つのラベルを選択し（ステップＳ９７０）、再びステップＳ９４０の処理に戻って、ステップＳ９４０以降の処理を続ける。
ステップＳ９６０の処理において、未選択のラベルが存在しない場合に（ステップＳ９６０：Ｙｅｓ）、主役度情報算出部２０６は、生成した顔対応表を、顔対応表記憶部２３５に書き込んで（ステップＳ９８０）、顔対応表生成処理を終了する。
再び図８に戻って、画像グループ分類処理の説明を続ける。
顔対応生成処理、すなわち、ステップＳ８６０の処理が終了すると、主役度情報算出部２０６は、画像グループ内の各ラベルについての多様性を算出する多様性算出処理を行う（ステップＳ８７０）。
以下、主役度情報算出部２０６が行う、多様性算出処理について、図面を用いて説明する。
＜多様性算出処理＞
図１０は、主役度情報算出部２０６が行う、多様性算出処理のフローチャートである。
主役度情報算出部２０６は、多様性算出処理を開始すると、画像グループ内の各ラベルについて、多様性の初期値を０とし（ステップＳ１０００）、画像と対応付けられて画像記憶部２３１に記憶されているメタデータを参照して、画像グループに属する各画像に対して、撮影時刻順に並べる場合における順番を対応付ける（ステップＳ１００５）。
ステップＳ１００５の処理が終了すると、主役度情報算出部２０６は、画像グループ内の１つのラベルを選択し（ステップＳ１０１０）、選択したラベルの人物が写る画像の枚数を出現枚数とする（ステップＳ１０１５）。
ステップＳ１０１５の処理が終了すると、主役度情報算出部２０６は、画像グループに含まれる画像の枚数に２を加えた数を、出現枚数に１を加えた数で除算することで得られる値を算出し、算出した値を小数点第１位の位で四捨五入して基準値と算定する（ステップＳ１０２０）。
ステップＳ１０２０の処理が終了すると、主役度情報算出部２０６は、画像を撮影時刻順に並べる場合における最初の画像の前（すなわち、０番目）と、最後の画像の後ろ（すなわち、画像の枚数がｎ枚であれば、ｎ＋１番目）とに、選択したラベルの人物の写った画像があると設定する（ステップＳ１０２５）。
ステップＳ１０２５の処理が終了すると、主役度情報算出部２０６は、選択したラベルの人物が写る画像群において、撮影時刻順に連続する２枚の画像からなる組のそれぞれを連続画像組とする（ステップＳ１０３０）。
ステップＳ１０３０の処理が終了すると、主役度情報算出部２０６は、１つの連続画像組を選択し（ステップＳ１０３５）、選択した連続画像組の２枚の画像に対応付けられた順番の差を差分値として算定し（ステップＳ１０４０）、算定した差分値と基準値とを比較する（ステップＳ１０４５）。
ステップＳ１０４５の処理において、差分値が基準値以上の場合に（ステップＳ１０４５：Ｙｅｓ）、主役度情報算出部２０６は、選択しているラベルの多様性に、出現枚数に１を加えた数の逆数を加算して新たな多様性とする（ステップＳ１０５０）。
ステップＳ１０５０の処理が終了した場合、又は、ステップＳ１０４５の処理において、差分値が基準値以上でない場合に（ステップＳ１０４５：Ｎｏ）、主役度情報算出部２０６は、未だ選択していない連続画像組があるか否かを調べる（ステップＳ１０５５）。
ステップＳ１０５５の処理において、未選択の連続画像組が存在する場合に（ステップＳ１０５５：Ｎｏ）、主役度情報算出部２０６は、未選択連続画像組のうちの１つの連続画像組を選択し（ステップＳ１０６０）、再びステップＳ１０４０の処理に戻って、ステップＳ１０４０以降の処理を続ける。
ステップＳ１０５５の処理において、未選択の連続画像組が存在しない場合に（ステップＳ１０５５：Ｙｅｓ）、主役度情報算出部２０６は、未だ選択していないラベルがあるか否かを調べる（ステップＳ１０６５）。
ステップＳ１０６５の処理において、未選択ラベルが存在する場合に（ステップＳ１０６５：Ｎｏ）、主役度情報算出部２０６は、未選択ラベルのうちの１つのラベルを選択し（ステップＳ１０７０）、再びステップＳ１０１５の処理に戻って、ステップＳ１０１５以降の処理を続ける。
ステップＳ１０６５の処理において、未選択ラベルが存在しない場合に（ステップＳ１０６５：Ｙｅｓ）、主役度情報算出部２０６は、多様性算出処理を終了する。
再び図８に戻って、画像グループ分類処理の説明を続ける。
多様性算出処理、すなわち、ステップＳ８７０の処理が終了すると、主役度情報算出部２０６は、画像グループの主役度情報を生成して記憶する主役度情報生成処理を行う（ステップＳ８８０）。
以下、主役度情報算出部２０６が行う、主役度情報生成処理について、図面を用いて説明する。
＜主役度情報生成処理＞
図１１は、主役度情報算出部２０６が行う、主役度情報生成処理のフローチャートである。
主役度情報算出部２０６は、主役度情報生成処理を開始すると、画像グループ内の１つのラベルを選択し（ステップＳ１１００）、選択したラベルに属する顔ＩＤ毎に、顔面積と顔位置と顔向きと多様性を加算し、加算した値をその顔ＩＤのサブ主役度として算出する（ステップＳ１１０５）。
ステップＳ１１０５の処理が終了すると、主役度情報算出部２０６は、算出したサブ主役度の総和を計算し、計算した値を主役度として算出し（ステップＳ１１１０）、未だ選択していないラベルがあるか否かを調べる（ステップＳ１１１５）。
ステップＳ１１１５の処理において、未選択ラベルが存在する場合に（ステップＳ１１１５：Ｎｏ）、主役度情報算出部２０６は、未選択ラベルのうちの１つのラベルを選択し（ステップＳ１１２０）、再びステップＳ１１０５の処理に戻って、ステップＳ１１０５以降の処理を続ける。
ステップＳ１１１５の処理において、未選択ラベルが存在しない場合に（ステップＳ１１１５：Ｙｅｓ）、主役度情報算出部２０６は、家族（ここでは、息子、母、父）の名称のラベルに対応する主役度の中の最大の主役度を家族主役度と算定し、家族の名称のラベル以外のラベルに対応する主役度の総和を他人主役度と算定し（ステップＳ１１２５）、他人主役度が家族主役度の１０％以下か否かを調べる（ステップＳ１１３０）。
ステップＳ１１３０の処理において、他人主役度が家族主役度の１０％以下の場合に（ステップＳ１１３０：Ｙｅｓ）、主役度情報算出部２０６は、プライベート度を“極めて高い”とする（ステップＳ１１３５）。
ステップＳ１１３０の処理において、他人主役度が家族主役度の１０％以下でない場合に（ステップＳ１１３０：Ｎｏ）、主役度情報算出部２０６は、他人主役度が家族主役度の８０％以下か否かを調べる（ステップＳ１１４０）。
ステップＳ１１４０の処理において、他人主役度が家族主役度の８０％以下の場合に（ステップＳ１１４０：Ｙｅｓ）、主役度情報算出部２０６は、プライベート度を“高い”とする（ステップＳ１１４５）。
ステップＳ１１４０の処理において、他人主役度が家族主役度の８０％以下でない場合に（ステップＳ１１４０：Ｎｏ）、主役度情報算出部２０６は、他人主役度が家族主役度の１２０％以下か否かを調べる（ステップＳ１１５０）。
ステップＳ１１５０の処理において、人主役度が家族主役度の１２０％以下の場合に（ステップＳ１１５０：Ｙｅｓ）、主役度情報算出部２０６は、プライベート度を“普通”とする（ステップＳ１１５５）。
ステップＳ１１５０の処理において、他人主役度が家族主役度の１２０％以下でない場合に（ステップＳ１１６０：Ｎｏ）、主役度情報算出部２０６は、プライベート度を“低い”とする。
ステップＳ１１３５の処理が終了した場合、ステップＳ１１４５の処理が終了した場合、ステップＳ１１５５の処理が終了した場合、又は、ステップＳ１１６０の処理が終了した場合に、主役度情報算出部２０６は、算出したラベルと、ラベルに対応する算出した多様性と、ラベルに対応する算出した主役度と、イベント名情報受付部２１１によって受け付けられたイベント名と、算出したプライベート度とから、主役度情報を生成し、主役度情報書込読出部２０４を用いて、生成した主役度情報を、主役度情報記憶部２３３に書き込み（ステップＳ１１６５）、主役度情報生成処理を終了する。
再び図８に戻って、画像グループ分類処理の説明を続ける。
主役度情報生成処理、すなわち、ステップＳ８８０の処理が終了すると、画像グループ分類部２０８は、主役度情報書込読出部２０４を用いて、先ほど書き込まれた主役度情報を読み出し、イベント特徴情報書込読出部２０９を用いて、イベント特徴情報記憶部２３４に記録されているイベント特徴情報を読み出す。
さらに、画像グループ分類部２０８は、読み出された主役度情報とイベント特徴情報とを比較して、イベント特徴情報に含まれる分類先イベントの中に、主役度情報に含まれる主役度とプライベート度との組み合わせと一致する分類先イベントを見つける場合には、その読み出された主役度情報に対応する画像グループが分類されるべき分類先イベントは、その見つけた分類先イベントであるとする。
画像グループ分類部２０８は、該当する分類先イベントを見つけなかった場合には、その読み出された主役度情報に対応する画像グループが分類されるべき分類先イベントは、その他のイベントという分類先イベントであるとする。
画像グループ分類部２０８は、分類されるべき分類先イベントを決定すると、画像書込読出部２０２を用いて、画像記憶部２３１の分類されるべき分類先イベントに対応するイベントディレクトリの下に、画像グループに対応付けられているイベント名と同一名称のイベントディレクトリを作成して、そのイベントディレクトリの下に、画像グループに属する全ての画像のデータのアドレスを示す情報を保持させることで、その画像グループに属する全ての画像のデータがリンクされている状態とすることで、画像グループを分類する（ステップＳ８９０）。
その後、分類結果出力部２１０は、画像グループ分類部２０８によって算出された分類されるべき分類先イベントの分類先イベント名を、画像グループに対応付けられたイベント名と共にディスプレイ１９３に表示させて、画像分類装置１００は、その画像グループ分類処理を終了する。
＜具体例＞
以下、具体例を用いて説明を補足する。
図１２は、家族のメンバーが参加するイベントで撮影された画像群の一例である。
ここでは、図１２を用いて、多様性算出処理の動作についての補足説明を行う。
画像グループ１２００は、例えば、家族の息子が参加した“２００９年富士山ハイキング”というイベントで撮影された画像群からなる画像グループであって、画像１２０１〜画像１２１０によって構成されている。
また、画像１２０１〜画像１２１０は、この順番に撮影された画像であって、人物１２２１〜人物１２２４は家族の息子（ラベル：息子）であり、人物１２３１〜人物１２３４は同一の他人（ラベル：他人Ａ）である。
画像グループ１２００において、総枚数は１０枚である。
息子は４枚の画像に写っているため、息子の出現枚数は４枚となり、息子の基準値は（１０＋２）÷（４＋１）＝２．４を小数点第１位の位で四捨五入した値である２となる。
息子の差分値は、順に、１、５、２、１、２となるため、息子の多様性は、｛１÷（４＋１）｝×３＝０．６となる。
他人Ａも４枚の画像に写っているため、息子の場合と同様に、他人Ａの出現枚数は４枚となり、他人Ａの基準値は（１０＋２）÷（４＋１）＝２．４を小数点第１位の位で四捨五入した値である２となる。
他人Ａの差分値は、順に、２、１、１、１、６となるため、他人の多様性は｛１÷（４＋１）｝×２＝０．４となる。
このように、写っている写真の分布がばらついている息子の方が、写っている写真の分布が偏っている他人Ａよりも多様性は高くなる。
図１３は、家族のメンバーが参加するイベントで撮影された画像群の一例である。
ここでは、図１３を用いて、画像グループ分類部２０８の行う画像グループの分類処理についての補足説明を行う。
画像グループ１３００は、例えば、家族で北海道に旅行にいくというイベント（イベント名：北海道２０１０春）で撮影された画像１３０１〜画像１３０４からなる画像グループであって、画像グループ１３１０は、例えば、息子の運動会というイベント（イベント名：２００９年運動会）で撮影された画像１３１１〜画像１３１４からなる画像グループであって、画像グループ１３２０は、例えば、親戚の結婚式というイベント（イベント名：Ａ子さん結婚式）で撮影された画像１３２１〜画像１３２４からなる画像グループである。
画像グループ１３００において、人物１３５１〜人物１３５４は家族の息子であり、人物１３６１は家族の母親であり、人物１３７１は家族の父親であり、人物１３９０は他人である。
画像グループ１３００では、他人は１枚しか写っておらず、かつ、小さく端の方に写っているため、他人主役度は小さくなる。
一方、息子、母親、父親は、比較的大きく中央付近に写っているため、それぞれの主役度は大きくなる。特に息子は全ての画像に写っているため、家族の主役度は大きくなる。
従って、画像グループ１３００のプライベート度は“極めて高い”となり、重要人物は“家族全員”となる。
イベント特徴情報記憶部２３４に記憶されているイベント特徴情報（図７参照）によれば、プライベート度が“極めて高い”で重要人物が“家族全員”となる分類先イベントは“旅行”となっているため、イベント名“北海道２０１０春”というイベントで撮影された画像からなる画像グループ１３００は、分類先イベント“旅行”に分類される。
画像グループ１３１０において、人物１３５５〜人物１３５８は家族の息子であり、人物１３９１、人物１３９２、人物１３９３、人物１３９４は他人であり、人物１３４１と人物１３４２とは同一の他人である。
画像グループ１３１０では、他人が多数写っているため、他人主役度は画像グループ１３００の場合に比べて高い値となる。
一方、息子は、全画像で比較的大きく写っているため、息子の主役度（すなわち、家族主役度）は、他人主役度よりも高い値となる。
従って、画像グループ１３１０のプライベート度は“高い”となり、重要人物は“息子”となる。
イベント特徴情報記憶部２３４に記憶されているイベント特徴情報によれば、プライベート度が“高い”で重要人物が“息子”となる分類先イベントは“運動会”となっているため、イベント名“２００９年運動会”というイベントで撮影された画像からなる画像グループ１３１０は、分類先イベント“運動会”に分類される。
画像グループ１３２０において、人物１３６２〜人物１３６４は家族の母親であり、人物１３９５、人物１３９６、人物１３９７、人物１３９８、人物１３９９は他人であり、人物１３８１〜人物１３８４は同一の他人であり、人物１３８６〜人物１３８８は同一の他人である。
画像グループ１３２０では、他人が中央付近に多数写っているため、他人主役度は画像グループ１３１０の場合に比べてさらに高い値となる。
一方、母親は、３枚の写真に写ってはいるが、比較的小さく端の方に写っているため、母の主役度（すなわち、家族主役度）は、他人主役度よりも低い値となる。
従って、画像グループ１３２０のプライベート度は“低い”となり、重要人物は“母”となる。
イベント特徴情報記憶部２３４に記憶されているイベント特徴情報によれば、プライベート度が“低い”で重要人物が“母”となる分類先イベントは“結婚式”となっているため、イベント名“Ａ子さん結婚式”というイベントで撮影された画像からなる画像グループ１３２０は、分類先イベント“結婚式”に分類される。
＜まとめ＞
上述の画像分類装置１００によれば、一つのイベントで撮影された画像群からなる画像グループを画像グループ単位で分類先イベントへ分類するため、一つのイベントで撮影された画像が、互いに異なる分類先イベントに分類されてしまうことがない。
＜実施の形態２＞
以下、本発明に係る画像分類装置の一実施形態として、実施の形態１で説明した画像分類装置１００の一部を変形し、多様性算出処理のアルゴリズムが、画像分類装置１００の行う多様性算出処理のアルゴリズムと異なるものとなっている、第１変形画像分類装置について説明する。
第１変形画像分類装置は、ハードウエア構成が画像分類装置１００と同じである。
しかしながら、第１変形画像分類装置は、第１変形画像分類装置におけるＲＯＭ１０２に記憶されているＣＰＵ１０５の動作を規定するプログラムの一部と、画像分類装置１００におけるＲＯＭ１０２に記憶されているＣＰＵ１０５の動作を規定するプログラムの一部とが互いに異なっているため、画像分類装置１００における主役度情報算出部２０６が第１変形主役度情報算出部に変形され、画像分類装置１００における多様性算出処理が、第１変形多様性算出処理に変形されたものとなっている。
以下、実施の形態２に係る第１変形画像分類装置について、画像分類装置１００との相違点である第１変形多様性算出処理を中心に、図面を用いて説明する。
＜第１変形多様性算出処理＞
図１４は、第１変形主役度情報算出部が行う、第１変形多様性算出処理のフローチャートである。
第１変形主役度情報算出部は、第１変形多様性算出処理を開始すると、画像グループ内の各ラベルについて、多様性の初期値を１とし（ステップＳ１４００）、ステップＳ１４０５の処理とステップＳ１４１０の処理とを行う。
ステップＳ１４０５の処理とステップＳ１４１０の処理とは、それぞれ、実施の形態１における多様性算出処理（図１０参照）のステップＳ１００５の処理とステップＳ１０１０の処理と同様の処理なので、ここでは説明を省略する。
ステップＳ１４１０の処理が終わると、第１変形主役度情報算出部は、ステップＳ１４２５の処理〜ステップＳ１４４０の処理を行う。
ステップＳ１４２５の処理〜ステップＳ１４４０の処理は、それぞれ、実施の形態１における多様性算出処理のステップＳ１０２５の処理〜ステップＳ１０４０の処理と同様の処理なので、ここでは説明を省略する。
ステップＳ１４４０の処理が終わると、第１変形主役度情報算出部は、差分値の２乗の値を総数に１を加えた数の２乗の値で除算することで得られる値を、多様性から減算して新たな多様性とする（ステップＳ１４５０）。
ステップＳ１４５０の処理が終わると、第１変形主役度情報算出部は、ステップＳ１４５５の処理〜ステップＳ１４７０の処理を行う。
ステップＳ１４５５の処理〜ステップＳ１４７０の処理は、それぞれ、実施の形態１における多様性算出処理のステップＳ１０５５の処理〜ステップＳ１０７０の処理と同様の処理なので、ここでは説明を省略する。
ステップＳ１４６５の処理において、未選択ラベルが存在しない場合に（ステップＳ１４６５：Ｙｅｓ）、第１変形主役度情報算出部は、第１変形多様性算出処理を終了する。
＜具体例＞
以下、具体例を用いて説明を補足する。
ここでは、図１２を用いて、第１変形多様性算出処理の動作についての補足説明を行う。
息子の差分値は、順に、１、５、２、１、２となるため、息子の多様性は、１−（１÷１０）×（１÷１０）−（５÷１０）×（５÷１０）−（２÷１０）×（２÷１０）−（１÷１０）×（１÷１０）−（２÷１０）×（２÷１０）＝０．６５となる。
他人Ａの差分値は、順に、２、１、１、１、６となるため、他人の多様性は、１−（２÷１０）×（２÷１０）−（１÷１０）×（１÷１０）−（１÷１０）×（１÷１０）−（１÷１０）×（１÷１０）−（６÷１０）×（６÷１０）＝０．５９となる。
このように、写っている写真の分布がばらついている息子の方が、写っている写真の分布が偏っている他人Ａよりも多様性は高くなる。
＜まとめ＞
上述の第１変形画像分類装置によれば、画像分類装置１００と同様に、一つのイベントで撮影された画像群からなる画像グループを画像グループ単位で分類先イベントへ分類するため、一つのイベントで撮影された画像が、互いに異なる分類先イベントに分類されてしまうことがない。
＜実施の形態３＞
以下、本発明に係る画像分類装置の一実施形態として、実施の形態１で説明した画像分類装置１００の一部を変形し、多様性算出処理のアルゴリズムが、画像分類装置１００の行う多様性算出処理のアルゴリズムと異なるものとなっている、第２変形画像分類装置について説明する。
第２変形画像分類装置は、ハードウエア構成が画像分類装置１００と同じである。
しかしながら、第２変形画像分類装置は、第２変形画像分類装置におけるＲＯＭ１０２に記憶されているＣＰＵ１０５の動作を規定するプログラムの一部と、画像分類装置１００におけるＲＯＭ１０２に記憶されているＣＰＵ１０５の動作を規定するプログラムの一部とが互いに異なっているため、画像分類装置１００における主役度情報算出部２０６が第２変形主役度情報算出部に変形され、画像分類装置１００における多様性算出処理が、第２変形多様性算出処理に変形されたものとなっている。
この第２変形多様性算出処理には、画像グループに属する画像を、撮影されたシーン毎に区分する動作であるシーン分割処理が含まれている。
以下、実施の形態３に係る第２変形画像分類装置について、画像分類装置１００との相違点である第２変形多様性算出処理を中心に、図面を用いて説明する。
＜第２変形多様性算出処理＞
図１５は、第２変形主役度情報算出部が行う、第２変形多様性算出処理のフローチャートである。
第２変形主役度情報算出部は、第２変形多様性算出処理を開始すると、画像グループ内の各ラベルについて、多様性の初期値を０とし（ステップＳ１５００）、画像グループに属する画像を、撮影されたシーン毎に区分するシーン分割処理を行う（ステップＳ１５１０）。
以下、第２変形主役度情報算出部が行う、シーン分割処理について、図面を用いて説明する。
＜シーン分割処理＞
図１６は、第２変形主役度情報算出部が行う、シーン分割処理のフローチャートである。
このシーン分割処理は、同じシーンで撮影された画像は、最大の色特徴量が同じであるとの仮定に基づいて、各画像をその最大の色特徴量に基づいてシーンに区分するという処理である。
第２変形主役度情報算出部は、シーン分割処理を開始すると、撮影時刻順における１番目の画像を選択し（ステップＳ１６００）、第１シーンを生成して、選択した１番目の画像を生成した第１シーンに区分し（ステップＳ１６１０）、撮影時刻順における次の画像が存在するか否かを調べる（ステップＳ１６２０）。
ステップＳ１６２０の処理において、次の画像が存在する場合に（ステップＳ１６２０：Ｙｅｓ）、第２変形主役度情報算出部は、画像特徴情報記憶部２３２に記憶されている画像特徴情報を参照して、選択中の画像の色特徴量における最大の色を一時的に記憶する（ステップＳ１６３０）。
ステップＳ１６２０の処理が終わると、第２変形主役度情報算出部は、撮影時刻順における次の画像を新たに選択し、画像特徴情報記憶部２３２に記憶されている画像特徴情報を参照して、新たに選択した画像の色特徴量における最大の色が、一時的に記憶している前回選択していた画像の色特徴量における最大の色と一致するか否かを調べる（ステップＳ１６５０）。
ステップＳ１６５０の処理において、色特徴量における最大の色が一致する場合に（ステップＳ１６５０：Ｙｅｓ）、第２変形主役度情報算出部は、選択中の画像を、前回選択していた画像と同じシーンに区分する（ステップＳ１６６０）。
ステップＳ１６５０の処理において、色特徴量における最大の色が一致しない場合に（ステップＳ１６５０：Ｎｏ）、第２変形主役度情報算出部は、新たなシーンを生成して、選択中の画像を生成し新たなシーンに区分する（ステップＳ１６７０）。
ステップＳ１６２０の処理において、次の画像が存在しない場合に（ステップＳ１６２０：Ｎｏ）、第２変形主役度情報算出部は、そのシーン分割処理を終了する。
再び図１５に戻って、第２変形多様性算出処理の説明を続ける。
シーン分割処理、すなわち、ステップＳ１５１０の処理が終了すると、第２変形主役度情報算出部は、画像グループ内の１つのラベルを選択する（ステップＳ１５２０）。
ステップＳ１５２０の処理が終了すると、第２変形主役度情報算出部は、１つのシーンを選択し（ステップＳ１５３０）、選択したシーンに区分されている画像の中に、選択したラベルの人物が写っているか否かを調べる（ステップＳ１５４０）。
ステップＳ１５４０の処理において、選択したラベルの人物が写っている場合に（ステップＳ１５４０：Ｙｅｓ）、第２変形主役度情報算出部は、シーンの数の逆数を多様性に加算して新たな多様性とする（ステップＳ１５５０）。
ステップＳ１６４０の処理がした場合、又は、ステップＳ１５４０の処理において、選択したラベルの人物が写っていない場合に（ステップＳ１５４０：Ｎｏ）、第２変形主役度情報算出部は、未だ選択していないシーンが存在するか否かを調べる（ステップＳ１５６０）。
ステップＳ１５６０の処理において、未選択のシーンが存在する場合に（ステップＳ１５６０：Ｎｏ）、第２変形主役度情報算出部２は、未選択シーンのうちの１つのシーンを選択し（ステップＳ１５７０）、再びステップＳ１５３０の処理に戻って、ステップＳ１５３０以降の処理を続ける。
ステップＳ１５６０の処理において、未選択のシーンが存在しない場合に（ステップＳ１５６０：Ｙｅｓ）、第２変形主役度情報算出部は、未だ選択していないラベルが存在するか否かを調べる（ステップＳ１５８０）。
ステップＳ１５８０の処理において、未選択のラベルが存在する場合に（ステップＳ１５８０：Ｎｏ）、第２変形主役度情報算出部は、未選択ラベルのうちの１つのラベルを選択し（ステップＳ１５９０）、再びステップＳ１５２０の処理に戻って、ステップＳ１５２０以降の処理を続ける。
ステップＳ１５８０の処理において、未選択のラベルが存在しない場合に（ステップＳ１５８０：Ｙｅｓ）、第２変形主役度情報算出部は、その第２変形多様性算出処理を終了する。
＜具体例＞
以下、具体例を用いて説明を補足する。
ここでは、図１２を用いて、第２変形多様性算出処理の動作についての補足説明を行う。
画像グループ１２００において、画像１２０１〜画像１２０５は、第１シーンに区分されている画像であり、画像１２０６〜画像１２０８は、第２シーンに区分されている画像であり、画像１２０９と画像１２１０とは、第３シーンに区分されている画像であるとする。
息子は、第１シーンと第２シーンと第３シーンとに写っているため、息子の多様性は、（１÷３）×３＝１となる。
他人Ａは、第１シーンにだけ写っているため、他人Ａの多様性は、（１÷３）×１＝０．３３となる。
このように、写っている写真の分布がばらついている息子の方が、写っている写真の分布が偏っている他人Ａよりも多様性は高くなる。
＜まとめ＞
上述の第２変形画像分類装置によれば、画像分類装置１００と同様に、一つのイベントで撮影された画像群からなる画像グループを画像グループ単位で分類先イベントへ分類するため、一つのイベントで撮影された画像が、互いに異なる分類先イベントに分類されてしまうことがない。
＜発明の効果＞
以上、本発明に係る画像分類装置の一実施形態として、実施の形態１、実施の形態２、
実施の形態３においてイベントを分類することができることを示したが、イベントの分類結果を用いることにより、ユーザに対して分類先が同一となるイベント群を提示、選択および再生可能としたり、分類先ごとに同一のアイコンを割当てることで、画像鑑賞におけるユーザ・ナビゲーションを容易とすることができる。また、画像グループをもとにユーザが電子アルバムを作成するアプリケーションにおいて、イベント分類の結果を用いることで、イベントの分類先ごとに、分類先に応じて、例えば、結婚式や運動会の分類先ごとに用意されたアルバムの背景画像、画像の配置情報、デコレーション用の画像やその配置を記述したテンプレートを自動選択し、ユーザに提示することが可能となる。
＜補足＞
以上、本発明に係る画像分類装置の一実施形態として、実施の形態１、実施の形態２、実施の形態３において、画像グループ分類処理を行う画像分類装置の例について説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態で示した通りの画像分類装置に限られないことはもちろんである。
（１）実施の形態１において、画像分類装置１００が記憶する画像として、ＪＰＥＧ方式で符号化されたデータとしたが、デジタル写真をデータとして記憶することができるものであれば、ＪＰＥＧ方式以外の符号化方式、例えばＰＮＧ（Portable Network Graphics）方式やＧＩＦ（Graphics Interchange Format）方式等で符号化されたものであっても構わないし、符号化されないビットマップ方式のデータであっても構わない。
また、コンテンツとしてデジタル写真を例として示したが、デジタルデータとして記憶することができる画像であれば、例えば、スキャナで読み取った絵画のデータ等であっても構わない。
（２）実施の形態１において、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ハードディスク装置インターフェース１０４と、外部記録媒体読取書込装置インターフェース１０５と、ＵＳＢ制御装置インターフェース１０６と、出力装置インターフェース１０７と、入力装置インターフェース１０８と、通信装置インターフェース１０９と、デコーダ１１１と、バスライン１２０とが、システムＬＳＩ１１０に集積されているとしたが、システムＬＳＩ１１０と同じ機能を実現することができれば、必ずしも１つのＬＳＩに統合されている必要はなく、複数の集積回路等で実現されていても構わない。
（３）実施の形態１において、デコーダ１１１は、ＤＳＰであるとしたが、符号化されたデータを復号する機能があれば、必ずしもＤＳＰである必要はなく、例えば、ＣＰＵ１０１が兼用する構成であっても構わないし、ＣＰＵ１０１とは異なるＣＰＵであっても構わないし、ＡＳＩＣ等で構成される専用回路であっても構わない。
（４）実施の形態１において、入力装置１７０は、リモコン１９７から無線で送信されるユーザからの操作コマンドを受け付ける機能を有する構成であるとしたが、ユーザからの操作コマンドを受け付ける機能があれば、必ずしもリモコン１９７から無線で送信される操作コマンドを受け付ける機能を有する構成でなくても、例えば、キーボードとマウスとを備え、キーボードとマウスとを介してユーザからの操作コマンドを受け付ける機能を有する構成であっても構わないし、ボタン群を備え、ボタン群を介してユーザからの操作コマンドを受け付ける機能を有する構成等であっても構わない。
（５）実施の形態１において、画像グループデータ受付部２０１が、２枚以上の画像の指定を受け付け、指定された画像群を、１つの画像グループに含まれる画像群とするとしたが、画像と画像グループとの対応付けを取ることができれば、例えば、画像グループデータ受付部２０１は、画像データと、画像グループに属する画像のリストとを受け取り、受け取ったリストに基づいて、画像と画像グループとを対応付けるといった構成であっても構わないし、例えば、画像グループデータ受付部２０１は、画像データと、その画像データが撮影された撮影時刻の情報と、撮影時刻の情報と画像グループとの対応関係の情報とを受け取り、受け取った撮影時刻の情報に基づいて、画像と画像グループとを対応付けるといった構成であっても構わない。
また、画像と画像グループとの対応付けを取ることができれば、必ずしもユーザによって指定されることによって対応付けを取る必要はなく、既存の技術を利用して、自動で画像と画像グループとの対応付けを行う構成としても構わない。
（６）実施の形態１において、画像グループデータ受付部２０１は、読み込んだ画像に対して、シーケンシャルに画像ＩＤを付与するとしたが、重複を避けて付与することができれば、必ずしもシーケンシャルに画像ＩＤを付与しなくても構わない。
（７）実施の形態１において、画像特徴量抽出部２０５は、人の顔の認識を試み、認識した認識顔のそれぞれに顔ＩＤを付与するとしたが、認識を試みる対象は、対象物として特定することができる特徴を有するものであれば、必ずしも人の顔に限られる必要はなく、例えば、犬や猫といったペットの顔、特定の車種の車、特定の建築物等であっても構わない。
（８）実施の形態１において、顔のモデルは、例えば、目、鼻、口等の顔を形成するパーツの輝度や、相対的な位置関係に関する情報等であるとしたが、顔を認識することができる情報であれば、これら以外、例えば、目の色や、ほくろの位置、肌の色等といった顔の特徴を示すものであっても構わないし、複数の顔の特徴を表すものの組み合わせであっても構わない。
（９）実施の形態１において、画像特徴量抽出部２０５が特定する色として、黒、青、緑、白としたが、これらの色に限られる必要はなく、例えば、赤、黄等であっても構わない。
（１０）実施の形態１において、プライベート度は“極めて高い”、“高い”、“普通”、“低い”の４段階のうちの１つの段階となるものとしているが、家族以外の人物の重要度に対する家族の人物の重要度を示す指標となるものであれば、必ずしも４段階のうちの１つの段階となるものに限られる必要はなく、例えば、１０段階のうちの１つの段階となるものであっても構わないし、シームレスに数値で表現されるものであっても構わない。
また、プライベート度の場合分けを、他人主役度に対する家族主役度の比率に応じて行うとしたが、プライベート度の場合分けを一意に行うことができれば、必ずしも他人主役度に対する家族主役度の比率に応じて行う必要はなく、例えば、他人主役度の絶対値が０である場合に、プライベート度を“極めて高い”と決定するといったように、他人主役度の絶対値に応じてプライベート度の場合分けを行うとしても構わない。
さらには、プライベート度の場合分けを、例えば、ロジスティック回帰分析法、ＳＶＭ（Support Vector Machine）法等の学習モデルを用いて行う手法によって行うとしても構わない。
（１１）実施の形態１において、画像グループ分類部２０８は、プライベート度と重要人物とに基づいて画像グループを分類先イベントへ分類するとしたが、主役度を反映した指標に基づいて画像グループを分類先イベントへ分類することができれば、必ずしもプライベート度と重要人物とに基づいて分類する必要はなく、例えば、ある特定人物の主役度のみに基づいて画像グループを分類先イベントへ分類するとしても構わない。
図１７は、画像グループ分類部２０８が、画像装置ユーザの主役度の値のみに基づいて、画像グループを分類イベントへ分類する例において、画像グループ分類部２０８が利用するイベント特徴情報のデータ構成を示すものである。
同図に示されるように、このイベント特徴情報は、ユーザの主役度である主役度１７０１と分類先イベント１７０２とを対応付けるものであって、例えば、主役度が１未満である画像グループは、分類先イベントとして“風景”に分類されるべきであることを示している。
また、画像グループの分類を、例えば、ロジスティック回帰分析法、ＳＶＭ法等の学習モデルを用いて行う手法によって行うとしても構わないし、Ｋ−ｍｅａｎｓ法等のクラスタリング手法によって行うとしても構わない。
（１２）実施の形態１において、基準値は、画像グループに含まれる画像の枚数に２を加えた数を、出現枚数に１を加えた数で除算することで得られる値を算出し、算出した値を小数点第１位の位で四捨五入して算定されるとしたが、画像グループに含まれる画像の枚数に２を加えた数を、出現枚数に１を加えた数で除算することで得られる値に基づくものであれば、必ずしも小数点第１位の位で四捨五入して算定される必要はなく、例えば、四捨五入せずに基準値として算定しても構わないし、小数点第２位以下の位を切り捨てることで算定するとしても構わない。
（１３）実施の形態１において、家族主役度は、家族の名称（息子、母、父）のラベルに対応する主役度の中の最大の主役度であるとしたが、家族のメンバーの主役度を反映したものであれば、必ずしも家族の名称のラベルに対応する主役度の中の最大の主役度である必要はなく、例えば、家族のメンバーの主役度の総和であっても構わない。
また、他人主役度は、家族の名称のラベル以外のラベルに対応する主役度の総和であるとしたが、家族以外の人物の主役度を反映したものであれば、必ずしも家族の名称のラベル以外のラベルに対応する主役度の総和である必要はなく、例えば、家族以外の人物の主役度の中の最大の主役度であるとしても構わないし、複数の画像に顔が写っている家族以外の人物の主役度の総和であっても構わないし、複数の画像に顔が写っている家族以外の人物の人物の中の最大の主役度であるとしても構わないし、家族以外の主役度のうち、家族のメンバーの主役度よりも高い主役度である人物の主役度の総和であっても構わない。
（１４）実施の形態１において、サブ主役度は、顔面積と顔位置と顔向きと多様性を加算したものであるとしたが、顔面積と顔位置と顔向きと多様性とのうちの少なくとも１つを反映したものであれば、必ずしもこれら全てを加算したものである必要はなく、例えば、顔面積と多様性とを加算したものであっても構わないし、顔面積と顔位置と顔向きと多様性とを重み付け加算することで得られるものであっても構わないし、顔面積と顔位置と顔向きと多様性とを加算して得られた値をその画像に含まれる認識顔の数で除算したものであっても構わないし、顔面積と顔位置と顔向きと多様性とを加算して得られた値をその画像に含まれる家族以外の認識顔の数で除算したものであっても構わない。
（１５）実施の形態１において、画像特徴量抽出部２０５は、認識した顔それぞれに、その認識顔を特定するための顔ＩＤを、シーケンシャルに付与するとしたが、重複を避けて付与することができれば、必ずしもシーケンシャルに付与しなくても構わない。
（１６）実施の形態１において、色特徴量は、画像全体に対して特徴を示すものであるとしたが、画像の色の特徴を示すものであれば、例えば、画像の上半分といったような一部分に対すものであっても構わないし、画像の左１０％の部分と画像の右１０％の部分といったように複数の一部分に対するものであっても構わない。
（１７）実施の形態１において、画像に写っている人物が家族であるか否かを、サンプル画像に写っている人物と比較することで決定するとしているが、特定の人物として識別することができれば、必ずしもサンプル画像に写っている人物と比較することで決定する必要はなく、例えば、複数の画像グループに登場する人物を家族として決定するとしても構わない。
（１８）実施の形態１において、画像グループ分類部２０８は、分類されるべき分類先イベントを決定すると、分類されるべき分類先イベントに対応するイベントディレクトリの下に、画像グループに対応付けられているイベント名と同一名称のイベントディレクトリを作成して、そのイベントディレクトリの下に、画像グループに属する全ての画像のデータのリンクを張ることで、画像グループを分類するとしたが、画像グループに属する画像が同じ分類先イベントに対応付けられていれば、必ずしもリンクを張ることで画像グループを分類するとする必要はなく、例えば、画像グループに属する画像に、分類先イベントを特定するためのタグを付与するとしても構わない。
（１９）実施の形態１において、主役度情報算出部２０６によって算出される多様性は、前述の多様性算出処理を行うことで算出されるものであるとしたが、例えば、前述の多様性算出処理を行うことで算出される多様性に対して、出現枚数に１を加えた数を出現枚数で除算することで得られる数を乗算することで得られる値であるというように、前述の多様性算出処理を行うことで算出される多様性を利用して算出されるものであれば、必ずしも前述の多様性算出処理を行うことで算出される多様性そのものに限られる必要はない。
ここで例示した、前述の多様性算出処理を行うことで算出される多様性に対して、出現枚数に１を加えた数を出現枚数で除算することで得られる数を乗算することで得られる値は、取り得る最大値が１となるように正規化されたものとなっている。
（２０）実施の形態１乃至３で示した、画像グループ分類動作等を画像分類装置のＣＰＵ、及びそのＣＰＵに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等がある。流通、頒布された制御プログラムはＣＰＵに読み出され得るメモリ等に格納されることにより利用に供され、そのＣＰＵがその制御プログラムを実行することにより各実施形態で示したような各種機能が実現されるようになる。なお、制御プログラムの一部を画像分類装置とは別個のプログラム実行可能な装置（ＣＰＵ）に各種通信路等を介して送信して、その別個のプログラム実行可能な装置においてその制御プログラムの一部を実行させることとしてもよい。
（２１）以下、さらに本発明の一実施形態に係る画像分類装置の構成及びその変形例と各効果について説明する。
（ａ）本発明の一実施形態に係る画像分類装置は、一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部と、前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定部と、前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類部とを備えることを特徴とする。
ここで、所定の特徴を有するオブジェクトとは、例えば、特定の個人の顔、特定のペットの顔、特定の車種の車、特定の建築物等のことである。
上述の構成を備える画像分類装置は、画像を、一イベントに関連して撮影された複数の画像からなる画像グループ単位で分類する。
従って、あるイベントに関連して撮影された複数の画像が、互いに異なるカテゴリに分類されてしまうことがないように、画像を分類することができるようになる。
図１８は、上記変形例における画像分類装置の機能構成を示す機能ブロック図である。
同図に示されるように、この画像分類装置は、画像特定部１８０１と評価値算定部１８０２と画像グループ分類部１８０３とから構成される。
画像特定部１８０１は、一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する機能を有する。一例として、実施の形態１（図２参照）における、画像グループデータ受付部２０１と画像書込読出部２０２と画像特徴情報書込読出部２０３と画像特徴量抽出部２０５と主役度情報算出部２０６の一部（機能１と機能２とを実現する部分）とサンプル画像受付部２１３とサンプル画像書込部２１４と画像記憶部２３１と画像特徴情報記憶部２３２と顔対応表記憶部２３５とサンプル画像記憶部２３６として実現される。
評価値算定部１８０２は、画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、画像特定部１８０１によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、所定の特徴を有するオブジェクトの評価値を算定する機能を有する。一例として、実施の形態１における、主役度情報書込読出部２０４と主役度情報算出部２０６の一部（機能３と機能４と機能５とを実現する部分）とイベント名情報受付部２１１と主役度情報記憶部２３３として実現される。
画像グループ分類部１８０３は、評価値算定部１８０２によって算定された評価値に基づいて、画像グループに関連するイベントを分類する機能を有する。一例として、実施の形態１における、画像グループ分類部２０８とイベント特徴情報書込読出部２０９と分類結果出力部２１０とイベント特徴情報受付部２１２とイベント特徴情報記憶部２３４として実現される。
（ｂ）また、前記画像部類装置は、前記画像分類装置を利用するユーザから、前記所定の特徴に係る情報を受け付ける情報受付手段と、前記情報受付手段によって受け付けられた情報から前記所定の情報を生成して記憶する記憶手段を備え、前記画像特定部は、前記画像の特定を、前記記憶手段に記憶されている所定の特徴を利用して行い、前記時間情報は、前記画像グループに含まれる各画像を撮影時刻順に並べる場合における順番であって、前記評価値算定部は、前記評価値の算定を、前記画像グループに含まれる画像それぞれの撮影時刻の順番からなる集合における、前記画像特定部によって特定された画像それぞれの撮影時刻の順番の分布に基づいて行うとしてもよい。
このような構成にすることによって、画像分類装置を利用するユーザは、所定の情報を生成するための情報を入力することができることができるようになるため、所定の情報をユーザの嗜好を反映したものとすることができるようになる。
さらには、各画像の撮影順さえわかっていれば、各画像の撮影時刻が正確にわかっていなくても、イベントを分類することができるようになる。
（ｃ）また、前記画像分類装置は、前記画像グループに含まれる画像の枚数に２を加えた数を、前記画像特定部によって特定された画像の数に１を加えた数で除算することで得られる基準値を算定する基準値算定部と、前記画像特定部によって特定された画像の中で撮影時刻順に連続する２枚の画像の組である連続画像組のそれぞれについて、２枚の画像の、前記画像グループに含まれる画像における撮影時刻の順番の差である差分値を算定する差分値算定部とを備え、前記評価値算定部は、それぞれの連続画像組について前記基準値算定部によって算定された基準値と前記差分値算定部によって算定された差分値との比較を行い、前記基準値算定部によって算定された基準値よりも、前記差分値算定部によって算定された差分値の方が大きい連続画像組の数に基づいて、前記評価値の算定を行うとしてもよい。
このような構成にすることによって、四則演算と大小比較演算の組み合わせで評価値を算定することができるようになるので、評価値算定部の行う評価値の算定を、既知の手法の組み合わせで実現できるようになる。
（ｄ）また、前記画像分類装置は、前記画像特定部によって特定された画像の中で撮影時刻順に連続する２枚の画像の組である連続画像組のそれぞれについて、２枚の画像の、前記画像グループに含まれる画像における撮影時刻の順番の差を２乗して得られる差分２乗値を算定する差分２乗値算定部を備え、前記評価値算定部は、前記画像特定部によって算定された差分２乗値の総和と、前記画像グループに含まれる画像の数とに基づいて、前記評価値の算定を行うとしてもよい。
このような構成にすることによって、四則演算の組み合わせで評価値を算定することができるようになるので、評価値算定部の行う評価値の算定を、既知の手法の組み合わせで実現できるようになる。
（ｅ）また、前記画像分類装置は、同一シーンにおいて撮影された画像が同一のサブ画像グループとなるように、画像グループを構成する画像群を撮影時刻順に複数のサブ画像グループに区分するサブ画像グループ区分部を備え、前記評価値算定部は、前記評価値の算定を、前記画像特定部によって特定されたオブジェクトが写っている画像が属するサブ画像グループの数に基づいて行うとしてもよい。
このような構成にすることによって、所定の特徴を有するオブジェクトの写っている画像が含まれるシーンの数で評価値を算定することができるようになるので、評価値算定部の行う評価値の算定を、既知の手法の組み合わせで実現できるようになる。
（ｆ）また、前記画像分類装置は、前記時間情報は撮影時刻であって、前記評価値算定部は、前記評価値の算定を、前記画像グループに含まれる画像それぞれの撮影時刻の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻の分布に基づいて行うとしてもよい。
このような構成にすることによって、画像グループに属する各画像が、予め撮影時刻の情報を含むＥｘｉｆ（Exchangeable Image File Format）ファイルに対応付けられているような場合には、新たに時間情報を生成しなくても、既に存在しているＥｘｉｆファイルに含まれる撮影時刻の情報をそのまま利用することができるようになる。
（ｇ）また、前記画像分類装置は、前記画像グループの中から、前記所定の特徴とは別の特徴を有するオブジェクトが写っている画像を特定する比較用画像特定部と、
前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報からなる集合における、前記比較用画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴とは別の特徴を有するオブジェクトの比較用評価値を算定する比較用評価値算定部と、前記画像グループ分類部は、前記イベントの分類を、さらに、前記比較用評価値算定部によって算定された比較用算定値に基づいて行うとしてもよい。
このような構成にすることによって、所定の特徴を有するオブジェクトが１つである場合における評価値に基づいて行うイベントの分類よりも、よりきめ細かなイベントの分類ができるようになる。
（ｈ）また、前記画像分類装置は、前記画像特定部によって特定された画像それぞれについて、前記所定の特徴を有するオブジェクトの面積を算定する面積算定部を備え、前記評価値算定部は、前記評価値の算定を、さらに、前記面積算定部によって算定された前記所定の特徴を有するオブジェクトの面積に基づいて行うとしてもよい。
このような構成にすることによって、例えば、所定の特徴を有するオブジェクトの面積が大きい程、評価値を大きくするというように、所定の特徴を有するオブジェクトの面積に応じて評価値を算定することができるようになる。
（ｉ）また、前記画像分類装置は、前記画像特定部によって特定された画像それぞれについて、画像の中心と前記所定の特徴を有するオブジェクトの位置との差を算定する位置算定部を備え前記評価値算定部は、前記評価値の算定を、さらに、前記位置算定部によって算定された前記差に基づいて行うとしてもよい。
このような構成にすることによって、例えば、所定の特徴を有するオブジェクトの位置が画像の中心に近い程、評価値を大きくするというように、所定の特徴を有するオブジェクトの位置に応じて評価値を算定することができるようになる。
（ｊ）また、前記画像分類装置は、前記所定の特徴を有するオブジェクトとは、所定の特徴を有する人の顔であって、前記画像特定部によって特定された画像それぞれについて、前記所定の特徴を有する人の顔の正面向き基準での角度を算定する顔角度算定部を備え、前記評価値算定部は、前記評価値の算定を、さらに、前記顔角度算定部によって算定された前記所定の特徴を有する人の顔の前記角度に基づいて行うとしてもよい。
このような構成にすることによって、例えば、所定の特徴を有する人の顔の向きが正面を向いている程、評価値を大きくするというように、所定の特徴を有する人の顔の向きに応じて評価値を算定することができるようになる。
本発明に係る画像分類装置は、複数のデジタル画像を記憶する機能を有する機器に広く適用することができる。
１００ 画像分類装置
２０１ 画像グループデータ受付部
２０２ 画像書込読出部
２０３ 画像特徴情報書込読出部
２０４ 主役度情報書込読出部
２０５ 画像特徴量抽出部
２０６ 主役度情報算出部
２０８ 画像グループ分類部
２０９ イベント特徴情報書込読出部
２１０ 分類結果出力部
２１１ イベント名情報受付部
２１２ イベント特徴情報受付部
２１３ サンプル画像受付部
２１４ サンプル画像書込部
２３１ 画像記憶部
２３２ 画像特徴情報記憶部
２３３ 主役度情報記憶部
２３４ イベント特徴情報記憶部
２３５ 顔対応表記憶部
２３６ サンプル画像記憶部

Claims (14)

  1. 一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部と、
    前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定部と、
    前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類部とを備える
    ことを特徴とする画像分類装置。
  2. 前記画像分類装置を利用するユーザから、前記所定の特徴に係る情報を受け付ける情報受付手段と、
    前記情報受付手段によって受け付けられた情報から前記所定の情報を生成して記憶する記憶手段を備え、
    前記画像特定部は、前記画像の特定を、前記記憶手段に記憶されている所定の特徴を利用して行い、
    前記時間情報は、前記画像グループに含まれる各画像を撮影時刻順に並べる場合における順番であって、
    前記評価値算定部は、前記評価値の算定を、前記画像グループに含まれる画像それぞれの撮影時刻の順番からなる集合における、前記画像特定部によって特定された画像それぞれの撮影時刻の順番の分布に基づいて行う
    ことを特徴とする請求項１記載の画像分類装置。
  3. 前記画像グループに含まれる画像の枚数に２を加えた数を、前記画像特定部によって特定された画像の数に１を加えた数で除算することで得られる基準値を算定する基準値算定部と、
    前記画像特定部によって特定された画像の中で撮影時刻順に連続する２枚の画像の組である連続画像組のそれぞれについて、２枚の画像の、前記画像グループに含まれる画像における撮影時刻の順番の差である差分値を算定する差分値算定部とを備え、
    前記評価値算定部は、それぞれの連続画像組について前記基準値算定部によって算定された基準値と前記差分値算定部によって算定された差分値との比較を行い、前記基準値算定部によって算定された基準値よりも、前記差分値算定部によって算定された差分値の方が大きい連続画像組の数に基づいて、前記評価値の算定を行う
    ことを特徴とする請求項２記載の画像分類装置。
  4. 前記画像特定部によって特定された画像の中で撮影時刻順に連続する２枚の画像の組である連続画像組のそれぞれについて、２枚の画像の、前記画像グループに含まれる画像における撮影時刻の順番の差を２乗して得られる差分２乗値を算定する差分２乗値算定部を備え、
    前記評価値算定部は、前記画像特定部によって算定された差分２乗値の総和と、前記画像グループに含まれる画像の数とに基づいて、前記評価値の算定を行う
    ことを特徴とする請求項２記載の画像分類装置。
  5. 同一シーンにおいて撮影された画像が同一のサブ画像グループとなるように、画像グループを構成する画像群を撮影時刻順に複数のサブ画像グループに区分するサブ画像グループ区分部を備え、
    前記評価値算定部は、前記評価値の算定を、前記画像特定部によって特定されたオブジェクトが写っている画像が属するサブ画像グループの数に基づいて行う
    ことを特徴とする請求項１記載の画像分類装置。
  6. 前記時間情報は撮影時刻であって、
    前記評価値算定部は、前記評価値の算定を、前記画像グループに含まれる画像それぞれの撮影時刻の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻の分布に基づいて行う
    ことを特徴とする請求項１記載の画像分類装置。
  7. 前記画像グループの中から、前記所定の特徴とは別の特徴を有するオブジェクトが写っている画像を特定する比較用画像特定部と、
    前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報からなる集合における、前記比較用画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴とは別の特徴を有するオブジェクトの比較用評価値を算定する比較用評価値算定部と、
    前記画像グループ分類部は、前記イベントの分類を、さらに、前記比較用評価値算定部によって算定された比較用算定値に基づいて行う
    ことを特徴とする請求項１記載の画像分類装置。
  8. 前記画像特定部によって特定された画像それぞれについて、前記所定の特徴を有するオブジェクトの面積を算定する面積算定部を備え、
    前記評価値算定部は、前記評価値の算定を、さらに、前記面積算定部によって算定された前記所定の特徴を有するオブジェクトの面積に基づいて行う
    ことを特徴とする請求項１記載の画像分類装置。
  9. 前記画像特定部によって特定された画像それぞれについて、画像の中心と前記所定の特徴を有するオブジェクトの位置との差を算定する位置算定部を備え
    前記評価値算定部は、前記評価値の算定を、さらに、前記位置算定部によって算定された前記差に基づいて行う
    ことを特徴とする請求項１記載の画像分類装置。
  10. 前記所定の特徴を有するオブジェクトとは、所定の特徴を有する人の顔であって、
    前記画像特定部によって特定された画像それぞれについて、前記所定の特徴を有する人の顔の正面向き基準での角度を算定する顔角度算定部を備え、
    前記評価値算定部は、前記評価値の算定を、さらに、前記顔角度算定部によって算定された前記所定の特徴を有する人の顔の前記角度に基づいて行う
    ことを特徴とする請求項１記載の画像分類装置。
  11. 一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部ステップ、
    前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定ステップと、
    前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類ステップとを含む
    ことを特徴とする画像分類方法。
  12. 画像の分類をするための画像分類処理をコンピュータに実行させるための画像分類プログラムであって、
    前記画像分類処理は、
    一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部ステップ、
    前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定ステップと、
    前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類ステップとを含む
    ことを特徴とする画像分類プログラム。
  13. 画像の分類をするための画像分類処理をコンピュータに実行させるための画像分類プログラムを記録した記録媒体であって、
    前記画像分類処理は、
    一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部ステップ、
    前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定ステップと、
    前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類ステップとを含む
    ことを特徴とする記録媒体。
  14. 一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部と、
    前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定部と、
    前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類部とを備える
    ことを特徴とする集積回路。
JP2012527581A 2010-08-04 2011-07-27 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 Active JP5739428B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012527581A JP5739428B2 (ja) 2010-08-04 2011-07-27 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010175068 2010-08-04
JP2010175068 2010-08-04
PCT/JP2011/004251 WO2012017620A1 (ja) 2010-08-04 2011-07-27 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
JP2012527581A JP5739428B2 (ja) 2010-08-04 2011-07-27 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路

Publications (2)

Publication Number Publication Date
JPWO2012017620A1 true JPWO2012017620A1 (ja) 2013-09-19
JP5739428B2 JP5739428B2 (ja) 2015-06-24

Family

ID=45559143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012527581A Active JP5739428B2 (ja) 2010-08-04 2011-07-27 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路

Country Status (4)

Country Link
US (1) US9058342B2 (ja)
JP (1) JP5739428B2 (ja)
CN (1) CN102549579B (ja)
WO (1) WO2012017620A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5469181B2 (ja) * 2010-01-25 2014-04-09 パナソニック株式会社 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
KR20120085476A (ko) * 2011-01-24 2012-08-01 삼성전자주식회사 영상 재생 방법, 영상 재생 장치, 및 컴퓨터 판독가능 저장매체
JP5890325B2 (ja) * 2011-01-28 2016-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ処理装置、方法、プログラム及び集積回路
KR101984584B1 (ko) * 2012-09-12 2019-05-31 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
CN103870798B (zh) * 2012-12-18 2017-05-24 佳能株式会社 对象检测方法、对象检测设备以及图像拾取设备
US9390076B2 (en) * 2013-06-06 2016-07-12 Microsoft Technology Licensing, Llc Multi-part and single response image protocol
JP5775124B2 (ja) * 2013-08-29 2015-09-09 ヤフー株式会社 サーバ、分布情報作成方法、およびプログラム
JP6018029B2 (ja) * 2013-09-26 2016-11-02 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
JP6667224B2 (ja) * 2015-08-07 2020-03-18 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
JP6606374B2 (ja) * 2015-08-07 2019-11-13 キヤノン株式会社 画像処理装置および方法およびプログラム
JP6660119B2 (ja) * 2015-08-07 2020-03-04 キヤノン株式会社 情報処理装置、情報処理方法、並びにプログラム
JP6367169B2 (ja) * 2015-09-28 2018-08-01 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
TWI603227B (zh) * 2016-12-23 2017-10-21 李雨暹 移動物件的虛擬訊息遠距管理方法與應用系統
US10984054B2 (en) * 2017-07-27 2021-04-20 Robert Bosch Gmbh Visual analytics system for convolutional neural network based classifiers
EP3706015A4 (en) 2017-12-05 2020-09-23 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR DISPLAYING A STORY ALBUM
JP7086818B2 (ja) * 2018-10-29 2022-06-20 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04232774A (ja) 1990-12-28 1992-08-21 Mitsubishi Paper Mills Ltd 改ざん防止用感圧記録シート
JPH04315344A (ja) 1991-04-15 1992-11-06 Nippon Telegr & Teleph Corp <Ntt> 符号誤り監視装置
JP4315344B2 (ja) * 2003-11-27 2009-08-19 富士フイルム株式会社 画像編集装置および方法並びにプログラム
JP2006295890A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4624841B2 (ja) * 2005-04-13 2011-02-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
WO2006112227A1 (ja) 2005-04-13 2006-10-26 Olympus Medical Systems Corp. 画像処理装置及び画像処理方法
JP2006345492A (ja) * 2005-05-12 2006-12-21 Fujifilm Holdings Corp アルバム作成装置、アルバム作成方法、及びプログラム
CN101253537B (zh) 2005-05-12 2012-10-10 富士胶片株式会社 影集制作装置、影集制作方法及程序
JP2007122110A (ja) * 2005-10-25 2007-05-17 Fujifilm Corp 画像分類装置および方法並びにプログラム
JP4232774B2 (ja) * 2005-11-02 2009-03-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2007317077A (ja) * 2006-05-29 2007-12-06 Fujifilm Corp 画像分類装置および方法ならびにプログラム
JP2008078713A (ja) * 2006-09-19 2008-04-03 Sony Corp 記録装置および方法、プログラム、並びに再生装置および方法
US8190634B2 (en) * 2006-10-10 2012-05-29 Canon Kabushiki Kaisha Image display controlling apparatus, method of controlling image display, and storage medium
JP2008250855A (ja) * 2007-03-30 2008-10-16 Sony Corp 情報処理装置および方法、並びにプログラム
US8180112B2 (en) * 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
JP5032363B2 (ja) * 2008-02-27 2012-09-26 オリンパスイメージング株式会社 画像表示方法
US8055081B2 (en) * 2008-04-14 2011-11-08 Eastman Kodak Company Image classification using capture-location-sequence information
US8611677B2 (en) * 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
US20120124378A1 (en) 2010-11-12 2012-05-17 Xac Automation Corp. Method for personal identity authentication utilizing a personal cryptographic device

Also Published As

Publication number Publication date
WO2012017620A1 (ja) 2012-02-09
JP5739428B2 (ja) 2015-06-24
CN102549579A (zh) 2012-07-04
US20120170856A1 (en) 2012-07-05
CN102549579B (zh) 2016-06-08
US9058342B2 (en) 2015-06-16

Similar Documents

Publication Publication Date Title
JP5739428B2 (ja) 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
JP5469181B2 (ja) 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路
US8488914B2 (en) Electronic apparatus and image processing method
US8732149B2 (en) Content output device, content output method, program, program recording medium, and content output integrated circuit
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
US9639962B2 (en) Apparatus and method of encoding and decoding image files with animation data
CN111465918B (zh) 在预览界面中显示业务信息的方法及电子设备
JP5890325B2 (ja) 画像データ処理装置、方法、プログラム及び集積回路
JP5250049B2 (ja) コンテンツ蓄積処理システム、コンテンツ蓄積処理方法、及び、半導体集積回路
JP2006236218A (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
KR20080089191A (ko) 컨텐츠 관리 장치, 화상 표시 장치, 촬상 장치, 및,이들에서의 처리 방법 및 상기 방법을 컴퓨터에 실행시키는프로그램
JP2008204348A (ja) 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム
KR20110028877A (ko) Ｕｉ 제공방법 및 이를 적용한 디스플레이 장치
US20140050422A1 (en) Electronic Apparatus and Image Processing Method
JP4490214B2 (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
US8244005B2 (en) Electronic apparatus and image display method
KR102426089B1 (ko) 전자 장치 및 전자 장치의 요약 영상 생성 방법
JP2006079460A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
US8494347B2 (en) Electronic apparatus and movie playback method
US20110304644A1 (en) Electronic apparatus and image display method
US20110304779A1 (en) Electronic Apparatus and Image Processing Method
JP2011199906A (ja) 電子機器及び画像表示方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140114

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150423

R150 Certificate of patent or registration of utility model

Ref document number: 5739428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250