JP5739428B2 - 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 - Google Patents
画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 Download PDFInfo
- Publication number
- JP5739428B2 JP5739428B2 JP2012527581A JP2012527581A JP5739428B2 JP 5739428 B2 JP5739428 B2 JP 5739428B2 JP 2012527581 A JP2012527581 A JP 2012527581A JP 2012527581 A JP2012527581 A JP 2012527581A JP 5739428 B2 JP5739428 B2 JP 5739428B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation value
- unit
- classification
- image group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 154
- 238000004364 calculation method Methods 0.000 claims description 187
- 238000011156 evaluation Methods 0.000 claims description 86
- 238000010835 comparative analysis Methods 0.000 claims 2
- 230000006870 function Effects 0.000 description 66
- 238000012545 processing Methods 0.000 description 46
- 238000004891 communication Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 17
- 238000000605 extraction Methods 0.000 description 14
- 210000000887 face Anatomy 0.000 description 12
- 230000001815 facial effect Effects 0.000 description 8
- 230000000386 athletic effect Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 235000021178 picnic Nutrition 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
以下、本発明に係る画像分類装置の一実施形態として、一つのイベントに関連して撮影された複数枚の画像からなる画像グループ単位でその画像グループに写る人物の重要度を示す指標である主役度を算出し、算出した主役度に基づいて、画像グループ単位で画像を互いに異なる分類先イベントのうちのいずれかの分類先イベントに分類する画像分類装置について説明する。
<画像分類装置100のハードウエア構成>
図1は、画像分類装置100の主要なハードウエア構成を示すハードウエアブロック図である。
図2は、画像分類装置100の主要な機能ブロックの構成を示す機能ブロック図である。
主役度604の算出方法については、後程<主役度情報生成処理>で詳細に説明する。
画像分類装置100の行う特徴的な動作に、画像グループに属する画像を入力され、入力された画像グループをイベントに分類する画像グループ分類処理がある。
図8は、画像分類装置100の行う画像グループ分類処理のフローチャートである。
図9は、主役度情報算出部206が行う、顔対応表生成処理のフローチャートである。
図10は、主役度情報算出部206が行う、多様性算出処理のフローチャートである。
図11は、主役度情報算出部206が行う、主役度情報生成処理のフローチャートである。
以下、具体例を用いて説明を補足する。
上述の画像分類装置100によれば、一つのイベントで撮影された画像群からなる画像グループを画像グループ単位で分類先イベントへ分類するため、一つのイベントで撮影された画像が、互いに異なる分類先イベントに分類されてしまうことがない。
<実施の形態2>
以下、本発明に係る画像分類装置の一実施形態として、実施の形態1で説明した画像分類装置100の一部を変形し、多様性算出処理のアルゴリズムが、画像分類装置100の行う多様性算出処理のアルゴリズムと異なるものとなっている、第1変形画像分類装置について説明する。
図14は、第1変形主役度情報算出部が行う、第1変形多様性算出処理のフローチャートである。
以下、具体例を用いて説明を補足する。
上述の第1変形画像分類装置によれば、画像分類装置100と同様に、一つのイベントで撮影された画像群からなる画像グループを画像グループ単位で分類先イベントへ分類するため、一つのイベントで撮影された画像が、互いに異なる分類先イベントに分類されてしまうことがない。
<実施の形態3>
以下、本発明に係る画像分類装置の一実施形態として、実施の形態1で説明した画像分類装置100の一部を変形し、多様性算出処理のアルゴリズムが、画像分類装置100の行う多様性算出処理のアルゴリズムと異なるものとなっている、第2変形画像分類装置について説明する。
図15は、第2変形主役度情報算出部が行う、第2変形多様性算出処理のフローチャートである。
図16は、第2変形主役度情報算出部が行う、シーン分割処理のフローチャートである。
以下、具体例を用いて説明を補足する。
上述の第2変形画像分類装置によれば、画像分類装置100と同様に、一つのイベントで撮影された画像群からなる画像グループを画像グループ単位で分類先イベントへ分類するため、一つのイベントで撮影された画像が、互いに異なる分類先イベントに分類されてしまうことがない。
<発明の効果>
以上、本発明に係る画像分類装置の一実施形態として、実施の形態1、実施の形態2、
実施の形態3においてイベントを分類することができることを示したが、イベントの分類結果を用いることにより、ユーザに対して分類先が同一となるイベント群を提示、選択および再生可能としたり、分類先ごとに同一のアイコンを割当てることで、画像鑑賞におけるユーザ・ナビゲーションを容易とすることができる。また、画像グループをもとにユーザが電子アルバムを作成するアプリケーションにおいて、イベント分類の結果を用いることで、イベントの分類先ごとに、分類先に応じて、例えば、結婚式や運動会の分類先ごとに用意されたアルバムの背景画像、画像の配置情報、デコレーション用の画像やその配置を記述したテンプレートを自動選択し、ユーザに提示することが可能となる。
<補足>
以上、本発明に係る画像分類装置の一実施形態として、実施の形態1、実施の形態2、実施の形態3において、画像グループ分類処理を行う画像分類装置の例について説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態で示した通りの画像分類装置に限られないことはもちろんである。
(1)実施の形態1において、画像分類装置100が記憶する画像として、JPEG方式で符号化されたデータとしたが、デジタル写真をデータとして記憶することができるものであれば、JPEG方式以外の符号化方式、例えばPNG(Portable Network Graphics)方式やGIF(Graphics Interchange Format)方式等で符号化されたものであっても構わないし、符号化されないビットマップ方式のデータであっても構わない。
(2)実施の形態1において、CPU101と、ROM102と、RAM103と、ハードディスク装置インターフェース104と、外部記録媒体読取書込装置インターフェース105と、USB制御装置インターフェース106と、出力装置インターフェース107と、入力装置インターフェース108と、通信装置インターフェース109と、デコーダ111と、バスライン120とが、システムLSI110に集積されているとしたが、システムLSI110と同じ機能を実現することができれば、必ずしも1つのLSIに統合されている必要はなく、複数の集積回路等で実現されていても構わない。
(3)実施の形態1において、デコーダ111は、DSPであるとしたが、符号化されたデータを復号する機能があれば、必ずしもDSPである必要はなく、例えば、CPU101が兼用する構成であっても構わないし、CPU101とは異なるCPUであっても構わないし、ASIC等で構成される専用回路であっても構わない。
(4)実施の形態1において、入力装置170は、リモコン197から無線で送信されるユーザからの操作コマンドを受け付ける機能を有する構成であるとしたが、ユーザからの操作コマンドを受け付ける機能があれば、必ずしもリモコン197から無線で送信される操作コマンドを受け付ける機能を有する構成でなくても、例えば、キーボードとマウスとを備え、キーボードとマウスとを介してユーザからの操作コマンドを受け付ける機能を有する構成であっても構わないし、ボタン群を備え、ボタン群を介してユーザからの操作コマンドを受け付ける機能を有する構成等であっても構わない。
(5)実施の形態1において、画像グループデータ受付部201が、2枚以上の画像の指定を受け付け、指定された画像群を、1つの画像グループに含まれる画像群とするとしたが、画像と画像グループとの対応付けを取ることができれば、例えば、画像グループデータ受付部201は、画像データと、画像グループに属する画像のリストとを受け取り、受け取ったリストに基づいて、画像と画像グループとを対応付けるといった構成であっても構わないし、例えば、画像グループデータ受付部201は、画像データと、その画像データが撮影された撮影時刻の情報と、撮影時刻の情報と画像グループとの対応関係の情報とを受け取り、受け取った撮影時刻の情報に基づいて、画像と画像グループとを対応付けるといった構成であっても構わない。
(6)実施の形態1において、画像グループデータ受付部201は、読み込んだ画像に対して、シーケンシャルに画像IDを付与するとしたが、重複を避けて付与することができれば、必ずしもシーケンシャルに画像IDを付与しなくても構わない。
(7)実施の形態1において、画像特徴量抽出部205は、人の顔の認識を試み、認識した認識顔のそれぞれに顔IDを付与するとしたが、認識を試みる対象は、対象物として特定することができる特徴を有するものであれば、必ずしも人の顔に限られる必要はなく、例えば、犬や猫といったペットの顔、特定の車種の車、特定の建築物等であっても構わない。
(8)実施の形態1において、顔のモデルは、例えば、目、鼻、口等の顔を形成するパーツの輝度や、相対的な位置関係に関する情報等であるとしたが、顔を認識することができる情報であれば、これら以外、例えば、目の色や、ほくろの位置、肌の色等といった顔の特徴を示すものであっても構わないし、複数の顔の特徴を表すものの組み合わせであっても構わない。
(9)実施の形態1において、画像特徴量抽出部205が特定する色として、黒、青、緑、白としたが、これらの色に限られる必要はなく、例えば、赤、黄等であっても構わない。
(10)実施の形態1において、プライベート度は“極めて高い”、“高い”、“普通”、“低い”の4段階のうちの1つの段階となるものとしているが、家族以外の人物の重要度に対する家族の人物の重要度を示す指標となるものであれば、必ずしも4段階のうちの1つの段階となるものに限られる必要はなく、例えば、10段階のうちの1つの段階となるものであっても構わないし、シームレスに数値で表現されるものであっても構わない。
(11)実施の形態1において、画像グループ分類部208は、プライベート度と重要人物とに基づいて画像グループを分類先イベントへ分類するとしたが、主役度を反映した指標に基づいて画像グループを分類先イベントへ分類することができれば、必ずしもプライベート度と重要人物とに基づいて分類する必要はなく、例えば、ある特定人物の主役度のみに基づいて画像グループを分類先イベントへ分類するとしても構わない。
(12)実施の形態1において、基準値は、画像グループに含まれる画像の枚数に2を加えた数を、出現枚数に1を加えた数で除算することで得られる値を算出し、算出した値を小数点第1位の位で四捨五入して算定されるとしたが、画像グループに含まれる画像の枚数に2を加えた数を、出現枚数に1を加えた数で除算することで得られる値に基づくものであれば、必ずしも小数点第1位の位で四捨五入して算定される必要はなく、例えば、四捨五入せずに基準値として算定しても構わないし、小数点第2位以下の位を切り捨てることで算定するとしても構わない。
(13)実施の形態1において、家族主役度は、家族の名称(息子、母、父)のラベルに対応する主役度の中の最大の主役度であるとしたが、家族のメンバーの主役度を反映したものであれば、必ずしも家族の名称のラベルに対応する主役度の中の最大の主役度である必要はなく、例えば、家族のメンバーの主役度の総和であっても構わない。
(14)実施の形態1において、サブ主役度は、顔面積と顔位置と顔向きと多様性を加算したものであるとしたが、顔面積と顔位置と顔向きと多様性とのうちの少なくとも1つを反映したものであれば、必ずしもこれら全てを加算したものである必要はなく、例えば、顔面積と多様性とを加算したものであっても構わないし、顔面積と顔位置と顔向きと多様性とを重み付け加算することで得られるものであっても構わないし、顔面積と顔位置と顔向きと多様性とを加算して得られた値をその画像に含まれる認識顔の数で除算したものであっても構わないし、顔面積と顔位置と顔向きと多様性とを加算して得られた値をその画像に含まれる家族以外の認識顔の数で除算したものであっても構わない。
(15)実施の形態1において、画像特徴量抽出部205は、認識した顔それぞれに、その認識顔を特定するための顔IDを、シーケンシャルに付与するとしたが、重複を避けて付与することができれば、必ずしもシーケンシャルに付与しなくても構わない。
(16)実施の形態1において、色特徴量は、画像全体に対して特徴を示すものであるとしたが、画像の色の特徴を示すものであれば、例えば、画像の上半分といったような一部分に対すものであっても構わないし、画像の左10%の部分と画像の右10%の部分といったように複数の一部分に対するものであっても構わない。
(17)実施の形態1において、画像に写っている人物が家族であるか否かを、サンプル画像に写っている人物と比較することで決定するとしているが、特定の人物として識別することができれば、必ずしもサンプル画像に写っている人物と比較することで決定する必要はなく、例えば、複数の画像グループに登場する人物を家族として決定するとしても構わない。
(18)実施の形態1において、画像グループ分類部208は、分類されるべき分類先イベントを決定すると、分類されるべき分類先イベントに対応するイベントディレクトリの下に、画像グループに対応付けられているイベント名と同一名称のイベントディレクトリを作成して、そのイベントディレクトリの下に、画像グループに属する全ての画像のデータのリンクを張ることで、画像グループを分類するとしたが、画像グループに属する画像が同じ分類先イベントに対応付けられていれば、必ずしもリンクを張ることで画像グループを分類するとする必要はなく、例えば、画像グループに属する画像に、分類先イベントを特定するためのタグを付与するとしても構わない。
(19)実施の形態1において、主役度情報算出部206によって算出される多様性は、前述の多様性算出処理を行うことで算出されるものであるとしたが、例えば、前述の多様性算出処理を行うことで算出される多様性に対して、出現枚数に1を加えた数を出現枚数で除算することで得られる数を乗算することで得られる値であるというように、前述の多様性算出処理を行うことで算出される多様性を利用して算出されるものであれば、必ずしも前述の多様性算出処理を行うことで算出される多様性そのものに限られる必要はない。
(20)実施の形態1乃至3で示した、画像グループ分類動作等を画像分類装置のCPU、及びそのCPUに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROM等がある。流通、頒布された制御プログラムはCPUに読み出され得るメモリ等に格納されることにより利用に供され、そのCPUがその制御プログラムを実行することにより各実施形態で示したような各種機能が実現されるようになる。なお、制御プログラムの一部を画像分類装置とは別個のプログラム実行可能な装置(CPU)に各種通信路等を介して送信して、その別個のプログラム実行可能な装置においてその制御プログラムの一部を実行させることとしてもよい。
(21)以下、さらに本発明の一実施形態に係る画像分類装置の構成及びその変形例と各効果について説明する。
前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報からなる集合における、前記比較用画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴とは別の特徴を有するオブジェクトの比較用評価値を算定する比較用評価値算定部と、前記画像グループ分類部は、前記イベントの分類を、さらに、前記比較用評価値算定部によって算定された比較用算定値に基づいて行うとしてもよい。
201 画像グループデータ受付部
202 画像書込読出部
203 画像特徴情報書込読出部
204 主役度情報書込読出部
205 画像特徴量抽出部
206 主役度情報算出部
208 画像グループ分類部
209 イベント特徴情報書込読出部
210 分類結果出力部
211 イベント名情報受付部
212 イベント特徴情報受付部
213 サンプル画像受付部
214 サンプル画像書込部
231 画像記憶部
232 画像特徴情報記憶部
233 主役度情報記憶部
234 イベント特徴情報記憶部
235 顔対応表記憶部
236 サンプル画像記憶部
Claims (14)
- 一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部と、
前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定部と、
前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類部とを備える
ことを特徴とする画像分類装置。 - 前記画像分類装置を利用するユーザから、前記所定の特徴に係る情報を受け付ける情報受付手段と、
前記情報受付手段によって受け付けられた情報から前記所定の情報を生成して記憶する記憶手段を備え、
前記画像特定部は、前記画像の特定を、前記記憶手段に記憶されている所定の特徴を利用して行い、
前記時間情報は、前記画像グループに含まれる各画像を撮影時刻順に並べる場合における順番であって、
前記評価値算定部は、前記評価値の算定を、前記画像グループに含まれる画像それぞれの撮影時刻の順番からなる集合における、前記画像特定部によって特定された画像それぞれの撮影時刻の順番の分布に基づいて行う
ことを特徴とする請求項1記載の画像分類装置。 - 前記画像グループに含まれる画像の枚数に2を加えた数を、前記画像特定部によって特定された画像の数に1を加えた数で除算することで得られる基準値を算定する基準値算定部と、
前記画像特定部によって特定された画像の中で撮影時刻順に連続する2枚の画像の組である連続画像組のそれぞれについて、2枚の画像の、前記画像グループに含まれる画像における撮影時刻の順番の差である差分値を算定する差分値算定部とを備え、
前記評価値算定部は、それぞれの連続画像組について前記基準値算定部によって算定された基準値と前記差分値算定部によって算定された差分値との比較を行い、前記基準値算定部によって算定された基準値よりも、前記差分値算定部によって算定された差分値の方が大きい連続画像組の数に基づいて、前記評価値の算定を行う
ことを特徴とする請求項2記載の画像分類装置。 - 前記画像特定部によって特定された画像の中で撮影時刻順に連続する2枚の画像の組である連続画像組のそれぞれについて、2枚の画像の、前記画像グループに含まれる画像における撮影時刻の順番の差を2乗して得られる差分2乗値を算定する差分2乗値算定部を備え、
前記評価値算定部は、前記画像特定部によって算定された差分2乗値の総和と、前記画像グループに含まれる画像の数とに基づいて、前記評価値の算定を行う
ことを特徴とする請求項2記載の画像分類装置。 - 同一シーンにおいて撮影された画像が同一のサブ画像グループとなるように、画像グループを構成する画像群を撮影時刻順に複数のサブ画像グループに区分するサブ画像グループ区分部を備え、
前記評価値算定部は、前記評価値の算定を、前記画像特定部によって特定されたオブジェクトが写っている画像が属するサブ画像グループの数に基づいて行う
ことを特徴とする請求項1記載の画像分類装置。 - 前記時間情報は撮影時刻であって、
前記評価値算定部は、前記評価値の算定を、前記画像グループに含まれる画像それぞれの撮影時刻の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻の分布に基づいて行う
ことを特徴とする請求項1記載の画像分類装置。 - 前記画像グループの中から、前記所定の特徴とは別の特徴を有するオブジェクトが写っている画像を特定する比較用画像特定部と、
前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報からなる集合における、前記比較用画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴とは別の特徴を有するオブジェクトの比較用評価値を算定する比較用評価値算定部と、
前記画像グループ分類部は、前記イベントの分類を、さらに、前記比較用評価値算定部によって算定された比較用算定値に基づいて行う
ことを特徴とする請求項1記載の画像分類装置。 - 前記画像特定部によって特定された画像それぞれについて、前記所定の特徴を有するオブジェクトの面積を算定する面積算定部を備え、
前記評価値算定部は、前記評価値の算定を、さらに、前記面積算定部によって算定された前記所定の特徴を有するオブジェクトの面積に基づいて行う
ことを特徴とする請求項1記載の画像分類装置。 - 前記画像特定部によって特定された画像それぞれについて、画像の中心と前記所定の特徴を有するオブジェクトの位置との差を算定する位置算定部を備え
前記評価値算定部は、前記評価値の算定を、さらに、前記位置算定部によって算定された前記差に基づいて行う
ことを特徴とする請求項1記載の画像分類装置。 - 前記所定の特徴を有するオブジェクトとは、所定の特徴を有する人の顔であって、
前記画像特定部によって特定された画像それぞれについて、前記所定の特徴を有する人の顔の正面向き基準での角度を算定する顔角度算定部を備え、
前記評価値算定部は、前記評価値の算定を、さらに、前記顔角度算定部によって算定された前記所定の特徴を有する人の顔の前記角度に基づいて行う
ことを特徴とする請求項1記載の画像分類装置。 - 画像特定部と評価値算定部と画像グループ分類部とを備える画像分類装置が行う画像分類方法であって、
前記画像特定部が、一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定ステップ、
前記評価値算定部が、前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定ステップによって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定ステップと、
前記画像グループ分類部が、前記評価値算定ステップによって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類ステップとを含む
ことを特徴とする画像分類方法。 - 画像の分類をするための画像分類処理をコンピュータに実行させるための画像分類プログラムであって、
前記画像分類処理は、
一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定ステップ、
前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定ステップによって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定ステップと、
前記評価値算定ステップによって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類ステップとを含む
ことを特徴とする画像分類プログラム。 - 画像の分類をするための画像分類処理をコンピュータに実行させるための画像分類プログラムを記録した記録媒体であって、
前記画像分類処理は、
一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定ステップ、
前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定ステップによって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定ステップと、
前記評価値算定ステップによって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類ステップとを含む
ことを特徴とする記録媒体。 - 一イベントに関連して逐次撮影された複数の画像からなる画像グループの中から、所定の特徴を有するオブジェクトが写っている画像を特定する画像特定部と、
前記画像グループに含まれる画像それぞれの撮影時刻を反映した時間情報の集合における、前記画像特定部によって特定された画像それぞれの撮影時刻を反映した時間情報の分布に基づいて、前記所定の特徴を有するオブジェクトの評価値を算定する評価値算定部と、
前記評価値算定部によって算定された評価値に基づいて、前記画像グループに関連する前記イベントを分類する画像グループ分類部とを備える
ことを特徴とする集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012527581A JP5739428B2 (ja) | 2010-08-04 | 2011-07-27 | 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010175068 | 2010-08-04 | ||
JP2010175068 | 2010-08-04 | ||
JP2012527581A JP5739428B2 (ja) | 2010-08-04 | 2011-07-27 | 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 |
PCT/JP2011/004251 WO2012017620A1 (ja) | 2010-08-04 | 2011-07-27 | 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012017620A1 JPWO2012017620A1 (ja) | 2013-09-19 |
JP5739428B2 true JP5739428B2 (ja) | 2015-06-24 |
Family
ID=45559143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012527581A Active JP5739428B2 (ja) | 2010-08-04 | 2011-07-27 | 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9058342B2 (ja) |
JP (1) | JP5739428B2 (ja) |
CN (1) | CN102549579B (ja) |
WO (1) | WO2012017620A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011089884A1 (ja) * | 2010-01-25 | 2011-07-28 | パナソニック株式会社 | 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 |
KR20120085476A (ko) * | 2011-01-24 | 2012-08-01 | 삼성전자주식회사 | 영상 재생 방법, 영상 재생 장치, 및 컴퓨터 판독가능 저장매체 |
US8737726B2 (en) * | 2011-01-28 | 2014-05-27 | Panasonic Corporation | Image data processing device, method, program and integrated circuit |
KR101984584B1 (ko) * | 2012-09-12 | 2019-05-31 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기 제어방법 |
CN103870798B (zh) * | 2012-12-18 | 2017-05-24 | 佳能株式会社 | 对象检测方法、对象检测设备以及图像拾取设备 |
US9390076B2 (en) * | 2013-06-06 | 2016-07-12 | Microsoft Technology Licensing, Llc | Multi-part and single response image protocol |
JP5775124B2 (ja) * | 2013-08-29 | 2015-09-09 | ヤフー株式会社 | サーバ、分布情報作成方法、およびプログラム |
JP6018029B2 (ja) * | 2013-09-26 | 2016-11-02 | 富士フイルム株式会社 | 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム |
JP6660119B2 (ja) * | 2015-08-07 | 2020-03-04 | キヤノン株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
JP6606374B2 (ja) * | 2015-08-07 | 2019-11-13 | キヤノン株式会社 | 画像処理装置および方法およびプログラム |
JP6667224B2 (ja) * | 2015-08-07 | 2020-03-18 | キヤノン株式会社 | 画像処理装置およびその制御方法、並びにプログラム |
JP6367169B2 (ja) * | 2015-09-28 | 2018-08-01 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
TWI603227B (zh) * | 2016-12-23 | 2017-10-21 | 李雨暹 | 移動物件的虛擬訊息遠距管理方法與應用系統 |
US10984054B2 (en) * | 2017-07-27 | 2021-04-20 | Robert Bosch Gmbh | Visual analytics system for convolutional neural network based classifiers |
CN108235765B (zh) | 2017-12-05 | 2021-10-15 | 华为技术有限公司 | 一种故事相册的显示方法及装置 |
US11093839B2 (en) * | 2018-04-13 | 2021-08-17 | Fujifilm Business Innovation Corp. | Media object grouping and classification for predictive enhancement |
JP7086818B2 (ja) * | 2018-10-29 | 2022-06-20 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005184790A (ja) * | 2003-11-27 | 2005-07-07 | Fuji Photo Film Co Ltd | 画像編集装置および方法並びにプログラム |
JP2006295890A (ja) * | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
JP2006345492A (ja) * | 2005-05-12 | 2006-12-21 | Fujifilm Holdings Corp | アルバム作成装置、アルバム作成方法、及びプログラム |
JP2007122110A (ja) * | 2005-10-25 | 2007-05-17 | Fujifilm Corp | 画像分類装置および方法並びにプログラム |
JP2007317077A (ja) * | 2006-05-29 | 2007-12-06 | Fujifilm Corp | 画像分類装置および方法ならびにプログラム |
JP2008250855A (ja) * | 2007-03-30 | 2008-10-16 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP4232774B2 (ja) * | 2005-11-02 | 2009-03-04 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP2009205322A (ja) * | 2008-02-27 | 2009-09-10 | Olympus Imaging Corp | 画像表示装置、画像表示方法、および画像表示用プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04232774A (ja) | 1990-12-28 | 1992-08-21 | Mitsubishi Paper Mills Ltd | 改ざん防止用感圧記録シート |
JPH04315344A (ja) | 1991-04-15 | 1992-11-06 | Nippon Telegr & Teleph Corp <Ntt> | 符号誤り監視装置 |
JP4624841B2 (ja) * | 2005-04-13 | 2011-02-02 | オリンパスメディカルシステムズ株式会社 | 画像処理装置および当該画像処理装置における画像処理方法 |
EP2415389B1 (en) | 2005-04-13 | 2016-05-04 | Olympus Corporation | Image processing apparatus and method for analysing mucosa, villi or feces |
EP1899920B1 (en) | 2005-05-12 | 2020-04-01 | FUJIFILM Corporation | Album creating apparatus, album creating method and program |
JP2008078713A (ja) * | 2006-09-19 | 2008-04-03 | Sony Corp | 記録装置および方法、プログラム、並びに再生装置および方法 |
US8190634B2 (en) * | 2006-10-10 | 2012-05-29 | Canon Kabushiki Kaisha | Image display controlling apparatus, method of controlling image display, and storage medium |
US8180112B2 (en) * | 2008-01-21 | 2012-05-15 | Eastman Kodak Company | Enabling persistent recognition of individuals in images |
US8055081B2 (en) * | 2008-04-14 | 2011-11-08 | Eastman Kodak Company | Image classification using capture-location-sequence information |
US8611677B2 (en) * | 2008-11-19 | 2013-12-17 | Intellectual Ventures Fund 83 Llc | Method for event-based semantic classification |
US20120124378A1 (en) | 2010-11-12 | 2012-05-17 | Xac Automation Corp. | Method for personal identity authentication utilizing a personal cryptographic device |
-
2011
- 2011-07-27 CN CN201180004116.7A patent/CN102549579B/zh active Active
- 2011-07-27 WO PCT/JP2011/004251 patent/WO2012017620A1/ja active Application Filing
- 2011-07-27 US US13/395,761 patent/US9058342B2/en active Active
- 2011-07-27 JP JP2012527581A patent/JP5739428B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005184790A (ja) * | 2003-11-27 | 2005-07-07 | Fuji Photo Film Co Ltd | 画像編集装置および方法並びにプログラム |
JP2006295890A (ja) * | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
JP2006345492A (ja) * | 2005-05-12 | 2006-12-21 | Fujifilm Holdings Corp | アルバム作成装置、アルバム作成方法、及びプログラム |
JP2007122110A (ja) * | 2005-10-25 | 2007-05-17 | Fujifilm Corp | 画像分類装置および方法並びにプログラム |
JP4232774B2 (ja) * | 2005-11-02 | 2009-03-04 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP2007317077A (ja) * | 2006-05-29 | 2007-12-06 | Fujifilm Corp | 画像分類装置および方法ならびにプログラム |
JP2008250855A (ja) * | 2007-03-30 | 2008-10-16 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2009205322A (ja) * | 2008-02-27 | 2009-09-10 | Olympus Imaging Corp | 画像表示装置、画像表示方法、および画像表示用プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN102549579A (zh) | 2012-07-04 |
US20120170856A1 (en) | 2012-07-05 |
CN102549579B (zh) | 2016-06-08 |
WO2012017620A1 (ja) | 2012-02-09 |
US9058342B2 (en) | 2015-06-16 |
JPWO2012017620A1 (ja) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5739428B2 (ja) | 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 | |
JP5469181B2 (ja) | 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 | |
US8732149B2 (en) | Content output device, content output method, program, program recording medium, and content output integrated circuit | |
JP6323465B2 (ja) | アルバム作成プログラム、アルバム作成方法およびアルバム作成装置 | |
CN111465918B (zh) | 在预览界面中显示业务信息的方法及电子设备 | |
US9639962B2 (en) | Apparatus and method of encoding and decoding image files with animation data | |
JP5890325B2 (ja) | 画像データ処理装置、方法、プログラム及び集積回路 | |
JP5250049B2 (ja) | コンテンツ蓄積処理システム、コンテンツ蓄積処理方法、及び、半導体集積回路 | |
JP2008204348A (ja) | 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム | |
JP2006236218A (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
KR20080089191A (ko) | 컨텐츠 관리 장치, 화상 표시 장치, 촬상 장치, 및,이들에서의 처리 방법 및 상기 방법을 컴퓨터에 실행시키는프로그램 | |
US20140050422A1 (en) | Electronic Apparatus and Image Processing Method | |
WO2009014323A1 (en) | System and method of saving digital content classified by person-based clustering | |
JP4490214B2 (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
US20110064319A1 (en) | Electronic apparatus, image display method, and content reproduction program | |
JP4768846B2 (ja) | 電子機器及び画像表示方法 | |
KR102426089B1 (ko) | 전자 장치 및 전자 장치의 요약 영상 생성 방법 | |
JP2006079460A (ja) | 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム | |
JP2006081021A (ja) | 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム | |
US8494347B2 (en) | Electronic apparatus and movie playback method | |
US20110304644A1 (en) | Electronic apparatus and image display method | |
US20110304779A1 (en) | Electronic Apparatus and Image Processing Method | |
JP2011199906A (ja) | 電子機器及び画像表示方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140114 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5739428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |