JP5261724B2 - 階層的クラスタリングによる代表画像選定 - Google Patents
階層的クラスタリングによる代表画像選定 Download PDFInfo
- Publication number
- JP5261724B2 JP5261724B2 JP2009550913A JP2009550913A JP5261724B2 JP 5261724 B2 JP5261724 B2 JP 5261724B2 JP 2009550913 A JP2009550913 A JP 2009550913A JP 2009550913 A JP2009550913 A JP 2009550913A JP 5261724 B2 JP5261724 B2 JP 5261724B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- cluster
- group
- feature
- clusters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
Claims (4)
- 撮影により得られた1個又は複数個のディジタル画像をそれぞれ含む画像レコードの集まりである画像レコード群について、コンピュータを利用しその画像レコード群の代表画像を求める方法であって、
それらの画像レコードを時空間情報に基づき複数のグループに分類する分類ステップと、
その画像レコードが階層構造上で比較的上位の有特徴クラスタに係る一種類又は複数種類の所定の突出特徴のうちいずれかを有している場合は当該比較的上位の有特徴クラスタに、また当該比較的上位の有特徴クラスタに係る突出特徴は有していないが階層構造上でより下位の有特徴クラスタに係る一種類又は複数種類の所定の突出特徴のうちいずれかを有している場合は当該より下位の有特徴クラスタに、という要領で、各グループの画像レコードを、その突出特徴に基づき、有特徴クラスタ複数個からなり階層構造を形成する一群のクラスタに振り分ける振分ステップと、
グループ毎に、そのグループに存するクラスタのなかで最上位階層のクラスタを以てそのグループの最上位クラスタと認定する認定ステップと、
そのグループの最上位クラスタに属する画像レコードの中からその最上位クラスタに係る突出特徴に関連する所定の選定条件に最も合致する画像レコードを、当該グループの代表画像として選定する選定ステップと、
を有する方法。 - 請求項1記載の方法であって、上記分類ステップが、画像レコードをイベント別に仕分け、その結果を更にそのイベントのサブイベント別に仕分ける仕訳ステップを含み、それによってサブイベント別のグループを形成する方法。
- 撮影により得られた1個又は複数個のディジタル画像をそれぞれ含む画像レコードの集まりである画像レコード群について、その代表画像を求めるコンピュータプログラムを、コンピュータ可読記録媒体上に記録した製造物であって、そのコンピュータプログラムを実行することにより、
それらの画像レコードを時空間情報に基づき複数のグループに分類する分類ステップと、
その画像レコードが階層構造上で比較的上位の有特徴クラスタに係る一次突出特徴を有している場合は当該比較的上位の有特徴クラスタに、また当該比較的上位の有特徴クラスタに係る一次突出特徴は有していないが階層構造上でより下位の有特徴クラスタに係る一次突出特徴を有している場合は当該より下位の有特徴クラスタに、そしてそれら複数個の有特徴クラスタに係る突出特徴をいずれも有していない場合は残り物クラスタに、という要領で、各グループの画像レコードを、都合複数種類あり有特徴クラスタ毎に異なる所定の一次突出特徴に基づき、有特徴クラスタ複数個及び残り物クラスタからなり階層構造を形成する一群のクラスタに振り分ける振分ステップと、
グループ毎に、そのグループに存するクラスタのなかで最上位階層のクラスタを以てそのグループの最上位クラスタと認定する認定ステップと、
そのグループの最上位クラスタに属する画像レコードの中からその最上位クラスタに係る突出特徴に関連する所定の選定条件に最も合致する画像レコードを、当該グループの代表画像として選定する選定ステップと、
が実行される製造物。 - 1個又は複数個のディジタル画像をそれぞれ含む画像レコードの集まりである画像レコード群に索引を付するシステムであって、
それらの画像レコードを時空間情報に基づき複数のグループに分類する手段と、
その画像レコードが階層構造上で比較的上位の有特徴クラスタに係る一次突出特徴を有している場合は当該比較的上位の有特徴クラスタに、また当該比較的上位の有特徴クラスタに係る一次突出特徴は有していないが階層構造上でより下位の有特徴クラスタに係る一次突出特徴のうちいずれかを有している場合は当該より下位の有特徴クラスタに、そしてそれら複数個の有特徴クラスタに係る突出特徴をいずれも有していない場合は残り物クラスタに、という要領で、各グループの画像レコードを、都合複数種類あり有特徴クラスタ毎に異なる所定の一次突出特徴に基づき、有特徴クラスタ複数個及び残り物クラスタからなり階層構造を形成する一群のクラスタに振り分ける手段と、
グループ毎に、そのグループに存するクラスタのなかで最上位階層のクラスタを以てそのグループの最上位クラスタと認定する手段と、
そのグループの最上位クラスタに属する画像レコードの中からその最上位クラスタに係る突出特徴に関連する所定の選定条件に最も合致する画像レコードを、当該グループの代表画像として選定する手段と、
各イベント及びサブイベントの索引としてその代表画像を表示するディスプレイと、
を備えるシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/677,617 | 2007-02-22 | ||
US11/677,617 US7869658B2 (en) | 2006-10-06 | 2007-02-22 | Representative image selection based on hierarchical clustering |
PCT/US2008/002293 WO2008103412A1 (en) | 2007-02-22 | 2008-02-21 | Representative image selection based on hierarchical clustering |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010521024A JP2010521024A (ja) | 2010-06-17 |
JP2010521024A5 JP2010521024A5 (ja) | 2012-04-05 |
JP5261724B2 true JP5261724B2 (ja) | 2013-08-14 |
Family
ID=39495998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009550913A Expired - Fee Related JP5261724B2 (ja) | 2007-02-22 | 2008-02-21 | 階層的クラスタリングによる代表画像選定 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7869658B2 (ja) |
EP (1) | EP2122498A1 (ja) |
JP (1) | JP5261724B2 (ja) |
WO (1) | WO2008103412A1 (ja) |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080187231A1 (en) * | 2005-03-10 | 2008-08-07 | Koninklijke Philips Electronics, N.V. | Summarization of Audio and/or Visual Data |
US8639028B2 (en) * | 2006-03-30 | 2014-01-28 | Adobe Systems Incorporated | Automatic stacking based on time proximity and visual similarity |
TWI337321B (en) * | 2007-05-15 | 2011-02-11 | Htc Corp | Electronic device with switchable user interface and accessable touch operation |
JP4375442B2 (ja) * | 2007-06-04 | 2009-12-02 | ソニー株式会社 | 画像管理装置、画像管理方法および画像管理プログラム |
GB2456494A (en) * | 2007-07-31 | 2009-07-22 | Hewlett Packard Development Co | Photographic montage creation using automatic cropping controlled by characteristics of the images |
GB2451483B (en) * | 2007-07-31 | 2012-05-30 | Hewlett Packard Development Co | Image processing method, system and computer readable medium |
US20090164512A1 (en) * | 2007-12-19 | 2009-06-25 | Netta Aizenbud-Reshef | Method and Computer Program Product for Managing Media Items |
US8190623B2 (en) * | 2008-06-05 | 2012-05-29 | Enpulz, L.L.C. | Image search engine using image analysis and categorization |
US20090297045A1 (en) * | 2008-05-29 | 2009-12-03 | Poetker Robert B | Evaluating subject interests from digital image records |
US8682085B2 (en) * | 2008-10-06 | 2014-03-25 | Panasonic Corporation | Representative image display device and representative image selection method |
US8374462B2 (en) * | 2008-11-14 | 2013-02-12 | Seiko Epson Corporation | Content-aware image and video resizing by anchor point sampling and mapping |
US8611677B2 (en) * | 2008-11-19 | 2013-12-17 | Intellectual Ventures Fund 83 Llc | Method for event-based semantic classification |
US8156121B2 (en) | 2008-11-21 | 2012-04-10 | Randall Reese | Machine, program product, and computer-implemented method for file management, storage, and display |
US9239847B2 (en) * | 2009-03-12 | 2016-01-19 | Samsung Electronics Co., Ltd. | Method and apparatus for managing image files |
US8180773B2 (en) * | 2009-05-27 | 2012-05-15 | International Business Machines Corporation | Detecting duplicate documents using classification |
RU2012101280A (ru) * | 2009-06-15 | 2013-07-27 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для выбора типичного изображения |
US20100325552A1 (en) * | 2009-06-19 | 2010-12-23 | Sloo David H | Media Asset Navigation Representations |
JP2011003156A (ja) * | 2009-06-22 | 2011-01-06 | Nec Corp | データ分類装置、データ分類方法及びデータ分類プログラム |
US8571331B2 (en) * | 2009-11-30 | 2013-10-29 | Xerox Corporation | Content based image selection for automatic photo album generation |
US9465993B2 (en) * | 2010-03-01 | 2016-10-11 | Microsoft Technology Licensing, Llc | Ranking clusters based on facial image analysis |
US8724910B1 (en) * | 2010-08-31 | 2014-05-13 | Google Inc. | Selection of representative images |
JP2012060239A (ja) * | 2010-09-06 | 2012-03-22 | Sony Corp | 動画像処理装置、動画像処理方法およびプログラム |
US20120275714A1 (en) * | 2011-04-27 | 2012-11-01 | Yuli Gao | Determination of an image selection representative of a storyline |
CN103917986A (zh) * | 2011-09-07 | 2014-07-09 | 法雷奥开关和传感器有限责任公司 | 用于检测车辆风挡上的雨滴的方法和摄像头组件 |
US8958645B2 (en) * | 2012-04-19 | 2015-02-17 | Canon Kabushiki Kaisha | Systems and methods for topic-specific video presentation |
TW201344546A (zh) * | 2012-04-20 | 2013-11-01 | Primax Electronics Ltd | 相片資料夾之代表縮圖之自動選擇方法及自動選擇系統 |
US20140328570A1 (en) * | 2013-01-09 | 2014-11-06 | Sri International | Identifying, describing, and sharing salient events in images and videos |
US8891883B2 (en) * | 2012-05-15 | 2014-11-18 | Google Inc. | Summarizing a photo album in a social network system |
US9405962B2 (en) * | 2012-08-14 | 2016-08-02 | Samsung Electronics Co., Ltd. | Method for on-the-fly learning of facial artifacts for facial emotion recognition |
US9224071B2 (en) * | 2012-11-19 | 2015-12-29 | Microsoft Technology Licensing, Llc | Unsupervised object class discovery via bottom up multiple class learning |
US20140143730A1 (en) * | 2012-11-22 | 2014-05-22 | Afolio Inc. | Setting key image of online album |
US8983150B2 (en) | 2012-12-17 | 2015-03-17 | Adobe Systems Incorporated | Photo importance determination |
US8897556B2 (en) | 2012-12-17 | 2014-11-25 | Adobe Systems Incorporated | Photo chapters organization |
US9411831B2 (en) | 2013-03-01 | 2016-08-09 | Facebook, Inc. | Photo clustering into moments |
US11080318B2 (en) * | 2013-06-27 | 2021-08-03 | Kodak Alaris Inc. | Method for ranking and selecting events in media collections |
US9070048B2 (en) * | 2013-10-17 | 2015-06-30 | Adobe Systems Incorporated | Method and apparatus for automatically identifying a representative image for an image group |
WO2015109030A1 (en) | 2014-01-14 | 2015-07-23 | Ayasdi, Inc. | Consensus sequence identification |
US10599669B2 (en) * | 2014-01-14 | 2020-03-24 | Ayasdi Ai Llc | Grouping of data points in data analysis for graph generation |
US20150331930A1 (en) * | 2014-05-16 | 2015-11-19 | Here Global B.V. | Method and apparatus for classification of media based on metadata |
US9858295B2 (en) | 2014-06-24 | 2018-01-02 | Google Llc | Ranking and selecting images for display from a set of images |
CN106095465B (zh) * | 2016-06-23 | 2019-12-27 | 北京小米移动软件有限公司 | 设置身份图像的方法及装置 |
US10402642B2 (en) * | 2017-05-22 | 2019-09-03 | Microsoft Technology Licensing, Llc | Automatically converting ink strokes into graphical objects |
CN107426088A (zh) * | 2017-07-20 | 2017-12-01 | 北京小米移动软件有限公司 | 图片信息处理方法及装置 |
US11190410B2 (en) * | 2018-07-16 | 2021-11-30 | Cable Television Laboratories, Inc. | Proactive operations platform |
US12033258B1 (en) | 2020-06-05 | 2024-07-09 | Meta Platforms Technologies, Llc | Automated conversation content items from natural language |
US11508392B1 (en) | 2020-06-05 | 2022-11-22 | Meta Platforms Technologies, Llc | Automated conversation content items from natural language |
US11934445B2 (en) | 2020-12-28 | 2024-03-19 | Meta Platforms Technologies, Llc | Automatic memory content item provisioning |
US12079884B2 (en) * | 2021-04-19 | 2024-09-03 | Meta Platforms Technologies, Llc | Automated memory creation and retrieval from moment content items |
CN116386119A (zh) * | 2023-05-09 | 2023-07-04 | 北京维艾狄尔信息科技有限公司 | 基于健身步道的身份识别方法、系统、终端及存储介质 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8107015B1 (en) | 1996-06-07 | 2012-01-31 | Virage, Incorporated | Key frame selection |
US6567980B1 (en) | 1997-08-14 | 2003-05-20 | Virage, Inc. | Video cataloger system with hyperlinked output |
US6463444B1 (en) | 1997-08-14 | 2002-10-08 | Virage, Inc. | Video cataloger system with extensibility |
US6360234B2 (en) | 1997-08-14 | 2002-03-19 | Virage, Inc. | Video cataloger system with synchronized encoders |
AUPP400998A0 (en) | 1998-06-10 | 1998-07-02 | Canon Kabushiki Kaisha | Face detection in digital images |
US6833865B1 (en) | 1998-09-01 | 2004-12-21 | Virage, Inc. | Embedded metadata engines in digital capture devices |
US6606411B1 (en) | 1998-09-30 | 2003-08-12 | Eastman Kodak Company | Method for automatically classifying images into events |
US6721454B1 (en) | 1998-10-09 | 2004-04-13 | Sharp Laboratories Of America, Inc. | Method for automatic extraction of semantically significant events from video |
US6351556B1 (en) | 1998-11-20 | 2002-02-26 | Eastman Kodak Company | Method for automatically comparing content of images for classification into events |
US6282317B1 (en) | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
US6807306B1 (en) | 1999-05-28 | 2004-10-19 | Xerox Corporation | Time-constrained keyframe selection method |
US6549643B1 (en) | 1999-11-30 | 2003-04-15 | Siemens Corporate Research, Inc. | System and method for selecting key-frames of video data |
US6654506B1 (en) | 2000-01-25 | 2003-11-25 | Eastman Kodak Company | Method for automatically creating cropped and zoomed versions of photographic images |
US6697502B2 (en) | 2000-12-14 | 2004-02-24 | Eastman Kodak Company | Image processing method for detecting human figures in a digital image |
US6915011B2 (en) | 2001-03-28 | 2005-07-05 | Eastman Kodak Company | Event clustering of images using foreground/background segmentation |
US6847733B2 (en) | 2001-05-23 | 2005-01-25 | Eastman Kodak Company | Retrieval and browsing of database images based on image emphasis and appeal |
AUPR541801A0 (en) | 2001-06-01 | 2001-06-28 | Canon Kabushiki Kaisha | Face detection in colour images with complex background |
US7062085B2 (en) | 2001-09-13 | 2006-06-13 | Eastman Kodak Company | Method for detecting subject matter regions in images |
US7162102B2 (en) | 2001-12-19 | 2007-01-09 | Eastman Kodak Company | Method and system for compositing images to produce a cropped image |
US20030128389A1 (en) | 2001-12-26 | 2003-07-10 | Eastman Kodak Company | Method for creating and using affective information in a digital imaging system cross reference to related applications |
US20030210808A1 (en) | 2002-05-10 | 2003-11-13 | Eastman Kodak Company | Method and apparatus for organizing and retrieving images containing human faces |
JP2004118573A (ja) * | 2002-09-26 | 2004-04-15 | Fuji Photo Film Co Ltd | 画像整理装置およびプログラム |
US7508961B2 (en) | 2003-03-12 | 2009-03-24 | Eastman Kodak Company | Method and system for face detection in digital images |
US20050033758A1 (en) | 2003-08-08 | 2005-02-10 | Baxter Brent A. | Media indexer |
US7643686B2 (en) | 2004-11-17 | 2010-01-05 | Eastman Kodak Company | Multi-tiered image clustering by event |
US7653249B2 (en) | 2004-11-17 | 2010-01-26 | Eastman Kodak Company | Variance-based event clustering for automatically classifying images |
JP4287392B2 (ja) * | 2005-02-18 | 2009-07-01 | 富士フイルム株式会社 | プリント推奨画像選択装置、方法およびプログラム |
JP2006171942A (ja) * | 2004-12-14 | 2006-06-29 | Fuji Photo Film Co Ltd | 重要度設定装置および方法並びにプログラム |
JP4854957B2 (ja) * | 2004-12-15 | 2012-01-18 | 富士フイルム株式会社 | 代表画像選択装置および方法並びにプログラム |
US7783115B2 (en) * | 2004-12-14 | 2010-08-24 | Fujifilm Corporation | Apparatus and method for setting degrees of importance, apparatus and method for representative image selection, apparatus and method for printing-recommended image selection, and programs therefor |
JP2008040851A (ja) * | 2006-08-08 | 2008-02-21 | Fuji Xerox Co Ltd | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
-
2007
- 2007-02-22 US US11/677,617 patent/US7869658B2/en not_active Expired - Fee Related
-
2008
- 2008-02-21 EP EP08725883A patent/EP2122498A1/en not_active Ceased
- 2008-02-21 WO PCT/US2008/002293 patent/WO2008103412A1/en active Application Filing
- 2008-02-21 JP JP2009550913A patent/JP5261724B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010521024A (ja) | 2010-06-17 |
US20080205772A1 (en) | 2008-08-28 |
EP2122498A1 (en) | 2009-11-25 |
WO2008103412A1 (en) | 2008-08-28 |
US7869658B2 (en) | 2011-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5261724B2 (ja) | 階層的クラスタリングによる代表画像選定 | |
US9336443B2 (en) | Method and apparatus for organizing digital media based on face recognition | |
JP2010506297A (ja) | 画像レコードアクセス用異分類クラスタランキング | |
JP5364573B2 (ja) | 不完全なデータからの評価指標 | |
US8078618B2 (en) | Automatic multimode system for organizing and retrieving content data files | |
US20070182829A1 (en) | Composite imaging method and system | |
JP2013225327A (ja) | カメラへのユーザ入力に基づく画像値インデックス | |
US20130050747A1 (en) | Automated photo-product specification method | |
US20100157096A1 (en) | Apparatus to automatically tag image and method thereof | |
EP1815361A1 (en) | Variance-based event clustering | |
US20080085032A1 (en) | Supplying digital images from a collection | |
JP3649468B2 (ja) | 撮影機能付き電子アルバムシステム | |
JP2007133838A (ja) | 画像表示方法及び画像表示プログラム | |
JP5402026B2 (ja) | 電子カメラおよび画像処理プログラム | |
KR20100076793A (ko) | 디지털 이미지 처리 장치 및 방법, 컴퓨터 판독가능 저장매체, 및 전자 장치 및 그 제어 방법 | |
US20130050744A1 (en) | Automated photo-product specification method | |
US20130050745A1 (en) | Automated photo-product specification method | |
JP2009089046A (ja) | 画像データ処理方法及び撮影装置 | |
JP2010187119A (ja) | 撮像装置および撮像装置用プログラム | |
JP4554007B2 (ja) | 撮影装置、撮影方法、及び記録媒体 | |
JP2007288409A (ja) | 画像データ分類機能を備えた撮像装置およびプログラム | |
JP2001054010A (ja) | 撮影装置、撮影方法、及び記録媒体 | |
JP2007013936A (ja) | 撮像装置、表示装置、撮像方法、表示方法、およびプログラム | |
WO2009096524A1 (ja) | 画像向き判定方法と装置及びプログラム | |
US20130050746A1 (en) | Automated photo-product specification method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120502 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120529 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130404 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |