JP5632084B2 - コンシューマ配下画像集における再来性イベントの検出 - Google Patents
コンシューマ配下画像集における再来性イベントの検出 Download PDFInfo
- Publication number
- JP5632084B2 JP5632084B2 JP2013525998A JP2013525998A JP5632084B2 JP 5632084 B2 JP5632084 B2 JP 5632084B2 JP 2013525998 A JP2013525998 A JP 2013525998A JP 2013525998 A JP2013525998 A JP 2013525998A JP 5632084 B2 JP5632084 B2 JP 5632084B2
- Authority
- JP
- Japan
- Prior art keywords
- event
- digital image
- events
- identifying
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
(a)そのディジタル画像集を解析することで画像撮影行為群経時分布の多次元表現を生成するステップと、
(b)その多次元表現中の空間クラスタを識別することで再来性イベントを検出するステップと、
を実行させる。空間クラスタの識別に際しイベント間類似性を勘案してもよい。
Claims (17)
- ディジタル画像集合における再来性イベントを検出する方法であって、
前記ディジタル画像のコンテンツの少なくとも一部に基づき、ディジタル画像集合内のイベントを識別するステップであって、各イベントはキャプチャー時間メタデータを有する各ディジタル画像の少なくとも1つを含む当該ステップと、
前記識別されたイベントのディジタル画像に関するキャプチャー時間の分布の少なくとも一部に基づき、前記識別されたイベントを、第1の時間軸及び第1の時間軸とは異なる第2の時間軸によってあらわされる多次元の表現で特徴づけるステップと、
前記イベントに対する多次元の表現の空間クラスタリング解析に基づき、前記識別されたイベントから1以上の再来性イベントを識別するステップと、
を含む方法。 - 前記イベントを識別するステップは、前記ディジタル画像集合におけるディジタル画像の色コンテンツに基づきイベントを識別することを含む、請求項1に記載の方法。
- 前記ディジタル画像のコンテンツの少なくとも一部に基づきイベントを識別するステップは、
第1のディジタル画像を、複数のブロックにパーティション化すること、
前記第1のディジタル画像のブロックの少なくとも幾つかに関するカラーヒストグラムを決定すること、
第2のディジタル画像を、複数のブロックにパーティション化することであって、前記第2のディジタル画像のキャプチャー時間は、前記第1のディジタル画像のキャプチャー時間に引き続いて来るものであり、
前記第1のディジタル画像のブロックに対応する前記第2のディジタル画像のブロックのそれぞれに関するカラーヒストグラムを決定すること、
前記第1のディジタル画像のブロックのカラーヒストグラムと、前記第2のディジタル画像のブロックの対応するカラーヒストグラムとを比較すること、
を含む請求項2に記載の方法。 - 前記イベントを識別するステップは、前記ディジタル画像集合におけるディジタル画像のフォアグランド及びバックグランドセグメンテーションの少なくとも一部に基づきイベントを識別することを含む、請求項1に記載の方法。
- 前記1以上の再来性イベントを識別するステップは、前記識別されたイベントに対して、イベントシグネチャに基づくフィルタリングを適用することを含む、請求項1に記載の方法。
- 前記1以上の再来性イベントを識別するステップは、前記イベントシグネチャに基づくフィルタリングをパスする識別されたイベントのみに対して空間クラスタリング解析を適用することを含む、請求項5に記載の方法。
- 1以上のプロセッサに対する命令を記憶した不揮発性のプログラム記憶デバイスであって、前記プロセッサに、
前記ディジタル画像のコンテンツの少なくとも一部に基づき、ディジタル画像集合内のイベントを識別し、前記各イベントはキャプチャー時間メタデータを有する各ディジタル画像の少なくとも1つを含むものであり、
前記識別されたイベントのディジタル画像に関するキャプチャー時間の分布の少なくとも一部に基づき、前記識別されたイベントを、第1の時間軸及び第1の時間軸とは異なる第2の時間軸によってあらわされる多次元の表現で特徴づけ、
前記イベントに対する多次元の表現の空間クラスタリング解析に基づき、前記識別されたイベントから1以上の再来性イベントを識別する、
各手順を実行させるプログラム記憶デバイス。 - 前記1以上のプロセッサに、前記ディジタル画像集合におけるディジタル画像の色コンテンツに基づきイベントを識別する手順を実行させる命令を更に含む、請求項7に記載のプログラム記憶デバイス。
- 前記ディジタル画像のコンテンツの少なくとも一部に基づきイベントを識別する手順は、
第1のディジタル画像を、複数のブロックにパーティション化し、
前記第1のディジタル画像のブロックの少なくとも幾つかに関するカラーヒストグラムを決定し、
第2のディジタル画像を、複数のブロックにパーティション化することであって、前記第2のディジタル画像のキャプチャー時間は、前記第1のディジタル画像のキャプチャー時間に引き続いて来るものであり、
前記第1のディジタル画像のブロックに対応する前記第2のディジタル画像のブロックのそれぞれに関するカラーヒストグラムを決定すること、
前記第1のディジタル画像のブロックのカラーヒストグラムと、前記第2のディジタル画像のブロックの対応するカラーヒストグラムとを比較すること、
を更に含む、請求項8に記載のプログラム記憶デバイス。 - 前記イベントを識別する手順は、識別されたイベントを有するディジタル画像間でサブイベントを識別することを含む、請求項7に記載のプログラム記憶デバイス。
- 前記イベントを識別する手順は、前記ディジタル画像集合におけるディジタル画像のフォアグランド及びバックグランドセグメンテーションの少なくとも一部に基づきイベントを識別することを含む、請求項7に記載のプログラム記憶デバイス。
- 前記識別されたイベントを特徴づける手順は、前記識別されたイベントのディジタル画像に関するキャプチャー時間の二次元分布に基づき前記識別されたイベントを特徴づけることを含む、請求項7に記載のプログラム記憶デバイス。
- 前記1以上の再来性イベントを識別する手順は、前記識別されたイベントに対して、イベントシグネチャに基づくフィルタリングを適用することを含む、請求項7に記載のプログラム記憶デバイス。
- 前記1以上の再来性イベントを識別する手順は、前記イベントシグネチャに基づくフィルタリングをパスする識別されたイベントのみに対して空間クラスタリング解析を適用することを含む、請求項13に記載のプログラム記憶デバイス。
- 前記イベントシグネチャに基づくフィルタリングは、ベイジアン信頼ネットワーク型イベント分類(Bayesian belief network-based event classification)に基づいている、請求項13に記載のプログラム記憶デバイス。
- メモリと、
前記メモリと通信可能に接続されたディスプレイと、
前記メモリ及び前記ディスプレイと動作可能に接続され、前記メモリに記憶された命令を実行するように構成された1以上のプロセッサとを備えたコンピュータシステムであって、
前記プロセッサは、
前記メモリに記憶されたディジタル画像の集合内にあるイベントを、前記ディジタル画像のコンテンツの少なくとも一部に基づき識別し、前記各イベントはキャプチャー時間メタデータを有する各ディジタル画像の少なくとも1つを含むものであり、
前記識別されたイベントのディジタル画像に関するキャプチャー時間の分布の少なくとも一部に基づき、前記識別されたイベントを、第1の時間軸及び第1の時間軸とは異なる第2の時間軸によってあらわされる多次元の表現で特徴づけ、
前記イベントに対する多次元の表現の空間クラスタリング解析に基づき、前記識別されたイベントから1以上の再来性イベントを識別する、
ように構成されているコンピュータシステム。 - 前記1以上のプロセッサは、前記識別されたイベント及び前記ディスプレイ上の前記イベントに対応するディジタル画像の少なくとも1つを識別するように更に構成されている、請求項16に記載のコンピュータシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/862,806 | 2010-08-25 | ||
US12/862,806 US8634662B2 (en) | 2010-08-25 | 2010-08-25 | Detecting recurring events in consumer image collections |
PCT/US2011/048169 WO2012027178A1 (en) | 2010-08-25 | 2011-08-18 | Detecting recurring events in consumer image collections |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013536527A JP2013536527A (ja) | 2013-09-19 |
JP2013536527A5 JP2013536527A5 (ja) | 2013-10-31 |
JP5632084B2 true JP5632084B2 (ja) | 2014-11-26 |
Family
ID=44509719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013525998A Expired - Fee Related JP5632084B2 (ja) | 2010-08-25 | 2011-08-18 | コンシューマ配下画像集における再来性イベントの検出 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8634662B2 (ja) |
EP (1) | EP2609527A1 (ja) |
JP (1) | JP5632084B2 (ja) |
CN (1) | CN103069420B (ja) |
WO (1) | WO2012027178A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8463053B1 (en) | 2008-08-08 | 2013-06-11 | The Research Foundation Of State University Of New York | Enhanced max margin learning on multimodal data mining in a multimedia database |
JP5294818B2 (ja) * | 2008-12-08 | 2013-09-18 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
US8423088B2 (en) * | 2009-07-22 | 2013-04-16 | Microsoft Corporation | Aggregated, interactive communication timeline |
US9465993B2 (en) * | 2010-03-01 | 2016-10-11 | Microsoft Technology Licensing, Llc | Ranking clusters based on facial image analysis |
JP5735330B2 (ja) * | 2011-04-08 | 2015-06-17 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
US8930820B1 (en) * | 2011-06-30 | 2015-01-06 | Intuit Inc. | Automatic calendaring system |
EP2600311A1 (en) * | 2011-11-30 | 2013-06-05 | Thomson Licensing | Method and apparatus for visualizing a data set |
US8751499B1 (en) | 2013-01-22 | 2014-06-10 | Splunk Inc. | Variable representative sampling under resource constraints |
US9471200B2 (en) | 2013-03-15 | 2016-10-18 | Apple Inc. | Device, method, and graphical user interface for organizing and presenting a collection of media items |
CN104424281A (zh) * | 2013-08-30 | 2015-03-18 | 宏碁股份有限公司 | 事件整合方法及系统 |
US20150370462A1 (en) | 2014-06-20 | 2015-12-24 | Microsoft Corporation | Creating calendar event from timeline |
US9785305B2 (en) | 2015-03-19 | 2017-10-10 | Apple Inc. | Touch input cursor manipulation |
AU2015203570A1 (en) * | 2015-06-26 | 2017-01-19 | Canon Kabushiki Kaisha | Method, system and apparatus for segmenting an image set to generate a plurality of event clusters |
JP6437902B2 (ja) * | 2015-09-18 | 2018-12-12 | 富士フイルム株式会社 | 画像抽出システム,画像抽出方法,画像抽出プログラムおよびそのプログラムを格納した記録媒体 |
US10546229B2 (en) | 2016-06-02 | 2020-01-28 | Kodak Alaris Inc. | System and method for predictive curation, production infrastructure, and personal content assistant |
US20180095938A1 (en) * | 2016-09-30 | 2018-04-05 | Sap Se | Synchronized calendar and timeline adaptive user interface |
US10838584B2 (en) * | 2016-10-31 | 2020-11-17 | Microsoft Technology Licensing, Llc | Template based calendar events with graphic enrichment |
CN106657355B (zh) * | 2016-12-29 | 2020-10-16 | 北京华为数字技术有限公司 | 一种集群管理方法及设备 |
CN107656979A (zh) * | 2017-09-06 | 2018-02-02 | 北京知识群信息技术有限公司 | 一种时序对象二维空间显示方法及系统 |
US10896197B1 (en) * | 2018-05-22 | 2021-01-19 | Snap Inc. | Event detection system |
CN114419341B (zh) * | 2022-01-20 | 2024-04-26 | 大连海事大学 | 一种基于迁移学习改进的卷积神经网络图像识别方法 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6606411B1 (en) * | 1998-09-30 | 2003-08-12 | Eastman Kodak Company | Method for automatically classifying images into events |
US6351556B1 (en) | 1998-11-20 | 2002-02-26 | Eastman Kodak Company | Method for automatically comparing content of images for classification into events |
US7415662B2 (en) * | 2000-01-31 | 2008-08-19 | Adobe Systems Incorporated | Digital media management apparatus and methods |
EP1223757B1 (en) * | 2001-01-09 | 2006-03-22 | Metabyte Networks, Inc. | System, method, and software application for targeted advertising via behavioral model clustering, and preference programming based on behavioral model clusters |
US6915011B2 (en) * | 2001-03-28 | 2005-07-05 | Eastman Kodak Company | Event clustering of images using foreground/background segmentation |
US6996782B2 (en) * | 2001-05-23 | 2006-02-07 | Eastman Kodak Company | Using digital objects organized according to a histogram timeline |
US8028249B2 (en) * | 2001-05-23 | 2011-09-27 | Eastman Kodak Company | Method and system for browsing large digital multimedia object collections |
US7325198B2 (en) * | 2002-12-31 | 2008-01-29 | Fuji Xerox Co., Ltd. | Calendar-based interfaces for browsing and manipulation of digital images |
US7398479B2 (en) * | 2003-08-20 | 2008-07-08 | Acd Systems, Ltd. | Method and system for calendar-based image asset organization |
US7636733B1 (en) | 2003-10-03 | 2009-12-22 | Adobe Systems Incorporated | Time-based image management |
JP4457660B2 (ja) * | 2003-12-12 | 2010-04-28 | パナソニック株式会社 | 画像分類装置、画像分類システム、画像分類に関するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US20050134945A1 (en) * | 2003-12-17 | 2005-06-23 | Canon Information Systems Research Australia Pty. Ltd. | 3D view for digital photograph management |
US7606437B2 (en) * | 2005-01-11 | 2009-10-20 | Eastman Kodak Company | Image processing based on ambient air attributes |
US7716194B2 (en) * | 2005-01-12 | 2010-05-11 | Microsoft Corporation | File management system employing time line based representation of data |
US20060156237A1 (en) * | 2005-01-12 | 2006-07-13 | Microsoft Corporation | Time line based user interface for visualization of data |
US7421449B2 (en) * | 2005-01-12 | 2008-09-02 | Microsoft Corporation | Systems and methods for managing a life journal |
US7788592B2 (en) * | 2005-01-12 | 2010-08-31 | Microsoft Corporation | Architecture and engine for time line based visualization of data |
US20070008321A1 (en) * | 2005-07-11 | 2007-01-11 | Eastman Kodak Company | Identifying collection images with special events |
CN101196786B (zh) * | 2006-06-12 | 2010-04-14 | 左莉 | 光学鼠标的可更换部件和重复使用部件 |
JP4564512B2 (ja) * | 2007-04-16 | 2010-10-20 | 富士通株式会社 | 表示装置、表示プログラム、および表示方法 |
US7843454B1 (en) * | 2007-04-25 | 2010-11-30 | Adobe Systems Incorporated | Animated preview of images |
US20090006965A1 (en) * | 2007-06-26 | 2009-01-01 | Bodin William K | Assisting A User In Editing A Motion Picture With Audio Recast Of A Legacy Web Page |
US20090113350A1 (en) * | 2007-10-26 | 2009-04-30 | Stacie Lynn Hibino | System and method for visually summarizing and interactively browsing hierarchically structured digital objects |
GB2460844B (en) | 2008-06-10 | 2012-06-06 | Half Minute Media Ltd | Automatic detection of repeating video sequences |
US8200669B1 (en) * | 2008-08-21 | 2012-06-12 | Adobe Systems Incorporated | Management of smart tags via hierarchy |
KR20100052676A (ko) * | 2008-11-11 | 2010-05-20 | 삼성전자주식회사 | 컨텐츠 앨범화 장치 및 그 방법 |
US8611677B2 (en) * | 2008-11-19 | 2013-12-17 | Intellectual Ventures Fund 83 Llc | Method for event-based semantic classification |
JP5289022B2 (ja) * | 2008-12-11 | 2013-09-11 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
US20110099199A1 (en) * | 2009-10-27 | 2011-04-28 | Thijs Stalenhoef | Method and System of Detecting Events in Image Collections |
US8571331B2 (en) * | 2009-11-30 | 2013-10-29 | Xerox Corporation | Content based image selection for automatic photo album generation |
-
2010
- 2010-08-25 US US12/862,806 patent/US8634662B2/en not_active Expired - Fee Related
-
2011
- 2011-08-18 EP EP11748535.9A patent/EP2609527A1/en not_active Ceased
- 2011-08-18 WO PCT/US2011/048169 patent/WO2012027178A1/en active Application Filing
- 2011-08-18 JP JP2013525998A patent/JP5632084B2/ja not_active Expired - Fee Related
- 2011-08-18 CN CN201180040728.1A patent/CN103069420B/zh not_active Expired - Fee Related
-
2013
- 2013-12-18 US US14/133,013 patent/US8811755B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2012027178A1 (en) | 2012-03-01 |
CN103069420A (zh) | 2013-04-24 |
JP2013536527A (ja) | 2013-09-19 |
US20140105492A1 (en) | 2014-04-17 |
US8634662B2 (en) | 2014-01-21 |
CN103069420B (zh) | 2017-11-03 |
US8811755B2 (en) | 2014-08-19 |
EP2609527A1 (en) | 2013-07-03 |
US20120051644A1 (en) | 2012-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5632084B2 (ja) | コンシューマ配下画像集における再来性イベントの検出 | |
US8594440B2 (en) | Automatic creation of a scalable relevance ordered representation of an image collection | |
US9972113B2 (en) | Computer-readable recording medium having stored therein album producing program, album producing method, and album producing device for generating an album using captured images | |
CN102770874B (zh) | 用户图像集中的自适应事件时间线 | |
US8611678B2 (en) | Grouping digital media items based on shared features | |
JP5934653B2 (ja) | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 | |
JP5537557B2 (ja) | 事象毎に意味論的に分類する方法 | |
JP5524219B2 (ja) | 対話式画像選択方法 | |
WO2008014408A1 (en) | Method and system for displaying multimedia content | |
US20180089228A1 (en) | Interactive image selection method | |
US20140129640A1 (en) | Content processing device, content processing method, computer- readable recording medium, and integrated circuit | |
US20210365490A1 (en) | Method for ranking and selecting events in media collections | |
Suh et al. | Semi-automatic photo annotation strategies using event based clustering and clothing based person recognition | |
US11520465B2 (en) | Curated media library | |
US20150006545A1 (en) | System for ranking and selecting events in media collections | |
WO2012109330A1 (en) | Content storage management in cameras | |
RU2660599C1 (ru) | Способ индексирования видеоданных для фасетной классификации | |
KR101400619B1 (ko) | 사진 관리 방법 및 장치 | |
Lee et al. | Interaction design for personal photo management on a mobile device | |
Ceroni | Methods for managing, validating and retrieving event-related information in evolving contexts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130809 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5632084 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |