WO2011061782A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2011061782A1
WO2011061782A1 PCT/JP2009/006149 JP2009006149W WO2011061782A1 WO 2011061782 A1 WO2011061782 A1 WO 2011061782A1 JP 2009006149 W JP2009006149 W JP 2009006149W WO 2011061782 A1 WO2011061782 A1 WO 2011061782A1
Authority
WO
WIPO (PCT)
Prior art keywords
cluster
place name
storage unit
unit
clusters
Prior art date
Application number
PCT/JP2009/006149
Other languages
English (en)
French (fr)
Inventor
板倉豊和
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to PCT/JP2009/006149 priority Critical patent/WO2011061782A1/ja
Publication of WO2011061782A1 publication Critical patent/WO2011061782A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures

Definitions

  • the present invention relates to an image processing technique for clustering a plurality of still images based on metadata.
  • Patent Document 1 discloses a technique for selecting representative digital photographs in a group by grouping digital photographs taken within a certain period of time using photographing time information attached to the digital photographs.
  • Patent Document 1 has a problem that when a cluster having a low value for a user is generated, a representative digital photograph selected from the group also has a low value.
  • an object of the present invention is to provide an image processing apparatus in which representative images having high value for the user are selected from each cluster.
  • An image processing apparatus includes an image storage unit that stores a plurality of still images, a metadata storage unit that stores shooting location information that is metadata of each still image, and each still image. , A clustering unit for clustering into clusters corresponding to the shooting location information, a cluster storage unit for storing the clustering results, a place name, an attribute label of the place name, a position of the place name, and a shooting value at the place of the place name for the user A place name storage unit for storing a value index indicating height; and the place name corresponding to the shooting place information of the cluster by collating the shooting place information of the cluster with the position of the place name stored in the place name storage unit A determination unit that assigns the value index corresponding to the place name as a value index of the cluster; and the value index of the cluster Enough high, the number of the still images are selected from the clusters so that many comprises a selection unit for selecting a representative image, and a result storage unit that stores the selection result.
  • the representative image selected from each cluster is highly valuable to the user.
  • FIG. 1 is a block diagram showing a configuration related to an image processing apparatus according to Embodiment 1 of the present invention.
  • a table stored in the image storage unit. A table stored in the metadata storage unit.
  • the flowchart of the process which classifies the taken photograph in a cluster in an image processing apparatus. (A) is a table indicating cluster affiliation information, (b) is a table indicating cluster center information, and (c) is a table indicating inter-cluster distance information.
  • Table stored in the place name storage unit. 5 is a flowchart of processing for associating a place name ID with each cluster in the image processing apparatus. Table after processing stored in the cluster storage unit.
  • FIG. 1 is a block diagram of the image processing apparatus.
  • the image processing apparatus includes an acquisition unit 10, a metadata acquisition unit 11, a clustering unit 12, a determination unit 13, a selection unit 14, an image storage unit 20 that is a database, a metadata storage unit 21, a cluster storage unit 22, and a place name storage unit. 23.
  • a result storage unit 24 is provided.
  • the capturing unit 10 captures a plurality of photographs into the image storage unit 20 from an image capturing device such as a digital camera, a digital video camera, or a mobile phone. As shown in FIG. 2, the image storage unit 20 stores a table including a photo ID and a corresponding photo recording destination. Note that the capture unit 10 may capture the metadata described below simultaneously from the same image capturing device when capturing this photograph, and the capture unit 10 may be an external device different from the image capturing device ( For example, only metadata may be taken in separately from a GPS device). Further, in the case of capturing only this metadata, the metadata acquisition unit 11 may execute the capturing.
  • the metadata acquisition unit 11 acquires metadata associated with each photograph stored in the image storage unit 20.
  • the metadata includes, for example, shooting time information and shooting location information stored in the EXIF area of a JPEG format photo.
  • the shooting time information is made up of year, month, day, and time data when the picture was taken.
  • the shooting location information is coordinates including the latitude and longitude of the shooting location of the photo.
  • the metadata acquisition unit 11 stores the acquired metadata in the metadata storage unit 21. As shown in FIG. 3, the metadata storage unit 21 stores a table including a photo ID, shooting time information corresponding to the photo ID, and shooting location information.
  • the clustering unit 12 classifies the photos into clusters using the shooting time information and shooting location information of the photos stored in the metadata storage unit 21.
  • the processing of the clustering unit 12 will be described using the flowchart of FIG. In the flowchart of FIG. 4, processing by a clustering algorithm for designating the number of clusters generated in advance is described, but an algorithm for automatically determining the number of clusters may be used.
  • step S11 the clustering unit 12 sets the number of photos to N and sets the number of clusters after clustering to K (N ⁇ K).
  • the cluster index is k.
  • step S12 the clustering unit 12 updates the cluster affiliation information R11 temporarily stored in the RAM.
  • the cluster affiliation information R11 includes a cluster ID and a photo ID belonging to the cluster ID.
  • the clustering unit 12 updates the cluster center information R12 temporarily stored in the RAM.
  • the cluster center information R12 includes a cluster ID and a cluster center belonging to the cluster ID.
  • the “cluster center” is calculated from the metadata of the photos belonging to each cluster.
  • the clustering unit 12 calculates an average time of photographing times of photographs belonging to each cluster, and the RAM stores the average time as the cluster center of each cluster.
  • the clustering unit 12 may calculate the average coordinates of the shooting locations of the photos belonging to each cluster as the cluster center, and the RAM may store the average coordinates as the cluster center of each cluster.
  • FIG. 5B shows a case where the average time is used as the cluster center.
  • step S14 the clustering unit 12 updates the intercluster distance information R13 temporarily stored in the RAM.
  • the cluster center Ca of the cluster A is Ta
  • the cluster center Cb of the cluster B is Tb.
  • D
  • D represents the time difference between the average shooting times of each cluster.
  • the cluster center Ca of the cluster A is (xa, yb)
  • the cluster center Cb of the cluster B is (xb, yb).
  • D ⁇ (xa ⁇ xb) 2 + (ya ⁇ yb) 2 ⁇ 1/2 (2)
  • D represents the Euclidean distance between the average coordinates of the clusters.
  • the inter-cluster distance information R13 is stored in the RAM table as shown in FIG. 5C in relation to the cluster Ci and the cluster Cj.
  • step S15 the clustering unit 12 proceeds to step S16 if the current number k of clusters is equal to K (in the case of Yes in FIG. 4), and proceeds to step S17 if it is not equal (in the case of No in FIG. 4).
  • step S16 since the current number k of clusters is equal to K, the clustering unit 12 stores the cluster affiliation information R11 in the cluster storage unit 22, and the clustering unit 12 further stores the shooting location information of the photos belonging to each cluster.
  • the average coordinates are calculated as “cluster positions” and stored in the cluster storage unit 22.
  • step S17 since the current number k of clusters is not equal to K, the clustering unit 12 refers to the inter-cluster distance information R13 and searches for a pair of clusters having the smallest inter-cluster distance D.
  • the clustering unit 12 causes the photos belonging to both clusters corresponding to the search to belong to one new cluster.
  • the determination unit 13 assigns an attribute label and a value index to each cluster from the cluster storage unit 22 and the place name storage unit 23.
  • the cluster storage unit 22 stores a table including a cluster ID, a photo ID, a cluster position, and a place name ID.
  • the place name storage unit 23 stores a table having place name IDs, place names, place name attribute labels, coordinates composed of north latitude and east longitude of place names, and place name value indexes.
  • place name means the name of the tourist facility (Tokyo Tower, Ueno Zoo, etc.), public facility name (Tokyo Station, Haneda Airport, National Diet Building, etc.), home, moving, and other specific names. This means a name that can identify the place.
  • the place name attribute label indicates a place name genre, such as a sightseeing spot, a station, an airport, a home, or moving. Note that “home” and “moving” are place names and attribute labels.
  • the place name ID is not stored in the cluster storage unit 22, and the value index is not stored in the place name storage unit 23.
  • the determination unit 13 identifies the location of the cluster from the cluster position for each cluster.
  • the determination unit 13 collates the coordinates of the place name stored in the place name storage unit 23 with the coordinates of the cluster position, and obtains the place name of the cluster that is closest to the cluster position. That is, the determination unit 13 assigns a place name ID to each cluster ID in the cluster storage unit 22.
  • the determination unit 13 does not give a place name ID such as a sightseeing spot when the distance from the cluster to the coordinates of the nearest place name is larger than a predetermined distance, and assigns a place name ID with “move” as the place name.
  • This distance is defined as, for example, twice the maximum distance between pictures included in a cluster.
  • the “value index” in the place name storage unit 23 is set in advance so that the value of the place is higher for the user in the place where the value of taking a photograph is higher.
  • “tourist place” label is given as an attribute label to Tokyo Tower, Ueno Zoo, etc.
  • the value index is 2 for the place name having the “tourist place” label.
  • the label “home” is assigned to the home, and the value index is 0.
  • the value index is 0 for the place name “moving” having the label “moving”.
  • the value index can be set by the user at any time such as when the software is started or when the clustering process is started. For example, when “sightseeing spot”, “home”, and “moving” are considered as attribute labels to be assigned to the cluster, the value of the place considered by the user can be set numerically for each attribute label.
  • the place name “Ueno Zoo” can be used as an attribute label as it is, and the value index can be set particularly high.
  • the system holds a general value index of a place as an initial value of the value index, the user can use the value index without setting it himself.
  • the value index can be set to various upper and lower limits such as 0 to 1, 0 to 10, 0 to 100, -10 to 10, etc. However, a small index is assigned to an attribute label with a high user value for an attribute label with a low user value. Set a big indicator.
  • the determination unit 13 assigns a value index to each cluster from the cluster storage unit 22 and the place name storage unit 23 will be described with reference to the flowchart of FIG. In FIG. 8, the subscript of the cluster is k.
  • step S ⁇ b> 22 the determination unit 13 determines whether the cluster position of the cluster k corresponds to the coordinates of any place name in the place name storage unit 23. Whether the cluster position corresponds to the coordinates of the place name corresponds if the distance between the cluster position Lk of a certain cluster k and the coordinates Lp of a certain place name p is equal to or smaller than a certain value Th Loc , and if it is greater than Th Loc Not applicable.
  • step S23 if the determination unit 13 does not correspond to the coordinates of any place name, the place name ID “moving” is stored in the place name ID column of the cluster storage unit 22, and the process proceeds to step S25.
  • step S25 the determination unit 13 increments k.
  • step S26 the determination unit 13 ends if k is greater than K (in the case of Yes in FIG. 8), and returns to step S22 if it is equal to or less than K (in the case of No in FIG. 8).
  • FIG. 9 shows a state in which a place name ID is specified for each cluster in the cluster storage unit 22 and is composed of a cluster ID, a photo ID, a cluster position, and a place name ID.
  • the place name storage unit 23 is linked to obtain a value index for each cluster.
  • the value index of each cluster may be directly stored in the cluster storage unit 22.
  • the selection unit 14 selects representative photographs from the cluster storage unit 22 and the place name storage unit 23 and stores them in the result storage unit 24.
  • the process in which the selection part 14 selects a representative photograph is demonstrated based on the flowchart of FIG. In FIG. 10, the subscript of the cluster is k.
  • step S32 the selection unit 14 selects the number of representative photos indicated by the value of the value index of the cluster k from the photos belonging to the cluster k. For example, if the value of the value index is m, m representative photographs are selected. That is, the selection unit 14 selects more representative photographs as the value index is higher.
  • step S33 the selection unit 14 increments k.
  • step S34 the selection unit 14 ends if k> K (in the case of Yes in FIG. 10), and returns to S32 in the case of k ⁇ K (in the case of No in FIG. 10).
  • the result storage unit 24 stores a table made up of cluster IDs and representative photo IDs.
  • the selection unit 14 randomly selects a representative photo.
  • the selection unit 14 selects a photo in a specific order of the photo ID in each cluster as a representative photo. For example, the selection unit 14 selects a photo with the smallest photo ID or a central photo as a representative photo.
  • the selection unit 14 selects a photo having a photo shooting location closest to the cluster position as a representative photo.
  • the selection unit 14 selects a photograph with the latest or earliest shooting time as a representative photograph.
  • the selection unit 14 analyzes the content of the photo and selects the brightest photo or the photo with the largest number of colors.
  • the selection unit 14 selects a representative photo using information such as an object, a landscape, and a person's face in the photo.
  • the selection unit 14 When the representative photo is selected, the selection unit 14 creates a slide show from the representative photo and presents it to the user.
  • the selection unit 14 may create a slide show at the time of representative photo selection and store it in a memory.
  • the selection unit 14 stores the slide show as a data file on a storage area such as an HDD, and the selection unit 14 reproduces only the slide show later. It doesn't matter.
  • the basic slideshow creation method is to display images in fixed order in ascending order of photo ID.
  • the selection unit 14 can display various slide shows by combining the order in which the representative photos appear, the timing, the number, the display time, the effect, the BGM, and the display of characters.
  • photos are grouped using metadata attached to the photos, and a value index is assigned to each group using the shooting location information of the photos belonging to each group. Then, based on the value index, a representative photo can be selected from each cluster. For this reason, only representative photographs having high value for the user are selected.
  • the determination unit 13 assigns a value index of each cluster using the shooting location information and the speed of movement at the time of taking a photo.
  • the configuration other than the determination unit 13 is the same as that of the first embodiment.
  • the determination unit 13 sets the “moving” label for a cluster whose moving speed V at the time of taking a photo is greater than or equal to the attribute label of the “moving” label to which the photograph taken while the user is moving.
  • V moving speed
  • the attribute label of the “moving” label to which the photograph taken while the user is moving For example, consider two photos, photo A taken at time ta and location (xa, ya) and photo B taken at time tb and location (xb, yb) (ta ⁇ tb).
  • the moving speed V is equal to or greater than a certain value, it is considered that the photograph was taken while moving on a car or a bullet train, and a “moving” label is assigned to a cluster including such a photograph.
  • the image processing apparatus can also be realized by using, for example, a general-purpose computer as basic hardware. That is, the capturing unit 10, the metadata acquisition unit 11, the clustering unit 12, the determination unit 13, and the selection unit 14 of the image processing apparatus can be realized by causing a processor mounted on the computer to execute a program. . At this time, the image processing apparatus may be realized by installing the above program in a computer in advance, or may be stored in a storage medium such as a CD-ROM, or distributed through the network. It may be realized by installing this program on a computer as appropriate. Further, the image storage unit 20, the metadata storage unit 21, the cluster storage unit 22, the place name storage unit 23, and the result storage unit 24 that are databases are realized by an HDD, an SSD, or the like.
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by freely modifying and deleting constituent elements and the like without departing from the spirit of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　複数の静止画像を記憶し、前記各静止画像の撮影場所情報を記憶し、前記各静止画像を、前記撮影場所情報に対応したクラスタにクラスタリングし、地名、属性ラベル、位置、価値指標を予め記憶し、前記クラスタの前記撮影場所情報と記憶した前記地名の位置を照合して、前記クラスタの前記撮影場所情報に対応した前記地名を求め、前記地名に対応した前記価値指標を、前記クラスタの価値指標として付与し、前記クラスタの前記価値指標が高い程に、前記クラスタから選出する代表画像の枚数を多く選出する。

Description

画像処理装置
　本発明は、複数の静止画像をメタデータに基づいてクラスタリングする画像処理技術に関する。
　特許文献１には、デジタル写真に付随する撮影時刻情報を用い、一定時間内に撮影されたデジタル写真をグループ化して、グループ内の代表デジタル写真を選出する技術が開示されている。
特開２００７－１９３５９２号公報
　しかし、特許文献１の技術では、ユーザにとって価値の低いクラスタが生成された場合に、そのグループから選出される代表のデジタル写真も価値の低いものになってしまうという問題点がある。
　そこで本発明は、各クラスタからユーザにとって価値の高い代表画像が選出される画像処理装置を提供することを目的とする。
　本発明の一態様に係る画像処理装置は、複数の静止画像を記憶する画像記憶部と、前記各静止画像のメタデータである撮影場所情報を記憶するメタデータ記憶部と、前記各静止画像を、前記撮影場所情報に対応したクラスタにクラスタリングするクラスタリング部と、クラスタリングの結果を記憶するクラスタ記憶部と、地名、前記地名の属性ラベル、前記地名の位置、ユーザにとって前記地名の場所における撮影価値の高さを示す価値指標を記憶する地名記憶部と、前記クラスタの前記撮影場所情報と前記地名記憶部に記憶した前記地名の位置を照合して、前記クラスタの前記撮影場所情報に対応した前記地名を求め、前記地名に対応した前記価値指標を、前記クラスタの価値指標として付与する判定部と、前記クラスタの前記価値指標が高い程に、前記クラスタから選出される前記静止画像の枚数が多くなるように、代表画像を選出する選出部と、前記選出結果を記憶する結果記憶部と、を具備する。
　本発明によれば、各クラスタから選出される代表画像が、ユーザにとって価値が高い。
本発明の実施例１に係る画像処理装置に係る構成を示すブロック図。 画像記憶部に記憶されたテーブル。 メタデータ記憶部に記憶されたテーブル。 画像処理装置における、取り込んだ写真をクラスタに分類する処理のフローチャート。 （ａ）はクラスタ所属情報を示すテーブル、（ｂ）はクラスタ中心情報を示すテーブル、（ｃ）はクラスタ間距離情報を示すテーブル。 クラスタ記憶部に記憶された処理中のテーブル。 地名記憶部に記憶されたテーブル。 画像処理装置における、各クラスタに地名ＩＤを関連付ける処理のフローチャート。 クラスタ記憶部に記憶された処理後のテーブル。 画像処理装置における、価値指標に基づいて各クラスタから代表写真を選出する処理のフローチャート。 結果記憶部に記憶されたテーブル。
　本発明の実施例に係る画像処理装置について図面を参照して説明する。なお、以下の説明において、静止画像として、デジタル写真を例にあげ、デジタル写真を単に「写真」と称す。なお、デジタル写真以外の静止画像を用いても構わない。
　本発明の実施例１に係る画像処理装置について、図１から図１１を参照して説明する。
　画像処理装置の構成について、図１に基づいて説明する。図１は、画像処理装置のブロック図である。画像処理装置は、取込部１０、メタデータ取得部１１、クラスタリング部１２、判定部１３、選出部１４、データベースである画像記憶部２０、メタデータ記憶部２１、クラスタ記憶部２２、地名記憶部２３、結果記憶部２４を有している。
　取込部１０は、デジタルカメラ、デジタルビデオカメラ、携帯電話などの画像撮影装置から、複数の写真を画像記憶部２０に取り込む。画像記憶部２０は、図２に示すように、写真ＩＤとそれに対応した写真の記録先からなるテーブルを記憶している。なお、取込部１０は、この写真を取り込むときに、同じ画像撮影装置から下記で説明するメタデータを同時に取り込んでも構わないし、また、取込部１０は、画像撮影装置とは異なる外部装置（例えばＧＰＳ装置）からメタデータだけを別に取り込んでも構わない。また、このメタデータだけの取り込みの場合は、メタデータ取得部１１が取り込みを実行しても構わない。
　メタデータ取得部１１は、画像記憶部２０に記憶された各写真に付随するメタデータを取得する。メタデータとしては、例えば、ＪＰＥＧ形式の写真のＥＸＩＦ領域に記憶されている撮影時刻情報、撮影場所情報である。撮影時刻情報は、写真を撮影した年、月、日、時刻のデータからなる。撮影場所情報は、写真の撮影場所の緯度、経度からなる座標である。メタデータ取得部１１は、取得したメタデータを、メタデータ記憶部２１に記憶する。メタデータ記憶部２１は、図３に示すように、写真ＩＤ、それに対応した撮影時刻情報、撮影場所情報からなるテーブルを記憶している。
　クラスタリング部１２は、メタデータ記憶部２１に記憶された写真の撮影時刻情報及び撮影場所情報を用いて、写真をクラスタに分類する。クラスタリング部１２の処理を、図４のフローチャートを用いて説明する。なお、図４のフローチャートでは予め生成されるクラスタ数を指定するクラスタリングアルゴリズムによる処理を記載しているが、クラスタ数を自動的に決定するアルゴリズムを用いても構わない。
　ステップＳ１１では、クラスタリング部１２は、写真の数をＮ枚とし、クラスタ化を行った後のクラスタ数をＫ枚（Ｎ≧Ｋ）とする。クラスタの添え字はｋとする。クラスタリング部１２は、初めにｋ＝Ｎとし、写真１，・・・Ｎそれぞれ１枚から成るクラスタ１，・・・Ｎを形成する。
　ステップＳ１２では、クラスタリング部１２は、ＲＡＭに一時的に記憶されているクラスタ所属情報Ｒ１１を更新する。クラスタ所属情報Ｒ１１は、図５（ａ）に示すように、クラスタＩＤと、それに属する写真ＩＤとからなる。
　ステップＳ１３では、クラスタリング部１２は、ＲＡＭに一時的に記憶されているクラスタ中心情報Ｒ１２を更新する。クラスタ中心情報Ｒ１２は、図５（ｂ）に示すように、クラスタＩＤと、それに属するクラスタ中心とからなる。「クラスタ中心」は、各クラスタに所属する写真のメタデータから計算する。例えば、クラスタリング部１２は、各クラスタに所属する写真の撮影時刻の平均時刻を計算し、ＲＡＭは平均時刻を各クラスタのクラスタ中心として記憶する。また、クラスタリング部１２は、クラスタ中心として、各クラスタに所属する写真の撮影場所の平均座標を計算し、ＲＡＭは平均座標を各クラスタのクラスタ中心として記憶しても構わない。図５（ｂ）ではクラスタ中心として平均時刻を用いた場合を示している。
　ステップＳ１４では、クラスタリング部１２は、ＲＡＭに一時的に記憶されているクラスタ間距離情報Ｒ１３を更新する。クラスタ間距離Ｄは、例えば平均時刻をクラスタ中心とする場合は、クラスタＡのクラスタ中心ＣａをＴａ、クラスタＢのクラスタ中心ＣｂをＴｂとすると、クラスタ間距離Ｄは、

　　　Ｄ＝｜Ｔａ－Ｔｂ｜　・・・（１）

　となり、Ｄは各クラスタの平均撮影時刻の時間差を表す。また、平均座標をクラスタ中心とする場合は、クラスタＡのクラスタ中心Ｃａを（ｘａ，ｙｂ）、クラスタＢのクラスタ中心Ｃｂを（ｘｂ，ｙｂ）とすると、クラスタ間距離Ｄは、

　　　Ｄ＝｛（ｘａ－ｘｂ）２＋（ｙａ－ｙｂ）２｝１／２　・・・（２）

　となり、Ｄはクラスタの平均座標間のユークリッド距離を表す。
　クラスタ間距離情報Ｒ１３は、図５（ｃ）に示すように、クラスタＣｉとクラスタＣｊの関係でＲＡＭのテーブルに記憶されている。Ｄ（Ｃｉ，Ｃｊ）はクラスタＣｉとクラスタＣｊの間の距離を意味する。なお、Ｄ（Ｃｉ，Ｃｊ）＝Ｄ（Ｃｊ，Ｃｉ）である。
　ステップＳ１５では、クラスタリング部１２は、現在のクラスタ数ｋがＫに等しければステップＳ１６に進み（図４のＹｅｓの場合）、等しくなければステップＳ１７に進む（図４のＮｏの場合）。
　ステップＳ１６では、現在のクラスタ数ｋがＫに等しいので、クラスタリング部１２は、クラスタ所属情報Ｒ１１をクラスタ記憶部２２に記憶し、クラスタリング部１２は、更に各クラスタに所属する写真の撮影場所情報の平均座標を「クラスタ位置」として計算し、クラスタ記憶部２２に記憶する。
　ステップＳ１７では、現在のクラスタ数ｋがＫに等しくないので、クラスタリング部１２は、クラスタ間距離情報Ｒ１３を参照し、クラスタ間距離Ｄの最も小さなクラスタのペアを検索する。クラスタリング部１２は、検索により該当した両クラスタに属する写真を、新たな一つのクラスタに所属させる。
　ステップＳ１８では、クラスタリング部１２は、クラスタ数ｋをｋ＝ｋ－１とし、ステップＳ１２に戻る。
　判定部１３は、クラスタ記憶部２２と地名記憶部２３から、各クラスタに属性ラベルと価値指標を付与する。
　クラスタ記憶部２２は、図６に示すように、クラスタＩＤ、写真ＩＤ、クラスタ位置、地名ＩＤからなるテーブルを記憶している。
　地名記憶部２３は、図７に示すように、地名ＩＤ、地名、地名の属性ラベル、地名の北緯と東経からなる座標、地名の価値指標を有するテーブルを記憶している。ここで「地名」とは、土地の名称に加えて、観光施設名（東京タワー、上野動物園など）、公共施設名（東京駅、羽田空港、国会議事堂など）、自宅、移動中、その他特定の場所を識別できる名称を意味する。また、地名の属性ラベルとは、地名のジャンルを示し、観光地、駅、空港、自宅、移動中などである。なお、「自宅」と「移動中」は、地名であり、かつ、属性ラベルとする。
　この処理の最初の時点では、クラスタ記憶部２２には、地名ＩＤが記憶されておらず、地名記憶部２３には、価値指標が記憶されていない。
　判定部１３は、各クラスタに対して、クラスタ位置からクラスタの場所を特定する。判定部１３は、地名記憶部２３に記憶されている地名の座標と、クラスタ位置の座標を照合し、最もクラスタ位置に近い地名をそのクラスタの地名を求める。すなわち、判定部１３は、クラスタ記憶部２２の各クラスタＩＤに、地名ＩＤを付与する。
　なお、判定部１３は、クラスタから最も近い地名の座標までが、所定の距離よりも大きい場合は観光地などの地名ＩＤを与えず、「移動中」を地名として地名ＩＤを付与する。この距離は、例えばクラスタに含まれる写真間の距離の最大距離の２倍などと定義する。
　地名記憶部２３の「価値指標」は、ユーザにとって、写真を撮影する価値の高い場所ほど値が高くなるように予め設定されている。例えば図７の場合は東京タワーや上野動物園などには属性ラベルとして「観光地」ラベルが付与されており、「観光地」ラベルをもつ地名については、価値指標は２となっている。一方、自宅には「自宅」ラベルが付与されており、価値指標は０となっている。また、「移動中」ラベルを持つ地名「移動中」については、価値指標は０である。
　価値指標は、ソフトウェア起動時やクラスタ化処理開始時など任意のタイミングでユーザが設定できる。例えば、クラスタに付与する属性ラベルとして「観光地」「自宅」「移動中」を考えた場合、それぞれの属性ラベルに対して、ユーザ自身が考える場所の価値を数値で設定できる。
　なお、あるユーザに関して例えば「上野動物園」など特定の場所の思い入れが強い場合は、「上野動物園」という地名をそのまま属性ラベルとして採用し、特に価値指標を高く設定させることも可能である。また、価値指標の初期値としてシステムが場所の一般的な価値指標を保持しておくことで、ユーザは自身で設定することなく、価値指標を利用できる。
　価値指標は、０～１、０～１０、０～１００、－１０～１０など上限と下限を様々に設定できるが、ユーザ価値の低い属性ラベルには小さい指標を、ユーザ価値の高い属性ラベルには大きい指標を設定する。
　判定部１３が、クラスタ記憶部２２と地名記憶部２３から各クラスタに対して価値指標を付与する処理を図８のフローチャートを用いて説明する。図８において、クラスタの添え字をｋとする。
　ステップＳ２１では、判定部１３は、ｋ＝１とする。
　ステップＳ２２では、判定部１３は、クラスタｋのクラスタ位置が、地名記憶部２３の中のいずれかの地名の座標に該当するかどうかを判定する。クラスタ位置が、地名の座標に該当するかどうかは、あるクラスタｋのクラスタ位置Ｌｋと、ある地名ｐの座標Ｌｐの間の距離が一定値ＴｈＬｏｃ以下であれば該当し、ＴｈＬｏｃより大きければ非該当とする。
　ステップＳ２３では、判定部１３は、いずれの地名の座標にも非該当であった場合は、「移動中」の地名ＩＤをクラスタ記憶部２２の地名ＩＤ欄に記憶し、ステップＳ２５に進む。
　ステップＳ２４では、判定部１３は、該当した地名の地名ＩＤをクラスタ記憶部２２の地名ＩＤ欄に記憶し、ステップＳ２４に進む。例えば、ＴｈＬｏｃ＝０．００００１とすると、図６におけるＣ００１は東京タワーに該当することになる。
　ステップＳ２５では、判定部１３は、ｋをインクリメントする。
　ステップＳ２６では、判定部１３は、ｋがＫより大きければ終了し（図８のＹｅｓの場合）、Ｋ以下であればステップＳ２２に戻る（図８のＮｏの場合）。
　図９は、クラスタ記憶部２２内の各クラスタについて、地名ＩＤが特定された状態を示し、クラスタＩＤ、写真ＩＤ、クラスタ位置、地名ＩＤからなる。各クラスタについて地名ＩＤが特定されることで、地名記憶部２３をリンクさせて各クラスタについて価値指標が求められる。
　なお、クラスタ記憶部２２に、各クラスタの価値指標を直接記憶させても構わない。
　選出部１４は、クラスタ記憶部２２と地名記憶部２３から、代表写真を選出し、結果記憶部２４に記憶する。選出部１４が代表写真を選出する処理を、図１０のフローチャートに基づいて説明する。図１０において、クラスタの添え字をｋとする。
　ステップＳ３１では、選出部１４は、ｋ＝１とする。
　ステップＳ３２では、選出部１４は、クラスタｋに所属する写真の中から、クラスタｋの価値指標の値が示す数の代表写真を選出する。例えば、価値指標の値がｍであれば、ｍ枚の代表写真を選出する。すなわち、選出部１４は、価値指標が高い程に、代表写真を多く選出する。
　ステップＳ３３では、選出部１４は、ｋをインクリメントする。
　ステップＳ３４では、選出部１４は、ｋ＞Ｋであれば終了し（図１０のＹｅｓの場合）、ｋ≦ＫであればＳ３２に戻る（図１０のＮｏの場合）。結果記憶部２４は、図１１に示すように、クラスタＩＤと代表写真ＩＤからなるテーブルを記憶している。
　代表写真の選出方法としては、次のような方法がある。
　第１の方法は、選出部１４が、ランダムに代表写真を選出する。
　第２の方法は、選出部１４が、各クラスタ内の写真ＩＤの特定の順番の写真を代表写真として選出する。例えば、選出部１４が、写真ＩＤが最も小さい写真、又は、中央の写真などを代表写真として選出する。
　第３の方法は、選出部１４が、クラスタ位置に最も近い写真撮影場所を持つ写真を代表写真として選出する。
　第４の方法は、選出部１４が、撮影時刻の最も遅い、又は、早い写真を代表写真として選出する。
　第５の方法は、選出部１４が、写真の内容を分析し、最も明るい写真や色数の多い写真を選出する。
　第６の方法は、選出部１４が、写真に写っている物体、風景、人物の顔などの情報を利用して代表写真を選出する。
　代表写真が選出されると、選出部１４は、代表写真からスライドショーを作成してユーザに提示する。選出部１４は、スライドショーを代表写真選出時に作成してメモリ上に保存しておいてもよく、ＨＤＤなどの記憶領域上にデータファイルとして記憶し、選出部１４が、後でスライドショーのみを再生しても構わない。
　基本的なスライドショーの作成方法は、写真ＩＤの小さい順番に一定時間ずつ表示する。選出部１４は、代表写真の出現する順番、タイミング、枚数、表示時間、エフェクト、ＢＧＭ、文字の表示などの組み合わせで様々なスライドショーの表示ができる。
　本実施例によれば、写真に付随するメタデータを用いて、写真をグループ化し、各グループに属する写真の撮影場所情報を利用して各グループに価値指標を付与する。そして、その価値指標に基づき、各クラスタから代表写真を選出できる。そのため、ユーザにとって価値の高い代表写真のみが選出される。
　本発明の実施例２に係る画像処理装置について説明する。
　本実施例の画像処理装置では、判定部１３において、撮影場所情報及び写真撮影時の移動の速さを用いて各クラスタの価値指標を付与する。なお、判定部１３以外の構成は、実施例１の構成と変わらない。
　本実施例における判定部１３は、ユーザが移動中に撮影した写真が属する「移動中」ラベルの属性ラベルについて、写真撮影時の移動速さＶが一定以上であるクラスタについて「移動中」ラベルを付与する。例えば、時刻ｔａ、場所（ｘａ，ｙａ）で撮影された写真Ａと、時刻ｔｂ、場所（ｘｂ，ｙｂ）で撮影された写真Ｂ（ｔａ＜ｔｂ）の２枚の写真を考える。このとき写真Ａを撮影した地点から写真Ｂを撮影した地点まで等速で移動していたと考えると、写真Ｂを撮影した時点の移動の速さＶは

　　　Ｖ＝｛（ｘａ－ｘｂ）２＋（ｙａ－ｙｂ）２｝１／２／（ｔｂ－ｔａ）

　　　　　・・・（３）

　で算出される。
　この移動速さＶが一定値以上であれば、自動車や新幹線などで移動しているときに撮影した写真であると考えられ、そのような写真を含むクラスタに「移動中」ラベルを付与する。
変更例
　画像処理装置は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、画像処理装置の取込部１０、メタデータ取得部１１、クラスタリング部１２、判定部１３、選出部１４は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処理装置は、上記のプログラムをコンピュータに予めインストールすることで実現しても構わないし、ＣＤ－ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現しても構わない。また、データベースである画像記憶部２０、メタデータ記憶部２１、クラスタ記憶部２２、地名記憶部２３、結果記憶部２４は、ＨＤＤ、ＳＳＤなどで実現する。
　また、本発明は、上述の各実施例そのままに限定されるものではなく、その趣旨を逸脱しない範囲で自由に構成要素等を変形、削除して具体化することができる。
１０・・・取込部、１１・・・メタデータ取得部、１２・・・クラスタリング部、１３・・・判定部、１４・・・選出部、２０・・・画像記憶部、２１・・・メタデータ記憶部、２２・・・クラスタ記憶部、２３・・・地名記憶部、２４・・・結果記憶部

Claims (5)

  1. 　複数の静止画像を記憶する画像記憶部と、
    　前記各静止画像のメタデータである撮影場所情報を記憶するメタデータ記憶部と、
    　前記各静止画像を、前記撮影場所情報に対応したクラスタにクラスタリングするクラスタリング部と、
    　クラスタリングの結果を記憶するクラスタ記憶部と、
    　地名、前記地名の属性ラベル、前記地名の位置、ユーザにとって前記地名の場所における撮影価値の高さを示す価値指標を記憶する地名記憶部と、
    　前記クラスタの前記撮影場所情報と前記地名記憶部に記憶した前記地名の位置を照合して、前記クラスタの前記撮影場所情報に対応した前記価値指標を、前記クラスタの価値指標として付与する判定部と、
    　前記クラスタの前記価値指標が高い程に、前記クラスタから選出される前記静止画像の枚数が多くなるように、代表画像を選出する選出部と、
    　前記選出結果を記憶する結果記憶部と、
    　を具備することを特徴とする画像処理装置。
  2. 　前記クラスタリング部は、前記撮影場所情報を用いて前記静止画像をクラスタリングする、
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記静止画像の前記メタデータには、前記静止画像の撮影時刻情報が含まれ、
    　前記クラスタリング部は、前記撮影時刻情報を用いて前記静止画像をクラスタリングする、
    　ことを特徴とする請求項１に記載の画像処理装置。
  4. 　前記判定部は、前記クラスタの前記撮影場所情報に対応する前記地名を求め、前記地名に対応した前記価値指標を、前記クラスタの価値指標として付与する、
    　ことを特徴とする請求項１に記載の画像処理装置。
  5. 　前記判定部は、前記静止画像の撮影時の移動速度を算出し、前記移動速度を用いて、前記静止画像に前記価値指標を付与する、
    　ことを特徴とする請求項１に記載の画像処理装置。
PCT/JP2009/006149 2009-11-17 2009-11-17 画像処理装置 WO2011061782A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/006149 WO2011061782A1 (ja) 2009-11-17 2009-11-17 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/006149 WO2011061782A1 (ja) 2009-11-17 2009-11-17 画像処理装置

Publications (1)

Publication Number Publication Date
WO2011061782A1 true WO2011061782A1 (ja) 2011-05-26

Family

ID=44059286

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006149 WO2011061782A1 (ja) 2009-11-17 2009-11-17 画像処理装置

Country Status (1)

Country Link
WO (1) WO2011061782A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016018247A (ja) * 2014-07-04 2016-02-01 株式会社日立システムズ クラスタリング試行システム及びクラスタリング試行方法
JP7492210B2 (ja) 2020-09-18 2024-05-29 株式会社Spectee 画像処理装置、画像処理方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006172090A (ja) * 2004-12-15 2006-06-29 Fuji Photo Film Co Ltd 代表画像選択装置および方法並びにプログラム
JP2009110288A (ja) * 2007-10-30 2009-05-21 Sony Corp 画像分類装置及び画像分類方法
JP2009265874A (ja) * 2008-04-24 2009-11-12 Nikon Corp 画像のグループ化装置、およびカメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006172090A (ja) * 2004-12-15 2006-06-29 Fuji Photo Film Co Ltd 代表画像選択装置および方法並びにプログラム
JP2009110288A (ja) * 2007-10-30 2009-05-21 Sony Corp 画像分類装置及び画像分類方法
JP2009265874A (ja) * 2008-04-24 2009-11-12 Nikon Corp 画像のグループ化装置、およびカメラ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016018247A (ja) * 2014-07-04 2016-02-01 株式会社日立システムズ クラスタリング試行システム及びクラスタリング試行方法
JP7492210B2 (ja) 2020-09-18 2024-05-29 株式会社Spectee 画像処理装置、画像処理方法及びプログラム

Similar Documents

Publication Publication Date Title
CN104866501B (zh) 电子旅行相册生成方法和系统
JP5520585B2 (ja) 情報処理装置
US8212784B2 (en) Selection and display of media associated with a geographic area based on gesture input
US8447787B2 (en) System and method for geocoding content
US10084828B2 (en) Social-chronographic-geographic media file browsing system and method
US8988456B2 (en) Generating digital media presentation layouts dynamically based on image features
US7904483B2 (en) System and method for presenting geo-located objects
US8094974B2 (en) Picture data management apparatus and picture data management method
US20110235858A1 (en) Grouping Digital Media Items Based on Shared Features
US20060155761A1 (en) Enhanced organization and retrieval of digital images
US20120317114A1 (en) Information processing device, method, and computer program product
EP2695134A2 (en) Event determination from photos
JP2017016388A (ja) 地域アルバム生成サーバ及びその生成方法
US20130232168A1 (en) Presenting a Temporal Sequence of Geographic Location-Specific Digital Data
CN105159976A (zh) 图像文件的处理方法和系统
CN104679879A (zh) 一种照片智能存储方法和装置
JP2011010171A (ja) 画像検索システム、画像検索プログラムおよびサーバ装置
WO2011061782A1 (ja) 画像処理装置
US9465521B1 (en) Event based media interface
US20140372372A1 (en) Systems and methods for collecting information from digital media files
JP6336807B2 (ja) 情報処理装置およびグルーピング方法
JP2011095867A (ja) 見所スポット配信方法および装置
US20150379040A1 (en) Generating automated tours of geographic-location related features
JP5272107B2 (ja) 情報提供装置、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供方法
JP5708868B1 (ja) プログラム、情報処理装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09851409

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09851409

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP