JP5289211B2 - 画像検索システム、画像検索プログラムおよびサーバ装置 - Google Patents

画像検索システム、画像検索プログラムおよびサーバ装置 Download PDF

Info

Publication number
JP5289211B2
JP5289211B2 JP2009153452A JP2009153452A JP5289211B2 JP 5289211 B2 JP5289211 B2 JP 5289211B2 JP 2009153452 A JP2009153452 A JP 2009153452A JP 2009153452 A JP2009153452 A JP 2009153452A JP 5289211 B2 JP5289211 B2 JP 5289211B2
Authority
JP
Japan
Prior art keywords
information
image
landmark
position information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009153452A
Other languages
English (en)
Other versions
JP2011010171A (ja
Inventor
啓一郎 帆足
一則 松本
康弘 滝嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2009153452A priority Critical patent/JP5289211B2/ja
Publication of JP2011010171A publication Critical patent/JP2011010171A/ja
Application granted granted Critical
Publication of JP5289211B2 publication Critical patent/JP5289211B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索システム、画像検索プログラムおよびサーバ装置に関する。
従来から、ユーザが撮影した写真（画像）を整理する技術が知られている。例えば、ユーザが写真を撮影したイベント毎に、フォルダを作成し、ユーザが写真を整理するための情報を付与するソフトウェアがある。また、撮影日時の順番に写真をソートする技術も知られている。
また、顔認識技術を利用した写真整理手法がある。これは、写真に写っている人物の顔を認識することにより、各写真に写っている人物を特定する情報を付与する。この技術では、写真を整理・検索する際に、ユーザが検索を希望する人物名を利用することができる（特許文献１）。
また、撮影場所を利用した写真整理手法がある。これは、ユーザが写真を撮影する際に使用するディジタルカメラまたはカメラ付き携帯電話機のＧＰＳ（Global Positioning System）測位機能を利用することにより、その写真の撮影場所を特定する情報（緯度・経度情報）を付与する。このＧＰＳ情報を利用した写真整理技術としては、以下のものがあげられる。
（１）地図上に写真を配置するもの
写真整理ソフトや、ＷＥＢ（World-Wide Web）上で写真を共有するサービスで、地図上に写真を配置するものがある。
（２）撮影場所の地名を利用して写真整理を行なうもの
写真に付与されている位置情報と、地図を照合することにより、例えば、撮影場所の地名に基づいて写真を整理するソフトウェアがある（特許文献２、特許文献３）。また、例えば、観光名所などの特定の場所に、その場所での撮影対象物に関連する情報を発信する装置を設置し、その装置が発信する情報をディジタルカメラで記録し、ユーザが後で行なう写真整理に利用する技術がある（特許文献４、特許文献５）。
特開２００５−１７４３０８号公報 特開２００５−０３７９９２号公報 特開２００５−１８９９０５号公報 特開２００４−２２１７５３号公報 特開２００５−２１７４７９号公報
しかしながら、ユーザが写真を撮影したイベント毎に、フォルダを作成し、ユーザが写真を整理するための情報を付与する技術では、ユーザが手間をかけて写真を整理するためのフォルダを作成する必要があり、ユーザの負担が大きいという問題がある。また、撮影日時の順番に写真をソートする技術では、撮影日時のみで整理するため、写真の中身、すなわち、撮影対象物に基づく写真の整理や検索は困難である。
また、顔認識技術を利用した写真整理手法では、人物が移っている写真のみが整理・検索の対象となるため、人物以外のものが写っている写真について、人物以外のもので整理・検索することは困難である。
また、上記従来の地図上に写真を配置する技術では、地図上に写真を配置するだけであり、特定の写真を探す場合には利便性が低い。また、撮影場所の地名を利用して写真整理を行なう技術（特許文献２および特許文献３）は、写真を整理する場合、地図上に記載されている情報のみを利用するものであるため、例えば、距離が近い場所で異なる対象物を撮影した写真を細かく整理することが容易ではない。さらに、特許文献４および特許文献５記載の技術では、細かい撮影対象物に基づく写真の整理が可能であるが、撮影場所が限定されてしまうこと、および撮影場所で発信されている情報を受信して写真と一緒に記録する処理を行なう機能がディジタルカメラに搭載されていなければならないことから、改善の余地がある。
本発明は、このような事情に鑑みてなされたものであり、ランドマークの名称などのメタ情報に基づいて画像の分類および検索を行なうことができ、ユーザが撮影した画像の整理および検索の利便性を高めることができる画像検索システム、画像検索プログラムおよびサーバ装置を提供することを目的とする。
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の画像検索システムは、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索システムであって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、ユーザ端末から入力された位置情報付画像の特徴情報を抽出する画像特徴抽出部と、前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、を備えることを特徴としている。
このように、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。例えば、ユーザは、位置情報付き画像を撮影し、システムに出力するだけで、撮影対象物に関する情報を検索することができるので、画像検索の利便性を向上させることが可能となる。
（２）また、本発明の画像検索システムは、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースをさらに備えることを特徴としている。
このように、画像データベースに格納されているランドマークの名称に付与されているメタ情報と、ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、ユーザ端末から入力された位置情報付画像を分類し、また、画像データベースに格納されている情報を検索するので、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
（３）また、本発明の画像検索システムにおいて、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する位置情報クラスタリング部と、前記抽出された位置情報付クラスタを格納するクラスタデータベースと、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴としている。
このように、収集された位置情報付画像群から、位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、抽出された位置情報付クラスタを格納し、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するので、公開されている画像の中から、ユーザにとって意味のある画像を抽出し、その画像に含まれている対象物を推測することができ、その結果、画像検索の利便性を向上させることができる。
（４）また、本発明の検索システムにおいて、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集し、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、前記抽出された位置情報付クラスタを格納し、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴としている。
このように、上記の各構成要素における処理を一定期間毎に実行するので、インターネット上に掲載されている画像の変化・更新に応じたランドマークの推測が可能となる。その結果、例えば、新たなランドマークが建設された場合で、インターネット上に掲載されている情報に更新が発生した場合であっても、その情報をランドマーク推測結果に反映させることが可能となる。
（５）また、本発明の画像検索プログラムは、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索プログラムであって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築する処理と、ユーザ端末から入力された位置情報付画像の特徴情報を抽出する処理と、前記抽出された画像の特徴情報と、前記インターネット上に掲載されている画像から取得した、分類対象となるランドマークに関連する情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する処理と、前記推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する処理と、前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を画像データベースに格納する処理と、の一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴としている。
このように、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。例えば、ユーザは、位置情報付き画像を撮影し、システムに出力するだけで、撮影対象物に関する情報を検索することができるので、画像検索の利便性を向上させることが可能となる。
（６）また、本発明の画像検索プログラムは、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する処理と、前記画像データベースに格納されている情報を検索する処理と、をさらに含むことを特徴としている。
このように、画像データベースに格納されているランドマークの名称に付与されているメタ情報と、ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、ユーザ端末から入力された位置情報付画像を分類し、また、画像データベースに格納されている情報を検索するので、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
（７）また、本発明の画像検索プログラムは、インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、をさらに含むことを特徴としている。
このように、収集された位置情報付画像群から、位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、抽出された位置情報付クラスタを格納し、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するので、公開されている画像の中から、ユーザにとって意味のある画像を抽出し、その画像に含まれている対象物を推測することができ、その結果、画像検索の利便性を向上させることができる。
（８）また、本発明の画像検索プログラムにおいて、インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、の一連の処理を、一定期間毎に実行することを特徴としている。
このように、上記の各処理を一定期間毎に実行するので、インターネット上に掲載されている画像の変化・更新に応じたランドマークの推測が可能となる。その結果、例えば、新たなランドマークが建設された場合で、インターネット上に掲載されている情報に更新が発生した場合であっても、その情報をランドマーク推測結果に反映させることが可能となる。
（９）また、本発明のサーバ装置は、位置情報付画像を分類して記録し、前記記録された画像を検索するサーバ装置であって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、ユーザ端末から取得した位置情報付画像の特徴情報を抽出する画像特徴抽出部と、前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から取得した位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、前記ユーザ端末から取得した位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から取得した位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から取得した位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースと、を備えることを特徴としている。
このように、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
（１０）また、本発明のサーバ装置において、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する位置情報クラスタリング部と、前記抽出された位置情報付クラスタを格納するクラスタデータベースと、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴としている。
このように、収集された位置情報付画像群から、位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、抽出された位置情報付クラスタを格納し、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するので、公開されている画像の中から、ユーザにとって意味のある画像を抽出し、その画像に含まれている対象物を推測することができ、その結果、画像検索の利便性を向上させることができる。
（１１）また、本発明のサーバ装置において、前記ランドマーク情報学習部は、インターネット上に掲載されている画像から、位置情報付画像を収集し、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、前記抽出された位置情報付クラスタを格納し、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴としている。
このように、上記の各構成要素における処理を一定期間毎に実行するので、インターネット上に掲載されている画像の変化・更新に応じたランドマークの推測が可能となる。その結果、例えば、新たなランドマークが建設された場合で、インターネット上に掲載されている情報に更新が発生した場合であっても、その情報をランドマーク推測結果に反映させることが可能となる。
本発明によれば、推測されたランドマークの名称に対して、画像を分類するメタ情報を付与すると共に、ユーザ端末から入力された位置情報付の画像およびメタ情報が付与されたランドマークの名称を画像データベースに格納するので、画像を細かく分類することができ、さらに所望の画像を効率的に検索することが可能となる。その結果、ユーザが撮影した画像の整理および検索の利便性が大きく向上する。
本実施形態に係る画像検索システムの概略構成を示すブロック図である。 ランドマーク情報学習部１０の概略構成を示すブロック図である。 ランドマーク情報学習処理を示すフローチャートである。 ユーザ画像インデキシング処理を示すフローチャートである。 本実施形態における画像分類結果を閲覧するためのインタフェースの一例を示す図である。 検索対象となる画像のサムネール画像を示す図である。 検索条件入力画面を示す図である。
図１は、本実施形態に係る画像検索システムの概略構成を示すブロック図である。本実施形態では、ユーザが携帯端末１（カメラならびにＧＰＳ測位機能付）で撮影した位置情報付き画像（例えば、ディジタルカメラで撮影した写真）を分類し、検索する例について説明する。図１に示すように、本実施形態に係る画像検索システム１１０は、撮影対象ランドマーク推測部１１１、画像特徴抽出部１１２、画像分類用メタ情報付与部１１３、画像分類・検索インタフェース１１４、および画像データベース１１５から構成される。画像検索システム１１０は、主として、これらの５つの要素から構成されており、さらに、ランドマーク情報学習部１０を備えている。また、これらの各構成要素でサーバ装置を構築することも可能である。
ランドマーク情報学習部１０は、ＷＥＢ１００上から、検索ＡＰＩ（Application Program Interface）１０９を介して、分類対象となるランドマークの名称、場所および関連画像情報を収集し、解析して、ユーザの画像の撮影対象となるランドマークを推測するための情報を生成する。
画像特徴抽出部１１２は、ユーザがカメラ付き携帯端末１から画像検索システム１１０に入力した位置情報付画像２から、ランドマークの推測に必要な特徴量を抽出する。画像特徴抽出部１１２で抽出する特徴量は、例えば、画像に付与されている位置情報（緯度、経度）や、画像が静止画である場合、色情報などがある。
撮影対象ランドマーク推測部１１１は、画像特徴抽出部１１２で抽出された画像の特徴と、ランドマーク情報学習部１０によって得られた情報とを照合する。これにより、各画像の撮影対象となっているランドマークの名称を推測する。
画像分類用メタ情報付与部１１３は、撮影対象ランドマーク推測部１１１によって得られた各画像に対するランドマーク推測結果に基づいて、画像を分類および検索するためのめた情報を付与する。
画像データベース１１５は、ユーザのカメラ付き携帯端末１から画像検索システム１１０に入力された位置情報付画像２、および各画像に対するメタ情報を格納する。
画像分類・検索インタフェース１１４は、画像分類用メタ情報付与部１１３において付与されたメタ情報と、例えば、画像の撮影日時などの画像関連情報に基づいて、ユーザのカメラ付き携帯端末１から入力された位置情報付画像２を分類したり、ユーザが希望する画像にすばやくアクセスするための検索を行なったりするための画面をユーザに提示する。
図２は、ランドマーク情報学習部１０の概略構成を示すブロック図である。図２に示すように、ランドマーク情報学習部１０は、位置情報付画像収集部１２０、位置情報クラスタリング部１１、位置情報付画像クラスタデータベース１１ｂ、ランドマーク候補情報収集部１２、ランドマーク関連画像収集部１３、およびランドマーク関連画像データベース１３ａから構成されている。
位置情報付画像収集部１２０は、ＷＥＢ１００を介して、位置情報付画像共有ＷＥＢサイト１２１などで公開されている位置情報付画像を収集する。
位置情報クラスタリング部１１は、位置情報付画像収集部１２０によって収集された画像の位置情報に基づいて、全てのデータをクラスタリングする処理を行なう。クラスタリングの手法としては、例えば、ＤＢＳＣＡＮなどのアルゴリズムを採用することが望ましいが、他のクラスタリング手法の適用も可能とする。クラスタリングにより、観光名所などのＰＯＩ（Point of Interest）を自動的に抽出する。そして、抽出したＰＯＩを位置情報付画像クラスタデータベース１１ｂに格納する。
ランドマーク候補情報収集部１２は、位置情報クラスタリング部１１によって得られたＰＯＩの場所と範囲に基づいて、各ＰＯＩに関連するランドマークの情報を収集する。ランドマーク候補の収集は、個別のクラスタの位置や領域の情報を元に、当該クラスタの範囲内に位置するランドマークの情報を収集することによって行なう。具体的な方法としては、地図情報を参照する他、ＷＥＢ１００上で公開されている検索ＡＰＩ１０１を利用する方法が挙げられる。
なお、以降の説明において、「ランドマーク」とは、いわゆるランドマーク、すなわち、その場所を象徴する建造物や地理名称のみを表す語句ではなく、住所・番地以外に、地図上に記載される全ての情報を示すこととする。
ランドマーク関連画像収集部１３は、ランドマーク候補情報収集部１２によって得られた、個々のクラスタに対するランドマーク候補群に関連する画像のデータを収集する処理を行なう。具体的には、ＷＥＢ１００上の画像検索ＡＰＩ１０２を利用することができる。さらに、得られた画像のデータについて、色情報など、後のランドマーク推測処理で利用する特徴量を抽出し、ランドマーク関連画像データベース１３ａに格納する。
次に、本実施形態に係る画像検索システムの動作について説明する。本実施形態の動作は、大きく分けると、「ランドマーク情報学習処理」と、「ユーザ画像インデキシング処理」の２つの処理に大別される。「ランドマーク情報学習処理」は、ユーザから与えられた画像の撮影対象ランドマークを推測するための情報を、事前に収集・生成する処理である。一方の「ユーザ画像インデキシング処理」は、ユーザから与えられた全ての画像に対応するランドマーク情報を推測し、検索・分類用のメタ情報として画像に付与する処理である。
図３は、ランドマーク情報学習処理を示すフローチャートである。まず、位置情報付画像収集処理では、位置情報が付与された画像を収集する（ステップＳ１）。この処理において、収集する対象となる画像の位置情報の範囲を、予め指定することとする。例えば、本発明のランドマーク推測範囲が日本国内である場合、収集する画像の位置情報（緯度、経度）を、日本国内に限定する。
次に、位置情報付画像クラスタリング処理では、収集された全ての位置情報付画像を対象としたクラスタリング処理を行なう（ステップＳ２）。クラスタリングは、各画像に付与されている位置情報に基づいて行なうこととする。この処理の結果、複数個のクラスタが得られる。なお、この処理では、得られたクラスタを全て分析対象としても良いが、例えば、所属する画像の数に基づいて、選択的に分析の対象とするクラスタを絞り込んでも良い。また、以下の文献において提案されているＤＢＳＣＡＮ手法を利用することにより、画像の分布密度が高いクラスタのみを選択する方法を適用しても良い。ＤＢＳＣＡＮアルゴリズムは、「M. Ester, H.-P. Kriegel, J. Sander, and X. Xu,“A density-based algorithm for discovering clusters in large spatial databases with noise”, in Proceedings from 2nd International Conference on Knowledge Discovery and Data Mining, 1996, pp. 226−230.」に開示されている。なお、本発明は、他のクラスタリング手法の適用も可能である。
すべてのクラスタの処理が終了したかどうかを判断し（ステップＳ３）、すべてのクラスタの処理が終了した場合は、終了する。一方、すべてのクラスタの処理が終了していない場合は、ステップＳ４へ遷移する。
次に、クラスタ関連ランドマーク候補収集処理（ステップＳ４）において、上記の処理によって得られた全てのクラスタの近辺に位置するランドマークの情報を収集する。本処理では、前述の通り、地図情報の参照や、ＷＥＢ上で公開されている地図検索ＡＰＩなどを利用するが、検索のために必要な条件、すなわち、位置情報と検索範囲は、例えば、クラスタの重心を算出し、同クラスタに属する画像のうち、最も重心から離れた位置に分布する画像の距離を検索範囲とする方法などを適用することができる。
次に、クラスタの全ランドマーク候補を収集したかどうかを判断し（ステップＳ５）、クラスタの全ランドマーク候補を収集していない場合は、ステップＳ６へ遷移し、クラスタの全ランドマーク候補を収集した場合は、ステップＳ３へ遷移する。
次に、ランドマーク関連画像収集処理（ステップＳ６）において、上記の処理で得られたクラスタに対するランドマーク候補のそれぞれに関連する画像を、ＷＥＢ上から収集する。本処理では、前述の通り、ＷＥＢ上に公開されている画像検索ＡＰＩを利用する。具体的には、各ランドマーク候補の名称を検索クエリとして、関連する画像を収集する。また、ランドマークの名称によっては、検索結果が発散する可能性があるため、例えば、当該クラスタの位置から得られる住所情報などを検索クエリに追加する方法などを採用することも可能とする。
上記の処理の結果として、各クラスタに対し、複数（１件以上）のランドマーク候補が対応付けられ、さらに、各ランドマーク候補に対し、複数の画像データが得られることとなる。
次に、ランドマーク関連画像特徴抽出処理（ステップＳ７）では、各ランドマークに関連する画像から、ランドマークの推測に利用するための特徴を抽出する。本処理において抽出する特徴量については、例えば、色情報、テクスチャ、エッジなどの特徴量があげられる。この処理を、全てのランドマークに関連する全ての画像に対して行なう。その後、ステップＳ５に遷移する。
なお、上記の説明では、ランドマーク情報学習処理において、ランドマーク情報を推測するための参照用情報を収集するため、位置情報付画像収集処理を一度実行する処理フローになっているが、本処理を、一定期間ごとに実行してもよい。これにより、Ｗｅｂ上の情報の変化に合わせたランドマーク推測の実現が可能になる。この処理を適用することにより、例えば、新たなランドマークが建設された場合でも、その情報をすばやくランドマーク推測結果に反映させることができる。
図４は、ユーザ画像インデキシング処理を示すフローチャートである。本処理では、まず、処理対象の画像に付与されている位置情報を抽出する位置情報抽出処理を行なう（ステップＳ１０）。次に、画像特徴抽出処理により、画像自体の特徴を抽出する（ステップＳ１１）。この処理で抽出する特徴量は、上述したランドマーク情報学習処理において抽出される特徴量と同じものとする。
次に、上記の各処理によって得られた画像の位置情報と特徴量とに基づいて、当該画像に対するランドマーク推測処理を行なう（ステップＳ１１）。まず、当該画像に関連する位置情報クラスタを選択する。具体的には、当該画像から抽出された位置情報と、上述したランドマーク情報学習処理において得られた位置情報クラスタとの距離を算出し、最も距離の近いクラスタを選択する方法や、予め定められた閾値以下のクラスタを全て選択するなどの方法を適用する。そして、当該画像に対するランドマーク推測処理を行なう。以下、本処理について具体的に説明する。
ここで、当該画像に対し、選択された位置情報クラスタをＣとする。クラスタＣには、同クラスタに属する複数の画像データと、上記のクラスタ関連ランドマーク候補収集処理によって得られた複数のランドマーク候補がそれぞれ対応付けられている。以下、クエリ画像をＱｉｍａｇｅ、クラスタＣに対するランドマーク候補群をＣｌａｎｄｍａｒｋと示す。
Figure 0005289211
 ただし、ＬＣｘはＣｌａｎｄｍａｒｋに属するランドマーク候補をそれぞれ示す。Ｃｌａｎｄｍａｒｋに属する個々のランドマークＬＣｘには、上記ランドマーク関連画像収集処理によって収集された画像群が対応付けられている。以下、ランドマークＬＣｘに対する関連画像群を、
Ｌｉｍａｇｅ，Ｃｘと示す。
Figure 0005289211
 次に、Ｑｉｍａｇｅと、Ｃｌａｎｄｍａｒｋに属する個々のランドマークに対する関連画像群Ｌｉｍａｇｅ，Ｃｘのそれぞれに属する画像からの特徴抽出を行なう。画像から抽出する特徴は、カラーヒストグラムやテクスチャ情報など、ベクトル形式のものを想定する。画像ＩＣｉから抽出する特徴を次式で表わす。
Figure 0005289211
 このようにして、クラスタＣに対するランドマーク候補のそれぞれに対応付けされた画像群から抽出された特徴を元に、Ｑｉｍａｇｅと個々のランドマーク候補ＬＣｘとの間の類似度Ｓｉｍ（Ｑｉｍａｇｅ，ＬＣｘ）を算出し、例えば、Ｑｉｍａｇｅとの類似度が最も高いランドマーク候補ＬＣｘを、クエリ画像の撮影対象物として選択する。また、予め定められた閾値を上回る類似度を得たランドマーク候補を全て当該画像に関連するランドマークとして選択する方法を適用する。
次に、当該画像に対するランドマーク推測結果を、当該画像に対するメタ情報として付与する処理を行なう（ステップＳ１４）。付与されたメタ情報は、画像自体の情報と共に、画像データベース１１５に格納する。次に、全ての画像についての上記各処理が終了したかどうかを判断し（ステップＳ１５）、終了していない場合は、ステップＳ１０へ遷移し、終了した場合は、すべての処理を終了する。
次に、図１で示した画像分類・検索インタフェース１１４について説明する。図５は、本実施形態における画像分類結果を閲覧するためのインタフェースの一例を示す図である。図５では、ユーザの画像を表わすサムネール画像を、分類結果に従って表示している。画面上部のタブ内に記載されている「○○○ヒルズ」、「○×タワー」、「△△美術館」は、それぞれ、ユーザ画像に対するメタ情報として、ユーザ画像インデキシング処理によって付与されたランドマークの名称を表わしている。ユーザは、これらのタブをクリックすることにより、選択したタブに該当するメタ情報が付与された画像を閲覧することができる。
図６は、検索対象となる画像のサムネール画像を示す図である。図６において、画像上部の検索ボタンをクリックすることにより、ユーザが検索条件を入力するための画面を表示する。図７は、検索条件入力画面を示す図である。図７に示すように、検索条件の例として、画像の撮影日と、撮影場所の２つの項目がある。このうち、撮影場所については、プルダウンメニュー形式で、ユーザが検索したい画像に付与されているメタ情報（ランドマーク名称）を選択する。各条件の入力・選択が完了した後、「検索実行」ボタンをクリックすることにより、図６に示すような画面において、ユーザが指定した検索条件に合致する画像を閲覧することが可能となる。
なお、以上の説明では、撮影日と撮影場所を検索条件としたインタフェースを示したが、これに時刻を加えても良い。さらに、それ以外の検索条件を利用した複合的な画像検索条件の入力も可能である。また、画像に付与され、検索条件となり得るメタ情報として、上述したランドマークの名称以外にも、例えば、都道府県や市区町村の名称なども利用することができる。
以上説明した本発明の特徴的な動作は、コンピュータにプログラムを実行させることによって実現される。すなわち、本発明の画像検索プログラムは、位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索プログラムであって、インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築する処理と、ユーザ端末から入力された位置情報付の画像の特徴情報を抽出する処理と、前記抽出された画像の特徴情報と、前記インターネット上に掲載されている画像から取得した、分類対象となるランドマークに関連する情報とを照合し、前記ユーザ端末から入力された位置情報付の画像に含まれるランドマークの名称を推測する処理と、前記推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する処理と、前記ユーザ端末から入力された位置情報付の画像および前記メタ情報が付与されたランドマークの名称を画像データベースに格納する処理と、の一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴としている。
また、本発明の画像検索プログラムは、前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する処理と、前記画像データベースに格納されている情報を検索する処理と、をさらに含むことを特徴としている。
また、本発明の画像検索プログラムは、インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、をさらに含むことを特徴としている。
本発明を実施することによって、新しいビジネスモデルを実現することが可能である。すなわち、携帯端末の通信インタフェースを介して、ユーザが画像をサーバ装置にアップロードし、サーバ装置がアップロードされた画像を整理し、整理された画像をユーザの検索指示に応じて提供するというサービスを実現することが可能となる。
１０ ランドマーク情報学習部
１１ 位置情報クラスタリング部
１１ｂ 位置情報付画像クラスタデータベース
１２ ランドマーク候補情報収集部
１３ ランドマーク関連画像収集部
１３ａ ランドマーク関連画像データベース
１１０ 画像検索システム
１１１ 撮影対象ランドマーク推測部
１１２ 画像特徴抽出部
１１３ 画像分類用メタ情報付与部
１１４ 画像分類・検索インタフェース
１１５ 画像データベース
１２０ 位置情報付画像収集部

Claims (8)

  1. 位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索システムであって、
    インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、
    ユーザ端末から入力された位置情報付画像の特徴情報を抽出する画像特徴抽出部と、
    前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、
    前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、
    前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、を備え、
    前記ランドマーク情報学習部は、
    インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、
    前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタとして複数の位置情報および前記複数の位置情報にそれぞれ対応する画像の集合を抽出する位置情報クラスタリング部と、
    前記抽出された位置情報付クラスタを格納するクラスタデータベースと、
    前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、
    前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、
    前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴とする画像検索システム。
  2. 前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースをさらに備えることを特徴とする請求項１記載の画像検索システム。
  3. 前記ランドマーク情報学習部は、
    インターネット上に掲載されている画像から、位置情報付画像を収集し、
    前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出し、
    前記抽出された位置情報付クラスタを格納し、
    前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、
    前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、
    前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴とする請求項１または請求項２記載の画像検索システム。
  4. 位置情報付画像を分類して記録し、前記記録された画像を検索する画像検索プログラムであって、
    インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、
    前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタとして複数の位置情報および前記複数の位置情報にそれぞれ対応する画像の集合を抽出する処理と、
    前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、
    前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、
    前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、
    前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、
    ユーザ端末から入力された位置情報付画像の特徴情報を抽出する処理と、
    前記抽出された画像の特徴情報と、前記インターネット上に掲載されている画像から取得した、分類対象となるランドマークに関連する情報とを照合し、前記ユーザ端末から入力された位置情報付画像に含まれるランドマークの名称を推測する処理と、
    前記推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する処理と、
    前記ユーザ端末から入力された位置情報付画像および前記メタ情報が付与されたランドマークの名称を画像データベースに格納する処理と、の一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴とする画像検索プログラム。
  5. 前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から入力された位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から入力された位置情報付画像を分類する処理と、
    前記画像データベースに格納されている情報を検索する処理と、をさらに含むことを特徴とする請求項４記載の画像検索プログラム。
  6. インターネット上に掲載されている画像から、位置情報付画像を収集する処理と、
    前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタを抽出する処理と、
    前記抽出された位置情報付クラスタをクラスタデータベースに格納する処理と、
    前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、
    前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集する処理と、
    前記収集したランドマーク候補画像をランドマーク関連画像データベースに格納する処理と、の一連の処理を、一定期間毎に実行することを特徴とする請求項４または請求項５記載の画像検索プログラム。
  7. 位置情報付画像を分類して記録し、前記記録された画像を検索するサーバ装置であって、
    インターネット上に掲載されている画像から、分類対象となるランドマークに関連する情報を収集し、前記ランドマークに関連する情報のデータベースを構築するランドマーク情報学習部と、
    ユーザ端末から取得した位置情報付画像の特徴情報を抽出する画像特徴抽出部と、
    前記抽出された画像の特徴情報と、前記ランドマーク情報学習部から取得した情報とを照合し、前記ユーザ端末から取得した位置情報付画像に含まれるランドマークの名称を推測する撮影対象ランドマーク推測部と、
    前記撮影対象ランドマーク推測部によって推測されたランドマークの名称に対して、画像を分類するメタ情報を付与する画像分類用メタ情報付与部と、
    前記ユーザ端末から取得した位置情報付画像および前記メタ情報が付与されたランドマークの名称を格納する画像データベースと、
    前記画像データベースに格納されているランドマークの名称に付与されているメタ情報と、前記ユーザ端末から取得した位置情報付画像に付与されている情報とに基づいて、前記ユーザ端末から取得した位置情報付画像を分類する一方、前記画像データベースに格納されている情報を検索する画像分類・検索インタフェースと、を備え、
    前記ランドマーク情報学習部は、
    インターネット上に掲載されている画像から、位置情報付画像を収集する位置情報付画像収集部と、
    前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタとして複数の位置情報および前記複数の位置情報にそれぞれ対応する画像の集合を抽出する位置情報クラスタリング部と、
    前記抽出された位置情報付クラスタを格納するクラスタデータベースと、
    前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、
    前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集するランドマーク関連画像収集部と、
    前記収集したランドマーク候補画像を格納するランドマーク関連画像データベースと、を備えることを特徴とするサーバ装置。
  8. 前記ランドマーク情報学習部は、
    インターネット上に掲載されている画像から、位置情報付画像を収集し、
    前記収集された位置情報付画像群から、前記位置情報に基づいて、複数の画像からなる位置情報付クラスタとして複数の位置情報および前記複数の位置情報にそれぞれ対応する画像の集合を抽出し、
    前記抽出された位置情報付クラスタを格納し、
    前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、
    前記収集されたランドマーク候補情報に関連する画像をランドマーク候補画像として収集し、
    前記収集したランドマーク候補画像を格納する処理を、一定期間毎に実行することを特徴とする請求項７記載のサーバ装置。
JP2009153452A 2009-06-29 2009-06-29 画像検索システム、画像検索プログラムおよびサーバ装置 Expired - Fee Related JP5289211B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009153452A JP5289211B2 (ja) 2009-06-29 2009-06-29 画像検索システム、画像検索プログラムおよびサーバ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009153452A JP5289211B2 (ja) 2009-06-29 2009-06-29 画像検索システム、画像検索プログラムおよびサーバ装置

Publications (2)

Publication Number Publication Date
JP2011010171A JP2011010171A (ja) 2011-01-13
JP5289211B2 true JP5289211B2 (ja) 2013-09-11

Family

ID=43566286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009153452A Expired - Fee Related JP5289211B2 (ja) 2009-06-29 2009-06-29 画像検索システム、画像検索プログラムおよびサーバ装置

Country Status (1)

Country Link
JP (1) JP5289211B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5678775B2 (ja) * 2011-03-31 2015-03-04 株式会社Ｊｖｃケンウッド 画像処理装置及び画像処理方法
JP6028457B2 (ja) * 2012-08-24 2016-11-16 ソニー株式会社 端末装置、サーバ及びプログラム
CN103514446B (zh) * 2013-10-16 2016-08-24 北京理工大学 一种融合传感器信息的室外场景识别方法
CN105302870A (zh) * 2015-09-30 2016-02-03 百度在线网络技术（北京）有限公司 一种加油站poi自动发现的方法和装置
WO2017146162A1 (ja) 2016-02-26 2017-08-31 日本電気株式会社 画像表示システム、端末、方法およびプログラム
CN109634920A (zh) * 2018-11-19 2019-04-16 北京奇虎科技有限公司 文件整理方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277169A (ja) * 2005-03-29 2006-10-12 Seiko Epson Corp 画像データの管理
JP2007194948A (ja) * 2006-01-19 2007-08-02 Fujifilm Corp 画像編集装置及び画像編集プログラム

Also Published As

Publication number Publication date
JP2011010171A (ja) 2011-01-13

Similar Documents

Publication Publication Date Title
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
US8831352B2 (en) Event determination from photos
JP5318115B2 (ja) 場所別画像分類
JP5801395B2 (ja) シャッタクリックを介する自動的メディア共有
KR100641791B1 (ko) 디지털 데이터에 대한 태깅 방법 및 시스템
JP4457988B2 (ja) 画像管理装置、画像管理方法およびコンピュータプログラム
US10606824B1 (en) Update service in a distributed environment
JP5289211B2 (ja) 画像検索システム、画像検索プログラムおよびサーバ装置
US20170199899A1 (en) Image processing system and image processing method
JP2003298991A (ja) 画像整理方法および装置並びにプログラム
JP2008165701A (ja) 画像処理装置、電子機器、画像処理方法、及び、プログラム
JP4240896B2 (ja) 画像分類システム
US20130343618A1 (en) Searching for Events by Attendants
US11347739B2 (en) Performing a chained search function
JP5782035B2 (ja) 情報処理装置、処理方法、コンピュータプログラム及び集積回路
KR101479260B1 (ko) 사진 기반 인물 친밀도 검색 방법
JP4976036B2 (ja) 画像検索支援装置
JP2009301416A (ja) コンテンツ分類装置、コンテンツ検索装置、コンテンツ検索システム及びコンピュータプログラム
US20110055253A1 (en) Apparatus and methods for integrated management of spatial/geographic contents
KR101563238B1 (ko) 사진 기반 인물 친밀도 구축 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP5384979B2 (ja) コンテンツ検索システムおよびコンテンツ検索プログラム
JP5708868B1 (ja) プログラム、情報処理装置及び方法
Hoashi et al. Constructing a landmark identification system for geo-tagged photographs based on web data analysis
JP5440197B2 (ja) 撮影対象スポットデータベースの構築装置、構築システム、及び構築方法
JP5349004B2 (ja) コンテンツ検索システムおよびコンテンツ検索プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130604

R150 Certificate of patent or registration of utility model

Ref document number: 5289211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees