JP6435049B2 - 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム - Google Patents

画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム Download PDF

Info

Publication number
JP6435049B2
JP6435049B2 JP2017528706A JP2017528706A JP6435049B2 JP 6435049 B2 JP6435049 B2 JP 6435049B2 JP 2017528706 A JP2017528706 A JP 2017528706A JP 2017528706 A JP2017528706 A JP 2017528706A JP 6435049 B2 JP6435049 B2 JP 6435049B2
Authority
JP
Japan
Prior art keywords
feature
image
time
extracted
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017528706A
Other languages
English (en)
Other versions
JPWO2017010514A1 (ja
Inventor
昭悟 木村
昭悟 木村
祥孝 牛久
祥孝 牛久
柏野　邦夫
邦夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2017010514A1 publication Critical patent/JPWO2017010514A1/ja
Application granted granted Critical
Publication of JP6435049B2 publication Critical patent/JP6435049B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラムに関する。
本願は、２０１５年７月１５日に、日本に出願された特願２０１５−１４１６２９号に基づき優先権を主張し、その内容をここに援用する。
Facebook（登録商標）やInstagram（登録商標）、Flickr（登録商標）といった、画像共有機能を有するソーシャルメディアの隆盛により、web上には膨大な画像が存在するようになった。さらにこれらのソーシャルメディアを通じて投稿された画像には、撮影時刻や撮影位置などの補助情報が付随しており、種々の情報に基づいて画像を検索できるようになってきている。たとえばGoogle Map（登録商標）には、実際にその地点で撮影された画像を地図上に並べてみせる機能が実装されている。
ただし消費者のデバイスから発信される情報であるため、時計がずれていたりGPSの精度が低かったりすることによって誤った補助情報が付随してしまっている画像や、プライバシーを守るためにそうした補助情報を非公開として投稿されている画像が大半を占めている。そこで、それらの情報と画像の内容の関係を学習することで画像を検索できるようにする方法が多く提案されている。たとえば非特許文献１では、入力画像に類似した撮影位置情報付き画像を検索し、その後それぞれの撮影位置に基づいて検索順位を更新することで、検索上位に付随する撮影位置情報から入力画像の撮影位置を推定する方法を提案している。
しかしながら、時間情報について同様に画像を検索可能にするシステムや、補助情報としての撮影時刻の欠陥の解決、言い換えれば画像が撮影されない時間帯を多く含むような画像群においても、やはり画像を検索可能にする方法の提案などについては、未だほとんど未着手である。従来のわずかな試みでは、時間に対する画像の複雑な変化を簡略化するために、前もって注目する時間の長さを限定している。非特許文献２では米国の独立記念日のように１日の中で朝から夜までのイベントが共通しやすい日について、時間の経過に応じて代表的な画像の遷移をグラフ構造で表現する方法を提案している。非特許文献３では、数年以上の長い期間で徐々に変化する町並みの様子を時間付き３次元モデルとして表現する方法を提案している。非特許文献４では数ヶ月から数年という中長期の変化で町並みや自然の移り変わりをモデル化しているが、１日の変化などの短周期での変化を破棄し、複雑な変化を簡略しているという意味では同様の技術とみなせる。
X. Li, M. Larson, and A. Hanjalic. Geo-visual Ranking for Location Prediction of Social Images. In ICMR, 2013. G. Kim, L. Sigal, and E. P. Xing. Joint Summarization of Large-scale Collections of Web Images and Videos for Storyline Reconstruction. In CVPR, 2014. G. Schindler, F. Dellaert, and S. B. Kang. Inferring Temporal Order of Images From 3D Structure. In CVPR, 2007. R. Martin-Brualla, D. Gallup, and S. M. Seitz. Time-lapse Mining from Internet Photos. In SIGGRAPH, 2015.
しかしながら、上記の方法では、画像が変化する時間の長さを限定しているため、各地点の画像の多様な時間の長さにおける変化に対応できない、という問題点があった。
本発明は、上記の問題点に鑑みてなされたものであり、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索することができる画像検索装置、方法、及びプログラムを提供することを目的とする。
また、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、画像が撮影された時刻を推定することができる撮影時刻推定装置、方法、及びプログラムを提供することを目的とする。
また、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索するための反復構造を学習することができる反復構造抽出装置、方法、及びプログラムを提供することを目的とする。
本発明の第１の実施態様は、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴を抽出する画像特徴抽出部と、前記複数の画像の各々について、前記画像に付与された撮影時刻から、予め定められた周期に基づいた時間特徴を抽出する時間特徴抽出部と、前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいた前記反復構造を学習する反復構造抽出部と、を含む反復構造抽出装置である。
本発明の第２の実施態様は、上記第１の実施態様の反復構造抽出装置において、前記時間特徴抽出部は、前記画像に付与された撮影時刻から、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴を抽出し、前記反復構造抽出部は、前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴の前記複数の変数から選択された変数と前記画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいた前記反復構造を学習する。
本発明の第３の実施態様は、上記第１又は第２の実施態様の反復構造抽出装置において、前記反復構造抽出部は、同一の前記地点において撮影された前記画像から抽出された前記画像特徴と、同一の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴とに基づいて、前記反復構造を前記地点ごとに学習する。
本発明の第４の実施態様は、上記第１又は第２の実施態様の反復構造抽出装置において、前記反復構造抽出部は、複数の前記地点において撮影された前記画像から抽出された前記画像特徴と、複数の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴と、前記地点及び撮影方角を表す特徴量とに基づいて、前記反復構造を学習し、前記反復構造は、前記画像特徴と前記時間特徴と前記特徴量との間で相互変換を行う。
本発明の第５の実施態様は、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について抽出された画像特徴を記憶する特徴記憶部と、入力された時刻から、予め定められた周期に基づいた時間特徴を抽出する時間特徴抽出部と、前記複数の画像の撮影時刻から抽出された時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定する画像特徴推定部と、前記画像特徴推定部によって推定された画像特徴と、前記特徴記憶部に記憶された前記複数の画像の各々についての画像特徴とに基づいて、前記画像特徴推定部によって推定された画像特徴に類似する画像特徴を有する画像を検索する類似特徴画像検索部と、を含む画像検索装置である。
本発明の第６の実施態様は、第５の実施態様の画像検索装置において、前記時間特徴抽出部は、入力された時刻から、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴を抽出し、前記画像特徴推定部は、前記時間特徴の前記複数の変数から選択された変数と前記画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定する。
本発明の第７の実施態様は、入力された画像から、画像特徴を抽出する画像特徴抽出部と、１つ又は複数の地点で撮影された複数の画像の撮影時刻から抽出された時間特徴であって予め定められた周期に基づいた時間特徴と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する撮影時刻推定部と、を含む撮影時刻推定装置である。
本発明の第８の実施態様は、上記第７の実施態様における撮影時刻推定装置において、前記撮影時刻推定部は、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴から選択された変数と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する。
本発明の第９の実施態様は、画像特徴抽出部と、時間特徴抽出部と、反復構造抽出部とを含む反復構造抽出装置における反復構造抽出方法であって、前記画像特徴抽出部が、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴を抽出し、前記時間特徴抽出部が、前記複数の画像の各々について、前記画像に付与された撮影時刻から、予め定められた周期に基づいた時間特徴を抽出し、前記反復構造抽出部が、前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいた前記反復構造を学習する、反復構造抽出方法である。
本発明の第１０の実施態様は、上記第９の実施態様の反復構造抽出方法において、前記反復構造抽出部は、同一の前記地点において撮影された前記画像から抽出された前記画像特徴と、同一の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴とに基づいて、前記反復構造を前記地点ごとに学習する。
本発明の第１１の実施態様は、上記第９の実施態様の反復構造抽出方法において、前記反復構造抽出部は、複数の前記地点において撮影された前記画像から抽出された前記画像特徴と、複数の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴と、前記地点及び撮影方角を表す特徴量とに基づいて、前記反復構造を学習し、前記反復構造は、前記画像特徴と前記時間特徴と前記特徴量との間で相互変換を行う。
本発明の第１２の実施態様は、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について抽出された画像特徴を記憶する特徴記憶部と、時間特徴抽出部と、画像特徴推定部と、類似特徴画像検索部とを含む画像検索装置における画像検索方法であって、前記時間特徴抽出部は、入力された時刻から、予め定められた周期に基づいた時間特徴を抽出し、前記画像特徴推定部は、前記複数の画像の撮影時刻から抽出された時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定し、前記類似特徴画像検索部は、前記画像特徴推定部によって推定された画像特徴と、前記特徴記憶部に記憶された前記複数の画像の各々についての画像特徴とに基づいて、前記画像特徴推定部によって推定された画像特徴に類似する画像特徴を有する画像を検索する、画像検索方である。
本発明の第１３の実施態様は、画像特徴抽出部と、撮影時刻推定部とを含む撮影時刻推定装置における撮影時刻推定方法であって、前記画像特徴抽出部が、入力された画像から、画像特徴を抽出し、前記撮影時刻推定部が、１つ又は複数の地点で撮影された複数の画像の撮影時刻から抽出された時間特徴であって予め定められた周期に基づいた時間特徴と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する、撮影時刻推定方法である。
本発明の第１４の実施態様は、上記第１から第４の実施態様のいずれかの反復構造抽出装置、上記第５又は第６の実施態様の画像検索装置、あるいは上記第７又は第８の実施態様の撮影時刻推定装置を構成する各部として機能させるためのプログラムである。
以上説明したように、本発明の画像検索装置、方法、及びプログラムによれば、時間特徴と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴との間の周期的な変化の相関に基づいて予め学習された反復構造に基づいて、入力された時刻において撮影される画像の画像特徴を推定し、推定された画像特徴に類似する画像特徴を有する画像を検索することにより、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索することができる。
また、本発明の撮影時刻推定装置、方法、及びプログラムによれば、時間特徴と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴との間の周期的な変化の相関に基づいて予め学習された反復構造に基づいて、入力された画像が撮影された撮影時刻を推定することにより、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、画像が撮影された時刻を推定することができる。
また、本発明の反復構造抽出装置、方法、及びプログラムによれば、特定の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴及び時間特徴を抽出し、時間特徴と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴との間の周期的な変化の相関に基づいて反復構造を学習することにより、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索するための反復構造を学習することができる。
本発明の実施の形態における反復構造抽出装置のブロック図である。 本発明の実施の形態における画像検索装置のブロック図である。 本発明の実施の形態における撮影時刻推定装置のブロック図である。 本発明の実施の形態における反復構造抽出装置の反復構造抽出処理ルーチンを示すフローチャートである。 本発明の実施の形態における画像検索装置の画像検索処理ルーチンを示すフローチャートである。 本発明の実施の形態における撮影時刻推定装置の撮影時刻推定処理ルーチンを示すフローチャートである。 反復構造抽出装置による実験結果を示す図である。 単純な検索による実験結果を示す図である。 画像検索装置による実験結果を示す図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の実施の形態の概要＞
本発明の実施の形態は、ある特定の地点において、時間の経過による画像の変化を自動的に把握する方法に関するものである。この方法により、任意の時刻、とくに画像の存在しない過去、または未来における画像の推定が可能になる。
本発明の実施の形態では、特定の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索する。
特に反復して起こる画像の変化、例えば１日の周期で昼夜に併せて発生する画像の変化などを、予め１日という時間の長さを指定せずとも自動的に抽出し、利用する。反復構造を利用することで、特定の時間にしか撮影された画像が存在しない地点においても、他の時間に撮影された別の画像を再利用して、例えば「ある年月日の夜」の画像を検索しようとした際に「別の年月日の夜」の画像をもっともらしい画像として出力することができる。
＜本発明の実施の形態に係る反復構造抽出装置の構成＞
次に、本発明の実施の形態に係る反復構造抽出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る反復構造抽出装置１０は、ＣＰＵと、ＲＡＭと、後述する反復構造抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この反復構造抽出装置１０は、機能的には図１に示すように、入力部２０と、演算部３０とを備えている。
入力部２０は、特定の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の撮影時刻つき画像を受け付ける。
演算部３０は、撮影時刻つき画像記憶部３２、画像特徴抽出部３４、時間特徴抽出部３６、反復構造抽出部３８、特徴記憶部４０、及び反復構造記憶部４２を備えている。
撮影時刻つき画像記憶部３２は、入力部２０により受け付けた、特定の地点で撮影され、かつ、複数の撮影時刻つき画像を記憶する。
画像特徴抽出部３４は、撮影時刻つき画像記憶部３２に記憶された複数の撮影時刻つき画像から得られる画像データのみを入力とし、画像の時間変化を捉えるための特徴量である画像特徴を画像データごとに抽出し、これらの画像特徴を出力とする。
画像特徴を抽出する方法は特に限定されるものではないが、本実施形態においては、非特許文献４及び５に示す方法を採用する。
［非特許文献４］：Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, and T. Darrell. Caffe: Convolutional architecture for fast feature embedding. arXiv preprint arXiv:1408.5093, 2014.
［非特許文献５］：K. E. van de Sande, T. Gevers, and C. G. Snoek. Evaluating Color Descriptors for Object and Scene Recognition. TPAMI, 32(9):1582-1596, 2010.
時間特徴抽出部３６は、撮影時刻つき画像記憶部３２に記憶された複数の撮影時刻つき画像から得られる時刻データのみを入力とし、時間の経過に伴ってある周期で変動する複数種類の変数の値を並べて時間特徴
とし、この時間特徴を時刻データごとに抽出し、出力する。ある周期で変動する変数の計算方法は特に限定されるものではないが、本実施形態においては、ｎ次のフーリエ級数を利用して時間特徴ｔｎ（θ）を計算する。
ただし、θはベクトル（θ１，θ２，…，θｃ）である。ベクトルθのｃ番目の要素θｃは、周期Ｔｃを利用して
と計算される。ｔは周期を伴わずに一様に増加する時刻であり、時刻データとして与えられる。（ｔ ｍｏｄ Ｔｃ）は、ｔをＴｃで除算したときの剰余を表す。
反復構造抽出部３８は、画像特徴抽出部３４により抽出された画像特徴、及び時間特徴抽出部３６により抽出された時間特徴を入力として、時間特徴の複数種類の変数から選択された変数と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴の選択された変数との間の周期的な変化の相関に基づいた反復構造のモデルを学習する。モデルの学習方法は特に限定されるものではないが、本実施形態においては、反復構造抽出部３８は、画像変化周期抽出部５０と画像特徴学習部５２とを用いてモデルの学習を行う。画像変化周期抽出部５０が、複数の撮影時刻つき画像から抽出された画像特徴と時間特徴から、特徴間の相関が最大化されるように時間特徴の重みベクトルを学習して、時間特徴の変数選択を行うことにより、画像の周期的な変化を抽出する。画像特徴学習部５２が、複数の撮影時刻つき画像から抽出された画像特徴と時間特徴から、特徴間の相関が最大化されるように部分空間を学習することで、時間特徴の選択された変数を説明変数として画像特徴の成分へ回帰させる。反復構造抽出部３８は、画像変化周期抽出部５０及び画像特徴学習部５２の２つの処理を交互に繰り返すことで反復構造のモデルを学習する。
ここで、反復構造を学習する原理について説明する。
撮影時刻つき画像ごとに抽出された画像特徴を表すベクトルを各列にもつ行列を
、撮影時刻つき画像ごとに抽出された時間特徴を表すベクトルを各列にもつ行列を
とする。画像変化周期抽出部５０で学習される、時間特徴の変数選択を行う重みベクトルを
、画像特徴学習部５２で学習される、画像特徴の部分空間を
とすると、画像変化周期抽出部５０及び画像特徴学習部５２の２つの処理はどちらも以下の（１）式の目的関数を最適化する最適化問題を解いていることに該当し、これはｌ１ノルム正則化つき偏最小二乗法に相当する。
ただし、Ｃｏｖは２つの変量の相関を計算する関数であり、τはｌ１ノルム正則化の強さを表すハイパーパラメータである。
は画像特徴の主たる成分である。
は時間特徴の主たる成分である。
そのものは、予め過完備に用意された周期的な関数群に対し、どの周期が画像特徴の主たる成分の変化に最も近い周期で追従されるべきものかを示すベクトルである。
は相関が強い順に複数獲得でき、反復構造抽出部３８は複数次元の部分空間を学習できる。
特徴記憶部４０は、画像特徴抽出部３４によって複数の撮影時刻つき画像から抽出された画像特徴、及び時間特徴抽出部３６によって複数の撮影時刻つき画像から抽出された時間特徴を記憶する。
反復構造記憶部４２は、反復構造抽出部３８によって学習された反復構造を記憶する。具体的には、反復構造記憶部４２は、反復構造抽出部３８によって学習された
を記憶する。
＜本発明の実施の形態に係る画像検索装置の構成＞
次に、本発明の実施の形態に係る画像検索装置の構成について説明する。図２に示すように、本発明の実施の形態に係る画像検索装置６０は、ＣＰＵと、ＲＡＭと、後述する画像検索処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像検索装置６０は、機能的には図２に示すように、入力部７０と、演算部８０と、出力部９４とを備えている。
入力部７０は、時刻の入力を受け付ける。
演算部８０は、時間特徴抽出部８２、反復構造記憶部８４、特徴記憶部８６、画像特徴推定部８８、撮影時刻つき画像記憶部９０、及び類似特徴画像検索部９２を備えている。
時間特徴抽出部８２は、入力部７０により受け付けた時刻から、時間特徴抽出部３６と同様に、時間特徴を抽出し、出力する。
反復構造記憶部８４は、反復構造抽出装置１０の反復構造記憶部４２と同じ反復構造を記憶する。
特徴記憶部８６は、反復構造抽出装置１０の特徴記憶部４０と同じ、複数の撮影時刻つき画像の各々から抽出された画像特徴及び時間特徴を記憶する。
画像特徴推定部８８は、反復構造記憶部８４に記憶された反復構造と、時間特徴抽出部８２によって抽出された時間特徴と、特徴記憶部８６に記憶された画像特徴及び時間特徴とに基づいて、入力された時刻において撮影される画像の画像特徴を推定し、推定された画像特徴を出力する。画像特徴の推定方法は特に限定されるものではないが、本実施形態においては、画像特徴推定部８８は、入力時刻から計算された時間特徴について反復構造から得られる部分空間上での座標を求め、同部分空間内で時間特徴が近傍に位置する撮影時刻つき画像を検索し、それらの画像特徴の平均をもって入力時刻の画像から抽出される画像特徴を推定する。なお、他の推定方法により、入力時刻の画像から抽出される画像特徴を推定してもよい。例えば、画像特徴推定部８８は、特徴記憶部８６に記憶された時間特徴を用いずに、反復構造記憶部８４に記憶された反復構造と、時間特徴抽出部８２によって抽出された時間特徴と、特徴記憶部８６に記憶された画像特徴とに基づいて、入力された時刻において撮影される画像の画像特徴を推定するようにしてもよい。この場合には、画像特徴推定部８８は、特徴記憶部８６に記憶された時間特徴を用いずに入力時刻の画像から抽出される画像特徴を推定できる推定方法を用いればよい。
類似特徴画像検索部９２は、特徴記憶部８６に記憶された画像特徴に基づいて、画像特徴推定部８８によって入力時刻に対して推定された画像特徴に近い画像特徴をもつ画像を、複数の撮影時刻つき画像から検索し、検索された画像のデータを、撮影時刻つき画像記憶部９０から取得し、取得された画像を出力画像として出力する。
＜本発明の実施の形態に係る撮影時刻推定装置の構成＞
次に、本発明の実施の形態に係る撮影時刻推定装置の構成について説明する。図３に示すように、本発明の実施の形態に係る撮影時刻推定装置１００は、ＣＰＵと、ＲＡＭと、後述する撮影時刻推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この撮影時刻推定装置１００は、機能的には図３に示すように、入力部１１０と、演算部１２０と、出力部１３０とを備えている。
入力部１１０は、撮影時刻が不明な、特定の地点で撮影された画像の入力を受け付ける。ここで、特定の地点とは、反復構造抽出装置１０で入力された撮影時刻つき画像の特定の地点と同一である。
演算部１２０は、画像特徴抽出部１２２、反復構造記憶部１２４、特徴記憶部１２６、及び撮影時刻推定部１２８を備えている。
画像特徴抽出部１２２は、入力部１１０により受け付けた画像から、画像特徴抽出部３４と同様に、画像特徴を抽出し、出力する。
反復構造記憶部１２４は、反復構造抽出装置１０の反復構造記憶部４２と同じ反復構造を記憶する。
特徴記憶部１２６は、反復構造抽出装置１０の特徴記憶部４０と同じ、複数の撮影時刻つき画像の各々から抽出された画像特徴を記憶する。
撮影時刻推定部１２８は、反復構造記憶部１２４に記憶された反復構造と、特徴記憶部１２６に記憶された画像特徴とに基づいて、反復構造を利用して、入力された画像の撮影時刻を推定し、出力する。推定方法は特に限定されるものではないが、本実施形態では、撮影時刻推定部１２８は、画像特徴と時間特徴の相関を最大化する部分空間を利用し、部分空間中で、入力画像の画像特徴と近傍に位置する撮影時刻つき画像を検索し、最近傍の画像の撮影時刻、または複数の近傍の画像の撮影時刻を用いて、入力画像の撮影時刻を推定する。なお、他の推定方法により、入力画像の撮影時刻を推定するようにしてもよい。例えば、撮影時刻推定部１２８は、特徴記憶部１２６に記憶された画像特徴を用いずに、反復構造記憶部１２４に記憶された反復構造と、画像特徴抽出部１２２によって抽出された画像特徴とに基づいて、入力画像の撮影時刻を推定するようにしてもよい。この場合には、撮影時刻推定部１２８は、特徴記憶部１２６に記憶された画像特徴を用いずに入力画像の撮影時刻を推定できる推定方法を用いればよい。
＜本発明の実施の形態に係る反復構造抽出装置の作用＞
次に、本発明の実施の形態に係る反復構造抽出装置１０の作用について説明する。反復構造抽出装置１０は、特定の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の撮影時刻つき画像を受け付けると、撮影時刻つき画像記憶部３２に格納する。そして、反復構造抽出装置１０は、図４に示す反復構造抽出処理ルーチンを実行する。
まず、ステップＳ１００では、画像特徴抽出部３４は、複数の撮影時刻つき画像の各々について、当該撮影時刻つき画像の画像データから、画像特徴を抽出し、特徴記憶部４０に格納する。
そして、ステップＳ１０２では、時間特徴抽出部３６は、複数の撮影時刻つき画像の各々について、当該撮影時刻つき画像の時刻データから、時間特徴を抽出し、特徴記憶部４０に格納する。
ステップＳ１０４では、画像変化周期抽出部５０は、上記ステップＳ１００で抽出された画像特徴と、上記ステップＳ１０２で抽出された時間特徴と、画像特徴の部分空間
の初期値又は前回値とに基づいて、学習を行う。具体的には、画像変化周期抽出部５０は、画像特徴の部分空間
の初期値又は前回値に固定した場合に、上記（１）式の目的関数を最適化するように、時間特徴の重みベクトル
を学習する。
ステップＳ１０６では、画像特徴学習部５２は、上記ステップＳ１００で抽出された画像特徴と、上記ステップＳ１０２で抽出された時間特徴と、時間特徴の重みベクトル
の初期値又は前回値とに基づいて、学習を行う。具体的には、画像特徴学習部５２は、時間特徴の重みベクトル
の初期値又は前回値に固定した場合に、上記（１）式の目的関数を最適化するように、画像特徴の部分空間
を学習する。
ステップＳ１０８では、反復構造抽出部３８は予め定められた繰り返し終了条件を満たすか否かを判定する。繰り返し終了条件を満たさない場合には、反復構造抽出部３８はステップＳ１０４へ戻る。一方、繰り返し終了条件を満たす場合には、反復構造抽出部３８は、ステップＳ１１０へ移行し、上記ステップＳ１０４、Ｓ１０６で最終的に学習された
を、反復構造記憶部４２に格納して、反復構造抽出処理ルーチンを終了する。
＜本発明の実施の形態に係る画像検索装置の作用＞
次に、本発明の実施の形態に係る画像検索装置６０の作用について説明する。画像検索装置６０は、時刻の入力を受け付けると、図５に示す画像検索処理ルーチンを実行する。
まず、ステップＳ１２０では、時間特徴抽出部８２は、入力された時刻から、時間特徴を抽出する。
そして、ステップＳ１２２では、画像特徴推定部８８は、反復構造記憶部８４に記憶された反復構造に基づいて、上記ステップＳ１２０で抽出された時間特徴に対応する、部分空間での座標を求め、特徴記憶部８６に記憶された時間特徴に基づいて、上記ステップＳ１２０で抽出された時間特徴と近い画像を検索する。
ステップＳ１２４において、画像特徴推定部８８は、特徴記憶部８６に記憶された画像特徴と、上記ステップＳ１２２で検索された画像とに基づいて、入力された時刻における画像特徴を推定する。
そして、ステップＳ１２６において、類似特徴画像検索部９２は、特徴記憶部８６に記憶された画像特徴と、撮影時刻つき画像記憶部９０に記憶されている画像とに基づいて、上記ステップＳ１２４で推定された画像特徴に近い画像を検索する。
ステップＳ１２８では、上記ステップＳ１２６で検索された画像を、出力部９４により出力して、画像検索処理ルーチンを終了する。
＜本発明の実施の形態に係る撮影時刻推定装置の作用＞
次に、本発明の実施の形態に係る撮影時刻推定装置１００の作用について説明する。撮影時刻推定装置１００は、撮影時刻が不明な、特定の場所で撮影した画像の入力を受け付けると、図６に示す撮影時刻推定処理ルーチンを実行する。
まず、ステップＳ１３０では、画像特徴抽出部１２２は、入力された画像から、画像特徴を抽出する。
そして、ステップＳ１３２では、撮影時刻推定部１２８は、反復構造記憶部８４に記憶された反復構造に基づいて、上記ステップＳ１３０で抽出された画像特徴に対応する、部分空間での座標を求め、特徴記憶部８６に記憶された画像特徴に基づいて、上記ステップＳ１３０で抽出された画像特徴と近い画像を検索する。
ステップＳ１３４において、撮影時刻推定部１２８は、上記ステップＳ１３２で検索された画像の撮影時刻に基づいて、入力された画像における撮影時刻を推定し、出力部１３０により出力して、撮影時刻推定処理ルーチンを終了する。
＜変形例＞
上述した実施の形態における反復構造抽出装置１０は、特定の地点で撮影され、かつ各々異なる時刻に撮影された複数の画像を学習の対象としていた。しかし、学習の対象とする画像を撮影した地点は、特定の一つの地点だけでなく、複数の地点であってもよい。また、各地点において画像が撮影される方角は異なっていてもよい。反復構造抽出装置１０が複数の地点で任意の期間内に撮影された複数の画像を学習の対象とする場合、学習の際に用いる式（１）に代えて、式（２）が用いられる。
式（２）において、Ｎｄは入力する画像の数である。ベクトルｘｎ，ｙｎは、各撮影時刻つき画像から抽出される画像特徴及び時間特徴を示す列ベクトルである。ｄｉａｇ（Ａ）は、行列Ａの対角要素を得る関数である。ｔｒ（Ａ）は、行列Ａの対角要素の総和を算出する関数である。行列Ｘ，Ｙは、ベクトルｘｎ，ｙｎを各列にもつ行列である。射影行列Ｕ，Ｖは、ベクトルｕｒ，ｖｒそれぞれを各行にもつ行列である。また、演算子「○」は、行列に対するアダマール積を表す。行列Ｓは、ベクトルｓｎを各行にもつ行列である。
は、ｎ番目の画像から抽出した画像特徴をｄｒ本の射影軸で構成される射影行列Ｕで投影して得られるｄｒ次元のベクトルである。
は、ｎ番目の画像から抽出した時間特徴をｄｒ本の射影軸で構成される射影行列Ｖで投影して得られるｄｒ次元のベクトルである。
ベクトルｓｎは、式（３）に示すように、例えば画像が撮影された地点と方角とから確定的に定まるベクトルａｎと、地点及び方角それぞれの相関関係を表す行列Ｗとの積により得られる行ベクトルである。ベクトルａｎは、画像が撮影された地点と方角とを表す特徴量である。ベクトルｓｎの各要素の値は、０から１までの値をとる。ベクトルｓｎは、画像が撮影された地点の数と同じ次元数をもつベクトルｌｎと、画像を撮影した際の方角の数と同じ次元数をもつベクトルｐｎとの転置行列積によって得られる。なお、画像を撮影した際の方角が各地点において１つに定まる場合、ベクトルａｎは、（地点数）×（方角数）の要素のうち１つの要素のみが１になるベクトルになる。
画像が撮影された際の方角は、撮影時刻つき画像に付加されているメタ情報から得てもよいし、同一地点において撮影された撮影時刻つき画像に対するｋ−ｍｅａｎｓクラスタリングにより得てもよい。各撮影時刻つき画像を撮影した地点及び方角の相関関係を表す行列Ｗは、射影行列Ｕ，Ｖと同様に式（２）の目的関数の最適化によって得られる行列である。
目的関数の式（２）を最適化する際には、行列Ｕ，Ｖ，Ｗのうち２つの行列を初期値又は前回値に固定して他の１つの行列を更新する処理が、行列Ｕ，Ｖ，Ｗそれぞれに対して順に繰り返される。この繰り返しは、予め定められた終了条件が満たされるまで継続される。終了条件には、例えば更新により生じる行列Ｕ，Ｖ，Ｗの変化量が予め定められた閾値より小さいという条件が用いられる。変化量が閾値未満になると、繰り返しが終了する。
反復構造抽出装置１０は、式（２）を目的関数とした最適化による学習を行うことにより、撮影地点及び方角を表す特徴量と複数の地点で撮影されたＮｄ枚の画像それぞれから抽出された画像特徴と時間特徴との間で相互変換を行うための反復構造であって周期的な変化の相関に基づいた反復構造を得ることができる。反復構造は、行列Ｕ，Ｖ，Ｗとして得られる。
式（２）に基づいて得られる反復構造を用いることにより、画像検索装置６０及び撮影時刻推定装置１００も同様に、複数の地点で撮影された撮影時刻つき画像を対象にした処理を行うことができる。
＜実験例＞
上述した実施形態を検証するために、画像共有サイトのFlickr（登録商標）からFlickr（登録商標）ＡＰＩを利用して取得した清水寺大舞台の撮影時刻つき画像をデータとして用いる実験を行った。２０１４年までに撮影された清水寺の画像を取得し、類似した構図で撮影された大舞台の画像で、主観的判断において撮影時刻が正しいと判断されるものを、手作業で抽出し、計５７０枚の２００２年〜２０１４年の清水寺画像を取得した。
モデル学習では、５分割交差検定を用いた。
図７に反復構造抽出装置１０において抽出された反復構造を示す。画像の散布図は横が画像特徴の主たる成分、縦が撮影時刻であり、上側に行くほど新しい画像であることを意味する。棒グラフは、１時間〜２４時間、１日〜３６５日、２年〜４年、そして元の１次元で表現される時間変数にこの画像特徴の主たる成分が関係する強さ、すなわち相関の絶対値をプロットしたものである。この散布図では２４時間周期の変化に当たる昼夜の変化を反復構造として抽出できている様子が見て取れる。
次に、反復構造抽出装置１０によって抽出された１日及び１年の周期のみを持つ時間特徴について、２００９年から２０１０年までのある１２日の朝、昼、夜を入力時刻としたときに、最終的に画像検索装置６０で出力される画像の例を図８Ｂに示す。方法の比較対象として、図８Ａは、入力時刻に最も近い撮影時刻の画像を検索した場合の例を示している。単純に入力時刻に対して１次元の時間空間上で最も近い時刻に撮影された画像を表示すると、１日の変化をうまく出力できないのに対し、本実施形態の手法では異なる年月日の画像をうまく検索することで、もっともらしい画像を出力できている様子がみてとれる。
以上説明したように、本発明の実施の形態に係る反復構造抽出装置によれば、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴及び時間特徴を抽出し、時間特徴の選択された変数と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴の選択された変数との間の周期的な変化の相関に基づいて反復構造を学習することにより、１つ又は複数の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索するための反復構造を学習することができる。
また、本発明の実施の形態に係る画像検索装置によれば、時間特徴の選択された変数と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴の選択された変数との間の周期的な変化の相関に基づいて予め学習された反復構造に基づいて、入力された時刻において撮影される画像の画像特徴を推定し、推定された画像特徴に類似する画像特徴を有する画像を検索することにより、１つ又は複数の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、任意の時刻について画像を検索することができる。
また、本発明の実施の形態に係る撮影時刻推定装置によれば、時間特徴の選択された変数と画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、画像特徴の成分と時間特徴の選択された変数との間の周期的な変化の相関に基づいて予め学習された反復構造に基づいて、入力された画像が撮影された撮影時刻を推定することにより、１つ又は複数の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、画像が撮影された時刻を推定することができる。
また、本発明の実施の形態では、特に時間的に反復して見られる画像変化に注目し、任意の周期によって画像特徴の成分が変化する反復構造を抽出し、抽出された反復構造に基づいて、画像の変化の周期を時間的にうまく表現できる時間特徴の変数を選択し、画像特徴の成分と時間特徴の変数との関係を学習することにより、所望の時刻の画像特徴を推定でき、推定された画像特徴に基づいて既知の画像を検索し、所望の時刻の画像を表示できる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上記の実施の形態で、反復構造抽出装置、画像検索装置、及び撮影時刻推定装置を別々の装置として構成する場合を例に説明したが、反復構造抽出装置と、画像検索装置又は撮影時刻推定装置とを一つの装置で構成してもよい。
また、反復構造として、時間特徴の選択された変数を説明変数として画像特徴の成分へ回帰させるものを用いる場合を例に説明したが、これに限定されるものではない。時間特徴の選択された変数と画像特徴の成分との間で相互変換が可能な他の写像であってもよい。
また、画像特徴の成分と時間特徴の選択された変数との間の周期的な変化の相関を最大化するように反復構造を抽出する場合を例に説明したが、これに限定されるものではなく、相関の最大化をとらずに反復構造を抽出するようにしてもよい。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な非一時的な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
１つ又は複数の地点で収集された画像群に対して、画像の様々な時間の長さに基づく変化をとらえ、画像を検索するための反復構造を学習したり、任意の時刻についての画像を検索したり、画像が撮影された時刻を推定したりすることが不可欠な用途にも適用できる。
１０ 反復構造抽出装置
２０、７０、１１０ 入力部
３０、８０、１２０ 演算部
３２、９０ 撮影時刻つき画像記憶部
３４、１２２ 画像特徴抽出部
３６、８２ 時間特徴抽出部
３８ 反復構造抽出部
４０、８６、１２６ 特徴記憶部
４２、８４、１２４ 反復構造記憶部
５０ 画像変化周期抽出部
５２ 画像特徴学習部
６０画像検索装置
８８画像特徴推定部
９２類似特徴画像検索部
９４、１３０ 出力部
１００ 撮影時刻推定装置
１２８ 撮影時刻推定部

Claims (14)

  1. １つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴を抽出する画像特徴抽出部と、
    前記複数の画像の各々について、前記画像に付与された撮影時刻から、予め定められた周期に基づいた時間特徴を抽出する時間特徴抽出部と、
    前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいた前記反復構造を学習する反復構造抽出部と、
    を含む反復構造抽出装置。
  2. 前記時間特徴抽出部は、前記画像に付与された撮影時刻から、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴を抽出し、
    前記反復構造抽出部は、前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴の前記複数の変数から選択された変数と前記画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいた前記反復構造を学習する、
    請求項１記載の反復構造抽出装置。
  3. 前記反復構造抽出部は、同一の前記地点において撮影された前記画像から抽出された前記画像特徴と、同一の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴とに基づいて、前記反復構造を前記地点ごとに学習する、
    請求項１記載の反復構造抽出装置。
  4. 前記反復構造抽出部は、複数の前記地点において撮影された前記画像から抽出された前記画像特徴と、複数の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴と、前記地点及び撮影方角を表す特徴量とに基づいて、前記反復構造を学習し、
    前記反復構造は、前記画像特徴と前記時間特徴と前記特徴量との間で相互変換を行う、
    請求項１記載の反復構造抽出装置。
  5. １つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について抽出された画像特徴を記憶する特徴記憶部と、
    入力された時刻から、予め定められた周期に基づいた時間特徴を抽出する時間特徴抽出部と、
    前記複数の画像の撮影時刻から抽出された時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定する画像特徴推定部と、
    前記画像特徴推定部によって推定された画像特徴と、前記特徴記憶部に記憶された前記複数の画像の各々についての画像特徴とに基づいて、前記画像特徴推定部によって推定された画像特徴に類似する画像特徴を有する画像を検索する類似特徴画像検索部と、
    を含む画像検索装置。
  6. 前記時間特徴抽出部は、入力された時刻から、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴を抽出し、
    前記画像特徴推定部は、前記時間特徴の前記複数の変数から選択された変数と前記画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定する、
    請求項５記載の画像検索装置。
  7. 入力された画像から、画像特徴を抽出する画像特徴抽出部と、
    １つ又は複数の地点で撮影された複数の画像の撮影時刻から抽出された時間特徴であって予め定められた周期に基づいた時間特徴と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する撮影時刻推定部と、
    を含む撮影時刻推定装置。
  8. 前記撮影時刻推定部は、複数の異なる前記周期に基づいた複数の変数を含む前記時間特徴から選択された変数と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための前記反復構造であって、かつ、前記画像特徴の成分と前記時間特徴の前記選択された変数との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する、
    請求項７記載の撮影時刻推定装置。
  9. 画像特徴抽出部と、時間特徴抽出部と、反復構造抽出部とを含む反復構造抽出装置における反復構造抽出方法であって、
    前記画像特徴抽出部が、１つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について、画像特徴を抽出し、
    前記時間特徴抽出部が、前記複数の画像の各々について、前記画像に付与された撮影時刻から、予め定められた周期に基づいた時間特徴を抽出し、
    前記反復構造抽出部が、前記画像特徴抽出部によって前記複数の画像の各々について抽出された画像特徴、及び前記時間特徴抽出部によって前記複数の画像の各々について抽出された時間特徴に基づいて、前記時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいた前記反復構造を学習する、
    反復構造抽出方法。
  10. 前記反復構造抽出部は、同一の前記地点において撮影された前記画像から抽出された前記画像特徴と、同一の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴とに基づいて、前記反復構造を前記地点ごとに学習する、
    請求項９記載の反復構造抽出方法。
  11. 前記反復構造抽出部は、複数の前記地点において撮影された前記画像から抽出された前記画像特徴と、複数の前記地点において撮影された前記画像に付与された撮影時刻から抽出された前記時間特徴と、前記地点及び撮影方角を表す特徴量とに基づいて、前記反復構造を学習し、
    前記反復構造は、前記画像特徴と前記時間特徴と前記特徴量との間で相互変換を行う、
    請求項９記載の反復構造抽出方法。
  12. １つ又は複数の地点で撮影され、かつ、各々異なる撮影時刻が付与された複数の画像の各々について抽出された画像特徴を記憶する特徴記憶部と、時間特徴抽出部と、画像特徴推定部と、類似特徴画像検索部とを含む画像検索装置における画像検索方法であって、
    前記時間特徴抽出部は、入力された時刻から、予め定められた周期に基づいた時間特徴を抽出し、
    前記画像特徴推定部は、前記複数の画像の撮影時刻から抽出された時間特徴と前記画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記時間特徴抽出部によって抽出された時間特徴とに基づいて、前記入力された時刻において撮影される画像の画像特徴を推定し、
    前記類似特徴画像検索部は、前記画像特徴推定部によって推定された画像特徴と、前記特徴記憶部に記憶された前記複数の画像の各々についての画像特徴とに基づいて、前記画像特徴推定部によって推定された画像特徴に類似する画像特徴を有する画像を検索する、
    画像検索方法。
  13. 画像特徴抽出部と、撮影時刻推定部とを含む撮影時刻推定装置における撮影時刻推定方法であって、
    前記画像特徴抽出部が、入力された画像から、画像特徴を抽出し、
    前記撮影時刻推定部が、１つ又は複数の地点で撮影された複数の画像の撮影時刻から抽出された時間特徴であって予め定められた周期に基づいた時間特徴と前記複数の画像から抽出された画像特徴の成分との間で相互変換を行うための反復構造であって、かつ、前記画像特徴の成分と前記時間特徴との間の周期的な変化の相関に基づいて予め学習された前記反復構造と、前記画像特徴抽出部によって抽出された画像特徴とに基づいて、前記入力された画像が撮影された撮影時刻を推定する、
    撮影時刻推定方法。
  14. コンピュータを、請求項１記載の反復構造抽出装置、請求項５記載の画像検索装置、又は請求項７記載の撮影時刻推定装置を構成する各部として機能させるためのプログラム。
JP2017528706A 2015-07-15 2016-07-13 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム Active JP6435049B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015141629 2015-07-15
JP2015141629 2015-07-15
PCT/JP2016/070686 WO2017010514A1 (ja) 2015-07-15 2016-07-13 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2017010514A1 JPWO2017010514A1 (ja) 2017-12-14
JP6435049B2 true JP6435049B2 (ja) 2018-12-05

Family

ID=57757212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017528706A Active JP6435049B2 (ja) 2015-07-15 2016-07-13 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム

Country Status (3)

Country Link
US (3) US10580166B2 (ja)
JP (1) JP6435049B2 (ja)
WO (1) WO2017010514A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403531B2 (en) * 2017-07-19 2022-08-02 Disney Enterprises, Inc. Factorized variational autoencoders
US10949702B2 (en) 2019-04-16 2021-03-16 Cognizant Technology Solutions India Pvt. Ltd. System and a method for semantic level image retrieval
JP2021068062A (ja) * 2019-10-18 2021-04-30 富士ゼロックス株式会社 検索条件特定システム、検索システム及びプログラム
US11817081B2 (en) * 2021-03-31 2023-11-14 Nippon Telegraph And Telephone Corporation Learning device, learning method, learning program, retrieval device, retrieval method, and retrieval program

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11308513A (ja) 1998-04-17 1999-11-05 Casio Comput Co Ltd 画像再生装置及び画像再生方法
US7697792B2 (en) * 2003-11-26 2010-04-13 Yesvideo, Inc. Process-response statistical modeling of a visual image for use in determining similarity between visual images
US20060015494A1 (en) * 2003-11-26 2006-01-19 Keating Brett M Use of image similarity in selecting a representative visual image for a group of visual images
JP4894741B2 (ja) * 2007-12-03 2012-03-14 ソニー株式会社 情報処理装置および情報処理方法、プログラム、並びに記録媒体
US8259998B2 (en) * 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
JP5642410B2 (ja) * 2010-03-30 2014-12-17 パナソニック株式会社 顔認識装置及び顔認識方法
JP5604256B2 (ja) 2010-10-19 2014-10-08 日本放送協会 人物動作検出装置およびそのプログラム
WO2012063468A1 (ja) * 2010-11-11 2012-05-18 パナソニック株式会社 画像処理装置、画像処理方法、およびプログラム
CN102714697B (zh) * 2010-11-11 2016-06-22 松下电器（美国）知识产权公司 图像处理装置、图像处理方法及程序
US20130279755A1 (en) * 2010-12-27 2013-10-24 Nec Corporation Information processing system, information processing method, and information processing program
JP2013021635A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
US20130021374A1 (en) 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
JP2013041387A (ja) * 2011-08-15 2013-02-28 Sony Corp 画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラム
US9104946B2 (en) * 2012-10-15 2015-08-11 Canon Kabushiki Kaisha Systems and methods for comparing images
US9936916B2 (en) 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
US10405786B2 (en) 2013-10-09 2019-09-10 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
CN106557765A (zh) * 2015-09-29 2017-04-05 欧姆龙株式会社 注意检测装置以及注意检测方法

Also Published As

Publication number Publication date
US11004239B2 (en) 2021-05-11
US20200118297A1 (en) 2020-04-16
US20180204354A1 (en) 2018-07-19
JPWO2017010514A1 (ja) 2017-12-14
WO2017010514A1 (ja) 2017-01-19
US10580166B2 (en) 2020-03-03
US20200118298A1 (en) 2020-04-16
US10839561B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
CN107358293B (zh) 一种神经网络训练方法及装置
Brust et al. Towards automated visual monitoring of individual gorillas in the wild
JP6813055B2 (ja) 画像処理システム、画像処理方法及びプログラム記憶媒体
JP6435049B2 (ja) 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム
EP3815043A1 (en) Systems and methods for depth estimation via affinity learned with convolutional spatial propagation networks
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN108229347A (zh) 用于人识别的拟吉布斯结构采样的深层置换的方法和装置
EP3531343A2 (en) Method and apparatus for human behavior recognition, and storage medium
CN107610069B (zh) 基于共享k-svd字典的dvs可视化视频去噪方法
CN114418853B (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
US10755146B2 (en) Network architecture for generating a labeled overhead image
CN113177470B (zh) 行人轨迹预测方法、装置、设备及存储介质
JP2011133984A (ja) 動作特徴抽出装置および動作特徴抽出方法
JP5626042B2 (ja) 画像集合における代表画像の検索システム、方法及びプログラム
CN114694185B (zh) 一种跨模态目标重识别方法、装置、设备及介质
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN115346207A (zh) 一种基于实例结构相关性的二维图像中三维目标检测方法
Lin et al. SAN: Scale-aware network for semantic segmentation of high-resolution aerial images
JP7196058B2 (ja) 物体検索装置及び物体検索方法
CN110366029B (zh) 一种视频间插入图像帧的方法、系统及电子设备
CN116958809A (zh) 一种特征库迁移的遥感小样本目标检测方法
CN111291771B (zh) 对池化层特征优化的方法及装置
CN111652246A (zh) 一种基于深度学习的图像自适应稀疏化表征方法及装置
CN116091984B (zh) 视频目标分割方法、装置、电子设备及存储介质
CN115565253B (zh) 一种动态手势实时识别方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181109

R150 Certificate of patent or registration of utility model

Ref document number: 6435049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150