TWI514172B - An animation search device, an animation search method, a recording medium, and a program - Google Patents

An animation search device, an animation search method, a recording medium, and a program Download PDF

Info

Publication number
TWI514172B
TWI514172B TW102102120A TW102102120A TWI514172B TW I514172 B TWI514172 B TW I514172B TW 102102120 A TW102102120 A TW 102102120A TW 102102120 A TW102102120 A TW 102102120A TW I514172 B TWI514172 B TW I514172B
Authority
TW
Taiwan
Prior art keywords
image
frame image
target
drawn
similar
Prior art date
Application number
TW102102120A
Other languages
English (en)
Other versions
TW201333734A (zh
Inventor
Hiromi Hirano
Masahiro Sanjo
Yuta KAWATE
Makoto Okabe
Rikio Onai
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of TW201333734A publication Critical patent/TW201333734A/zh
Application granted granted Critical
Publication of TWI514172B publication Critical patent/TWI514172B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/248—Aligning, centring, orientation detection or correction of the image by interactive preprocessing or interactive shape modelling, e.g. feature points assigned by a user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Description

動畫檢索裝置、動畫檢索方法、記錄媒體及程式
本發明係關於一種動畫檢索裝置、動畫檢索方法、記錄媒體及程式，係使用者可容易地指定應該出現在動態圖像內之對象、其位置或朝向、進而其動作，進行動畫檢索者。
迄今為止，作為辨識描繪於靜態圖像中之對象或其特徵點之技術，有人提出非專利文獻1中揭示之SIFT(Scale Invariant Feature Transformation：尺度不變特徵變換法)或非專利文獻2中揭示之HOG(Histograms of Oriented Gradients：方向梯度直方圖)等。若應用該等之技術，則即使對象旋轉、或放大率不同、或亮度不同之情形，亦可容易地判定描繪於2個靜態圖像中之對象之外觀是否類似。又，藉由在使表示描繪之對象之對象圖像反轉後應用上述之技術，即使描繪對象之鏡像之情形，仍可判斷圖像為類似。
另一方面，作為追蹤動態圖像內之對象之動作之技術，非專利文獻3、4中提出了Particle Video(粒子視訊)。若應用該技術，則可取得現實世界之對象之表面之某部位在包含於動態圖像之各圖框圖像中描繪在哪個位置，且可獲得該描繪位置之移動之軌跡。即，根據本技術，可獲得表示某圖框圖像中之某像素根據時間之前進或倒退如何移動之軌跡。
再者，在專利文獻1中提出有檢索與使用者指定之動態圖像類似之其他之動態圖像之技術。
先前技術文獻 專利文獻
專利文獻1：日本特開2001-134589號公報
非專利文獻1：D. G. Lowe, Object Recognition from Local Scale-Invariant Features, Proceedings of IEEE International Conference on Computer Vision, pp.1150-1157, 1999年
非專利文獻2：N. Dalal and B. Triggs, Histograms of Oriented Gradients for Human Detection, Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.886-893, 2005年
非專利文獻3：Peter Sand and Seth Teller, Particle Video: Long-Range Motion Estimation using Point Trajectories, International Journal of Computer Vision, vol.80，no.1，pp.72-91, Springer, 2008年
非專利文獻4：Dan B.Goldman，Chris Gonterman，Brian Curless, David Salesin and Steven M.Seitz, Video Object Annotation，Navigation，and Composition, UIST 2008, Proc.ACM symposium on User Interface Software and Technology, pp.3-12, ACM 978-1-59593-975-3/08/10, http://www.danbgoldman.com/uw/papers/ivoa.uist08.pdf, 2008年
然而，在動畫檢索時，希望使使用者可容易地指定描繪於動態圖像內之對象之外觀或位置、朝向等之資訊之要求依然較大。
尤其，在已經準備好描繪有期望之對象之靜態圖像之情形下，有希望使用該靜態圖像，可容易地指定該對象出現在動態圖像內時之位置或朝向之要求。
此時，即使為以與描繪於靜態圖像之對象之朝向不同之位置、朝向、以不同之拍攝方向拍攝之對象出現之動態圖像，仍希望可獲得檢索結果之要求亦較強烈。
本發明係解決如上所述般之問題者，其目的在於提供一種可使使用者容易地指定應該出現在動態圖像內之對象、其位置或朝向、進而其動作，進行動畫檢索之動畫檢索裝置、動畫檢索方法、記錄媒體、及程式。
本發明之第1觀點之動畫檢索裝置，其構成為具備：接受部，其接受描繪有參考對象之靜態圖像、包含於該靜態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、包含於動態圖像內之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取部，其基於上述第1參考位置及上述第2參考位置，擷取描繪於上述參考區域內之參考圖像；檢索部，其檢索複數個動態圖像中包含於該動態圖像之圖框圖像、且為描繪有與上述參考圖像類似之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域內、與上述參考區域內之上述第1參考位置與上述第2參考位置對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡、與描繪在上述第2開始位置之第2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像，並將包含該檢索到之類似圖框圖像及該檢索 到之目標圖框圖像之動態圖像作為檢索結果。
又，本發明之動畫檢索裝置，可構成為：上述接受部進而接受包含於上述動態圖像中之圖框圖像內之目標軌跡之輸入；上述檢索部對於上述檢索到接受之動態圖像之各者，自包含於該動態圖像中之目標圖框圖像在時間之前進方向上掃描包含於該檢索到之動態圖像中之圖框圖像，藉此追蹤描繪於該檢索到之目標圖框圖像中之局部圖像之代表像素移動之代表軌跡，並將該目標軌跡與上述代表軌跡類似之動態圖像作為上述檢索結果。
又，本發明之動畫檢索裝置，可構成為：上述檢索部對於上述檢索到之動態圖像之各者，自包含於該動態圖像中之目標圖框圖像在時間之前進方向上掃描包含於該檢索到之動態圖像中之圖框圖像，藉此追蹤描繪於該檢索到之目標圖框圖像中之局部圖像之代表像素移動之代表軌跡，並將該動態圖像之代表軌跡與該動態圖像一起作為上述檢索結果。
又，本發明之動畫檢索裝置，可構成為：上述擷取部取得上述參考圖像之圖像特徵量；上述檢索部藉由檢索具有類似上述參考圖像之上述圖像特徵量之圖像特徵量之圖框圖像，而檢索上述類似圖框圖像。
又，本發明之動畫檢索裝置，可構成為：上述擷取部進而取得將上述參考圖像反轉之鏡像圖像之圖像特徵量；上述檢索部藉由檢索類似上述參考圖像之上述圖像特徵量或上述鏡像圖像之上述圖像特徵量之圖框圖像，而檢索上述類似圖框圖像。
本發明之第2觀點之動畫檢索方法，其構成為具備： 接受步驟，其接受描繪有參考對象之靜態圖像、包含於該靜態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、應包含於動態圖像中之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取步驟，其基於上述第1參考位置及上述第2參考位置，擷取描繪於上述參考區域內之參考圖像；及檢索步驟，其檢索複數個動態圖像中包含於該動態圖像之圖框圖像、且為描繪有與上述參考圖像類似之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域內、與上述參考區域內之上述第1參考位置與上述第2參考位置相對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡、與描繪在上述第2開始位置之第2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像，並將包含該檢索到之類似圖框圖像及該檢索到之目標圖框圖像之動態圖像作為檢索結果。
本發明之第3觀點之電腦可讀取之記錄媒體係構成為記錄使電腦作為如下各部發揮功能之程式者：接受部，其接受描繪有參考對象之靜態圖像、包含於該靜態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、應包含於動態圖像中之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取部，其基於上述第1參考位置及上述第2參考位置，擷取描繪於上述參考區域內之參考圖像；及 檢索部，其檢索複數個動態圖像中包含於該動態圖像中之圖框圖像、且為描繪有與上述參考圖像類似之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域內、與上述參考區域內之上述第1參考位置與上述第2參考位置相對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡、與描繪在上述第2開始位置之第2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像，並將包含該檢索到之類似圖框圖像及該檢索到之目標圖框圖像之動態圖像作為檢索結果。
本發明之第4觀點之程式係構成為使電腦作為如下各部發揮功能：接受部，其接受描繪有參考對象之靜態圖像、包含於該靜態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、應包含於動態圖像中之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取部，其基於上述第1參考位置及上述第2參考位置，擷取描繪於上述參考區域內之參考圖像；檢索部，其檢索複數個動態圖像中包含於該動態圖像之圖框圖像、且為描繪有與上述參考圖像類似之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域內、與上述參考區域內之上述第1參考位置與上述第2參考位置相對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態 圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡與描繪在上述第2開始位置之第2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像，並將包含該檢索到之類似圖框圖像及該檢索到之目標圖框圖像之動態圖像作為檢索結果。
本發明之程式，可記錄於光碟、軟性磁碟、硬碟、磁光碟、數位影音光碟、磁帶、半導體記憶體等之電腦可讀取之非暫態(non-transitory)記錄媒體中。又，該等記錄媒體可與電腦分開配送、販賣。
又，本發明之程式，可以自如上所述般之記錄媒體載入至RAM(Random Access Memory：隨機存取記憶體)等之可利用電腦讀寫之記錄媒體，暫時(temporary)記錄後，CPU(Central Processing Unit：中央處理單元)讀取、解釋並執行記錄於該RAM等之程式之方式構成。
再者，本發明之程式，可與執行程式之電腦分開地經由電腦通訊網等之暫態(transitory)傳輸媒體配送、販賣。
根據本發明，可提供一種可使使用者容易地指定應該出現在動態圖像內之對象、其位置或朝向、進而其動作，進行動畫檢索之動畫檢索裝置、動畫檢索方法、記錄媒體、及程式。
101‧‧‧靜態圖像
102‧‧‧參考對象之汽車
121‧‧‧靜態圖像之全區域
122‧‧‧參考區域
123‧‧‧參考圖像
201‧‧‧圖框圖像
202‧‧‧目標對象之汽車
221‧‧‧圖框圖像之全區域
222‧‧‧目標區域
223‧‧‧目標圖像
301‧‧‧畫面
311‧‧‧參考位置
312‧‧‧參考位置
331‧‧‧動畫圖框
351‧‧‧目標位置
352‧‧‧目標位置
371‧‧‧箭頭
372‧‧‧箭頭
501‧‧‧動畫檢索裝置
502‧‧‧接受部
503‧‧‧擷取部
504‧‧‧檢索部
701‧‧‧參考圖像
801‧‧‧動態圖像
802‧‧‧圖框圖像
803‧‧‧局部圖像
811‧‧‧開始位置
812‧‧‧開始位置
901‧‧‧注目像素
902‧‧‧注目像素
951‧‧‧移動軌跡
952‧‧‧移動軌跡
971‧‧‧參考位置之方向矢量
972‧‧‧目標位置之方向矢量
981‧‧‧代表軌跡
982‧‧‧目標軌跡之箭頭
991‧‧‧概要圖像
圖1A係顯示描繪有參考對象之靜態圖像之例之說明圖。
圖1B係顯示靜態圖像內之參考區域之樣子之說明圖。
圖1C係顯示參考圖像之樣子之說明圖。
圖2A係顯示在包含於動態圖像之圖框圖像內，應該配置目標對 象之位置及朝向之例之說明圖。
圖2B係顯示圖框圖像內之局部區域之樣子之說明圖。
圖2C係顯示局部圖像之樣子之說明圖。
圖3係表示使用者指定參考圖像與目標圖像之對應關係之樣子之說明圖。
圖4係表示使用者指定參考圖像與目標圖像之對應關係之樣子之說明圖。
圖5係顯示本發明之實施例之動畫檢索裝置之概要構成之說明圖。
圖6係顯示本發明之實施例之動畫檢索裝置執行之動畫檢索處理之控制之流程之流程圖。
圖7係顯示根據使用者之指定獲得之參考圖像之樣子之說明圖。
圖8係顯示包含具有與參考圖像類似之局部圖像之圖框圖像之動態圖像之例之說明圖。
圖9係顯示參考圖像與類似圖框圖像之對應關係之說明圖。
圖10係顯示動態圖像之像素之移動之樣子之說明圖。
圖11係顯示動態圖像之像素之移動之軌跡之說明圖。
圖12係顯示參考位置之相對之位置關係與目標位置之相對之位置關係之說明之說明圖。
圖13係顯示參考位置之相對之位置關係與目標位置之相對之位置關係之說明之說明圖。
圖14A係表示代表軌跡之樣子之說明圖。
圖14B係表示概要圖像之樣子之說明圖。
圖15係顯示使用者指定目標軌跡之樣子之說明圖。
圖16係顯示追加於動畫檢索處理之處理之內容之流程圖。
以下說明本發明之實施形態。另，本實施形態係用以說明者，並非限制本申請案發明之範圍者。因此，若為本領域技術人員則可採用該等之各要件或將全部要件置換為與此均等者之實施形態，該等之實施形態亦包含於本發明之範圍。
[實施例1]
本發明之動畫檢索裝置，可藉由在伺服器用電腦或個人電腦等各種電腦中，執行特定之程式而實現。
此處，所謂電腦，為藉由CPU執行程式，將RAM作為暫存區或處理之結果之輸出目的地使用，利用鍵盤或滑鼠等之輸入裝置接受來自使用者之指示，對顯示器等之輸出裝置輸出處理之結果，藉由經由NIC(Network Interface Card：網路介面卡)與其他機器進行通訊而進行上述之輸入輸出之硬體，輸入輸出用之機器亦可適宜省略。
電腦之硬碟等中，除CPU執行之程式之外，記錄有存儲有表現作為CPU之處理對象之各種資訊之記錄之資料庫。CPU進行自資料庫檢索符合檢索查詢之記錄，對資料庫追加新記錄等之處理。
在本實施形態中，資料庫中，除多數動態圖像之外，登錄有將包含於動態圖像中之各圖框圖像作為靜態圖像考慮之情形之局部資訊量。
又，藉由經由專用之連接線或通訊線路、網際網路等之電腦通訊網連接之複數個電腦並行、分散、同時執行上述之處理，亦可謀求本發明之動畫檢索裝置之處理之高速化。
此外，藉由應用FPGA(Field Programmable Gate Array：場可程式化閘陣列)等之技術，根據程式製作電子線路之設計，且藉由基於該設計構成專用之電子電路，亦可實現本發明之動畫檢索裝置。
(動畫檢索之方法)
在本實施形態中，使用者藉由與靜態圖像一起指定各種資訊， 指定希望獲得怎樣之動態圖像。以下首先就該等之資訊之指定方法進行概要說明。
在本實施形態中，使用者指定期望之對象之畫面圖框內之期望之位置及期望之朝向。且，動畫檢索裝置係檢索出現與在期望之位置為期望之朝向之對象(以下稱為「參考對象」。)類似之對象(以下稱為「目標對象」)之動態圖像。
若與文書檢索進行對比考慮，則參考對象相當於作為檢索關鍵字之字元串，目標對象相當於進行檢索之結果、即出現在所獲得之文書中之字元串。
在文書檢索中，除可檢索出現與檢索關鍵字完全一致之字元串之文書之外，還有可檢索出現與檢索關鍵字類似(有拼寫不一或同義詞等各種態樣)之字元串之文書者。即，檢索關鍵字與檢索結果之字元串中出現之字元串未必一致。
同樣地，在本實施形態中，使用者指定描繪於靜態圖像中之參考對象、期望之位置、期望之朝向作為檢索關鍵字。
於是，動畫檢索裝置係檢索與參考對象類似之目標對象以期望之位置、期望之朝向出現之動態圖像者。
為容易理解，以下，作為對象之例，採用汽車進行說明。
首先，使用者例如使用圖像檢索引擎等，取得1張描繪有相當於檢索關鍵字之參考對象之靜態圖像。
圖1A係顯示描繪有參考對象之靜態圖像之例之說明圖。以下，參照本圖進行說明。
如本圖所示，在靜態圖像101內，描繪有作為參考對象之汽車102。在本圖中，汽車朝左橫向地描繪在畫面中央。即，靜態圖像101為藉由自汽車102之駕駛員來看配置於正左側之相機拍攝汽車102而獲得者。
以下，為容易理解，將靜態圖像中描繪有參考對象之區域稱為參考區域，將描繪於該參考區域中之圖像稱為參考圖像。
圖1B係顯示靜態圖像101內之參考區域之情形之說明圖，圖1C係顯示參考圖像之情形之說明圖。以下，參照該等圖進行說明。
在圖1B中，於靜態圖像101之全區域121內，圖示有以虛線包圍之參考區域122。全區域121相當於靜態圖像101整體，參考區域122相當於靜態圖像101內描繪有汽車102(參考對象)之區域。
圖1C中，圖示有自靜態圖像101內僅截取汽車102(參考對象)之外觀之參考圖像123。在本實施形態中，檢索會出現與由參考圖像123表現之參考對象類似之目標對象之動態圖像。
且，如上所述，使用者指定期望之位置及期望之朝向作為檢索關鍵字。以下，說明使用者作為期望之位置指定畫面圖框右上方，作為期望之朝向指定朝向左斜下方之例。
在該例中，認為使用者作為檢索結果希望獲得類似參考對象之目標對象在畫面圖框右上方、朝向左斜下方出現般之動態圖像。
圖2A係顯示在包含於動態圖像之圖框圖像內應該配置目標對象之位置及朝向之例之說明圖。以下，參照本圖進行說明。
在本圖所示之例中，使用者希望檢索之圖框圖像201內，作為目標對象，描繪有類似該汽車102之汽車202(可與汽車102相同)。
即，在本實施形態中，包含出現與描繪於靜態圖像101之參考對象(汽車102)類似之目標對象(汽車202)之圖框圖像201般之動態圖像為檢索結果之候補。
此處，在圖框圖像201內，汽車202在畫面圖框右上方、朝向左斜下方出現。即，期望之動態圖像為自汽車202之駕駛員來看，包含以配置於左斜前方之相機拍攝汽車202之一剎那之動態圖像。
以下，為容易理解，將圖框圖像中描繪有目標對象之區域稱為 局部區域，將描繪於該局部區域中之圖像稱為局部圖像。
圖2B係顯示圖框圖像201內之局部區域之樣子之說明圖，圖2C係顯示局部圖像之樣子之說明圖。以下，參照該等圖進行說明。
圖2B中，圖示有圖框圖像201之全區域221內，以虛線包圍之目標區域222。全區域221相當於圖框圖像201整體，目標區域222相當於圖框圖像201內描繪有汽車202(目標對象)之區域。
圖2C中，圖示有自圖框圖像201內僅擷取汽車202(目標對象)之外觀之目標圖像223。
在本實施形態中，檢索利用參考圖像123表現之參考對象與利用目標圖像223表現之目標對象類似之動態圖像。
然而，由於靜態圖像101為自左橫向拍攝汽車102者，故即使對於參考圖像123實施包含旋轉、反轉、平行移動、放大縮小、透明化等之仿射轉換，仍無法獲得類似目標圖像223之構圖。
在本例中，相對於在靜態圖像101中，幾乎無法看到汽車102之正面，在圖框圖像201中，可清楚看到汽車202之正面。
一般而言，若使用圖像檢索技術，並非不可能獲得出現使用者期望之參考對象之靜態圖像。
然而，其靜態圖像中描繪有參考對象之位置或朝向、參考對象之拍攝方向或角度，保持其狀態，與包含於動態圖像之圖框圖像中描繪有目標對象之位置或朝向、目標對象之拍攝方向或角度一致之情況幾乎不會有。
因此，在本實施形態中，使用者指定靜態圖像101之參考圖像與圖框圖像201之目標圖像之對應關係。
圖3、圖4係表示使用者指定參考圖像與目標圖像之對應關係之樣子之說明圖。以下，參照該等圖進行說明。
在該等之圖所示之例中，畫面301內，顯示有靜態圖像101與表 示應該播放包含圖框圖像201之動態圖像之區域之動畫圖框331。
另，在圖4所示之例中，以進行縮放並收納於動畫圖框331之中央之方式配置靜態圖像101，而在圖3所示之例中，靜態圖像101與動畫圖框331間隔配置。
這是因為一般靜態圖像101與動畫圖框331中縱橫比不同。
此處，使用者進行：(a)在靜態圖像101內，自描繪有汽車102之前端之參考位置311，向動畫圖框331內應該描繪汽車202之前端之目標位置351劃箭頭371之指示；及(b)在靜態圖像101內，自描繪有汽車102之後端之參考位置312，向動畫圖框331內應該描繪汽車202之後端之目標位置352劃箭頭372之指示。如此之指示，例如，藉由使用滑鼠之拖放操作或相對於觸控螢幕或觸控面板之滑動操作(以指尖接觸表面，保持接觸之狀態使指尖移動後，使指尖離開之操作)而進行。
在本實施形態中，使用者藉由指定靜態圖像中描繪有其部位(前端與後端)之參考位置311、312，選擇作為參考對象(汽車102)之標記之部位(前端與後端)。
再者，使用者指定目標對象(汽車202)之對應部位(前端與後端)在動畫圖框331內應該描繪之目標位置351、352。
另，在該等之圖所示之例中，動畫圖框331之縱橫比為9比16，與作為檢索對象之動態圖像大小一致。因此，使用者在動畫圖框331內指定之目標位置351、352，作為直接表示作為目標對象202之汽車202應該出現之位置及朝向者使用。
另一方面，相對於具有不同之縱橫比之動態圖像或縱橫像素數不同之動態圖像，對9比16之動畫圖框331進行縱橫拉伸或縮小從而使之符合其動畫之縱橫。即，作為縱橫比或縱橫像素數不同之動態圖像 之目標位置，並非動畫圖框331內使用者直接指定之目標位置351、352，將該等在上述伸縮中移動後之目的地作為目標位置使用即可。
在本實施形態中，藉由以如此簡易之操作指定包含於動態圖像之圖框圖像中目標對象應該以怎樣之位置或朝向出現，可實現動態圖像之檢索。以下，就動態圖像之檢索技術之詳情，進行說明。
(動畫檢索裝置)
圖5係顯示本發明之實施例之動畫檢索裝置之概要構成之說明圖。圖6係顯示本發明之實施例之動畫檢索裝置執行之動畫檢索處理之控制之流程之流程圖。以下，參照該等之圖進行說明。
本實施形態之動畫檢索裝置501藉由在電腦中執行特定之程式而實現，且具備接受部502、擷取部503、檢索部504。
此處，接受部502，將以下之資訊作為檢索條件，接受輸入(步驟S601)。
(a)靜態圖像101。
(b)靜態圖像101內之參考位置311、312(在本實施形態中為箭頭371、372之起點)
(c)動畫圖框331內之目標位置351、352(在本實施形態中為箭頭371、372之終點)
如上所述，接受部502之功能，藉由在CPU之控制下，顯示器或滑鼠、觸控螢幕或觸控面板相互起作用而實現。
接著，擷取部503，基於參考位置311、312擷取描繪於參考區域內之參考圖像(步驟S602)。
如上所述，在本實施形態中，若描繪有參考對象，使用者則指定靜態圖像101。又，使用者指定在靜態圖像101內，描繪有使用者認為係參考對象之標記之部位之參考位置311、312。
擷取部503，自靜態圖像101與參考位置311、312之資訊，藉由使 用圖像處理技術擷取參考圖像。
圖7係顯示根據圖3、4所示之使用者之指定獲得之參考圖像之樣子之說明圖。以下，參照本圖進行說明。
如本圖所示般，參考圖像701為顯示自某個拍攝方向拍攝之參考對象之外觀者。在本例中，為自其左橫向拍攝汽車101，且自拍攝圖像除去背景者。即，參考區域之外緣，相當於在靜態圖像101中切開參考對象與背景之邊界線。
參考圖像701之擷取，可使用各種圖像辨認技術。例如，進行靜態圖像101之輪廓擷取、區域分割後，選出包含參考位置311、312之區域。且，重複結合被選擇之區域包夾之區域或與選擇之區域鄰接，且平均色之差異較小之區域等，獲得參考區域。此外，亦可使用專利文獻1等中揭示之技術。
由於參考圖像701係自靜態圖像101擷取包含參考位置311、312之參考區域者，故參考位置311、312任一者均包含於參考區域內，且在參考圖像701內，配置於作為參考對象之標記之部位。
擷取部503藉由CPU與記憶有靜態圖像101之像素資訊之RAM等相互作用而實現。
且，檢索部504，對於複數個動態圖像之各個，重複以下之處理(步驟S603)。
首先，檢索作為包含於該動態圖像之圖框圖像、即描繪有類似參考圖像701之局部圖像之圖框圖像(以下稱為「類似圖框圖像」。)，並調查動態圖像中是否包含有類似圖框圖像(步驟S604)。
此處，動態圖像以複數個圖框圖像之時間經過順序之行構成。畫面301內準備之動畫圖框331內，每隔特定之時間間隔(多設為30分之1秒、或60分之1秒)，依序顯示圖框動畫，藉此，實現動態圖像之播放。即，認為圖框圖像係靜態圖像之一種。
在本實施形態中，複數個動態圖像預先記錄於動態圖像資料庫等。各動態圖像中包含有複數個圖框圖像。因此，應用各種圖像類似判定技術、圖像辨識技術，判定各圖框圖像中是否描繪有類似參考圖像701之局部圖像。
圖8係顯示包含具有類似參考圖像701之局部圖像之圖框圖像之動態圖像之例之說明圖。以下，參照本圖進行說明。
如本圖所示，動態圖像801，作為複數個圖框圖像802a、802b、…、802f、…、802i、802j、…之行構成(在本圖中，為容易理解，拉長圖框圖像彼此之時間間隔。即，自一般之動態圖像，對圖框圖像拉長間隔而顯示)。在以下之說明中，在總稱該等複數個圖框圖像之情形下，省略符號之末尾之英文字，稱為「圖框圖像802」。
圖框圖像802中，描繪有類似作為參考對象之汽車102之汽車202。
然而，圖框圖像802a、802b或802i、802j中，由於拍攝方向不同，故圖框圖像802a、802b或802i、802j中，未描繪有類似參考圖像701之圖像。
另一方面，在圖框圖像802f中，描繪有拍攝方向大致相同之汽車202，這相當於局部圖像803。即，局部圖像803與參考圖像701具有相互對應之特徵點，藉由進行使參考圖像701放大縮小、平行移動、旋轉、反轉之轉換，可使局部圖像803與參考圖像701重合。
為自圖框圖像802內檢索類似參考圖像701之圖像，應用各種圖像辨識、圖像檢測、圖案辨識之技術。
例如，對於包含於各動態圖像中之各圖框圖像802，預先計算SIFT或HOG等之局部特徵量，且記錄於資料庫。且，對於參考圖像701亦計算局部特徵量，且自資料庫檢索具有類似該局部特徵量之局部特徵量之圖框圖像802。
另，在將包含於某動態圖像之圖框圖像之局部特徵量登錄於資料庫時，若相互鄰接之圖框圖像802之局部特徵量類似，則適宜拉長間隔而登錄，藉此，可抑制資料量，且可謀求檢索之高速化。
如此，若發現描繪有類似參考圖像701之局部圖像803之類似圖框圖像(在圖示之例中，圖框圖像802f相當於類似圖框圖像)(步驟S604；YES)，則檢索部504調查使參考圖像701重合於局部圖像803時，參考位置311、312位於局部圖像803內之何處(以下，將該位置稱為「開始位置」。)。即，檢索部504，求得在檢索到之類似圖框圖像802f中描繪有局部圖像803之局部區域內，對應參考區域內之參考位置311、312之開始位置(步驟S605)。
圖9係顯示參考圖像701與類似圖框圖像802f之對應關係之說明圖。以下，參照本圖進行說明。
在本圖中，參考圖像701內，在汽車102之前端與後端作為參考位置311、312之標記圖示有黑圈。
另一方面，相當於類似圖框圖像802f之局部圖像803之汽車202內，在汽車202之前端與後端，作為開始位置811、812之標記圖示有黑圈。
參考位置311、312係參考對象(汽車102)中，使用者作為標記選擇之部位在參考圖像701內描繪之位置。
另一方面，目標對象(類似汽車102之汽車202)中，對應參考對象(汽車102)之標記之部位係描繪在局部圖像803內之開始位置811、812。
在類似參考圖像701之局部圖像803之檢測時，以參考圖像701與局部圖像803重疊之方式實施放大縮小、旋轉、反轉等之轉換，相對於參考位置311、312，亦藉由相同地實施該等之轉換，獲得開始位置811、812。
此後，檢索部504追蹤配置於類似圖框圖像802f內之開始位置811、812之像素(以下稱為「注目像素」)在動態圖像801中如何移動，且獲得其移動軌跡。即，檢索部504，自該檢索到之類似圖框圖像在時間之前進方向(圖框圖像802g、802h、802i、802j、…之順序)或倒退方向(圖框圖像802e、802d、802c、802b、…之順序)掃描包含檢索到之類似圖框圖像802f之動態圖像801所包含之圖框圖像802a、802b、…、802i、802j、…，藉此，追蹤該檢索到之類似圖框圖像802f中描繪於開始位置811、812之注目像素藉由描繪於其他之圖框圖像802中而移動之移動軌跡(步驟S606)。
圖10係顯示動態圖像801之像素之移動之樣子之說明圖。以下，參照本圖進行說明。
如本圖所示，類似圖框圖像802f之開始位置811、812上，描繪有注目像素901、902，該等分別係描繪汽車202之前端與後端者。
本圖中，在包含於動態圖像801之圖框圖像802a、802b、…、802f、…、802i、802j、…中，顯示有描繪汽車202之前端與後端之注目像素901、902之位置。在各圖框圖像802a、802b、…、802f、…、802i、802j、…中，在注目像素901、902之符號之末尾，附加對應其圖框圖像802之英文字之註腳。
又，在本圖中，亦圖示有在之後之處理中參考之目標位置351、352。目標位置351、352由使用者在動畫圖框331內指定，藉由以各圖框圖像802恰好進入動畫圖框331內之方式進行縮放等，獲得各圖框圖像802內之目標位置351、352。
如此之注目像素901、902之追蹤，例如，可藉由在使用SIFT或HOG等之技術求得鄰接之圖框圖像802彼此之特徵點之對應關係後，內插對應之特徵點之位置之變化，藉此計算一圖框圖像802之注目像素901、902之位置在另一圖框圖像802中移動至何處而獲得。此外， 藉由應用Particle Video之技術，亦可實現注目像素901、902之追蹤。
另，所謂注目像素901、902之追蹤，未必意味追蹤相同顏色之像素移動之軌跡。即，意味追蹤利用注目像素901、902描繪於圖框圖像802之目標對象之部位在另一圖框圖像802中描繪於何處。因此，根據目標對象之拍攝之狀況等，注目像素901、902之顏色亦會逐漸改變。
如此，自包含於動態圖像801之類似圖框圖像802，在時間之前進方向與倒退方向掃描圖框圖像802，追蹤注目像素901、902在各圖框圖像802中位於何處。於是，獲得注目像素901、902之各者之移動軌跡。
圖11係顯示動態圖像801之注目像素901、902之移動軌跡之說明圖。以下，參照本圖進行說明。
如本圖所示，在動態圖像801中，注目像素901、902係隨著時間經過，描繪出自畫面右上方(圖框圖像802a)向畫面左下方(圖框圖像802j以後)平滑地移動之移動軌跡951、952。移動軌跡951、952分別通過類似圖框圖像802f之開始位置811、812。
檢索部504，沿著時間之經過追蹤該等之移動軌跡951、952，檢索該等同時到達目標位置351、352之附近之圖框圖像(以下稱為「目標圖框圖像」。)802，並調查動態圖像801是否包含目標圖框圖像(步驟S607)。
若回到圖10，將各圖框圖像802之注目像素901、902之位置與目標位置351、352進行對比，則可知在圖框圖像802b中，該等位於附近。因此，在本例中，檢索之結果，作為目標圖框圖像發現圖框圖像802b。
如此，一發現目標圖框圖像(步驟S607；YES)，就將該動態圖像801作為檢索結果輸出(步驟S608)。
且，對於登錄於資料庫之全部之動態圖像801，重複步驟S603以後之處理(步驟S609)，若對全部實施處理，則結束本處理。
另，作為步驟S608之檢索結果之輸出，可直接輸出至顯示器等之畫面而顯示，且每次發現期望之動態圖像時依次在畫面中追加顯示檢索結果。此外，在步驟S608中，將檢索結果暫時輸出並存儲於RAM等，步驟S603~步驟S609之重複結束後，可統一顯示於顯示器等之畫面中。
另一方面，未發現類似圖框圖像之情形(步驟S604；NO)，或未發現目標圖框圖像之情形(步驟S607；NO)，直接前進至步驟S609。因此，該動態圖像801不會成為檢索結果。
如此，在本實施形態中，即使在靜態圖像101中描繪參考對象時之構圖與在動態圖像801中出現目標對象時之構圖完全不同之情形，使用者只要輸入作為靜態圖像101之標記之參考位置311、312與該等之動畫圖框331中之目標位置351、352之對應關係，便可容易地進行動畫之檢索。
尤其，在本實施形態中，由於利用2維之圖像處理執行檢索，故可簡易且高速地實現動畫檢索。
[實施例2]
現在，以SIFT等之圖像辨識技術，即使局部圖像803相對於參考圖像701旋轉30度左右仍可判定為類似。然而，旋轉角度超過此之情形、或反轉而相互成為鏡像關係之情形下，有時會無法檢測。
在如此之情形下，除參考圖像701之局部特徵量以外，並準備將參考圖像701反轉之鏡像圖像，亦求得該鏡像圖像之局部特徵量，且自資料庫中檢索具有類似該等2個局部特徵量之任一者之局部特徵量之圖框圖像802即可。
在類似圖框圖像之檢索中，雖可始終使用參考圖像701與其鏡像 圖像之雙方，但亦可選擇性使用參考圖像701與鏡像圖像之任意一方。
例如，可使用參考位置311、312之相對之位置關係與目標位置351、352之相對之位置關係。
圖12、13係顯示參考位置311、312之相對之位置關係與目標位置351、352之相對之位置關係之說明之說明圖。以下，參照該等之圖進行說明。
在該等之圖中，圖示有自參考位置311向參考位置312之方向矢量971與自目標位置351向目標位置352之方向矢量972。
圖12所示之例為參照圖3(及圖4)中揭示之例者，方向矢量971、972呈銳角。在如此之情形下，在類似圖框圖像之檢索中，使用參考圖像701。
另一方面，在圖13所示之例中，以置換靜態圖像101之朝左橫向之汽車102之參考位置311、312之前端與後端之方式，指定目標位置351、352，並欲檢索右邊稍微朝上之汽車202出現之動態圖像。
因此，方向矢量971、972呈鈍角。在如此之情形下，在類似圖框圖像之檢索中，使用鏡像圖像。
此外，亦有以若方向矢量971、972所成之角為60度以下，則使用參考圖像701，若方向矢量971、972所成之角為120度以上，則使用鏡像圖像，若方向矢量971、972所成之角超過60度不到120度，則使用參考圖像701與鏡像圖像之雙方等之方式決定作為適宜邊界之角度之方法。
該等之方法，在動畫拍攝之情形下，水平方向之反轉較垂直方向之反轉更一般，又，為基於使用者希望檢索之啟發法者，可謀求動畫檢索之高速化。
[實施例3]
若根據利用上述實施例獲得之資訊，播放檢索到之動態圖像801，則可求得目標對象202自身移動之軌跡(以下稱為「代表軌跡」。)。
例如，求得各圖框圖像802中，描繪有目標對象202之區域，且將其中心點(區域之重心)之像素作為代表像素。且，藉由追蹤代表像素，可作為目標對象202在動態圖像801中移動之代表軌跡。
此外，作為利用更簡易之計算之方法，亦有在各圖框圖像802中，將注目像素901、902之中點之位置之像素作為代表像素之方法。
圖14A係相對於圖11所示之例，表示代表軌跡之樣子之說明圖。以下，參照本圖進行說明。
如本圖所示，代表軌跡981通過各圖框圖像802之注目像素901、902之中點980。因此，代表軌跡981為將注目像素901、902之移動之移動軌跡951、952平均化者。
在本實施形態之動畫檢索裝置501中，使用者檢索類似參考對象102之目標對象202以使用者期望之位置、姿勢出現之動態圖像801。
因此，在本實施形態中，與檢索到之動態圖像801一起，將代表軌跡981作為檢索結果輸出。
圖14B係顯示用以說明動態圖像801與代表軌跡981作為檢索結果輸出之情形之該動態圖像801之概要之概要圖像之樣子之說明圖。以下，參照本圖進行說明。
如本圖所示，概要圖像991為對於檢索結果之動態圖像801中，類似參考對象102之目標對象202以使用者期望之位置、姿勢出現之圖框圖像802b，以箭頭之形狀重疊描繪代表軌跡981者。
概要圖像991，可作為一覽顯示檢索結果之動態圖像時之縮略圖像等使用，且藉由將代表軌跡981作為檢索結果顯示，可向使用者提供關於獲得之動態圖像801之更詳細之資訊。
[實施例4]
在上述實施例中，雖將目標對象202移動之代表軌跡981作為檢索結果輸出，但在本實施形態中，讓使用者輸入目標對象202應該移動之軌跡(以下稱為「目標軌跡」。)，將代表軌跡981類似目標軌跡之動態圖像作為檢索結果。
即，在本實施形態中，接受部502，除上述之資訊以外，進而接受包含於動態圖像之圖框圖像內之目標軌跡之輸入。
圖15係顯示圖3所示之輸入例中，使用者進而指定目標軌跡之樣子之說明圖。以下，參照本圖進行說明。
如本圖所示，使用者，除箭頭371、372以外，在動畫圖框331內，輸入自目標位置351、352之附近開始之箭頭982。該箭頭982為使用者輸入之目標軌跡。
在本實施形態中，動態圖像801中，發現目標圖框圖像802b後(步驟S607；YES)，執行以下之處理。
圖16係顯示在圖6所示之流程圖中，追加於動畫檢索處理之處理之內容之部份流程圖。以下，參照本圖進行說明。
如本圖所示，若發現目標圖框圖像802b(步驟S607；Yes)，則檢索部504自目標圖框圖像802b以時間經過順序追蹤圖框圖像802，取得代表軌跡981(步驟S621)。
且，判定獲得之代表軌跡981與使用者利用箭頭982指定之目標軌跡是否類似(步驟S622)。
此處，代表軌跡981與目標軌跡之類似之判定之最簡單之方法，如下所述。即，在自代表軌跡981之開始點向結束點之朝向與自目標軌跡之開始點向結束點之朝向所成之角度之差為特定之臨限值以下之情形下，判定為兩者類似，若超過特定之臨限值，則判定為兩者不類似者。此外，可應用各種曲線之類似判定技術。
代表軌跡981與目標軌跡類似之情形(步驟S622；Yes)，前進至步驟S608，將該動態圖像作為檢索結果輸出。
另一方面，代表軌跡981與目標軌跡不類似之情形(步驟S622；No)，前進至步驟S609，將其他之動態圖像作為處理對象重複處理。
根據本發明，使用者可容易地指定目標對象在動畫圖框331內，以何位置、何朝向配置，自該位置朝何方向移動，從而可容易且高速地執行動畫檢索。
另，在上述實施例中，作為動態圖像801，雖以藉由以相機拍攝現實世界而獲得者為例，但對於利用電腦圖形生成自虛擬視點觀察虛擬世界之樣子之動態圖像，或藉由利用手工作業等1張張製作圖框圖像並進行排列而獲得之動畫動態圖像等任意之動態圖像亦可應用相同方法。
[實施例5]
在上述實施形態中，雖藉由箭頭371、372之輸入，指定參考位置311、312以及目標位置351、352，但亦可使用使用者描繪箭頭371、372時可使用之其他之參數。
例如，在使用可檢測使用者之按壓之強度之觸控面板或滑鼠、控制器等之情形下，根據描繪箭頭371、372時之使用者之按壓之強度，可使目標位置351、352附近之大小改變。
在該態樣中，圖3、圖4所示之輸入例中，以若使用者之按壓力較強，則較粗地描繪箭頭371、372，若使用者之按壓力較弱，則較細地描繪箭頭371、372之方式，進行畫面301之顯示設定。
且，根據使用者之按壓之強度，即箭頭371、372之粗細，決定是否為目標位置之附近之臨限值之大小。
根據本實施形態，可利用簡易之操作實現動態圖像之檢索條件之詳細之指定。
此外，如圖3所示，在動畫圖框331顯示於與靜態圖像101不同之位置之情形下，可在動畫圖框331內提示各種資訊。
為在動畫圖框331內之各位置分別統計登錄於資料庫之全部之動態圖像801之圖框圖像802之局部資訊量，且將統計結果之各位置之分布，在動畫圖框331內進行畫面顯示之方法。
一般而言，在局部資訊量為純量值之情形下，其值越大則越大，預想該部位為對人而言越容易看到之特徵之部位。
又，在局部資訊量為矢量值之情形下，其長度越長則越長，預想該部位為特徵。
因此，藉由將局部資訊量之總和純量化，可獲得動畫圖框331內之各位置在全動態圖像之平均中為何種程度特徵。
因此，根據該方法，使用者容易地進行將何位置作為目標位置可獲得更適切之檢索結果等之預測。
另，在本申請案中，為主張2012年1月20日向日本國申請之專利申請案特願2012-010492為基礎申請案之優先權者，且為只要指定國之法令允許，就將該基礎申請案之內容全部併入本申請案中者。
產業上之可利用性
根據本發明，可提供一種使用者可容易地指定應該出現在動態圖像內之對象、其位置或朝向、進而其動作，進行動畫檢索之動畫檢索裝置、動畫檢索方法、記錄媒體、及程式。
501‧‧‧動畫檢索裝置
502‧‧‧接受部
503‧‧‧擷取部
504‧‧‧檢索部

Claims (12)

  1. 一種動畫檢索裝置，其特徵為包含：接受部，其接受描繪有參考對象之靜態圖像、包含於該靜態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、包含於動態圖像之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取部，其基於上述第1參考位置及上述第2參考位置，擷取描繪於上述參考區域內之參考圖像；及檢索部，其檢索包含於動態圖像之圖框圖像、且為描繪有類似上述參考圖像之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域內、與上述參考區域內之上述第1參考位置與上述第2參考位置相對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡、與描繪在上述第2開始位置之第2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像，並將包含該檢索到之類似圖框圖像及該檢索到之目標圖框圖像之動態圖像作為檢索結果。
  2. 如請求項1之動畫檢索裝置，其中上述接受部進而接受包含於上述動態圖像之圖框圖像內之 目標軌跡之輸入；上述檢索部對於上述檢索到之動態圖像之各者，自包含於該動態圖像中之目標圖框圖像在時間之前進方向上掃描包含於該檢索到之動態圖像中之圖框圖像，藉此追蹤描繪於該檢索到之目標圖框圖像中之局部圖像之代表像素移動之代表軌跡，並將該目標軌跡與上述代表軌跡類似之動態圖像作為上述檢索結果。
  3. 如請求項1之動畫檢索裝置，其中上述檢索部對於上述檢索到之動態圖像之各者，自包含於該動態圖像中之目標圖框圖像在時間之前進方向上掃描包含於該檢索到之動態圖像中之圖框圖像，藉此追蹤描繪於該檢索到之目標圖框圖像中之局部圖像之代表像素移動之代表軌跡，並將該動態圖像之代表軌跡與該動態圖像一起作為上述檢索結果。
  4. 如請求項1至3中任一項之動畫檢索裝置，其中上述擷取部取得上述參考圖像之圖像特徵量；上述檢索部藉由檢索具有類似上述參考圖像之上述圖像特徵量之圖像特徵量之圖框圖像，而檢索上述類似圖框圖像。
  5. 如請求項4之動畫檢索裝置，其中上述擷取部進而取得將上述參考圖像反轉之鏡像圖像之圖像特徵量；上述檢索部藉由檢索類似上述參考圖像之上述圖像特徵量或上述鏡像圖像之上述圖像特徵量之圖框圖像，而檢索上述類似圖框圖像。
  6. 一種動畫檢索方法，其係於動畫檢索裝置執行者，該動書檢 索裝置包含接受部、擷取部及檢索部，該動畫檢索方法之特徵為包含：接受步驟，上述接受部接受描繪有參考對象之靜態圖像、包含於該靜態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、應包含於動態圖像中之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取步驟，上述擷取部基於上述第1參考位置及上述第2參考位置，擷取描繪於上述參考區域內之參考圖像；及檢索步驟，上述檢索部檢索包含於動態圖像之圖框圖像、且為描繪有類似上述參考圖像之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域內、與上述參考區域內之上述第1參考位置與上述第2參考位置相對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡、與描繪在上述第2開始位置之第2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像，並將包含該檢索到之類似圖框圖像及該檢索到之目標圖框圖像之動態圖像作為檢索結果。
  7. 一種記錄有程式之非暫態電腦可讀取之記錄媒體，其特徵為上述程式係使電腦作為如下各部發揮功能：接受部，其接受描繪有參考對象之靜態圖像、包含於該靜 態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、應包含於動態圖像之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取部，其基於上述第1參考位置及上述第2參考位置，擷取描繪於上述參考區域內之參考圖像；檢索部，其檢索包含於動態圖像之圖框圖像、且為描繪有類似上述參考圖像之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域內、與上述參考區域內之上述第1參考位置與上述第2參考位置相對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡、與描繪在上述第2開始位置之第2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像，並將包含該檢索到之類似圖框圖像及該檢索到之目標圖框圖像之動態圖像作為檢索結果。
  8. 一種程式，其特徵為使電腦作為如下各部發揮功能：接受部，其接受描繪有參考對象之靜態圖像、包含於該靜態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、應包含於動態圖像之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取部，其基於上述第1參考位置及上述第2參考位置，擷 取描繪於上述參考區域內之參考圖像；檢索部，其檢索包含於動態圖像之圖框圖像、且為描繪有類似上述參考圖像之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域內、與上述參考區域內之上述第1參考位置與上述第2參考位置相對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡、與描繪在上述第2開始位置之第2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像，並將包含該檢索到之類似圖框圖像及該檢索到之目標圖框圖像之動態圖像作為檢索結果。
  9. 一種動畫檢索裝置，其特徵為包含：接受部，其接受描繪有參考對象之靜態圖像、包含於該靜態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、包含於動態圖像之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取部，其基於上述第1參考位置及上述第2參考位置，擷取描繪於上述參考區域內之參考圖像；及檢索部，其檢索包含於動態圖像之圖框圖像、且為描繪有類似上述參考圖像之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域 內、與上述參考區域內之上述第1參考位置與上述第2參考位置相對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡、與描繪在上述第2開始位置之第2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像。
  10. 一種動畫檢索方法，其特徵為包含：接受步驟，其接受描繪有參考對象之靜態圖像、包含於該靜態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、包含於動態圖像中之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取步驟，其基於上述第1參考位置及上述第2參考位置，擷取描繪於上述參考區域內之參考圖像；及檢索步驟，其檢索包含於動態圖像之圖框圖像、且為描繪有類似上述參考圖像之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域內、與上述參考區域內之上述第1參考位置與上述第2參考位置相對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡、與描繪在上述第2開始位置之第 2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像。
  11. 一種記錄有程式之電腦可讀取之記錄媒體，其特徵為上述程式係使電腦作為如下各部發揮功能：接受部，其接受描繪有參考對象之靜態圖像、包含於該靜態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、包含於動態圖像之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取部，其基於上述第1參考位置及上述第2參考位置，擷取描繪於上述參考區域內之參考圖像；檢索部，其檢索包含於動態圖像之圖框圖像、且為描繪有類似上述參考圖像之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域內、與上述參考區域內之上述第1參考位置與上述第2參考位置相對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡、與描繪在上述第2開始位置之第2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像。
  12. 一種程式，其特徵為使電腦作為如下各部發揮功能：接受部，其接受描繪有參考對象之靜態圖像、包含於該靜 態圖像內之描繪有該參考對象之參考區域內之第1參考位置及第2參考位置、包含於動態圖像之圖框圖像內之第1目標位置及第2目標位置之輸入；擷取部，其基於上述第1參考位置及上述第2參考位置，擷取描繪於上述參考區域內之參考圖像；檢索部，其檢索包含於動態圖像之圖框圖像、且為描繪有類似上述參考圖像之局部圖像之類似圖框圖像，求得在上述檢索到之類似圖框圖像中描繪有上述局部圖像之局部區域內、與上述參考區域內之上述第1參考位置與上述第2參考位置相對應之第1開始位置與第2開始位置，藉由自該檢索到之類似圖框圖像在時間之前進方向或倒退方向上掃描包含該檢索到之類似圖框圖像之動態圖像中所含之圖框圖像，追蹤在該檢索到之類似圖框圖像中描繪在上述第1開始位置之第1注目像素移動之第1移動軌跡、與描繪在上述第2開始位置之第2注目像素移動之第2移動軌跡，而檢索該第1移動軌跡到達上述第1目標位置之附近、且該第2移動軌跡到達上述第2目標位置之附近之目標圖框圖像。
TW102102120A 2012-01-20 2013-01-18 An animation search device, an animation search method, a recording medium, and a program TWI514172B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012010492A JP5248685B1 (ja) 2012-01-20 2012-01-20 動画検索装置、動画検索方法、記録媒体、ならびに、プログラム

Publications (2)

Publication Number Publication Date
TW201333734A TW201333734A (zh) 2013-08-16
TWI514172B true TWI514172B (zh) 2015-12-21

Family

ID=48798885

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102102120A TWI514172B (zh) 2012-01-20 2013-01-18 An animation search device, an animation search method, a recording medium, and a program

Country Status (7)

Country Link
US (1) US9076036B2 (zh)
EP (1) EP2733931B1 (zh)
JP (1) JP5248685B1 (zh)
CN (1) CN103748870B (zh)
ES (1) ES2618075T3 (zh)
TW (1) TWI514172B (zh)
WO (1) WO2013108448A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102025362B1 (ko) * 2013-11-07 2019-09-25 한화테크윈 주식회사 검색 시스템 및 영상 검색 방법
JP6225039B2 (ja) 2014-01-31 2017-11-01 株式会社日立製作所 画像検索システム、画像検索装置及び画像検索方法
CN105678254B (zh) * 2016-01-04 2019-05-31 深圳市茁壮网络股份有限公司 一种视频检测方法及装置
KR102673041B1 (ko) * 2016-08-18 2024-06-07 한화비전 주식회사 이벤트 검색 시스템, 장치 및 방법
US10229325B2 (en) 2017-02-28 2019-03-12 International Business Machines Corporation Motion based video searching system using a defined movement path for an object
US20220137700A1 (en) * 2020-10-30 2022-05-05 Rovi Guides, Inc. System and method for selection of displayed objects by path tracing
US11599253B2 (en) * 2020-10-30 2023-03-07 ROVl GUIDES, INC. System and method for selection of displayed objects by path tracing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134589A (ja) * 1999-11-05 2001-05-18 Nippon Hoso Kyokai <Nhk> 動画像検索装置
TWI310545B (en) * 2003-10-04 2009-06-01 Samsung Electronics Co Ltd Storage medium storing search information and reproducing apparatus
US20100239125A1 (en) * 2009-03-17 2010-09-23 Chang Soon-Keun Digital image processing apparatus, tracking method, recording medium for storing computer program for executing the tracking method, and digital image processing apparatus adopting the tracking method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06101018B2 (ja) * 1991-08-29 1994-12-12 インターナショナル・ビジネス・マシーンズ・コーポレイション 動画像データベースの検索
JP2006093955A (ja) * 2004-09-22 2006-04-06 Matsushita Electric Ind Co Ltd 映像処理装置
US7804981B2 (en) * 2005-01-13 2010-09-28 Sensis Corporation Method and system for tracking position of an object using imaging and non-imaging surveillance devices
JP4703480B2 (ja) * 2006-05-17 2011-06-15 株式会社日立製作所 映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システム
CN101465033B (zh) * 2008-05-28 2011-01-26 丁国锋 一种自动追踪识别系统及方法
US8848974B2 (en) * 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods
JP4874425B1 (ja) * 2010-12-28 2012-02-15 オリンパスイメージング株式会社 再生装置および撮像装置
JP4922472B1 (ja) * 2011-09-29 2012-04-25 楽天株式会社 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134589A (ja) * 1999-11-05 2001-05-18 Nippon Hoso Kyokai <Nhk> 動画像検索装置
TWI310545B (en) * 2003-10-04 2009-06-01 Samsung Electronics Co Ltd Storage medium storing search information and reproducing apparatus
US20100239125A1 (en) * 2009-03-17 2010-09-23 Chang Soon-Keun Digital image processing apparatus, tracking method, recording medium for storing computer program for executing the tracking method, and digital image processing apparatus adopting the tracking method

Also Published As

Publication number Publication date
TW201333734A (zh) 2013-08-16
US9076036B2 (en) 2015-07-07
EP2733931B1 (en) 2016-12-07
JP2013150218A (ja) 2013-08-01
CN103748870A (zh) 2014-04-23
ES2618075T3 (es) 2017-06-20
US20140205148A1 (en) 2014-07-24
WO2013108448A1 (ja) 2013-07-25
EP2733931A1 (en) 2014-05-21
EP2733931A4 (en) 2015-03-04
CN103748870B (zh) 2016-12-07
JP5248685B1 (ja) 2013-07-31

Similar Documents

Publication Publication Date Title
TWI514172B (zh) An animation search device, an animation search method, a recording medium, and a program
US8463071B2 (en) Navigating images using image based geometric alignment and object based controls
JP5106271B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
AU2018202767B2 (en) Data structure and algorithm for tag less search and svg retrieval
JP2011008752A (ja) ドキュメント操作システム、ドキュメント操作方法およびそのためのプログラム
Tompkin et al. Videoscapes: exploring sparse, unstructured video collections
JP2008287438A (ja) 画像処理装置及び画像検索方法
Ip et al. Saliency-assisted navigation of very large landscape images
Garg et al. A Survey on Content Aware Image Resizing Methods.
WO1999005865A1 (en) Content-based video access
Liu et al. Data-driven indoor scene modeling from a single color image with iterative object segmentation and model retrieval
Kim et al. Brush-and-drag: A multi-touch interface for photo triaging
Barhoumi Detection of highly articulated moving objects by using co-segmentation with application to athletic video sequences
Yousefi et al. 3D hand gesture analysis through a real-time gesture search engine
Mooser et al. Large document, small screen: a camera driven scroll and zoom control for mobile devices
Blat et al. Big data analysis for media production
An et al. Unified framework for automatic image stitching and rectification
JP4380376B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Apostolidis et al. Video fragmentation and reverse search on the web
JP4787191B2 (ja) 映像検索方法及び装置及びプログラム
Cheng et al. Automatic generation of video navigation from Google Street View data with car detection and inpainting
JP3451925B2 (ja) 物体認識方法及び物体認識装置
Grzegorzek A system for 3D texture-based probabilistic object recognition and its applications
Zakour et al. ADL4D: Towards A Contextually Rich Dataset for 4D Activities of Daily Living
Rajput et al. Heuristics2Annotate: Efficient Annotation of Large-Scale Marathon Dataset For Bounding Box Regression