TWI539226B - 物件追蹤影像處理方法及其系統 - Google Patents

物件追蹤影像處理方法及其系統 Download PDF

Info

Publication number
TWI539226B
TWI539226B TW103135120A TW103135120A TWI539226B TW I539226 B TWI539226 B TW I539226B TW 103135120 A TW103135120 A TW 103135120A TW 103135120 A TW103135120 A TW 103135120A TW I539226 B TWI539226 B TW I539226B
Authority
TW
Taiwan
Prior art keywords
image
view
wide
narrow
field
Prior art date
Application number
TW103135120A
Other languages
English (en)
Other versions
TW201614358A (en
Inventor
張文彥
周宏隆
曾逸鴻
王贊維
莊哲綸
Original Assignee
聚晶半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聚晶半導體股份有限公司 filed Critical 聚晶半導體股份有限公司
Priority to TW103135120A priority Critical patent/TWI539226B/zh
Priority to US14/551,200 priority patent/US9386229B2/en
Publication of TW201614358A publication Critical patent/TW201614358A/zh
Application granted granted Critical
Publication of TWI539226B publication Critical patent/TWI539226B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

物件追蹤影像處理方法及其系統 【0001】
本發明是有關於一種影像處理方法及其系統，特別是一種利用雙鏡頭之攝像裝置的物件追蹤影像處理方法及其系統。
 【0002】
當使用具有鏡頭的電子裝置，如相機或智慧型手機，來對景物進行攝像時，當所擷取到的影像包含一主要影像(如人物)及一背景影像(如街景)，若想到使主要影像的大小維持不變，欲又能同時清楚看到不同的背景影像，單憑目前相機或智慧型手機上的功能無法有效地達到此效果。
【0003】
此種使主要影像的大小維持不變的拍攝手法常見於電影畫面，其運用變焦鏡頭，在拍攝主體時變焦，同時改變與主體之間的距離，以保持主體在畫面的大小不變，改變的卻是後方的背景。
【0004】
但是，要在手機上拍攝出具有此效果的影片，需要拍攝者一邊移動，同時又要操作變焦以縮放影像，非常不容易做到。
 【0005】
有鑑於上述問題，本發明之目的係利用雙鏡頭之裝置提供一種物件追蹤影像處理方法及其系統。
【0006】
有鑑於上述問題，本發明之另一目的係提供一種物件追蹤影像處理方法及其系統，讓使用者在拍攝影片時，擁有可以讓主要影像之畫面大小不變，而其背景影像不停改變之特性，以增進影片拍攝時之一豐富性及趣味性。
【0007】
基於上述目的，本發明係提供一種物件追蹤影像處理方法，包含：(a)接收一第一廣視野影像以及一第一窄視野影像，並從第一廣視野影像以及第一窄視野影像中決定一待追蹤物件；(b)從第一廣視野影像以及第一窄視野影像中選出一第一輸出影像，並以待追蹤物件在第一輸出影像中的區域尺寸作為一參考區域；(c)接收一第二廣視野影像以及一第二窄視野影像，將待追蹤物件在第二廣視野影像之一廣視野區域尺寸以及在第二窄視野影像中之一窄視野區域尺寸與參考區域進行比對；(d)當廣視野區域尺寸比較接近參考區域時，根據廣視野區域尺寸與參考區域之比例對第二廣視野影像進行縮放及變形處理，並對第二窄視野影像對應廣視野區域尺寸之一窄視野對應區域進行縮放及變形處理；(e)當窄視野區域尺寸比較接近參考區域時，根據窄視野區域尺寸與參考區域之比例對第二窄視野影像進行縮放及變形處理，並對第二廣視野影像對應窄視野區域尺寸之一廣視野對應區域進行縮放及變形處理；以及(f)融合經過縮放及變形處理後之第二廣視野影像與窄視野對應區域或經過縮放及變形處理後之第二窄視野影像與廣視野對應區域以輸出一第二輸出影像。
【0008】
較佳地，第一廣視野影像以及第二廣視野影像係由一廣角攝像鏡頭所連續擷取，第一窄視野影像以及第二窄視野影像係由一非廣角攝像鏡頭所連續擷取，該廣角攝像鏡頭以及非廣角攝像鏡頭係設置於一攝像裝置上，第一輸出影像以及第二輸出影像係為攝像裝置進行錄影時所儲存的連續影像，或是攝像裝置進行預覽時顯示於攝像裝置之一螢幕上的連續影像。
【0009】
較佳地，連續影像係呈現該待追蹤物件之尺寸大致上沒有變化，但待追蹤物件以外的景色有縮放變化的效果。
【0010】
較佳地，窄視野區域尺寸與廣視野區域尺寸與參考區域之間的比例最接近一的被視為比較接近參考區域。
【0011】
較佳地，待追蹤物件分別在第二窄視野影像以及第二廣視野影像中的影像特徵較多的被視為比較接近參考區域。
【0012】
基於上述目的，本發明再提供一種物件追蹤影像處理系統，包含：一第一鏡頭模組，係分別擷取一第一廣視野影像以及一第二廣視野影像；一第二鏡頭模組，係分別擷取一第一窄視野影像以及一第二窄視野影像；一追蹤物件選擇單元，係從第一廣視野影像以及第一窄視野影像中決定一待追蹤物件；一追蹤特徵擷取單元，係擷取待追蹤物件之複數個第一影像特徵；一物件追蹤單元，係分別根據複數個第一影像特徵於第一廣視野影像、第二廣視野影像、第一窄視野影像及第二窄視野影像中尋找待追蹤物件並找出待追蹤物件在第二廣視野影像及第二窄視野影像中的一廣視野區域尺寸及一窄視野區域尺寸；一特徵擷取單元，係用以分別找出在第二廣視野影像及第二窄視野影像中的複數個影像特徵，用以找出第二廣視野影像及第二窄視野影像之一相對應區域；一影像縮放暨變形單元，係從第一廣視野影像以及第一窄視野影像中選出一第一輸出影像，並以待追蹤物件在該第一輸出影像中的區域尺寸作為一參考區域，並將廣視野區域尺寸及窄視野區域尺寸與參考區域進行比對；當影像縮放暨變形單元判斷廣視野區域尺寸比較接近參考區域時，影像縮放暨變形單元根據廣視野區域尺寸與參考區域之比例對第二廣視野影像進行縮放及變形處理，並對第二窄視野影像對應廣視野區域尺寸之一窄視野對應區域進行縮放及變形處理；當影像縮放暨變形單元判斷窄視野區域尺寸比較接近參考區域時，影像縮放暨變形單元根據窄視野區域尺寸與參考區域之比例對第二窄視野影像進行縮放及變形處理，並對第二廣視野影像對應窄視野區域尺寸之一廣視野對應區域進行縮放及變形處理；以及一影像融合單元，係融合經縮放或變形處理過之第二廣視野影像及窄視野對應區域或經縮放或變形處理過之第二窄視野影像與廣視野對應區域以輸出一第二輸出影像。
【0013】
較佳地，窄視野區域尺寸與廣視野區域尺寸與參考區域之間的比例最接近一的被視為比較接近參考區域。
【0014】
較佳地，待追蹤物件分別在第二窄視野影像以及第二廣視野影像中的影像特徵較多的被視為比較接近參考區域。
【0015】
較佳地，影像縮放暨變形單元係預設一比例門檻值，當影像縮放暨變形單元判斷廣視野區域尺寸比較接近參考區域，且廣視野區域尺寸與參考區域之間的一比例差異大於比例門檻值時，則對第二廣視野影像進行放大及變形之影像處理。
【0016】
較佳地，影像縮放暨變形單元係預設一比例門檻值，當影像縮放暨變形單元判斷窄視野區域尺寸比較接近參考區域時，且窄視野區域尺寸與參考區域之間的一比例差異大於比例門檻值時，將第二窄視野影像進行縮小及變形之影像處理。
10 第一鏡頭模組
11 第一廣視野影像
12、13、14 第二廣視野影像
20 第二鏡頭模組
21 第一窄視野影像
22、23、24 第二窄視野影像
25、42、43、44 第二輸出影像
30 待追蹤物件
32 第一影像特徵
40 追蹤物件選擇單元
41 第一輸出影像
50 追蹤特徵擷取單元
51 物件追蹤單元
60 攝像裝置
70 特徵擷取單元
71 廣視野區域尺寸
72 窄視野區域尺寸
73 廣視野對應區域
74 窄視野對應區域
80 影像縮放暨變形單元
81 輸入單元
82 參考區域
90 影像融合單元
91 補充區域
92 虛線框
93 顯示單元
S1~S6 步驟
【0017】
本發明之上述及其他特徵及優勢將藉由參照附圖詳細說明其例示性實施例而變得更顯而易知，其中：
第1圖係為根據本發明之物件追蹤影像處理系統之實施例之方塊圖；
第2圖係為根據本發明之物件追蹤影像處理系統之實施例之第一示意圖；
第3圖係為根據本發明之物件追蹤影像處理系統之實施例之第二示意圖；
第4圖係為根據本發明之物件追蹤影像處理系統之實施例之第三示意圖；以及
第5圖係為根據本發明之物件追蹤影像處理方法之實施例之步驟流程圖。
 【0018】
於此使用，詞彙“與/或”包含一或多個相關條列項目之任何或所有組合。當“至少其一”之敘述前綴於一元件清單前時，係修飾整個清單元件而非修飾清單中之個別元件。
【0019】
參閱第1圖、第2圖以及第3圖，其為根據本發明之物件追蹤影像處理系統之實施例之方塊圖、第一示意圖及第二示意圖。第1圖中，物件追蹤影像處理系統包含第一鏡頭模組10、第二鏡頭模組20、追蹤物件選擇單元40、追蹤特徵擷取單元50、物件追蹤單元51、特徵擷取單元70、影像縮放暨變形單元80、影像融合單元90以及顯示單元93。本發明之物件追蹤影像處理系統係在一攝像裝置60上運作，第一鏡頭模組10與第二鏡頭模組20係設置在攝像裝置60之同一側上並朝向同一方向。
【0020】
追蹤物件選擇單元40、追蹤特徵擷取單元50、物件追蹤單元51、特徵擷取單元70、影像縮放暨變形單元80以及影像融合單元90可為攝像裝置60內之處理單元以軟體方式執行，例如追蹤物件選擇單元40、追蹤特徵擷取單元50、物件追蹤單元51、特徵擷取單元70、影像縮放暨變形單元80以及影像融合單元90可分別為處理單元可執行之程式碼；或是以硬體方式執行，追蹤物件選擇單元40、追蹤特徵擷取單元50、物件追蹤單元51、特徵擷取單元70、影像縮放暨變形單元80以及影像融合單元90分別為處理單元內的特定電路。
【0021】
第一鏡頭模組10及第二鏡頭模組20可分別具有不同之焦距，舉例而言，在本實施例中，第一鏡頭模組10為一廣角鏡頭 (Wide)而第二鏡頭模組20為一長焦距鏡頭(Tele)。其中，第一鏡頭模組10可分別擷取複數個廣視野影像，如第2圖之11、12、13及14。第二鏡頭模組20係分別擷取複數個窄視野影像，如第3圖之21、22、23及24。如第2圖所示，第一鏡頭模組10所擷取之影像視野大於第二鏡頭模組20所擷取之影像視野，而同樣的物件在第2圖之廣視野影像11、12、13及14中的尺寸也會比在第3圖之窄視野影像21、22、23及24中來的小。
【0022】
追蹤物件選擇單元40係從第一廣視野影像11及/或第一窄視野影像21中決定待追蹤物件30。實施上，追蹤物件選擇單元40可先根據至少一影像特徵辨識出第一廣視野影像11以及第一窄視野影像21中共同存在的有興趣物件，例如人臉、人身或特定物品。接著，追蹤物件選擇單元40可從此多個有興趣物件中自動決定出待追蹤物件30；或是，追蹤物件選擇單元40可根據輸入單元81發出的指令從多個有興趣物件中決定出待追蹤物件30，即使用者可操作輸入單元81來選出待追蹤物件30。
【0023】
此外，使用者更可以利用輸入單元81輸入待追蹤物件30於顯示單元93上之顯示尺寸。
【0024】
接著，當待追蹤物件30決定之後，追蹤特徵擷取單元50係用以擷取待追蹤物件30中的複數個第一影像特徵32。此複數個第一影像特徵32係用以於在後續的影像中尋找此待追蹤物件30。
【0025】
物件追蹤單元51則根據追蹤特徵擷取單元50提供之複數個第一影像特徵32，分別於第一鏡頭模組10及第二鏡頭模組20所輸入之影像中，尋找所述待追蹤物件30。舉例而言，物件追蹤單元51可以根據追蹤特徵擷取單元50提供之複數個第一影像特徵32，在複數個第二廣視野影像中找出廣視野區域尺寸71，亦即待追蹤物件30所在之區域；以及，在複數個窄視野影向中找出窄視野區域尺寸72，亦即待追蹤物件30所在之區域。
【0026】
特徵擷取單元70用以由第一鏡頭模組10及第二鏡頭模組20輸入之影像中尋找複數個影像特徵，此複數個影像特徵係為第一鏡頭模組10及第二鏡頭模組20輸入之影像所共同包含之影像特徵，其用以於比對出第一鏡頭模組10之廣視野影像及第二鏡頭模組20之窄視野影像中之相對應區域。
【0027】
影像縮放暨變形單元80可根據輸入單元81所提供或系統設定之待追蹤物件30之顯示尺寸，選擇第一鏡頭模組10之廣視野影像或第二鏡頭模組20之窄視野影像為一第一輸出影像41，並以此待追蹤物件30在此第一輸出影像41中的區域尺寸作為一個參考區域82。接著，在後續拍攝之影像中，影像縮放暨變形單元80將廣視野區域尺寸71及窄視野區域尺寸72與參考區域82進行比對，當影像縮放暨變形單元80判斷廣視野區域尺寸71比較接近參考區域82時，影像縮放暨變形單元80根據廣視野區域尺寸71與參考區域82之一相對比例對第二廣視野影像12、13、14進行縮放及變形處理，並對第二窄視野影像22、23、24對應廣視野區域尺寸71之一窄視野對應區域74分別進行縮放及變形處理，而經過縮放及/或變形處理後之第二廣視野影像12、13、14與窄視野對應區域74可於影像融合單元90中進行融合以產生3個連續的第二輸出影像25；另一方面，若是當影像縮放暨變形單元80判斷窄視野區域尺寸72比較接近參考區域82時，影像縮放暨變形單元80則根據窄視野區域尺寸72與參考區域82之一相對比例先分別對第二窄視野影像22、23、24進行縮放及變形處理，並對第二廣視野影像12、13、14對應窄視野區域尺寸72之一廣視野對應區域73進行縮放及變形處理，同樣地，經過縮放及/或變形處理後之第二窄視野影像22、23、24與廣視野對應區域73可於影像融合單元90中進行融合以產生3個連續的第二輸出影像25作為輸出。
【0028】
此處要說明的是，第一鏡頭模組10及第二鏡頭模組20係用以連續拍攝多張影像，因此，經過上述處理並輸出至顯示單元93之複數張影像係構成一視訊影像(video)。是故，本發明之攝像裝置60可用以輸出一主體影像(待追蹤物件30)大小維持一定之視訊影像。
【0029】
以下參照第2圖、第3圖及第4圖說明物件追蹤影像處理系統之實施例之第一示意圖至第三示意圖，並請同時參照第1圖之說明。首先，追蹤物件選擇單元40於第2圖之第一廣視野影像11 及第3圖之第一窄視野影像21中決定待追蹤物件30，並由影像縮放暨變形單元80決定使用第一廣視野影像11或第一窄視野影像21其中之一作為第一輸出影像41，並以待追蹤物件30在此第一輸出影像41的區域尺寸作為參考區域82，本實施例中係以第一窄視野影像21作為第一輸出影像41來舉例說明。
【0030】
接著由追蹤特徵擷取單元50於第2圖之第一廣視野影像11及第3圖之第一窄視野影像21之待追蹤物件30中，擷取出待追蹤物件30之複數個第一影像特徵32。而物件追蹤單元51根據追蹤特徵擷取單元50所提供之複數個第一影像特徵32，分別於第2圖之第二廣視野影像12、13及14 及第3圖之第二窄視野影像22、23、24中尋找所述待追蹤物件30。舉例而言，物件追蹤單元51可以根據追蹤特徵擷取單元50提供之複數個第一影像特徵32，在複數個第二廣視野影像12、13、14中找出廣視野區域尺寸71，亦即待追蹤物件30所在之區域；以及，在複數個窄視野影像22、23、24中找出窄視野區域尺寸72，亦即待追蹤物件30所在之區域。
【0031】
接著，特徵擷取單元70於在複數個第二廣視野影像12、13、14及複數個窄視野影像22、23、24中尋找複數個影像特徵，此複數個影像特徵係為第一鏡頭模組10及第二鏡頭模組20輸入之影像所共同包含之影像特徵，用以於比對出第一鏡頭模組10之廣視野影像及第二鏡頭模組20之窄視野影像中之相對應區域73、74。其目的在於判斷出第二窄視野影像22、23、24在第二廣視野影像12、13、14彼此的對應區域。
【0032】
接著，由影像縮放暨變形單元80對參考區域82與廣視野區域尺寸71及窄視野區域尺寸72進行比對，以決定何者之尺寸比較接近參考區域82。實施上，影像縮放暨變形單元80可用此些區域的面積尺寸與參考區域82的面積尺寸做比對。例如，當廣視野區域尺寸71及窄視野區域尺寸72中的區域尺寸與參考區域82之間的比例最接近一者，則可被視為較接近參考區域82。例如，待追蹤物件30在窄視野區域尺寸72中的區域尺寸為參考區域82的1.2倍，而待追蹤物件30在廣視野區域尺寸71中的區域尺寸為參考區域82的0.95倍。0.95比1.2更接近1，所以影像縮放暨變形單元80接著會以第二廣視野影像12作為一主要影像進行後續之影像結合處理。
【0033】
或者，影像縮放暨變形單元80可用此些區域的影像特徵數量與參考區域82的影像特徵數量做比對。例如，當第一鏡頭模組10以及第二鏡頭模組20向被拍攝的物件靠近時，第二窄視野影像22中的物件之一部分有可能會出鏡而沒有被拍攝到，即表示有些影像特徵沒有出現在影像中，則影像縮放暨變形單元80不適合選擇此種影像做後續處理。因此，影像縮放暨變形單元80可選擇影像特徵數量最接近參考區域82的影像做後續處理。
【0034】
上述內容以影像區域的面積尺寸或影像特徵數量做舉例說明，但本發明不因此受限制；此外，面積尺寸或影像特徵數量的使用亦可混和實施。
【0035】
當影像縮放暨變形單元80判斷待追蹤物件30在第二窄視野影像22中的窄視野區域尺寸72比較接近參考區域82時，影像縮放暨變形單元80則根據窄視野區域尺寸72與參考區域82之一相對比例先對第二窄視野影像22進行縮放及變形處理，並對第二廣視野影像12對應此窄視野區域尺寸72之一廣視野對應區域73進行縮放及變形處理。反之，若待追蹤物件30在第二廣視野影像12中的廣視野區域尺寸71比較接近參考區域82時，影像縮放暨變形單元80則根據廣視野區域尺寸71與參考區域82之一相對比例來對第二廣視野影像12進行縮放及變形處理，並對第二窄視野影像22對應此廣視野區域尺寸71之一窄視野對應區域74進行縮放及變形處理。
【0036】
最後，由影像融合單元90對經過縮放及/或變形處理後之第二窄視野影像22與廣視野對應區域73進行融合以產生一第二輸出影像25，此第二輸出影像25可呈現出待追蹤物件30之尺寸大致上沒有變化，但待追蹤物件30以外的景色有縮放變化的效果。
【0037】
進一步的說明，第2圖及第3圖模擬攝像裝置60逐漸靠近待追蹤物件30的情況，原始的第一窄視野影像21、第二窄視野影像22、23與24，以及第一廣視野影像11、第二廣視野影像12、13與14中的待追蹤物件30之尺寸係逐漸變大，且廣視野影像中有窄視野影像所有的物件。在第4A圖中，第一輸出影像41係產生自第一窄視野影像21，第4B圖及第4C圖分別表示不同的第二輸出影像42、43，第二輸出影像42係為縮小的第二窄視野影像22(虛線框92係表示縮小後的第二窄視野影像22的範圍，補充區域91為填補第二輸出影像42與縮小後的第二窄視野影像22之間隙)與第二廣視野影像12的廣視野對應區域73的結合影像，而第4C圖中，此第二輸出影像43係由經縮放及變形的第二廣視野影像13及第二窄視野影像23的窄視野對應區域(未顯示於圖中)融合產生，此時的第二輸出影像43除了待追蹤物件30之外，也在其背景出現了三角形的物件，而從第4B圖及第4C圖中可知，待追蹤物件30的尺寸變化度較小，但是之外的景色卻能夠有較大的變化。
【0038】
進一步的說明，如第4D圖所示，若第二廣視野影像13中的廣視野區域尺寸71較接近參考區域82之大小時，此時先根據此廣視野區域尺寸71與參考區域82的比例對第二廣視野影像13進行縮放及變形處理，若使用者欲將此第二輸出影像44放大1.5倍時，此時第二窄視野影像23對應此廣視野區域尺寸71的窄視野對應區域(未顯示於圖中)同時放大調整為相對應的大小，如1.5倍，並將此放大的窄視野對應區域與第二廣視野影像13進行影像融合，以提高第二輸出影像44放大1.5倍後的整體影像品質。
【0039】
實施上，影像縮放暨變形單元80可預設一比例門檻值，當影像縮放暨變形單元80判斷待追蹤物件30在第二廣視野影像12的廣視野區域尺寸71比較接近參考區域82時，且待追蹤物件30在廣視野區域尺寸71與參考區域82之間的一比例差異小於比例門檻值時，則將此第二廣視野影像12與第二窄視野影像22融合以產生第一輸出影像41，再進行後續之影像處理作業。
【0040】
請參閱第5圖，其為根據本發明之物件追蹤影像處理方法之實施例之步驟流程圖。請一併參閱第1圖，此物件追蹤影像處理方法，包含下列步驟。
【0041】
在步驟S1，接收一第一廣視野影像11以及一第一窄視野影像21，並從第一廣視野影像11以及第一窄視野影像21中決定一待追蹤物件30。
【0042】
在步驟S2，從第一廣視野影像11以及第一窄視野影像21中選出一第一輸出影像41，並以待追蹤物件30在第一輸出影像41中的區域尺寸作為一參考區域82。
【0043】
在步驟S3，接收一第二廣視野影像12以及一第二窄視野影像22，將待追蹤物件30在第二廣視野影像12之一廣視野區域尺寸71以及在第二窄視野影像22中之一窄視野區域尺寸72與參考區域82進行比對。
【0044】
在步驟S4，當廣視野區域尺寸71比較接近參考區域82時，根據廣視野區域尺寸71與參考區域82之比例對第二廣視野影像12進行縮放及變形處理，並對第二窄視野影像22對應廣視野區域尺寸71之一窄視野對應區域74進行縮放及變形處理。
【0045】
在步驟S5，當窄視野區域尺寸72比較接近參考區域82時，根據窄視野區域尺寸72與參考區域82之比例對第二窄視野影像22進行縮放及變形處理，並對第二廣視野影像12對應窄視野區域尺寸72之一廣視野對應區域73進行縮放及變形處理。
【0046】
在步驟S6，融合經過縮放及變形處理後之第二廣視野影像12與窄視野對應區域74或經過縮放及變形處理後之第二窄視野影像22與廣視野對應區域73以輸出一第二輸出影像25。
【0047】
第一廣視野影像11以及第二廣視野影像12係由一廣角攝像鏡頭所連續擷取，第一窄視野影像21以及第二窄視野影像22係由一非廣角攝像鏡頭所連續擷取，廣角攝像鏡頭以及非廣角攝像鏡頭係設置於一攝像裝置60上，第二輸出影像25可為攝像裝置60進行錄影時所儲存的連續影像，或是攝像裝置60進行預覽時顯示於攝像裝置60之一螢幕上的連續影像。
【0048】
連續影像係呈現待追蹤物件30之尺寸大致上沒有變化，但待追蹤物件30以外的景色有縮放變化的效果。
【0049】
其中，待追蹤物件30分別在廣視野區域尺寸71及窄視野區域尺寸72與參考區域82之間的比例最接近一的被視為比較接近參考區域82。
【0050】
待追蹤物件30分別在廣視野區域尺寸71及窄視野區域尺寸72中的影像特徵較多的被視為比較接近參考區域82。
【0051】
此外，在實施上，可先設定一比例門檻值，而在步驟S4中，當待追蹤物件30在廣視野區域尺寸71比較接近參考區域82，且待追蹤物件30在廣視野區域尺寸71與參考區域82之間的一比例差異大於比例門檻值時，則先對第二廣視野影像12進行放大及變形之影像處理。
【0052】
在步驟S5中，當待追蹤物件30在第二窄視野影像22中的區域尺寸比較接近參考區域82時，且待追蹤物件30在第二窄視野影像22中的區域尺寸與參考區域82之間的一比例差異大於比例門檻值時，對第二窄視野影像22進行縮小及變形之影像處理。
【0053】
在較佳實施例之詳細說明中所提出之具體實施例僅用以方便說明本發明之技術內容，而非將本發明狹義地限制於上述實施例，在不超出本發明之精神及以下申請專利範圍之情況，所做之種種變化實施，皆屬於本發明之範圍。
10 第一鏡頭模組
11 第一廣視野影像
12、13、14 第二廣視野影像
20 第二鏡頭模組
21 第一窄視野影像
22、23、24 第二窄視野影像
25 第二輸出影像
30 待追蹤物件
32 第一影像特徵
40 追蹤物件選擇單元
41 第一輸出影像
50 追蹤特徵擷取單元
51 物件追蹤單元
60 攝像裝置
70 特徵擷取單元
71 廣視野區域尺寸
72 窄視野區域尺寸
73 廣視野對應區域
74 窄視野對應區域
80 影像縮放暨變形單元
81 輸入單元
82 參考區域
90 影像融合單元
93 顯示單元

Claims (9)

  1. 【第1項】
    一種物件追蹤影像處理方法，包含：
    （a）接收一第一廣視野影像以及一第一窄視野影像，並從該第一廣視野影像以及該第一窄視野影像中決定一待追蹤物件；
    （b）從該第一廣視野影像以及該第一窄視野影像中選出一第一輸出影像，並以該待追蹤物件在該第一輸出影像中的區域尺寸作為一參考區域；
    （c）接收一第二廣視野影像以及一第二窄視野影像，將該待追蹤物件在該第二廣視野影像之一廣視野區域尺寸以及在該第二窄視野影像中之一窄視野區域尺寸與該參考區域進行比對；
    （d）當該廣視野區域尺寸比較接近該參考區域時，根據該廣視野區域尺寸與該參考區域之比例對該第二廣視野影像進行縮放及變形處理，並對該第二窄視野影像對應該廣視野區域尺寸之一窄視野對應區域進行縮放及變形處理；
    （e）當該窄視野區域尺寸比較接近該參考區域時，根據該窄視野區域尺寸與該參考區域之比例對該第二窄視野影像進行縮放及變形處理，並對該第二廣視野影像對應該窄視野區域尺寸之一廣視野對應區域進行縮放及變形處理；以及
    （f）融合經過縮放及變形處理後之該第二廣視野影像與該窄視野對應區域或經過縮放及變形處理後之該第二窄視野影像與該廣視野對應區域以輸出一第二輸出影像。
  2. 【第2項】
    如申請專利範圍第1項所述之物件追蹤影像處理方法，其中該第一廣視野影像以及該第二廣視野影像係由一廣角攝像鏡頭所連續擷取，該第一窄視野影像以及該第二窄視野影像係由一非廣角攝像鏡頭所連續擷取，該廣角攝像鏡頭以及該非廣角攝像鏡頭係設置於一攝像裝置上，該第一輸出影像以及該第二輸出影像係為該攝像裝置進行錄影時所儲存的連續影像，或是該攝像裝置進行預覽時顯示於該攝像裝置之一螢幕上的連續影像。
  3. 【第3項】
    如申請專利範圍第1項所述之物件追蹤影像處理方法，其中該窄視野區域尺寸與該廣視野區域尺寸與該參考區域之間的比例最接近一的被視為比較接近該參考區域。
  4. 【第4項】
    如申請專利範圍第1項所述之物件追蹤影像處理方法，其中該待追蹤物件分別在該第二窄視野影像以及該第二廣視野影像中的影像特徵較多的被視為比較接近該參考區域。
  5. 【第5項】
    一種物件追蹤影像處理系統，包含：
    一第一鏡頭模組，係分別擷取一第一廣視野影像以及一第二廣視野影像；
    一第二鏡頭模組，係分別擷取一第一窄視野影像以及一第二窄視野影像；
    一追蹤物件選擇單元，係從該第一廣視野影像以及該第一窄視野影像中決定一待追蹤物件；
    一追蹤特徵擷取單元，係擷取該待追蹤物件之複數個第一影像特徵；
    一物件追蹤單元，係分別根據該複數個第一影像特徵於該第一廣視野影像、該第二廣視野影像、該第一窄視野影像及該第二窄視野影像中尋找該待追蹤物件，並找出該待追蹤物件在該第二廣視野影像及該第二窄視野影像中的一廣視野區域尺寸及一窄視野區域尺寸;
    一特徵擷取單元，係用以分別找出在該第二廣視野影像及該第二窄視野影像中的複數個影像特徵，用以找出該第二廣視野影像及該第二窄視野影像之一相對應區域；
    一影像縮放暨變形單元，係從該第一廣視野影像以及該第一窄視野影像中選出一第一輸出影像，並以該待追蹤物件在該第一輸出影像中的區域尺寸作為一參考區域，並該廣視野區域尺寸及該窄視野區域尺寸與該參考區域進行比對；當該影像縮放暨變形單元判斷該廣視野區域尺寸比較接近該參考區域時，該影像縮放暨變形單元根據該廣視野區域尺寸與該參考區域之比例對該第二廣視野影像進行縮放及變形處理，並對該第二窄視野影像對應該廣視野區域尺寸之一窄視野對應區域進行縮放及變形處理；當該影像縮放暨變形單元判斷該窄視野區域尺寸比較接近該參考區域時，該影像縮放暨變形單元根據該窄視野區域尺寸與該參考區域之比例對該第二窄視野影像進行縮放及變形處理，並對該第二廣視野影像對應該窄視野區域尺寸之一廣視野對應區域進行縮放及變形處理；以及
    一影像融合單元，係融合經縮放或變形處理過之該第二廣視野影像及該窄視野對應區域或經縮放或變形處理過之該第二窄視野影像與該廣視野對應區域以輸出一第二輸出影像。
  6. 【第6項】
    如申請專利範圍第5項所述之物件追蹤影像處理系統，其中該窄視野區域尺寸與該廣視野區域尺寸與該參考區域之間的比例最接近一的被視為比較接近該參考區域。
  7. 【第7項】
    如申請專利範圍第5項所述之物件追蹤影像處理系統，其中該待追蹤物件分別在該第二窄視野影像以及該第二廣視野影像中的影像特徵較多的被視為比較接近該參考區域。
  8. 【第8項】
    如申請專利範圍第5項所述之物件追蹤影像處理系統，其中該影像縮放暨變形單元係預設一比例門檻值，當該影像縮放暨變形單元判斷該廣視野區域尺寸比較接近該參考區域，且該廣視野區域尺寸與該參考區域之間的一比例差異大於該比例門檻值時，則對該第二廣視野影像進行放大及變形之影像處理。
  9. 【第9項】
    如申請專利範圍第6項所述之物件追蹤影像處理系統，其中該影像縮放暨變形單元係預設一比例門檻值，當該影像縮放暨變形單元判斷該窄視野區域尺寸比較接近該參考區域時，且該窄視野區域尺寸與該參考區域之間的一比例差異大於該比例門檻值時，將該第二窄視野影像進行縮小及變形之影像處理。
TW103135120A 2014-10-09 2014-10-09 物件追蹤影像處理方法及其系統 TWI539226B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103135120A TWI539226B (zh) 2014-10-09 2014-10-09 物件追蹤影像處理方法及其系統
US14/551,200 US9386229B2 (en) 2014-10-09 2014-11-24 Image processing system and method for object-tracing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103135120A TWI539226B (zh) 2014-10-09 2014-10-09 物件追蹤影像處理方法及其系統

Publications (2)

Publication Number Publication Date
TW201614358A TW201614358A (en) 2016-04-16
TWI539226B true TWI539226B (zh) 2016-06-21

Family

ID=55656338

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103135120A TWI539226B (zh) 2014-10-09 2014-10-09 物件追蹤影像處理方法及其系統

Country Status (2)

Country Link
US (1) US9386229B2 (zh)
TW (1) TWI539226B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11568550B2 (en) 2020-10-21 2023-01-31 Industrial Technology Research Institute Method, processing device, and system for object tracking

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI629550B (zh) * 2016-09-02 2018-07-11 聚晶半導體股份有限公司 影像擷取裝置及其縮放影像的方法
KR102541173B1 (ko) * 2016-10-04 2023-06-08 엘지전자 주식회사 단말기 및 그 제어 방법
EP3291533A1 (en) 2016-09-06 2018-03-07 LG Electronics Inc. Terminal and controlling method thereof
WO2020017937A1 (en) 2018-07-20 2020-01-23 Samsung Electronics Co., Ltd. Method and electronic device for recommending image capture mode
CN111510618B (zh) * 2019-01-30 2022-04-05 虹软科技股份有限公司 变焦方法及应用其的电子设备
CN114339018B (zh) * 2020-09-30 2023-08-22 北京小米移动软件有限公司 镜头切换的方法、装置及存储介质
US11405563B2 (en) 2020-11-10 2022-08-02 Qualcomm Incorporated Spatial alignment transform without FOV loss
TWI791206B (zh) * 2021-03-31 2023-02-01 圓展科技股份有限公司 雙鏡頭移動控制系統及方法
CN113066011B (zh) * 2021-04-07 2022-11-11 合肥英睿系统技术有限公司 一种图像处理方法、装置、系统、介质和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4513905B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
JP5100606B2 (ja) * 2008-10-24 2012-12-19 三洋電機株式会社 撮像装置
US20120075489A1 (en) * 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
WO2013047481A1 (ja) * 2011-09-30 2013-04-04 富士フイルム株式会社 撮影装置、撮影方法、記録媒体およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11568550B2 (en) 2020-10-21 2023-01-31 Industrial Technology Research Institute Method, processing device, and system for object tracking

Also Published As

Publication number Publication date
TW201614358A (en) 2016-04-16
US9386229B2 (en) 2016-07-05
US20160105615A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
TWI539226B (zh) 物件追蹤影像處理方法及其系統
TWI531852B (zh) 影像擷取裝置及數位變焦方法
JP6319101B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2010021943A (ja) 撮像装置
TWI629550B (zh) 影像擷取裝置及其縮放影像的方法
JP2008129554A (ja) 撮像装置及びオートフォーカス制御方法
CN112532808A (zh) 图像处理方法、装置和电子设备
TWI549500B (zh) 影像擷取方法及使用此方法之影像擷取裝置
US20130169835A1 (en) Image capturing device with image blending function and method threrfor
WO2023125669A1 (zh) 图像处理电路、图像处理方法、电子设备和可读存储介质
US20140168371A1 (en) Image processing apparatus and image refocusing method
CN113014798A (zh) 图像显示方法、装置及电子设备
TWI524757B (zh) 影像擷取裝置及數位變焦顯示方法
JP2018037857A (ja) 画像処理装置、画像処理方法およびプログラム
US9635247B2 (en) Method of displaying a photographing mode by using lens characteristics, computer-readable storage medium of recording the method and an electronic apparatus
CN108810326B (zh) 一种拍照方法、装置及移动终端
TW202002606A (zh) 影像擷取裝置與其操作方法
CN105744158A (zh) 视频图像显示的方法、装置及移动终端
CN104427226B (zh) 图像采集方法和电子设备
JP2011193066A (ja) 撮像装置
KR20100093955A (ko) 디지털 영상신호 처리장치에서 이미지확대표시방법
CN105578015B (zh) 对象追踪图像处理方法及其系统
TW202232932A (zh) 多感測器設備中的相機感測器改變
JP5718502B2 (ja) 画像作成装置及び画像作成方法
CN112653841A (zh) 拍摄方法、装置和电子设备