TW202126023A - 影像擷取方法及影像擷取設備 - Google Patents

影像擷取方法及影像擷取設備 Download PDF

Info

Publication number
TW202126023A
TW202126023A TW108145972A TW108145972A TW202126023A TW 202126023 A TW202126023 A TW 202126023A TW 108145972 A TW108145972 A TW 108145972A TW 108145972 A TW108145972 A TW 108145972A TW 202126023 A TW202126023 A TW 202126023A
Authority
TW
Taiwan
Prior art keywords
image
image capturing
capturing device
time point
temporary storage
Prior art date
Application number
TW108145972A
Other languages
English (en)
Other versions
TWI726536B (zh
Inventor
郭慧冰
陳國睿
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW108145972A priority Critical patent/TWI726536B/zh
Priority to US16/729,507 priority patent/US11310423B2/en
Priority to CN202010101554.6A priority patent/CN112985359B/zh
Priority to JP2020038019A priority patent/JP7008736B2/ja
Application granted granted Critical
Publication of TWI726536B publication Critical patent/TWI726536B/zh
Publication of TW202126023A publication Critical patent/TW202126023A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一種影像擷取方法。於一第一時間點，藉由一第一影像擷取裝置擷取一待觀測區域的一待觀測區域影像。於第一時間點之後的一第二時間點，接收一控制訊號。計算出第一時間點的第一影像擷取裝置與第二時間點的一第二影像擷取裝置的一相對位移關係及/或一相對轉動關係。計算出局部區域相對於第一影像擷取裝置的一第一立體座標值並依據相對位移關係及/或相對轉動關係將第一立體座標值轉換為相對於第二影像擷取裝置的一第二立體座標值。依據第二立體座標驅動第二影像擷取裝置轉動。擷取局部區域的一局部區域影像。

Description

影像擷取方法及影像擷取設備
本發明是有關於一種影像處理方法及影像處理設備，且特別是有關於一種影像擷取方法及影像擷取設備。
目前，利用飛行載具裝載影像擷取裝置對目標進行影像擷取已成為受到廣泛關注的技術與應用。無人飛行載具(Unmanned Aerial Vehicle，UAV)藉其可於空中停滯的特性而能夠以更符合需求的視角對目標進行影像擷取。基於所述影像擷取方式，可搭配影像傳輸技術而以遠距拍攝的方式發展出遠距檢測(如對橋樑、水庫等大型結構物進行檢測)之應用。然而，控制端與遠距的飛行載具端之間的訊號傳輸存在時間延遲，且飛行載具在此時間延遲中易受風力等環境因素及機械震動等自身因素而造成畫面偏移，使拍攝位置產生誤差。
本發明提供一種影像擷取方法及影像擷取設備，可對目標進行影像擷取。
本發明的影像擷取方法包括以下步驟。於第一時間點，藉由一第一影像擷取裝置擷取一待觀測區域的一待觀測區域影像。於第一時間點之後的一第二時間點，接收一控制訊號，控制訊號對應於待觀測區域影像中的一局部區域。藉由一處理單元計算出第一時間點的第一影像擷取裝置與第二時間點的第二影像擷取裝置的一相對位移關係及一相對轉動關係的至少其中之一。藉由處理單元依據控制訊號計算出局部區域相對於第一影像擷取裝置的一第一立體座標值，並依據相對位移關係及相對轉動關係的至少其中之一將第一立體座標值轉換為相對於第二影像擷取裝置的一第二立體座標值。藉由一驅動單元依據第二立體座標值驅動第二影像擷取裝置以一轉動量轉動。藉由第二影像擷取裝置擷取局部區域的一局部區域影像。
在本發明的一實施例中，上述的第一影像擷取裝置及第二影像擷取裝置裝載於一飛行載具上，計算出相對位移關係及相對轉動關係的至少其中之一的步驟包括：依據第一影像擷取裝置與第二影像擷取裝置在飛行載具上的相對位置與相對角度的至少其中之一以及飛行載具從第一時間點至第二時間點產生的移動量與轉動量的至少其中之一而計算出相對位移關係及相對轉動關係的至少其中之一。
在本發明的一實施例中，上述的第一影像擷取裝置裝載於飛行載具的一主體上，第二影像擷取裝置裝載於飛行載具的一穩態裝置上，穩態裝置適於依據主體的部分轉動量而產生一補償轉動量，其中計算出相對位移關係及相對轉動關係的至少其中之一的步驟更包括：依據補償轉動量而計算出相對位移關係及相對轉動關係。
在本發明的一實施例中，上述的計算出第一立體座標值的步驟包括：預估在第一時間點的第一影像擷取裝置與局部區域中的點在垂直於待觀測區域影像所在的平面座標系的軸線上的距離為預估距離值。依據預估距離值及局部區域中的點在平面座標系中的平面座標值計算出局部區域中的點相對於第一影像擷取裝置的第一立體座標值。
在本發明的一實施例中，上述的影像擷取方法更包括一影像比對步驟，影像比對步驟包括：藉由一第一影像暫存單元儲存第一時間點的待觀測區域影像，並藉由一第二影像暫存單元儲存第二時間點的局部區域影像。藉由處理單元判斷第一影像暫存單元中的待觀測區域影像與第二影像暫存單元中的第二時間點的局部區域影像的影像關聯性是否大於一閾值。
在本發明的一實施例中，上述的影像擷取方法更包括一修正步驟，其中修正步驟包括：當第一影像暫存單元中的待觀測區域影像與第二影像暫存單元中的第二時間點的局部區域影像的影像關聯性小於閾值時，藉由處理單元依據預估距離值。依據修正後的預估距離值及平面座標值修正第一立體座標值。依據修正後的第一立體座標值修正第二立體座標值。藉由處理單元依據修正後的第二立體座標判斷一修正轉動量，並指示驅動單元依據修正轉動量轉動第二影像擷取裝置。
在本發明的一實施例中，上述的影像擷取方法更包括：於第三時間點，藉由第二影像擷取裝置擷取局部區域的另一局部區域影像。藉由第一影像暫存單元儲存局部區域影像，藉由第二影像暫存單元儲存另一局部區域影像。藉由處理單元計算出第二時間點的第二影像擷取裝置與第二時間點之後的第三時間點的第二影像擷取裝置的另一影像關聯性以計算另一相對位移關係及另一相對轉動關係的至少其中之一。藉由處理單元判斷第一影像暫存單元中的局部區域影像與第二影像暫存單元中的另一局部區域影像的影像關聯性是否大於閾值。藉由處理單元依據第二影像擷取裝置的另一相對位移關係及另一相對轉動關係的至少其中之一，以及依據第一影像暫存單元中的局部區域影像與第二影像暫存單元中的另一局部區域影像的影像關聯性是否大於閾值，判斷另一修正轉動量，指示驅動單元依據另一修正轉動量轉動第二影像擷取裝置。
在本發明的一實施例中，上述的影像擷取方法更包括一修正步驟，其中修正步驟包括：當第一影像暫存單元中的待觀測區域影像與第二影像暫存單元中的第二時間點的局部區域影像的影像關聯性大於或等於閾值時，藉由處理單元計算待觀測影像及局部區域影像的一中心偏移以判斷修正轉動量，並指示驅動單元依據修正轉動量轉動第二影像擷取裝置。
在本發明的一實施例中，上述的計算出第一立體座標值的步驟包括：藉由處理單元依據局部區域在一平面座標系中的一平面座標值計算出局部區域相對於第一影像擷取裝置的第一立體座標值。
在本發明的一實施例中，上述的控制訊號包括對應於第一時間點的時間戳及局部區域之影像特徵。
本發明的影像擷取設備包括一第一影像擷取裝置、一第二影像擷取裝置、一處理單元及一驅動單元。第一影像擷取裝置適於於一第一時間點擷取一待觀測區域的一待觀測區域影像。處理單元適於計算出第一時間點的第一影像擷取裝置與第二時間點的第二影像擷取裝置的一相對位移關係及一相對轉動關係的至少其中之一，處理單元適於於第一時間點之後的一第二時間點接收一控制訊號，控制訊號對應於待觀測區域影像中的一局部區域，處理單元適於依據控制訊號計算出局部區域相對於第一影像擷取裝置的一第一立體座標值並依據相對位移關係及相對轉動關係的至少其中之一將第一立體座標值轉換為相對於在第二時間點的第二影像擷取裝置的一第二立體座標值。驅動單元適於依據第二立體座標值驅動第二影像擷取裝置以一轉動量轉動，其中，於驅動單元驅動第二影像擷取裝置以轉動量轉動後，第二影像擷取裝置適於擷取局部區域的一局部區域影像。
在本發明的一實施例中，上述的影像擷取設備包括一飛行載具，其中第一影像擷取裝置及第二影像擷取裝置裝載於一飛行載具上，處理單元適於依據第一影像擷取裝置與第二影像擷取裝置在飛行載具上的相對位置與相對角度的至少其中之一以及飛行載具從第一時間點至第二時間點產生的移動量與轉動量的至少其中之一而計算出相對位移關係及相對轉動關係的至少其中之一。
在本發明的一實施例中，上述的飛行載具包括一主體及一穩態裝置，第一影像擷取裝置裝載於主體上，第二影像擷取裝置裝載於穩態裝置上，穩態裝置適於依據主體的部分轉動量而產生一補償轉動量，其中處理單元適於依據補償轉動量而計算出相對位移關係及相對轉動關係的至少其中之一。
在本發明的一實施例中，上述的處理單元適於預估在第一時間點的第一影像擷取裝置與局部區域中的點在垂直於待觀測區域影像所在的平面座標系的軸線上的距離為預估距離值，且適於依據預估距離值及局部區域中的點在平面座標系中的平面座標值計算出局部區域中的點相對於第一影像擷取裝置的第一立體座標值。
在本發明的一實施例中，上述的影像擷取設備更包括一第一影像暫存單元及一第二影像暫存單元，其中第一影像暫存單元適於儲存第一時間點的待觀測區域影像，第二影像暫存單元適於儲存第二時間點的局部區域影像，處理單元適於判斷第一影像暫存單元中的待觀測區域影像與第二影像暫存單元中的第二時間點的局部區域影像的影像關聯性是否大於一閾值。
在本發明的一實施例中，當第一影像暫存單元中的待觀測區域影像與第二影像暫存單元中的第二時間點的局部區域影像的影像關聯性小於閾值時，上述的處理單元適於依據比對結果修正預估距離值，適於依據修正後的預估距離值及平面座標值修正第一立體座標值，且適於依據修正後的第一立體座標值修正第二立體座標值，且處理單元適於依據修正後的第二立體座標判斷修正轉動量，且驅動單元適於依據修正轉動量轉動第二影像擷取裝置。
在本發明的一實施例中，於第三時間點，上述的第二影像擷取裝置適於擷取局部區域的另一局部區域影像，第一影像暫存單元適於儲存局部區域影像，第二影像暫存單元適於儲存另一局部區域影像，處理單元適於計算出第二時間點的第二影像擷取裝置與第二時間點之後的第三時間點的第二影像擷取裝置的另一相對位移關係及另一相對轉動關係的至少其中之一，處理單元適於判斷第一影像暫存單元中的局部區域影像與第二影像暫存單元中的另一局部區域影像的影像關聯性是否大於閾值，處理單元適於依據第二影像擷取裝置的另一相對位移關係及另一相對轉動關係的至少其中之一，以及依據該第一影像暫存單元中的該局部區域影像與該第二影像暫存單元中的該另一局部區域影像的影像關聯性是否大於該閾值，判斷另一修正轉動量，進而指示驅動單元依據另一修正轉動量轉動第二影像擷取裝置。
在本發明的一實施例中，當第一影像暫存單元中的待觀測區域影像與第二影像暫存單元中的第二時間點的局部區域影像的影像關聯性大於或等於閾值時，上述的處理單元適於計算待觀測影像及局部區域影像的一中心偏移以判斷修正轉動量，且驅動單元適於依據修正轉動量轉動第二影像擷取裝置。
在本發明的一實施例中，上述的處理單元適於依據局部區域在一平面座標系中的一平面座標值計算出局部區域相對於第一影像擷取裝置的第一立體座標值。
在本發明的一實施例中，上述的控制訊號包括對應於第一時間點的時間戳及局部區域之影像特徵。
基於上述，本發明將第二時間點的第二影像擷取裝置相對於第一時間點的第一影像擷取裝置所產生的位移量及/或轉動量作為參數，利用此參數來推算欲觀測目標(即所述局部區域)在空間中的立體座標值，以補償從第一時間點至第二時間點的時間長度(例如為傳輸控制訊號的時間延遲)產生的所述位移量及/或轉動量所導致的立體座標值的誤差。藉此，不論是風力等環境因素或機械震動等影像擷取設備之自身因素導致的非預期的位移量及/或轉動量，皆可獲得修正而不致影響影像擷取位置的正確性。
圖1是本發明一實施例的影像擷取系統的方塊示意圖。圖2是圖1的影像擷取設備的側視示意圖。請參考圖1及圖2，本實施例的影像擷取系統100包括一操作裝置110及一影像擷取設備120。在一實施例中，影像擷取設備120是一無人載具，例如無人飛行載具(Unmanned Aerial Vehicle，UAV)、無人車、機器人或一機械設備，在另一實施例中，影像擷取設備120是一可移動或不可移動之設備。在一實施例中，操作裝置110例如由遠端裝置所實施，遠端裝置例如為電腦、伺服器或遙控裝置，可以包括一螢幕，可顯示影像擷取設備120所擷取的影像及/或影像中的局部區域；在一實施例中，遠端設備也可用以遠端操控影像擷取設備120。在一實施例中，影像擷取設備120與遠端設備位於不同位置或地點，但本發明並不對此做限制。在另一實施例中，影像擷取設備120與遠端設備也可位於相同位置或地點。影像擷取設備120包括一主體121、一第一影像擷取裝置122、一第二影像擷取裝置123、一處理單元124、一驅動單元125及一慣性感測裝置126。
第一影像擷取裝置122例如是一廣角攝影機且裝載於主體121上，用以擷取待觀測區域的廣角影像。此廣角影像透過配置於主體121上的處理單元124而以影像訊號IS傳遞至操作裝置110。在一實施例中，主體121為剛體的主體，不易或不會發生形變。在一實施例中，影像訊號IS是以無線通訊的方式傳遞至操作裝置110。在一實施例中，使用者可在操作裝置110所顯示的廣角影像中選取欲觀測目標(或是由操作裝置110依設定或影像比對選取欲觀測目標)，操作裝置110隨之產生相關於欲觀測目標的指令，此指令以控制訊號CS的形式傳遞至處理單元124，在一實施例中，控制訊號CS是以無線通訊的方式傳遞至處理單元124。處理單元124依據所述指令執行相關於第一影像擷取裝置122及第二影像擷取裝置123的位移量及/或轉動量之運算後，據以控制第二影像擷取裝置123轉向以正確地朝向欲觀測目標，所述指令包含對應於廣角影像之時間點的時間戳、欲觀測目標(即後述的局部區域A)之影像特徵、座標及/或範圍。處理單元124可包含具有訊號收發、運算、資訊儲存等功能的電路及電性元件，在一實施例中，處理單元124包括一處理器、一無線收發器及/或一控制電路，本發明不對處理單元124的組成及形式加以限制。
第二影像擷取裝置123例如是一望遠攝影機且裝載於驅動單元125上，用以依據處理單元124基於控制訊號CS之指令所進行的運算結果轉向對應於待觀測區域，並對待觀測區域中的欲觀測目標擷取聚焦影像。在一實施例中，慣性感測裝置126用以感測主體121的移動量及/或轉動量，例如用以感測無人機的主體121在滯空過程中因風力或機械震動等因素所產生的移動量及/轉動量。驅動單元125例如是連接於主體121的一穩態裝置，且適於依據主體121的所述移動量及/或所述轉動量而產生一補償移動量及/或一補償轉動量，使第二影像擷取裝置123能夠持續朝向欲觀測目標；在一實施例中，慣性感測裝置126及/或驅動單元125可以整合為一裝置，在一實施例中，慣性感測裝置126及/或驅動單元125例如是一穩態雲台。在一實施例中，慣性感測裝置126可設置於主體121上，且透過線路耦接於處理單元124。
以下以圖1的影像擷取系統100中的影像擷取設備120為例，對本發明一實施例的影像擷取方法進行說明。圖3A是本發明一實施例的一影像擷取方法的流程圖，此影像擷取方法可藉由圖1中所繪示的影像擷取設備120來執行。請參考圖3A，首先，於一第一時間點，影像擷取設備120藉由第一影像擷取裝置122擷取待觀測區域的一待觀測區域影像I1(步驟S1)。於第一時間點之後的一第二時間點，藉由處理單元124接收控制訊號CS(步驟S2)。藉由處理單元124計算出第一時間點的第一影像擷取裝置122與第二時間點的第二影像擷取裝置123的一相對位移關係及/或一相對轉動關係(步驟S3)。藉由處理單元124依據局部區域A在待觀測區域影像I1中的一平面座標系TC中的一平面座標值(u, v)計算出局部區域A相對於第一影像擷取裝置122的一第一立體座標值(步驟S4)。藉由處理單元124依據所述相對位移關係及/或所述相對轉動關係將所述第一立體座標值轉換為相對於第二影像擷取裝置123的一第二立體座標值(步驟S5)。藉由驅動單元125依據所述第二立體座標驅動第二影像擷取裝置123以一轉動量轉動，以使局部區域A進入第二影像擷取裝置123的視野中(步驟S6)。藉由第二影像擷取裝置123擷取局部區域A的一局部區域影像I2(步驟S7)。
詳細而言，在步驟S1中，處理單元124將第一影像擷取裝置122所拍攝的待觀測區域影像I1及對應於待觀測區域影像I1之第一時間點的時間戳透過影像訊號IS傳遞至操作裝置110。在一實施例中，影像擷取設備120擷取待觀測區域影像(或是每擷取一待觀測區域影像，或是每隔一特定時間)後，將對應的時間戳、慣性感測裝置126感測到的移動量及/或轉動量、驅動單元125的補償移動量及/或補償轉動量，以及/或是影像擷取設備120的位置及/或方向儲存於影像擷取設備120的儲存裝置(未繪示)，儲存裝置例如是非揮發性記憶體(例如硬碟或固態硬碟)或是揮發性記憶體(例如隨機存取記憶體或暫存器)。
在步驟S2中，操作裝置110回傳對應於影像訊號IS的控制訊號CS，影像擷取設備120的處理單元124接收控制訊號CS。控制訊號CS對應於待觀測區域影像I1中欲觀測的局部區域A的訊號，在一實施例中，控制訊號CS是使用者透過操作裝置110針對待觀測區域影像I1中欲觀測的局部區域A進行選取所產生的相對應訊號，控制訊號CS包含局部區域A之影像特徵、座標及/或範圍，以及對應第一時間點的時間戳。處理單元124可依據控制訊號CS的資訊獲得局部區域A的影像特徵、座標及/或範圍，以及對應第一時間點之待觀測區域影像I1的拍攝時間點。在一實施例中，於第一時間點擷取到待觀測區域影像I1，經過傳送至操作裝置110的時間延遲、選取局部區域的所花費的時間、再傳送控制訊號CS給影像擷取設備120，影像擷取設備120於第二時間點接收到控制訊號CS。
在步驟S3中，處理單元124依據控制訊號CS中的對應第一時間點的時間戳判斷出第一時間點，進而判斷第一時間點的第一影像擷取裝置122到第二時間點的第二影像擷取裝置123的位移量及/或轉動量。請參考圖4，圖4繪示圖2的影像擷取設備120從第一時間點至第二時間點產生位移及/或轉動，其中虛線部分對應於第一時間點，實線部分對應於第二時間點，第二時間點晚於第一時間點。從第一時間點至第二時間點，影像擷取設備120可能因風力或機械震動等因素而產生位移量及/或轉動量，驅動單元125可如圖4所繪示相應地驅動第二影像擷取裝置123移動及/或轉動，以補償所述位移量及/或轉動量。在另一實施例中，影像擷取設備120也可能因飛行而產生位移量及/或轉動量。因此，第二時間點的第二影像擷取裝置123相對於第一時間點的第一影像擷取裝置122具有位移量及/或轉動量，而處理單元124可用以依據慣性感測裝置126的感測而計算出此位移量及/或轉動量。
請參考圖5，圖5繪示圖1的操作裝置110的螢幕所顯示的畫面。在此實施例中，操作裝置110的螢幕顯示有待觀測區域影像I1、局部區域A及局部區域影像I2。使用者依據第一影像擷取裝置122在第一時間點的所拍攝的待觀測區域影像I1選取欲觀察的局部區域A以產生相對應的控制訊號CS。影像擷取設備120在第二時間點接收到控制訊號CS，再透過第二影像擷取裝置123在第二時間點擷取包含欲觀察的局部區域A的影像特徵的影像。在一實施例中，從第一時間點到第二時間點，影像擷取設備120上述段落產生位移量及/或轉動量，另外，由於使用者是基於據第一影像擷取裝置122拍攝的影像來透過第二影像擷取裝置123進行拍攝，第一時間點的第一影像擷取裝置122及第二時間點的第二影像擷取裝置123兩者之間會具有相對位移關係T及相對轉動關係R。在一實施例中，相對位移關係T包含有相對位置Ts及動態位移Td，相對轉動關係R包含有相對角度Rs及動態相對角度Rd。相對位置Ts及相對角度Rs可為第一影像擷取裝置122與第二影像擷取裝置123兩者的靜態相對關係。其例如是在主體121為水平狀態且第二影像擷取裝置123為置中狀態時，使第一影像擷取裝置122與第二影像擷取裝置123拍攝同一校正圖樣並計算比對而獲得。換言之，相對位置Ts及相對角度Rs可為第一影像擷取裝置122與第二影像擷取裝置123在沒有進行轉動時，兩者在設置位置上的靜態位置差以及拍攝角度差。動態位移Td與動態相對角度Rd可為影像擷取設備120的動態位移量及動態轉動量，其例如是根據影像擷取設備120對應於所述第一時間點的時間戳、位置及角度與影像擷取設備120對應於所述第二時間點的時間戳、位置及角度之相對關係而獲得。在一實施例中，動態位移Td與動態相對角度Rd可為第一影像擷取裝置122與第二影像擷取裝置123在第一時間點至第二時間點之間，主體121的動態位置差以及拍攝角度差。例如影像擷取設備120的位置偏移，或是由於風力所造成影像擷取設備120的傾斜。在一實施例中，處理單元124除了可判斷主體121的動態相對角度Rd之外，亦可判斷在第一時間點至第二時間點由驅動單元125補償主體121的部分轉動量所產生的補償轉動量Rc。例如，穩態雲台為了穩定拍攝畫面而自動依據感測到的位移量及/或轉動量所產生的轉動。
在一實施例中，根據第一時間點的時間戳，處理單元124可取得第一影像擷取裝置122在第一時間點拍攝的影像。在一實施例中，根據第一時間點的時間戳，影像擷取設備120藉由處理單元124從儲存裝置讀取對應自第一時間點的慣性感測裝置126感測到的移動量及/或轉動量，以及/或是影像擷取設備120的位置及/或方向，並根據第二時間點的時間戳從儲存裝置讀取對應第二時間點的慣性感測裝置126感測到的移動量及/或轉動量，以及/或是影像擷取設備120的位置及/或方向，以計算累計出第一時間點的第一影像擷取裝置122與第二時間點的第二影像擷取裝置123的一相對位移關係及/或一相對轉動關係。舉例而言，處理單元124可透過積分計算的方式來計算出第一時間點的第一影像擷取裝置122與第二時間點的第二影像擷取裝置123的一相對位移關係及/或一相對轉動關係。在一實施例中，第二時間點為影像擷取設備120的目前時間，則可使用目前的慣性感測裝置126感測到的移動量及/或轉動量，以及/或是影像擷取設備120的位置及/或方向。在一實施例中，第一時間點的第一影像擷取裝置122及第二時間點的第二影像擷取裝置123兩者之間的相對位移關係T及相對轉動關係R可透過下列式(1)及式(2)計算而產生。
Figure 02_image001
……..式(1)
Figure 02_image003
........式(2)
在步驟S4中，處理單元124依據控制訊號CS計算使用者欲觀察的局部區域A相對於第一影像擷取裝置122的距離。在一實施例中，控制訊號CS包含使用者所選取欲觀察的局部區域A在待觀測區域影像I1的座標及/或範圍，處理單元124可依據控制訊號CS判斷局部區域A在第二時間點相對於第二影像擷取裝置123的空間座標。
圖6繪示圖5的待觀測區域影像I1中的平面座標與立體空間的關係。圖6中的位置P1表示第一影像擷取裝置122的一點(例如中心或幾何中心)於第一時間點在空間中的位置，位置P2表示局部區域A的一點(例如中心或幾何中心)在空間中的位置，位置P3表示第二影像擷取裝置123的一點(例如中心或幾何中心)於第二時間點在空間中的位置。對應於位置P2的局部區域A的一點在平面座標系TC的座標為位置(u, v)，在一實施例中，控制訊號CS包含位置(u, v)。在一實施例中，處理單元124預估第一影像擷取裝置122的位置P1與局部區域A的位置P2在垂直於平面座標系TC(即圖6中的由軸線X及軸線Y定義的平面座標系)的一軸線(例如光軸OA)上的距離為一預估距離值D，並依據預估距離值D及位置(u, v)以下列式(3)計算出局部區域A的一點(例如位置P2)相對於在第一時間點的第一影像擷取裝置122的一第一立體座標值P”。在式(3)中，x、y、z表示第一立體座標值P”的值。圖6之空間座標以P1為原點，光軸為座標軸中心，在此實施例中，影像座標以影像左上角為原點，cx 、cy 為第一影像擷取裝置122的內部參數，其分別表示第一影像擷取裝置122的水平方向中心點座標及垂直方向中心點座標，也就是光軸OA在平面座標系TC中的座標值，fx 、fy 為第一影像擷取裝置122的內部參數，其表示第一影像擷取裝置122的分別在X軸與Y軸的焦距，z表示垂直於平面座標系TC的方向，而預估距離值D為位置P2與位置P1間在z方向上的距離。簡言之，在步驟S4中，處理單元124依據位置(u, v)計算局部區域A的一點(例如位置P2)相對於在第一時間點的第一影像擷取裝置122的一第一立體座標值P”。
Figure 02_image005
……..式(3)
在步驟S5中，例如是以下列式(4)將相對於在第一時間點的第一影像擷取裝置122的第一立體座標值P”轉換為相對於在第二時間點的第二影像擷取裝置123的第二立體座標值P’。從而可依據此第二立體座標值P’驅動驅動單元125使第二影像擷取裝置123轉動而使局部區域A進入第二影像擷取裝置123的視野中，進而利用第二影像擷取裝置123擷取局部區域A的局部區域影像I2。其中，在式(4)中的相對位移關係T及相對轉動關係R可為在步驟S3中透過式(1)及式(2)所計算的第一時間點的第一影像擷取裝置122與第二時間點的第二影像擷取裝置123之間的位移量及/或轉動量，處理單元124透過式(4)的轉換，可將局部區域A的一點(例如位置P2)相對於在第一時間點的第一影像擷取裝置122的第一立體座標值P”進行換算以取得局部區域A的一點(例如位置P2)相對於在第二時間點的第二影像擷取裝置123的第二立體座標值P’。
Figure 02_image007
……..式(4)
在步驟S6中，藉由處理單元124指示驅動單元125，使驅動單元125依據步驟S1~S5的計算結果進行轉動，局部區域A可因此進入第二影像擷取裝置123的視野中。
在步驟S7中，藉由第二影像擷取裝置123來擷取包含部分或全部局部區域A的局部區域影像I2。在一實施例中，局部區域影像I2可以包括一部分的局部區域A的影像(例如局部區域A的左半部或下半部影像，或是局部區域A的中間區域影像)，也可以包括局部區域A的全部影像(例如與局部區域A的影像一致，或是包括局部區域A及局部區域A外部的影像)。根據本發明之一實施例，可準確擷取欲觀測目標之影像。在一實施例中，在如上述般使局部區域A進入第二影像擷取裝置123的視野中之後，更可在不使局部區域A從第二影像擷取裝置123的視野移出的前提下，縮小第二影像擷取裝置123的視野，以盡可能地聚焦於局部區域A。此外，更可將其他可能影響影像擷取之準確性的因素納入考量而對所述第二立體座標值P”進行進一步的修正，本發明不對此加以限制。舉例來說，所述影響影像擷取之準確性的因素例如是因使用魚眼鏡頭而導致的鏡頭徑向失真及切向失真。
請參考圖3B，圖3B是本發明一實施例的另一影像擷取方法的流程圖，此影像擷取方法可藉由圖1中所繪示的影像擷取系統100執行。圖3B相似於圖3A，相同步驟及元件延用相同的符號進行標示。圖3B中所繪示的影像擷取方法除了包含有藉由影像擷取設備120所執行的步驟S1~S7之外，在步驟S1及步驟S2之間並包含藉由操作裝置110執行的步驟S101~S103。
在步驟S101中，操作裝置110接收到由影像擷取設備120所傳遞的影像訊號IS，其中影像訊號IS包含在第一時間點由第一影像擷取裝置122所拍攝的待觀測區域影像I1及相對應第一時間點的時間戳。在步驟S102中，透過操作裝置110或操作裝置110的螢幕在待觀測區域影像I1中選取待觀測區域的一局部區域A，並產生相應的控制訊號CS。控制訊號CS包含所選取的局部區域A的影像特徵、座標及/或範圍以及相對應第一時間點的時間戳。在步驟S103中，操作裝置110傳遞控制訊號CS至第二影像擷取裝置123。因此，在後續的步驟S2~S7中，影像擷取設備120可接收到由操作裝置110所傳遞的控制訊號CS並進行相對應的後續操作。
在一實施例中，上述步驟S4中的預估距離值D可能因預估誤差而導致據以計算出的第二立體座標值P’不準確。在一實施例中，更可藉由影像比對步驟判斷預估距離值D及/或第二立體座標值P’是否正確，並藉由修正步驟修正預估距離值D及/或第二立體座標值P’。
圖7是本發明一實施例的影像擷取方法的流程圖，在一實施例中，圖7可接續於圖3A及/或圖3B的步驟S7之後。圖8是圖1的影像擷取設備的部分構件方塊示意圖。在一實施例中，第一影像暫存單元及/或第二影像暫存單元128可以在儲存裝置中，也可以獨立於儲存裝置之外。請參考圖7及圖8，藉由影像擷取設備120的一第一影像暫存單元127儲存待觀測區域影像I1，並藉由影像擷取設備120的一第二影像暫存單元128儲存第二時間點的局部區域影像I2(步驟S8)；在一實施例中，第一影像暫存單元127儲存待觀測區域影像I1及觀測區域影像中局部區域A的座標及/或範圍；在一實施例中，第一影像暫存單元127儲存局部區域A的內容。藉由處理單元124判斷第一影像暫存單元127儲存的影像與第二影像暫存單元128儲存的影像之影像關聯性是否大於一閾值(步驟S9)。在一實施例中，若處理單元124判斷第一影像暫存單元127儲存的影像與第二影像暫存單元128儲存的影像之影像關聯性大於或等於閾值，則判斷預估距離值D及/或第二立體座標值P’接近實際距離值，則藉由處理單元124計算第一影像暫存單元127儲存的影像與第二影像暫存單元128儲存的影像的中心偏移來判斷第二影像擷取裝置123的修正轉動量(步驟S10)，若第一影像暫存單元127儲存的影像與第二影像暫存單元128儲存的影像之影像關聯性低於閾值，則判斷預估距離值D及/或第二立體座標值P’偏離實際距離值，則藉由處理單元124修正預估距離值D來判斷第二影像擷取裝置123的修正轉動量(步驟S11)。
藉由處理單元124依據第二影像擷取裝置123的修正轉動量，控制第二影像擷取裝置123進行轉向及/或進行變焦(步驟S12)。藉由處理單元124更新第一影像暫存單元及/或第二影像暫存單元128(步驟S13)。
在一實施例中，在步驟S9中，處理單元124可針對第一影像暫存單元127儲存的影像與第二影像暫存單元128儲存的影像進行影像比對步驟，判斷兩者的影像關聯性是高或低。在一實施例中，處理單元124可判斷兩者的影像關聯性是否大於或等於閾值，或者小於閾值。舉例而言，當第一影像暫存單元127儲存待觀測區域影像I1且第二影像暫存單元128儲存局部區域影像I2時，處理單元124可判斷待觀測區域影像I1的局部區域A及局部區域影像I2的影像關聯性是否大於或等於閾值。
在一實施例中，處理單元124判斷第一影像暫存單元127中的待觀測區域影像I1與第二影像暫存單元128中的局部區域影像I2之影像關聯性的做法是，於第二影像暫存單元128中的局部區域影像I2以一搜尋窗格尋找與待觀測區域影像I1的局部區域A影像關聯性大於閥值的區域及其座標(例如中心座標)，並藉由判斷搜尋到的座標於局部區域影像I2中心的偏移判斷預估距離值D與實際值的偏差。
在步驟S10中，處理單元124可依據第一影像暫存單元127儲存的影像與第二影像暫存單元128儲存的影像的影像關聯性的比對結果進行修正步驟。舉例而言，當第一影像暫存單元127儲存待觀測區域影像I1且第二影像暫存單元128儲存局部區域影像I2，且處理單元124判斷待觀測區域影像I1與局部區域影像I2的影像關聯性大於或等於閾值時，透過判斷於局部區域影像I2搜尋到的局部區域A(例如與待觀測區域影像I1的局部區域A影像關聯性大於閥值的區域)的中心座標與局部區域影像I2的畫面中心的偏差來判斷修正轉動量。或者，在另一實施例中，處理單元124透過判斷在待觀測區域影像I1影像特徵的位置與局部區域影像I2中影像面積的比例大小來判斷修正轉動量。
在步驟S11中，處理單元124可依據影像關聯性的比對結果進行修正步驟。舉例而言，當第一影像暫存單元127儲存待觀測區域影像I1且第二影像暫存單元128儲存局部區域影像I2時，且處理單元124判斷待觀測區域影像I1與局部區域影像I2的影像關聯性低於閾值時，則藉由處理單元124修正預估距離值D，依據修正後的預估距離值及平面座標值修正第一立體座標值P”，並依據修正後的第一立體座標值P”修正第二立體座標值P’，藉由處理單元124依據修正後的第二立體座標P’判斷修正轉動量，並指示驅動單元126依據修正轉動量轉動。關於處理單元124修正預估距離值的細節，其可透過多種不同的方式來進行修正，本發明不以此為限。在一實施例中，在修正轉動量之後重新取得局部區域影像I2並重複步驟S9中計算第一影像暫存單元127所儲存的影像與第二影像暫存單元128，兩者的影像關聯性計算，直到能夠在局部區域影像I2的搜尋窗格中尋找到關聯性大於閥值的區域。處理單元124可依據最後使用的轉動量、於I2中找到的關聯區域的中心座標偏移，修正估算的距離與前述第一影像擷取裝置122與第二時間點的第二影像擷取裝置123之間的位移量及/或轉動量。在一實施例中，處理單元124是利用三維重建(3D Reconstruction)領域中的相關技術來修正預估距離值D。舉例而言，處理單元124可透過修正立體影像(stereo image)估算技術、影像測程(video odometry)技術、運動求取結構(structure from motion、SfM)技術、延伸型卡曼濾波(extended Kalman filtering)技術、視覺式同步定位與建構地圖(visual slam)技術的多者或任一來修正預估距離值D與預估位移量及/或轉動量。在一實施例中，處理單元124可依據多個不同的預估距離值代入如圖3A中所繪示的步驟S4中修正第一立體座標值P”，再將修正後的第一立體座標值P”代入如圖3A中所繪示的步驟S5修正第二立體座標值P’，以判斷相對應多個預估距離值的多個第二立體座標值P’。進一步，處理單元124可依據待觀測區域影像I1與局部區域影像I2的影像關聯性判斷比對結果接近哪一組第二立體座標值P’的座標範圍，並以逼近的方式判斷出經修正的第二立體座標值P’，據此判斷出第二影像擷取裝置123的修正轉動量。在一實施例中，亦可能是待觀測區域影像I1與局部區域影像I2兩個影像的拍攝角度差距過大，造成影像關聯性低。因此，處理單元124亦可透過依據多個不同的預設轉動量控制驅動單元125進行轉動，並在每個預設轉動量拍攝相對應的局部區域影像I2，直到影像關聯性大於或等於閾值。在一實施例中，亦可能是第二影像擷取裝置123的焦距倍率差距過大，造成影像關聯性低。因此，處理單元124亦可透過依據多個不同的預設焦距控制第二影像擷取裝置123進行對焦，並在每個預設焦距調整後拍攝相對應的局部區域影像I2，直到影像關聯性大於或等於閾值。在一實施例中，處理單元124可透過視覺慣性測程(visual inertial odometry)技術，代入如圖3A中所繪示的步驟S3~S5來修正動態位移Td、動態相對角度Rd及/或補償轉動量Rc後，進而判斷出經修正的第二立體座標值，並據此修正預估距離值。因此，處理單元124可在步驟S11中修正預估距離值，再據此判斷出第二影像擷取裝置123的修正轉動量。
在另一實施例中，步驟S10及步驟S11不僅限於擇一進行的方式。處理單元124可同時或先後進行步驟S10及步驟S11，以透過不同方式同時計算第二影像擷取裝置123的修正轉動量。
接著，藉由處理單元124依據修正轉動量指示驅動單元125進行轉動以及/或是調整第二影像擷取裝置123的焦距(步驟S12)。詳細而言，處理單元124會依據在步驟S10及/或S1中所判斷的第二影像擷取裝置123的修正轉動量，指示驅動單元125進行轉動並拍攝經修正影像I3(未繪示於本案圖示中)，進而判斷第二影像擷取裝置123的焦距。關於處理單元124判斷第二影像擷取裝置123的焦距的細節，其可透過多種不同的方式來進行修正，本發明不以此為限。在一實施例中，處理單元124可判斷局部區域A在待觀測區域影像I1中的面積與局部區域A在經修正影像I3中的面積，依據兩者的比例判斷第二影像擷取裝置123的焦距。在一實施例中，處理單元124可依據經修正的預估距離值及經修正的第二立體座標值來判斷第二影像擷取裝置123的焦距。
最後，在步驟S13中，處理單元124可更新第一影像暫存單元127及/或第二影像暫存單元128中所儲存的資料，來進行下次的影像擷取操作。在一實施例中，處理單元124可針對局部區域A進行變焦操作。為了取得局部區域A的變焦影像，處理單元124會更新第一影像暫存單元127及/或第二影像暫存單元128。詳細而言，處理單元124可將原本儲存在第二影像暫存單元128的局部區域影像I2儲存到第一影像暫存單元127，且將當前(例如第二時間點之後的第三時間點)第二影像擷取裝置123所擷取到的影像儲存在第二影像暫存單元128。舉例而言，第二影像擷取裝置123在第三時間點針對局部區域A可為倍率更高的影像，透過遞迴進行步驟S9~S13，可較佳地針對欲觀察的局部區域A取得不同倍率及不同拍攝角度的影像。在一實施例中，處理單元124可依據時間變化以及慣性感測裝置126感測到主體121的移動量及/或轉動量，並依據如圖3A中所繪示的步驟S3~S5來判斷出相對應的第二立體座標值。在處理器124更新第一影像暫存單元127及/或第二影像暫存單元128後，影像擷取設備120可執行步驟S9~13，以依據第一影像暫存單元127儲存的影像與第二影像暫存單元128儲存的影像，判斷第二影像擷取裝置123在第二時間點所擷取到的影像以及第二影像擷取裝置123在第三時間點所擷取到的影像，兩者的影像關聯性是否大於閾值。據此，影像擷取設備120可透過步驟S10及/或步驟S11判斷第二影像擷取裝置123的修正轉動量，並透過步驟S12針對欲觀察的相同或不同區域進行拍攝。在一實施例中，處理單元124可在判斷經過一預設間隔時間時，更新第一影像暫存單元127及/或第二影像暫存單元128。在一實施例中，處理單元124可在慣性感測裝置126感測到主體121的移動量及/或轉動量大於預設移動量及/或預設轉動量時，更新第一影像暫存單元127及/或第二影像暫存單元128。簡言之，透過上述更新第一影像暫存單元127及第二影像暫存單元128的操作，可使影像擷取設備120連續地針對使用者所選擇的待觀測區域影像I1的局部區域A進行拍攝，使用者可持續地針對局部區域A進行觀測。或者，影像擷取設備120可依據使用者指示對局部區域A進行聚焦，讓使用者以更清晰的局部區域A影像進行觀測。
在一實施例中，第一影像暫存單元127及第二影像暫存單元128可被處理單元124所包含，其可為記憶體或其他適當形式。此外，處理單元124更可包含分別對應於第一影像擷取裝置122的暫存空間及對應於第二影像擷取裝置123的暫存空間，分別用以儲存第一影像擷取裝置122及第二影像擷取裝置123於一時間區段內所擷取的影像。
舉例而言，處理單元124可例如包括中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、算數邏輯單元（arithmetic logic unit，ALU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。
第一影像暫存單元127及第二影像暫存單元128可以是分離設置的兩記憶裝置，或者，第一影像暫存單元127及第二影像暫存單元128可以是整合設置的單一記憶裝置。舉例而言，第一影像暫存單元127及第二影像暫存單元128可為例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，而用於儲存可由處理單元124執行的多個模組或各種應用程式。
舉例而言，慣性感測裝置126可為例如是加速度感測器、角速度感測器、磁感應感測器、加速計、三軸陀螺儀、六軸陀螺儀、磁力計或類似元件或上述元件的組合，用來感測位置與角度的變化。
100:影像擷取系統 110:操作裝置 120:影像擷取設備 121:主體 122:第一影像擷取裝置 123:第二影像擷取裝置 124:處理單元 125:驅動單元 126:慣性感測裝置 127:第一影像暫存單元 128:第二影像暫存單元 A:局部區域 cx 、cx 、u、v:座標 D:距離值 I1:待觀測區域影像 I2:局部區域影像 IS、CS:訊號 OA:光軸 P1、P2、P3:位置 S1~S13、S101~S103:步驟 TC:平面座標系 X、Y:軸線
圖1是本發明一實施例的影像擷取系統的方塊示意圖。 圖2是圖1的影像擷取設備的側視示意圖。 圖3A是本發明一實施例的一影像擷取方法的流程圖。 圖3B是本發明一實施例的另一影像擷取方法的流程圖。 圖4繪示圖2的影像擷取設備從第一時間點至第二時間點產生位移及/或轉動。 圖5繪示圖1的操作裝置的螢幕所顯示的畫面。 圖6繪示圖5的待觀測區域影像中的平面座標與立體空間的關係。 圖7是本發明一實施例的影像擷取方法的流程圖。 圖8是圖1的影像擷取設備的部分構件方塊示意圖。
S1~S7:步驟

Claims (20)

  1. 一種影像擷取方法，適用於一影像擷取設備，包括： 於一第一時間點，藉由一第一影像擷取裝置擷取一待觀測區域的一待觀測區域影像； 於該第一時間點之後的一第二時間點，接收一控制訊號，該控制訊號對應於該待觀測區域影像中的一局部區域； 藉由一處理單元計算出該第一時間點的該第一影像擷取裝置與該第二時間點的一第二影像擷取裝置的一相對位移關係及一相對轉動關係的至少其中之一； 藉由該處理單元依據該控制訊號計算出該局部區域相對於在該第一時間點的該第一影像擷取裝置的一第一立體座標值，並依據該相對位移關係及該相對轉動關係的至少其中之一將該第一立體座標值轉換為相對於在該第二時間點的該第二影像擷取裝置的一第二立體座標值； 藉由一驅動單元依據該第二立體座標值驅動該第二影像擷取裝置以一轉動量轉動；以及 藉由該第二影像擷取裝置擷取該局部區域的一局部區域影像。
  2. 如申請專利範圍第1項所述的影像擷取方法，其中該第一影像擷取裝置及該第二影像擷取裝置裝載於一飛行載具上，計算出該相對位移關係及該相對轉動關係的至少其中之一的步驟包括： 依據該第一影像擷取裝置與該第二影像擷取裝置在該飛行載具上的相對位置與相對角度的至少其中之一以及該飛行載具從該第一時間點至該第二時間點產生的移動量與轉動量的至少其中之一而計算出該相對位移關係及該相對轉動關係的至少其中之一。
  3. 如申請專利範圍第2項所述的影像擷取方法，其中該第一影像擷取裝置裝載於該飛行載具的一主體上，該第二影像擷取裝置裝載於該飛行載具的一穩態裝置上，該穩態裝置適於依據該主體的部分轉動量而產生一補償轉動量，其中計算出該相對位移關係及該相對轉動關係的至少其中之一的步驟更包括： 依據該補償轉動量而計算出該相對位移關係及該相對轉動關係的至少其中之一。
  4. 如申請專利範圍第1項所述的影像擷取方法，其中計算出該第一立體座標值的步驟包括： 預估在該第一時間點的該第一影像擷取裝置與該局部區域中的一點在垂直於該待觀測區域影像所在的一平面座標系的一軸線上的距離為一預估距離值；以及 依據該預估距離值及該局部區域中的該點在該平面座標系中的一平面座標值計算出該局部區域中的該點相對於該第一影像擷取裝置的該第一立體座標值。
  5. 如申請專利範圍第4項所述的影像擷取方法，更包括一影像比對步驟，該影像比對步驟包括： 藉由一第一影像暫存單元儲存該第一時間點的該待觀測區域影像，並藉由一第二影像暫存單元儲存該第二時間點的該局部區域影像；以及 藉由該處理單元判斷該第一影像暫存單元中的該待觀測區域影像與該第二影像暫存單元中的該第二時間點的該局部區域影像的影像關聯性是否大於一閾值。
  6. 如申請專利範圍第5項所述的影像擷取方法，更包括一修正步驟，其中該修正步驟包括： 當該第一影像暫存單元中的該待觀測區域影像與該第二影像暫存單元中的該第二時間點的該局部區域影像的影像關聯性小於該閾值時，藉由該處理單元修正該預估距離值； 依據修正後的該預估距離值及該平面座標值修正該第一立體座標值； 依據修正後的該第一立體座標值修正該第二立體座標值；以及 藉由該處理單元依據修正後的該第二立體座標判斷一修正轉動量，並指示該驅動單元依據該修正轉動量轉動該第二影像擷取裝置。
  7. 如申請專利範圍第6項所述的影像擷取方法，更包括： 於一第三時間點，藉由該第二影像擷取裝置擷取該局部區域的另一局部區域影像； 藉由該第一影像暫存單元儲存該局部區域影像，藉由該第二影像暫存單元儲存該另一局部區域影像； 藉由該處理單元計算出該第二時間點的該第二影像擷取裝置與該第二時間點之後的該第三時間點的該第二影像擷取裝置的另一相對位移關係及另一相對轉動關係的至少其中之一； 藉由該處理單元判斷該第一影像暫存單元中的該局部區域影像與該第二影像暫存單元中的該另一局部區域影像的另一影像關聯性是否大於該閾值；以及 藉由該處理單元依據該第二影像擷取裝置的該另一相對位移關係及該另一相對轉動關係的至少其中之一，以及依據該第一影像暫存單元中的該局部區域影像與該第二影像暫存單元中的該另一局部區域影像的該另一影像關聯性是否大於該閾值，判斷另一修正轉動量，指示該驅動單元依據該另一修正轉動量轉動該第二影像擷取裝置。
  8. 如申請專利範圍第4項所述的影像擷取方法，更包括一修正步驟，其中該修正步驟包括： 當該第一影像暫存單元中的該待觀測區域影像與該第二影像暫存單元中的該第二時間點的該局部區域影像的影像關聯性大於或等於該閾值時，藉由該處理單元計算該待觀測影像中的該局部區域及該局部區域影像的一中心偏移以判斷一修正轉動量，並指示該驅動單元依據該修正轉動量轉動該第二影像擷取裝置。
  9. 如申請專利範圍第1項所述的影像擷取方法，其中計算出該第一立體座標值的步驟包括： 藉由該處理單元依據該局部區域在一平面座標系中的一平面座標值計算出該局部區域相對於該第一影像擷取裝置的該第一立體座標值。
  10. 如申請專利範圍第1項所述的影像擷取方法，其中該控制訊號包括對應於該第一時間點的時間戳及該局部區域之影像特徵。
  11. 一種影像擷取設備，包括： 一第一影像擷取裝置，適於於一第一時間點擷取一待觀測區域的一待觀測區域影像； 一第二影像擷取裝置； 一處理單元，適於計算出該第一時間點的該第一影像擷取裝置與該第二時間點的該第二影像擷取裝置的一相對位移關係及一相對轉動關係的至少其中之一，該處理單元適於於該第一時間點之後的一第二時間點接收一控制訊號，該控制訊號對應於該待觀測區域影像中的一局部區域，該處理單元適於依據該控制訊號計算出該局部區域相對於在該第一時間點的該第一影像擷取裝置的一第一立體座標值並依據該相對位移關係及該相對轉動關係的至少其中之一將該第一立體座標值轉換為相對於在該第二時間點的該第二影像擷取裝置的一第二立體座標值；以及 一驅動單元，適於依據該第二立體座標值驅動該第二影像擷取裝置以一轉動量轉動， 其中，於該驅動單元驅動該第二影像擷取裝置以該轉動量轉動後，該第二影像擷取裝置適於擷取該局部區域的一局部區域影像。
  12. 如申請專利範圍第11項所述的影像擷取設備，包括一飛行載具，其中該第一影像擷取裝置及該第二影像擷取裝置裝載於一飛行載具上，該處理單元適於依據該第一影像擷取裝置與該第二影像擷取裝置在該飛行載具上的相對位置與相對角度的至少其中之一以及該飛行載具從該第一時間點至該第二時間點產生的移動量與轉動量的至少其中之一而計算出該相對位移關係及該相對轉動關係的至少其中之一。
  13. 如申請專利範圍第12項所述的影像擷取設備，其中該飛行載具包括一主體及一穩態裝置，該第一影像擷取裝置裝載於該主體上，該第二影像擷取裝置裝載於該穩態裝置上，該穩態裝置適於依據該主體的部分轉動量而產生一補償轉動量，其中該處理單元適於依據該補償轉動量而計算出該相對位移關係及該相對轉動關係的至少其中之一。
  14. 如申請專利範圍第11項所述的影像擷取設備，其中該處理單元適於預估在該第一時間點的該第一影像擷取裝置與該局部區域中的一點在垂直於該待觀測區域影像所在的一平面座標系的一軸線上的距離為一預估距離值，且適於依據該預估距離值及該局部區域中的該點在該平面座標系中的一平面座標值計算出該局部區域中的一點相對於該第一影像擷取裝置的該第一立體座標值。
  15. 如申請專利範圍第14項所述的影像擷取設備，更包括一第一影像暫存單元及一第二影像暫存單元，其中該第一影像暫存單元適於儲存該第一時間點的該待觀測區域影像，該第二影像暫存單元適於儲存該第二時間點的該局部區域影像，該處理單元適於判斷該第一影像暫存單元中的該待觀測區域影像與該第二影像暫存單元中的該第二時間點的該局部區域影像的影像關聯性是否大於一閾值。
  16. 如申請專利範圍第15項所述的影像擷取設備，其中當該第一影像暫存單元中的該待觀測區域影像與該第二影像暫存單元中的該第二時間點的該局部區域影像的影像關聯性小於該閾值時，該處理單元適於依據該比對結果修正該預估距離值，適於依據修正後的該預估距離值及該平面座標值修正該第一立體座標值，且適於依據修正後的該第一立體座標值修正該第二立體座標值，且該處理單元適於依據修正後的該第二立體座標判斷一修正轉動量，且該驅動單元適於依據該修正轉動量轉動該第二影像擷取裝置。
  17. 如申請專利範圍第16項所述的影像擷取設備，其中於一第三時間點，該第二影像擷取裝置適於擷取該局部區域的另一局部區域影像，該第一影像暫存單元適於儲存該局部區域影像，該第二影像暫存單元適於儲存該另一局部區域影像，該處理單元適於計算出該第二時間點的該第二影像擷取裝置與該第二時間點之後的該第三時間點的該第二影像擷取裝置的另一相對位移關係及另一相對轉動關係的至少其中之一，該處理單元適於判斷該第一影像暫存單元中的該局部區域影像與該第二影像暫存單元中的該另一局部區域影像的另一影像關聯性是否大於該閾值，該處理單元適於依據該第二影像擷取裝置的該另一相對位移關係及該另一相對轉動關係的至少其中之一，以及依據該第一影像暫存單元中的該局部區域影像與該第二影像暫存單元中的該另一局部區域影像的該另一影像關聯性是否大於該閾值，判斷另一修正轉動量，進而指示該驅動單元依據該另一修正轉動量轉動該第二影像擷取裝置。
  18. 如申請專利範圍第14項所述的影像擷取設備，其中當該第一影像暫存單元中的該待觀測區域影像與該第二影像暫存單元中的該第二時間點的該局部區域影像的影像關聯性大於或等於該閾值時，該處理單元適於計算該待觀測影像中的該局部區域及該局部區域影像的一中心偏移以判斷一修正轉動量，且該驅動單元適於依據該修正轉動量轉動該第二影像擷取裝置。
  19. 如申請專利範圍第11項所述的影像擷取設備，其中該處理單元適於依據該局部區域在一平面座標系中的一平面座標值計算出該局部區域相對於該第一影像擷取裝置的該第一立體座標值。
  20. 如申請專利範圍第11項所述的影像擷取設備，其中該控制訊號包括對應於該第一時間點的時間戳及該局部區域之影像特徵。
TW108145972A 2019-12-16 2019-12-16 影像擷取方法及影像擷取設備 TWI726536B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW108145972A TWI726536B (zh) 2019-12-16 2019-12-16 影像擷取方法及影像擷取設備
US16/729,507 US11310423B2 (en) 2019-12-16 2019-12-30 Image capturing method and image capturing apparatus
CN202010101554.6A CN112985359B (zh) 2019-12-16 2020-02-19 影像获取方法及影像获取设备
JP2020038019A JP7008736B2 (ja) 2019-12-16 2020-03-05 画像キャプチャ方法および画像キャプチャ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108145972A TWI726536B (zh) 2019-12-16 2019-12-16 影像擷取方法及影像擷取設備

Publications (2)

Publication Number Publication Date
TWI726536B TWI726536B (zh) 2021-05-01
TW202126023A true TW202126023A (zh) 2021-07-01

Family

ID=76318384

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108145972A TWI726536B (zh) 2019-12-16 2019-12-16 影像擷取方法及影像擷取設備

Country Status (4)

Country Link
US (1) US11310423B2 (zh)
JP (1) JP7008736B2 (zh)
CN (1) CN112985359B (zh)
TW (1) TWI726536B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021168437A (ja) * 2020-04-09 2021-10-21 キヤノン株式会社 撮像装置、撮像装置の制御方法
US11611700B2 (en) * 2020-07-12 2023-03-21 Skydio, Inc. Unmanned aerial vehicle with virtual un-zoomed imaging

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994017636A1 (en) 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
US6437819B1 (en) 1999-06-25 2002-08-20 Rohan Christopher Loveland Automated video person tracking system
US7522186B2 (en) 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US7450735B1 (en) 2003-10-16 2008-11-11 University Of Central Florida Research Foundation, Inc. Tracking across multiple cameras with disjoint views
US7768571B2 (en) 2004-03-22 2010-08-03 Angstrom, Inc. Optical tracking system using variable focal length lens
US20060203090A1 (en) 2004-12-04 2006-09-14 Proximex, Corporation Video surveillance using stationary-dynamic camera assemblies for wide-area video surveillance and allow for selective focus-of-attention
EP1877726B1 (en) * 2005-03-11 2011-07-27 Creaform Inc. Auto-referenced system and apparatus for three-dimensional scanning
US7801330B2 (en) 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
CN1968405A (zh) 2005-11-14 2007-05-23 耿征 广角或超广角全方位视觉监控方法和系统
JP5127820B2 (ja) 2006-04-20 2013-01-23 ファロ テクノロジーズ インコーポレーテッド カメラ利用標的座標計測方法
US7907750B2 (en) 2006-06-12 2011-03-15 Honeywell International Inc. System and method for autonomous object tracking
TWI369135B (en) 2007-12-31 2012-07-21 Nat Applied Res Lab Nat Ct For High Performance Computing Camera control system capable of positioning and tracking object in space and method thereof
JP4896116B2 (ja) 2008-11-21 2012-03-14 三菱電機株式会社 空中移動体からの自動追尾撮影装置
US8180107B2 (en) 2009-02-13 2012-05-15 Sri International Active coordinated tracking for multi-camera systems
CN101572804B (zh) 2009-03-30 2012-03-21 浙江大学 多摄像机智能控制方法及装置
JP2012520650A (ja) * 2009-05-29 2012-09-06 ヨングク エレクトロニクス シーオー．， エルティーディー 知能型監視カメラ装置及びこれを採用した映像監視システム
CN101860732B (zh) 2010-06-04 2014-08-27 天津市亚安科技股份有限公司 一种控制云台摄像机自动跟踪目标的方法
KR101302803B1 (ko) 2011-05-26 2013-09-02 주식회사 엘지씨엔에스 네트워크 카메라를 이용한 지능형 감시 방법 및 시스템
CN102891959B (zh) * 2011-07-21 2015-06-03 宝硕财务科技股份有限公司 图像式摄影控制系统及其控制方法
WO2014140356A1 (en) * 2013-03-15 2014-09-18 Freefly Systems Inc. Method for enabling manual adjustment of a pointing direction of an actively stabilized camera
FR3020169A1 (fr) 2014-04-16 2015-10-23 Parrot Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees
US10366511B2 (en) * 2014-05-28 2019-07-30 Elbit Systems Land And C4I Ltd. Method and system for image georegistration
CN107577247B (zh) 2014-07-30 2021-06-25 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN104197928B (zh) 2014-08-29 2017-01-18 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
JP6263829B2 (ja) * 2014-09-17 2018-01-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ホワイトバランス調整方法及び撮像システム
EP3782912A1 (en) * 2014-12-23 2021-02-24 SZ DJI Osmo Technology Co., Ltd. Uav panoramic imaging
NO339419B1 (en) * 2015-03-25 2016-12-12 FLIR Unmanned Aerial Systems AS Path-Based Flight Maneuvering System
CN204697158U (zh) 2015-06-16 2015-10-07 成都西可科技有限公司 一种具有保持实时拍摄图像竖直功能的航拍器
JP6673371B2 (ja) * 2015-07-08 2020-03-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 可動物体を使用して障害物を検出する方法及びそのシステム
WO2017017675A1 (en) * 2015-07-28 2017-02-02 Margolin Joshua Multi-rotor uav flight control method and system
EP3207301A4 (en) * 2015-08-14 2018-05-09 SZ DJI Osmo Technology Co., Ltd. Gimbal having parallel stability mechanism
US9989357B2 (en) * 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
JP6551088B2 (ja) 2015-09-11 2019-07-31 沖電気工業株式会社 カメラ制御装置、カメラ制御方法、プログラムおよび監視システム
KR20170065235A (ko) * 2015-12-03 2017-06-13 삼성전자주식회사 소형 카메라 짐벌
CN107000840B (zh) * 2016-01-26 2019-07-26 深圳市大疆创新科技有限公司 无人飞行器及多目成像系统
EP3420428B1 (en) 2016-02-26 2022-03-23 SZ DJI Technology Co., Ltd. Systems and methods for visual target tracking
WO2017187220A1 (en) * 2016-04-24 2017-11-02 Hangzhou Zero Zero Technology Co., Ltd. System and method for aerial system control
WO2017201697A1 (en) * 2016-05-25 2017-11-30 SZ DJI Technology Co., Ltd. Techniques for image recognition-based aerial vehicle navigation
CN106131454B (zh) * 2016-07-27 2019-10-25 苏州佳世达电通有限公司 一种影像撷取系统及影像撷取方法
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10796425B1 (en) * 2016-09-06 2020-10-06 Amazon Technologies, Inc. Imagery-based member deformation gauge
JP6268655B1 (ja) 2016-09-08 2018-01-31 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像装置、撮像システム、移動体、撮像方法、及びプログラム
WO2018095278A1 (zh) * 2016-11-24 2018-05-31 腾讯科技（深圳）有限公司 飞行器的信息获取方法、装置及设备
EP3376213A1 (de) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
CN108780321B (zh) * 2017-05-26 2022-04-29 深圳市大疆创新科技有限公司 用于设备姿态调整的方法、设备、系统和计算机可读存储介质
US20190068829A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
US10788428B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Positioning system for aerial non-destructive inspection
TW201915582A (zh) * 2017-10-12 2019-04-16 圓展科技股份有限公司 影像擷取系統及其馬達定位方法
TWI649721B (zh) * 2017-12-06 2019-02-01 凌通科技股份有限公司 無人飛行機之全景拍照方法與使用其之無人飛行機
US10690525B2 (en) * 2018-01-03 2020-06-23 General Electric Company Systems and methods associated with unmanned aerial vehicle targeting accuracy
US11048277B1 (en) * 2018-01-24 2021-06-29 Skydio, Inc. Objective-based control of an autonomous unmanned aerial vehicle
JP7092538B2 (ja) * 2018-03-30 2022-06-28 三菱電機株式会社 構造物の形状測定用の画像撮影システム、機上制御装置
US10721404B1 (en) * 2018-08-29 2020-07-21 Amazon Technologies, Inc. Configuring imaging devices based on control signals
WO2021076789A1 (en) * 2019-10-15 2021-04-22 Daniel Todd Kerzner Navigation using selected visual landmarks
US11880212B2 (en) * 2020-07-10 2024-01-23 Alarm.Com Incorporated Robot localization

Also Published As

Publication number Publication date
JP7008736B2 (ja) 2022-01-25
CN112985359B (zh) 2023-02-28
US20210185230A1 (en) 2021-06-17
US11310423B2 (en) 2022-04-19
CN112985359A (zh) 2021-06-18
TWI726536B (zh) 2021-05-01
JP2021096805A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
WO2020014909A1 (zh) 拍摄方法、装置和无人机
US9409656B2 (en) Aerial photographing system
US9667862B2 (en) Method, system, and computer program product for gamifying the process of obtaining panoramic images
WO2019113966A1 (zh) 一种避障方法、装置和无人机
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
WO2018120350A1 (zh) 对无人机进行定位的方法及装置
CN110022444B (zh) 无人飞行机的全景拍照方法与使用其的无人飞行机
WO2019104571A1 (zh) 图像处理方法和设备
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
JP2008136171A (ja) 移動プラットフォーム上のカメラからの移動物体の追跡
US20080267453A1 (en) Method for estimating the pose of a ptz camera
WO2021081707A1 (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
TWI726536B (zh) 影像擷取方法及影像擷取設備
KR20130121290A (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
WO2019205087A1 (zh) 图像增稳方法和装置
WO2020024134A1 (zh) 轨迹切换的方法和装置
US20160368602A1 (en) Camera drone systems and methods for maintaining captured real-time images vertical
CN110036411B (zh) 生成电子三维漫游环境的装置和方法
JP5277600B2 (ja) 架空線撮影システム及び方法
WO2023141963A1 (zh) 可移动平台的位姿估计方法、可移动平台及存储介质
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
US10891805B2 (en) 3D model establishing device and calibration method applying to the same
JP2021103410A (ja) 移動体及び撮像システム
CN111788457A (zh) 形状推断装置、形状推断方法、程序以及记录介质
WO2023127313A1 (ja) 撮像支援装置、撮像支援方法、及びプログラム