TWI632814B - 視訊畫幀產生方法及其系統 - Google Patents

視訊畫幀產生方法及其系統 Download PDF

Info

Publication number
TWI632814B
TWI632814B TW105136858A TW105136858A TWI632814B TW I632814 B TWI632814 B TW I632814B TW 105136858 A TW105136858 A TW 105136858A TW 105136858 A TW105136858 A TW 105136858A TW I632814 B TWI632814 B TW I632814B
Authority
TW
Taiwan
Prior art keywords
optical flow
frames
vector set
video frame
flow vector
Prior art date
Application number
TW105136858A
Other languages
English (en)
Other versions
TW201818717A (zh
Inventor
周業凱
蔡洛緯
郭慧冰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW105136858A priority Critical patent/TWI632814B/zh
Priority to CN201611125036.8A priority patent/CN108074247A/zh
Priority to US15/377,634 priority patent/US10200574B2/en
Publication of TW201818717A publication Critical patent/TW201818717A/zh
Application granted granted Critical
Publication of TWI632814B publication Critical patent/TWI632814B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T5/77—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Abstract

本揭露提供一種視訊畫幀產生方法及其系統，包括透過一網路取得一影像擷取單元所擷取之視訊中的至少二畫幀，且透過第一演算法計算該至少二畫幀之第一光流向量集合；依據至少一參數產生一修正向量集合；結合該修正向量集合及該第一光流向量集合，以取得第二光流向量集合；依據該第二光流向量集合對該至少二畫幀之其中一者進行偏移，以產生一虛擬影像。本揭露之虛擬影像可降低網路延遲所造成的誤差，提昇使用者體驗。

Description

視訊畫幀產生方法及其系統
本揭露係有關一種視訊畫幀產生方法及其系統，尤指一種可解決網路延遲所造成誤差之視訊畫幀產生方法及其系統。
無人機(車)通常可藉由觀看第一人稱視角的影像畫面，來對無人機(車)進行遠端操控。無人機(車)所拍攝的影像畫面通常藉由行動寬頻網路(如2.4GHz自動跳頻技術)來即時傳輸到遠端的顯示畫面上。然而，一般影像畫面的視訊串流資料往往過於龐大，且行動寬頻網路皆具有延遲性，造成傳輸到遠端的顯示畫面之影像並非即時，可能有數十毫秒甚至1至2秒的延遲時間。若此時使用者在觀看延遲的影像畫面之情況下進行操作，將造成無人機(車)的操作偏移甚至失控毀損。
據此，如何提供一種一種視訊畫幀產生方法及其系統來避免上述情形，為目前亟待解決的課題之一。
本揭露之一目的在於提供一種視訊畫幀產生方法，包 括：透過一網路取得一影像擷取單元所擷取之視訊中的至少二畫幀，且透過第一演算法計算該至少二畫幀之第一光流向量集合；依據至少一參數產生一修正向量集合；結合該修正向量集合及該第一光流向量集合，以取得第二光流向量集合；依據該第二光流向量集合對該至少二畫幀之其中一者進行偏移，以產生一虛擬影像。
本揭露之另一目的在於提供一種視訊畫幀產生系統，包括：影像擷取單元，用以擷取一視訊；以及計算單元，係透過一網路與該影像擷取單元連接並取得該視訊中的至少二畫幀，該計算單元包括：修正向量產生模組，用以依據至少一參數產生一修正向量集合；光流向量產生模組，用以透過第一演算法計算該至少二畫幀之第一光流向量集合，且結合該修正向量集合及該第一光流向量集合，產生第二光流向量集合；及虛擬影像產生模組，用以依據該第二光流向量集合對該至少二畫幀之其中一者進行偏移，以產生一虛擬影像。
10‧‧‧視訊畫幀產生系統
11‧‧‧影像擷取單元
12‧‧‧計算單元
121‧‧‧修正向量產生模組
122‧‧‧光流向量產生模組
123‧‧‧虛擬影像產生模組
124‧‧‧影像補償模組
13‧‧‧網路
21、22、23、23’、24‧‧‧物件
211、221、231、241‧‧‧光流向量
200、210‧‧‧第一光流向量
250‧‧‧修正向量
200’、210’‧‧‧第二光流向量
30、30’‧‧‧虛擬影像
31‧‧‧修補區域
S11~S14、S21~S28‧‧‧步驟
第1圖係為本揭露之視訊畫幀產生方法之第一實施例之流程圖；第2圖係為本揭露之視訊畫幀產生方法之第二實施例之流程圖；第3圖係為本揭露中畫幀中物件之光流向量之示意圖；第4圖係為本揭露中畫幀中物件之第一光流向量集合 之示意圖；第5圖係為本揭露中修正向量集合之示意圖；第6圖係為本揭露中第二光流向量集合之示意圖；第7圖係為本揭露之第一實施例中所產生之虛擬影像之示意圖；第8圖係為本揭露之第二實施例中所產生之虛擬影像之示意圖；以及第9圖係為本揭露之視訊畫幀產生系統之架構示意圖。
以下藉由特定之具體實施例加以說明本揭露之實施方式，而熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本揭露之其他優點和功效，亦可藉由其他不同的具體實施例加以施行或應用。
請參閱第1圖，本揭露之視訊畫幀產生方法，包括步驟S11至S14。於步驟S11中，係計算畫幀(frame)之第一光流向量集合。具體言之，係透過一網路取得一影像擷取單元所擷取之視訊中的至少二畫幀，且透過第一演算法計算該至少二畫幀之第一光流向量集合，其中，該至少二畫幀為時間相鄰或時間不相鄰之畫幀，且該至少二畫幀具有相同之物件可作為參考點。於一實施例中，該影像擷取單元可裝設在如無人機(車)上，而該影像擷取單元所擷取之視訊是在無人機(車)移動的狀態下進行擷取者。
在取得至少二畫幀之後，可通過光流法(Optical flow estimation)來預估畫幀中各物件的移動向量，例如可使用Lucas-Kanade光流法來進行計算，據此取得第一光流向量集合。接著進至步驟S12。
於步驟S12中，係產生修正向量集合。具體而言，係依據至少一參數產生該修正向量集合，其中，該參數為該網路之延遲資訊、該影像擷取單元之方向、該影像擷取單元之速度或其組合。接著進至步驟S13。
於步驟S13中，係結合修正向量集合及第一光流向量集合，以取得第二光流向量集合。接著進至步驟S14。
於步驟S14中，依據第二光流向量集合對畫幀進行偏移，以產生一虛擬影像。在本實施例中，進行偏移的畫幀可選擇視訊中發生時間較晚的畫幀，但本揭露並不以此為限。
請同時參閱第2至6圖，說明本揭露之視訊畫幀產生方法之第二實施例的詳細內容。以下第二實施例的技術內容亦可同時運用至前述之第一實施例中。
於步驟S21中，係先透過一網路取得一影像擷取單元所擷取之視訊中的至少二畫幀，接著透過第一演算法計算該至少二畫幀中物件之光流向量集合。如第3圖所示，透過第一演算法可計算出畫幀中物件21、22、23、24的光流向量211、221、231、241，據此生成該等光流向量之集合。
於一實施例中，該第一演算法為光流法(Optical flow estimation)。假設光流在像素點(pixel)的鄰域中是一個常數，欲估計畫幀I的某一像素點I(x,y)在畫幀H中的像 素點H(x,y)，可視為找尋鄰域中的所有像素點，其基本的光流方程式可如下：
其中，u,v為像素點的位移向量。據此，可計算出畫幀中物件21、22、23、24的光流向量211、221、231、241而得到該等光流向量之集合。於另一實施例中，亦可使用Lucas-Kanade光流法，且除了像素點外，本揭露亦可針對區塊(block)來進行計算，本揭露並不以此為限。接著進至步驟S22。
於步驟S22中，係判斷物件為靜態或動態。由於影像擷取單元係架設在會移動的無人遙控載具(如無人機、無人車等)上，所取得的視訊並非靜止不動，而是會隨著無人遙控載具之移動使得視訊之畫幀中物件亦有相對位移。因此，可將第3圖所示之物件21、22、23、24透過特徵點方向性搭配相關學習機制(例如人工智慧神經網路等等)，來判斷物件21、22、23、24為靜態或動態。例如，如第3圖中所示，物件21、22為樹木，應屬於靜態物件，物件24為斑馬線，亦屬於靜態物件，而物件23為汽車，則屬於動態物件。此可稱為自我運動估測(ego-motion estimation)。接著進至步驟S23。
於步驟S23中，則依據對應靜態之物件21、22、24之光流向量211、221、241，修正該至少二畫幀中物件21、22、23、24之光流向量211、221、231、241，如第4圖所示，物件23的光流向量231將成為第一光流向量200，而 其他物件21、22、24的光流向量211、221、241將成為第一光流向量210，據此取得第一光流向量200、210之集合。接著進至步驟S24。
於步驟S24中，係產生修正向量集合。具體而言，係依據至少一參數產生該修正向量集合，其中，該參數為網路之延遲(latency)資訊、該影像擷取單元之方向、該影像擷取單元之速度或其組合。例如，假設無人遙控載具在極短時間內呈現一線性運動，通過網路之延遲資訊可輕易估測出如第4圖所示之第一光流向量200、210應往前或往後移動之向量值，據此形成如第5圖所述之修正向量250之集合。又，通過該影像擷取單元之方向、該影像擷取單元之速度或其組合，亦可估計第4圖所示之第一光流向量200、210應往哪個方向移動之向量值，據此形成如第5圖所述之修正向量250之集合。接著進至步驟S25。
於步驟S25中，如第4、5及6圖所示，係結合修正向量250之集合及第一光流向量200、210之集合，以取得第二光流向量200’、210’之集合。此為單純向量的運算。接著進至步驟S26。
於步驟S26中，如第7圖所示，依據第二光流向量200’、210’之集合對畫幀進行偏移(shift)，例如將第3圖中所示物件23偏移至第7圖中物件23’之位置，以產生一虛擬影像30。在本實施例中，進行偏移的畫幀可選擇視訊中發生時間較晚的畫幀，但本揭露並不以此為限。
於一實施例中，假設視訊之畫幀集合為 X={X 1,X 2,...,X m }，所欲產生之虛擬影像集合為Y={Y 1,Y 2,...,Y n }。假設第一光流向量集合為Ed，網路延遲(latency)資訊表示為λ={direction,speed,timestamp}，其中direction,speed分別為影像擷取單元之移動方向及行進速率(即無人遙控載具之移動方向及行進速率)，timestamp為遠端所取得視訊之畫幀的時戳，則預測之虛擬影像集合Y與實際接收之畫幀集合X之間的差異可由L p (X,Y)=∥(E d (X)+λ)-Y∥ p 之方程式(p=1或p=2)表示。
於另一實施例中，在取得虛擬影像後，可再進行下列步驟。於步驟S27中，係取得虛擬影像中的修補區域。具體言之，係計算該虛擬影像與依據該第二光流向量集合對該至少二畫幀中進行偏移者的差異值，例如第7圖畫幀中物件23’之位置與第3圖畫幀中物件23之位置的差異值，以取得如第7圖所示之虛擬影像30中的修補區域31。接著進至步驟S28。
於步驟S28中，可透過第二演算法對該修補區域31進行影像修補，例如，透過基於範例之影像修補方法(exemplar-based image inpainting，EBI)來進行修補。第8圖即呈現修補後的虛擬影像30’，其修補區域31中的斑馬線已復原。在本實施例中，由於本揭露係透過比較二畫幀如第7圖畫幀中物件23’之位置與第3圖畫幀中物件23之位置的差異值，來取得修補區域，與現有技術必須以手動方式選定目標區塊來進行修補，更具備省時省力之功效。
請參閱第9圖，本揭露另提供一種視訊畫幀產生系統 10，包括影像擷取單元11及計算單元12。該計算單元12包括修正向量產生模組121、光流向量產生模組122以及虛擬影像產生模組123。本揭露之視訊畫幀產生系統10的部分技術內容相同於前述之視訊畫幀產生方法，相同部分於此不再贅述。
於一實施例中，該計算單元12為電腦、手機、平板或具有螢幕之遙控器(用於無人遙控載具)等具有處理器之電子裝置。另本揭露所述之模組(module)，則為由處理器(processor)所運行之軟體程式(software)。
該影像擷取單元11用以擷取一視訊，且該影像擷取單元可設於一無人遙控載具上。該計算單元12係透過一網路13(如4G Wi-Fi、WIFI或WiMAX)來連接該影像擷取單元11，並可接收該影像擷取單元11所擷取之視訊。於一實施例中，視訊可經過即時影音資料壓縮運算後，以串流方式透過網路13傳送到計算單元12。於另一實施例中，視訊傳送到計算單元12後，可先儲存在計算單元12的儲存媒介(例如硬碟、記憶體)中，再進行後續處理。
該計算單元12之修正向量產生模組121，係用以依據至少一參數產生一修正向量集合，其中，該參數為該網路13之延遲(latency)資訊、該影像擷取單元11之方向、該影像擷取單元11之速度或其組合。
該計算單元12之光流向量產生模組122，可透過第一演算法計算視訊中至少二畫幀之第一光流向量集合，其中，該第一演算法為光流法，且其中，該至少二畫幀為時 間相鄰或時間不相鄰之畫幀，且該至少二畫幀具有相同之物件來作為參考點。詳細而言，該光流向量產生模組122係透過該第一演算法計算該至少二畫幀中物件之光流向量集合後，判斷物件為靜態或動態後，並依據對應靜態之物件之光流向量集合修正該至少二畫幀中物件之光流向量集合，以取得該第一光流向量集合。
在修正向量產生模組121產生修正向量集合後，該光流向量產生模組122更可結合該修正向量集合及該第一光流向量集合，以產生第二光流向量集合。
該計算單元12之虛擬影像產生模組123，則是用以依據第二光流向量集合對該至少二畫幀之其中一者進行偏移，以產生一虛擬影像。該虛擬影像可顯示在計算單元12之螢幕上，以供使用者觀看。該虛擬影像亦可經由計算單元12之網路傳送到外部的螢幕上，例如計算單元12可為雲端伺服器，在經計算產生虛擬影像後，可再透過將虛擬影像傳送到操控無人遙控載具之控制器的螢幕上。
本揭露之視訊畫幀產生系統10更包括影像補償模組124，用以計算該虛擬影像與依據該第二光流向量集合對該至少二畫幀中進行偏移者的差異值，以取得該虛擬影像中的修補區域，且透過第二演算法對該修補區域進行影像補償，其中，該第二演算法為基於範例之影像修補方法(exemplar-based image inpainting，EBI)。此部分技術內容已如前述，於此不再贅述。
藉由本揭露之視訊畫幀產生方法及其系統，對視訊中 至少二畫幀計算取得第一光流向量集合，並依據參數產生修正向量集合，進而可根據第一光流向量集合及修正向量集合取得第二光流向量集合。該第二光流向量集合即為預測光流，可產生預測之虛擬影像，而該虛擬影像可降低網路延遲所造成的誤差。本揭露可適用於長距離(5公里以上)之無線網路環境，有效解決網路傳輸之時間延遲所造成之誤差，且低延遲之虛擬影像可提昇使用者遠端操控無人機(車)的體驗感。
上述實施形態僅為例示性說明本揭露之技術原理、特點及其功效，並非用以限制本揭露之可實施範疇，任何熟習此技術之人士均可在不違背本揭露之精神與範疇下，對上述實施形態進行修飾與改變。然任何運用本揭露所教示內容而完成之等效修飾及改變，均仍應為下述之申請專利範圍所涵蓋。而本揭露之權利保護範圍，應如下述之申請專利範圍所列。

Claims (15)

  1. 一種視訊畫幀產生方法，包括：透過一網路取得一影像擷取單元所擷取之視訊中的至少二畫幀，且透過第一演算法計算該至少二畫幀之第一光流向量集合；依據至少一參數產生一修正向量集合；結合該修正向量集合及該第一光流向量集合，以取得第二光流向量集合；依據該第二光流向量集合對該至少二畫幀之其中一者進行偏移，以產生一虛擬影像。
  2. 如申請專利範圍第1項所述之視訊畫幀產生方法，其中，在透過該第一演算法計算該至少二畫幀之第一光流向量集合之步驟中，更包括下列步驟：透過該第一演算法計算該至少二畫幀中物件之光流向量集合；判斷該物件為靜態或動態；以及依據對應靜態之物件之光流向量集合修正該至少二畫幀中物件之光流向量集合，以取得該第一光流向量集合。
  3. 如申請專利範圍第2項所述之視訊畫幀產生方法，其中，該至少二畫幀為時間相鄰或時間不相鄰之畫幀，且該至少二畫幀具有相同之物件。
  4. 如申請專利範圍第1項所述之視訊畫幀產生方法，其中，在產生該虛擬影像後，更包括下列步驟： 計算該虛擬影像與依據該第二光流向量集合對該至少二畫幀中進行偏移者的差異值，以取得該虛擬影像中的修補區域；以及透過第二演算法對該修補區域進行影像補償。
  5. 如申請專利範圍第4項所述之視訊畫幀產生方法，其中，該第二演算法為基於範例之影像修補方法。
  6. 如申請專利範圍第1項所述之視訊畫幀產生方法，其中，該第一演算法為光流法。
  7. 如申請專利範圍第1項所述之視訊畫幀產生方法，其中，該參數為該網路之延遲資訊、該影像擷取單元之方向、該影像擷取單元之速度或其組合。
  8. 一種視訊畫幀產生系統，包括：影像擷取單元，用以擷取一視訊；以及計算單元，係透過一網路與該影像擷取單元連接並取得該視訊中的至少二畫幀，該計算單元包括：修正向量產生模組，用以依據至少一參數產生一修正向量集合；光流向量產生模組，用以透過第一演算法計算該至少二畫幀之第一光流向量集合，且結合該修正向量集合及該第一光流向量集合，產生第二光流向量集合；及虛擬影像產生模組，用以依據該第二光流向量集合對該至少二畫幀之其中一者進行偏移，以產生一虛擬影像。
  9. 如申請專利範圍第8項所述之視訊畫幀產生系統，其中，該光流向量產生模組係透過該第一演算法計算該至少二畫幀中物件之光流向量集合後，判斷該物件為靜態或動態，並依據對應靜態之物件之光流向量集合修正該至少二畫幀中物件之光流向量集合，以取得該第一光流向量集合。
  10. 如申請專利範圍第8項所述之視訊畫幀產生系統，其中，該至少二畫幀為時間相鄰或時間不相鄰之畫幀，且該至少二畫幀具有相同之物件。
  11. 如申請專利範圍第8項所述之視訊畫幀產生系統，更包括影像補償模組，用以計算該虛擬影像與依據該第二光流向量集合對該至少二畫幀中進行偏移者的差異值，以取得該虛擬影像中的修補區域，且透過第二演算法對該修補區域進行影像補償。
  12. 如申請專利範圍第11項所述之視訊畫幀產生系統，其中，該第二演算法為基於範例之影像修補方法。
  13. 如申請專利範圍第8項所述之視訊畫幀產生系統，其中，該第一演算法為光流法。
  14. 如申請專利範圍第8項所述之視訊畫幀產生系統，其中，該參數為該網路之延遲資訊、該影像擷取單元之方向、該影像擷取單元之速度或其組合。
  15. 如申請專利範圍第8項所述之視訊畫幀產生系統，其中，該計算單元為電腦、手機、平板或具有螢幕之遙控器。
TW105136858A 2016-11-11 2016-11-11 視訊畫幀產生方法及其系統 TWI632814B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105136858A TWI632814B (zh) 2016-11-11 2016-11-11 視訊畫幀產生方法及其系統
CN201611125036.8A CN108074247A (zh) 2016-11-11 2016-12-08 视频帧产生方法及其系统
US15/377,634 US10200574B2 (en) 2016-11-11 2016-12-13 Method and system for generating a video frame

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105136858A TWI632814B (zh) 2016-11-11 2016-11-11 視訊畫幀產生方法及其系統

Publications (2)

Publication Number Publication Date
TW201818717A TW201818717A (zh) 2018-05-16
TWI632814B true TWI632814B (zh) 2018-08-11

Family

ID=62108777

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105136858A TWI632814B (zh) 2016-11-11 2016-11-11 視訊畫幀產生方法及其系統

Country Status (3)

Country Link
US (1) US10200574B2 (zh)
CN (1) CN108074247A (zh)
TW (1) TWI632814B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492609B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种检测车道线的方法和车辆、及计算设备
CN113660443A (zh) * 2020-05-12 2021-11-16 武汉Tcl集团工业研究院有限公司 一种视频插帧方法、终端以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200824433A (en) * 2006-11-22 2008-06-01 Univ Nat Chiao Tung Intelligent monitoring and analyzing system and method thereof
TW201523516A (zh) * 2013-12-05 2015-06-16 Univ Nat Kaohsiung Applied Sci 移動攝影機之畫面穩定方法
CN105405319A (zh) * 2014-09-05 2016-03-16 丰田自动车株式会社 车辆的接近物体检测装置以及车辆的接近物体检测方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040057446A1 (en) 2002-07-16 2004-03-25 Nokia Corporation Method for enabling packet transfer delay compensation in multimedia streaming
US7616782B2 (en) 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
US7440008B2 (en) * 2004-06-15 2008-10-21 Corel Tw Corp. Video stabilization method
US20060125835A1 (en) 2004-12-10 2006-06-15 Li Sha DMA latency compensation with scaling line buffer
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
US8774950B2 (en) 2008-01-22 2014-07-08 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
WO2010084521A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
CN101616310B (zh) * 2009-07-17 2011-05-11 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
WO2011090790A1 (en) * 2010-01-22 2011-07-28 Thomson Licensing Methods and apparatus for sampling -based super resolution vido encoding and decoding
US8928813B2 (en) * 2010-10-28 2015-01-06 Microsoft Corporation Methods and apparatus for reducing structured noise in video
CN102123234B (zh) 2011-03-15 2012-09-05 北京航空航天大学 无人机侦察视频分级运动补偿方法
TWI533677B (zh) 2011-06-30 2016-05-11 微軟技術授權有限責任公司 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體
TWI444593B (zh) 2011-10-21 2014-07-11 Ind Tech Res Inst 地面目標定位系統與方法
US8971612B2 (en) * 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US8610608B2 (en) 2012-03-08 2013-12-17 Lsi Corporation Systems and methods for reduced latency loop correction
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
US9324005B2 (en) * 2012-09-07 2016-04-26 Massachusetts Institute of Technology Quanta Computer Inc. Complex-valued phase-based eulerian motion modulation
US9380286B2 (en) * 2013-04-19 2016-06-28 Adobe Systems Incorporated Stereoscopic target region filling
US9350969B2 (en) * 2013-04-19 2016-05-24 Adobe Systems Incorporated Target region filling involving source regions, depth information, or occlusions
CN103400394B (zh) * 2013-07-18 2016-08-17 天津大学 基于特征导向变分光流的视频超分辨率方法
EP2924648A1 (en) * 2014-03-26 2015-09-30 Thomson Licensing Method and an apparatus for generating an Approximate Nearest Neighbor Field (ANNF) for images and video sequences
US9969337B2 (en) 2014-09-03 2018-05-15 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation
US10749918B2 (en) 2014-11-10 2020-08-18 Avago Technologies International Sales Pte. Limited Adaptive streaming with early client indication
CN105913084A (zh) * 2016-04-11 2016-08-31 福州大学 一种基于密集轨迹和dhog的超声心动视频影像分类方法
CN106017463B (zh) * 2016-05-26 2019-02-26 浙江大学 一种基于定位传感装置的飞行器定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200824433A (en) * 2006-11-22 2008-06-01 Univ Nat Chiao Tung Intelligent monitoring and analyzing system and method thereof
TW201523516A (zh) * 2013-12-05 2015-06-16 Univ Nat Kaohsiung Applied Sci 移動攝影機之畫面穩定方法
CN105405319A (zh) * 2014-09-05 2016-03-16 丰田自动车株式会社 车辆的接近物体检测装置以及车辆的接近物体检测方法

Also Published As

Publication number Publication date
US20180139362A1 (en) 2018-05-17
CN108074247A (zh) 2018-05-25
TW201818717A (zh) 2018-05-16
US10200574B2 (en) 2019-02-05

Similar Documents

Publication Publication Date Title
KR101697512B1 (ko) 영상 정합 장치 및 방법
US8274570B2 (en) Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program
US9230333B2 (en) Method and apparatus for image processing
TWI469062B (zh) 影像穩定方法及影像穩定裝置
JP7151488B2 (ja) 移動物体検出装置、移動物体検出方法及びプログラム
Guilluy et al. Video stabilization: Overview, challenges and perspectives
US20110013028A1 (en) Video stabilizing method and system using dual-camera system
US9838604B2 (en) Method and system for stabilizing video frames
CN105611116B (zh) 一种全局运动矢量估计方法及监控视频稳像方法及装置
WO2019238113A1 (zh) 成像方法、装置、终端和存储介质
KR102141290B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
KR102198217B1 (ko) 순람표에 기반한 스티칭 영상 생성 장치 및 방법
EP2446612A1 (en) Real time video stabilization
WO2016120132A1 (en) Method and apparatus for generating an initial superpixel label map for an image
US8644555B2 (en) Device and method for detecting movement of object
TWI632814B (zh) 視訊畫幀產生方法及其系統
KR101538923B1 (ko) 관심 영역 추적을 통한 실시간 영상 안정화 장치 및 그 방법
CN111712857A (zh) 图像处理方法、装置、云台和存储介质
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2016110312A (ja) 画像処理方法、画像処理装置及びプログラム
JP6505501B2 (ja) ローリングシャッタ回転歪み補正と映像安定化処理方法
JP2016151612A (ja) プロジェクションマッピング装置、遅延補償装置、遅延補償方法および遅延補償プログラム
JP6242009B2 (ja) 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法
JP2018031803A (ja) プロジェクタ装置
JP4286301B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体