TWI778785B - 即時影像的校正裝置及校正方法 - Google Patents

即時影像的校正裝置及校正方法 Download PDF

Info

Publication number
TWI778785B
TWI778785B TW110133459A TW110133459A TWI778785B TW I778785 B TWI778785 B TW I778785B TW 110133459 A TW110133459 A TW 110133459A TW 110133459 A TW110133459 A TW 110133459A TW I778785 B TWI778785 B TW I778785B
Authority
TW
Taiwan
Prior art keywords
image
real
time
difference
value
Prior art date
Application number
TW110133459A
Other languages
English (en)
Other versions
TW202234872A (zh
Inventor
曾英彰
李璟祥
Original Assignee
明俐科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 明俐科技有限公司 filed Critical 明俐科技有限公司
Publication of TW202234872A publication Critical patent/TW202234872A/zh
Application granted granted Critical
Publication of TWI778785B publication Critical patent/TWI778785B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一種即時影像的校正方法,包括:持續從影像輸入裝置接收即時影像;分析即時影像的影像特徵;依據任兩張時間相鄰的即時影像的相同影像特徵的特徵差異計算各即時影像的移動向量;基於累計的移動向量計算當前即時影像的移動軌跡預測值;於判斷當前即時影像的移動軌跡預測值與移動向量的差異落入校正允許範圍時,基於當前即時影像的移動軌跡預測值及移動向量計算補償值,並基於補償值校正當前即時影像;於判斷當前即時影像的移動軌跡預測值與移動向量的差異超出校正允許範圍時,重置影像輸入裝置,並且取得預設影像以做為輸出影像。

Description

即時影像的校正裝置及校正方法
本發明涉及一種校正裝置及校正方法,尤其涉及一種影像的校正裝置及校正方法。
即時影像的擷取與顯示技術雖然可以應用在很多不同的技術領域,但是在各個技術領域中都有需要克服的問題。
例如在遠端監控系統中,設備通常會建置於特定區域內,維護人員不得隨意進出,或是距離設備的設置地點太遠。當設備發生問題時,維護人員無法即時修復設備,以恢復影像的輸出。再例如,於電子裝置上使用影像擷取裝置(例如擷取卡)來擷取並錄製影像時,若輸入影像不穩定,容易被影像處理軟體誤判為影像已中斷,因而停止擷取與錄製。如此一來,將會錯失重要影像之保存。
再例如,在醫療領域中,攝影鏡頭(例如內視鏡)常常會與電燒刀或其他會散發高頻訊號的器材一同伸入人體內部進行檢查,而這些高頻訊號容易影響攝影鏡頭所取得的影像,進而造成醫生的誤判。並且,所述攝影鏡頭也可能受到溫度、電源不穩定等因素而導致影像的不穩定。
目前市場上已有部分影像處理系統,可以在偵測到輸入影像異常時,允許使用者手動或系統自動從遠端發送指令以控制整個系統重新啟動,藉此解決輸入影像異常的問題。然而在部分應用領域中(尤其是醫療領域),使用者於影像檢視過程中(例如手術進行中)不見得有能力以手動方式重啟系統。再者,將整個系統重啟至系統恢復成可以使用的狀態,通常需要經過數分鐘的時間,在部分應用領域中,使用者可能沒有時間等待系統重啟。
為解決上述問題,本發明提出了一種即時影像的校正裝置與校正方法,可以自動判斷即時影像的狀況並且自動進行校正,以令系統可以維持輸出影像的品質與穩定性,藉此避免造成使用者的困擾。
本發明的主要目的,在於提供一種即時影像的校正裝置與校正方法,係可自動偵測輸入影像的狀態並且即時進行自動校正,以達到長時間穩定的影像輸出。
為了達成上述之目的,本發明校正裝置主要包括:一影像偵測模組,連接一影像輸入裝置以持續接收一即時影像;一影像比對模組,連接該影像偵測模組,執行一分析演算法以分析該即時影像的一影像特徵,計算任兩張時間相鄰的該即時影像的該影像特徵的一特徵差異,並基於該特徵差異計算複數該即時影像的該影像特徵的一移動向量; 一控制模組,連接該影像輸入裝置、該影像偵測模組及該影像比對模組,記錄複數該即時影像的該移動向量,並基於累計的該些移動向量計算複數該即時影像中的一當前即時影像的一移動軌跡預測值;及一影像校正模組,連接該影像比對模組及該控制模組,用以提供一輸出影像;其中,該控制模組於該當前即時影像的該移動軌跡預測值與該當前即時影像的該移動向量間的一第一差異落入一校正允許範圍內時,基於該當前即時影像的該移動軌跡預測值及該移動向量計算一補償值,並控制該影像校正模組基於該補償值校正該當前即時影像,以產生該輸出影像並同時提供一警示訊息;其中,該控制模組於該第一差異超出該校正允許範圍時,控制該影像輸入裝置重啟,並且控制該影像校正模組將一預設影像做為該輸出影像並同時提供該警示訊息。
為了達成上述目的,本發明的校正方法主要包括下列步驟:持續從一影像輸入裝置接收一即時影像;執行一分析演算法以分析該即時影像的一影像特徵;計算任兩張時間相鄰的該即時影像的該影像特徵的一特徵差異,並且基於該特徵差異計算複數該即時影像的該影像特徵的一移動向量;基於累計的該些移動向量計算複數該即時影像中的一當前即時影像的一移動軌跡預測值;於判斷該當前即時影像的該移動軌跡預測值與該移動向量間的一第一差異落入一校正允許範圍時,基於該當前即時影像的該移動軌跡預測值及該移動向量計算一補償值,並且基於該補償值校正該當前即時影像以產生一輸出影像,並 且同時提供一警示訊息;於判斷該第一差異超出該校正允許範圍時,控制該影像輸入裝置重啟,並且取得一預設影像做為該輸出影像,並同時提供該警示訊息。
通過本發明的技術手段,校正裝置可以在接收輸入影像後自動進行分析。當輸入影像異常且可校正時,校正裝置可對輸入影像進行即時校正。而當輸入影像過於異常而無法校正時,校正裝置可重置前端的影像輸入裝置,並且在重置過程持續輸出影像。藉此,可以持續且穩定地提供影像給使用者,以降低使用者因影像異常或遺失所造成的誤判行為,同時提高影像品質。
1:校正裝置
11:控制模組
12:影像偵測模組
13:影像比對模組
14:影像校正模組
15:儲存裝置
151:前一張影像
152:移動向量
153:基本影像資訊
2:影像輸入裝置
3:顯示器
4:輸入影像
41:有效影像
42:垂直空白行
43:水平空白像素
51:前一張影像
511:影像特徵
52、53:當前影像
521、531:影像特徵
S10~S34、S40~S62:校正步驟
S220~S230:輸出影像產生步驟
圖1為本發明的校正裝置的方塊圖的第一具體實施例。
圖2為輸入影像示意圖。
圖3為本發明的校正方法的流程圖的第一具體實施例。
圖4為移動向量的示意圖的第一具體實施例。
圖5A為移動向量的示意圖的第二具體實施例。
圖5B為移動向量的示意圖的第三具體實施例。
圖6為本發明的輸出影像產生流程圖的第一具體實施例。
圖7為本發明的校正方法的流程圖的第二具體實施例。
茲就本發明之一較佳實施例,配合圖式,詳細說明如後。
首請參閱圖1,為本發明的校正裝置的方塊圖的第一具體實施例。如圖1所示,本發明揭露了一種即時影像的校正裝置1(下面將於說明書中 簡稱為校正裝置1),所述校正裝置1主要應用於各式的影像系統(圖未標示)中。具體地,本發明的校正裝置1一端連接影像系統的影像輸入裝置2以接收即時影像的輸入,另一端連接影像系統的顯示器3以持續且穩定地提供輸出影像。
本發明的主要技術功效在於,校正裝置1持續判斷所接收的即時影像的狀態,於即時影像不需要校正時直接通過顯示器3來輸出;於即時影像需要校正時,先對即時影像進行校正後再進行輸出;而於即時影像異常且無法校正時,對影像輸入裝置2進行重置,並且採用預設影像來進行輸出。
換句話說,當影像輸入裝置2受到的干擾不強時,校正裝置1可以直接輸出即時影像,或是對即時影像進行校正後再輸出校正後影像;而當影像輸入裝置2受到嚴重干擾而造成即時影像嚴重異常,甚至是無法輸出影像時,校正裝置1能及時自動重置前端的影像輸入裝置2,並且維持後端的顯示器3能夠持續且穩定地顯示影像,藉此避免使用者的困擾。
如圖1所示,所述校正裝置1主要包括控制模組11、影像偵測模組12、影像比對模組13、影像校正模組14及儲存裝置15。其中,影像比對模組13連接影像偵測模組12,影像校正模組14連接影像比對模組13,控制模組11則連接影像偵測模組12、影像比對模組13及影像校正模組14。
於一實施例中,所述控制模組11為藉由校正裝置1中的微控制單元(Micro Control Unit,MCU)或圖形處理單元(Graphics Proeessing Unit,GPU)來實現的硬體模組,所述影像處理模組12、影像比對模組13及影像校正模組14為藉由校正裝置1中的現場可程式化邏輯閘陣列(Field Programmable Gate Array,FPGA)結合程式碼所實現的軟體模組,所述儲存裝置15為記憶體或硬碟,但並不以此為限。
校正裝置1通過影像偵測模組12連接影像輸入裝置2,以從影像輸入裝置2持續接收即時影像。於一實施例中,影像輸入裝置2可為影像感測器(例如攝影機、紅外線感測器、雷射感測器等),用以即時感測外部的影像並匯入校正裝置1中進行分析與處理。例如,所述影像輸入裝置2可為醫療用內視鏡。
於另一實施例中,影像輸入裝置2可為高畫質多媒體介面(High Definition Multimedia Interface,HDMI)、串列數位介面(Serial Digital Interface,SDI)、電子資料處理(Electronic Data Processing,EDP)介面或行動產業處理介面(Mobile Industry Processor Interface,MIPI)等,用以直接將數位影像輸入至校正裝置1中進行分析與處理。例如,所述影像輸入裝置2可為影像擷取卡。
值得一提的是,校正裝置1中的控制模組11亦可通過溝通介面,例如串列周邊介面(Serial Peripheral Interface,SPI)、I2C介面等,連接影像輸入裝置2。於本實施例中,校正裝置1可以通過控制模組11來對影像輸入裝置2進行參數設定,並且於影像輸入裝置2受到外部干擾而造成輸入影像的異常時,控制模組11可通過上述溝通介面來直接重置影像輸入裝置。
於一實施例中,影像偵測模組12在接收即時影像後,將即時影像的影像格式轉換為校正裝置1可支持的影像格式。同時,影像偵測模組12還可偵測即時影像的基本影像資訊153,例如曝光強度、頻率、每秒幀數(Frame Per Second,FPS)、有效影像垂直行數及有效影像水平像素數等。控制模組11從影像偵測模組12接收即時影像的所述基本影像資訊153,並且儲存於校正裝置1的儲存裝置15中。藉由基本影像資訊153,校正裝置1可以確認所接收的每一張即時影像的狀態,進而判斷是否需要對即時影像進行校正。
請同時參閱圖1及圖2,其中圖2為輸入影像示意圖。如圖所示,基於影像輸入裝置2所採用的解析度而定,每一張輸入影像4都會基於固定的水平掃描頻率(Hsync)與垂直掃描頻率(Vsync)而形成特定尺寸的有效影像41(由有效行數及每一行的有效像素數所構成)、無效的垂直空白行42(Vertical Blanking lines)、以及每一行中無效的水平空白像素43(Horizontal Blanking Pixels)。於上述實施例中,校正裝置1可依據在時間上相鄰的兩張或兩張以上的即時影像的有效影像41、垂直空白行42、水平空白像素43等資訊來進行比對,當這些相鄰的即時影像的基本影像資訊153的差異過大時,校正裝置1可判斷影像輸入裝置2已經發生異常。
如上所述,本發明的校正裝置1可以藉由基本影像資訊153來判斷是否需要對即時影像進行校正。然而於另一實施例中,校正裝置1亦可藉由在時間上相鄰的至少兩張即時影像中的影像特徵的特徵差異,判斷是否需要對即時影像進行校正(容後詳述)。
請同時參閱圖1及圖3,其中圖3為本發明的校正方法的流程圖的第一具體實施例。圖3結合圖1所示的校正裝置1,藉由流程圖說明校正裝置1如何通過內部的控制模組11、影像偵測模組12、影像比對模組13及影像校正模組14來對影像輸入裝置2輸入的即時影像進行校正。
如圖3所示,校正裝置1通過影像偵測模組12連接影像輸入裝置2,並且持續從影像輸入裝置2接收即時影像(步驟S10)。接著,校正裝置1藉由影像比對模組13執行分析演算法,以擷取並分析即時影像中的影像特徵(步驟S12)。
於一實施例中,所述分析演算法是基於預設尺寸的像素矩陣(例如4x4矩陣、8x8矩陣等)來擷取即時影像中的一或多個特定分區的影像特徵,並且藉由對這些影像特徵的分析來判斷整張即時影像的狀態。於此實施例中,校正裝置1不需要儲存、分析整張即時影像,藉此可降低硬體需求,同時提高處理速度。
於一實施例中,所述分析演算法為移動向量演算法。本實施例中,校正裝置1通過影像比對模組13計算任兩張時間上相鄰的即時影像中的相同影像特徵的特徵差異,並且基於此特徵差異來計算各即時影像的所述影像特徵相對於前一張影像的移動向量(步驟S14)。
更具體地說,由於校正裝置1的硬體資源有限,因此,校正裝置1可以僅通過儲存裝置15儲存前一張影像151(即於時間點t-1接收的即時影像),並且計算當前即時影像(即於時間點t接收的即時影像)中的影像特徵與前一張影像151中的相同影像特徵之間的特徵差異,進而計算當前即時影像中的影像特徵相較於前一張影像151中的相同影像特徵的移動向量152。並且,控制模組11從影像比對模組13取得所述移動向量152,並且記錄於儲存裝置15中。
請同時參閱圖4,為移動向量的示意圖的第一具體實施例。如圖4所示,本發明的影像比對模組13通過分析演算法的執行,於前一張影像51中擷取出特定的影像特徵511,並且於當前影像52中擷取出相同的影像特徵521。分析演算法通過內插(Interpolation)計算相同影像特徵511、521在兩張影像51、52之間的偏移量,以計算當前影像52的影像特徵521相對於前一張影像51的影像特徵511的移動向量。
以當前影像52為例,由於影像特徵521是移動到影像特徵511的位置的鄰近分區,因此分析演算法對兩個影像特徵511、521的位置進行計算後,可以得到整數關係的移動向量。
再如圖4所示,分析演算法可於前一張影像51中擷取出特定的影像特徵511,並且於當前影像53中擷取出相同的影像特徵531。若以當前影像53為例,由於影像特徵531並非是直接移動到影像特徵511的位置的鄰近分區(而是位於子分區),因此分析演算法需對兩個影像特徵511、531的位置進行內插計算,以得到小數關係的移動向量。
續請同時參閱圖5A,為移動向量的示意圖的第二具體實施例。於圖5A的實施例中,分析演算法可以使用具有六個權重(包括
Figure 110133459-A0305-02-0011-1
,-
Figure 110133459-A0305-02-0011-2
,
Figure 110133459-A0305-02-0011-3
,
Figure 110133459-A0305-02-0011-4
,-
Figure 110133459-A0305-02-0011-5
,
Figure 110133459-A0305-02-0011-6
)的有限場脈衝響應濾波器(Finite Impulse Response Filter,FIR Filter),有限場脈衝響應濾波器可以基於整數位置關係執行內插計算,藉此獲得目標像素點的位置,進而計算移動分量。於圖5A實施例中,分析演算法主要可以依據下列公式來計算一張影像中的目標像素點b、像素點s、像素點h與像素點m的位置:
Figure 110133459-A0305-02-0011-7
續請同時參閱圖5B,為移動向量的示意圖的第三具體實施例。於圖5B的實施例中,分析演算法主要可基於小數位置關係進行內插計算,以獲 得目標像素點的位置,進而計算移動分量。於圖5B實施例中,分析演算法主要可以依據下列公式來計算目標像素點j的位置:
Figure 110133459-A0305-02-0012-8
上述內插計算為本技術領域的常用技術手段,於此不再贅述。
於上述實施例中,校正裝置1的影像比對模組13主要是通過移動向量演算法來計算移動向量,藉此判斷即時影像的狀態。舉例來說,影像比對模組13可以計算任兩張時間相鄰的即時影像中的相同區域的亮度偏移量、色度偏移量、離散小波變換量(Discrete Wavelet Transform,DWT)或一連續小波轉換量(Continous Wavelet Transform,CWT)等,做為所述特徵差異,藉此計算移動向量。然而,上述僅為本發明的部分具體實施例,但並不以此為限。
值得一提的是,於其他實施例中,影像比對模組13亦可採用以AI為基礎的演算法(例如邊緣運算(Edge Computing)演算法)來計算前後兩張即時影像中的相同影像特徵的差異,藉此判斷即時影像的變化狀態。
回到圖3。校正裝置1通過控制模組11將影像比對模組13所計算的各即時影像的移動向量152記錄於儲存裝置15中。並且,控制模組11基於累計的多筆於時間上連續的移動向量152來計算當前即時影像的移動軌跡預測值(步驟S16)。
具體地,校正裝置1是從影像輸入裝置1持續接收即時影像,因此所接收的多張即時影像於時間上是有連續性的。因此,基於在先接收的多張影像(以三張為例,即為於時間點t-3,t-2,t-1所接收的影像)中的一或多個特定影像特徵的移動向量152,控制模組11可以在接收下一個即時影像之前,先行預測下一個即時影像中的相同影像特徵的移動向量152,以做為所述移動軌跡預測 值。換句話說,若校正裝置1可於時間點t接收當前即時影像,則控制模組11可以在時間點t之前,基於在先接收的多張影像的移動向量152來預測當前即時影像的移動軌跡。
若影像輸入裝置1運作正常,則影像比對模組13所計算的當前即時影像的移動向量152,應該會相等於控制模組11先行預測的移動軌跡預測值,或者兩者間的差異應該會小於閥值。
本發明中,控制模組11從影像比對模組13接收當前即時影像的移動向量152,並且將當前即時影像的移動向量152(為實際數值)與移動軌跡預測值(為預測數值)進行比對(步驟S18)。具體地,於步驟S18中,控制模組11計算當前即時影像的移動向量152與移動軌跡預測值間的差異(下稱為第一差異),並且判斷第一差異是小於預設的校正允許範圍、落入校正允許範圍、或是超出校正允許範圍。
承上,若第一差異小於校正允許範圍,代表當前即時影像(以及影像輸入裝置2)沒有異常,或異常不嚴重。此時,校正裝置1不需要對當前即時影像進行校正,因此控制模組11可發送第一指令給影像校正模組14,以控制影像校正模組14直接將當前即時影像輸出至顯示器3。若第一差異落入校正允許範圍內,代表當前即時影像(或影像輸入裝置2)異常,但此異常情況尚在可以校正的範圍內。此時,控制模組11可發送第二指令給影像校正模組14,以控制影像校正模組14先對當前即時影像進行校正後,再將校正後的影像輸出至顯示器3。
若第一差異超出校正允許範圍,代表當前即時影像(或影像輸入裝置2)異常,並且已嚴重到無法校正的程度。此時,控制模組可發送第三指令 給影像校正模組14,以控制影像校正模組14以預設影像取代當前即時影像來進行輸出。如此一來,即時當前即時影像或影像輸入裝置2發生異常,校正裝置1仍然能夠令顯示器3維持穩定的影像輸出。
值得一提的是,本發明中,控制模組11、影像偵測模組12、影像比對模組13及影像校正模組是以管線(pipeline)的方式進行運作,以令校正裝置1可以快速地對大量的連續影像進行校正,以維持維定的影像輸出。
例如,於影像偵測模組12接收第一影像(對應至時間點t-3)時,影像比對模組13在計算第二影像(對應至時間點t-2)的移動向量,控制模組11在計算第三影像(對應至時間點t-1)所需的補償值,而影像校正模組14對第四影像(對應至時間點t)進行校正並且將校正完成的影像對外輸出。
上述管線的技術手段為本技術領域中的常用技術手段,於此不再贅述。
若於步驟S18中判斷所述第一差異小於校正允許範圍(即小於校正允許範圍的下限值),則控制模組11可以輸出當前即時影像的補償值為0(步驟S20),並且控制影像校正模組14基於此補償值來產生輸出影像(步驟S22)。具體地,補償值為0代表當前即時影像不需要被校正,換句話說,輸出影像相等於當前即時影像。
若於步驟S18中判斷第一差異落入校正允許範圍內(即落在校正允許範圍的下限值與上限值之間),則控制模組11依據當前即時影像的移動軌跡預測值以及移動向量152來計算補償值(步驟S24)。並且,控制模組將所計算的補償值輸出至影像校正模組14(步驟S26),並控制影像校正模組14基於此補 償值來產生輸出影像(步驟S22)。具體地,補償值不為0代表當前即時影像需要被校正,換句話說,輸出影像不等於當前即時影像。
於一實施例中,控制模組11於步驟S24中是計算當前即時影像的移動軌跡預測值及移動向量152的內插值的平均值,並以此平均值做為所述補償值。舉例來說,若當前即時影像中的其中一個影像特徵的移動軌跡預測值為-0.9,移動向量152為-0.5,則控制模組11可經計算後判斷此影像特徵的較佳位置應為-0.7的位置(即
Figure 110133459-A0305-02-0015-9
),因此可計算出當前即時影像上的此影像特徵的補償值為-0.2。惟,上述僅為本發明的其中一個具體實施例,但並不以此為限。
值得一提的是,若影像校正模組14基於補償值對當前即時影像進行校正後再輸出,代表顯示器3上顯示的影像與影像輸入裝置2輸入的影像不同。為了避免使用者受到校正後的影像的影響而造成誤判,控制模組11可在產生補償值的同時產生對應的警示訊息(例如,「影像受到干擾,當前顯示的影像為校正後的影像」)。本實施例中,影像校正模組14可同時將所產生的輸出影像及所述警示訊息輸出至顯示器3上,以提醒使用者注意。
若於步驟S18中判斷第一差異超出校正允許範圍,則控制模組11可發送指令至影像輸入裝置2,以重置(re-set)影像輸入裝置1(步驟S28),藉此解決輸入影像已經嚴重異常且無法校正的問題。
一般來說,重置前端的影像輸入裝置1僅需花費數秒鐘,相較於重啟整個影像系統(例如遠端監控系統、醫療內視鏡系統等),使用者並不致於受到太大的影響。以醫療領域為例,僅重置內視鏡系統前端的內視鏡(scope),而不重啟整個內視鏡系統,可以有效爭取到黃金醫療時效。
並且,為了避免使用者在影像輸入裝置1重置的期間內無法獲得相關資訊,或是令相關軟體誤判影像輸入程序已經結果而自動關閉,校正裝置1在控制影像輸入裝置1重置的期間內,會持續由控制模組11提供預設影像給影像校正模組14(步驟S30),藉此,控制影像校正模組14可將預設影像直接做為輸出影像(步驟S22)。直接以預設影像來取代當前即時影像,代表當前即時影像已經嚴重異常到無法校正的程序,因此在影像輸入裝置2重置期間,校正裝置1先持續輸出預設影像,令使用者可以持續看到穩定的畫面輸出。並且,當控制模組11感測到影像輸入裝置2重置完成後,再控制影像校正模組14恢復輸出影像輸入裝置2所提供的即時影像。
於一實施例中,控制模組11會於每一次處理程序後都將前一張影像151記錄於儲存裝置15中,並且隨著時間的經過持續更新前一張影像151。由於前一張影像151與當前即時影像於時間上最為接近,因此影像差異最小。於一實施例中,控制模組11在步驟S30中是取得儲存裝置15中儲存的前一張影像151並提供給影像校正模組14,以將前一張影像151做為所述預設影像。惟,上述僅為本發明的其中一個實施態樣,但並不以此為限。
於圖1的實施例中,是以儲存裝置15中僅儲存單一張影像為例,然而在硬體資源充足的情況下,儲存裝置15中儲存的影像數量並不以一張為限。
值得一提的是,若影像校正模組14將預設影像做為輸出影像,代表顯示器3上顯示的影像與影像輸入裝置2輸入的影像不相同。為了避免使用者受到輸出影像的影響而誤判,控制模組11可在提供預設影像給影像校正模組14的同時產生對應的警示訊息(例如,「影像輸入裝置重置中,當前顯示的影 像並非即時影像」)。本實施例中,影像校正模組14可同時將輸出影像及警示訊息輸出至顯示器3上,以避免使用者的誤判。
藉由所述比對程序、判斷程序、校正程序以及取代程序,校正裝置1可以通過影像校正模組14持續提供輸出影像(步驟S32)。並且,控制模組11可持續判斷整個影像系統是否關機(步驟S34),並且於影像系統關機前持續執行步驟S10至步驟S32。藉此,無論影像輸入裝置2是否異常,使用者皆可持續於顯示器3上獲得穩定的影像。
於一實施例中,校正裝置1可藉由第一預設值與第二預設值來界定所述校正容許範圍,其中第二預設值大於第一預設值。於步驟S18中,控制模組11是於當前即時影像的移動向量與移動軌跡預測值間的第一差異小於第一預設值時,判斷第一差異小於校正容許範圍而不需校正即時影像;於第一差異大於或等於第一預設值並且小於第二預設值時,判斷第一差異落入校正容許範圍內而需要校正即時影像;於第一差異大於第二預設值時,判斷第一差異超出校正容許範圍而無法校正即時影像。
於一實施例中,所述第一預設值為正負5%,所述第二預設值為正負30%。換句話說,若當前即時影像的移動向量與移動軌跡預測值的差值百分比小於正負5%,當前即時影像就不需要被校正;若當前即時影像的移動向量與移動軌跡預測值的差值百分比落在正負5%~正負30%之間,當前即時影像就需要被校正;若當前即時影像的移動向量與移動軌跡預測值的差值百分比大於正負30%時,當前即時影像就無法被校正。
惟,上述僅為本發明的其中一個具體實施範例,但並不以此為限。
續請同時參閱圖1、圖3及圖6,其中圖6為本發明的輸出影像產生流程圖的第一具體實施例。圖6用以對圖3中的步驟S22做更進一步的解釋,說明校正裝置1中的影像校正模組14如何在各種不同的情況下產生對應的輸出影像。
如圖6所示,於圖3的步驟S22中,首先由影像校正模組14判斷是否需要對當前即時影像進行校正(步驟S220)。本發明中,若控制模組11所產生的補償值為0,則影像校正模組14可判斷不需對當前即時影像進行校正。此時,影像校正模組14直接輸出當前即時影像(步驟S222),以將當前即時影像直接做為輸出影像。更具體地,於本實施例中,影像校正模組14是將當前即時影像加上補償值(即為0),以產生輸出影像。而由於補償值為0,因此輸出影像相等於當前即時影像。
若控制模組11產生的補償值不為0,則影像校正模組14可判斷需要對當前即時影像進行校正。此時,影像校正模組14將當前即時影像中的一或多個影像特徵分別加上對應的補償值(步驟S224),並且添加對應的警示訊息(步驟S226),以產生所述輸出影像。
若從控制模組11接收到所述預設影像,或是接收到讀取預設影像的指令,則影像校正模組14可判斷當前即時影像已嚴重異常而無法被校正。此時,影像校正模組14取得預設影像(步驟S228),並且添加對應的警示訊息(步驟S230),以產生所述輸出影像。於一實施例中,所述預設影像為與當前即時影像於時間上相鄰的前一張影像(例如圖1中的前一張影像151),但不以此為限。
步驟S222、步驟S226或步驟S230後,影像校正模組14即可進一步執行圖3的步驟S32,以持續輸出影像校正模組145產生的輸出影像。藉 此,無論當前即時影像的狀態為何,本發明的校正裝置1皆可持續且穩定地通過顯示器3提供可供使用者視察的影像。
於上述圖3的實施例中,校正裝置1主要是基於當前即時影像的移動向量與移動軌跡預測值的差異,判斷是否需對當前即時影像進行校正。然而如前文所述,影像偵測模組12可在接收即時影像的同時,偵測所接收的每一張即時影像的基本影像資訊。於其他實施例中,校正裝置1還可藉由當前即時影像的基本影像資訊與在先的一或多張影像的基本影像資訊的差異,判斷是否需對當前即時影像進行校正。
請同時參閱圖1及圖7,其中圖7為本發明的校正方法的流程圖的第二具體實施例。本實施例中,校正裝置1通過影像偵測模組12連接影像輸入裝置2,以持續接收即時影像(步驟S40),並且,影像偵測模組12持續偵測並記錄所接收的即時影像的基本影像資訊153(步驟S42)。
於一實施例中,所述基本影像資訊153可例如為即時影像的曝光強度、頻率、每秒幀數、有效影像垂直行數、有效影像水平像素數等,但不以此為限。
步驟S42後,校正裝置1通過影像比對模組13分析各即時影像的影像特徵,並且通過控制模組11與影像比對模組13計算當前即時影像的移動向量152以及移動軌跡預測值(步驟S44)。所述移動向量152與移動軌跡預測值的計算方式與圖3所示者相同,於此不再贅述。
本實施例中,校正裝置1的控制模組11可計算當前即時影像的移動向量152與移動軌跡預測值的差異(下稱為第一差異),並且計算當前即時影像的基本影像資訊153與累計的一或多張在先的即時影像的基本影像資訊153 間的差異(下稱為第二差異)。藉此,控制模組11可以基於第一差異以及第二差異的數值來判斷是否需對當前即時影像進行校正(步驟S46)。
舉例來說,若一或多張在先的即時影像的基本影像資訊153指出,該些即時影像中屬於有效影像的垂直行數為1920行,但當前即時影像的基本影像資訊153指出,當前即時影像中屬於有效影像的垂直行數為1900行。此時,控制模組11可判斷雖然當前即時影像的基本影像資訊153與在先的即時影像的基本影像資訊153具有所述第二差異,但第二差異的數值小於校正允許範圍,屬於不嚴重而不需要被校正的情況。
再例如,若一或多張在先的即時影像的基本影像資訊153指出,該些即時影像中屬於有效影像的垂直行數為1920行,但當前即時影像的基本影像資訊153指出,當前即時影像中屬於有效影像的垂直行數為1800行。此時,控制模組11可以基於第二差異的數值判斷當前即時影像需要進行校正。
再例如,若一或多張在先的即時影像的基本影像資訊153指出,該些即時影像中屬於有效影像的垂直行數為1920行,但當前即時影像的基本影像資訊153指出,當前即時影像中屬於有效影像的垂直行數僅為150行。此時,控制模組11可以基於第二差異的數值判斷當前即時影像已嚴重異常,而無法進行校正。
如圖7所示,若所述第一差異及第二差異皆小於預設的校正允許範圍(例如小於第一門檻值),表示當前即時影像不需被校正。因此,控制模組11輸出補償值為0(步驟S48),並且控制影像校正模組14基於在步驟S48中輸出的補償值來產生輸出影像(步驟S50)。本實施例中,影像校正模組14是將當 前即時影像中加上補償值,以產生輸出影像。由於補償值為0,因此輸出影像相等於當前即時影像。
若所述第一差異及第二差異皆落入校正允許範圍內(例如大於或等於第一門檻值並小於第二門檻值),表示當前即時影像需要被校正。因此,控制模組11基於當前即時影像的移動向量152以及移動軌跡預測值來計算對應的補償值(步驟S52)。並且,控制模組11輸出補償值至影像校正模組14(步驟S54),藉此控制影像校正模組14基於在步驟S54中輸出的補償值來產生輸出影像(步驟S50)。
於步驟S52中,控制模組11主要是計算當前即時影像的移動向量152與移動軌跡預測值的內插值的平均值,並以此平均值做為補償值。於步驟S54中,影像校正模組14是將當前即時影像中的一或多個影像特徵分別加上對應的補償值,以產生輸出影像。由於補償值不為0,因此輸出影像相異於當前即時影像。值得一提的是,於此實施例中,影像校正模組14同時添加所述警示信息至輸出影像中,以提醒使用者目前顯示器3上所顯示的影像是經過校正的影像,與影像輸入裝置2實際輸入的影像具有區別。
若所述第一差異及第二差異皆超出校正允許範圍(例如大於第二門檻值),表示當前即時影像已嚴重異常而無法被校正。因此,控制模組11直接發出控制命令至影像輸入裝置2,以重置影像輸入裝置2(步驟S56)。並且,控制模組11輸出預設影像(例如儲存裝置15中儲存的前一張影像151)給影像校正模組14(步驟S58),藉此控制影像校正模組14可將在步驟S58中得到的預設影像直接做為輸出影像(步驟S50)。
本實施例中,影像校正模組14亦會同時添加所述警示信息至輸出影像中,以提醒使用者目前顯示器3上所顯示的影像並非是影像輸入裝置2當前實際輸入的即時影像。
步驟S50後,校正裝置1可通過影像校正模組14來持續提供所產生的輸出影像(步驟S60)。並且,校正裝置1通過控制模組11持續判斷影像系統是否關機(步驟S62),並於影像系統關機前持續執行步驟S40至步驟S60。藉此,無論影像輸入裝置2是否受到干擾,當前即時影像是否異常,校正裝置1將可持續且穩定地輸出影像。
以上所述僅為本發明之較佳具體實例,非因此即侷限本發明之專利範圍,故舉凡運用本發明內容所為之等效變化,均同理皆包含於本發明之範圍內,合予陳明。
S10~S34:校正步驟

Claims (20)

  1. 一種即時影像的校正裝置,包括:一影像偵測模組,連接一影像輸入裝置以持續接收複數即時影像;一影像比對模組,連接該影像偵測模組,執行一分析演算法以分析各該即時影像的一影像特徵,計算任兩張時間相鄰的該即時影像的該影像特徵的一特徵差異,並基於該特徵差異計算各該即時影像的該影像特徵的一移動向量;一控制模組,連接該影像輸入裝置、該影像偵測模組及該影像比對模組,記錄各該即時影像的該移動向量,並基於累計的該些移動向量計算該複數即時影像中的一當前即時影像的一移動軌跡預測值;及一影像校正模組,連接該影像比對模組及該控制模組,用以提供一輸出影像;其中,該控制模組於該當前即時影像的該移動軌跡預測值與該當前即時影像的該移動向量間的一第一差異落入一校正允許範圍內時,基於該當前即時影像的該移動軌跡預測值及該移動向量計算一補償值,並控制該影像校正模組基於該補償值校正該當前即時影像,以產生該輸出影像並同時提供一第一警示訊息,其中該第一警示訊息指出該輸出影像為校正後影像;其中,該控制模組於該第一差異超出該校正允許範圍時重置該影像輸入裝置,並且控制該影像校正模組將一預設影像做為該輸出影像並同時提供一第二警示訊息,其中該預設影像為該校正裝置的一儲存裝置中儲存的一或多張影像,該第二警示訊息指出該輸出影像並非該即時影像。
  2. 如請求項1所述的校正裝置,其中該分析演算法為一移動向量演算法。
  3. 如請求項2所述的校正裝置,其中該特徵差異為任兩張時間相鄰的該即時影像中同一區域的一亮度偏移量、一色度偏移量、一離散小波變換量(Discrete Wavelet Transform,DWT)或一連續小波轉換量(Continous Wavelet Transform,CWT)。
  4. 如請求項2所述的校正裝置,其中該影像輸入裝置為一影像感測器、一高畫質多媒體介面(High Definition Multimedia Interface,HDMI)、一串列數位介面(Serial Digital Interface,SDI)、一電子資料處理(Electronic Data Processing,EDP)介面或一行動產業處理介面(Mobile Industry Processor Interface,MIPI)。
  5. 如請求項2所述的校正裝置,其中該控制模組於該第一差異大於或等於一第一預設值並且小於一第二預設值時,判斷該第一差異落入該校正允許範圍內,並且於該第一差異大於該第二預設值時判斷該第一差異超出該校正允許範圍,其中該第一預設值小於該第二預設值。
  6. 如請求項5所述的校正裝置,其中該第一預設值為正負5%,該第二預設值為正負30%。
  7. 如請求項5所述的校正裝置,其中該預設影像為與該當前即時影像於時間上相鄰的前一張影像。
  8. 如請求項5所述的校正裝置,其中當該第一差異落入該校正允許範圍內時,該控制模組計算該當前即時影像的該移動軌跡預測值及該移動向量的一內插值的一平均值,並以該平均值做為該補償值。
  9. 如請求項5所述的校正裝置,其中該控制模組於該第一差異小於該第一預設值時將該補償值設定為0,並控制該影像校正模組基於該補償值校正該當前即時影像以產生該輸出影像。
  10. 如請求項9所述的校正裝置,其中該影像偵測模組偵測各該即時影像的一基本影像資訊,該控制模組計算累計的複數該即時影像的該基本影像資訊與該當前即時影像的該基本影像資訊間的一第二差異,於該第一差異及該第二差異小於該第一預設值時設定該補償值為0,於該第一差異及該第二差異落入該校正允許範圍內時基於該當前即時影像的該移動軌跡預測值及該移動向量計算該補償值,並於該第一差異及該第二差異超出該校正允許範圍時重置該影像輸入裝置。
  11. 如請求項10所述的校正裝置,其中該基本影像資訊為各該即時影像的曝光強度、頻率、每秒幀數、有效影像垂直行數及有效影像水平像素數的至少其中之一。
  12. 一種即時影像的校正方法,包括:a)從一影像輸入裝置持續接收複數即時影像;b)執行一分析演算法以分析各該即時影像的一影像特徵;c)計算任兩張時間相鄰的該即時影像的該影像特徵的一特徵差異,並且基於該特徵差異計算各該即時影像的該影像特徵的一移動向量;d)基於累計的該些移動向量計算該複數即時影像中的一當前即時影像的一移動軌跡預測值;e)於判斷該當前即時影像的該移動軌跡預測值與該移動向量間的一第一差異落入一校正允許範圍時,基於該當前即時影像的該移動軌跡預測值及該移動向量計算一補償值; e1)該步驟e後,基於該補償值校正該當前即時影像以產生一輸出影像,並且同時提供一第一警示訊息,其中該第一警示訊息指出該輸出影像為校正後影像;f)於判斷該第一差異超出該校正允許範圍時,控制該影像輸入裝置進行重置;及f1)取得一預設影像做為該輸出影像,並且同時提供一第二警示訊息,其中該預設影像為一儲存裝置中儲存的一或多張影像,該第二警示訊息指出該輸出影像並非該即時影像。
  13. 如請求項12所述的校正方法,其中該步驟c)包括:計算任兩張時間相鄰的該即時影像中同一區域的一亮度偏移量、一色度偏移量、一離散小波變換量(Discrete Wavelet Transform,DWT)或一連續小波轉換量(Continous Wavelet Transform,CWT),以產生該特徵差異。
  14. 如請求項12所述的校正方法,其中該步驟e)包括:於該第一差異大於或等於一第一預設值並且小於一第二預設值時,判斷該第一差異落入該校正允許範圍內,其中該第一預設值小於該第二預設值;該步驟f)包括:於該第一差異大於該第二預設值時,判斷該第一差異超出該校正允許範圍。
  15. 如請求項14所述的校正方法,其中該第一預設值為正負5%,該第二預設值為正負30%。
  16. 如請求項14所述的校正方法,其中該步驟f1)包括:取得與該當前即時影像於時間上相鄰的前一張影像,以做為該預設影像。
  17. 如請求項14所述的校正方法,其中該步驟e)包括:計算該當前即時影像的該移動軌跡預測值及該移動向量的一內插值的一平均值,並以該平均值做為該補償值。
  18. 如請求項14所述的校正方法,其中更包括:g)於判斷該第一差異小於該第一預設值時,將該補償值設定為0;及g1)該步驟g)後,基於該補償值校正該當前即時影像以產生該輸出影像。
  19. 如請求項18所述的校正方法,其中該步驟a)包括:偵測各該即時影像的一基本影像資訊,並且該校正方法更包括一步驟a1):計算累計的複數該即時影像的該基本影像資訊與該當前即時影像的該基本影像資訊間的一第二差異;其中該步驟g)是於該第一差異及該第二差異小於該第一預設值時設定該補償值為0,該步驟e)是於該第一差異及該第二差異落入該校正允許範圍內時計算該補償值,該步驟f)是於該第一差異及該第二差異超出該校正允許範圍時重置該影像輸入裝置。
  20. 如請求項19所述的校正方法,其中該基本影像資訊為各該即時影像的曝光強度、頻率、每秒幀數、有效影像垂直行數及有效影像水平像素數的至少其中之一。
TW110133459A 2021-02-26 2021-09-08 即時影像的校正裝置及校正方法 TWI778785B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163153953P 2021-02-26 2021-02-26
US63/153,953 2021-02-26

Publications (2)

Publication Number Publication Date
TW202234872A TW202234872A (zh) 2022-09-01
TWI778785B true TWI778785B (zh) 2022-09-21

Family

ID=82974911

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110133459A TWI778785B (zh) 2021-02-26 2021-09-08 即時影像的校正裝置及校正方法

Country Status (3)

Country Link
US (1) US11803975B2 (zh)
CN (1) CN114972052A (zh)
TW (1) TWI778785B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821149B (zh) * 2023-05-18 2023-11-01 國立中正大學 內視鏡冗餘影像除去方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201319954A (zh) * 2011-11-11 2013-05-16 Ind Tech Res Inst 影像穩定方法及影像穩定裝置
CN104427233A (zh) * 2013-09-02 2015-03-18 联想(北京)有限公司 信息处理方法和信息处理设备
TW201921319A (zh) * 2017-09-05 2019-06-01 宏達國際電子股份有限公司 影像渲染裝置、方法及其非暫態電腦可讀取儲存媒體

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231755B (zh) * 2007-01-25 2013-03-06 上海遥薇(集团)有限公司 运动目标跟踪及数量统计方法
US8929630B2 (en) * 2009-03-27 2015-01-06 Life Technologies Corporation Systems and methods for assessing images
FR3013488B1 (fr) * 2013-11-18 2017-04-21 Univ De Nice (Uns) Procede d'estimation de la vitesse de deplacement d'une camera
EP3474230B1 (en) * 2017-10-18 2020-07-22 Tata Consultancy Services Limited Systems and methods for edge points based monocular visual slam

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201319954A (zh) * 2011-11-11 2013-05-16 Ind Tech Res Inst 影像穩定方法及影像穩定裝置
CN104427233A (zh) * 2013-09-02 2015-03-18 联想(北京)有限公司 信息处理方法和信息处理设备
TW201921319A (zh) * 2017-09-05 2019-06-01 宏達國際電子股份有限公司 影像渲染裝置、方法及其非暫態電腦可讀取儲存媒體

Also Published As

Publication number Publication date
US20220277462A1 (en) 2022-09-01
CN114972052A (zh) 2022-08-30
US11803975B2 (en) 2023-10-31
TW202234872A (zh) 2022-09-01

Similar Documents

Publication Publication Date Title
CN109922275B (zh) 曝光参数的自适应调整方法、装置及一种拍摄设备
US10614554B2 (en) Contrast adaptive video denoising system
US8861892B2 (en) Method and apparatus for determining projection area of image
US8625922B2 (en) Image processing method and program for determining whether sabotage has occurred to an image
JP2010148084A (ja) 映像処理方法および映像処理装置
TWI778785B (zh) 即時影像的校正裝置及校正方法
US20080151067A1 (en) Imaging Apparatus, Imaging Signal Processing Method, and Program
US11172138B2 (en) Image capture apparatus capable of performing HDR combination, method of controlling same, and storage medium
US7983454B2 (en) Image processing apparatus and image processing method for processing a flesh-colored area
JP2007208513A (ja) 画像位置ずれ検出装置および画像位置ずれ検出方法
US11310440B2 (en) Image processing apparatus, surveillance camera system, and image processing method
JP5710230B2 (ja) 監視システムおよび監視方法
JP2005150779A (ja) 画像表示装置の表示特性補正データ算出方法、表示特性補正データプログラム、表示特性補正データ算出装置
US11722788B2 (en) Image processing apparatus and method, and image capturing apparatus
US20100091141A1 (en) System and method for correcting artifacts in sequential imagers caused by transient light disturbances
JP6819785B2 (ja) 位置推定装置、位置推定方法及びプログラム
EP3836540B1 (en) Image processing apparatus and image capturing apparatus
US10965841B2 (en) Receiving device, video recording system and method for reducing video latency in video recording system
JP5274403B2 (ja) 動き検出装置及び動き検出方法
JP4760484B2 (ja) 手振れ補正装置、手振れ補正方法およびプログラム
CN113538504B (zh) 目标匀速移动场景中的跟踪目标显示方法和电子设备
US11743601B2 (en) Image processing device, image processing method, and storage medium
JPH0584237A (ja) X線画像処理装置
US11228724B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium for interpolating pixel value of determined defective pixel to be corrected
WO2020184173A1 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent