TWI824321B - 影像控制器、影像處理系統及影像修正方法 - Google Patents

影像控制器、影像處理系統及影像修正方法 Download PDF

Info

Publication number
TWI824321B
TWI824321B TW110138713A TW110138713A TWI824321B TW I824321 B TWI824321 B TW I824321B TW 110138713 A TW110138713 A TW 110138713A TW 110138713 A TW110138713 A TW 110138713A TW I824321 B TWI824321 B TW I824321B
Authority
TW
Taiwan
Prior art keywords
image
target
controller
conversion operation
ratio
Prior art date
Application number
TW110138713A
Other languages
English (en)
Other versions
TW202303517A (zh
Inventor
胡士茗
趙學德
Original Assignee
創惟科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 創惟科技股份有限公司 filed Critical 創惟科技股份有限公司
Priority to US17/834,924 priority Critical patent/US20230007182A1/en
Priority to CN202210693317.2A priority patent/CN115567653A/zh
Publication of TW202303517A publication Critical patent/TW202303517A/zh
Application granted granted Critical
Publication of TWI824321B publication Critical patent/TWI824321B/zh

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本發明實施例提供一種影像控制器、影像處理系統及影像修正方法。第一控制器取得來自影像擷取裝置的第一影像。第一控制器依據轉換作業將第一影像轉換成第二影像。轉換作業包括變形校正，且變形校正用於校正第一影像中的一個或更多個目標物的形變。第二控制器偵測第二影像中的目標物，以產生偵測結果。第一控制器依據偵測結果修正轉換作業。藉此，可改善視覺體驗。

Description

影像控制器、影像處理系統及影像修正方法
本發明是有關於一種影像處理技術，且特別是有關於一種影像控制器、影像處理系統及影像修正方法。
在習知技術中，雖然裝載廣角透鏡或魚眼透鏡的相機可擷取具有較廣視角(Field of View，FoV)的影像，但影像邊緣可能彎曲且形成不自然的外觀表現。廣角或魚眼影像的失真情況可能造成其內容難以辨識，更可能讓使用者的眼睛感到不適。
另一方面，這類相機通常裝載於諸如後視鏡、網路攝影機(IP camera)、監視系統、物聯網攝影機及機器視覺相關產品。在一些應用情境下，影像中的物體是觀看者所欲追蹤的目標。然而，影像中的物體可能不只一個且物體可能移動，但這類產品通常無法反應於物體的移動或數量而提供合適的影像。
有鑑於此，本發明實施例提供一種影像控制器、影像處理 系統及影像修正方法，可簡單且有效地修正失真影像，並可提升特定追蹤目標在影像中的識別度。
本發明實施例的影像修正方法包括(但不僅限於)下列步驟：取得來自影像擷取裝置的第一影像。依據轉換作業將第一影像轉換成第二影像。轉換作業包括變形校正，且變形校正用於校正第一影像中的一個或更多個目標物的形變。偵測第二影像中的目標物，以產生偵測結果。依據偵測結果修正轉換作業。
本發明實施例的影像處理系統包括(但不僅限於)影像擷取裝置、第一控制器及第二控制器。影像擷取裝置包括透鏡及影像感測器。透過透鏡及影像感測器擷取第一影像。第一控制器耦接影像擷取裝置，並用以依據轉換作業將第一影像轉換成第二影像。轉換作業包括變形校正。變形校正用於校正第一影像中的一個或更多個目標物的形變。第二控制器耦接第一控制器，並用以偵測第二影像中的那些目標物，以產生偵測結果。第一控制器更用以依據偵測結果修正轉換作業。
本發明實施例的影像控制器包括(但不僅限於)記憶體及處理器。記憶體用以儲存程式碼。處理器耦接記憶體。處理器經配置用以載入且執行程式碼以取得第一影像，依據轉換作業將第一影像轉換成第二影像，偵測第二影像中的一個或更多個目標物以產生偵測結果，並依據偵測結果修正轉換作業。轉換作業包括變形校正，且變形校正用於校正第一影像中的一個或更多個目標物的形變。
基於上述，依據本發明實施例的影像控制器、影像處理系統及影像修正方法，主要是依據第二控制器針對目標物的偵測結果修正第一控制器的轉換作業。藉此，可修正失真，並在第二影像中凸顯目標物。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
1:影像處理系統
10:影像擷取裝置
11:透鏡
15:影像感測器
30:第一控制器
31:記憶體
35:處理器
50:第二控制器
51:記憶體
55:處理器
S210~S270:步驟
FIM1~FIM2:第一影像
SIM1~SIM28:第二影像
FOV1~FOV7:視角
SR1、SR2:縮放倍率
SH1、SH2:方向
TI1:向上調整
TI2:向下調整
PA1:向右調整
PA2:向左調整
RO1:順時針轉向
RO2:逆時針轉向
x、y、z:軸
P1、P2、P3、P4:人物
IMe:魚眼影像
IMo、IMo1、IMo2:外環影像
TW1~TW6:視窗
M1~M15:模式
CS1、CS2:座標系
(xo,yo)、(xt,yt):座標
T1~T6:目標物
θ1、θ2、θ3:角度
BB1、BB2:定界框
圖1是依據本發明一實施例的影像處理系統的元件方塊圖。
圖2是依據本發明一實施例的影像修正方法的流程圖。
圖3A是依據本發明一實施例的反扭曲(dewarp)的示意圖。
圖3B是依據本發明一實施例的視角調整的示意圖。
圖3C是依據本發明一實施例的縮放(zoom)調整的示意圖。
圖3D是依據本發明一實施例的平移(shift)的示意圖。
圖3E是依據本發明一實施例的上下視角調整的示意圖。
圖3F是依據本發明一實施例的左右視角調整的示意圖。
圖3G是依據本發明一實施例的平面視角調整的示意圖。
圖3H是依據本發明一實施例影像擷取裝置的擺設及所擷取影像的示意圖。
圖3I是依據本發明一實施例影像擷取裝置的擺設及所擷取影像的示意圖。
圖3J是依據本發明一實施例影像擷取裝置的擺設及所擷取影像的示意圖。
圖4是依據本發明一實施例的魚眼影像展開的示意圖。
圖5是依據本發明一實施例的目標編排的示意圖。
圖6是依據本發明一實施例的多種模式的目標編排的示意圖。
圖7A是依據本發明一實施例的模式的目標編排的示意圖。
圖7B是依據本發明一實施例的模式的目標編排的示意圖。
圖7C是依據本發明一實施例的模式的目標編排的示意圖。
圖8是依據本發明一實施例的模式的座標系轉換的示意圖。
圖9是依據本發明一實施例的視角下的第二影像的示意圖。
圖10是依據本發明一實施例的旋轉視角的第二影像的示意圖。
圖11是依據本發明一實施例的修正的第二影像的示意圖。
圖12A是依據本發明一實施例的會議情境的第二影像的示意圖。
圖12B是依據本發明另一實施例的會議情境的第二影像的示意圖。
圖12C是依據本發明另一實施例的修正的第二影像的示意圖。
圖13是依據本發明一實施例的多目標視窗影像的示意圖。
圖14A是依據本發明一實施例的多目標視窗的第二影像的示意圖。
圖14B是依據本發明一實施例的修正的第二影像的示意圖。
圖1是依據本發明一實施例的影像處理系統1的元件方塊圖。請參照圖1，影像處理系統1包括(但不僅限於)影像擷取裝置10、第一控制器30及第二控制器50。
影像擷取裝置10可以是相機、攝影機、監視器或相似功能的裝置。影像擷取裝置10可包括(但不僅限於)透鏡11及影像感測器15(例如，電荷耦合裝置(Charge Coupled Device，CCD)或互補式金氧半導體(Complementary Metal-Oxide-Semiconductor，CMOS)等)。在一實施例中，可透過透鏡11及影像感測器15擷取影像。例如，光線經過透鏡11成像在影像感測器15上。
在一些實施例中，影像擷取裝置10的規格(例如，取像光圈、倍率、焦距、取像可視角度、影像感測器15的大小等)及其數量可依據實際需求而調整。例如，透鏡11為魚眼或廣角透鏡，並據以產生魚眼影像或廣角影像。
第一控制器30可透過相機介面、I2C及/或其他傳輸介面耦接影像擷取裝置10。第一控制器30包括(但不僅限於)記憶體31及處理器35。記憶體31可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，記憶體31用以儲存程式碼、軟體模組、組態配置、 資料或檔案。處理器35可以是影像處理器或圖形處理單元(Graphic Processing unit，GPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。在一實施例中，處理器35用以執行第一控制器30的所有或部份作業，且可載入並執行記憶體31所儲存的各程式碼、軟體模組、檔案及資料。
第二控制器50可透過相機介面(例如，行動產業處理器介面(Mobile Industry Processor Interface，MIPI))、I2C、USB及/或其他傳輸介面耦接第一控制器30。第二控制器50包括(但不僅限於)記憶體51及處理器55。記憶體51的實施態樣及功能可參照記憶體31的說明，於此不再贅述。處理器55的實施態樣及功能可參照處理器35的說明，於此不再贅述。在一實施例中，處理器55用以執行第二控制器50的所有或部份作業，且可載入並執行記憶體51所儲存的各程式碼、軟體模組、檔案及資料。
在一實施例中，影像擷取裝置10、第一控制器30及第二控制器50可整合成獨立裝置。例如，影像處理系統1為相機系統，其中第一控制器30可以是魚眼控制器、廣角鏡頭控制器或其他影像相關控制器，且第二控制器50為微控制器或SoC。在另一實施例中，影像擷取裝置10與第一控制器30可整合成模組，且第二 控制器50例如為電腦系統(例如，桌上型電腦、筆記型電腦、伺服器、智慧型手機或平板電腦)或是設置於其中之一部分。又在另一實施例中，第一控制器30與第二控制器50可以整合成一影像控制器或是適當的控制器模組，並可與影像擷取裝置10耦接。
下文中，將搭配影像處理系統1中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。
圖2是依據本發明一實施例的影像修正方法的流程圖。請參照圖2，第一控制器30取得來自影像擷取裝置10的第一影像(步驟S210)。具體而言，第一影像是透過影像擷取裝置10或其他外部影像擷取裝置對一個或更多個目標物拍攝所得的影像。在一實施例中，目標物例如是人類的身體。在一些實施例中，第一影像也可以是針對人類的上半身(例如，腰部、肩膀或胸部以上)。在其他實施例中，目標物亦可能是各類型生物體或非生物體。第一控制器30可經由相機介面及/或I2C取得影像擷取裝置10所擷取的第一影像。
第一控制器30可依據一轉換作業將第一影像轉換成第二影像(步驟S230)。具體而言，在一實施例中，該轉換作業包括變形校正。該變形校正用於校正第一影像中的一個或更多個目標物的形變。在另一實施例中，該轉換作業包括位置調整。該位置調整用於調整第一影像中的一個或更多個目標物的位置。又一實施例中，該轉換作業包括變形校正及位置調整。也就是說，第一影像中的目 標物的外觀及/或位置可能不同於第二影像中的相同目標物。
舉例而言，圖3A是依據本發明一實施例的反扭曲(dewarp)的示意圖。請參照圖3A，在本實施例中，變形校正例如為反扭曲處理，其中第一影像FIM1例如為透過魚眼透鏡所取得的影像，該影像例如是一扭曲影像。第一控制器30可對第一影像FIM1進行例如是反扭曲展開的轉換作業，以產生第二影像SIM1，進而使第二影像SIM1較為接近真實影像。藉此，可產生具較佳比例或具正常比例的目標物影像。
在一些應用情境中，為了適應顯示裝置的尺寸(例如，解析度1920×1080或480×272)或比例(例如，16：9或4：3)，可調整影像的取像視角。圖3B是依據本發明一實施例的視角調整的示意圖。請參照圖3B，在本實施例中，轉換作業所包括的位置調整例如是視角調整，而影像擷取裝置10的透鏡11的取像視角例如為180度。其中，本實施例的第一控制器30例如可改變或調整第一影像FIM1的取像視角成為視角FOV1(例如，140度)(即，轉換作業)，以產生第二影像SIM2。或者，第一控制器30可改變第一影像FIM1的取像視角成為視角FOV2(例如，110度)(即，轉換作業)，以產生第二影像SIM3。藉此，可將取像視角朝向位於透鏡11前的特定位置的目標物。
在一些應用情境中，影像處理應用有縮放(zoom)影像的需求。例如，若影像不足以供影像辨識使用，則需要放大(zoom in)影像。此外，放大影像將造成取像視角相對縮小。若欲瀏覽原始尺 寸的影像，則可透過縮小(zoom out)影像來還原取像視角。圖3C是依據本發明一實施例的縮放調整的示意圖。請參照圖3C，在本實施例中，轉換作業還可包括縮放調整。本實施例可依據縮放倍率SR1(例如，120%)放大第一影像FIM1(即，轉換作業)，以產生第二影像SIM5。或者，本實施例可依據縮放倍率SR2(例如，80%)縮小第一影像FIM1(即，轉換作業)，以產生第二影像SIM6。藉此，可放大或縮小目標物。
在一些應用情境中，影像經放大後，可透過平移(shift)來瀏覽影像中超出可視範圍的區域。圖3D是依據本發明一實施例的平移的示意圖。請參照圖3D，在本實施例中，轉換作業所包括的位置調整例如是平移影像，圖中虛線框代表第一影像的可視範圍，且實線框代表第二影像的可視範圍。第一控制器30例如可通知影像擷取裝置10可依據方向SH1(朝右上方)平移進而第一影像FIM1(即，轉換作業)，以產生第二影像SIM7。或者，第一控制器30例如可通知影像擷取裝置10可依據方向SH2(朝左下方)平移進而第一影像FIM1(即，轉換作業)，以產生第二影像SIM8。藉此，可改變目標物在影像中的位置。
在一些應用情境中，當感興趣之影像位於影像擷取裝置10的上方或下方時，可透過上下視角調整(或稱傾角調整(tilt))來調整角度，進而取得較好的取像視角。例如，當影像擷取裝置10整合於電子門鈴並安裝於牆上時，此時影像擷取裝置10的高度可能高於或低於人的站立高度，因此可透過上下視角調整改變取像 視角。圖3E是依據本發明一實施例的上下視角調整的示意圖。請參照圖3E，在本實施例中，轉換作業所包括的位置調整例如是上下視角調整。影像擷取裝置10直立設置且朝向y軸。第一控制器30例如可通知影像擷取裝置10可依據軸x向上調整TI1第一影像FIM1的視角(即，轉換作業)，以產生第二影像SIM9。或者，第一控制器30例如可通知影像擷取裝置10可依據軸x向下調整TI2第一影像FIM1的視角(即，轉換作業)，以產生第二影像SIM10。藉此，可改變目標物在影像中的位置。
在一些應用情境中，當感興趣之目標物位於影像擷取裝置10的左方或右方時，可透過左右視角調整(或稱左右轉動角調整(pan))來調整角度，進而取得較好的取像視角。例如，當影像擷取裝置10整合於電子門鈴並安裝於牆上時，透鏡11可能不是正面朝向訪客，因此可透過左右視角調整將取像視角朝向訪客。圖3F是依據本發明一實施例的左右視角調整的示意圖。請參照圖3F，轉換作業所包括的位置調整例如是左右視角調整(或稱左右轉動角調整(pan))。影像擷取裝置10直立設置且朝向y軸。第一控制器30例如可通知影像擷取裝置10可依據軸z向右調整PA1第一影像FIM1的視角(即，轉換作業)，以產生第二影像SIM11。或者，第一控制器30例如可通知影像擷取裝置10可依據軸z向左調整PA2第一影像FIM1的視角(即，轉換作業)，以產生第二影像SIM12。藉此，可改變目標物在影像中的位置。
圖3G是依據本發明一實施例的平面視角調整的示意圖。 請參照圖3G，轉換作業所包括的位置調整例如是平面視角調整(或稱轉向(rotate))。影像擷取裝置10平放設置且朝向y軸。第一控制器30例如可通知影像擷取裝置10可依據軸y順時針轉向RO1第一影像FIM1的視角(即，轉換作業)，以產生第二影像SIM13。或者，第一控制器30例如可通知影像擷取裝置10可依據軸y逆時針轉向RO2第一影像FIM1的視角(即，轉換作業)，以產生第二影像SIM14。藉此，可改變目標物在影像中的位置。
關於平面視角調整的應用情境，圖3H是依據本發明一實施例影像擷取裝置10的擺設及所擷取影像的示意圖。請參照圖3H，影像擷取裝置10平放設置。假設透鏡11為魚眼鏡頭，則光通過透鏡11並投影在影像感測器15上而產生魚眼影像IMe。依據應用需求，第一控制器30例如可通知影像擷取裝置10可僅擷取對應於透鏡11外環的外環影像IMo。
圖3I是依據本發明一實施例影像擷取裝置10的擺設及所擷取影像的示意圖。請參照圖3I，如上半圖所示，假設影像擷取裝置10平放設置於人物P1、P2、P3、P4之間。若僅擷取透鏡11的外環並分割兩半，則可產生外環影像IMo1、IMo2。外環影像IMo1擷取人物P1、P2，且外環影像IMo2擷取人物P3、P4。
圖3J是依據本發明一實施例影像擷取裝置10的擺設及所擷取影像的示意圖。請參照圖3J，假設第一控制器30依據如左圖所示箭頭方向對外環影像IMo1、IMo2進行平面視角調整。圖中所示淺色線條的人物P1~P4代表其原先位置，且深色線條的人物 P1~P4代表其經平面視角調整後的位置。外環影像IMo1擷取人物P1、P2將向左平移，且外環影像IMo2擷取人物P3、P4將向右平移。
圖4是依據本發明一實施例的魚眼影像展開的示意圖。請參照圖4，假設第一影像FIM2為魚眼影像，且影像中的人物變形。第二影像SIM15為第一控制器30校正的影像，且影像中的人物的比例正常。
在一實施例中，轉換作業更包括目標編排(或稱視窗編排、多分割視窗)。第二影像例如包括多個視窗。此外，假設第二影像包括一個或更多個目標物。例如，第一目標、第二目標、第三目標及/或第四目標。目標編排用於調整這些目標物中的第一目標在該第二影像中的目標視窗(即，那些視窗中的一者)。本實施例可將第二影像劃分成多個視窗，對變形校正後的影像剪裁，且將剪裁的部分影像安排在特定視窗中。在一較佳實施例中，本實施例是利用應用程式來將第二影像劃分成多個視窗。
舉例而言，圖5是依據本發明一實施例的目標編排的示意圖。請參照圖5，第一控制器30對圖4之第一影像FIM2進行變形校正後，將經過縮放及/或剪裁後的影像例如分別排列於不同視窗TW1,TW2。排列於不同視窗TW1,TW2之影像例如是參與會議之人員影像或是經過特定篩選之與會者影像。經過特定篩選之與會者影像例如是於會議中發言的與會者。
圖6是依據本發明一實施例的多種模式M1~M15的目標 編排的示意圖。請參照圖6，這些多種模式M1~M15可能包括一個視窗TW1、兩個視窗TW1,TW2、三個視窗TW1~TW3、四個視窗TW1~TW4、五個視窗TW1~TW5或六個視窗TW1~TW6。各模式M2~M15中的分割線為視窗範圍。而TW1~TW6用以代表不同視窗的編號。此外，即使視窗的數量相同，但不同目標中的視窗的位置、大小及/或形狀可能不同。例如，模式M6的視窗TW1大於模式2的視窗TW1。
須說明的是，視窗的數量、大小及形狀還可能有其他變化，且本發明實施例不加以限制。此外，符號“TW1”、“TW2”、“TW3”、“TW4”、“TW5”、“TW6”僅是用於作為編號。
以下舉三個模式作為範例： 圖7A是依據本發明一實施例的模式的目標編排的示意圖。請參照圖4、圖6及圖7A，假設第一控制器30選擇圖6中的模式M1，則圖4中的第一影像FIM2可轉換成圖7A中的第二影像SIM16，其中圖7A中的第二影像SIM16例如為單視窗模式。
圖7B是依據本發明一實施例的模式的目標編排的示意圖。請參照圖4、圖6及圖7B，假設第一控制器30選擇圖6中的模式M5，則圖4中的第一影像FIM2可轉換成圖7B中的第二影像SIM17。圖7B中的第二影像SIM17例如為二分割視窗。視窗TW1是針對人物P3，且視窗TW2是針對四位人物P1、P2、P3、P4。
圖7C是依據本發明一實施例的模式的目標編排的示意 圖。請參照圖4、圖6及圖7C，假設第一控制器30選擇圖6中的模式M11，則圖4中的第一影像FIM2可轉換成圖7C中的第二影像SIM18。第二影像SIM18例如為三分割視窗。視窗TW1是針對四位人物P1、P2、P3、P4，視窗TW2是針對人物P3，且視窗TW3是針對人物P2。
請再參照圖2，本實施例之第二控制器50可偵測第二影像中的一個或更多個目標物，以產生偵測結果(步驟S250)。具體而言，第二控制器50可經由USB及/或I2C介面取得第一控制器30所轉換的第二影像。
在一實施例中，第二控制器50可對第二影像進行物件偵測。物件偵測例如是確定第二影像中對應於目標物(例如，人、動物、非生物體或其部位的物件)的定界框(bounding box)或代表點(pinot)(可能位於目標物的輪廓、中心或其上任何位置)，進而辨識目標物的類型(例如，人類、男性或女性、狗或貓、桌或椅等)。偵測結果包括目標物的定界框(或代表點)及/或目標物的類型。本發明所述之物件偵測亦可以是確定第二影像中對應於目標物的感興趣區域(Region of Interest，ROI)或矩形框(bounding rectangle)，本文在此並不做任何限制。
在一實施例中，第二控制器50例如可應用基於神經網路的演算法(例如，YOLO、基於區域的卷積神經網路(Region Based Convolutional Neural Networks，R-CNN)、或快速R-CNN(Fast CNN))或是基於特徵匹配的演算法(例如，方向梯度直方圖(Histogram of Oriented Gradient，HOG)、Harr、或加速穩健特徵(Speeded Up Robust Features，SURF)的特徵比對)實現物件偵測。
須說明的是，本發明實施例不加以限制物件偵測所用的演算法。此外，在一些實施例中，第二控制器50可能指定特定類型的目標物。
在一實施例中，第二控制器50判斷目標物在第二影像中的位置。即，偵測結果包括目標物的位置。例如，目標物是否在第二影像的中間。又例如，目標物是否出現在第二影像。在一些實施例中，第二控制器50可在第二影像中定義參考軸(例如，水平軸或垂直軸)，並判斷目標物在第二影像中相對於參考軸的角度。
在一實施例中，第二控制器50亦可判斷在第二影像中的目標物是否移動。即，偵測結果包括目標物的運動情況。例如，第二控制器50可透過物件追蹤判斷連續的第二影像中的前後影像訊框中的相同目標物在位置或姿態上的關聯及變化。連續的第二影像代表影片或視訊串流的那些連續的影像訊框。而物件追蹤例如是判斷相鄰接第二影像中的同一目標物(可由定界框選或代表點確定其位置)的位置、移動、方向及其他運動的關聯性，進而定位移動中的目標物。在一實施例中，第二控制器50例如可應用光流法、排序法(Simple Online And Realtime Tracking，SORT)、深度排序法(Deep SORT)、聯合檢測及嵌入向量(Joint Detection and Embedding，JDE)模型或其他追蹤演算法實現物件追蹤。須說明的是，本發明實施例不加以限制物件追蹤所用的演算法。
承上所述，在一較佳實施例中，第二控制器50可透過物件追蹤判斷連續的第二影像中的前後影像訊框中的相同目標物在位置或姿態上的關聯及變化。較佳地，當第二控制器50偵測該第二影像中的該目標物所產生之該偵測結果是第二影像中的該目標物並未移動時，本實施例可僅針對定界框選、感興趣區域(Region of Interest，ROI)或矩形框(bounding rectangle)對應位置的該目標物進行例如是反扭曲(dewarp)展開的轉換作業，使例如是定界框選中的該目標物具較佳比例或具正常比例的目標物影像。換言之，當該偵測結果是該至少一目標物在該第二影像中的一位置未發生變化時，本實施例可以不需要針對整體影像進行例如是反扭曲(dewarp)展開的轉換作業，而是僅校正該第一影像中對應該位置的範圍的形變即可，進而提升影像處理作業的效率。
相對地，當連續的第二影像中的前後影像訊框(或定界框選)中的相同目標物在位置或姿態上發生變化時，第二控制器50偵測該第二影像中的該目標物所產生之該偵測結果即是第二影像中的該目標物移動，本實施例即會透過該偵測結果修正該轉換作業，讓整體影像進行例如是反扭曲(dewarp)展開的轉換作業，進而再次偵測出該目標物。
在一實施例中，第二控制器50判斷目標物在第二影像中的完整性。即，偵測結果包括目標物的完整性。例如，第二控制器50可辨識第二影像中的目標物的關鍵點(例如，眼、鼻或嘴)，並確認這些關鍵點對應的部位是否完整或數量是否正確。
須說明的是，在一些實施例中，第一控制器30也偵測第二影像中的一個或更多個目標物，以產生偵測結果。例如，第一控制器30對第二影像進行諸如物件偵測、物件追蹤、或完整性偵測，其相同或相似的內容可參酌前述說明且於此不再贅述。
第一控制器30可依據偵測結果修正轉換作業(步驟S270)。具體而言，目標物及/或影像擷取裝置10可能改變位置。若轉換作業維持不變，則目標物在第二影像中的位置可能不會置中或目標物的部分被裁切而不完整，進而影響觀看體驗。在一實施例中，第二控制器50可回傳偵測結果給第一控制器30，並據以判斷是否需要調整轉換作業。
在一實施例中，偵測結果中的目標物的位置為定界框格式。定界框格式包括定界框在第二影像中的水平軸及垂直軸的座標及第二影像的大小(例如，寬度及高度)。
在另一實施例中，偵測結果中的目標物的位置為代表點格式。代表點格式包括代表點在第二影像中的水平軸及垂直軸的座標及縮放倍率。
在一實施例中，第一控制器30與第二控制器50對第二影像所定義的座標系可能不同。圖8是依據本發明一實施例的模式的座標系轉換的示意圖。請參照圖8，第二控制器50以例如是圖像座標的座標系CS1定位第二影像中的像素。座標系CS1以其左上角為原點。第一控制器30以座標系CS2(例如，極座標系)定位第二影像中的像素。座標系CS2以中心點為原點。在其他較佳 實施例中，無論是第一控制器30或是第二控制器50均可以適當的座標系來定位第二影像中的像素，本文在此並不作任何限制。
若偵測結果包括目標物中的第四目標在第二影像中的目標位置，則第一控制器30或第二控制器50可將第四目標的目標位置的座標(xo,yo)自座標系CS1轉換成座標系CS2的座標(xt,yt)，其轉換公式為：xt=xo-w/2...(1)
yt=yo-h/2...(2)xo為第四目標在座標系CS1中水平軸上的座標，xt為第四目標在座標系CS2中水平軸上的座標，yo為第四目標在座標系CS1中垂直軸上的座標，yt為第四目標在座標系CS2中垂直軸上的座標，w為第二影像的寬度，且h為第二影像的高度。
須說明的是，若第一控制器30與第二控制器50使用相同座標系，則可忽略座標轉換。
值得注意的是，目標物在第二影像或第二影像的視窗中可能未置中。舉例而言，圖9是依據本發明一實施例的取像視角FOV3下的第二影像SIM19的示意圖。請參照圖9，假設影像擷取裝置10的最大視角FOV4為180度。即，第一影像包括180度的視野。轉換作業所設定的視角FOV3為140度。假設自影像擷取裝置10所在位置向正前方延伸的假想線為參考軸(即，取像視角FOV3的垂直中心線)。而目標物T1位於影像擷取裝置10的正前方，即，相對於參考軸的偏移角度為零。因此，目標物T1位於第 二影像SIM19的中間。
圖10是依據本發明一實施例的旋轉視角的第二影像SIM20的示意圖。請參照圖10，不同於圖9，目標物T2相對於參考軸的偏移角度為θ1(例如，45度)。因此，目標物T2位於第二影像SIM20的左邊。
在一實施例中，第一控制器30可依據偏移角度置中對齊目標物。偵測結果為該些目標物中的第一目標在第二影像中相對於參考軸的偏移角度。參考軸為第二影像的原取像視角的水平或垂直中心線。第一控制器30可依據偏移角度設定轉換作業為旋轉第一影像的取像視角，以縮小偏移角度。例如，旋轉視角包括先前於圖3E所說明的上下視角調整、圖3F所說明的左右視角調整及圖3G所示的平面視角調整。
在一實施例中，第一控制器30可依據第一影像的取像視角與第一影像的長度(例如，其寬度或高度)在旋轉第一影像的第一取像視角的方向所對應的軸向上的比例轉換第二影像的座標。若使用圖6的座標系CS2，則不同軸向上的取像視角旋轉分別為：Pan(xt)=xt×fovH/w...(3)
Tilt(yt)=yt×fovV/h...(4)
Rotate(xt)=xt×fovH/w...(5)fovH為第二影像在水平方向的取像視角，fovV為第二影像在垂直方向的取像視角。Pan()為上下取像視角調整的函數。例如，左右轉的方向對應於x軸，故針對水平方向的取像視角及第二影像的 寬度。Tilt()為左右取像視角調整的函數。例如，上下轉的方向對應於y軸，故針對垂直方向的取像視角及第二影像的高度。Rotate()平面取像視角調整的函數。如圖3J所示，外環影像IMo1、IMo2分別呈現左移和右移效果，故針對水平方向的取像視角及第二影像的寬度。
在一實施例中，偵測結果包括經旋轉的第二影像的取像視角超過影像擷取裝置10的(最大)視角。以圖10為例，第二影像SIM21的取像視角FOV4經旋轉後，其左邊界已超出影像擷取裝置10的最大取像視角FOV3。因此，即使目標物T2位於第二影像SIM21的中間，但第二影像SIM21的左邊因無法取得可視影像而產生黑區塊。
第一控制器30可設定經旋轉的第二影像的取像視角(下文稱第一取像視角)超出影像擷取裝置10的取像視角(下文稱第二取像視角)的部分限制在第二取像視角的邊緣。舉例而言，若使用圖8的座標系CS2，則取像視角邊緣修正分別為：若經取像視角旋轉的水平軸的座標xt2介於第二取像視角的左邊緣及右邊緣之間，則座標xt2不變；若經取像視角旋轉的水平軸的座標xt2小於第二取像視角的左邊緣的座標，則座標xt2修正為第二取像視角的左邊緣的座標；若經取像視角旋轉的水平軸的座標xt2大於第二取像視角的右邊緣的座標，則座標xt2修正為第二取像視角的右邊緣的座標；若經取像視角旋轉的垂直軸的座標yt2介於第二取像視角 的上邊緣及下邊緣之間，則座標yt2不變；若經取像視角旋轉的垂直軸的座標yt2小於第二取像視角的下邊緣的座標，則座標yt2修正為第二取像視角的下邊緣的座標；若經取像視角旋轉的垂直軸的座標yt2大於第二取像視角的上邊緣的座標，則座標yt2修正為第二取像視角的上邊緣的座標。
舉例而言，圖11是依據本發明一實施例的修正的第二影像SIM20,SIM22的示意圖。請參照圖11，與圖10不同之處在於，第二影像SIM22的第一取像視角被修正，因此目標物T2接近第二影像的中間(例如，角度θ2為20度)。
圖12A是依據本發明一實施例的會議情境的第二影像SIM23的示意圖。請參照圖12A，在會議模式的應用情境中，假設透鏡11為魚眼透鏡並可取得360度之第一影像，並以上下各180度之方式拼接影像。由於目標T3,T4位於上側的180度視角內，且目標T5,T6位於下側的180度視角內，因此目標T3~T6位於第二影像中的適當位置。
圖12B是依據本發明另一實施例的會議情境的第二影像SIM24的示意圖。請參照圖12B，與圖12A不同之處在於，本實施例之目標T3~T6位於非理想位置或是處於移動狀態。因此，第二影像SIM24中的目標T3,T5的部分被裁切(即，不完整)。
圖12C是依據本發明另一實施例的修正的第二影像SIM25的示意圖。請參照圖12C，若第二控制器50的偵測結果為目標物的完整性，經判斷目標物的完整性後，則可觸發第一控制器 30旋轉第一影像的取像視角(例如，旋轉角度θ3)。藉此，相較於圖12B，目標T3~T6即能完整呈現在第二影像SIM25中。
在一實施例中，偵測結果包括目標物中的第二目標在第二影像中的大小比例。本實施例之影像處理系統可依據大小比例設定轉換作業為改變第二影像的全部或部分的縮放倍率，以維持第二目標在第二影像中的所佔比例。以圖6為例，模式M1的視窗TW1中的第二目標的大小可大於模式M15的視窗TW1中的第二目標的大小，以提升視覺體驗。
在一實施例中，若偵測結果是以定界框定位第二目標，則本實施例之影像處理系統可設定縮放倍率為寬度比例、高度比例及最大比例中的最小者。大小比例包括高度比例及寬度比例。寬度比例為第二影像的寬度與第二目標的定界框的寬度的比值，且高度比例為第二影像的高度與該定界框的高度的比值。
在另一實施例中，若偵測結果是以代表點定位第二目標，則本實施例之影像處理系統可設定縮放倍率為參考倍率。即，直接以指定的參考倍率放大第二目標。
在一實施例中，針對目標編排的轉換作業。本實施例之影像處理系統將依據原始視窗中的定界框或代表點決定目標視窗。本實施例之影像處理系統可將評估偏移的參考軸設定為多個目標物中的第三目標的定界框的中心軸或代表點的延伸線，且旋轉第一取像視角，以將這第三目標對齊目標視窗。即，將視角的中心朝向第三目標。而函數(3)~(4)中的視角可置換成針對目標視窗的視 角。此外，若經旋轉的視角超過定界框，則第一控制器30可修正裁切影像所用的視角，並將視角超出的部分限制在定界框的邊緣。
在一實施例中，影像處理系統可判斷第三目標在第二影像中的目標視窗的大小比例，且依據這大小比例設定轉換作業為改變第三目標的縮放倍率。例如，影像處理系統可設定縮放倍率為第二寬度比例、第二高度比例及最大比例中的最小者。大小比例包括第二高度比例及第二寬度比例。第二寬度比例為目標視窗的寬度與第三目標的定界框的寬度的比值，且第二高度比例為目標視窗的高度與該定界框的高度的比值。
舉例而言，圖13是依據本發明一實施例的多目標視窗影像的示意圖。請參照圖13，以圖6的模式M11為例，視窗TW1為原始視窗，且視窗TW2,TW3為目標視窗。原始視窗是影像擷取裝置10的最大視角FOV5或單一視窗模式的第二影像的預設視角內的影像。而另兩個目標視窗分別是視角FOV6及視角FOV7內的影像。第二控制器50依據偵測結果得出定界框BB1,BB2，並分別將兩個BB1,BB2中的影像安排在視窗TW2,TW3。相較於視角FOV5，視角FOV6,FOV7皆經旋轉且其左右邊界為定界框BB1,BB2的左右邊界。因此，每個目標視窗內的人臉可自動置中，目標視窗內的人臉可自動縮放至合適大小。此外，若目標視窗中的人臉移動時，則本實施例仍可依據第二控制器50的偵測結果將人臉置中在目標視窗且使人臉大小維持。
圖14A是依據本發明一實施例的多目標視窗的第二影像 SIM27的示意圖。請參照圖14A，以圖6的模式M4為例，在未修正轉換作業之前，第二影像SIM27中的目標物T3~T6的人臉皆被視窗切割，使視覺感受不佳。
圖14B是依據本發明一實施例的修正的第二影像SIM28的示意圖。請參照圖14B，第一控制器30可依據偵測結果得出目標物T3~T6偏離視窗中心，並據以修正轉換作業。相較於圖14A，在修正轉換作業之後，第二影像SIM28中的目標物T3~T6的人臉皆已置中在目標視窗，且第二影像SIM28呈現合適大小的人臉，以提昇視覺感受。此外，無論目標物T3~T6在會議室中的任何位置或進行任何移動，第二影像SIM28皆能呈現合適的四分割畫面(即，人臉維持置中，且人臉大小一致)。
綜上所述，在本發明實施例的影像控制器、影像處理系統及影像修正方法中，基於影像辨識的偵測結果修正相關於變形校正及/或目標編排的轉換作業。其中，本發明實施例可將視角朝向目標物，並改變影像中的目標物的大小。藉此，可自動將目標物置中於影像或指定目標視窗中，並自動調整目標物在影像中的大小，從而提升視覺感受。即便目標物移動，透過偵測結果及作業修正，仍可維持目標物置中及其大小。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S210~S270:步驟

Claims (28)

  1. 一種影像修正方法，包括：透過一第一控制器取得一第一影像；透過該第一控制器依據一轉換作業將該第一影像轉換成一第二影像，其中該轉換作業至少包括一變形校正，且該變形校正用於校正該第一影像中的至少一目標物的形變；透過一第二控制器偵測該第二影像中的該至少一目標物，以產生一偵測結果；以及透過該第一控制器依據該偵測結果修正該轉換作業，包括：透過該第一控制器使該轉換作業更包括一位置調整，以調整該第二影像中的該至少一目標物的位置，其中該位置調整包括一視角調整；以及修正該視角調整的一取像視角(Field of View，FoV)。
  2. 如請求項1所述的影像修正方法，包括：透過該第一控制器取得來自一影像擷取裝置的該第一影像。
  3. 如請求項1所述的影像修正方法，其中該偵測結果包括該至少一目標物中的一第一目標在該第二影像中相對於一參考軸的一偏移角度，而該位置調整包括：透過該第一控制器依據該偏移角度設定該轉換作業為旋轉該第一影像的一第一取像視角(Field of View，FoV)，以縮小該偏移角度。
  4. 如請求項3所述的影像修正方法，其中該轉換作業更包括一目標編排，該第二影像包括多個視窗，該目標編排用於調整該第一目標在該第二影像中的一目標視窗，該目標視窗為該些視窗中的一者，且依據該偏移角度設定該轉換作業為旋轉該第一影像的該第一取像視角的步驟包括：透過該第一控制器旋轉該第一取像視角，以將該第一目標對齊該目標視窗。
  5. 如請求項3所述的影像修正方法，其中該偵測結果包括經旋轉的第一取像視角超過一影像擷取裝置的一第二取像視角，而該位置調整更包括：透過該第一控制器設定該經旋轉的第一取像視角超出該第二取像視角的部分限制在該第二取像視角的邊緣。
  6. 如請求項3所述的影像修正方法，其中依據該偏移角度設定該轉換作業為旋轉該第一影像的該第一取像視角的步驟包括：透過該第一控制器依據該第一取像視角與該第一影像的長度在旋轉該第一取像視角的方向所對應的軸向上的比例轉換該第一影像的座標。
  7. 如請求項1所述的影像修正方法，其中該偵測結果包括該至少一目標物中的一第二目標在該第二影像中的一大小比例，並依據該大小比例設定該轉換作業為改變該第一影像至該第二影像的一縮放倍率。
  8. 如請求項7所述的影像修正方法，其中依據該大小比例設定該轉換作業為改變該第一影像至該第二影像的該縮放倍率的步驟包括：透過該第一控制器設定該縮放倍率為一寬度比例、一高度比例及一最大比例中的最小者，其中該第二目標以一定界框(bounding box)定位，該大小比例包括該高度比例及該寬度比例，該寬度比例為該第二影像的寬度與該第二目標的該定界框的寬度的比值，且該高度比例為該第二影像的高度與該定界框的高度的比值。
  9. 如請求項7所述的影像修正方法，其中依據該大小比例設定該轉換作業為改變該第一影像至該第二影像的該縮放倍率的步驟包括：透過該第一控制器設定該縮放倍率為一參考倍率，其中該第二目標以一代表點定位。
  10. 如請求項4所述的影像修正方法，其中該偵測結果包括該至少一目標物中的一第三目標在該第二影像中的一目標視窗的一大小比例，該目標視窗為該些視窗中的一者，且依據該偵測結果修正該轉換作業的步驟包括：透過該第一控制器依據該大小比例設定該轉換作業為改變該第三目標的一縮放倍率。
  11. 如請求項4所述的影像修正方法，其中該偵測結果包括該至少一目標物在該第二影像中一位置未發生變化，而該變形校正僅校正該第一影像中對應該位置的範圍的形變。
  12. 如請求項1所述的影像修正方法，其中該第二控制器以一第一座標系定位該第二影像中的像素，該第一控制器以一第二座標系定位該第二影像中的像素，該偵測結果包括該至少一目標物中的一第四目標在該第二影像中的一目標位置，且依據該偵測結果修正該轉換作業的步驟更包括：透過該第一控制器或該第二控制器將該目標位置的座標自該第一座標系轉換成該第二座標系的座標，其中該第二座標系以中心點為原點，且該第一座標系以左上角為原點。
  13. 一種影像處理系統，包括：一影像擷取裝置，包括一透鏡及一影像感測器，並用以透過該透鏡及該影像感測器擷取一第一影像；一第一控制器，耦接該影像擷取裝置，並用以依據一轉換作業將該第一影像轉換成一第二影像，其中該轉換作業包括一變形校正，且該變形校正用於校正該第一影像中的至少一目標物的形變；以及一第二控制器，耦接該第一控制器，並用以偵測該第二影像中的該至少一目標物，以產生一偵測結果，其中該第一控制器更用以依據該偵測結果修正該轉換作業，且該第一控制器修正該轉換作業還包括： 使該轉換作業更包括一位置調整，以調整該第二影像中的該至少一目標物的位置，其中該位置調整包括一視角調整；以及修正該視角調整的一取像視角。
  14. 如請求項13所述的影像處理系統，其中該偵測結果包括該至少一目標物中的一第一目標在該第二影像中相對於一參考軸的一偏移角度，且該第一控制器更用以：依據該偏移角度設定該轉換作業為旋轉該第一影像的一第一取像視角，以縮小該偏移角度。
  15. 如請求項14所述的影像處理系統，其中該轉換作業更包括一目標編排，該第二影像包括多個視窗，該目標編排用於調整該第一目標在該第二影像中的一目標視窗，該目標視窗為該些視窗中的一者，且該第一控制器更用以：旋轉該第一取像視角，以將該第一目標對齊該目標視窗。
  16. 如請求項14所述的影像處理系統，其中該偵測結果包括經旋轉的第一取像視角超過該影像擷取裝置的一第二取像視角，且該第一控制器更用以：設定該經旋轉的第一取像視角超出該第二取像視角的部分限制在該第二取像視角的邊緣。
  17. 如請求項14所述的影像處理系統，其中該第一控制器更用以：依據該第一取像視角與該第一影像的長度在旋轉該第一取像視角的方向所對應的軸向上的比例轉換該第一影像的座標。
  18. 如請求項13所述的影像處理系統，其中該偵測結果包括該至少一目標物中的一第二目標在該第二影像中的一大小比例，並依據該大小比例設定該轉換作業為改變該第一影像至該第二影像的一縮放倍率。
  19. 如請求項18所述的影像處理系統，其中該縮放倍率設定為一寬度比例、一高度比例及一最大比例中的最小者，該第二目標以一定界框定位，該大小比例包括該高度比例及該寬度比例，該寬度比例為該第二影像的寬度與該第二目標的該定界框的寬度的比值，且該高度比例為該第二影像的高度與該定界框的高度的比值。
  20. 如請求項18所述的影像處理系統，其中該縮放倍率設定為一參考倍率，該第二目標以一代表點定位。
  21. 如請求項15所述的影像處理系統，其中該偵測結果包括該至少一目標物中的一第三目標在該第二影像中的一目標視窗的一大小比例，該目標視窗為該些視窗中的一者，且該第一控制器更用以：依據該大小比例設定該轉換作業為改變該第三目標的一縮放倍率。
  22. 如請求項15所述的影像處理系統，其中該偵測結果包括該至少一目標物在該第二影像中一位置未發生變化，而該變形校正僅校正該第一影像中對應該位置的範圍的形變。
  23. 如請求項13所述的影像處理系統，其中該第二控制器以一第一座標系定位該第二影像中的像素，該第一控制器以一第二座標系定位該第二影像中的像素，該偵測結果包括該至少一目標物中的一第四目標在該第二影像中的一目標位置，且該第一控制器或該第二控制器更用以：將該目標位置的座標自該第一座標系轉換成該第二座標系的座標，其中該第二座標系以中心點為原點，且該第一座標系以左上角為原點。
  24. 一種影像控制器，適於耦接一影像擷取裝置，該影像擷取裝置包括一透鏡及一影像感測器，該影像擷取裝置透過該透鏡及該影像感測器擷取一第一影像，該影像控制器包括：一記憶體，用以儲存一程式碼；以及一處理器，耦接該記憶體，經配置用以載入且執行該程式碼以：取得該第一影像；依據一轉換作業將該第一影像轉換成一第二影像，其中該轉換作業包括一變形校正，且該變形校正用於校正該第一影像中的至少一目標物的形變；偵測該第二影像中的該至少一目標物，以產生一偵測結果；依據該偵測結果修正該轉換作業，包括：使該轉換作業更包括一位置調整，以調整該第二影像中 的該至少一目標物的位置，其中該位置調整包括一視角調整；以及修正該視角調整的一取像視角。
  25. 如請求項24所述的影像控制器，其中該偵測結果包括該至少一目標物中的一第一目標在該第二影像中相對於一參考軸的一偏移角度，而該影像控制器依據該偏移角度設定該轉換作業為旋轉該第一影像的一第一取像視角，以縮小該偏移角度。
  26. 如請求項25所述的影像控制器，其中該轉換作業更包括一目標編排，該第二影像包括多個視窗，該目標編排用於調整該第一目標在該第二影像中的一目標視窗，該目標視窗為該些視窗中的一者，且該影像控制器更用以：旋轉該第一取像視角，以將該第一目標對齊該目標視窗；其中，該偵測結果包括該至少一目標物中的一第三目標在該第二影像中的一目標視窗的一大小比例，該目標視窗為該些視窗中的一者，且該影像控制器更用以：依據該大小比例設定該轉換作業為改變該第三目標的一縮放倍率。
  27. 如請求項25所述的影像控制器，其中該偵測結果包括經旋轉的第一取像視角超過該影像擷取裝置的一第二取像視角，且該影像控制器更用以：設定該經旋轉的第一取像視角超出該第二取像視角的部分限制在該第二取像視角的邊緣。
  28. 如請求項25所述的影像控制器，更依據該第一取像視角與該第一影像的長度在旋轉該第一取像視角的方向所對應的軸向上的比例轉換該第一影像的座標。
TW110138713A 2021-07-02 2021-10-19 影像控制器、影像處理系統及影像修正方法 TWI824321B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/834,924 US20230007182A1 (en) 2021-07-02 2022-06-07 Image controller, image processing system and image correcting method
CN202210693317.2A CN115567653A (zh) 2021-07-02 2022-06-17 图像控制器、图像处理系统及图像修正方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163217770P 2021-07-02 2021-07-02
US63/217,770 2021-07-02

Publications (2)

Publication Number Publication Date
TW202303517A TW202303517A (zh) 2023-01-16
TWI824321B true TWI824321B (zh) 2023-12-01

Family

ID=86657948

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110138713A TWI824321B (zh) 2021-07-02 2021-10-19 影像控制器、影像處理系統及影像修正方法
TW111100227A TWI796075B (zh) 2021-07-02 2022-01-04 影像處理系統及視訊串流的處理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW111100227A TWI796075B (zh) 2021-07-02 2022-01-04 影像處理系統及視訊串流的處理方法

Country Status (1)

Country Link
TW (2) TWI824321B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479379A (zh) * 2010-11-19 2012-05-30 义晶科技股份有限公司 图像校正方法与相关图像校正系统
US20160112652A1 (en) * 2013-07-04 2016-04-21 Sony Corporation Method, apparatus and system for image processing
US20180089795A1 (en) * 2016-09-27 2018-03-29 Hanwha Techwin Co., Ltd. Method and apparatus for processing wide angle image
CN108154171A (zh) * 2017-12-20 2018-06-12 北京奇艺世纪科技有限公司 一种人物识别方法、装置及电子设备
TW201824178A (zh) * 2016-12-16 2018-07-01 旺玖科技股份有限公司 全景即時影像處理方法
US20210110142A1 (en) * 2018-05-07 2021-04-15 Google Llc Perspective Distortion Correction on Faces
TW202123081A (zh) * 2019-12-09 2021-06-16 茂傑國際股份有限公司 視訊會議全景影像展開方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI298465B (en) * 2005-12-02 2008-07-01 Prolific Technology Inc Segment-based video and graphics system with video window
CN104822088B (zh) * 2015-04-16 2019-03-19 腾讯科技（北京）有限公司 视频图像缩放方法和装置
US10354408B2 (en) * 2016-07-20 2019-07-16 Harman International Industries, Incorporated Vehicle camera image processing
CN106488145B (zh) * 2016-09-30 2019-06-14 宁波菊风系统软件有限公司 一种多方视频通话窗口的分屏方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479379A (zh) * 2010-11-19 2012-05-30 义晶科技股份有限公司 图像校正方法与相关图像校正系统
US20160112652A1 (en) * 2013-07-04 2016-04-21 Sony Corporation Method, apparatus and system for image processing
US20180089795A1 (en) * 2016-09-27 2018-03-29 Hanwha Techwin Co., Ltd. Method and apparatus for processing wide angle image
TW201824178A (zh) * 2016-12-16 2018-07-01 旺玖科技股份有限公司 全景即時影像處理方法
CN108154171A (zh) * 2017-12-20 2018-06-12 北京奇艺世纪科技有限公司 一种人物识别方法、装置及电子设备
US20210110142A1 (en) * 2018-05-07 2021-04-15 Google Llc Perspective Distortion Correction on Faces
TW202123081A (zh) * 2019-12-09 2021-06-16 茂傑國際股份有限公司 視訊會議全景影像展開方法

Also Published As

Publication number Publication date
TW202303517A (zh) 2023-01-16
TWI796075B (zh) 2023-03-11
TW202303512A (zh) 2023-01-16

Similar Documents

Publication Publication Date Title
CN109104596B (zh) 投影系统以及显示影像的校正方法
WO2018214365A1 (zh) 图像校正方法、装置、设备、系统及摄像设备和显示设备
US9325899B1 (en) Image capturing device and digital zooming method thereof
TWI535285B (zh) Conference system, surveillance system, image processing device, image processing method and image processing program, etc.
JP6812862B2 (ja) 画像処理システム、撮像装置、画像処理方法及びプログラム
CN108833784B (zh) 一种自适应构图方法、移动终端及计算机可读存储介质
CN108717704B (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN110458753B (zh) 一种全景环带图像的自适应分割与无畸变展开系统及方法
JP2009010730A (ja) 画像処理方法と該画像処理方法を用いた撮像装置
CN110580718B (zh) 图像装置的校正方法及其相关图像装置和运算装置
TWI602154B (zh) 環景影像的拼接方法及其系統
US20180007276A1 (en) Head down warning system
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
TWI554107B (zh) 可改變縮放比例的影像調整方法及其攝影機與影像處理系統
US20230007182A1 (en) Image controller, image processing system and image correcting method
TWI824321B (zh) 影像控制器、影像處理系統及影像修正方法
Ha et al. Embedded panoramic mosaic system using auto-shot interface
JP3594225B2 (ja) 広視野カメラ装置
US10785470B2 (en) Image processing apparatus, image processing method, and image processing system
JPH0896118A (ja) 車両用周囲状況表示装置
US11847807B2 (en) Image processing system and processing method of video stream
US20200311884A1 (en) Method and apparatus for generating virtual reality image inside vehicle using image stitching technique
JP2020194532A (ja) 歪み画像内の対象物を検出するための方法、システム、およびデバイス
CN110610171A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2024001342A1 (zh) 成像畸变矫正方法及装置