TW201843648A - 影像視角轉換方法及其系統 - Google Patents

Abstract

影像視角轉換方法包含取得第一影像；將第一影像內之預定區域分為複數個多邊形子區域；取得該些多邊形子區域之每一個多邊形子區域對應的複數個第一座標；依據世界座標系統，將每一個多邊形子區域對應的該些第一座標轉換為複數個第二座標；及將該些第二座標之間的複數個畫素進行內插，以產生第二影像。

Description

影像視角轉換方法及其系統

本發明揭露了一種影像視角轉換方法，尤指一種利用多邊形座標轉換的影像視角轉換方法。

隨著科技日新月異，各種影像監控裝置以及影像辨識系統已被用於日常生活中。影像監控裝置以及影像辨識系統可執行物體監控、環境監控、行車影像記錄等等。影像監控裝置會利用相機鏡頭或是任何具備影像擷取功能的裝置監控環境影像。例如，安裝在車上的行車記錄器，即可利用一個或多個鏡頭來錄製或連續拍攝車子周邊的影像。

傳統影像監控裝置的鏡頭可安裝於任何位置，然而，也因為鏡頭可安裝於任何位置，故鏡頭與地面的相對距離與角度也會依據安裝位置而更動。當鏡頭擷取影像時，擷取到的影像平面會受到鏡頭所放置的角度、高度或是位置不同而有所偏斜。舉例而言，當鏡頭與地面高度存在一個高度差距，且鏡頭的焦點在地面上時，擷取到的影像平面將會變為下底較長且上底較短之梯形的平面。換言之，擷取到的影像平面的座標為對應相機(鏡頭)座標。座標軸會受到鏡頭內的感光元件之位置、高度或角度而偏斜。為了將鏡頭擷取到的影像平面之座標軸校正，影像監控裝置可針對每一個畫素的座標進行處理，以校正影像平面的視角。

以目前影像解析度需求越來越大的趨勢下，高解析度(High Definition，HD，1280×720畫素)、全高解析度(Full High Definition，FHD，1920×1080畫素)、甚至超高解析度(Ultra- High Definition，UHD，3840×2160畫素)的影像規格也被應用於影像監控裝置。由於HD、FHD、以及UHD規格的影像畫面由巨量的畫素所組成，因此傳統影像監控裝置在進行影像座標的校正時，會花費將當多的處理時間，才能將所有的畫素座標進行校正。並且，在傳統影像監控裝置中，也必須要使用大容量的記憶體來儲存校正影像之每一個畫素座標的查詢表或是投影關係。換句話說，傳統影像監控裝置若要處理解析度較高的影像時，需要大容量的記憶體規格以及長時間的處理時間。

本發明一實施例提出一種影像視角轉換方法，包含取得第一影像，將第一影像內之預定區域分為複數個多邊形子區域，取得該些多邊形子區域之每一個多邊形子區域對應的複數個第一座標，依據世界座標系統，將每一個多邊形子區域對應的該些第一座標轉換為複數個第二座標，及將該些第二座標之間的複數個畫素進行內插，以產生第二影像。第一影像及第二影像是對應不同視角的兩影像。

本發明另一實施例提出一種影像視角轉換系統，包含影像擷取裝置、記憶體、處理器、及影像輸出裝置。影像擷取裝置用以擷取第一影像，記憶體用以儲存世界空間座標系統的資料，處理器耦接於影像擷取裝置及記憶體，用以處理該第一影像，影像輸出裝置耦接於處理器，用以輸出第二影像。處理器將第一影像內之預定區域分為複數個多邊形子區域，取得該些多邊形子區域之每一個多邊形子區域對應的複數個第一座標，依據世界座標系統，將每一個多邊形子區域對應的該些第一座標轉換為複數個第二座標，將該些第二座標之間的複數個畫素進行內插，以產生第二影像。第一影像及第二影像是對應不同視角的兩影像。

第1圖係為本發明之影像視角轉換系統100之實施例的方塊圖。影像視角轉換系統100包含處理器11、記憶體12、影像輸出裝置13、以及影像擷取裝置14。影像擷取裝置14用以擷取第一影像。影像擷取裝置14可為任何具備擷取影像能力的裝置，例如相機鏡頭、攝影機、或是行車記錄器的廣角鏡頭等等。記憶體12用以儲存後文所述之世界空間座標系統(World Coordinate System，WCS)的資料以及查詢表(Look up Table，LUT)的資料。記憶體12可為任何形式的儲存裝置，例如隨機存取記憶體(Random Access Memory，RAM)、硬碟、或非揮發式記憶體等等。處理器11耦接於影像擷取裝置14及記憶體12，用以處理影像擷取裝置14所產生的第一影像。處理器11可為任何種類的處理裝置，例如中央處理器、微處理器、處理晶片、或可程式化邏輯單元等等。處理器11可利用記憶體12所儲存的世界空間座標系統的資料以及查詢表，將影像擷取裝置所擷取的第一影像轉換為符合影像座標的第二影像(可為任意視角)。詳細的影像處理過程將於後文詳述。影像輸出裝置13耦接於處理器11，用以輸出第二影像。影像輸出裝置13可為任何形式的顯示裝置或是投影裝置。使用者將可以在影像輸出裝置13上看到轉換後視角的第二影像。

第2圖係為影像視角轉換系統100中，影像擷取裝置14所擷取之第一影像P1的示意圖。在本實施例中，影像擷取裝置14可安裝於任何位置。然而，也因為影像擷取裝置14可安裝於任何位置，故影像擷取裝置14與地面的相對距離與角度也會隨著安裝位置而更動。當影像擷取裝置14擷取影像時，擷取到的影像平面會受到影像擷取裝置14所放置的角度、高度或是位置不同而有所偏斜。舉例而言，當影像擷取裝置14與地面高度存在一個高度差距，且影像擷取裝置14的焦點在地面上時，擷取到的第一影像P1內的物件影像將會變形為梯形的影像平面。換言之，第一影像P1的座標為對應影像擷取裝置14的座標。座標軸會受到影像擷取裝置14內的感光元件之位置、高度或角度而偏斜。在第2圖中，第一影像P1之兩個預定區域(例如行車記錄器影像中的兩個特定區域)PR1以及PR2可為使用者自訂的區域。這些預定區域PR1以及PR2內的物件可視為使用者欲檢視的物件。因此，影像視角轉換系統100的目的為將預定區域PR1以及PR2內的影像進行視角轉換，以讓使用者最後能看到具有轉換後視角的預定區域PR1以及PR2影像，進而檢視特定區域內的物件。視角轉換系統100處理影像的方式描述於下。首先，視角轉換系統100會將第一影像P1內之預定區域PR1以及PR2分為複數個多邊形子區域。舉例而言，預定區域PR1會被分為(4×5)個多邊形子區域GR1至GR20，預定區域PR2會被分為(4×5)個多邊形子區域GS1至GS20。在本實施例中，多邊形子區域GR1至GR20及多邊形子區域GS1至GS20可為四邊形子區域。然而本發明非侷限以四邊形子區域來切割預定區域PR1及預定區域PR2，任何多邊形子區域均可用以切割預定區域PR1及預定區域PR2。在本實施例中，每一個多邊形的子區域均具有複數個頂點。舉例而言，多邊形子區域GR1具有四個頂點，每個頂點具有各自的第一座標。例如，多邊形子區域GR1之四個頂點對應的第一座標可為點座標A至D。類似地，多邊形的子區域GS1具有四個頂點，每個頂點具有各自的第一座標。例如，多邊形子區域GS1之四個頂點對應的第一座標可為點座標E至H。每一個多邊形子區域包含複數個畫素，而多邊形子區域的數量可為使用者自訂的參數，亦可為系統內建的參數。

第3圖係為影像視角轉換系統100中，處理器11將第一影像P1內的預定區域PR1及PR2進行視角轉換，以產生第二影像P2的示意圖。處理器11將第一影像P1內的預定區域PR1及PR2進行分區處理，以產生多邊形子區域GR1至GR20及多邊形子區域GS1至GS20後，處理器11可依據世界座標系統(WCS)，將每一個多邊形子區域對應的該些第一座標轉換為複數個第二座標。舉例而言，在第2圖中，第一影像P1中的預定區域PR1之多邊形子區域GR1之點座標A至D(第一座標)可依據世界座標系統轉換為第3圖中之第二影像P2中的校正後的預定區域PR1’之校正後的多邊形子區域GR1’之點座標A’至D’(第二座標)。其中，點座標A被轉換至點座標A’，點座標B被轉換至點座標B’，點座標C被轉換至點座標C’，點座標D被轉換至點座標D’。類似地，在第2圖中，第一影像P1中的預定區域PR2之多邊形子區域GS1之點座標E至H(第一座標)可依據世界座標系統轉換為第3圖中之第二影像P2中的校正後的預定區域PR2’之校正後的多邊形子區域GS1’之點座標E’至H’(第二座標)。其中，點座標E被轉換至點座標E’，點座標F被轉換至點座標F’，點座標G被轉換至點座標G’，點座標H被轉換至點座標H’。在本實施例中，第一座標可為原始相機的座標，而第二座標可為任意視角的影像座標。第一座標轉換至第二座標的方式可利用平面投影轉換矩陣(Homography Matrix)進行數值轉換，也可以利用查詢表進行反向查詢，以將第一座標偏移至轉換後視角的影像座標點。任何合理的座標轉換方式都屬於本發明所揭露的範疇。例如，平面投影轉換矩陣的資料可被寫入於程式中，而影像視角轉換系統100可利用程式執行的方式進行座標轉換。並且，在預定區域PR1中，所有的多邊形子區域GR1至GR20之對應的第一座標都會被轉換為轉換後視角的影像座標(第二座標)。在預定區域PR2中，所有的多邊形子區域GS1至GS20之對應的第一座標都會被轉換為轉換後視角的影像座標(第二座標)。

接著，處理器11會將多邊形子區域GR1至GR20以及多邊形子區域GS1至GS20之複數個第二座標之間的複數個畫素進行內插，以產生校正後的多邊形子區域。舉例而言，第2圖中之多邊形子區域GR1的第一座標A至D被轉換為第3圖所示之第二座標A’至D’之後，處理器11會將第二座標A’至D’之間的畫素進行內插，以產生校正後的多邊形子區域GR1’。類似地，第2圖中之多邊形子區域GS1的第一座標E至H被轉換為第3圖所示之第二座標E’至H’之後，處理器11會將第二座標E’至H’之間的畫素進行內插，以產生校正後的多邊形子區域GS1’。畫素內插的方式可為線性內插或是非線性內插，任何合理的內插演算法都屬於本發明所揭露的範疇。處理器11可依此產生所有校正後的多邊形子區域。因此，對於預定區域PR1之多邊形子區域GR1至GR20而言，經過座標轉換以及畫素內插的處理後，預定區域PR1將會變為包含校正後的多邊形子區域GR1’至GR20’之校正後的預定區域PR1’。同理，對於預定區域PR2之多邊形子區域GS1至GS20而言，經過座標轉換以及畫素內插的處理後，預定區域PR2將會變為包含校正後的多邊形子區域GS1’至GS20’之校正後的預定區域PR2’。校正後的預定區域PR1’及PR2’內的影像即為轉換後視角的影像。PR1’與PR2’可以為不同視角，第二影像P2可呈現多個不同視角影像。換言之，當第一影像P1中所有的預定區域都被校正後，即可形成第二影像P2。

第4圖係為影像視角轉換系統100中，第一影像P1內的預定區域PR1利用三角形子區域的進行視角轉換的示意圖。第5圖係為影像視角轉換系統100中，利用三角形子區域完成座標轉換的示意圖。如前述提及，第一影像P1內的預定區域PR1可利用任何形式的多邊形子區域進行分區的座標轉換處理，並不侷限於上述實施例所用的四邊形子區域。舉例而言，在第4圖中，預定區域PR1進行分區座標轉換處理所用的多邊形子區域TR1至TR5可為三角形子區域(後文稱為：三角形子區域TR1至TR5)。類似前述的處理步驟，三角形子區域TR1至TR5的第一座標會依據世界座標系統，轉換為第二座標。舉例而言，在第4圖中，三角形子區域TR1具有對應頂點或是邊界轉折點的點座標I至K。點座標I至K會被處理器11轉換為第5圖中的點座標I’至K’。 其中，點座標I被轉換至點座標I’，點座標J被轉換至點座標J’，點座標K被轉換至點座標K’。當所有的三角形子區域TR1至TR5的座標都已經轉換完成後，類似地，處理器會將這些轉換後的座標(複數個第二座標)之間的複數個畫素進行內插，以產生校正後的多邊形子區域。舉例而言，第4圖中之三角形子區域TR1的第一座標I至K被轉換為第5圖所示之第二座標I’至K’。 處理器11會將第二座標I’至K’之間的畫素進行內插，以產生校正後的多邊形子區域(校正後的三角型子區域)TR1’。畫素內插的方式可為線性內插或是非線性內插，任何合理的內插演算法都屬於本發明所揭露的範疇。處理器11可依此產生所有校正後的三角型子區域TR1’至TR5’。因此，對於預定區域PR1之三角型子區域TR1至TR5而言，經過座標轉換以及畫素內插的處理後，預定區域PR1將會變為包含校正後的三角型子區域TR1’至TR5’之校正後的預定區域PR1’。因此，如同前述利用多個四邊形子區域進行分區校正的功效，利用多個三角型子區域校正後的預定區域PR1’也可為具有轉換後視角的影像。

第6圖係為影像視角轉換系統100中，影像視角轉換方法的流程圖。影像視角轉換方法的流程包含步驟S601至步驟S605。任何合理的步驟變更皆屬於本發明所揭露的範疇。步驟S601至步驟S605描述於下：

影像視角轉換方法之步驟S601至S605的詳細執行方式以及原理已於前文描述，於此將不再贅述。並且，雖然在第1至4圖的實施例中，第一影像P1僅包含了兩個預定區域PR1以及PR2，並且每個預定區域可利用四邊形子區域進行分區座標轉換的處理或是利用三角形子區域進行分區座標轉換的處理。但本發明卻不以此為限制。第一影像P1可包含任意數量的預定區域。並且，每一個預定區域可被劃分為任意數量的多邊形子區域。當單一預定區域被劃分為極多的多邊形子區域時，最後形成具有轉換後視角之第二影像的品質較佳，但處理器11要花費較多的處理時間，且影像處理所需要較大的記憶體12之空間。當單一預定區域被劃分為較少的多邊形子區域時，最後形成具有轉換後視角之第二影像的品質較差，但處理器11花費較少的處理時間，且影像處理僅需要較小的記憶體12之空間。因此，本發明的影像視角轉換方法具有很高的操作彈性。使用者可以在硬體需求、執行速度以及影像畫質之間取得平衡。

綜上所述，本發明描述了一種影像視角轉換系統以及影像視角轉換方法。可以將預定區域中的影像視角進行轉換，讓使用者最後在影像輸出裝置所看到的影像是具有轉換後視角的影像。影像視角轉換系統可利用多個多邊形子區域，將預定區域中的影像進行分區，在針對每一個多邊形子區域的座標進行調整。每一個多邊形子區域可包含多個畫素。例如預定區域具有(1280×720)個畫素時，可以利用N個多邊形子區域進行分區處理。因此每一個多邊形子區域會包含(1280×720/N)個畫素。N大於2且可為使用者自訂的數值。如前述提及，當N很大時，表示單一預定區域被劃分為極多的多邊形子區域，最後形成具有轉換後視角之影像品質較佳，但處理器要花費較多的處理時間，且影像處理需要較大的記憶體空間。當N較小時，表示單一預定區域被劃分為較少的多邊形子區域，最後形成具有轉換後視角之第二影像的品質較差，但處理器花費較少的處理時間，且影像處理僅需要較小的記憶體空間。因此，本發明的視角轉換系統，可以依據使用者的需求以及硬體設備，客製化地調整處理影像所需要的複雜度以及運算速度，因此具有很高的操作彈性。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100‧‧‧影像視角轉換系統

11‧‧‧處理器

12‧‧‧記憶體

13‧‧‧影像輸出裝置

14‧‧‧影像擷取裝置

P1‧‧‧第一影像

A至K‧‧‧點座標

GR1至GR20、GS1至GS20、及TR1至TR5‧‧‧多邊形子區域

PR1及PR2‧‧‧預定區域

GR1’至GR20’、GS1’至GS20’ 及TR1’至TR5’‧‧‧校正後的多邊形子區域

A’至K’‧‧‧校正後的點座標

PR1’及PR2’‧‧‧校正後的預定區域

P2‧‧‧第二影像

S601至S605‧‧‧步驟

第1圖係為本發明之影像視角轉換系統之實施例的方塊圖。 第2圖係為第1圖之影像視角轉換系統中，影像擷取裝置所擷取之第一影像的示意圖。 第3圖係為第1圖之影像視角轉換系統中，處理器將第一影像內的預定區域進行視角轉換，以產生第二影像的示意圖。 第4圖係為第1圖之影像視角轉換系統中，第一影像內的預定區域利用三角形子區域進行視角轉換的示意圖。 第5圖係為第1圖之影像視角轉換系統中，利用三角形子區域完成座標轉換的示意圖。 第6圖係為第1圖之影像視角轉換系統中，影像視角轉換方法的流程圖。

Claims (10)

1. 一種影像視角轉換方法，包含： 取得一第一影像； 將該第一影像內之一預定區域分為複數個多邊形子區域； 取得該些多邊形子區域之每一多邊形子區域對應的複數個第一座標； 依據一世界座標系統，將該每一多邊形子區域對應的該些第一座標轉換為複數個第二座標；及 將該些第二座標之間的複數個畫素進行內插，以產生一第二影像； 其中該第一影像及該第二影像係為對應不同視角的兩影像。
2. 如請求項1所述之方法，其中該些第一座標係為對應複數個相機座標，且該些第二座標係為對應複數個影像座標。
3. 如請求項1所述之方法，其中該每一多邊形子區域包含複數個畫素，且該每一多邊形子區域係為一四邊形子區域。
4. 如請求項1所述之方法，其中該每一多邊形子區域包含複數個畫素，且該每一多邊形子區域係為一三角形子區域。
5. 如請求項1所述之方法，其中該每一多邊形子區域對應的該些第一座標係為該每一多邊形子區域之複數個頂點座標。
6. 如請求項1至5中任一項所述之方法，其中依據該世界座標系統，將該每一多邊形子區域對應的該些第一座標轉換為該些第二座標包含： 依據該世界座標系統，利用一平面投影轉換矩陣(Homography Matrix)將該每一多邊形子區域對應的該些第一座標轉換為該些第二座標。
7. 如請求項1至5中任一項所述之方法，其中依據該世界座標系統，將該每一多邊形子區域對應的該些第一座標轉換為該些第二座標包含： 依據該世界座標系統，利用一查詢表將該每一多邊形子區域對應的該些第一座標轉換為該些第二座標。
8. 如請求項1所述之方法，其中該第一影像係為一任意視角影像，且該第二影像係為一轉換後視角影像。
9. 一種影像視角轉換系統，包含： 一影像擷取裝置，用以擷取一第一影像； 一記憶體，用以儲存一世界空間座標系統的資料； 一處理器，耦接於該影像擷取裝置及該記憶體，用以處理該第一影像；及 一影像輸出裝置，耦接於該處理器，用以輸出一第二影像； 其中該處理器將該第一影像內之一預定區域分為複數個多邊形子區域，取得該些多邊形子區域之每一多邊形子區域對應的複數個第一座標，依據該世界座標系統，將該每一多邊形子區域對應的該些第一座標轉換為複數個第二座標，將該些第二座標之間的複數個畫素進行內插，以產生該第二影像，且該第一影像及該第二影像係為對應不同視角的兩影像。
10. 如請求項1所述之系統，其中該記憶體另包含一查詢表，用於將該每一多邊形子區域對應的該些第一座標轉換為該些第二座標，且該些第一座標係為該每一多邊形子區域之複數個頂點座標。