TW201520976A - 內容感知的圖像旋轉 - Google Patents

內容感知的圖像旋轉 Download PDF

Info

Publication number
TW201520976A
TW201520976A TW103137235A TW103137235A TW201520976A TW 201520976 A TW201520976 A TW 201520976A TW 103137235 A TW103137235 A TW 103137235A TW 103137235 A TW103137235 A TW 103137235A TW 201520976 A TW201520976 A TW 201520976A
Authority
TW
Taiwan
Prior art keywords
image
scan lines
grid
rotation
angle
Prior art date
Application number
TW103137235A
Other languages
English (en)
Inventor
kai-ming He
Hui-Wen Chang
Jian Sun
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201520976A publication Critical patent/TW201520976A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Geometry (AREA)
  • Studio Circuits (AREA)

Abstract

根據此揭示案之實施，以一內容感知方式旋轉圖像內容。在一實施中，在圖像上形成一網格，且識別圖像內容中的圖像掃描線。使用將掃描線之子集旋轉一預定旋轉角度的能量函數扭曲圖像，同時按除預定旋轉角度外的角度旋轉其他掃描線。在一實例中，意欲在校正後為水平或垂直之掃描線按一旋轉角度(該旋轉角度將使得彼等掃描線變為水平或垂直)旋轉，而傾斜掃描線按除旋轉角度之外的角度旋轉。

Description

CONTENT-AWARE IMAGE ROTATION 內容感知的圖像旋轉
本發明係關於內容感知的圖像旋轉。
數位圖像(尤其隨意拍攝之數位圖像)經常出現傾斜或旋轉。習知的圖像編輯技術藉由按傾角旋轉圖像且將所得傾斜圖像剪輯至所要的大小或深寬比(亦即，以提供習知形狀之矩形邊界)來校正非所欲之傾斜。然而，剪輯步驟必須移除內容。在一些情況下，藉由旋轉5度可移除20%的原始內容，且隨後進行剪輯。其他方法已試圖添加內容而非剪輯，且取得了不同的成功。在又一建議解決方案中，在圖像內容內形成接縫，且在彼等接縫中添加或移除內容。在此等解決方案之每一者中，因為已移除或添加內容，校正圖像具有不同於原始圖像內容之內容。
此申請案描述圖像旋轉校正之示例性實施例。在多種實施例中，使用者可識別圖像以用於基於旋轉之圖像校正。在一些實施例中，圖像旋轉校正系統在圖像內容上形成輸入網格。輸入網格可具有對應於圖像內容之原始邊界的邊 界。在一些實施例中，在應用網格之後，校正系統根據能量函數最佳化該網格。在一實施例中，能量函數可具有旋轉保存項、掃描線保存項、形狀保存項及邊界保存項。例如，掃描線保存項可包括旋轉項及平滑度項兩者，該旋轉項及該平滑度項共同指定不同掃描線組之不同的但是相關的旋轉。在一實施例中，能量函數要求校正系統按固定旋轉角度旋轉水平掃描線及垂直掃描線，且按某一不同角度旋轉所有其他傾斜掃描線。校正系統隨後可根據最佳化之網格使圖像內容變形以產生校正圖像。在一些實施例中，輸入圖像及校正圖像之圖像內容是相同的，此意味網格最佳化未添加或移除內容。
此概述引入內容感知圖像旋轉校正之簡化的概念，將在以下【實施方式】中進一步對該等概念進行描述。此概述不欲識別所主張之標的的基本特徵，亦不欲用於限制所主張之標的的範疇。
100‧‧‧示例性環境
102‧‧‧圖像旋轉校正系統
104‧‧‧用戶端裝置
106‧‧‧伺服器
108‧‧‧網路
110‧‧‧處理器
112‧‧‧記憶體
114‧‧‧應用程式
116‧‧‧程式資料
118‧‧‧使用者
202‧‧‧處理器
204‧‧‧網路介面
206‧‧‧記憶體
208‧‧‧輸入/輸入介面
210‧‧‧程式模組
212‧‧‧程式資料
214‧‧‧圖像獲取模組
216‧‧‧圖像資料庫
218‧‧‧網格應用模組
220‧‧‧掃描線提取模組
222‧‧‧掃描線分組模組
224‧‧‧最佳化模組
228‧‧‧圖像變形模組
230‧‧‧圖像輸出模組
232‧‧‧程式資料
302‧‧‧輸入圖像
304‧‧‧輸入網格圖像
306‧‧‧輸入網格
308‧‧‧網格圖像
310‧‧‧最佳化網格
312‧‧‧校正圖像
402‧‧‧輸入圖像
404‧‧‧校正圖像
406‧‧‧校正圖像
408‧‧‧元件符號
500‧‧‧方法
502‧‧‧步驟
504‧‧‧步驟
506‧‧‧步驟
508‧‧‧步驟
600‧‧‧方法
602‧‧‧步驟
604‧‧‧步驟
606‧‧‧步驟
608‧‧‧步驟
610‧‧‧步驟
612‧‧‧步驟
614‧‧‧步驟
參閱附圖闡述詳細描述。在該等圖式中，元件符號之最左的一或更多個數字識別元件符號在其中第一次出現的圖式。同一元件符號在不同圖式中的使用指示類似或等同的項目。
第1圖圖示包括示例性圖像旋轉校正系統之示例性環境。
第2圖更詳細地圖示第1圖之示例性圖像旋轉校正系統。
第3圖圖示根據此揭示案之一實施編輯接收之圖像 內容的示例性情況。
第4圖圖示根據此揭示案之一實施編輯接收之圖像及使用習知技術編輯接收之圖像的比較實例。
第5圖圖示圖像內容之內容感知旋轉的示例性方法。
第6圖圖示圖像內容之內容感知旋轉的示例性方法。
簡介
如上所述，圖像(尤其彼等隨意捕捉之圖像)可能具有不期望之傾斜。人類視覺研究教示圖像傾斜感覺係因為傾斜之水平線(tilted horizon)(或其他水平掃描線)。相比所有其他傾斜的直角，人眼更易感受正常的直角，亦即具有水平段及垂直段之直角。視覺研究亦教示人類無法很好的察覺銳角或鈍角的絕對值。
使用此等研究，此揭示案之實施試圖以如下方式旋轉內容：將使用者期望為垂直及水平的掃描線分別調整為垂直及水平的，同時允許其他掃描線之較大的旋轉撓性。該結果為美觀的結果，儘管圖像之一些內容存在變形。
此揭示案描述圖像旋轉校正系統，該圖像旋轉校正系統採用內容感知的旋轉圖像處理，以快速及有效之方式旋轉原始圖像內容。例如，校正圖像可包括所有的原始圖像內容，而無需剪輯或填充旋轉後的間隔。
根據本發明之態樣，在圖像上形成網格用於扭曲， 且識別圖像內容中的圖像掃描線。使用將掃描線之子集旋轉一預定旋轉角度的能量函數扭曲圖像，同時按除預定旋轉角度外的角度旋轉其他掃描線。在一實例中，意欲校正後為水平或垂直之掃描線按旋轉角度(該旋轉角度將使得彼等掃描線變為水平或垂直)旋轉，而傾斜掃描線按除旋轉角度之外的角度旋轉。在一些實施中可根據彼等傾斜掃描線的方向對傾斜掃描線進行分組，以使得對該等群組進行類似的處理。
在一些實施中，能量函數包括多項。例如，在如下所述之示例性架構中，能量函數可包括：旋轉保存項，該旋轉保存項促進圖像內容旋轉之保存，以抵消按旋轉角度之旋轉；掃描線保存項，該掃描線保存項界定掃描線與網格之頂點之間的關係；形狀保存項，該形狀保存項推進變形後某些形狀的連續性；及/或邊界保存項，該邊界保存項將最佳化之網格限制於圖像內容之邊界或一些其他邊界。
本申請案描述多個及變化之實施及實施例。以下部分描述適合於實踐多種實施的示例性環境。其次，申請案描述用於實施圖像旋轉校正系統之示例性系統、裝置及過程。
示例性環境
第1圖圖示用於實施圖像旋轉校正系統102之示例性環境100。在一實施例中，環境100可包括用戶端裝置104、伺服器106及網路108。用戶端裝置104及/或伺服器106可經由網路108與圖像旋轉校正系統102進行資料通訊。
儘管第1圖中圖示圖像旋轉校正系統102與用戶端裝置104及伺服器106分離，但是在一實施例中，一或更多 個用戶端裝置104及/或一或更多個伺服器106中可包括及分佈圖像旋轉校正系統102之功能。例如，用戶端裝置104可包括圖像旋轉校正系統102之部分功能，而伺服器106中可包括圖像旋轉校正系統102之其他功能。在一些實施例中，用戶端裝置104中或伺服器106上可包括圖像旋轉校正系統102的所有功能。
用戶端裝置104可作為多種習知計算裝置之任一種實施，該等計算裝置包括例如：筆記型或攜帶型電腦、掌上型裝置、隨身型易網機、網際網路設備、攜帶型讀取裝置、電子書閱讀器裝置、輸入板或平板電腦、遊戲機、行動裝置(例如行動電話、個人數位助理、智慧型電話等)、媒體播放器等或以上各者之組合。
網路108可為無線或有線網路或以上兩者之組合。網路108可為彼此互連及用作單一大網路(例如網際網路或內部網路)之各別網路的集合。該等各別網路之實例包括但不限於電話網路、電纜網路、區域網路(LAN)、廣域網路(WAN)及都會區域網路(MAN)。另外，各別網路可為無線或有線網路或以上兩者之組合。
在圖示之實施例中，裝置104包括耦接至記憶體112之一或更多個處理器110。記憶體112包括一或更多個應用程式114(例如圖像捕捉應用程式、圖像旋轉校正應用程式等)及其他程式資料116。記憶體112可耦接至其他裝置、與該等其他裝置有關及/或可由該等其他裝置存取，該等其他裝置諸如網路伺服器、路由器、伺服器106及/或其他用戶端裝置(未 圖示)。
一或更多個處理器110可包括中央處理器(CPU)、圖形處理單元(GPU)、微處理器、數位信號處理器等。記憶體112可經設置以儲存一或更多個軟體及/或韌體模組，該等軟體及/或韌體模組可在一或更多個處理器110上執行，以實施多種功能。術語「模組」為達論述之目的而意欲代表軟體之示例性劃分，且不意欲代表任何類型之要求或所需之方法、方式或組織。因此，當論述多種「模組」時，可對彼等「模組」之功能及/或類似功能進行不同的佈置(例如，該等功能可組合為較少數目之模組，或可經分割為較多數目之模組等)。
替代地或另外，本文描述之功能可至少部分地由一或更多個硬體邏輯元件執行。舉例而言(但並非限制)，可使用之硬體邏輯元件的說明性類型包括現場可程式閘陣列(FPGA)、特殊應用積體電路(ASIC)、特殊應用標準產品(ASSP)、晶片上系統(SOC)、複雜可程式化邏輯裝置(CDLD)等。
用戶端裝置104之使用者118可經由圖像獲取應用程式將圖像接收至用戶端裝置104中。例如，用戶端裝置104可包括圖像捕捉應用程式，經由該圖像捕捉應用程式使用者捕捉圖像。圖像捕捉應用程式可與併入裝置之攝影機有關，且所捕捉之圖像可儲存在裝置104上。在其他實施中，使用者可從某一其他來源將圖像接收至該裝置上，例如該圖像獲取應用程式可包括訊息傳遞應用程式、社交媒體應用程式、 瀏覽應用程式等。此等實例中的圖像獲取應用程式可用作前端應用程式以獲取或另外提供將呈現給圖像旋轉校正系統102(可用作後端應用程式)之圖像。
回應從圖像獲取應用程式接收圖像，圖像旋轉校正系統102可藉由對圖像內容應用內容感知的旋轉來處理圖像。例如，圖像旋轉校正系統102可校正可由傾斜圖像之獲取所造成的不期望的旋轉。在一些實施例中，圖像旋轉校正系統102可用作編輯工具以將所要的審美效果(諸如所要的旋轉而非校正旋轉)應用至圖像內容。
第2圖更詳細地圖示圖像旋轉校正系統102。在一個實施例中，圖像旋轉校正系統102包括但不僅限於：一或更多個處理器202、網路介面204、記憶體206及輸入/輸出介面208。處理器202經設置以執行從網路介面204接收之指令、從輸入/輸出介面308接收之指令及/或儲存在記憶體206中之指令。處理器202可與第1圖之處理器110相同或不同，及記憶體206可與第1圖之記憶體112相同或不同。
記憶體206(及記憶體112)包括有形及/或實體形式之媒體，該等形式之媒體包括在裝置及/或硬體元件中，該硬體元件為裝置之部分或在裝置之外，該媒體包括但不限於：隨機存取記憶體(RAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、相變記憶體(PRAM)、快閃記憶體、壓縮光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)、 光卡或其他光儲存媒體、磁卡盒、磁帶、磁碟儲存器、磁卡或其他磁性儲存裝置或媒體、固態記憶體裝置、儲存陣列、網路附接儲存器、儲存區域網路、主電腦儲存或可用於儲存及維持由計算裝置存取之資訊的任何其他儲存記憶體、儲存裝置及/或儲存媒體。
儘管諸圖中描繪之記憶體112、206為單一單元，但是記憶體112及/或206(及本文描述之所有其他的記憶體)可包括電腦儲存媒體或電腦儲存媒體與其他電腦可讀取媒體之組合。電腦可讀取媒體可包括電腦儲存媒體及/或通訊媒體。電腦儲存媒體包括以任何方法或技術實施以用於儲存資訊(諸如電腦可讀取指令、資料結構、程式模組或其他資料)之揮發性及非揮發性、可移除及不可移除媒體。電腦儲存媒體包括但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型之隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、壓縮光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存器、磁卡盒、磁帶、磁碟儲存器或其他磁性儲存裝置，或可用於儲存由計算裝置存取之資訊的任何其他非傳輸媒體。
相反，通訊媒體可體現電腦可讀取指令、資料結構、程式模組或已調變資料信號(諸如載波或其他傳輸機構)中的其他資料。如本文所定義，電腦儲存媒體不包括通訊媒體。
記憶體206可包括程式模組210及程式資料212。 在一個實施例中，程式模組210包括圖像獲取模組214。圖像獲取模組214可獲得或擷取圖像資料，該圖像資料對應於例如來自用戶端裝置104上之記憶體112的數位圖像。另外或替代地，獲取模組214可從伺服器106獲得或擷取圖像資料。圖像資料可包括但不限於使用用戶端裝置104上之攝影機捕捉的數位圖像。數位圖像可替代地從某一其他來源獲取。
數位圖像通常含有由圖像邊界限制之圖像內容。藉由用於捕捉圖像之技術及裝置、藉由使用者、藉由在圖像旋轉校正系統102處獲取圖像內容之前對圖像進行的某一預處理或藉由一些其他方法可決定圖像邊界。
每一所獲取的圖像之圖像內容可按旋轉角度△旋轉。例如，若用於捕捉所獲取之圖像的捕捉裝置傾斜△角度(例如由於捕捉者部分的粗心)，則所獲取之圖像將傾斜△角度。在此揭示案之一些態樣中，圖像旋轉校正系統102用於校正此不期望之△角。
圖像旋轉校正系統102可進一步包括網格應用模組218，網格應用模組218將輸入網格應用於數位圖像。在一個實施例中，網格應用模組218應用均勻網格(諸如柵格)界定複數個四分部。一旦均勻網格應用於圖像，各四分部對應於數位圖像之一部分。該等四分部可為任何形狀或大小。在一個實施例中，輸入網格具有對應於圖像邊界之網格邊界。然而，在其他實施例中，網格應用模組218可對少於整體所獲取圖像應用網格。例如，使用者可選擇在少於整體輸入圖像上實施此揭示案之技術。在該實施例中，使用者可界定例 如待經由用戶端裝置上之使用者介面校正之輸入圖像的部分，以界定圖像邊界。作為另一實例，圖像處理程式可引起在少於整體輸入圖像上實施此揭示案之技術。
程式模組210可進一步包括掃描線提取模組220。掃描線提取模組220可例如使用一或更多種提取技術(諸如邊緣偵測、折角點偵測、區塊偵測、脊偵測及/或尺度恆定的特徵轉換)從圖像提取掃描線。此外，儘管此揭示案描述掃描線提取模組220，受益於此揭示案之彼等一般技術者將瞭解本揭示案之態樣可使彼等技術者進行除了掃描線提取或除掃描線提取之外的提取取。例如，亦可提取及操控形狀及/或特徵。例如，使用基於形狀之偵測可從所獲取之圖像提取除掃描線之外的特徵，該基於形狀之偵測可包括例如閾值處理、區塊提取、模板匹配及/或霍夫轉換。
根據彼等掃描線的性質之一或更多者，隨後可使用掃描線分組模組222對提取之掃描線進行分組。例如，可根據彼等掃描線之方向對掃描線進行分組。在一個實施中，所提取之掃描線之每一者根據該掃描線相對於軸(諸如橫軸)之旋轉角度分組為「箱」。例如，該等掃描線可分組為九十個箱，各箱包括彼此旋轉2度以內的掃描線。掃描線分組模組可進一步界定分組或箱之兩者作為水平及垂直的箱。水平箱包括意欲在使用圖像旋轉校正系統102校正圖像後為水平的掃描線，及垂直箱包括意欲在圖像經校正後為垂直的掃描線。在圖像內容經旋轉或傾斜旋轉角度△及使用者希望校正圖像之彼不期望的傾斜的實例中，水平及垂直箱將包括在旋 轉旋轉角度△時將在校正圖像中分別顯示為水平及垂直的掃描線。
程式模組210亦可包括最佳化模組224，最佳化模組224最佳化能量函數以決定最佳化之網格。能量函數可包括複數個項，該複數個項包括旋轉保存項、掃描線保存項、形狀保存項及邊界保存項。在一些實施中，旋轉保存項可促進圖像內容(包括所提取之掃描線)按旋轉角度△旋轉。旋轉保存項亦可包括平滑度項，該平滑度項促進分組在相鄰或接近的箱中之掃描線的類似的旋轉。旋轉保存項可經設計以使得水平箱及/或垂直箱中的掃描線嚴格按旋轉角度△旋轉，而其他箱中的掃描線按除旋轉角度△之外的角度旋轉。
掃描線保存項可建構所擷取掃描線及輸入網格之頂點之間的關係。
形狀保存項可要求各網格四分部經歷類似轉換。已知且可使用一些轉換(諸如「儘可能嚴格的」轉換)。在此類轉換中，各網格四分部之變形可經最小化以保持形狀。在其他實施中，類似轉換可使用「儘可能類似的」轉換。該轉換之實例用於以下更詳細地描述之示例性能量函數中。
邊界保存項可將網格邊界頂點限制為所決定之邊界。例如，可將網格邊界頂點限制為圖像內容邊界。以此方式，輸出圖像具有與輸入圖像相同之邊界，此舉可避免剪輯輸出圖像之需要。在其他實施中，可將網格邊界頂點限制為某一其他預定邊界。
如將在以下更詳細地描述，最佳化模組224可使用 替代算法最佳化能量函數。最佳化模組224可進一步使用半二次分裂技術。亦將在下文描述示例性半二次分裂技術。
最佳化能量函數之步驟描述最佳化之網格，可使用經最佳化之網格應用模組將該網格應用於圖像內容。
程式模組210可進一步包括圖像變形模組228，圖像變形模組228使獲取之輸入圖像變形，以匹配經最佳化的網格。例如，圖像變形模組228可使用雙線性內插法。
亦可提供圖像輸出模組230，用於例如將校正圖像經由用戶端裝置104輸出至使用者118。
在其他實施中，程式資料212可進一步包括其他程式資料232，程式資料232可能與掃描線偵測及分組及/或能量函數有關，或可能與掃描線偵測及分組及/或能量函數無關。舉例而言(但並非限制)，其他程式資料232可包括使用者偏好或以其他方式預先建立之參數，該等參數可用於促進新獲取圖像的校正。
示例性架構
下文描述用於內容感知圖像旋轉的示例性架構。
如上所述，在圖像校正設備(諸如圖像旋轉校正系統102)之一態樣中，可能需要旋轉圖像內容以校正非意欲之旋轉或傾斜。在此示例性架構中，按旋轉角度△旋轉所獲取之圖像中的圖像內容，且圖像內容將按此旋轉角度△校正。在此架構中，旋轉角度△為「應」為水平及垂直(亦即，無不期望的旋轉)的掃描線分別相對於「真實」水平及垂直方向所旋轉的一角度。因此，按旋轉角度△旋轉水平及垂直掃 描線將使得彼等掃描線顯示為水平或垂直的。在此架構中，旋轉角度△已知，已由使用者輸入或從其他來源獲得。例如，用於獲取圖像之裝置的傾斜角度可為已知的且由該裝置輸送。在另一實施中，使用者可與圖像互動以界定掃描線(例如所提取之掃描線)，以表示應為水平或垂直的掃描線。
在示例性架構中，在獲取之圖像中識別掃描線(諸如藉由掃描線提取模組220)。按需要，較長的掃描線在與輸入網格相交處分段為較短的掃描線(亦即線段)，以使得各掃描線常駐於僅單一網格四分部中。已常駐於網格之僅單一四分部中的掃描線未經分段。
在已界定掃描線之每一者的情況下，相對於參考軸決定掃描線之每一者的方向。在此示例性架構中，參考軸為輸入圖像之x軸，且掃描線之方向係關於此x軸。該等方向隨π的週期偏移，以使得彼等方向在輸入圖像中[-△,π-△)的範圍內。因此，藉由嚴格按△旋轉圖像內容獲取之輸出圖像將具有在該輸出圖像中[0,π)之範圍內的此等掃描線。
隨後諸如使用掃描線分組模組222對該等掃描線進行分組。在此實例中，範圍[-△,π-△)經均勻地量化為M=90箱，各箱覆蓋π/90或2度。根據此分組，同一箱中將包括組成由網格分段之掃描線的所有段，如將為平行掃描線。能量函數將促進同一箱中的所有掃描線遵循共同的預期旋轉角度，以使得彼等較長的掃描線維持其線性及平行掃描線維持其平行性。在第m個箱中期望的旋轉角度為θm。集合形成M×1之向量θ。第 個箱中的掃描線為經圖像校正後應變為水平/ 垂直的彼等掃描線，其中=1，M(水平)或M/2、M/2+1(垂直)。可將此等四個箱稱為「規範」箱，且在此揭示案之一些實施中，彼等箱按旋轉角度△旋轉。
在該等掃描線經決定且經分組的情況下，隨後示例性架構提供能量函數。能量函數較佳地促進規範箱中的掃描線嚴格按△旋轉。此旋轉可形成校正圖像之旋轉的良好視覺。該函數亦可將網格中的頂點限制為輸出之邊界。例如，以此方式原始圖像之所有內容將呈現於校正圖像中。亦即，校正後的內容將不會小於(且因此需要添加內容)或大於(且因此需要剪輯)所建立之邊界。能量函數亦可最小化局部變形。
根據原始圖像網格(在此實例中為四分部網格)，頂點之位置為v i =(xi,yi)T，且所有的頂點{v i }經級聯為向量V。
此示例性架構中的能量函數係與V及θ相關，且該能量函數具有旋轉保存項、掃描線保存項、形狀保存項及邊界保存項。現將詳細描述此等項。
旋轉保存項提供能量E R ，且該旋轉保存項促進所要旋轉的保存。該旋轉保存項經給定為：
在方程式(1)中，第一項為促進掃描線按△旋轉之資料項。δ m為可大於規範箱之加權因子，亦即以使得彼等箱之旋轉非常接近△。在一個實施例中，對於規範箱而言δ m=103，且對於其他箱δ m等於零。此對水平及垂直箱進行較強的約束，但是亦可使用其他加權因子。
方程式(1)的第二項為平滑度項，該平滑度項促進相鄰箱中掃描線旋轉之類似性。規範箱附近之箱處，此項平滑地傳播規範箱之嚴格旋轉的影響。
如將瞭解，能量E R (θ)允許按除△外之角度旋轉非規範箱。此允許適應性的、非嚴格的旋轉。能量E R (θ)為向量θ的二次方程式。
能量方程中的下一項為掃描線保存項。此項構建掃描線與網格頂點之間的關係。特定言之，對於第k個所偵測之掃描線，可將端點表示為四個網格頂點之雙線性插值。方向向量e k 可經計算作為兩個端點的差值。因此，e k 可寫入作為頂點V之線性函數(對於一些P k ，e k =P k V)。在u k 表示輸入圖像中此掃描線之方向向量之情況下，且將此掃描線之箱表示為m(k)(其中預期旋轉角度為θ m(k))，方程式(2)給定測量掃描線旋轉之變形的能量：
在此方程式中，K為掃描線之數目，s k 為與掃描線k有關之尺度，且R k 為旋轉矩陣：
根據該方程式，輸入向量u k按θ m(k)旋轉且按s k 進行縮減，且輸入向量u k從e k的變形經測量。
假定尺度s k 為獨立的，吾人相對於各s k 最小化E L ，該s k 由得出。
將sk代入方程式(2)中，則得出：
其中I為單位矩陣，及。理論上，此項促 進e k與u k之間的角度呈θ m(k)，以使得該掃描線將按θ m(k)旋轉。
在該示例性架構中，此掃描線保存項從s去耦，以獲得閉型的V及θ。以此方式，θ的非線性可更易於最佳化。此外，能量EL( V ,θ)為V的二次方程式。
在此架構中，形狀保存項包括類似轉換，該轉換為「儘可能類似的」轉換。形狀保存能量E S為：
其中N為四分部數目及q為四分指數。四分指數q、8x4矩陣Aq及8x1向量Vq界定為：
在此(xq,0,yq,0),...,(xq,0,yq,0)表示經變形的四分部的四個頂點，及所輸入的四分部的四個頂點 。該能量Es為V的二次函數。
能量方程中的最終項為邊界保存項。在此示例性架構中，邊界保存項將圖像內容維持在直立矩形邊界中。該項根據以下方程式限制此矩形上之邊界頂點： 在方程式(7)中，各總和是基於各邊界上之頂點。值w和h為直立矩形之寬度及高度。此實例中的矩形可對應於輸入圖像之矩形界限，或該矩形可為某一其他界定之邊界。E B (V)係V的二次方程式。
根據四個剛描述之項，將待最佳化之總能量E(V,θ)描述如下：E( V ,θ)=E S (V)+λ B E B (V)+λ L E L ( V ,θ)+λ R E R (θ) (8)
在一些實施中，λ B =∞(108)界定硬邊界約束。如可已知，λL及λR可為固定參數設置。在一些實施中，已發現值100有效。
在一個實施中，替代演算法用於最佳化能量E(V,θ)。特定地，可將問題分為兩個子問題，且反復地最佳化每一問題。
首先，θ為固定的，且該問題係為求解V。在此情況下，E為V的二次函數。該解由稀疏線性系統給出，其中V由數百個未知數組成。
其次，V係固定的而問題係為求解θ。隨後從最小化下式來進行最佳化：
第一項為非線性的，且因此解係非無義的。在一個實施中，此非線性問題可使用半二次分裂技術解決。為此， 使用一系列輔助變量。各表示掃描線k之個別旋轉角 度(而θ m 為箱m中掃描線的共用旋轉角度)。 表示為掃描線k之個別旋轉矩陣，將方程 式(9)重寫為：
β為懲罰權重，且當β→∞時，方程式(10)的解收斂於方程式(9)。半二次分裂技術可從較小的β開始逐漸增加至∞。在設置β之每一步驟中，方程式10中的問題分成兩個子問題。
詳言之，當φ為固定的且θ為更新的，第一子問題為： 該子問題為θ的二次函數，且由線性系統求解，在該線性系統中，θ具有90(箱之數目)個未知數。
第二子問題(亦即當□為更新的而θ為固定的時)為非線性的，但各□ k 為獨立的，且因此可單獨解出□ k 。第二個子問題為：
此為單一變量問題，該問題可例如使用梯度下降方法解決。替代地，可使用檢索方法。若β=0，則第一項由e k 與u k 之間的角度解出，且若β→∞，則該第一項由解出。方程式12中的問題在此兩個值之間取捨。在一個實施中， 可將範圍分為複數個離散值，可評估方程式(12) 中的成本，可選擇最小化成本之□ k 的值。在一個實施中，發明者使用100個離散值，且結果為直接的答案。
根據諸如以下之演算法可最佳化示例性能量函數：
如應瞭解，根據此示例性架構，規範箱中的掃描線經嚴格地旋轉(亦即按旋轉角度△旋轉)，而較少地限制所有其他箱中之掃描線的旋轉。該結果為美觀的，因為使用者更多感知為水平及垂直的掃描線顯示為正確的。
圖形實例
第3圖圖示使用如上述之示例性架構之系統的圖像校正過程之第一實例。
提供輸入圖像302。該輸入圖像302是令人不滿意的，因為該圖像旋轉或傾斜。例如使用者可能在捕捉該圖像時粗心大意。
藉由將網格306置放於輸入圖像302上，隨後形成輸入網格圖像304。如圖所示，輸入網格306由許多相當大小之正方形四分部組成。在其他實施中，網格可能具有不同尺寸及/或形狀之四分部，且該等四分部不必為均勻的。
亦圖示最佳化網格圖像308，在網格圖像308中初始網格已經最佳化以形成最佳化網格310。在此實例中，使用如上所述之示例性架構最佳化網格。
移除最佳化網格310得出校正圖像312。在該校正圖像中，內容看似經旋轉以僅校正傾角，但是由於按傾角嚴格旋轉僅水平及垂直的掃描線，所有的原始內容可保持在校正圖像中。
第4圖圖示另一實例，在該實例中，輸入圖像402已校正不期望的旋轉。在此，旋轉角度為7度。在404處，已根據如上所述之示例性架構校正原始圖像。406顯示使用習知的旋轉及剪輯編輯的實例。如所圖示，圖像402之原始內容存在於校正圖像404中，但大部分原始內容在校正圖像406中係丟失的。
元件符號408顯示圖表，該圖表圖示示例性架構中如上所述之適應性旋轉技術。更特定言之，該圖表圖示掃描線之90個箱(根據上述方法分組)之每一者的旋轉角度。如圖所示，在校正圖像404的適應性技術中，因為如上所述之能量函數，箱1、45及90中的掃描線按旋轉角度旋轉(在此為7度)，而其他箱中的掃描線可按某一不同角度旋轉。事實上，一些箱旋轉角度小於3度。此與校正圖像406形成對比，校正圖像406使用非適應性方法形成，亦即，在該方法中所有的掃描線旋轉7度。校正圖像404為美觀的，但與校正圖像406相比保持了所有的原始內容，校正圖像406可經旋轉校正，但以丟失一些內容為代價。示例性方法
第5圖及第6圖為描繪使用圖像旋轉校正系統校正圖像之示例性方法500、600的流程圖。第5圖及第6圖之方法可(但不必)在第1圖之環境中及使用第2圖之系統實施。 為便於說明，參照第1圖及第2圖描述方法500、600。然而，方法500、600可替代地在其他環境及/或使用其他系統實施。
在電腦可執行指令之一般環境中描述方法500、600。一般而言，電腦可執行指令可包括常式、程式、物件、元件、資料結構、程序、模組、功能及執行特定功能或實施特定抽象資料類型之類似指令。亦可在分佈計算環境中實施方法，在該分佈計算環境中，由遠程處理裝置(經由通訊網路鏈接)執行功能。在分佈計算環境，電腦可執行指令可定位於區域及/或遠端電腦儲存媒體(包括記憶體儲存裝置)中。
圖示示例性方法為邏輯流程圖中的許多步驟，該等步驟表示可在硬體、軟體、韌體或以上各者之組合中實施的一連串操作。不欲將描述該等方法之順序視為限制，且可以任何順序組合所描述之任何數目的方法步驟，以實施方法或替代方法。此外，在不脫離本文描述之標的之精神及範疇的情況下，可從該方法中省略個別步驟。在軟體之上下文中，該等步驟表示在由一或更多個處理器執行時執行所述操作之電腦指令。在硬體之上下文中，一些或所有步驟可表示執行所述操作之特殊應用積體電路(ASIC)或其他實體元件。
返回參看第5圖，在步驟502處，圖像旋轉校正系統102可從諸如用戶端裝置106接收輸入圖像。在其他實施例中，圖像旋轉校正系統102可從圖像資料庫216或從其他系統(諸如伺服器106)中之資料庫接收圖像資料。
在步驟504，回應接收圖像，圖像旋轉校正系統102將輸入網格應用至輸入圖像。在一個實施例中，輸入網格為 具有對應於圖像之邊界的邊界之均勻網格。
在步驟506處，圖像旋轉校正系統102可最佳化輸入網格以形成最佳化網格。根據能量函數最佳化該網格。在一個實施例中，能量函數包括掃描線保存項、旋轉保存項、形狀保存項及邊界保存項。可使用半二次分裂技術解出能量函數。
在步驟508處，根據最佳化之網格變形圖像內容。此舉導致校正之圖像，在該圖像中，原圖像內容中的某些掃描線嚴格按例如預定之旋轉角度旋轉，而其他掃描線按某一其他角度旋轉。
現參看第6圖，在步驟602處，圖像旋轉校正系統102可從諸如用戶端裝置104接收輸入圖像。
在步驟504處，回應接收該輸入圖像，圖像旋轉校正系統102可識別圖像內容之邊界。該邊界可為例如界定圖像之周長的矩形或其他形狀。在其他實施中，邊界可表示小於整體輸入圖像。例如，邊界可僅環繞圖像內容之部分，因此僅有彼部分將經受圖像旋轉校正系統102之校正。在一些實施中，可例如使用形狀或其他辨識工具(例如用於辨識諸如面之某些特徵的工具)自動界定該部分，或可例如使用用戶端裝置106上之輸入介面由使用者界定該部分。該邊界較佳地識別待校正之內容。
在步驟606處，輸入網格匹配由邊界識別之圖像內容。在一個實例中，輸入網格具有對應於在步驟604處識別之邊界的網格邊界。
在步驟608處，識別圖像內容中的掃描線。例如，使用習知的邊緣或掃描線偵測技術可識別掃描線。又在此步驟608中，可決定掃描線之性質。例如，可決定掃描線之旋轉方向。此外，亦可建立掃描線與網格之關係。
接下來，在步驟610處，可將偵測之掃描線分為複數個群組。此等群組可基於掃描線之方向，以使得分別分組水平掃描線(或應為水平但經不期望之旋轉的掃描線)及垂直掃描線(或應為垂直但經不期望之旋轉的掃描線)，以及為傾斜掃描線提供一或更多個額外箱。在如上所述之示例性架構中，掃描線可經分組為90個箱，各箱對應於2度遞增旋轉角度，其中箱1及箱90包括水平掃描線，及箱45包括垂直掃描線。在其他實施中，可使用更多或更少之箱。
在對該等掃描線分組之後，在步驟612處最佳化輸入網格。根據分別處理掃描線群組之每一者的能量函數完成最佳化。在一個實施例中，該網格經最佳化，以使得每一箱中的所有掃描線均經受同一旋轉，但是各箱分別處理。此外，在某些箱中的掃描線經嚴格地旋轉，而其他箱中的掃描線經旋轉至不同程度。
在步驟614處，根據最佳化之網格變形圖像內容。例如，可使用雙線性內插法使該內容變形。
儘管上述之動作由圖像旋轉校正系統102執行，由圖像旋轉校正系統102執行之一或更多個動作可由用戶端裝置104或用戶端裝置104之其他軟體或硬體及/或任何其他計算裝置(例如伺服器106)執行，及反之亦然。例如，用戶端 裝置104可包括將網格應用至圖像或從該圖像提取掃描線之機構及/或處理能力。用戶端裝置104可隨後將彼等圖像(亦即具有網格及/或提取之掃描線的圖像)發送至圖像旋轉校正系統102用於校正。
此外，用戶端裝置104及圖像旋轉校正系統102可配合以完成經描述由圖像旋轉校正系統102執行之動作。
基於儲存在一或更多個電腦可讀取媒體上之指令，本文描述之任何該等方法之任何動作可至少部分地由處理器或其他電子裝置實施。舉例而言(但並非限制)，在一或更多個處理器控制下，可實施本文描述之任何方法之任何動作，該一或更多個處理器配置有可儲存在一或更多個電腦可讀取媒體(諸如一或更多個電腦儲存媒體)上之可執行指令。
結論
儘管已用特定於結構特徵及/或方法論行為之語言描述本發明，但是應瞭解本發明不必限於所描述之特定的特徵或動作。確切而言，特定特徵及動作經揭示為實施本發明的示例性形式。
302‧‧‧輸入圖像
304‧‧‧輸入網格圖像
306‧‧‧輸入網格
308‧‧‧網格圖像
310‧‧‧最佳化網格
312‧‧‧校正圖像

Claims (20)

  1. 一種系統，該系統包含：一或更多個處理器；記憶體，該記憶體通訊地耦接至該一或更多個處理器，該記憶體儲存可執行指令，該等可執行指令在由該一或更多個處理器執行時配置該一或更多個處理器以執行動作，該等動作包含：接收含有圖像內容之一輸入圖像，該圖像內容按一旋轉角度旋轉；識別對應於該圖像內容中線性特徵之掃描線；使一網格匹配該圖像內容，該網格具有對應於該圖像內容之一邊界之一網格邊界；將該等掃描線分組為複數個群組，該複數個群組包含一或更多個傾斜群組，及一水平群組或一垂直群組之至少一者；根據一能量函數最佳化該網格以界定一最佳化網格，該能量函數包含：一旋轉保存項，該旋轉保存項促進該圖像內容之一旋轉的保存，以抵消按該旋轉角度之旋轉；一掃描線保存項，該掃描線保存項界定掃描線與該網格之頂點之間之一關係；一形狀保存項，及一邊界保存項，該邊界保存項將該最佳化之網格限制於該圖像內容之該邊界；以及 根據該最佳化網格變形該圖像內容，以生成一校正圖像。
  2. 如請求項2所述之系統，其中使該圖像內容變形之該步驟包括：使在該校正圖像中呈現為水平或垂直掃描線之掃描線按該旋轉角度旋轉。
  3. 如請求項2所述之系統，其中使該圖像內容變形之該步驟包括：使該校正圖像中呈現為傾斜掃描線之掃描線按除該旋轉角度之外之一角度旋轉。
  4. 如請求項1所述之系統，其中該校正圖像含有該輸入圖像之全部該圖像內容。
  5. 如請求項4所述之系統，其中該校正圖像含有僅該輸入圖像之該圖像內容。
  6. 如請求項1所述之系統，其中最佳化該網格之該步驟包含最佳化該能量函數。
  7. 如請求項6所述之系統，其中最佳化該能量函數之該步驟包括使用一半二次分裂技術。
  8. 一種電腦可讀取媒體，該電腦可讀取媒體具有儲存於其 上之處理器可執行指令，在執行該等處理器可執行指令之後，配置一處理器以執行動作，該等動作包含：在一輸入圖像上形成一輸入網格，該輸入圖像關於一所要的方向傾斜；根據具有一旋轉保存項、一掃描線保存項、一形狀保存項及一邊界保存項之一能量函數最佳化該輸入網格，以形成一最佳化網格；以及根據該最佳化網格使該圖像變形，以產生一校正圖像，其中，關於該輸入圖像中的掃描線旋轉該校正圖像中的掃描線。
  9. 如請求項8所述之電腦可讀取媒體，該等動作進一步包含：關於一真實水平識別該輸入圖像中按一旋轉角度傾斜之水平掃描線及垂直掃描線；以及關於該真實水平識別該圖像中按除該旋轉角度之外之一角度傾斜之傾斜掃描線，其中根據該最佳化網格變形該圖像之該步驟引起該等水平掃描線及該等垂直掃描線按該旋轉角度旋轉，及該等傾斜掃描線按除該旋轉角度外之一角度旋轉。
  10. 如請求項9所述之電腦可讀取媒體，其中該等水平掃描線、垂直掃描線及該等傾斜掃描線包含線段，該等線段中的至少一些由輸入網格分段。
  11. 如請求項9所述之電腦可讀取媒體，該電腦可讀取媒體進一步包含將該等水平掃描線、該等垂直掃描線及該等傾斜掃描線分組至複數個群組中。
  12. 如請求項11所述之電腦可讀取媒體，其中根據該最佳化網格變形該圖像之該步驟引起該複數個群組之每一者中的所有該等掃描線按一同一角度旋轉。
  13. 如請求項11所述之電腦可讀取媒體，其中包含該等傾斜掃描線之該等群組以該等傾斜掃描線之一角度為特徵，及根據該最佳化網格變形該圖像之該步驟引起相鄰群組中的掃描線按一類似角度旋轉。
  14. 如請求項8所述之電腦可讀取媒體，其中該輸入圖像由一圖像邊界界定，且該圖像邊界由該能量函數之該邊界保存項保存。
  15. 如請求項14所述之電腦可讀取媒體，其中該校正圖像由該圖像邊界限制。
  16. 如請求項8所述之電腦可讀取媒體，其中該形狀保存項包括該輸入網格之複數個四分部之每一者的一類似轉換。
  17. 如請求項8所述之電腦可讀取媒體，其中該掃描線保存項合併該圖像中之掃描線與該網格之頂點之間之一關係。
  18. 一種方法，該方法包含以下步驟：在一圖像校正系統處接收包含圖像內容之一圖像，按一旋轉角度旋轉該圖像內容；識別對應於該圖像內容中線性特徵之掃描線；將該等掃描線分組為複數個群組，該複數個群組包含一或更多個傾斜群組，及一水平群組或一垂直群組之至少一者；藉由按該旋轉角度旋轉該水平群組或該垂直群組之至少一者中的該等掃描線，及按除該旋轉角度外之一角度旋轉該一或更多個傾斜群組之每一者中的該等掃描線，使該圖像內容變形以形成一校正圖像。
  19. 如請求項18所述之方法，其中所有該圖像內容保存在該變形圖像中，且該變形圖像不含有額外的圖像內容。
  20. 如請求項18所述之方法，其中使該圖像內容變形之該步驟包括以下步驟：按根據一能量函數最佳化之一網格變形該圖像內容。
TW103137235A 2013-11-27 2014-10-28 內容感知的圖像旋轉 TW201520976A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/092,032 US9466092B2 (en) 2013-11-27 2013-11-27 Content-aware image rotation

Publications (1)

Publication Number Publication Date
TW201520976A true TW201520976A (zh) 2015-06-01

Family

ID=52146691

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103137235A TW201520976A (zh) 2013-11-27 2014-10-28 內容感知的圖像旋轉

Country Status (5)

Country Link
US (1) US9466092B2 (zh)
EP (1) EP3074945B1 (zh)
CN (1) CN105765624B (zh)
TW (1) TW201520976A (zh)
WO (1) WO2015080986A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185163B2 (en) 2014-08-03 2019-01-22 PogoTec, Inc. Wearable camera systems and apparatus and method for attaching camera systems or other electronic devices to wearable articles
US10241351B2 (en) 2015-06-10 2019-03-26 PogoTec, Inc. Eyewear with magnetic track for electronic wearable device
TWI657410B (zh) * 2018-03-05 2019-04-21 光寶電子（廣州）有限公司 影像角度偵測的方法及其影像處理系統
US10341787B2 (en) 2015-10-29 2019-07-02 PogoTec, Inc. Hearing aid adapted for wireless power reception
US10348965B2 (en) 2014-12-23 2019-07-09 PogoTec, Inc. Wearable camera system
US11300857B2 (en) 2018-11-13 2022-04-12 Opkix, Inc. Wearable mounts for portable camera
US11558538B2 (en) 2016-03-18 2023-01-17 Opkix, Inc. Portable camera system

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108352054B (zh) * 2015-08-26 2022-05-03 快图有限公司 图像处理设备
US9865038B2 (en) * 2015-11-25 2018-01-09 Konica Minolta Laboratory U.S.A., Inc. Offsetting rotated tables in images
CN105812662A (zh) * 2016-03-17 2016-07-27 合肥联宝信息技术有限公司 图像获取方法
US20200058101A1 (en) * 2017-04-13 2020-02-20 Sharp Kabushiki Kaisha Image processing device, imaging device, terminal apparatus, image correction method, and image processing program
CN110316084B (zh) * 2018-03-30 2021-09-21 比亚迪股份有限公司 基于车载显示终端的导航显示系统、方法和车辆

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282300B1 (en) * 2000-01-21 2001-08-28 Signafy, Inc. Rotation, scale, and translation resilient public watermarking for images using a log-polar fourier transform
US6934422B2 (en) 2001-12-18 2005-08-23 Honeywell International Inc. Methods, data, and systems to warp an image
US8525871B2 (en) * 2008-08-08 2013-09-03 Adobe Systems Incorporated Content-aware wide-angle images
US8374462B2 (en) 2008-11-14 2013-02-12 Seiko Epson Corporation Content-aware image and video resizing by anchor point sampling and mapping
US8270771B2 (en) 2008-12-09 2012-09-18 Xerox Corporation Iterative selection of pixel paths for content aware image resizing
US8483513B2 (en) 2010-01-22 2013-07-09 Corel Corporation, Inc. Method of content aware image resizing
CN101976429B (zh) * 2010-10-27 2012-11-14 南京大学 基于游弋图像的水面鸟瞰图成像方法
US8724854B2 (en) 2011-04-08 2014-05-13 Adobe Systems Incorporated Methods and apparatus for robust video stabilization

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185163B2 (en) 2014-08-03 2019-01-22 PogoTec, Inc. Wearable camera systems and apparatus and method for attaching camera systems or other electronic devices to wearable articles
US10348965B2 (en) 2014-12-23 2019-07-09 PogoTec, Inc. Wearable camera system
US10887516B2 (en) 2014-12-23 2021-01-05 PogoTec, Inc. Wearable camera system
US10241351B2 (en) 2015-06-10 2019-03-26 PogoTec, Inc. Eyewear with magnetic track for electronic wearable device
US10341787B2 (en) 2015-10-29 2019-07-02 PogoTec, Inc. Hearing aid adapted for wireless power reception
US11166112B2 (en) 2015-10-29 2021-11-02 PogoTec, Inc. Hearing aid adapted for wireless power reception
US11558538B2 (en) 2016-03-18 2023-01-17 Opkix, Inc. Portable camera system
TWI657410B (zh) * 2018-03-05 2019-04-21 光寶電子（廣州）有限公司 影像角度偵測的方法及其影像處理系統
US11300857B2 (en) 2018-11-13 2022-04-12 Opkix, Inc. Wearable mounts for portable camera

Also Published As

Publication number Publication date
CN105765624A (zh) 2016-07-13
CN105765624B (zh) 2019-04-12
EP3074945B1 (en) 2019-03-27
WO2015080986A1 (en) 2015-06-04
US20150147003A1 (en) 2015-05-28
US9466092B2 (en) 2016-10-11
EP3074945A1 (en) 2016-10-05

Similar Documents

Publication Publication Date Title
TW201520976A (zh) 內容感知的圖像旋轉
US10769764B2 (en) Hierarchical scale matching and patch estimation for image style transfer with arbitrary resolution
Berger et al. A survey of surface reconstruction from point clouds
CN101477692B (zh) 图像特征提取方法及装置
US9865037B2 (en) Method for upscaling an image and apparatus for upscaling an image
US9396530B2 (en) Low memory content aware image modification
CN106056560B (zh) 单应性校正
US9799102B2 (en) Smoothing images using machine learning
US10949523B2 (en) Method and electronic device for providing image-based CAPTCHA challenge
Peters et al. A Voronoi-based approach to generating depth-contours for hydrographic charts
CN113592711B (zh) 点云数据不均匀的三维重建方法、系统、设备及存储介质
GB2583513A (en) Apparatus, system and method for data generation
CN114782645B (zh) 虚拟数字人制作方法、相关设备及可读存储介质
CN109712075B (zh) 一种数字图像数据原图识别方法及装置
US11503870B2 (en) Pattern filling in garment pieces
JP7352706B2 (ja) 貨物計数方法及び装置、コンピュータ装置、並びに記憶媒体
Cao et al. Orienting raw point sets by global contraction and visibility voting
US12045946B2 (en) Rotating and cropping images for various forms of media including animation, comics, film, or television
CN113408256B (zh) 一种表格图片的表格重构方法、装置及相关设备
CN109872280A (zh) 一种三维植物叶片点云的去噪与简化方法、装置及系统
CN108898146A (zh) 基于blmd-分形插值算法的图像分解方法
US8669984B2 (en) Methods and apparatus for score-based tile placement
Wang et al. Study on the image retargeting by using semantic concepts
Bergamasco et al. Saliency-driven Variational Retargeting for Historical Maps
CN118822774A (zh) 基于预先生成的底图文件进行在轨目标定位的方法和装置