TW201915944A - 圖像處理方法、裝置、系統和儲存介質 - Google Patents

Abstract

本發明公開了一種圖像處理方法、裝置、系統和儲存介質。該方法包括：確定物體對象的三維模型和透過圖像採集設備獲取的物體對象的原始紋理圖像的映射關係；選擇用於三維模型的第一視角，確定原始紋理圖像中與第一視角相關聯的紋理圖像子集；使用圖像分割方法，對紋理圖像子集進行拼接，得到與第一視角對應的拼接紋理圖像；利用映射關係，將與第一視角對應的拼接紋理圖像映射到三維模型。根據本發明實施例提供的圖像處理方法，可以提高3D紋理貼圖的精度和美觀度，透過全自動的方法來節約時間成本。

Description

圖像處理方法、裝置、系統和儲存介質

本發明涉及電腦技術領域，尤其涉及圖像處理方法、裝置、系統和儲存介質。

三維(Three Dimensional，3D)紋理貼圖廣泛應用於電腦圖形學的各個領域，以增加3D物體的真實感。3D紋理貼圖是可以大幅度提高3D圖像真實性的3D圖像處理技術，使用這項技術可以減少紋理銜接錯誤，提高變換視角觀察物體的真實性。 　　現有的3D紋理貼圖多透過人工方法完成，人工方法難以保證3D紋理貼圖的精度，且時間成本高。

本發明實施例提供一種圖像處理方法、裝置、系統和儲存介質，可以提高3D紋理貼圖的精度，節約時間成本。 　　根據本發明實施例的一方面，提供一種圖像處理方法，包括： 　　確定物體對象的三維模型和透過圖像採集設備獲取的該物體對象的原始紋理圖像的映射關係； 　　選擇用於三維模型的第一視角，確定原始紋理圖像中與第一視角相關聯的紋理圖像子集； 　　使用圖像分割方法，對紋理圖像子集進行拼接，得到與第一視角對應的拼接紋理圖像； 　　利用映射關係，將與第一視角對應的拼接紋理圖像映射到三維模型。 　　根據本發明實施例的另一方面，提供一種圖像處理裝置，包括： 　　映射關係確定模組，用於確定物體對象的三維模型和透過圖像採集設備獲取的該物體對象的原始紋理圖像的映射關係； 　　視角選擇模組，用於選擇用於三維模型的第一視角，確定原始紋理圖像中與第一視角相關聯的紋理圖像子集； 　　圖像拼接模組，用於使用圖像分割方法，對紋理圖像子集進行拼接，得到與第一視角對應的拼接紋理圖像； 　　圖像映射模組，用於利用映射關係，將與第一視角對應的拼接紋理圖像映射到三維模型。 　　根據本發明實施例的再一方面，提供一種圖像處理系統，包括：記憶體和處理器；該記憶體用於儲存程式；該處理器用於讀取記憶體中儲存的可執行程式代碼以執行上述的圖像處理方法。 　　根據本發明實施例的又一方面，提供了一種電腦可讀儲存介質，該電腦可讀儲存介質中儲存有指令，當指令在電腦上運行時，使得電腦執行上述各方面的圖像處理方法。 　　根據本發明實施例中的圖像處理方法、裝置、設備和儲存介質，可以保證紋理貼圖質量的同時，極大節約人力成本。

下面將詳細描述本發明的各個方面的特徵和示例性實施例，為了使本發明的目的、技術方案及優點更加清楚明白，以下結合圖式及實施例，對本發明進行進一步詳細描述。應理解，此處所描述的具體實施例僅被配置為解釋本發明，並不被配置為限定本發明。對於本領域技術人員來說，本發明可以在不需要這些具體細節中的一些細節的情況下實施。下面對實施例的描述僅僅是為了透過示出本發明的示例來提供對本發明更好的理解。 　　需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制條件的情況下，由語句“包括……”限定的要素，並不排除在包括要素的過程、方法、物品或者設備中還存在另外的相同要素。 　　在本發明實施例中，擴增實境(Augmented Reality，簡稱AR)技術可以透過系統自身攜帶的拍攝終端捕獲真實世界的影像視頻，使用圖像配准等技術，估計出影像視頻中虛擬物體的三維姿態，進而將虛擬物體或場景放置到真實環境中預定的位置，最後透過攝像機鏡頭的視角將場景渲染出來，其中，三維姿態用於描述物體的三維坐標和偏轉角度。 　　在本發明實施例中，虛擬實境(Virtual Reality，簡稱VR)技術是一種電腦仿真系統，在該系統中可以創建和體驗虛擬世界。本質上，該系統利用電腦生成一種模擬環境，該模擬環境包括多源資訊融合的交互式的三維動態視景和對實體行為的系統仿真，可以達到沉浸式體驗。 　　在上述實施例中，擴增實境技術和虛擬實境技術需要使用三維場景時，可以包括以下步驟： 　　首先，構建物體對象的三維模型。 　　在本發明實施例中，可以透過多種方式構建物體的三維模型。 　　在一個實施例中，採用可以進行三維掃描的儀器設備，例如三維掃描儀對實際物體對象進行三維建模。作為一個示例，可以利用三維掃描儀向真實場景中的物體對象投射結構光，獲取真實場景中物體對象的多個點資料，這些點資料構成點雲資料，基於點雲資料可以構建點雲模型，實現對該物體的三維形態建模，得到物體對象的三維模型。其中，點雲資料可以包括該物體對象的顏色資訊、深度資訊以及透過三維坐標表示的幾何位置資訊，透過物體對象的幾何位置資訊可以得到該物體對象的三維尺寸。 　　在一個實施例中，可以利用物體對象的視頻或圖片進行三維重建，以得到該物體對象的三維模型。 　　在一個實施例中，還可以透過例如三維建模渲染和動畫製作軟體3D Max、電腦動畫和建模軟體Maya或三維模型設計軟體Meshmixer等建模軟體來創建物體對象的三維模型。 　　其次，利用構建的物體對象的三維模型進行三維紋理貼圖。 　　作為一個示例，當利用三維掃描儀對實際物體對象進行三維建模時，可以在獲取的點雲模型的基礎進行三維紋理貼圖。具體來說，可以透過表面重建的方法，將點雲模型轉化為多邊形網狀模型，該多邊形網狀模型中的每個多邊形可以唯一確定一個多邊形平面，為每個多邊形平面貼上位置對應的紋理圖像中的紋理，就可以完成紋理圖像到多邊形網路模型的紋理映射。 　　本領域技術人員都理解到，可以使用各種實現方式來完成多邊形網狀模型的建立。例如，可以使用三角形、矩形、五邊形、六邊正菱形等方式來構建。為了簡化描述起見，本文下述的多個實施例以三角網格模型為例來闡述該多邊形網狀模型的具體建立方式。但該描述並不能被解讀為限制本方案的範圍或實施可能性，三角網格模型以外的其他多邊形網狀模型的處理方法與對三角網格模型的處理方法保持一致。 　　具體來說，可以對點雲模型的點雲資料進行三角化，得到三角網格模型，三角網格模型中的每個三角形都可以唯一的確定一個平面即三角面片，為每個三角面片貼上位置對應的紋理圖像中的紋理，就可以完成紋理圖像到三角網路模型的紋理映射。 　　本領域技術人員也可以理解到，可以透過多種方式獲得到用於物體對象的紋理圖像，例如，使用預先儲存的通用紋理圖像(例如，金屬紋理圖像模板、木質紋理圖像模板、等)，預先為物體對象準備的紋理圖像(例如，預先採集的)，實時拍攝到的物體對象的表面圖像(例如，實時採集設備採集到的)。在本發明實施例中，紋理圖像中的紋理可以包括場景彩色和場景亮度等資訊。 　　在該實施例中，點雲模型和三角網格模型是根據三維場景構建的三維模型在進行三維紋理貼圖的過程中，不同階段的不同展現形式，在本發明實施例的下述描述中，三角網格模型可以稱為是三維網格模型。 　　透過上述實施例可知，本發明實施例的圖像處理方法，在進行三維紋理貼圖時，可以透過紋理圖像與三維模型的映射關係，為三維模型中的每個三角面片貼上對應的紋理。 　　在本發明實施例中，利用圖像採集設備採集目標建模對象的圖像，從而根據採集的目標建模對象的圖像，進一步得到該目標建模對象的圖像中的原始紋理。 　　在一個實施例中，圖像採集設備可以包括相機、攝像頭等。 　　由於圖像採集設備基於相同的成像原理採集目標建模對象的圖像，以獲取該目標建模對象的圖像中的紋理。為了便於理解，本發明實施例以圖像採集設備是相機為例，介紹如何透過圖像採集設備參數，建立待進行紋理貼圖的三維模型和紋理圖像之間的映射關係。 　　圖1示出了根據本發明實施例的多拍攝視角下進行圖像處理的基本原理示意圖。首先結合圖1，詳細描述透過圖像採集設備參數建立物體對象的三維模型和紋理圖像間對應關係的方法。 　　如圖1所示，作為一個示例，可以透過使用同一個相機，並透過改變相機參數，在不同的相機位置環繞物體進行拍攝。 　　作為另外一個示例，也可以在環繞物體的位置設置一定數量的相機，透過不同位置的相機分別對物體進行拍攝，採集物體圖像。 　　透過調整相機參數環繞實際物體拍攝照片，相機參數包括相機內參數和相機外參數。相機內參數是與相機自身特性相關的參數，例如相機焦距、像素大小和光心位置等，相機外參數是相機在世界坐標系中的參數，例如相機位置和旋轉方向，即相機外參數確定了相機在三維空間中的位置參數和朝向。 　　在本發明實施例中，為確定空間物體表面特徵點與該特徵點在紋理圖像中對應點的位置關係，需要建立相機成像的幾何模型，該幾何模型可以表示為相機參數，透過相機參數可以確定空間物體使用的三維坐標系與紋理圖像使用的相機圖像坐標系的映射關係，透過相機參數將一個三維空間的點映射到圖像空間，或者，將一個圖像空間的點映射到三維空間。 　　在一個實施例中，物體在三維場景中的運動可以表示為剛體運動，其運動過程中物體不會發生形變，僅包含旋轉和平移兩部分，旋轉部分稱為旋轉分量，平移部分稱為位移分量。 　　根據針孔攝像機成像模型，真實場景中的三維點透過投影變換映射到圖像上的二維點，該變換過程可以表示為：(1) 　　在上述公式(1)中，表示該物體上的特徵點在真實場景中的三維坐標，矩陣K表徵攝像機鏡頭焦距和成像焦點的內參數矩陣；是根據物體的三維姿態擴展成的3×4矩陣，R表示旋轉分量，使用一個3×3矩陣表示虛擬物體在AR系統中的旋轉方向，t為位移分量，透過矩陣表示物體在三維場景中的三維坐標，是圖像上特徵點的對應點的二維齊次像素坐標。 　　透過上述公式(1)，可以建立物體在三維場景中的三維坐標與圖像上的二維點坐標之間的映射關係，即三維模型和紋理圖像的映射關係，矩陣可以稱為是相機的外參數。 　　透過上述實施例中的圖像處理方法，可以利用圖像採集設備建立物體對象的三維模型，並基於圖像採集設備的參數，建立該三維模型和物體對象的紋理圖像的映射關係。 　　在圖1中，透過圖像採集設備例如相機，拍攝物體對象以採集該物體對象的圖像時，對於被攝物體表面的一個面片，該面片的反射光線中，存在一束可以垂直入射相機鏡頭的射線，將該垂直入射相機鏡頭的射線，稱為是相機鏡頭的入射線。 　　繼續參考圖1，在一個實施例中，相機鏡頭的入射線的延長線與該被攝物體表面的面片形成交點X，該交點X可以作為相機拍攝該面片的拍攝視點。 　　當相機位於相機位置1時，相機與視點的連線與該視點所在面片的法向向量的夾角，也即相機的入射線與該面片法向向量的夾角，可以作為相機在相機位置1採集物體圖像時的拍攝視角。 　　使用相機拍攝物體表面的面片時，如果拍攝視角滿足一定的夾角限制條件時，可以獲得該物體表面的面片的較為清晰的圖像，從而獲得該物體表面的面片的較為清晰的紋理。 　　在一個實施例中，可以將滿足該夾角限制條件的拍攝視角，作為相機拍攝物體表面的面片的第一視角。 　　作為一個示例，該夾角限制條件可以是相機與拍攝視點的連線與該視點所在面片的法向向量的夾角，小於預設的夾角閾值例如45°或30°。預設的夾角閾值越小，拍攝得到的圖像和紋理質量越高。 　　由於透過相機拍攝的物體圖像涉及不同的拍攝位置、拍攝視角，以及不同拍攝視角之間的圖像色彩差異、光照差異，為了獲得更好的拼圖效果，需要對相機拍攝的未經處理的原始紋理圖像進行拍攝視角分析、不同拍攝視角之間色彩差異和光照差異的平衡，以及拼縫優化等操作，上述操作很難透過傳統的二維圖像拼接技術進行解決，而人工手動完成的時間成本高且準確度難以保證。 　　因此，本發明實施例提供一種圖像處理方法、裝置、系統和儲存介質，可以節省人工和時間成本，提高紋理貼圖準確度。 　　下面結合圖2，詳細描述利用本發明實施例的圖像處理方法對物體對象的三維模型進行紋理貼圖的過程。 　　圖2示出了根據本發明一實施例的圖像處理方法的流程圖。如圖2所示，在一個實施例中，圖像處理方法可以包括以下步驟： 　　步驟S01，確定物體對象的紋理圖像和該物體對象的三維模型之間的映射關係。 　　具體地，可以透過上述公式(1)確定紋理圖像和三維模型之間的映射關係。 　　步驟S02，選擇用於三維模型的第一視角，確定原始紋理圖像中與該第一視角相關聯的紋理圖像子集。 　　在該步驟中，可以透過下面的方法選擇用於三維模型的第一視角。 　　首先，計算三維模型中的三角面片的法向量。 　　在本發明實施例中，法線(Normal)是到達三維模型的三角面片的一條垂線，法線同時是一個向量，簡稱法向量。可以透過該三角面片的兩個向量，並求出該兩個向量的外積得到該三角面片的法向量。 　　在一個實施例中，每個三角面片的三個頂點分別記為、和，該三角面片的兩個向量是點到點之間的連線向量，以及點到點之間的連線向量。 　　作為一個示例，可以透過下述公式(2)計算三維模型中三角面片的法向量：(2) 　　在上述公式(2)中，表示點到點之間的連線向量，表示點到點之間的連線向量，表示與的外積，從而得到垂直於這兩條向量的向量，即該三角面片的法向量。 　　其次，確定對三維模型的三角面片進行拍攝時的第一視角。 　　在一個實施例中，當圖像採集設備的拍攝位置與三維模型的三角面片正面相對，認為在該相機拍攝位置下對該三維模型的三角面片拍攝的紋理圖像較為清晰。 　　在另一個實施例中，對於三維模型的一個三角面片，可以將該三角面片的法向量作為第一法向量；獲取相機的當前位置，將相機在當前位置的入射線與該第一法向量之間的夾角滿足夾角限制條件時，將該滿足夾角限制條件的夾角作為該三維模型的第一視角。 　　作為一個示例，夾角限制條件為：該相機在當前位置的入射線與該第一法向量之間的夾角小於等於45°，在該示例中，當相機拍攝位置與三維模型的三角面片正面相對時，用於該三維模型的第一視角為0°。 　　步驟S03，根據選擇的第一視角，確定紋理圖像中與第一視角對應的紋理圖像子集。 　　在本發明實施例中，為了得到該三角面片的清晰的紋理圖像，可以將與第一視角對應的紋理圖像作為紋理圖像子集。 　　在該步驟中，根據紋理圖像子集所包括的圖像，可以確定每個紋理圖像子集所包括的圖像的邊界，從而確定紋理圖像子集所包括的圖像之間的重疊區域，可以將該重疊區域作為紋理圖像子集所包括的圖像之間的拼接區域。 　　作為一個示例，可以透過馬爾科夫隨機場演算法，確定紋理圖像子集所包括的圖像之間的拼接區域。 　　作為一個示例，本發明實施例中圖像分割的方法可以是區域生長演算法、洪水填充演算法(Flood Fill Algorithm)和圖割演算法(Graph Cut Algorithm)中的一種或多種。 　　在該示例中，洪水填充演算法是一種在多維空間中確定連通區域的演算法，可以用於紋理圖像中的區域填充或區域顏色替換；它從紋理圖像中選取一個特徵點作為種子點，由種子點出發，採用一定的規則判斷種子點周圍的像素點是否與種子點一致或類似，以確定該點是否屬於種子點所在的填充區域，實現圖像的區域填充或擴展。 　　在該示例中，區域生長演算法可以根據備選紋理圖像間像素的相似性和連通性對圖像進行分割；圖割演算法可以基於顏色統計採樣的方法對圖像進行分割。 　　步驟S04，對紋理圖像子集所包括的圖像間的拼接區域進行融合，得到與第一視角對應的拼接紋理圖像。 　　在本發明實施例中，當對三維模型的拍攝視角滿足夾角限制條件時，認為該相機位置獲取的紋理圖像具有較好的清晰度。 　　因此，可以構建紋理圖像子集所包括的圖像的清晰度函數，基於清晰度函數對紋理圖像子集所包括的圖像的清晰度與拍攝視角的關係進行選擇優化。 　　在本發明實施例中，當根據拍攝視角對原始紋理圖像進行分割，得到的紋理圖像子集所包括的圖像之間的拼接區域面積越小，認為該拍攝視角獲取的紋理圖像具有較好的完整度。 　　因此，可以利用紋理圖像子集所包括的圖像之間的拼接區域在待處理面片上的投影的面積，構建紋理圖像子集所包括的圖像的完整度函數，完整度函數是對紋理圖像子集所包括的圖像的完整度與該拼接區域的面積的關係進行計算獲得的。 　　在一個實施例中，可以根據清晰度函數和完整度函數，對紋理圖像子集所包括的圖像進行梯度優化。 　　在一個實施例中，可以透過下述公式(3)表示對紋理圖像子集所包括的圖像進行融合的神經網路：(3) 　　在上述公式(3)中，表示紋理圖像子集所包括的圖像的清晰度函數，表示紋理圖像子集所包括的圖像的完整度函數，利用和對紋理圖像子集所包括的圖像進行融合，以獲得清晰度和完整度較高的紋理圖像子集所包括的圖像。 　　根據本發明實施例的圖像處理方法，可以透過構建對紋理圖像子集所包括的圖像進行融合的神經網路，並根據拍攝視角和拼接區域的面積對該神經網路進行訓練，得到清晰度和完整度較高的紋理圖像。 　　步驟S05，利用三維模型和紋理圖像的映射關係，將與第一視角對應的拼接紋理圖像映射到三維模型。 　　透過三維模型和紋理圖像的映射關係，將拼接紋理圖像映射到三維模型的對應位置，實現對該三維模型的三維紋理貼圖。 　　在一個實施例中，為了獲得三維模型完整的紋理模型，在將拼接紋理圖像映射到三維模型的過程中，迭代計算多次第一視角，得到多個拼接紋理圖像，直到得到三維模型完整的紋理模型。 　　在一些實施例中，本發明實施例的圖像處理方法，還可以包括： 　　步驟S06，利用圖像編輯與融合技術，對紋理模型進行光線均衡化的處理，得到光線均勻的三維紋理模型。 　　在一個實施例中，保持紋理圖像子集所包括的圖像中的像素的梯度，利用基於泊松方程的圖像編輯與融合技術的演算法，將拼接區域的圖像與紋理圖像子集所包括的圖像的差異例如顏色差異，平滑地分散到由多個紋理圖像子集所包括的圖像組成的整個圖像中，使得紋理圖像子集所包括的圖像之間的拼接區域變得不易察覺，拼接區域處圖像的色調和光照與整個圖像相一致，從而使得紋理圖像子集所包括的圖像得到全域的光線均衡化的效果，獲得光線均勻的紋理貼圖，使得紋理貼圖後的三維模型具有良好的視覺效果。 　　根據本發明實施例的圖像處理方法，可以選擇用於三維模型的拍攝視角，並基於選擇的拍攝視角對紋理圖像進行分割和紋理融合，以獲得高質量的紋理貼圖，同時可以大大節約人力成本。 　　下面結合圖3，以具體物體對象是雕塑為例，描述該圖像處理方法的具體實現方式。應理解，該描述不應被解讀為限制本方案的範圍或實施可能性，對於雕塑以外的具體物體對象的圖像處理方法，與結合圖3描述的圖像處理方法的具體實現方式保持一致。 　　圖3示出了根據本發明示例性實施例的圖像處理方法的處理過程示意圖。結合圖3和本發明實施例的圖像處理方法，可以對該圖像處理方法的處理過程進行示意性的效果展示。 　　在該示例性實施例中，圖像處理方法可以包括如下步驟： 　　如圖3中步驟S11所示，構建雕塑的三維模型。 　　在該步驟中，根據本發明上述實施例中構建物體對象的三維模型的方法，可以選擇使用建模軟體對該雕塑進行三維建模。 　　作為一個示例，可以使用三維模型設計軟體Meshmixer等建模軟體對該雕塑進行三維建模，得到該雕塑的三維模型10。在該示例中，該雕塑的三維模型10可以為多邊形網狀模型。 　　如圖3中步驟S12所示，確定用於該雕塑的三維模型的拍攝視角。 　　在該步驟中，可以將確定的用於該雕塑的三維模型的拍攝視角，作為用於該雕塑模型的第一視角，並透過上述實施例中選擇用於三維模型的第一視角的方法，得到滿足本發明實施例中夾角限制條件的第一視角。 　　作為一個示例，如圖3所示，當圖像採集設備(圖中未示出)與拍攝視點連線與該三維模型的多邊形面片的法向向量之間的夾角，滿足本發明實施例中夾角限制條件時，選擇該夾角作為用於該雕塑的三維模型的拍攝視角。 　　作為一個具體的示例，該第一視角可以是小於等於45度的拍攝角度，例如0度。當第一視角為0度時，表示圖像採集設備與三維模型的多邊形面片正對。 　　如圖3中步驟S13所示，獲取與選擇的拍攝視角相關聯的紋理圖像中的紋理圖像子集。 　　在圖3中，拼接紋理圖像塊20示意性地示出了與第一視角下相關聯的紋理圖像中的紋理圖像子集。如圖3所示，當選擇的拍攝視角滿足本發明實施例中夾角限制條件時，可以獲得較為清晰的與第一視角相關聯的紋理圖像子集。 　　如圖3中S14、S15和S16所示，對該拼接區域進行紋理融合，紋理圖像映射，以及對紋理圖像映射後的紋理模型進行光照均衡化處理。 　　具體地，步驟S14，確定與拍攝視角相關聯的紋理圖像子集所包括的圖像之間的拼接區域，對該拼接區域進行紋理融合。 　　作為一個示例，可以利用上述公式(3)所示的對紋理圖像子集所包括的圖像進行融合的神經網路，對紋理圖像子集所包括的圖像進行融合，以獲得清晰度和完整度較高的紋理圖像子集所包括的圖像。 　　在該實施例中，迭代計算多次第一視角，可以得到多個拼接紋理圖像塊20，將多個拼接紋理圖像塊20之間的拼接區域進行紋理融合，可以得到獲得清晰度和完整度較高的融合後的紋理圖像。 　　具體地，步驟S15，利用該雕塑的三維模型和該雕塑的紋理圖像的映射關係，將融合後的紋理圖像映射到三維模型，得到雕塑的三維模型的紋理模型。 　　具體地，步驟S16，使用本發明上述實施例中的圖像編輯與融合技術，對紋理模型進行光線均衡化的處理，得到光線均勻的紋理模型。 　　在圖3中，透過三維紋理模型30示意性地示出了經光線均衡化的處理得到的光線均勻的紋理模型，經過光線均衡化處理，紋理貼圖後的三維模型具有良好的視覺效果。 　　在該實施例中，整個圖像處理過程不需要人工參與，透過全自動的三維紋理貼圖方法節約時間成本，使雕塑實體呈現更加真實的視覺效果，提高3D紋理貼圖的精度和美觀度，並節約時間成本。 　　圖4示出了根據本發明另一實施例的圖像處理方法的流程圖。如圖4所示，本發明實施例中的圖像處理方法400包括以下步驟： 　　步驟S410，基於圖像採集設備的參數，建立物體對象的三維模型和物體對象的原始紋理圖像的映射關係。 　　在一個實施例中，可以透過上述公式(1)建立三維模型和原始紋理圖像的映射關係。 　　步驟S420，選擇用於三維模型的第一視角，確定原始紋理圖像中與第一視角相關聯的紋理圖像子集。 　　在一個實施例中，步驟S420可以包括以下步驟： 　　步驟S421，獲取三維模型的多邊形面片作為待處理面片，獲得待處理面片的法向向量。 　　步驟S422，當圖像採集設備與拍攝視點的連線與待處理面片的法向向量之間的夾角滿足閾值條件時，將夾角作為三維模型的第一視角。 　　步驟S423，將原始紋理圖像中，與圖像採集設備的第一視角對應的圖像，作為與第一視角相關聯的紋理圖像子集。 　　透過上述步驟S421-S423，可以確定與第一視角相關聯的紋理圖像子集，與第一視角相關聯的紋理圖像子集所包括的圖像，具有較高的清晰度。 　　步驟S430，使用圖像分割方法，對紋理圖像子集進行拼接，得到與第一視角對應的拼接紋理圖像。 　　在一個實施例中，步驟S430可以包括以下步驟： 　　步驟S431，使用圖像分割的方法，將紋理圖像子集所包括的圖像之間的重疊區域，作為紋理圖像子集所包括的圖像之間的拼接區域。 　　步驟S432，對紋理圖像子集所包括的圖像之間的拼接區域進行紋理融合，得到與第一視角對應的拼接紋理圖像。 　　在一個實施例中，步驟S432具體可以包括： 　　步驟S432-01，構建紋理圖像子集所包括的圖像的清晰度函數，基於清晰度函數，對紋理圖像子集所包括的圖像的清晰度與第一視角的關係進行選擇優化。 　　步驟S432-02，構建紋理圖像子集所包括的圖像的完整度函數，完整度函數是對紋理圖像子集所包括的圖像的完整度與拼接區域的面積的關係進行計算獲得的。 　　步驟S432-03，根據清晰度函數和完整度函數，對紋理圖像子集所包括的圖像進行梯度優化，使紋理圖像子集所包括的圖像之間的拼接區域進行紋理融合，得到與第一視角對應的拼接紋理圖像。 　　作為一個示例，可以透過上述公式(3)構建對紋理圖像子集所包括的圖像之間的拼接區域進行融合的神經網路模型，將清晰度函數和完整度函數共同作為該神經網路模型的訓練函數，對神經網路模型進行訓練，從而對紋理圖像子集所包括的圖像之間的拼接區域進行紋理融合，保證三維紋理貼圖的精度。 　　步驟S440，利用該映射關係，將與第一視角對應的拼接紋理圖像映射到三維模型。 　　在一個實施例中，圖像處理方法400還可以包括： 　　在將拼接紋理圖像映射到三維模型的過程中，迭代計算多次第一視角，得到多個拼接紋理圖像，直到得到三維模型完整的紋理模型。 　　在該實施例中，圖像處理方法400還可以包括： 　　利用圖像編輯與融合技術，對紋理模型進行光線均衡化的處理，得到光線均勻的紋理模型。 　　在該實施例中，透過全域的光線均衡化處理，可以獲得光線均勻的紋理貼圖，使得三維貼圖後的三維模型具有良好的視覺效果。 　　根據本發明實施例的圖像處理方法，整個圖像處理過程不需要人工參與，可以提高3D紋理貼圖的精度和美觀度，並節約時間成本。 　　下面結合圖式，詳細介紹根據本發明實施例的圖像處理裝置。 　　圖5示出了根據本發明一實施例提供的圖像處理裝置的結構示意圖。如圖5所示，圖像處理裝置500包括： 　　映射關係確定模組510，用於確定物體對象的三維模型和透過圖像採集設備獲取的物體對象的原始紋理圖像的映射關係； 　　視角選擇模組520，用於選擇用於三維模型的第一視角，確定原始紋理圖像中與第一視角相關聯的紋理圖像子集； 　　圖像拼接模組530，用於使用圖像分割方法，對紋理圖像子集進行拼接，得到與第一視角對應的拼接紋理圖像； 　　圖像映射模組540，用於利用映射關係，將與第一視角對應的拼接紋理圖像映射到三維模型。 　　根據本發明實施例的圖像處理裝置，可以提高3D紋理貼圖的精度，節約時間成本。 　　在一個實施例中，視角選擇模組530可以包括： 　　法向量計算單元，用於獲取三維模型的多邊形面片作為待處理面片，獲得待處理面片的法向向量； 　　第一視角確定單元，用於當圖像採集設備的入射線與待處理面片的法向向量之間的夾角滿足閾值條件時，將該夾角作為三維模型的第一視角； 　　紋理圖像子集獲取單元，用於將原始紋理圖像中，與圖像採集設備的第一視角對應的圖像，作為與第一視角相關聯的紋理圖像子集。 　　在該實施例中，視角選擇模組可以自動對圖像採集設備的拍攝位置進行拍攝視角分析，確定滿足夾角限制條件的拍攝視角，根據選擇的拍攝視角，可以獲得與選擇的拍攝視角對應的較清晰的紋理圖像子集。 　　在一個實施例中，圖像拼接模組540具體可以包括： 　　拼接區域確定模組，用於使用圖像分割的方法，將紋理圖像子集所包括的圖像之間的重疊區域，作為紋理圖像子集所包括的圖像之間的拼接區域； 　　紋理融合模組，用於對紋理圖像子集所包括的圖像之間的拼接區域進行紋理融合，得到與第一視角對應的拼接紋理圖像。 　　在一個實施例中，紋理融合模組具體可以包括： 　　清晰度函數構建單元，用於構建紋理圖像子集所包括的圖像的清晰度函數，基於清晰度函數，對紋理圖像子集所包括的圖像的清晰度與第一視角的關係進行選擇優化； 　　完整度函數構建單元，用於構建紋理圖像子集所包括的圖像的完整度函數，完整度函數是對紋理圖像子集所包括的圖像的完整度與拼接區域的面積的關係進行計算獲得的； 　　梯度優化單元，用於根據清晰度函數和完整度函數，對紋理圖像子集所包括的圖像進行梯度優化，使紋理圖像子集所包括的圖像之間的拼接區域進行紋理融合，得到與第一視角對應的拼接紋理圖像。 　　為了獲得完整的三維紋理模型，在本發明實施例中，圖像處理裝置500還用於： 　　在將拼接紋理圖像映射到三維模型的過程中，迭代計算多次第一視角，得到多個拼接紋理圖像，直到得到三維模型完整的紋理模型。 　　在該實施例中，圖像處理裝置500還可以包括：光線均衡模組，用於利用圖像編輯與融合技術，對紋理模型進行光線均衡化的處理，得到光線均勻的紋理模型。 　　在該實施例中，對三維紋理模型進行光纖均衡化處理後，可以使三維紋理貼圖後的三維模型具有良好的視覺效果，增強用戶視覺體驗。 　　根據本發明實施例的圖像處理裝置的其他細節與以上結合圖1描述的根據本發明實施例的圖像處理方法類似，在此不再贅述。 　　圖6是示出能夠實現根據本發明實施例的圖像處理方法和裝置的計算設備的示例性硬體架構的結構圖。 　　如圖6所示，計算設備600包括輸入設備601、輸入介面602、中央處理器603、記憶體604、輸出介面605、以及輸出設備606。其中，輸入介面602、中央處理器603、記憶體604、以及輸出介面605透過匯流排610相互連接，輸入設備601和輸出設備606分別透過輸入介面602和輸出介面605與匯流排610連接，進而與計算設備600的其他組件連接。 　　具體地，輸入設備601接收來自外部(例如，圖像採集設備)的輸入資訊，並透過輸入介面602將輸入資訊傳送到中央處理器603；中央處理器603基於記憶體604中儲存的電腦可執行指令對輸入資訊進行處理以生成輸出資訊，將輸出資訊臨時或者永久地儲存在記憶體604中，然後透過輸出介面605將輸出資訊傳送到輸出設備606；輸出設備606將輸出資訊輸出到計算設備600的外部供用戶使用。 　　也就是說，圖6所示的計算設備也可以被實現為圖像處理系統，該圖像處理系統包括：儲存有電腦可執行指令的記憶體；以及處理器，該處理器在執行電腦可執行指令時可以實現結合圖1至圖5描述的圖像處理方法和裝置。這裡，處理器可以與圖像採集設備通信，從而基於來自圖像處理的相關資訊執行電腦可執行指令，從而實現結合圖1至圖5描述的圖像處理方法和裝置。 　　本發明實施例提出了一種高效、全自動的高質量的圖像處理方法，可以在保證三維紋理貼圖質量的同時，極大地節約人力成本。 　　在上述實施例中，可以全部或部分地透過軟體、硬體、韌體或者其任意組合來實現。當使用軟體實現時，可以全部或部分地以電腦程式產品或電腦可讀儲存介質的形式實現。該電腦程式產品或電腦可讀儲存介質包括一個或多個電腦指令。在電腦上加載和執行該電腦程式指令時，全部或部分地產生按照本發明實施例所述的流程或功能。該電腦可以是通用電腦、專用電腦、電腦網路、或者其他可編程裝置。該電腦指令可以儲存在電腦可讀儲存介質中，或者從一個電腦可讀儲存介質向另一個電腦可讀儲存介質傳輸，例如，該電腦指令可以從一個網站站點、電腦、伺服器或資料中心透過有線(例如同軸電纜、光纖、數位用戶線(DSL))或無線(例如紅外、無線、微波等)方式向另一個網站站點、電腦、伺服器或資料中心進行傳輸。該電腦可讀儲存介質可以是電腦能夠存取的任何可用介質或者是包含一個或多個可用介質集成的伺服器、資料中心等資料儲存設備。該可用介質可以是磁性介質，(例如，軟碟、硬碟、磁帶)、光介質(例如，DVD)、或者半導體介質(例如固態硬碟Solid State Disk (SSD))等。 　　需要明確的是，本發明並不局限於上文所描述並在圖中示出的特定配置和處理。為了簡明起見，這裡省略了對已知方法的詳細描述。在上述實施例中，描述和示出了若干具體的步驟作為示例。但是，本發明的方法過程並不限於所描述和示出的具體步驟，本領域的技術人員可以在領會本發明的精神後，作出各種改變、修改和添加，或者改變步驟之間的順序。 　　以上所述，僅為本發明的具體實施方式，所屬領域的技術人員可以清楚地瞭解到，為了描述的方便和簡潔，上述描述的系統、模組和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。應理解，本發明的保護限制條件並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術限制條件內，可輕易想到各種等效的修改或替換，這些修改或替換都應涵蓋在本發明的保護限制條件之內。

S01~S05‧‧‧步驟

S11~S16‧‧‧步驟

S410~S440‧‧‧步驟

400‧‧‧圖像處理方法

500‧‧‧圖像處理裝置

510‧‧‧映射關係確定模組

520‧‧‧視角選擇模組

530‧‧‧圖像拼接模組

540‧‧‧圖像映射模組

600‧‧‧計算設備

601‧‧‧輸入設備

602‧‧‧輸入介面

603‧‧‧中央處理器

604‧‧‧記憶體

605‧‧‧輸出介面

606‧‧‧輸出設備

610‧‧‧匯流排

為了更清楚地說明本發明實施例的技術方案，下面將對本發明實施例中所需要使用的圖式作簡單地介紹，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其他的圖式。 　　圖1是示出根據本發明實施例的多拍攝視角下進行圖像處理的基本原理示意圖； 　　圖2是示出根據本發明一實施例的圖像處理方法的流程圖； 　　圖3是示出根據本發明示例性實施例的圖像處理方法的處理過程示意圖； 　　圖4是示出根據本發明另一實施例的圖像處理方法的流程圖； 　　圖5是示出根據本發明一實施例提供的圖像處理裝置的結構示意圖； 　　圖6是示出可以實現根據本發明實施例的圖像處理方法和裝置的計算設備的示例性硬體架構的結構圖。

Claims (14)

1. 一種圖像處理方法，包括： 　　確定物體對象的三維模型和透過圖像採集設備獲取的該物體對象的原始紋理圖像的映射關係； 　　選擇用於該三維模型的第一視角，確定該原始紋理圖像中與該第一視角相關聯的紋理圖像子集； 　　使用圖像分割方法，對該紋理圖像子集進行拼接，得到與該第一視角對應的拼接紋理圖像； 　　利用該映射關係，將該與第一視角對應的拼接紋理圖像映射到該三維模型。
2. 根據請求項1所述的圖像處理方法，其中，該選擇用於該三維模型的第一視角，確定該原始紋理圖像中與該第一視角相關聯的紋理圖像子集，包括： 　　獲取該三維模型的多邊形面片作為待處理面片，獲得該待處理面片的法向向量； 　　當該圖像採集設備的入射線與該待處理面片的法向向量之間的夾角滿足閾值條件時，將該夾角作為該三維模型的第一視角； 　　將該原始紋理圖像中，與該圖像採集設備的該第一視角對應的圖像，作為與該第一視角相關聯的紋理圖像子集。
3. 根據請求項1所述的圖像處理方法，其中，該使用圖像分割方法，對該紋理圖像子集進行拼接，得到與該第一視角對應的拼接紋理圖像，包括： 　　使用圖像分割的方法，將該紋理圖像子集所包括的圖像之間的重疊區域，作為該紋理圖像子集所包括的圖像之間的拼接區域； 　　對該紋理圖像子集所包括的圖像之間的拼接區域進行紋理融合，得到與該第一視角對應的拼接紋理圖像。
4. 根據請求項3所述的圖像處理方法，其中，該對該紋理圖像子集所包括的圖像之間的拼接區域進行紋理融合，得到與該第一視角對應的拼接紋理圖像，包括： 　　構建該紋理圖像子集所包括的圖像的清晰度函數，基於該清晰度函數，對該紋理圖像子集所包括的圖像的清晰度與該第一視角的關係進行選擇優化； 　　構建該紋理圖像子集所包括的圖像的完整度函數，該完整度函數是對該紋理圖像子集所包括的圖像的完整度與該拼接區域的面積的關係進行計算獲得的； 　　根據該清晰度函數和該完整度函數，對該紋理圖像子集所包括的圖像進行梯度優化，使該紋理圖像子集所包括的圖像之間的拼接區域進行紋理融合，得到與該第一視角對應的拼接紋理圖像。
5. 根據請求項1所述的圖像處理方法，還包括： 　　在將拼接紋理圖像映射到該三維模型的過程中，迭代計算多次第一視角，得到多個拼接紋理圖像，直到得到該三維模型完整的紋理模型。
6. 根據請求項5所述的圖像處理方法，還包括： 　　利用圖像編輯與融合技術，對該紋理模型進行光線均衡化的處理，得到光線均勻的紋理模型。
7. 一種圖像處理裝置，包括： 　　映射關係確定模組，用於確定物體對象的三維模型和透過圖像採集設備獲取的該物體對象的原始紋理圖像的映射關係； 　　視角選擇模組，用於選擇用於該三維模型的第一視角，確定該原始紋理圖像中與該第一視角相關聯的紋理圖像子集； 　　圖像拼接模組，用於使用圖像分割方法，對該紋理圖像子集進行拼接，得到與該第一視角對應的拼接紋理圖像； 　　圖像映射模組，用於利用該映射關係，將該與第一視角對應的拼接紋理圖像映射到該三維模型。
8. 根據請求項7所述的圖像處理裝置，其中，該視角選擇模組包括： 　　法向量計算單元，用於獲取該三維模型的多邊形面片作為待處理面片，獲得該待處理面片的法向向量； 　　第一視角確定單元，用於當該圖像採集設備入射線與該待處理面片的法向向量之間的夾角滿足閾值條件時，將該夾角作為該三維模型的第一視角； 　　紋理圖像子集獲取單元，用於將該原始紋理圖像中，與該圖像採集設備的該第一視角對應的圖像，作為與該第一視角相關聯的紋理圖像子集。
9. 根據請求項7所述的圖像處理裝置，其中，該圖像拼接模組，包括： 　　拼接區域確定模組，用於使用圖像分割的方法，將該紋理圖像子集所包括的圖像之間的重疊區域，作為該紋理圖像子集所包括的圖像之間的拼接區域； 　　紋理融合模組，用於對該紋理圖像子集所包括的圖像之間的拼接區域進行紋理融合，得到與該第一視角對應的拼接紋理圖像。
10. 根據請求項9所述的圖像處理裝置，其中，該紋理融合模組，包括： 　　清晰度函數構建單元，用於構建該紋理圖像子集所包括的圖像的清晰度函數，基於該清晰度函數，對該紋理圖像子集所包括的圖像的清晰度與該第一視角的關係進行選擇優化； 　　完整度函數構建單元，用於構建該紋理圖像子集所包括的圖像的完整度函數，該完整度函數是對該紋理圖像子集所包括的圖像的完整度與該拼接區域的面積的關係進行計算獲得的； 　　梯度優化單元，用於根據該清晰度函數和該完整度函數，對該紋理圖像子集所包括的圖像進行梯度優化，使該紋理圖像子集所包括的圖像之間的拼接區域進行紋理融合，得到與該第一視角對應的拼接紋理圖像。
11. 根據請求項7所述的圖像處理裝置，該圖像處理裝置還用於： 　　在將拼接紋理圖像映射到該三維模型的過程中，迭代計算多次第一視角，得到多個拼接紋理圖像，直到得到該三維模型完整的紋理模型。
12. 根據請求項11所述的圖像處理裝置，還包括： 　　光線均衡模組，用於利用圖像編輯與融合技術，對該紋理模型進行光線均衡化的處理，得到光線均勻的紋理模型。
13. 一種圖像處理系統，其特徵在於，包括記憶體和處理器； 　　該記憶體用於儲存有可執行程式代碼； 　　該處理器用於讀取該記憶體中儲存的可執行程式代碼以執行請求項1至6任一項所述的圖像處理方法。
14. 一種電腦可讀儲存介質，其特徵在於，該電腦可讀儲存介質包括指令，當該指令在電腦上運行時，使得電腦執行如請求項1-6任意一項所述的圖像處理方法。