TWM599417U - 智能影像拼接系統 - Google Patents

Abstract

一種智能影像拼接系統，首先由分類器決定多張影像中的物件特徵，並基於物件特徵的分類結果，對各影像定義出第一及第二影像區域，以及對各影像賦予一影像屬性資訊(可包含詮釋資訊、物件特徵資訊等)，其後，讀取一排版模型，以分別定義各該待編輯影像為多個拼接元件，並依據影像屬性資訊，決定各拼接元件的一元件大小及一佈局位置，其中，各拼接元件的各第一影像區域，其彼此為不重疊，且各拼接元件的第二影像區域可被填入一素材影像，拼接後，生成一或多個可供選擇的拼接影像。

Description

智能影像拼接系統

本創作涉及機器學習、影像處理及影像拼貼技術，尤指一種可基於分類器的圖片分類結果，定義各張影像的第一及第二影像區域(例如分別代表為可調整及不可調整區域)，再依據該些影像的屬性資訊(例如Metadata、天氣、主題、物件特徵比例等)，決定該些影像執行影像拼接所依據的佈局位置及大小的「智能影像拼接系統」。

隨著手持照相裝置的普及，人們拍照更加方便，繼而對影像拼貼或排版技術的需求更加突顯，影像拼貼的主要目的在於提供一種兼顧豐富性與美觀性的相片集展示技術，傳統的影像拼貼方法主要是提供多個預定模板，並讓使用者上傳多張影像後，可從中選擇自己想要的版型(Template)，並將上傳的影像分別置入至所選定模板的不同網格(Grid)中，更可依喜好自行調整所選定模板的邊框粗細、陰影、顏色等效果，進而可輸出為相片書的相本頁面，相關技術可參照中華民國發明專利第TWI564783號「相片書之自動排版方法及其電腦程式產品」所揭，但如此一來，為了讓拼貼後的影像，在呈現上具有特定順序或主題性，同時為了兼顧每張影像所傳達的重點，使用者將花費許多時間在選擇模板、調整各影像所配置之網格位置、及各影像在網格中的縮放比例，再者，即便被選擇模板中的網格，可不受限於正方形或矩形，拼貼後影像在整體外觀上，仍有很大部分受限於預定模板的版型，此外，為了讓每張模板中的多張影像，均可傳達出相同或相近的意象，故使用者每次也需要費時選擇要套入不同模板中的影像，是以，如何提出一種排版自由度較高、拼接後外觀不受限於預設模板、及可增進排版效率的影像拼貼技術，仍為有待解決之問題。

為達上述目的，本創作人基於多年從事於影像處理及拼貼技術之研究、開發及實務經驗，提出一種智能影像拼接系統，包括一處理器，另有一分類器模組、一影像區域切割模組、及一版型生成模組分別資訊連接於處理器；處理器觸發分類器模組後，可讀取分類模型，以決定多張待編輯影像中的物件特徵；處理器亦可依據待編輯影像的物件特徵，對各待編輯影像賦予一影像屬性資訊，且影像屬性資訊更包含待編輯影像的一詮釋資訊(例如解析度、時間、地點等)、一物件特徵資訊及一延伸資訊(例如天氣、主題等)；處理器觸發影像區域切割模組後，可基於各待編輯影像的一或多個物件特徵，演算出各待編輯影像的一第一影像區域及一第二影像區域，且第一影像區域所包含的物件特徵，被定義為一目標物件，第二影像區域所包含的物件特徵，則被定義為一非目標物件；處理器觸發版型生成模組後，可讀取一排版模型，以分別定義各待編輯影像為多個拼接元件，並依據影像屬性資訊，決定各拼接元件的一元件大小及一佈局位置，且各拼接元件的第二影像區域，可被填入一素材影像，拼接後，生成一拼接影像；其中，各拼接元件的各第一影像區域，由版型生成模組定義為彼此不可重疊，各拼接元件的各第二影像區域，可由版型生成模組定義為彼此可重疊，且各第二影像區域中的非目標物件，可由版型生成模組定義為可被素材影像覆蓋，而呈非可視狀態。

為使 貴審查委員得以清楚了解本創作之目的、技術特徵及其實施後之功效，茲以下列說明搭配圖示進行說明，敬請參閱。

請參閱「第1圖」，其為本創作之系統方塊圖，並請參閱「第2圖」的系統資訊流示意圖，本實施例的智能影像拼接系統10包含一處理器101，另有一分類器模組102、一影像區域切割模組103、一版型生成模組104、及一通訊單元105分別資訊連接於處理器101。

如「第1圖」所示，前述的處理器101具備邏輯運算、暫存運算結果、保存資料運算指令位置等功能，其可為一中央處理器(CPU)、一微處理器(MPU)、一微控制器(MCU)、一應用處理器(AP)、一嵌入式處理器、或一特殊應用積體電路(ASIC)，但均不以此為限，此外，處理器101亦可包含一圖形處理單元(GPU)。

如「第1圖」所示，前述的分類器模組102供處理器101觸發，以執行分類器模組102所儲存的程式指令，進而使處理器101於一記憶體(圖中未繪示)中讀取至少一分類模型1021，以解析多張待編輯影像(P、P’、P’’…)中的多個影像區塊，並決定各待編輯影像(P、P’、P’’…)中的至少一物件特徵(O、O’、O’’…)，並且，為了讓處理器101載入分類模型1021以進行前述的解析及分類任務，分類模型1021被定義為與儲存於記憶體中的一分類訓練資料庫1022形成資訊連接，以基於分類訓練資料庫1022中對應於不同物件特徵(O、O’、O’’…)的多個分類訓練資料集(Classifier Training Data)、多個已標記樣本(指已預先標記部分的物件特徵)、多個不完全標記樣本、及多個測試資料集，而產生出分類模型1021，其中，分類模型1021可為例如LeNet、AlexNet、VGGnet、NIN、GoogLeNet、MobileNet、SqueezeNet、ResNet、SiameseNet、NASNet、RNN或其它基於神經網路的訓練模型，但不以此為限，且分類模型1021可為包含一物件偵測(Detection)模型、一物件切割模型、及一物件分類模型的訓練模型。

如「第1圖」所示，前述的處理器101亦可依據各待編輯影像(P、P’、P’’…)的物件特徵(O、O’、O’’…)，對各待編輯影像(P、P’、P’’…)賦予一影像屬性資訊，且影像屬性資訊可包含待編輯影像(P、P’、P’’…)的一詮釋資訊（metadata，亦可稱為一元資料、一中介資訊或一後設資訊）、一物件特徵資訊、及一延伸資訊，前述的詮釋資訊可為一標題資訊、一摘要資訊、一時間資訊、一地點資訊、或一解析度資訊(其亦可被理解為一像素值資訊)之其中一種或其組合，但不以此為限，舉凡任何可描述待編輯影像(P、P’、P’’…)之內容、格式、特性、或其它能使得待編輯影像(P、P’、P’’…)容易被檢索、使用或管理的結構化資訊，皆可為本實施例所稱的詮釋資訊，並且，前述的延伸資訊可為一天氣資訊、一主題資訊或其組合，天氣資訊為處理器101依據時間資訊、及地點資訊演算而得，例如若能擷取歷史時間及地點，則處理器101可透過通訊單元105串接一外部資料庫，以獲取歷史的天氣資訊，主題資訊則可為處理器101依據物件特徵(O、O’、O’’…)的分類及詮釋資訊，進行演算而得，例如若分類器模組102使處理器101演算出其中一待編輯影像P包含了公路、人像的物件特徵，且待編輯影像P的所在地點為澳洲，則可賦予公路、人像照及澳洲的主題資訊。

如「第1圖」所示，前述的影像區域切割模組103供處理器101觸發，以執行影像區域切割模組103所儲存的程式指令，進而使處理器101基於各待編輯影像(P、P’、P’’…)的一或多個物件特徵(O、O’、O’’…)，演算出各待編輯影像(P、P’、P’’…)的一第一影像區域1031及一第二影像區域1032，且第一影像區域1031所包含的物件特徵(O、O’、O’’…)，被定義為一目標物件T，第二影像區域1032所包含的物件特徵(O、O’、O’’…)，則被定義為一非目標物件B。

如「第1圖」所示，前述的版型生成模組104供處理器101觸發，以執行版型生成模組104所儲存的程式指令，進而使處理器101於記憶體中讀取一排版模型1041後，分別定義各待編輯影像(P、P’、P’’…)為多個拼接元件(P_1、P_2、P_3…)，並依據前述的影像屬性資訊，決定各拼接元件(P_1、P_2、P_3…)的一元件大小及一佈局位置，且各拼接元件(P_1、P_2、P_3…)的第二影像區域1032，可被填入一素材影像M，對各拼接元件(P_1、P_2、P_3…)予以拼接後，可生成一拼接影像C，並將關聯於拼接影像C的各拼接元件(P_1、P_2、P_3…)的元件大小、佈局位置、及影像屬性資訊，皆儲存至儲存於記憶體中的一佈局資料庫1042，並且，各拼接元件(P_1、P_2、P_3…)的各第一影像區域1031，可由版型生成模組104的定義為彼此不可重疊，各拼接元件的各第二影像區域，由版型生成模組104定義為彼此可重疊，且各第二影像區域中的非目標物件B，由版型生成模組104定義為可被素材影像M覆蓋，而呈非可視狀態。

承上，為了讓處理器101載入排版模型1041以進行前述的影像拼接任務，排版模型1041被定義為與儲存於記憶體中的佈局資料庫1042形成資訊連接，以基於佈局資料庫1042中的多個訓練樣本（意即已完成拼接的訓練用拼接影像）、多個已標記樣本（意即已完成拼接的訓練用拼接影像、及已預先標記佈局位置及元件大小所參照的影像屬性資訊），而產生出排版模型1041，而此處所稱的樣本，係包含預先輸入的多張待編輯訓練影像、多張拼接後訓練影像、及各待編輯訓練影像的影像屬性資訊。

如「第1圖」所示，前述的通訊單元105可通過一網路N，與一電子裝置20建立資訊連線，使得電子裝置20可於一應用程式(APP)或一瀏覽器(Browser)的一上傳介面201，上傳多張待編輯影像(P、P’、P’’…)，通訊單元105接收後，可傳輸至處理器101，以續行分析影像區塊、決定物件特徵(O、O’、O’’…)、定義影像區域、獲取影像屬性、提供影像拼接等程式指令，並且，作為示例，網路N可例如為公眾或私人網路，如無線網路(例如3G、4G LTE、Wi-Fi)、有線網路、區域網路(LAN)、廣域網路(WA)等，但不以此為限。

承上，作為示例，「第1圖」所例示的分類器模組102、影像區域切割模組103及版型生成模組104，其分別可作為一軟體模組運行於一伺服裝置中，以供伺服裝置的處理器101觸發後，分別執行定義於各模組中的多個程式指令；此外，前述的伺服裝置亦可被視為一計算節點並可安裝多個軟體容器(container)，前述軟體容器用來提供客戶端特定服務及/或供節點本身運作，並且，不同節點(node)的軟體容器可相互協調及處理特定服務，達成分散式資料處理，其中，前述的軟體容器若用於提供儲存服務，可被定義為儲存容器；若用於提供資料服務，可被定義為資料容器；若用於提供應用服務，可被定義為應用容器；又，分類器模組102、影像區域切割模組103、及版型生成模組104亦可分別作為獨立的運算裝置，通過網路N與伺服裝置的處理器101進行數據交換。

承上，作為示例，「第1圖」所例示的伺服裝置可為提供連線服務之伺服器、或裝設並運行於伺服電腦內之虛擬機器(VM)、或以虛擬專屬主機(Virtual Private Server)形式運行的伺服器、或一公有雲、或一私有雲、或一邊緣終端裝置(edge device) 等，但不以此為限。

承上，作為示例，「第1圖」所例示的分類訓練資料庫1022及佈局資料庫1042，其本身可為一實體資料庫主機、一雲端資料庫、或以多個資料表(Table)形式作為一關聯式資料庫、或一非關聯式資料庫，而儲存於一伺服裝置中，但不以此為限。

請參閱「第3圖」，其為本創作之方法流程圖，並請搭配參閱「第1圖」及「第2圖」，本創作亦提出一種智能影像拼接方法S，可包括以下步驟，並請搭配參閱「第4圖」~「第9圖」之示意圖。

步驟S10(解析影像物件)：請搭配參閱「第4圖」之解析影像物件的示意圖，一處理器101觸發一分類器模組102，並讀取至少一分類模型1021，以通過例如一影像預處理程序（例如執行二值化運算、侵蝕 (erosion)、膨脹 (dilation)、斷開(opening)、閉合(closing)等濾波演算法）、一圖像分割程序(region segmentation)(例如將影像轉換為不同的色彩空間)、一特徵提取程序(例如識別出外觀、輪廓、輪廓等特徵)，解析多張待編輯影像(P、P’、P’’、P’’’…)中的多個影像區塊，並決定各待編輯影像(P、P’、P’’ 、P’’’…)中的至少一物件特徵(O、O’、O’’…)，至此，即如「第4圖」所示，圖中示例了「樹」、「人」、「車」、「房」、「路」等不同分類的物件特徵；分類模型1021亦可解析出例如「人臉」、「性別」、「年齡」、「表情」、「情緒」、「飾品(例如眼鏡)」、「眼睛狀態」、「嘴巴狀態」、「鬍鬚」等物件特徵，例如分類器模組102針對其中一物件特徵O，可從中演算出其為人臉的機率為100%；為女性的機率為64.6%；年齡約12~22歲；為笑臉的機率為90.5%；情緒為開心的機率為81.5%；有帶眼鏡的機率為99.8%；不是戴太陽眼鏡的機率為87%；眼睛為睜開的機率為99.9%；嘴巴為張開的機率為99%；有長鬍鬚的機率為96.1%，但以上僅為舉例，並不以此為限。

步驟S20(定義影像區域)：請搭配參閱「第5圖」之定義影像區域的示意圖，處理器101觸發一影像區域切割模組103，以基於各待編輯影像(P、P’、P’’ 、P’’’…)的一或多個物件特徵(O、O’、O’’…)，找出各待編輯影像(P、P’、P’’ 、P’’’…)中的邊緣特徵、及最適合區分目標與背景物件的臨界值(Threshold Value)，進而演算出各待編輯影像(P、P’、P’’ 、P’’’…)的一第一影像區域1031及一第二影像區域1032，且第一影像區域1031所包含的物件特徵(例如在第5圖所占比例較大、且皆朝向正面的人、車)，可被影像區域切割模組103定義為一目標物件T，第二影像區域1032所包含的物件特徵(例如在第5圖所占比例較小、且並未朝向正面的路人、樹群)，則可被影像區域切割模組103定義為一非目標物件B，至此，即如「第5圖」所示，其中，影像區域切割模組103所採用的影像切割技術，可包含一邊緣偵測方法(Edge detection，例如Roberts演算法、Sobel演算法、Laplacian of Gaussian演算法、Canny演算法…等)、及一區域切割方法(region-based segmentation，例如一臨界值分割法thresholding segmentation、一區域成長分割法region growing segmentation、一紋理特徵切割法等…)。

步驟S30(獲取影像屬性資訊)：請搭配參閱「第6圖」之獲取影像屬性資訊的示意圖，處理器101可依據各待編輯影像(P、P’、P’’ 、P’’’…)的一或多個物件特徵(O、O’、O’’…)，對各待編輯影像(P、P’、P’’ 、P’’’…)賦予一影像屬性資訊，且影像屬性資訊包含待編輯影像(P、P’、P’’ 、P’’’…)的一物件特徵資訊Obj、一詮釋資訊Meta及一延伸資訊Exten，其中，步驟S30執行時，詮釋資訊Meta可包含的類型、延伸資訊Exten可為天氣或主題等資訊的相關說明，已於前述，於此不再贅述，若以「第6圖」所示的待編輯影像P為例，其所被賦予的影像屬性資訊係可包含(A)例如「樹、人、車、路」的物件特徵資訊Obj、(B)例如標題資訊、時間資訊、地點資訊、解析度資訊、ISO資訊、快門資訊、裝置資訊的詮釋資訊Meta、及(C)例如「晴天」與「人像照、澳洲、公路」的延伸資訊Exten。

步驟S40(提供拼接影像)：請搭配參閱「第7圖」之提供拼接影像的示意圖(一)，處理器101觸發一版型生成模組104，以於讀取一排版模型1041後，分別定義各待編輯影像(P、P’、P’’ 、P’’’…)為多個拼接元件(P_1、P_2、P_3、P_4…)，並依據影像屬性資訊，決定各拼接元件(P_1、P_2、P_3、P_4…)的一元件大小及一佈局位置，至此，即如「第7圖」所示，接著，請搭配參閱「第8圖」之素材影像的例示示意圖，「第8圖」主要例示一素材影像M的外觀，且各拼接元件(P_1、P_2、P_3、P_4…)的第二影像區域1032，可被填入一素材影像M，拼接後，生成一拼接影像C，其中，步驟S40執行時，各拼接元件(P_1、P_2、P_3、P_4…)的各第一影像區域1031，可被版型生成模組104定義為彼此不可重疊，各拼接元件(P_1、P_2、P_3、P_4…)的各第二影像區域1032，可被版型生成模組104定義為彼此可重疊，並且，較佳地，各拼接元件(P_1、P_2、P_3、P_4…)之各第二影像區域1032中的非目標物件B，可由版型生成模組104定義為可被素材影像M覆蓋，而呈非可視狀態，即如「第9圖」之提供拼接影像的示意圖(二)所示；換言之，本創作可將各拼接元件(P_1、P_2、P_3、P_4…)的第二影像區域1032，皆視為一可容許調整區域，以支援各種素材/特效的渲染及裁切，協助其中一拼接元件(P_1)可更好地與拼接影像C中的其它拼接元件(P_2、P_3、P_4…)進行整合，至於各拼接元件(P_1、P_2、P_3、P_4…)的第一影像區域1031，則視為一不可容許調整區域，以避免各拼接元件(P_1、P_2、P_3、P_4…)的主要物件特徵彼此重疊。

承上，作為示例，請繼續參閱「第1圖」~「第3圖」，以及「第7圖」，當版型生成模組104使處理器101在步驟S40(提供拼接影像)中，決定各拼接元件(P_1、P_2、P_3…)的元件大小及佈局位置時，係可依據例如以下的影像屬性資訊，作為演算依據，但並不以此為限： (A)依據詮釋資訊中的「時間資訊」，使各拼接元件(P_1、P_2、P_3…)依時序排列位置，且若至少二拼接元件(例如P_1、P_2、…)之時間相近，其所關聯的一佈局權重可被設定為高度相關，而使得其在拼接影像C中，佈局位置較為相近，反之，若至少二拼接元件(例如P_1、P_2、…)之地點相距較遠，則其所關聯的佈局權重可被設定為低度相關，而使得其在拼接影像C中，佈局位置較為遠離； (B) 依據詮釋資訊中的「地點資訊」，使各拼接元件(P_1、P_2、P_3…)依拍攝地點排列位置，且若至少二拼接元件(例如P_1、P_2、…)地點相近（GPS座標相近、一代碼地址(例如Plus Code)所標記的位置相近、或代碼地址所附加的鄉鎮/城市名相同或相近），其所關聯的一佈局權重可被設定為高度相關，而使得其在拼接影像C中，佈局位置較為相近，反之，若至少二拼接元件(例如P_1、P_2、…)之地點相距較遠，則其所關聯的佈局權重可被設定為低度相關，而使得其在拼接影像C中，佈局位置較為遠離； (C) 依據物件特徵資訊中的「物件特徵」，使各拼接元件(P_1、P_2、P_3…)依物件特徵的分類進行排列位置，且至少二拼接元件(例如P_1、P_2、…)之一主要物件特徵相近（例如分類器模組102判斷其顯示所占比例/數量最多的物件特徵皆為「人」及「車」），則其所關聯的一佈局權重可被設定為高度相關，而使得其在拼接影像C中，佈局位置較為相近，反之，若至少二拼接元件(例如P_1、P_2、…)之主要物件特徵差異較大，則其所關聯的佈局權重可被設定為低度相關，而使得其在拼接影像C中，佈局位置較為遠離； (D)依據詮釋資訊中的「解析度資訊」，使各拼接元件(P_1、P_2、P_3…)依解析度(像素值)決定元件大小，例如若至少一拼接元件(例如P_1…)之解析度資訊低於一預設閾值時，則設定其在拼接影像C中，所呈現的元件大小較小，反之，若至少一拼接元件(例如P_1…)之解析度資訊未低於一預設閾值時，則設定其在拼接影像C中，維持原先的元件大小、或設定其與其它拼接元件(P_2、P_3…)拼接後，可使得拼接影像C的邊界可較為一致的大小，換言之，若處理器101於步驟S30(獲取影像屬性資訊)所獲取的影像屬性資訊包含解析度資訊，則於步驟S40(提供拼接影像)執行時，可對解析度資訊較小的拼接元件(例如P_1…)，於拼接影像C中賦予較小的元件大小，如此一來，若本創作所生成的拼接影像C係用於作為相片書的相本頁面，則可避免因部分待編輯影像之解析度較低，而被不當縮放的問題； (E) 依據延伸資訊中的「天氣資訊」，各拼接元件(P_1、P_2、P_3…)依天氣（例如版型生成模組104使處理器101依據拍攝時間與地點，演算出當時的天氣狀況）排列位置，且若至少二拼接元件(例如P_1、P_2、…)天氣狀況相近時(例如皆為晴天)，則其所關聯的一佈局權重可被設定為高度相關，而使得其在拼接影像C中，佈局位置較為相近，反之，若至少二拼接元件(例如P_1、P_2、…)之天氣狀況差異較大(例如分別為晴天及陰天)，則其所關聯的佈局權重可被設定為低度相關，而使得其在拼接影像C中，佈局位置較為遠離； (F)  依據物件特徵資訊中的一「目標特徵比例」，使各拼接元件(P_1、P_2、P_3…)依目標物件T的比例決定元件大小，更具體而言，例如若至少一拼接元件(例如P_1…)中屬於目標物件T的其中一物件特徵(例如人臉或身體比例)，在原先所對應的待編輯影像中，相對於屬於非目標物件B的其它物件特徵(例如路人、樹群)的比例，低於一預設閾值時，則設定其在拼接影像C中，可允許被賦予較大的元件大小，但不允許再被賦予較小尺寸，反之，若至少一拼接元件(例如P_1…)之解析度資訊未低於一預設閾值時，則設定其在拼接影像C中，可維持原先的元件大小、或設定其與其它拼接元件(P_2、P_3…)拼接後，可使得拼接影像C的邊界可較為一致的大小；換言之，本創作的物件特徵資訊更可包含一目標特徵比例，且其被定義為屬於目標物件T的其中一物件特徵，在待編輯影像中，相對於屬於非目標物件B的其它物件特徵的比例，並以此作為步驟S40(提供拼接影像)執行時，決定拼接元件之元件大小的依據； (G)惟，本創作的步驟S40(提供拼接影像)執行時，並不限於以前述(A)~(F)的其中一個演算依據，決定佈局位置及元件大小，版型生成模組104的排版模型1041亦允許處理器101前述(A)~(F)之任意二者、三者以上的組合，生成拼接影像C。

承上，請繼續參閱「第1圖」~「第3圖」，以及「第8圖」，當版型生成模組104使處理器101在步驟S40(提供拼接影像)中，決定要填入各拼接元件(P_1、P_2、P_3…)之第二影像區域1032的素材影像M時，處理器101可依據影像屬性資訊，填入素材影像M，例如，處理器101亦可依據電子裝置20所選擇的一輸出選項(例如使用者選擇一輸出紙材為一石頭紙或一花紋紙，且選擇一輸出類型為一相片書)，則排版模型1041可使處理器101選擇一大理石紋的素材影像M；較佳地，處理器101亦可依據各拼接元件(P_1、P_2、P_3、P_4…)的影像屬性資訊，決定要填入的素材影像M，例如若拼接元件(P_1、P_2、P_3、P_4…)大多可對應至「嘴巴為張開」及「情緒為驚訝」的影像屬性資訊，則排版模型1041可使處理器101選擇一漫畫風格的素材影像M，同樣地，若拼接元件(P_1、P_2、P_3、P_4…)大多可對應至「天氣為晴朗、炎熱」的影像屬性資訊，則排版模型1041可使處理器101選擇一太陽背景的素材影像M。

承上，請繼續參閱「第1圖」~「第3圖」，本創作於另一實施例中，步驟S40(提供拼接影像)執行時，針對相同的多張待編輯影像(P、P’、P’’、P’’’…)，處理器101亦可依據影像屬性資訊，決定各拼接元件(P_1、P_2、P_3…)的一第二元件大小及一第二佈局位置，並於完成拼接及填入素材影像M後，另生成可供電子裝置20選擇的一第二拼接影像，依此，如電子裝置20選擇第二拼接影像，而非選擇拼接影像C，則處理器101對於第二拼接影像所對應的各第二元件大小及各第二佈局位置，可於排版模型1041中賦予較高的一使用者偏好權重，同時，將使用者所選擇的第二拼接影像（包含第二元件大小、第二佈局位置、及影像屬性資訊），儲存至佈局資料庫1042，至於未被選擇的拼接影像C，處理器101可對其賦予較低的使用者偏好權重，並輸入至排版模型1041作為訓練樣本儲存，藉此，可有助於讓排版模型1041基於使用者所選擇或捨棄的拼接影像，從佈局資料庫1042所儲存、且不斷更新的訓練樣本中，學習符合電子裝置20之使用者偏好的佈局權重(即指如何決定元件大小及佈局位置)，以降低生成較不符合使用者偏好之拼接影像的機率，優化版型生成模組104的排版效率；同樣地，處理器101當然亦可依據影像屬性資訊，決定各拼接元件(P_1、P_2、P_3…)的一第三元件大小及一第三佈局位置，並於完成拼接及填入素材影像M後，另生成可供電子裝置20選擇的一第三拼接影像，而讓電子裝置20可從拼接影像C、第二拼接影像及第三拼接影像中，選擇其中一個拼接影像，另外兩個未被選擇的拼接影像，處理器101可對其賦予較低的使用者偏好權重，並輸入至排版模型1041，以此類推。

請參閱「第10圖」，並請搭配參閱「第1圖」~「第3圖」，於本創作之另一實施例中，步驟S40(提供拼接影像)執行時，版型生成模組104亦可依據待編輯影像(P、P’、P’’、P’’’…)的數量，決定拼接影像C的生成數量，例如「第10圖」例示有2張拼接影像C，左側的拼接影像C由4張拼接元件(P_1、P_2、P_3、P_4)組成，右側的拼接影像C則可由另外2張拼接元件(P_1’、P_2’)組成，並依各拼接影像C的顯示順序，產生一多媒體影片，意即產生出先呈現左側的拼接影像C，再呈現右側的拼接影像C的多媒體影片，且前述多媒體影片的媒體特效可依據拼接元件的影像屬性資訊決定，例如影片中的拼接元件，其影像屬性資訊有較多比例為「天氣資訊為晴天」、「地點資訊皆為不同國家」，則產生多媒體影片時，可嵌入較為輕鬆、愉悅的音效，但此僅為舉例，並不以此為限。

承上，請繼續參閱「第1圖」~「第3圖」，於本創作之一實施例中，本創作更提供一種可執行前述智能影像拼接方法S的一電腦程式產品，當電腦系統載入該電腦程式產品的多個程式指令後，係至少可完成如前述智能影像拼接方法S的步驟S10(解析影像物件)、步驟S20(定義影像區域)、步驟S30(獲取影像屬性資訊)及步驟S40(提供拼接影像)，各步驟之相關說明即如「第3圖」所示，於此不再贅述。

唯，以上所述者，僅為本創作之較佳之實施例而已，並非用以限定本創作實施之範圍；任何熟習此技藝者，在不脫離本創作之精神與範圍下所作之均等變化與修飾，皆應涵蓋於本創作之專利範圍內。

綜上所述，本創作之功效，係具有「產業可利用性」、「新穎性」與「進步性」等專利要件；申請人爰依專利法之規定，向　鈞局提起新型專利之申請。

10:智能影像拼接系統 101:處理器 102:分類器模組 1021:分類模型 1022:分類訓練資料庫 O:物件特徵 O’:物件特徵 O’’:物件特徵 103:影像區域切割模組 1031:第一影像區域 T:目標物件 1032:第二影像區域 B:非目標物件 104:版型生成模組 1041:排版模型 1042:佈局資料庫 105:通訊單元 N:網路 20:電子裝置 201:上傳介面 P:待編輯影像 Meta:詮釋資訊 Exten:延伸資訊 Obj:物件特徵資訊 P’:待編輯影像 P’’:待編輯影像 P’’’:待編輯影像 C:拼接影像 P_1:拼接元件 P_2:拼接元件 P_3:拼接元件 P_4:拼接元件 M:素材影像 S:智能影像拼接方法 S10:解析影像物件 S20:定義影像區域 S30:獲取影像屬性資訊 S40:提供拼接影像

第1圖，為本創作之系統方塊圖。 第2圖，為本創作之系統資訊流示意圖。 第3圖，為本創作之方法流程圖。 第4圖，為本創作之解析影像物件的示意圖。 第5圖，為本創作之定義影像區域的示意圖。 第6圖，為本創作之獲取影像屬性資訊的示意圖。 第7圖，為本創作之提供拼接影像的示意圖(一)。 第8圖，為本創作之素材影像的例示示意圖。 第9圖，為本創作之提供拼接影像的示意圖(二)。 第10圖，為本創作之另一實施例。

10:智能影像拼接系統

101:處理器

102:分類器模組

1021:分類模型

1022:分類訓練資料庫

103:影像區域切割模組

104:版型生成模組

1041:排版模型

1042:佈局資料庫

105:通訊單元

N:網路

20:電子裝置

201:上傳介面

Claims (10)

1. 一種智能影像拼接系統，包含： 一處理器，另有一分類器模組、一影像區域切割模組、及一版型生成模組分別資訊連接於該處理器； 該分類器模組供該處理器觸發，以使該處理器讀取至少一分類模型，以決定多張待編輯影像中的至少一物件特徵； 該處理器亦供以依據各該待編輯影像的物件特徵，對各該待編輯影像賦予一影像屬性資訊，該影像屬性資訊包含該待編輯影像的一物件特徵資訊、及一詮釋資訊； 該影像區域切割模組供該處理器觸發，以使該處理器基於各該待編輯影像的一或多個該物件特徵，演算出各該待編輯影像的一第一影像區域及一第二影像區域，且該第一影像區域所包含的該物件特徵，被定義為一目標物件，該第二影像區域所包含的該物件特徵，則被定義為一非目標物件；以及 該版型生成模組供該處理器觸發，以使該處理器讀取一排版模型後，分別定義各該待編輯影像為多個拼接元件，並依據該影像屬性資訊，決定各該拼接元件的一元件大小及一佈局位置，且各該拼接元件的該第二影像區域，供以填入一素材影像，拼接後，生成一拼接影像。
2. 如請求項1的智能影像拼接系統，其中，各該拼接元件的各該第一影像區域，被定義為彼此不可重疊，各該拼接元件的各該第二影像區域，被定義為彼此可重疊。
3. 如請求項1的智能影像拼接系統，其中，該處理器所獲取的該詮釋資訊為一標題資訊、一摘要資訊、一時間資訊、一地點資訊、或一解析度資訊之其中一種或其組合。
4. 如請求項3的智能影像拼接系統，其中，該影像屬性資訊更包含一延伸資訊，該延伸資訊為一天氣資訊或一主題資訊，該天氣資訊為該處理器依據該時間資訊及該地點資訊演算而得，該主題資訊為該處理器依據該物件特徵的分類、及該詮釋資訊演算而得。
5. 如請求項3或請求項4的智能影像拼接系統，其中，該處理器所獲取的該影像屬性資訊若包含該解析度資訊，則該版型生成模組亦供以令該處理器對該解析度資訊較小的該拼接元件，於該拼接影像中賦予較小的該元件大小。
6. 如請求項3或請求項4的智能影像拼接系統，其中，該物件特徵資訊更包含一目標特徵比例，其被定義為屬於該目標物件的其中一物件特徵，在該待編輯影像中，相對於屬於該非目標物件的其它該物件特徵的比例，以此作為該處理器決定該拼接元件之該元件大小的依據。
7. 如請求項3或請求項4的智能影像拼接系統，其中，該版型生成模組亦供以使該處理器依據該影像屬性資訊，決定各該拼接元件的一第二元件大小及一第二佈局位置，並於完成拼接及填入該素材影像後，另生成可供一電子裝置選擇的一第二拼接影像。
8. 如請求項7的智能影像拼接系統，其中，如該電子裝置選擇該第二拼接影像，則該處理器對於該第二拼接影像所對應的各該第二元件大小、及各該第二佈局位置，於該排版模型中賦予較高的一使用者偏好權重。
9. 如請求項7的智能影像拼接系統，其中，各該拼接元件的該第二影像區域，供以依據該電子裝置選擇的一輸出選項，填入該素材影像。
10. 如請求項7的智能影像拼接系統，其中，各該拼接元件的該第二影像區域，供以依據該影像屬性資訊而填入該素材影像。

Images