TWI602150B - 一種利用區塊屬性疊合影像的系統及其方法 - Google Patents

Description

一種利用區塊屬性疊合影像的系統及其方法

本發明是有關於一種疊合影像的系統及其方法，特別是利用主要照片影像的區塊屬性來疊合影像的系統及其方法。

由於各家智慧型手機廠商為了凸顯自家的旗艦機與平價機兩者的區別性，對於旗艦機會特別著重在手機的拍照功能，使拍出來的照片與消費型的數位相機所拍出來的感覺幾無二致，甚至在照相的功能上更慢慢向專業級的數位相機靠攏，例如增加了手動功能、大光圈、光學防手震，就連感光元件也逐漸加大，因此使用者在外出旅遊或是重要記錄便會慢慢倚重於手機拍照，漸漸忽略原本應該扮演此一角色的數位相機，一來是使用手機方便，隨手便能開啟照相功能，而且因為手機原本就是處於開機狀態，可以很快就進入相機功能，不像數位相機還要在等待一段開機時間，二來單純使用手機可以減少多帶一項裝置，在外出行動上會較為俐落。

因為照片拍多了就會需要分門別類組織成相簿，不論是依照時間或是場合甚至是人物，整理過後的相簿在日後再次觀看會更能喚起拍照時的回憶，特別是將多張相同主題的照片拼貼重組在一張圖像中，由於影像是全部一起呈現同一畫面上，比起單張的瀏覽更具有加強感受的效果，因此也有人會使用蒙太奇(montage)的拼貼方式來組合照片，然而過去採用此種方式是以任意排列多張微小照片作為背景，再將一張主要照片以穿透方式疊加在背景前面，但是採用此種方式往往使得背景的照片失去原本應有之色彩，對於使用者看到背景照片時的感受將會大打折扣。

因此，如何兼顧拼貼背景照片而能呈現出主要照片的圖像意象，更避免背景照片為迎合主要照片而須犧牲其真實色彩之呈現，且因素材照片是隨機分布排列之緣故而使得整張輸出照片更顯凌亂，無法讓觀者有效產生共鳴而加深印象，故如何改善上述問題實為現今一重要之課題。

有鑒於先前技術在將照片拼貼成一蒙太奇(montage)式的組合照片時，所採之方式往往只是將眾多素材照片以一塊塊小方格組合成為背景，再將主要照片以透明處理後疊加在背景之上，致使被當作背景之素材照片影像失去真實的色彩。

本發明遂揭露一種利用區塊屬性疊合影像的系統及其方法，其中：本發明所揭露的利用區塊屬性疊合影像的系統包含：讀取模組，用以取得第一照片影像；切割模組，用以將第一照片影像分割成多個區塊，並計算各個區塊的多個屬性值；分析模組，用以依據各個區塊的屬性值於照片資料庫中比對取出相應之多筆第二照片影像；以及輸出模組，用以將各個第二照片影像正規化處理，再疊合至第一照片影像之相應各個區塊後輸出。

本發明所揭露的利用區塊屬性疊合影像的方法，是當使用者欲將多筆素材照片影像疊合在主要照片時，其包含下列步驟：首先，讀取一主要照片，再將主要照片分割成多個區塊，並計算各個區塊之多個屬性值；接著，依據各個區塊的屬性值在照片資料庫中比對取出相應之多筆素材照片影像；最後，正規化這些素材照片影像，並疊合至主要照片影像之相應區塊位置後輸出。

本發明所揭露的系統與方法如上，與先前技術之間的差異在於本發明透過分析主要照片的區塊屬性後，找出具有相似屬性的素材照片來作疊合影像，藉此可減少素材照片影像因參入主要照片之相異前景色彩而失真。

透過上述的技術手段，本發明可以達成利用區塊屬性來疊合影像的技術功效。

以下將配合圖式及實施例來詳細說明本發明的實施方式，藉此對本發明如何應用技術手段來解決技術問題，且達成技術功效的實現過程能充分理解並據以實施。

請先參閱「第1圖」，此為本發明利用區塊屬性疊合影像之系統方塊圖，包含：讀取模組110，用以取得照片影像，例如使用者可以從照片資料庫170中選取一張照片作為主題照片，也可透過拍照模組拍照立即取得一拍攝影像，而取得之影像可再經由彩色濾光陣列(CFA，Color Filter Array)來轉換出影像之RGB值。切割模組120，可根據使用者自輸入模組160中所設定之切割率，例如設定值為200x200，即是將主要照片影像分割成長200等分寬200等分之40000個矩形方塊影像，另外，也可根據RGB值取得色階值、色相值、亮度、飽和度（color saturation）及對比度，並據此分析出影像輪廓來做為分割之依據，故本發明之分割方式並不以矩形分割為限，也可以是三角形或圓形等不定形狀。

分析模組130，係將照片資料庫170之素材照片影像進一步解析成數據表格，如「第2圖」所示，此為照片資料庫之影像數據表格之一實施例，以照片檔名作為索引，經過人臉辨識系統可將照片區分為有人物之照片，再經由色彩分布方式進一步來分析其餘照片者是主體為物品或僅是單純的風景照，因為這三種類別的影像可帶給人的感受強烈度是不一樣的，但通常一張片並不會單純只有人物，因此，在此表格之設計可將人物所佔之輪廓或景物所佔之輪廓以矩陣來表示，如DSC0001之影像即是以M1矩陣來標示出人物所佔之區塊，而M6矩陣則是不包含人物所佔之區塊，再根據不同區塊來分析個別之RGB值，以當作比對挑選作為素材照片之依據，一般而言，分析模組130是透過數位訊號處理器(DSP，Digital Signal Processor)來達成。

請參閱「第3圖」，此為本發明利用區塊屬性疊合影像之方法流程圖，首先，當使用者從照片資料庫170中選取一張照片作為主要照片，或者透過拍照方式則可自相機模組取得一即時的照片影像(步驟310)，如「第4圖」所示，此為一主要照片影像實施例之示意圖，讀取模組110取得此一影像後，便由切割模組120將此影像進行分割，以利分析模組130進行區塊比對，採用傳統的矩形分割則可將影像快速的等分成許多小方形區塊，計算每一個區塊的HSV(Hue, Saturation, Value)值分布(步驟320)，所謂的HSV除了包含RGB值的色調(hue)外，還包括飽和度(saturation)及亮度(value)，除此之外，也可計算影像之色階值或對比度以作為輔助區分輪廓邊界之用途，一如我們所熟知的第一郵筒420會對應到RGB值中的紅色，而第二郵筒430會對應到RGB值中的綠色。

而透過動態分析則可根據HSV值分布找出影像中的物件輪廓或HSV值之素材照片(步驟330)，如「第4圖」所示可找出此一主要照片影像除第一郵筒420、第二郵筒430外，還可透過人臉辨識找出人物410以及作為背景的建築物440等4個物件，並將此4個物件區分成4個區塊，再至照片資料庫170中找到素材照片中R值較高者且輪廓矩陣為一直線，則這類照片可做為第一郵筒420之邊界素材照片，或者素材照片不具輪廓矩陣為一直線之條件，但素材照片的R值高於使用者所設定之門檻值70，則此類照片可作為第一郵筒420之內部疊合之用(步驟340)。又因為以人物410做為比對對象，往往很容易在照片資料庫170找到近似的輪廓及RGB值可作替換，但做這樣的素材照片疊合後出來的影像將會變得不倫不類，產生嚴重的違和感，使用者可將人臉部分影像的疊合設為例外條件，也就是說即便在輪廓及RGB值都極為吻合的情況下，該區塊經過人臉辨識整體判定為具人臉特徵後便不做影像疊合處理。

此外，以人物410所穿著的衣服為藍色T恤為例，因為人物410往往是一張照片的重心所在，故在照片資料庫170中找尋適當的素材照片，除比對輪廓矩陣是否可作為人物410的邊界組合，以及B值是否超過一使用者所設定之門檻值外，還需符合人物之屬性，以DSC0003為例，雖然在景、物像素色調中的B值到達80，但觀其人物像素色調之B值僅為10仍然無法作為人物410之素材照片使用，僅能作為建築物440或者其餘背景使用。

由於屬性值設定的條件越多，以及門檻值設定的越高往往符合條件之素材照片就越少甚至可能一張都沒有，因此可先透過裁剪模組140來進行縮減照片資料庫170中照片影像之外圍區塊，使原本無法作為素材照片之影像能因裁剪後使得RGB值超過門檻值，或是使素材照片影像對應到所要填入的區塊之屬性值相似度最大化，以DSC0004為例，原本在景、物像素色調的R值為80，假設是一張在紅色通道溜滑梯出口處所拍攝之照片，當透過裁剪模組140把外圍的紅色區域排除後，不僅可拉高G值跟B值所佔之比例，更可因為形狀改變成圓形而可直接填入建築物440之外牆圓形區塊中。

在比對找出足夠多之素材照片並經過適當裁剪後，最後就是與主要照片進行疊合影像之步驟(步驟350)，為避免直接疊合後會使得素材照片的邊界部分在輸出照片上仍顯突兀，可利用相鄰內插法(nearest-neighbor interpolation)或雙線性內插法(bilinear interpolation)來計算處理，使得疊合邊界在視覺上看起來較為平順。此外，以第一郵筒420、第二郵筒430為例，由於郵筒的顏色可能R值跟G值分別都高達90，而使用者的門檻值雖然設定為70但所取出之素材照片仍與主要照片的區塊顏色有一小段落差，因此可以透過縮放大小使得R值近似度越高的素材照片佔第一郵筒420較大區塊面積，G值近似度越高的素材照片佔第二郵筒430較大區塊面積，但素材照片縮放的大小不得超過素材照片原始之解析度，以避免素材照片過於失焦模糊而反而呈現效果大打折扣。

雖然改變大小可使影像區塊整體看起來較為接近主要照片原始色調，但同一區塊中相鄰的兩素材照片在R值或G值仍可能相差到最大值30，透過一個正規化（Normalization）處理來調整色調，例如R值為70的素材照片將其整體影像之R值拉高至80，R值原本為80之素材照片將其整體影像之R值調整至85，R值原本為100之素材照片將其整體影像之R值調整至95，如此所呈現出來的效果就更為一致性，又因為皆為將素材照片原始色調較高者作微調處理，並不會偏離原始色彩太高而導致失真，一樣的方式也可應用在亮度(value)或是其他屬性值之調整上。

如「第4圖」所示，第一郵筒420、第二郵筒430皆傾斜一角度，雖然可透過裁剪的方式使素材照片在填入420、430這兩物件區塊內能符合物件邊界外，在素材照片兩兩之間也不會留下空隙，但原始素材照片從矩形裁剪成菱形可能會裁剪掉重要資訊，更造成形狀上不易維持，於此可透過將素材照片旋轉一角度的方式，使原本便是矩形的素材照片得以直接疊合在主要照片之上；最後，當所以素材照片皆與主要照片疊合後，便由輸出模組150將結果形成一輸出照片輸出。

綜上所述，可知本發明與先前技術之間的差異在於本發明透過分析主要照片的區塊屬性後，找出具有相似屬性的素材照片來作疊合影像，藉此可減少素材照片影像因參入主要照片之相異前景色彩而失真。

透過上述的技術手段，本發明可以達成利用關聯關係來區塊屬性來疊合影像的技術功效。

雖然本發明所揭露的實施方式如上，惟所述的內容並非用以直接限定本發明的專利保護範圍。任何本發明所屬技術領域中具有通常知識者，在不脫離本發明所揭露的精神和範圍的前提下，可以在實施的形式上及細節上作些許的更動。本發明的專利保護範圍，仍須以所附的申請專利範圍所界定者為準。

110‧‧‧讀取模組
120‧‧‧切割模組
130‧‧‧分析模組
140‧‧‧裁剪模組
150‧‧‧輸出模組
160‧‧‧輸入模組
170‧‧‧照片資料庫
步驟310‧‧‧接收一主要照片影像
步驟320‧‧‧分割主要照片成多區塊，並計算每一個區塊的HSV值分布
步驟330‧‧‧根據HSV值分析出主要照片影像之區塊輪廓
步驟340‧‧‧找尋照片資料庫中具近似輪廓特徵或HSV值之素材照片
步驟350‧‧‧當輪廓近似度大於一預設門檻值時，取得相對應之素材照片，並裁剪多餘部分影像後疊合至主要照片
410‧‧‧人物
420‧‧‧第一郵筒
430‧‧‧第二郵筒
440‧‧‧建築物

第1圖繪示為本發明利用區塊屬性疊合影像之系統方塊圖。 第2圖繪示為本發明照片資料庫之影像數據表格之實施例。 第3圖繪示為本發明利用區塊屬性疊合影像之方法流程圖。 第4圖繪示為應用本發明之實施例示意圖。

110‧‧‧讀取模組

120‧‧‧切割模組

130‧‧‧分析模組

140‧‧‧裁剪模組

150‧‧‧輸出模組

160‧‧‧輸入模組

170‧‧‧照片資料庫

Claims (8)

1. 一種利用區塊屬性疊合影像之系統，其包含：一讀取模組，用以取得一第一照片影像；一切割模組，用以分割該第一照片影像成為複數個區塊，並計算各該區塊之複數個屬性值；一分析模組，用以依據各該區塊屬性值於一照片資料庫中比對取出相應之複數筆第二照片影像；一輸出模組，用以正規化各該第二照片影像，並疊合至該第一照片影像之相應各該區塊後輸出；以及一輸入模組，用以接收使用者所設定之複數筆屬性門檻值及複數筆例外條件。
2. 如申請專利範圍第1項所述的利用區塊屬性疊合影像之系統，其中所述系統還包含一裁剪模組，用以縮減各該第二照片影像之外圍區塊，使各該第二照片影像對應各該區塊之屬性值最大化。
3. 如申請專利範圍第1項所述的利用區塊屬性疊合影像之系統，其中所述屬性值係為輪廓矩陣、色階值、色相值、亮度、飽和度及對比度所成集合中之任一組合。
4. 如申請專利範圍第1項所述的利用區塊屬性疊合影像之系統，其中所述屬性值係為人、物、景三種類別所對應之RGB值。
5. 一種利用區塊屬性疊合影像之方法，其包含下列步驟：取得一第一照片影像； 分割該第一照片影像成為複數個區塊，並計算各該區塊之複數個屬性值；依據各該區塊屬性值於一照片資料庫中比對取出相應之複數筆第二照片影像；正規化各該第二照片影像，並疊合至該第一照片影像之相應各該區塊後輸出；以及接收使用者所設定之複數筆屬性門檻值及複數筆例外條件。
6. 如申請專利範圍第5項所述的利用區塊屬性疊合影像之方法，其中在正規化各該第二照片影像步驟之前，還包含縮減各該第二照片影像之外圍區塊，使各該第二照片影像對應各該區塊之屬性值最大化之步驟。
7. 如申請專利範圍第5項所述的利用區塊屬性疊合影像之方法，其中所述疊合影像之方法，係為利用雙線性內插演算法來計算處理疊合邊界。
8. 如申請專利範圍第5項所述的利用區塊屬性疊合影像之方法，其中所述正規化各該第二照片影像之步驟，係為調整各該第二照片影像之旋轉角度、縮放大小或改變色調，使各該第二照片影像與所對應之各該區塊影像更為近似。