TWI324756B - Image filling methods, and machine readable medium thereof - Google Patents

Description

1324756 . 九、發明說明： 【發明所屬之技術領域】 本發明係有關於-種影像填補方法，且特別有關於一 種可以利用多張不同角度的影像對於一特定影像進行 之方法。 / 【先前技術】 當拍攝景物，如建築物、古蹟景點與大型景觀或妒置 籲料，標的物錢景有時會受到不相干的餐物所阻擔， 而無法拍攝其完整的全貌。這些遮蔽物也許是可以自動移 除的，如車輛或行人，但有些遮蔽物可能是固定在現場， 而無法或不易排除的’如招牌、標誌、樹木或其他建築。 • 在這種情況下，無論從任何角度，都無法拍攝到完整=乾 '淨的標的物全貌。因此，在許多古蹟建築的數位二象“ 及三維數位模型製作等’這些不相干的遮蔽物總是造成相 當程度的干擾’使得數位影像或3D模型無法正確呈現標 ® 的物的形貌。 2001年Manuel M.01iverira提出一修補 算法，且2004年Alexandru Telea提出快速行進法(Fast Marching Method，FMM)，用以快速修補影像中之小區域 的遺失或是損壞的部分。在這些方法中，雖然可以加速小 區域之目標區的影像修補速度，但是對於較大目標區域的 修補時，會產生模糊的現象。 美國專利US6987520提出可以結合影像修補與材質合 0949-A21832TWF(N2)；P519501 \ OTW；yianhou 5 1324756 成（Texture Synthesis)之新的影像修補演算法。其依據影像 邊緣(Edge)的方向與強度，以及像素的信賴度來對於影像 進行修補。在此方法中，從影像中已知的影像資訊往目標 區域内擴展。若影像材質的變化有一定的規律性，則可以 得到正確性較高的影像修補結果。然而，由於仍然是以原 -來影像其他位置的資訊做預測，因此，若被填補之區域的 .影像雜亂，則非常容易發生錯誤。 【發明内容】 有鑑於此，本發明提供影像填補方法。 本發明實施例之影像填補方法。首先，於不同角度擷 取相應一標的物或一場景之複數影像。分別計算影像中每 一填補來源影像與影像中一特定影像間的單應性幾何關 係。依據每一填補來源影像相應之單應性幾何關係將每一 填補來源影像進行投影轉換。依據投影轉換後之填補來源 影像填補特定影像中之至少一填補目標區。 本發明上述方法可以透過程式碼方式收錄於實體媒體 中。當程式碼被機器載入且執行時，機器變成用以實行本 發明之裝置。 為使本發明之上述目的、特徵和優點能更明顯易懂， 下文特舉實施例，並配合所附圖示，詳細說明如下。 【實施方式】 第1圖顯示依據本發明實施例之影像填補方法。 0949-A21832TWF(N2)；P51950110TW；yianhou 6 丄獨756 如步驟S11G’使用攝影機或數 的標的物或場景於*同角度拍攝多個維空間中 分別兮十曾旦q多士— 士 夕1U〜像如步驟S120, 广座填補來源影像與影像中-特定-像Η 的早應性幾何關係。其中，特定 象間 區。、象了用來填補特定影像中的填補目標 第2圖顯示影像間之單瘅降 係。如第2圖所示，假設/為應二 Ϊ物的拍攝角度不同，三維空間令的對應點；二= 〜像上的對應點（Χι，χ2， ^ u r 4厂儿直乜a不H。二維空間中 =平面的職點郷在二料彡像上，兩張影像間會存 怎性幾何關係H。其中，單應性幾何關係Η是—個> 矩陣。單應性幾何巧係Η的推導過程如下 、 首先，假設开 且[«’V ]與[Μ’，νι ]為三維空 ' hU h\2 hu h2\ h22 h23 h\ Hi h33^ uf hn h\2 hn V V* = hl\ h72 h73 V 1 S\ hi ^33. 1 間中共平面的對應點投影在第影像與第二張影像上的 對應點座標。因此，可以得知 因此 /^2W+/^2v+^33 h2lu+h22v+h^ /^|W + /^2v+^3 hl \u+hl2v+h13~h3luu'~h32vu'~h22u'=^ /z2 严 + /z22v+/z23 - /z3 v'= 〇 〇949-A21832TWF(N2)：P51950110TW；yianhou 7 最後’可以得到 ~vlul ''Wj ~ulvl 一 Vi， -vl’ ~unun ~νΦη ~un ~unvn ~Vn ~vn hU h\2 hl3 '0' h2l 0 h22 • Λ23 0 nx9 h3l 0 h32 1 9x1 ηχ\ ο ο ν1 1 • « • · • , ο ο νη 1 0 un vn 1 〇 0 〇 Ο ^上述推導過程可以得知，—㈣應點可以產生二個 组二+广因此要求出單應性幾何關係矩陣Η至少需要有4 、、'且的對應點。值得注音的Η #^ 仔左思的疋，對應點的選擇可以以人工方 式點遥或疋以自動化的方式進行。 ^ 3圖顯不依據本發明實施例之單應性幾何關係之產 > 。值得注意的是’在第3圖中以計算—填補來源夺 像與特定影像間之單應性幾何關係進㈣明。 " 4 S121與步驟Sl22，使用—特徵點尋找方法， 如Hams角偵測（Harns加⑽ 影像與填補來源影像中的特徵點，如第4A圖與二 二2 ’如步驟⑽，於特定影像與填補來源影像選取 ffl 士也範目'主的是’在此特定範圍内的特徵點將會被 影像間的對應點。如步驟⑽，使用-特徵點搜 " 如是值平方和（Sum of Squared Differences，SSD) =特定影像與填補來源影像中的特徵財 圍^對應點’如第5A圖與第沾圖所示。由於 在3十开早應性▲何關係矩陣旧夺，若對應點太過於集中， 0949-A21832TWF(N2)：P51950110TW：yianh〇u 1324756 將會使得單應性幾何關係矩陣_計算產生問題。因此， 如步驟S125,將特定影像與填補來源影像之共平面上割分 為複數個區塊，且找出分散落於每一區塊令之複數個 對應點，如第6A圖與第6B圖所示。 之後，如㈣S126，依據_最小中間平方法^咖

Medlan of Squares ’ LMeds)由這些特定對應點中決定特定 影像與填補來源影像間之最佳對應點組合。在決定最 應點組合時，可以隨機在劃分出之區塊中取出四點或四點 以上’分別計异出m組單應性幾何關係矩陣。假設有^电 對應點，且心v分別為特定影像與填補來源影像中的對靡 =ϊ，3，...η。在此兩影像中，由單應性幾何關係可ΐ 與分別為〜…〜為殘餘值 =dual)，表示對應點透㈣矩陣，計算出來的對應 原對應點之間的差異。並中， ^——-_ '、 rk=^i-xi)1 Ηχ\-χ\)2 > 二丄:..Γ ,=1，2,3，··.η’用來表示對應點的誤差。最小 方法可㈣相應不㈣應㈣於不同單應 =下之殘餘值進行排序後，取出中間的數值，再從中 =取小的那-組。相應殘餘值最小的對應點組將被選作 為取佳對應點組合，如第7Α圖與第7Β圖所示。最後，如 步驟S127’㈣最佳對應訪合巾之對應料算特定影像 與填補來源影像間之單應性幾何關係。 接下來，請再次參考第2圖。當每一埴 特定影像間之單應性幾何關係得 、 相應之單應性幾何關係將每直；來:3 s130, 具補；源影像進行投影轉 0949-A21832TWF(N2)；P519501 lOTW.yianhou 9 ^24756 換 ，如第8圖所示。如牛 來源影像填難定影像^ 據投影轉換後之填補 汐一填補目；^ [ά ==:並形成二 =區:特

::施例之決定翻目標區之優先填補順序的:::::本: ^ 軸寻方法’如二次微分(UP1— Μ) S1”’付it 丁填補區域的輪#，如第11圖所示。如步驟 ’於“位置上計算每—填補目標區之邊緣強度，如第 2圖所示’並如步驟S153，域邊緣強度蚊填補目標區的 順序其巾’邊緣強度最強的填補目標區將被最S選來進 行修補1 13圖顯示依據本發明實施例之修補填補目標區的 方法。如步驟S14i，依據填補目標區與每—填補來源影像中 相應特定影像中填補目標區之位置的一候選修補區域，使用一 區塊比對方法(Block-Matching Methods)，如差值平方和、標準 化互相關法(Normalized Cross-Correlation，NCC)、標準化差值 平方和、絕對差值和（Sum of Absolute Differences，SAD)、排 行(Rank)與普查(Census)方法等分別計算每一填補來源影像中 之候選修補區域的相似度，如第14圖所示。如步驟S142，將 相似度最高的候選修補區域選作為修補區域，並如步驟S143， 取得此修補區域，並利用此修補區域填補特定影像中之此填補 目標區。 0949-A2l832TWF(N2)：P5l950110TW:yianhou 叫4756 必須提醒的是，在本發明中係計算填補目標區的週圍資訊 輿其它候雜觀域的週圍資_差異值。差異健小的候選 修補區域顺認定為係與填補目標區相似的。之後，便可將此 相似的候雜樞域填婦補目標區。纽_目標區完成填 補之後，便可選擇邊緣強度:域之翻目標區，以進行殖補，、 直至所有需要填補的區域填補完成。 因此，本發明可以依據不同角度的多張影像相互组 合’利用彼此_空間幾何_，且使用這些互補的影像 來修補目標區。

本發明之方法，或特定型態或其部份，可以以程式碼 的型態包含於實體媒體，如軟碟、光碟片、硬石渠、或是任 何其他機器可讀取（如電腦可讀取）儲存媒體，其中，當程 式碼被機器’如電腦載人且執行時，此機器變成用以^ 本發明之裝置。本發明之方法與裝置也可以以程式碼型能 透過-些傳送媒體，如電線或電纜、光纖、或是任何傳輸 型態進行傳送，其中’當程式碼被機器，如電腦接收、載 入且執行時，此機器變成用以參與本發明之裝置。當在一 般用途處㈣實彳㈣，程式碼結合處理器提供—操作類似 於應用特定邏輯電路之獨特裝置。 雖然本發明已以較佳實施例揭露如上，然其並非用以 限定本發明，任何熟悉此項技藝者，在不脫離本發明之精 神和範圍内，當可做些許更動與潤飾，因此本發明之保護 範圍當視後附之申請專利範圍所界定者為準。 0949-A21832TWF(N2)：P5l 950110TW;yianhou 【圖式簡單說明】 ^ 1 11為-流程圖係顯示依據本發明實施例之影像填 補万法。 =2圖顯示影像間之單應性對應點關係。 幾圖為—流程圖係顯示依據本發明實施例之單應性 說何關係之產生方法。 第4A圖與第4B圖分別翻+ 4dfc — 中之特徵點。 口刀別顯不特定影像與填補來源影像 第5A圖與第5B圖分別黯 中之對應點。 W不特疋影像與填補來源影像 中劃第分別顯示特定影像與填補來源影像 中之圖分則請妓影像與填補來源影像 轉換弟ΰ為不思圖係顯示依據單應性幾何關係之投影 第9Α圖顯示一特定影像例子。 像 第9Β圖顯示將第9Α圖中之遮蔽物件移除後之特定影 第1 〇圖為一流程圖# 填補目標區之優先填補：=據本發明實施例之決定 影像中遮蔽物件的輪靡。 弟12圖顯不特定影像中的邊緣。 第13圖為-流程圖係顯示 據本發明實施例之修補 0949-A2l832TWF(N2)；P5,95〇n〇TW：y.anh〇 1324756 • 填補目標區的方法。 第14圖為一示意圖係顯示依據不同填補來源影像填 補特定影像中之填補目標區。 【主要元件符號說明】 ' S110、S120、...、S140〜步驟； • S121、S122、…、S127〜步驟； S14卜 S142、S143〜步驟； • S15卜 S152、S153〜步驟。

0949-A21832TWF(N2):P51950110TW；yianhou

Claims (1)

1. JO 十、申請專利範圍： 1.—種影像填補方法，包括下列步驟·· 於不同角度擷取相應一標的物或—場景之複數影像； 計算該等影像中複數填補來源影像分別與該等影像中 一特定影像間之複數單應性幾何關係； 將該等填補來源影像相應之該單應性幾何關係 ’母°亥荨填補來源影像進行投影轉換；以及 =據投影㈣後之料填補來源騎填補 中之至少一填補目標區。 。1冢 彦申請專利範㈣1項所述之影像填補方法，1中 括下填補來源影像之該單應性幾何關係的方法，包 決定該特定影像中之複數第一特徵點· 填補來源影像中之複數第二特徵點； 由5亥等第一特徵點與該等 點 寺弟一特倣點中決定複數對應 之-==:=特定影像與該填補來源影像 源影：係計算該特定影像與該填補來 括下專職圍第2項所述之影像填補方法，更包 於該特定影像與該填補來源影像選取-特定範圍；以 間 及 1〇TW；yianh〇u 〇^9-A21832TWP(N2)：P5195〇i 14 •由該等第一特徵點與該等 定範圍令之該等對應點。第一特徵點中決定落於該特 括下列2項所叙影像填補方法，更包 •=;=該填補來源影像劃分為複數區塊； .特定對應點，· Μ找出分㈣於每—該等區塊中之複數 影像間之該合決定該特定影像與該填補來源 括依====，法，更包 像，補來源影像間之該心:::決定該特定影 依據影像填财法，其中 該至少-填補目標填補該特定影像中之 分^ 丁万忐，包括下列步驟·· 又據該特定影像中該填補目 來源影像令之-者取得一修補區域==置，由該等填補 區域填補該特定影像中之該填補目標區。 括下=1清專利範圍第6項所述之影像填補方法，更包 該埴=::;等填補來源影像中相應該特定影像中 /、铺Η夺示區之位置之一候選修 =相似度最高之該候選“::區:及 δ·如申請專利範圍第7項所述之影像填補方法，更包 0949- Α21832TWF(N2)；P51950110TW：yianhou 1324756 區塊比對方法分別計算每一該等填補來源影像中 该候選修補區域之該相似度。 甲 9一如申請專利範㈣丨項所述之影像填補方法，更包 ’、疋°亥至少—填補目標區之優先填補順序的方法，包衽 下列步驟： 巴括 十开°亥至少一填補目標區之一邊緣強度；以及 •補順=該邊緣強度之強度決定該至少—填補目標區之填 Η).如申請專利範圍第9項所述之影像填補方法 括下列步驟： 尺匕 取得該至少一填補目標區之輪廓；以及 度。於該輪廓位置計算該至少—填補目標區之該邊緣強 较蚀ir種機器可讀取媒體’儲存—電腦程式用以執行時 使一衣置執行-影像填補方法，財法包括下列步驟. 影像取得於不同角度擷取之相應一標的物或一場景之複數 2該等影像中複數填補來源影像分別與該等影 特疋衫像間之複數單應性幾何關係； 〃依據每-科填補來㈣像彳目應之該單應 將母-該等填補來源影像進行投影轉換；^、1^系 填補來源影像填補該 r之至 > 一填補目標區。 y 1冢 12.如申請專利範圍第n項所述之機器可讀取媒體， 〇949-A^832TWF(N2)；P5,95〇11〇TW；yianhou =:法填補來源影像之該單應性幾何關 決定該特定影像中之複數第一特徵點； 決定該填補來源影像中之複數第二特徵點； 點；由该等第一特徵點與該等第二特徵點中決定複數對應 之4=::決影像與該填補來源影像間 源影像間之係計算該物像與該填補來 、宁Μ方法更包括下列步驟： 及於該特定影像與該填補來源影像選取-特定範圍；以 二：等第一特徵點與該等第二特徵點中決定落 疋耗圍中之該等對應點。 2申請專利範圍第12項所述之機器可讀取媒體， /、中忒方法更包括下列步驟： :該特彡像與該填補來源影像劃分為複數區塊； 料6=4對應點中找出分散落於每—該等區塊中之複數 特疋對應點；以及 ，該等特定對應財，決定該特定影像與 來源 衫像間之該最佳對應點組合。 15·如申請專簡圍第12摘述< 助可讀取媒體， 〇949-A2,832TWF(N2):P5195〇n〇TW 17 JO 最小中間平方法’由該等對應點 合。、'、像/、该填補來源影像間之該最佳對應點紐 仏如申請專利範㈣u項所述之機器可讀取媒體， 〃中該方法令依據投影轉換後之 特定影像中之該至少—填補”像真補该 … ㈣之方法’包括下列步驟： ^ q.疋影像中該填補目標區之位置，由該等填# 來源影像中之-者取得—修㈣域；以及 4填補 =1修補區域填補該特定影像中之該填補目標區。 其中該方法更包括下列步驟：所权^可轉媒體， 該填=填補來源影像中相應該特定影像中 lit 候選修補區域之一相似度；以及 度最,之該候選修補區域為該修補區域。 直中节方a 乾圍第17項所述之機器可讀取媒體， /、中打㈣包括域―㊄軌財 填補來源影像中該候選修補區域之該相似^心母料 i9.如申請專利範圍笫n 又 其中該方法更包括決定該至少一填=幾器可讀取媒體， 序的方法，包括下列步驟：真補目標區之優先填補順 計算該至少一填補目標區之—邊緣強声；以及 依據該邊緣強度之強度決定該 補順序。 心/主夕〜填補目標區之填 2〇.如申請專利範圍第19項所述之機器可讀取媒體， 〇949-A21832TWF(N2);P5i95〇1i〇TW；yianhou 18 1324756 • 其中該方法更包括下列步驟： 取得該至少一填補目標區之輪廓；以及 於該輪廓位置計算該至少一填補目標區之該邊緣強 度0

   0949-A21832TWF(N2)；P51950110TW.yianhou 19