TWI401526B - The instantaneous image of the degree of integration of the instant prompt method - Google Patents

Description

全景影像的結合程度的即時提示方法

本發明係一種攝影方法，且特別是有關於一種全景影像的接合程度的即時提示方法。

一般來說，於全景影像攝影時，多是使用者自行以手動方式依序移動數位攝像裝置，同時依序進行拍攝，以取得多個影像。於拍攝時，使用者會自行調整取景位置，使所拍攝得的多個影像皆有部分重疊。然後，使用者再將此些影像自數位攝像裝置傳送至電腦，並於電腦上進行此些具有部分重疊的影像的合成處理。於此，是利用安裝於電腦上的影像處理軟體將此些影像的重疊部分接合在一起，以產生一全景影像。

然而，使用特定的影像處理軟體來進行接合影像以產生全景影像，此方式使用者不僅要在電腦上安裝此影像處理軟體，還要學習如何使用此影像處理軟體。而且，影像處理軟體的功能也相當複雜，使用者並不見得會具有此方面的知識及能力。因此，此種方式對於使用者而言，存在有相當的難度。

再者，對於由使用者自行調整取景位置的方法，使用者需要更專業的拍攝技巧，並且要具備相當程度的影像辨識能力，否則會造成後續影像接合時難度提高，或影像接合的效果不佳。

如上所述，一般的數位攝像裝置未能提供使用者簡易便利的方式來拍攝全景影像，因而造成全景拍攝對於使用者來說相當不 容易。

相關技術與研究可參考美國專利第7,289,147及7,050,085號、以及美國專利申請案公開第20070200926、20080043093及20080266408號等。

鑒於以上的問題，本發明提供一種全景影像的接合程度的即時提示方法，藉以解決先前技術之全景拍攝方法，並無高成功率之有效拍攝之方式，導致全景相片容易拍攝失敗的問題。

本發明所揭露之全景影像的接合程度的即時提示方法應用於一數位攝像裝置。數位攝像裝置儲存有先前拍攝的一第一影像。

於此，先擷取第一影像的邊緣以得到邊緣影像。

偵測第二影像。

合併邊緣影像與第二影像的局部影像。

顯示合併後的第二影像於數位攝像裝置的螢幕上。其中邊緣影像會與第二影像的局部影像重疊顯示。

並且，計算邊緣影像與局部影像重疊的關連性數值。

然後，顯示相應關連性數值的提示信號於數位攝像裝置的螢幕上。

其中，擷取第一影像的邊緣以得到邊緣影像的步驟可包括下列步驟。將第一影像區分成複數個影像區塊，並將每個影像區塊的影像成份量化為特徵數值。從第一影像的邊緣開始，依序累計量化後的特徵數值以得到一累計值。並且，根據累計值，合併對 應已累計特徵數值的影像區塊為邊緣影像。

其中，影像成份可為高頻成份或特徵成份。特徵成份可為邊緣、線、或銳角等特徵。

其中，根據累計值合併對應已累計特徵數值的影像區塊為邊緣影像的步驟可包括，當累計值累計達一預定值時，合併已累計特徵數值的影像區塊為邊緣影像。

其中，計算邊緣影像與局部影像的關連性數值的步驟可包括下列步驟。分析邊緣影像與局部影像的特徵點。比對邊緣影像的特徵點與局部影像的特徵點，以得到邊緣影像與局部影像之間相同的特徵點。然後，根據比對得的相同的特徵數值產生關連性數值。

此外，計算邊緣影像與局部影像的關連性數值的步驟可包括下列步驟。取得局部影像的一列畫素，並且取得邊緣影像中對應取得的局部影像的一列畫素的一列畫素。接著，比較取得的局部影像的一列畫數中每個畫素的像數值與取得的邊緣影像的一列畫素中相同對應位置的畫素的像數值。然後，統計像數值的比較結果以得到邊緣影像與局部影像的關連性數值。其中，取得的邊緣影像的一列畫素合併後顯示於螢幕上時會與取得的局部影像的一列畫數重疊。

其中，合併邊緣影像與局部影像的步驟可包括，轉換邊緣影像為單色，並合併單色的邊緣影像與局部影像。

綜上所述，根據本發明之全景影像的接合程度的即時提示方 法應用於數位攝像裝置時，在拍攝時，數位攝像裝置能夠顯示提示信號來提供使用者前一張影像與即將拍攝的影像之間接合效果的訊息，以提高後續製成全景影像的成功率，並且大幅降低使用者拍攝全景影像失敗的發生率。

有關本發明的特徵、實作與功效，茲配合圖示作最佳實施例詳細說明如下。

以下敘述之關於本發明的詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。

「第1圖」係為根據本發明一實施例之全景影像的接合程度的即時提示方法的流程圖。

此全景影像的接合程度的即時提示方法係應用於一數位攝像裝置10，且可用以輔助使用者進行全景拍攝。

數位攝像裝置10中儲存有先前拍攝的第一影像12，如「第2A圖」所示。

請參照「第1圖」及「第2B圖」，數位攝像裝置10會擷取第一影像12的邊緣以得到一邊緣影像13(步驟110)。

然後，數位攝像裝置10偵測前方待拍攝的影像作為第二影像14(步驟120)。

將邊緣影像13與第二影像14的局部影像15合併(步驟130)， 並且將與邊緣影像13合併後的第二影像14顯示於螢幕11上(步驟140)，如「第3B圖」所示。

其中，第二影像14的局部影像15即是於螢幕11上，第二影像14與半透明狀的邊緣影像13’重疊之區域的影像。換言之，於螢幕11上邊緣影像13與第二影像14的局部影像15呈現重疊，即可於螢幕11上第二影像14的局部影像15處看見呈現半透明狀的邊緣影像13’。例如：邊緣影像13可以50%以上的透明度呈現於第二影像14的局部影像15上。

於此，可將邊緣影像13的像素值減半，並將第二影像14的局部影像15的像素值減半。然後，將減半後的邊緣影像13的每個像素與相對應像素位置的減半後的局部影像15的像素相加，以得到與邊緣影像13合併後的第二影像14。換言之，邊緣影像13和局部影像15係位在合併後的第二影像14的相同區域上。

其中，參照「第3B圖」，第一影像12的邊緣影像13和第二影像14的局部影像15可作為之後第一影像12與第二影像14相互接合的影像區域。換言之，於螢幕11上，半透明狀的邊緣影像13’可重疊於位於第二影像14邊緣的欲接合影像(即的局部影像15)上。即，第一影像12的邊緣影像13的尺寸會相同於第二影像14的局部影像15的尺寸。

請再參照「第1圖」及「第3A圖」，此時，數位攝像裝置10會計算邊緣影像13和第二影像14的局部影像15的關連性數值的關連性數值(步驟150)，並且顯示相應關連性數值的提示信號16於 螢幕11上(步驟160)。

雖然上述係以步驟110至步驟160依序描述，然並非本發明的限制。於實際運作上，可配合數位攝像裝置10內建處理器的能力及軟體設計來適當地調整上述步驟的執行順序。

舉例來說，參照「第4圖」，首先，擷取第一影像12的邊緣以得到邊緣影像13，並偵測第二影像14(步驟210)。換言之，邊緣影像13的擷取與偵測第二影像14可同時進行。或者是，先偵測第二影像14，再進行邊緣影像13的擷取。

接著，合併邊緣影像13與局部影像15，並計算邊緣影像13和第二影像14的局部影像15的關連性數值(步驟220)。換言之，邊緣影像13與局部影像15的合併處理及關連性數值的計算可同時進行。或者是，先計算關連性數值，再進行邊緣影像13與局部影像15的合併處理。

最後，顯示與邊緣影像13合併後的第二影像14和相應關連性數值的提示信號16於螢幕11上(步驟230)。換言之，合併後的第二影像14和提示信號16可同時顯示，或是依序顯示。

其中，提示信號16可以百分比數值(如「第3B圖」所示)來實現。藉由百分比數值來表示出第一影像12的邊緣影像13與第二影像14的局部影像15之間的相似度。

提示信號16亦可以色塊來實現(圖中未顯示)。藉由於螢幕11上顯示不同顏色的色塊來表示出第一影像12的邊緣影像13與第二影像14的局部影像15之間的相似度。

再者，提示信號16還可以簡單的數值來實現(圖中未顯示)。舉例來說，以0－10的數值來表示出第一影像12的邊緣影像13與第二影像14的局部影像15之間的相似度。

然而，亦可以先預設一臨界值，當關連性數值低於此臨界值時，才顯示出提示信號16以告知使用者第一影像12的邊緣影像13與第二影像14的局部影像15之間的相似度不佳。舉例來說，當第一影像12的邊緣影像13與第二影像14的局部影像15之間的相似度低於90%時，螢幕11會顯示出以符號、數字等表示的提示信號16以告知相似度不佳。

於此，數位攝像裝置10除了顯示出提示信號16之外，當關連性數值過低(例如：低於臨界值)時，數位攝像裝置10亦可發出一警示訊號，以通知使用者第一影像12的邊緣影像13與第二影像14的局部影像15之間的相似度不佳(步驟240)，如「第5圖」所示。此警示訊號可於螢幕11上顯出文字、符號或圖案等資訊或是直接發出聲音來通知使用者。

再者，於關連性數值過低(例如：低於臨界值)時，數位攝像裝置10亦可產生一鎖定訊號，以鎖定數位攝像裝置10的攝像功能(步驟242)，如「第6圖」所示。換言之，當關連性數值過低(例如：低於臨界值)時，因攝像功能響應鎖定訊號而鎖定，因此使用者將無法進行攝像的動作。

此外，數位攝像裝置10會隨著前方待拍攝的影像(即第二影像14)的改變，重新合併邊緣影像13和第二影像14的局部影像15， 並重新計算第一影像12的邊緣影像13和第二影像14的局部影像15的關連性數值。然後，將重新合併後的第二影像14和相應重新計算得的關連性數值的提示信號16於螢幕11上。

請參照「第7圖」，數位攝像裝置10持續偵測第二影像14以確定第二影像14是否改變(步驟170)。當第二影像14改變時，則回到步驟130以重新合併邊緣影像13和第二影像14的局部影像15，以顯示重新合併後的第二影像14(步驟140)。並且，重新計算第一影像12的邊緣影像13和第二影像14的局部影像15的關連性數值(步驟150)，以顯示重新合併後的第二影像14和相應重新計算得的關連性數值的提示信號16(步驟160)。如此一來，當數位攝像裝置10移動拍攝位置時，第二影像14會隨之改變，並且螢幕11上顯示提示信號16則會相應第二影像14而隨之改變。因此，使用者即可透過數位攝像裝置10上顯示的提示信號16來判斷第一影像12與第二影像14的接合效果，以決定第二影像14的拍攝位置。

舉例來說，當使用者欲進行全景拍攝時，使用者先將數位攝像裝置10的模式切換至全景拍攝模式。然後，使用者可使用數位攝像裝置10拍攝得第一影像12，如「第2A圖」所示。接續要拍攝下一張影像(即第二影像14)時，數位攝像裝置10會擷取第一影像12的邊緣影像13。於數位攝像裝置10偵測到前方的待拍攝影像(即第二影像14)時，將邊緣影像13和第二影像14的局部影像15合併。此時螢幕11上會同時呈現出數位攝像裝置10前方的待拍攝影像(即第二影像14)和與第二影像14的局部影像15相互重疊的 半透明狀的邊緣影像13’，如「第3A圖」所示。並且，數位攝像裝置10會計算第一影像12的邊緣影像13與第二影像14的局部影像15之間的關連性數值，並顯示相應此關連性數值的提示信號16於螢幕11上，如「第3A圖」所示。並且，當使用者移動數位攝像裝置10時，數位攝像裝置10上顯示的提示信號16會隨著前方待拍攝影像(即第二影像14)的改變而隨之改變。

如此一來，使用者即可透過數位攝像裝置10上顯示的提示信號16來判斷第一影像12與第二影像14的接合效果。例如：當提示信號16呈現100%時，即表示第一影像12的邊緣影像13與第二影像14的局部影像15極為相似，因此於後續接合時，第一影像12與第二影像14的結合成功率極高。換句話說，應用根據本發明之全景影像的接合程度的即時提示方法的數位攝像裝置10可即時顯示相應於第一影像12與第二影像14的結合成功率的提示信號16，以於使用者利用數位攝像裝置10進行全景拍攝時，輔助使用者進行每個場景的區塊影像(例如，上述的第一影像12和第二影像14)的拍攝。並且，於使用者完成每個場景的區塊影像的拍攝後，數位攝像裝置10可將所攝得的區塊影像接合成一全景影像18，如「第8圖」所示。

其中，可透過累計第一影像12的影像成份來決定於擷取得的邊緣影像13。換言之，可根據第一影像12的邊緣處的特徵狀態來決定邊緣影像13的大小。

請參照「第9圖」和「第10圖」，首先將第一影像12區分多個 影像區塊12－1、12－2、12－3~12－n(為方便說明，以下通稱為12’)，並且將每一個影像區塊12’的影像成份量化為一特徵數值(例如：「第8圖」中所示的「0」和「1」)(步驟112)。於此，n為正整數。其中，影像成份可為高頻成份或特徵成份。特徵成份可為邊緣、線、或銳角等特徵。

接著，從邊緣開始依序累計每一個影像區塊12’的特徵數值為一累計值(步驟114)。舉例來說，可由「第8圖」所示的第一影像12的右側向左側依序累計每個影像區塊12’的特徵數值。

然後，根據累計值合併已累計的特徵數值的影像區塊12’以作為第一影像12的邊緣影像13(步驟116)。其中，數位攝像裝置10中已先預設一預定值。當每一影像區塊12’的特徵數值累計後，所得的累計值會與預定值相比較。當累計值未達預定值時，則繼續累加上下一個影像區塊12’的特徵數值。而當累計值達預定值時，則將進行影像區塊12’的合併，以將其特徵數值已累計到累計值中的影像區塊12’合併成一個完整影像，以作為邊緣影像13。也就是說，數位攝像裝置10在進行影像區塊12’的特徵數值累計時，會先紀錄已累計的影像區塊12’，以便於當累計值達預定值時，可進行已累計的影像區塊12’的合併。

舉例來說，數位攝像裝置10先累計影像區塊12－1的特徵數值以得第一累計值。當第一累計值未達預定值時，數位攝像裝置10則繼續將影像區塊12－2的特徵數值累加至得第一累計值，以得到第二累計值。當第二累計值未達預定值時，數位攝像裝置10則繼續將 影像區塊12－3的特徵數值累加至得第二累計值，以得到第三累計值。當第三累計值達預定值(即大於或等於預定值)時，數位攝像裝置10則將影像區塊12－1、12－2、12－3合併以獲得邊緣影像13。

再者，於邊緣影像13可以單色方式表現。參照「第11圖」，數位攝像裝置10先將第一影像12的邊緣影像13轉換成單色(步驟132)，並且轉換成單色後的邊緣影像與第二影像14的局部影像15合併(步驟134)。然後，再將與邊緣影像13合併後的第二影像14顯示於螢幕11上，即，螢幕11上顯示有第二影像14且於顯示在螢幕11的邊緣處的第二影像14上呈現有半透明狀的邊緣影像13’(步驟140)。

「第12圖」係為第一實施例的計算關連性數值的流程圖。

請參照「第12圖」，於關連性數值計算上，數位攝像裝置10會先分析第一影像的邊緣影像13的特徵點以及第二影像14的局部影像15的特徵點(步驟152)。

將第一影像的邊緣影像13的特徵點與第二影像14的的局部影像15的特徵點做比對，以得到邊緣影像13與局部影像15之間相同的特徵點(步驟154)。

根據比對得的相同的特徵點產生關連性數值(步驟156)。

此外，也可以邊緣影像13與第二影像14的局部影像15重疊後(即合併後)相同位置處的一列畫素進行統計來得到關連性數值。

「第13圖」係為第二實施例的計算關連性數值的流程圖。

請參照「第13圖」，首先，分別取得邊緣影像13與局部影像 15中相互對應的一列畫素L13、L15(步驟151)，如「第14圖」所示。換言之，邊緣影像13的一列畫素L13會與局部影像15的一列畫素L15合併。並且，合併後螢幕11上會顯示半透明狀的邊緣影像13’和第二影像14時，半透明狀的邊緣影像13’的一列畫素L13會與局部影像15的一列畫素L15重疊。即，邊緣影像13的一列畫素L13與局部影像15的一列畫素L15於相對位置上係為相同。

再將邊緣影像13的一列畫素L13中的畫素逐一與局部影像15的一列畫素L15中的相同對應位置的畫素相比對，(步驟153)。其中，邊緣影像13的一列畫素L13中的畫素會分別對應於局部影像15的一列畫素L15中的畫素，以致於相對應的畫素於淡化後的邊緣影像13和局部影像15重疊時會位於相同位置，即相互重疊。於此，即依序比對邊緣影像13的一列畫素L13中與局部影像15的一列畫素L15中相互對應的像素的像素值。

然後，統計相互對應的畫素的像素值的比較結果以得到邊緣影像13與局部影像14的關連性數值(步驟155)。

於此，可透過軟體或韌體程式內建於數位攝像裝置10的記憶體中，再由數位攝像裝置10的執行內建的軟體或韌體程式來實現根據本發明的全景影像的接合程度的即時提示方法。其中，數位攝像裝置10除了螢幕11外，還可設置有攝像模組、記憶體和處理器。於此，攝像模組可用以進行第一影像12和第二影像14的拍攝。記憶體可設置有一個或多個。記憶體可用以儲存拍攝得的第一影像12和第二影像14，各種預先設定好的數值(例如：上述的臨界 值和預定值等)、處理器進行各種運算處理所需的執行程序，以及處理器於運算處理過程中需要暫存的影像和數值等資料(例如：上述的第一影像的邊緣影像、第二影像、影像區塊、特徵數值、累計值和像素值等)。處理器亦可設置有一個或多個。處理器則用以依據記憶體所儲存的執行程序進行影像偵測、影像擷取、影像合併、影像成份量化、關連性數值計算、和顯示等運作的執行處理。

綜上所述，根據本發明之全景影像的接合程度的即時提示方法應用於數位攝像裝置時，在拍攝時，數位攝像裝置能夠顯示提示信號來提供使用者前一張影像與即將拍攝的影像之間接合效果的訊息，以提高後續製成全景影像的成功率，並且大幅降低使用者拍攝全景影像失敗的發生率。

雖然本發明以前述之較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可做些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

10‧‧‧數位攝像裝置

11‧‧‧螢幕

12‧‧‧第一影像

12－1‧‧‧影像區塊

12－2‧‧‧影像區塊

12－3‧‧‧影像區塊

12－n‧‧‧影像區塊

13‧‧‧邊緣影像

13‧‧‧半透明狀的邊緣影像

14‧‧‧第二影像

15‧‧‧局部影像

16‧‧‧提示信號

18‧‧‧全景影像

0‧‧‧特徵數值

1‧‧‧特徵數值

L13‧‧‧一列畫素

L15‧‧‧一列畫素

第1圖係為根據本發明第一實施例之全景影像的接合程度的即時提示方法的流程圖；第2A圖係為於根據本發明之全景影像的接合程度的即時提示方法中，一實施例之顯示第一影像的示意圖；第2B圖係為於根據本發明之全景影像的接合程度的即時提示 方法中，一實施例之第一影像及邊緣影像的示意圖；第3A圖係為於根據本發明之全景影像的接合程度的即時提示方法中，一實施例之顯示邊緣影像、第二影像及提示信號的示意圖；第3B圖係為於根據本發明之全景影像的接合程度的即時提示方法中，一實施例之第一影像和第二影像的對應關係的示意圖；第4圖係為根據本發明第二實施例之全景影像的接合程度的即時提示方法的流程圖；第5圖係為根據本發明第三實施例之全景影像的接合程度的即時提示方法的流程圖；第6圖係為根據本發明第四實施例之全景影像的接合程度的即時提示方法的流程圖；第7圖係為根據本發明第五實施例之全景影像的接合程度的即時提示方法的流程圖；第8圖係為於根據本發明之全景影像的接合程度的即時提示方法中，一實施例之顯示全景影像的示意圖；第9圖係為於根據本發明之全景影像的接合程度的即時提示方法中，一實施例之擷取第一影像的邊緣的流程圖；第10圖係為於根據本發明之全景影像的接合程度的即時提示方法中，一實施例之量化後影像區塊的示意圖；第11圖係為根據本發明之全景影像的接合程度的即時提示方法中，一實施例之合併邊緣影像與局部影像的流程圖； 第12圖係為根據本發明之全景影像的接合程度的即時提示方法中，第一實施例之計算關連性數值的流程圖；第13圖係為根據本發明之全景影像的接合程度的即時提示方法中，第二實施例之計算關連性數值的流程圖；以及第14圖係為於第二實施例之計算關連性數值中，一實施例之第一影像和第二影像的對應關係的示意圖。

Claims (7)

1. 一種全景影像的接合程度的即時提示方法，應用於一數位攝像裝置移動拍攝位置前後拍攝一第一影像與一第二影像，並於合成該第一影像與該第二影像時發出一提示信號，包括：將該第一影像區分成複數個影像區塊；將每個該影像區塊的一影像成份量化為一特徵數值；從該第一影像的邊緣開始，依序累計量化後的該特徵數值以得到一累計值；根據該累計值，合併該複數個影像區塊中已累計該特徵數值的至少一影像區塊為一邊緣影像；偵測該第二影像；合併該邊緣影像與該第二影像的一局部影像；顯示合併後的該第二影像於該數位攝像裝置的一螢幕上，其中該邊緣影像與該第二影像的該局部影像重疊顯示；計算該邊緣影像與該局部影像的一關連性數值；以及顯示相應該關連性數值的一提示信號於該數位攝像裝置的該螢幕上。
2. 如請求項1所述之全景影像的接合程度的即時提示方法，其中該將每個該影像區塊的一影像成份量化為一特徵數值的步驟，包括：將每個該影像區塊的一高頻成份量化為一特徵數值。
3. 如請求項1所述之全景影像的接合程度的即時提示方法，其中該將每個該影像區塊的一影像成份量化為一特徵數值的步驟，包 括：將每個該影像區塊的一特徵成份量化為一特徵數值。
4. 如請求項1所述之全景影像的接合程度的即時提示方法，其中該根據該累計值，合併該複數個影像區塊中已累計該特徵數值的至少一影像區塊為該邊緣影像的步驟，包括：當該累計值累計達一預定值時，將已累計該特徵數值的該至少一影像區塊合併為該邊緣影像。
5. 如請求項1所述之全景影像的接合程度的即時提示方法，其中該計算該邊緣影像與該局部影像的一關連性數值的步驟，包括：分析該邊緣影像的至少一特徵點與該局部影像的至少一特徵點；比對該邊緣影像的該至少一特徵點與該局部影像的該至少一特徵點，以得到該邊緣影像與該局部影像之間相同的特徵點；以及根據比對得的該相同的特徵點產生該關連性數值。
6. 如請求項1所述之全景影像的接合程度的即時提示方法，其中該計算該邊緣影像與該局部影像的一關連性數值的步驟，包括：取得該局部影像的一列畫素；取得該邊緣影像中對應取得的該局部影像的該列畫素的一列畫素，其中合併後的該邊緣影像的該列畫素係係重疊於取得的該局部影像的該列畫素；比較取得的該局部影像的該列畫素中每個該畫素的像素值與取得的該邊緣影像的該列畫素相同對應位置的該畫素的 像素值；以及統計該像素值的比較結果以得到該邊緣影像與該局部影像的該關連性數值。
7. 如請求項1所述之全景影像的接合程度的即時提示方法，其中該合併該邊緣影像與該第二影像的一局部影像的步驟，包括：轉換該邊緣影像為單色；以及合併單色的該邊緣影像與該第二影像的該局部影像。