TW201909117A

TW201909117A - 多重影像來源之處理方法

Info

Publication number: TW201909117A
Application number: TW106124029A
Authority: TW
Inventors: 劉謹銘; 劉學致; 劉育彤; 劉姵妤
Original assignee: 劉謹銘
Priority date: 2017-07-18
Filing date: 2017-07-18
Publication date: 2019-03-01
Also published as: TWI628626B

Abstract

本發明係一種多重影像來源之處理方法，首先接收第一裝置的複數第一影像，以根據每一第一影像拍攝的時間順序排列複數第一影像，再接收至少一第二裝置的至少一第二影像，並根據第一影像的第一拍攝定位資訊與第二影像的第二拍攝定位資訊，將第二影像與地理空間最接近的第一影像連線排列，接著將具有相同地理空間的第一影像與第二影像歸類為同一範圍群組後，再依相同靜物背景類為同一背景群組，比對每一背景群組內影像，將相同靜物背景的影像由大至小或小至大的範圍背景排列，並據其排列成影片播放。藉由本發明方法能供使用者觀看影片時流暢沒有突兀感。

Description

多重影像來源之處理方法

本發明係有關一種影像資料處理之方法，特別是指一種可同時整合多部裝置內影像並集合成影片，使觀看影片時流暢沒有突兀感之多重影像來源處理方法。

隨著科技日新月異，使照相機與攝影功能在各種電子產品逐漸變得普及，且目前通訊行動裝置中幾乎都內建有照相與攝影的功能並兼具有定位服務功能，因此每一位使用者在外出旅遊時，幾乎都可即時透過手邊的裝置取得旅途中各種景物的影像，藉此將旅行中的回憶保存下來。

這些被保留的影像可提供使用者取得並加以編輯，使用者可使用計算機中的應用程式，將旅行中所拍攝的照片進行編排後，將這些影像整合製作成一個的影片，以作為旅行紀錄片。當然除了可編輯單一攝影裝置中的影像之外，亦可加入多個攝影裝置中的影像至同一個裝置中，藉此結合多個使用者所拍攝的影像進行觀賞讓內容更豐富更多元化。但目前多數的應用程式僅能單純利用拍攝時間的順序對照片進行排列，但僅使用時間對照片進行排序，容易導致前後照片背景的不同，導致畫面不一致，令使用者在觀賞照片時，易產生不協調的突兀感。

除了使用時間編排影像的順序之外，目前也有其他應用程式，使用定位服務，如全球定位系統(Global Positioning System，GPS)、中華人民共和國的北斗衛星導航定位系統、俄羅斯的格洛納斯(GLONASS)系統或歐盟推出「伽利略」計劃等定位資訊來對影像進行排序，其中影像有包含照片及影片，然而照片包含有可交換圖檔格式資訊(Exchangeable image file format，EXIF)，若拍照時有開定位服務，EXIF資訊就內含定位資訊，但影片中並無涵蓋EXIF 資訊，此時影片就無法利用定位資訊作排序，此時就需設定影片中多個照片中的其中一個的代表照片的定位資訊或直接利用裝置攝影時的位置定位資訊替代，才能對影片與照片做排序。然而利用定位資訊來對影像進行排序時，若是單一的拍照裝置的複數影像作排序應無突兀感，但在結合多個拍攝裝置的影像時，由於每一台拍攝裝置的定位資訊不盡相同，可能存在拍攝裝置間的定位量測的誤差，或者因鏡頭種類，如標準鏡頭、變焦鏡頭(zoom 鏡頭)等，會讓相同的定位資訊擁有不同的照片景象。除此之外，過去多數生產的專業用單眼的相機並無定位功能，必需事後查詢地圖的定位資訊如GPS資訊後，才能補登錄照片的定位資訊，但即使依照定位資訊對照片排序，因受到拍攝裝置間的各種定位量測誤差使相同背影照片在播放排序上不會連續，導致影像整合後影片較無連貫性，且會提高播放影片時因背景變化大所造成的殘影，使得整合後影片變的不協調。

因此，為了使影像的排序據有連關性，多數使用者會選擇手動排序影像順序，但手動排序是相當費時的，例如要處理一個旅行團所有團員的照片的影像資料時，更是項大工程。

由上述可知，如何整合外出旅遊中使用者的影像，成為一個旅行團共有的旅遊紀錄片並提升旅行紀錄片製作的品質增加社群互動，係為目前社群網路盛行年代，相當重要的一環。

有鑑於此，本發明遂針對上述習知技術之缺失，提出一種多重影像來源處理方法，以有效克服上述之該等問題。

本發明之主要目的係在提供一種多重影像來源處理方法，其可將多部裝置中的影像組合，同時依據每張影像的位置及靜物背景，將多部裝置中的影像進行排序，透過靜物背景排序可降低拍攝裝置間的各種定位量測誤差，能使最後的整合的影片，提高播放內容的連貫性，且可依據影像與下一張影像的相同靜物之角度變化，在播放過程中作畫面逐步旋轉以降低畫面切換時的晃動感，且可依據影像與下一張影像的相同靜物之比例範圍調整播放時間，提升各個影像的播放時間多樣性，除此之外，更可增設一影像播放路徑軸至播放影片中，以利使用者根據旅遊地點選擇所欲瀏覽的影像。

為達上述之目的，本發明係提供一種多重影像來源處理方法，包括下列步驟，接收一第一裝置的複數第一影像與每一第一影像的拍攝時間資訊以及第一拍攝定位資訊；根據每一拍攝時間資訊之拍攝順序時間排列複數第一影像；接著接收至少一第二裝置的至少一第二影像及其第二拍攝定位資訊；根據第二影像之第二拍攝定位資訊以及每一第一影像的第一拍攝定位資訊，將第二影像與地理空間最接近的第一影像排列後；再將第一影像之第一拍攝定位資訊與相鄰的第二影像之第二定位資訊或第一拍攝定位資訊相減，以產生距離資訊，當相鄰的第一影像或第二影像之距離資訊小於一預設距離，則歸類成同一範圍群組；接著再比對每一範圍群組內的第一影像與第二影像之靜物背景，將具有相同靜物背景的第一影像或第二影像歸類為同一背景群組；最後將每一背景群組內之複數第一影像與第二影像由大範圍背景至小範圍背景，或小範圍背景至大範圍背景排列。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

請參照第一圖，首先說明本發明所使用之系統架構，其包括一第一裝置10、一第二裝置12以及一終端機14。其中第一裝置10係為可連接網路，以上傳或下載影像並可播放影片的電子裝置，如智慧型移動通訊裝置、智慧型手機或電腦等，本實施例以附有攝影、拍照以及定位服務功能的智慧型手機作為第一裝置10的實施例，第一裝置10可用以拍攝畫面產生第一影像，本實施例之第一影像可包含有影片跟照片，在拍攝時第一裝置10可同時擷取拍攝時間資訊以及拍攝地點的第一拍攝位置定位資訊，其中第一拍攝定位資訊係可為為全球定位系統(Global Positioning System，GPS)訊號、中華人民共和國的北斗衛星導航定位系統、俄羅斯的格洛納斯(GLONASS)系統或歐盟推出「伽利略」計劃，但若第一裝置10若無開啟定位服務，以致於無法取得第一拍攝定位資訊時，可藉由使用者手動輸入第一拍攝定位資訊，來定義每一張第一影像的位置。其中第二裝置12可為複數個，但本實施例舉例具有一個第二裝置12，其中第二裝置12可連接網路，以作為上傳或下載影像並可播放影片的電子產品，本實施例舉例第二裝置12亦與第一裝置10相同可為附有攝影、拍照以及定位服務功能的智慧型移動裝置，如智慧型手機或電腦等，可用以拍攝畫面產生第二影像，且拍攝畫面時可同時擷取拍攝地點的第二拍攝位置定位資訊，第二資訊亦可為全球定位系統(Global Positioning System，GPS)訊號、中華人民共和國的北斗衛星導航定位系統、俄羅斯的格洛納斯(GLONASS)系統或歐盟推出「伽利略」計劃，但若第二裝置12無法取得第二定位資訊時，可藉由使用者手動輸入第二定位資訊，以定義每一張第二影像的位置。其中上述之第一影像與第二影像皆包括照片與影片，其中照片皆包含可交換圖檔格式資訊(Exchangeable image file format，EXIF)，若拍照時有開定位服務時，EXIF資訊就內含定位資訊，但影片中並無包含EXIF 資訊，此時影片與照片就無法做排序，需透過設定影片中多個照片中的其中一個的代表照片，作定位資訊設定或直接利用裝置攝影時的位置定位資訊替代。

終端機14係為可用以處理資訊的計算機，本實施例舉例終端機14係作為雲端所架設的電腦主機，終端機14信號連接第一裝置10與第二裝置12，以透過網路接收第一裝置10與第二裝置12中的各項資訊，使終端機14可針對第一裝置10與第二裝置12的拍攝時間資訊、第一拍攝定位資訊以及第二拍攝位置定位資訊，對第一影像與第二影像排列順序做編排，並可將編排後第一影像與第二影像製作成播放影片，使第一裝置10、第二裝置12或其餘可連接網路的裝置(圖中未示)，可透過網路連接至終端機14中，以瀏覽播放影片，除此之外更可透過第一裝置10或第二裝置12針對個別影像進行編輯，如新增文字或挑選喜歡的配樂以搭配整合後的影片，以增加社群互動。

在說明完本發明之系統架構後，接下來請配合參照第一圖與第二圖，以詳細說明本發明之影像的編排順序之方法，首先請參步驟S10，首先終端機14可接收一第一裝置10的複數第一影像，以及每一張第一影像的拍攝時間資訊與第一拍攝位置定位資訊，終端機14在接收第一影像時，可同時判斷第一影像的畫面，當畫面有不清晰的情況，如畫面模糊、對焦不良，或者第一影像中的人物有鬼臉的狀況，如閉眼、白眼或斜臉型等狀態時，終端機14就可以將具有上述這些狀態的第一影像從終端機14中刪除，避免終端機14中留存這些不清晰的照片。接著請參照步驟S12，終端機14根據每一拍攝時間資訊之拍攝順序的時間排列複數第一影像，先被拍攝產生的第一影像就會被排列在最前面，依據時間順序先後依序排列第一影像，以最開始時間的第一拍攝位置定位資訊的地點作為起頭的地點，最後一個時間的第一拍攝位置定位資訊則為終點。

終端機14將第一影像依據時間排列完成後，請參照步驟S14，終端機14再接收第二裝置12中的至少一第二影像，本實施例舉例第二裝置12中傳遞複數第二影像至終端機14中，第二裝置12並傳遞每一第二影像之第二拍攝定位資訊至終端機14。同時終端機14亦可判斷第二影像的畫面，當畫面有不清晰的情況，如畫面模糊、對焦不良，或者第二影像中的人物有鬼臉的狀況，如閉眼、白眼或斜臉型等狀態時，終端機14就可以將具有上述這些狀態的第二影像從終端機14中刪除，避免終端機14中留存這些不清晰的照片；除此之外，終端機14更可在接收第二影像之步驟後，以拍攝順序時間排列第一影像所形成的一時間拍攝路徑為基準，以比對每一張第二影像之第二拍攝定位資訊與拍攝路徑距離超過一距離設定值時，即可將第二影像終端機14中刪除，避免終端機14中留存這些離群值(outlier)影像，可降低使用者在觀看影像時因地點明顯不同所造成的突兀感。

接下來如步驟S15所示，終端機14根據第二影像之第二拍攝定位資訊以及每一第一影像的第一拍攝定位資訊，例如透過最小移動距離的計算方式將第二影像與空間最接近的複數第一影像排列，也就是說第二影像會選擇距離最接近的第一影像，以作為連線排序。接著進入步驟S16，終端機14再擷取複數第一影像的複數第一拍攝定位資訊，以及複數第二影像的複數第二拍攝定位資訊，將具有相同地理空間的第一影像與第二影像歸類為同一範圍群組，其中將第一影像與第二影像歸類為同一範圍群組之步驟係將相鄰的第一影像之第一拍攝定位資訊或第二影像之第二定位資訊相減產生距離資訊，當相減的第一影像之第一拍攝定位資訊或第二影像之第二定位資訊所產生的距離資訊小於一預設距離時，表示這兩個相減的第一影像與第二影像屬於同一範圍群組即可進入下列步驟S17。其中上述之預設距離之設定，由於空曠地點的景物大略都會長的一致，因此一般來說空曠草原區域所設的預設距離一般會等於或大於城市街道。舉例來說，空曠地區如中國新疆省的塞里木湖區域的預設距離，則可設為1,000公尺，而城市街道如中國新疆省的烏魯木齊市區預設距離，則設為500公尺即可。

將第一影像與第二影像分類成不同的範圍群組之後，進入步驟S17，以比對每一範圍群組內第一影像與第二影像之靜物背景，將具有相同靜物背景的第一影像或第二影像歸類為同一背景群組，其中靜物背景可為物品、建築、紋路或景物，如道路、湖泊、山脈、電線桿、明顯地標等。最後進入步驟S18，將每一背景群組內的第一影像與第二影像由大範圍背景至小範圍背景，或小範圍背景至大範圍背景排列，本實施例舉例係由大範圍至小範圍排序。其中大範圍背景與小範圍背景係根據影像的畫面中的靜物背景數量來判斷，擁有較多靜物背景的影像可即判斷為大範圍背景，較少靜物背景的則可判斷為小範圍背景。

最後進入步驟S19，依據擷取每一背景群組中海拔高度最高的第一拍攝定位資訊或第二定位資訊，以成為代表背景群組的一代表高度資訊，並根據每一背景群組的代表高度資訊由海拔高度最高之背景群組排列至最低的背景群組，但若發現二背景群組代表高度資訊的海拔高度相同時，則擷取背景群組中早的拍攝時間資訊做為每一背景群組的代表，再根據拍攝時間資訊將二背景群組的拍攝順序先後排列。以拍攝影像而言，一般越高的高度所拍出的靜物背景會越多，如空照圖所拍出的靜物背景會越多，因此以海拔高度作為排序的條件更能有效整合影像排序。因此，藉由上述之方法即可使前後連續影像內容和諧且具有連續感。

終端機14在根據上述方法編排第一影像與第二影像之後，更可將排列好的第一影像與第二影像編輯為複數播放影像，以成為可播放之一播放影片。請配合參照第一圖、第三圖、第四A圖至第四D圖以及第五圖，以說明本發明之播放步驟，首先進入步驟S20，終端機14先提供播放影像20之全景畫面，以在第一裝置10或第二裝置12的顯示螢幕顯示。接著進入步驟S21並配合參照第4A圖，終端機14在播放影像20上擷取與下一張播放影像的交集範圍22，其中交集範圍22係為具有相同靜物背景的範圍。接著進入步驟S22，終端機14判斷交集範圍22占張播放影像20之比例是否大於一比例值，若否，則進入步驟S24，可直接在播放影像20後直接播放下一張播放影像20’；但若是，則進入步驟S26並配合參照第四A圖與第五圖，逐漸放大影像畫面(Zoom in)至播放影像20上交集範圍22，此時終端機14可調整播放影像20之交集範圍22，以及下一張播放影像20’之交集範圍22’的播放面積，以符合一播放螢幕之長寬比後，再移動至播放影像20上之交集範圍22的中心點A，也就是說如的四B圖所示，終端機14會調整交集範圍22，直到交集範圍22占滿播放螢幕的畫面。其中播放影像20之交集範圍22占播放影像之比例越小，移動至交集範圍22的中心點時間當然相對的就越長。再者，上述判斷交集範圍22占播放影像20之比例值時，更可作為終端機14在判斷逐漸放大(Zoom in)交集範圍22的比例，可避免交集範圍的影像放的太大時，因解析度不良所造成的影像失真等情形。請持續參照步驟S26並配合參照第四B圖以及第五圖，逐漸放大(Zoom in)播放影像之交集範圍到只顯示播放影像20之交集範圍22的畫面，如播放影像在第一裝置10播放時，其交集範圍22會就剛好符合第一裝置10之顯示螢幕的長寬比，使交集範圍的畫面占滿第一裝置10之顯示螢幕；當然在放大交集範圍22的同時，會同時配合旋轉交集範圍22之角度，使交集範圍22之角度與下一張播放影像20’之交集範圍22’角度相同。

最後進入步驟S28並配合參照第四C圖以及第五圖，將畫面跳轉至顯示下一張播放影像20’的交集範圍22’，並參照第四D圖以及第五圖，移動至下一張播放影像20’的全景畫面之中心點，在這個過程中會同時逐漸縮小(Zoom out)下一張播放影像20’之交集範圍22’直到整個螢幕的畫面呈現出下一張播放影像20’的全景畫面，接著再播放下下一張播放影像20”，其播放方式與上述相同故不重複列出。其中下一張播放影像20’之交集範圍22’占下一張播放影像20’之比例越小，轉換成全景畫面的時間就越長，例如交集範圍22’的比例占播放影像20’全景畫面的80%時，轉換成全景畫面的時間約為1.25秒，若交集範圍22’的比例占播放影像20’全景畫面的90%時，轉換成全景畫面的時間則為1.11秒，時間相對來說較少。

除此之外，請參照第六圖，本實施例更可產生一影像播放路徑軸24至播放影片26中，其可顯示在播放影片26的畫面中，或者如第六圖所示，如同一般播放裝置影片的時間軸相同，在播放影片26畫面中顯示。當使用者點選影像播放路徑軸24中的地點時，即可播放對應地點的播放影像，以利使用者得知目前的播放影像係在哪個地點拍攝，有利於網路上的社群朋友能快速了解拍攝地點。其中影像播放路徑軸24係透過播放影像之第二定位資訊與第一拍攝定位資訊的排序所產生的一移動路徑，它亦可利用一迴歸分析法例如最小平方法、移動平均法或最大概似法等，平滑同一範圍群組內的第一拍攝定位資訊與第二定位資訊，平滑範圍群組內移動路徑之曲線，能使路徑平滑，減少鋸齒狀，利觀看影片者點選操作。

綜上所述，本發明可組合多部裝置中的影像，同時依據每張影像的位置定位資訊以及靜物背景，將多部裝置中的影像進行排序，透過靜物背景排序可降低攝影裝置間的各種定位量測誤差，能使最後的整合的影片，提高播放內容的連貫性，且降低播放影片時因背景變化大所造成的殘影，且可依據影像與下一張影像的角度與比例範圍調整影像播放角度與播放時間，以降低播放影片時因前後兩個影像有傾斜角度以及不同影像的播放時間不同讓各個影像播放時間更豐富化，除此之外，更可增設一影像播放路徑軸至播放影片中，以利使用者根據旅遊地點選擇所欲瀏覽的影像。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10‧‧‧第一裝置

12‧‧‧第二裝置

14‧‧‧終端機

20、20’、20”‧‧‧播放影像

22、22’‧‧‧交集範圍

24‧‧‧影像播放路徑軸

26‧‧‧播放影片

A‧‧‧中心點

第一圖為本發明使用之系統方塊圖。第二圖為本發明之影像的編排順序步驟流程圖。第三圖為本發明之播放影片的播放步驟流程圖。第四A圖至第四D圖為本發明之播放影像步驟示意圖。第五圖為本發明播放影像轉換為下ㄧ張播放影像之示意圖。第六圖係為本發明之具有影像播放路徑軸播放介面示意圖。

Claims

一種多重影像來源之處理方法，包括下列步驟：接收一第一裝置的複數第一影像與每一該第一影像的拍攝時間資訊以及第一拍攝定位資訊；根據每一該拍攝時間資訊之拍攝順序時間排列該等第一影像；接收至少一第二裝置的至少一第二影像與該第二影像之第二拍攝定位資訊；根據該第二影像之該第二拍攝定位資訊以及每一該第一影像的該第一拍攝定位資訊，將該第二影像與地理空間最接近的該第一影像排列；將該第一影像之該第一拍攝定位資訊與相鄰的該第二影像之該第二定位資訊或該第一拍攝定位資訊相減，以產生距離資訊，當相鄰的該第一影像或該第二影像之該距離資訊小於一預設距離，則歸類成同一範圍群組；比對每一該範圍群組內該第一影像與該第二影像之靜物背景，將具有相同該靜物背景的該第一影像或該第二影像歸類為同一背景群組；以及將每一該背景群組內之該等第一影像與該第二影像由大範圍背景至小範圍背景，或小範圍背景至大範圍背景排列。
如請求項1所述之多重影像來源之處理方法，其中在接收該第二影像之步驟後，以該拍攝順序時間排列該等第一影像所形成的一時間拍攝路徑為基準，以比對該第二影像之該第二拍攝定位資訊與該拍攝路徑距離超過一距離設定值時，可將該第二影像刪除。
如請求項1所述之多重影像來源處理方法，更包括擷取每一該背景群組中海拔高度最高的該第一拍攝定位資訊或該第二定位資訊，以成為代表該背景群組的一代表高度資訊，並根據每一該背景群組的該代表高度資訊由海拔高度最高之該背景群組排列至最低的該背景群組，但若至少二該背景群組的該代表高度資訊之海拔高度相同時，則以該背景群組之拍攝順序時間的先後排列。
如請求項1所述之多重影像來源之處理方法，其中該靜物背景可為物品、建築、紋路或景物。
如請求項1所述之多重影像來源之處理方法，更包括將該等第一影像與該第二影像之排列順序依序組成複數播放影像，成為可播放之一播放影片，以播放該播放影片，其中在播放該播放影片之步驟包括：顯示一播放影像之全景畫面；在該播放影像上擷取與下一張播放影像具有相同該靜物背景之交集範圍；判斷該交集範圍占該張播放影像之比例是否大於一比例值：若否，直接播放該下一張播放影像；及若是，進入下一步驟；逐漸放大該播放影像之該交集範圍，直到只顯示該播放影像之該交集範圍之畫面；以及顯示該下一張播放影像的該交集範圍，並移動至該下一張播放影像的全景畫面之中心點的過程中，逐漸縮小該下一張播放影像的畫面，直到只顯示該下一張播放影像之該全景畫面。
如請求項5所述之多重影像來源之處理方法，其中在移動至該播放影像上之該交集範圍的中心點之步驟前，更可調整該播放影像之該交集範圍以及該下一張播放影像之該交集範圍的播放面積，以符合一播放螢幕之長寬比。
如請求項5所述之多重影像來源之處理方法，該播放影像之該交集範圍占該張播放影像之比例越小，移動至該交集範圍的時間就越長。
如請求項5所述之多重影像來源之處理方法，該下一張播放影像之該交集範圍占該下一張播放影像之比例越小，轉換成全景畫面的時間就越長。
如請求項1所述之多重影像來源之處理方法，更包括將該等第一影像與該第二影像之排列順序依序組成複數播放影像，成為可播放之一播放影片，以播放該播放影片後，產生一影像播放路徑軸至該播放影片中，當點選該影像播放路徑軸中的地點時，可播放對應該地點的該播放影像，該影像播放路徑軸係根據每一該播放影像的該第一拍攝定位資訊與該第二拍攝定位資訊依序產生的移動路徑。
如請求項9所述之多重影像來源之處理方法，其中該影像播放路徑軸係透過該播放影像之該第二定位資訊與該第一拍攝定位資訊的排序所產生的一移動路徑，並利用一迴歸分析法平滑同一該範圍群組內的該第一拍攝定位資訊與該第二定位資訊，使該移動路徑之曲線平滑。