TWI636424B - 全景影像生成裝置及方法 - Google Patents

Abstract

一種全景影像生成裝置，包括：圖像資料庫，存儲有多張圖像；接收模組，用於接收一基礎檢索資訊；解析模組，用於根據基礎檢索資訊解析出所需檢索的圖像資訊；第一提取模組，用於從圖像資料庫中提取出符合所述圖像資訊的第一圖像；篩選模組，用於從所述提取的第一圖像中篩選出具有不同方位角度且符合預設環境參數的第二圖像；第二提取模組，用於根據所述每一第二圖像的環境參數與圖像參數從中提取出各方位角度的優選圖像；拼接生成模組，用於調整所述每一優選圖像的圖像參數以進行拼接生成全景影像。本發明還提供一種全景影像生成方法。

Description

全景影像生成裝置及方法

本發明涉及影像處理技術領域，尤其涉及一種全景影像生成裝置及方法。

隨著智慧手機和數碼相機的興起，透過圖像記錄生活內容已經是普遍現象。線上雲端與線下終端儲存著使用者海量的圖像，其中絕多數為2D圖像，這些圖像資料報含了許多當時拍攝的環境參數。而全景影像可以讓無法親臨現場或想再次回味當時景像的用戶身臨其境，如何將這些拍攝散落在各地的圖像資訊作有效率且實用的篩選、整合，進而將其彙整生成各種角度的全景影像是一大技術挑戰。

有鑑於此，有必要提供一種全景影像生成裝置及方法，其能將2D圖像進行拼接生成全景影像。

本發明一實施方式提供一種全景影像生成裝置，包括一圖像資料庫，所述圖像資料庫存儲有多張圖像。所述全景影像生成裝置還包括：接收模組，用於接收一基礎檢索資訊；解析模組，用於根據所述基礎檢索資訊解析出所需檢索的圖像資訊；第一提取模組，用於從所述圖像資料庫中提取出符合所述圖像資訊的第一圖像；篩選模組，用於從所述提取的第一圖像中篩選出具有不同方位角度且符合預設環境參數的第二圖像；第二提取模組，用於根據所述每一第二圖像的環境參數與圖像參數從中提取出各方位角度的優選圖像；及拼接生成模組，用於調整所述每一優選圖像的圖像參數以進行拼接生成一全景影像。

本發明一實施方式提供一種全景影像生成方法，包括以下步驟：接 收一基礎檢索資訊；根據所述基礎檢索資訊解析出所需檢索的圖像資訊；從圖像資料庫中提取出符合所述圖像資訊的第一圖像；從所述提取的第一圖像中篩選出具有不同方位角度且符合預設環境參數的第二圖像；根據所述每一第二圖像的環境參數與圖像參數從中提取出各方位角度的優選圖像；及調整所述每一優選圖像的圖像參數以進行拼接生成一全景影像。

與現有技術相比，上述全景影像生成裝置及方法，可以根據接收到的基礎檢索資訊(語音/文字/圖像)來篩選圖像並將圖像進行拼接生成全景影像供使用者觀看，提示用戶的觀看體驗。

10‧‧‧圖像資料庫

20‧‧‧接收模組

30‧‧‧解析模組

40‧‧‧第一提取模組

50‧‧‧篩選模組

60‧‧‧第二提取模組

70‧‧‧拼接生成模組

80‧‧‧判斷模組

90‧‧‧標記模組

100‧‧‧全景影像生成裝置

702‧‧‧調整單元

704‧‧‧拼接單元

圖1是本發明一實施方式的全景影像生成裝置的運用環境圖。

圖2是本發明一實施方式的全景影像生成裝置的功能模組圖。

圖3是本發明另一實施方式的全景影像生成裝置的功能模組圖。

圖4是本發明一實施方式的多張優選圖像進行中心點校正的示意圖。

圖5是本發明一實施方式的全景影像生成方法的步驟流程圖。

圖6是本發明另一實施方式的全景影像生成方法的步驟流程圖。

請參閱圖1-2，在一實施方式中，一種全景影像生成裝置100用於實現將不同角度拍攝的圖像進行拼接形成一預設角度的全景影像。例如可以是180度全景影像、270度全景影像、360度全景影像。其中，180度全景影像優選是一個半球形的全景影像，360度全景影像優選是一個球形的全景影像。

全景影像生成裝置100包括圖像資料庫10、接收模組20、解析模組30、第一提取模組40、篩選模組50、第二提取模組60及拼接生成模組70。

圖像資料庫10存儲有多張圖像。圖像資料庫10也可以設置在雲端伺服器(圖未示)，全景影像生成裝置100通過訪問雲端伺服器來連結至圖像資料庫10。當然，圖像資料庫10也可以是全景影像生成裝置100內存儲的圖像與雲端伺服器存儲的圖像的集合。每一圖像可以包括與其相關的環境參數及圖像 參數。環境參數可以是：拍攝時的方位角度、光圈、快門速度、曝光值、光線角度、風速、溫濕度中的一種或多種。圖像參數可以是：景深資訊、顏色、明亮度、銳利度、焦距中的一種或多種。

接收模組20用於接收一基礎檢索資訊。所述基礎檢索資訊可以包括圖像、語音資訊、文字資訊中的一種或多種。舉例而言，在2014年阿里山櫻花季開幕日(2014年3月10日)，某一用戶無法親臨現場或想再次回味當時的景象。該使用者可以以語音或文字形式輸入“2014年阿里山櫻花季開幕日”資訊至全景影像生成裝置100，全景影像生成裝置100即可獲知需要將屬於“2014年阿里山櫻花季開幕日”的圖像進行拼接形成一預設角度的全景影像供該使用者以各種裝置進行觀看(可以是移動設備、PC端、VR設備，也可以是全景影像生成裝置100)。用戶也可以上傳至少一張屬於“2014年阿里山櫻花季開幕日”的圖像至全景影像生成裝置100來作為輸入的基礎檢索資訊。

解析模組30用於根據所述基礎檢索資訊解析出所需檢索的圖像資訊。舉例而言，若接收模組20接收到使用者以語音或文字形式輸入“2014年阿里山櫻花季開幕日”的基礎檢索資訊。解析模組30經過語意分析得出欲檢索的圖像資訊包括：時間(2014年)、地點(阿里山櫻花季現場)及精確時間區間(開幕日、3月10日)。若接收模組20接收到使用者輸入的是一張圖像。解析模組30通過圖像分析得出此圖像的拍攝時間是2014年3月10日，地點是阿里山櫻花季現場，影像內有吊橋、入口門牌、櫻花等。解析模組30經過對使用者輸入的圖像進行解析同樣可得出欲檢索的圖像資訊包括：時間(2014年)、地點(阿里山櫻花季現場)及精確時間區間(開幕日、3月10日)。

第一提取模組40用於從圖像資料庫10中提取出符合所述圖像資訊的第一圖像。舉例而言，若圖像資料庫10包含有200張屬於“2014年阿里山櫻花季開幕日”拍攝的圖片，第一提取模組40從圖像資料庫10提取出該200張圖像(即200張第一圖像)。

篩選模組50用於從所述提取的第一圖像中篩選出具有不同方位角度且符合預設環境參數的第二圖像。舉例而言，所述預設環境參數可以包括光圈、曝光值、光線角度，預設環境參數可以設定一閾值或區間值，以篩選出具有不同方位角度且畫質較清晰的圖像。篩選模組50根據拍攝的方位角度及預設環境參數從第一提取模組40提取出的200張圖像中篩選出符合生成全景影像的 第二圖像。

在一實施方式中，全景影像優選由不同方位角度且畫質較清晰的第二圖像拼接而成。

第二提取模組60用於根據所述每一第二圖像的環境參數與圖像參數從中提取出各方位角度的優選圖像。所述每一方位角度的優選圖像可以是相鄰方位角度中環境參數與圖像參數差異最小的一第二圖像。舉例而言，經過篩選模組50的篩選，方位角度A具有3張圖像，方位角度B具有5張圖像，方位角度C具有4張圖像，方位角度D具有7張圖像。若拼接所述全景影像需要一張方位角度A圖像、一張方位角度B圖像、一張方位角度C圖像及一張方位角度D圖像。此時，第二提取模組60根據拼接的相鄰圖像的環境參數與圖像參數來作為參照從多張方位角度A圖像、方位角度B圖像、方位角度C圖像、方位角度D圖像中進行挑選，從而避免相鄰的拼接圖像的參數相差較大，降低了視覺效果。舉例而言，第二提取模組60根據與方位角度A相鄰的拼接圖像的參數來從3張方位角度A圖像中提取出一張與方位角度A相鄰的拼接圖像的參數差異最小的圖像作為方位角度A的優選圖像。在本發明的其他實施方式中，第二提取模組60也可以從3張方位角度A圖像中提取出環境參數和/或圖像參數最佳的一張方位角度A圖像作為優選圖像。

拼接生成模組70用於調整所述每一優選圖像的圖像參數以進行拼接生成一全景影像。具體地，拼接生成模組70可以調整第二提取模組60提取出的每一優選圖像的顏色、明亮度、銳利度、焦距等。拼接生成模組70再對調整後的圖像進行拼接以生成所述全景影像。

請同時參閱圖3-4，在一實施方式中，拼接生成模組70包括調整單元702及拼接單元704。由於每一優選照片在拍攝時可能焦距不同，此時若直接進行拼接將導致視覺效果不佳。調整單元702用於將所述每一優選圖像進行中心點校正以調整所述每一優選圖像的焦距，使得焦距基本一致，進行焦距調整時，圖像比例和角度亦會經過適當調整。調整單元702同時調整所述每一優選圖像的圖像參數。拼接單元704用於選擇焦距最接近校正後的中心點的優選圖像作為起始拼接圖像並以此圖像基礎向四周進行拼接，以生成所述全景影像。

在一實施方式中，接收模組20接收的基礎檢索資訊也可以為一使用者移動裝置(手機、平板電腦)中相冊的任意一圖像A。全景影像生成裝置 100還包括判斷模組80及標記模組90。所述全景影像可以是180度全景影像、270度全景影像、360度全景影像等多種類型。

判斷模組80用於判斷第二提取模組60提取的優選圖像是否足夠生成所述任意一角度類型的全景影像。若判斷模組80判斷所述提取的優選圖像能夠生成一種或者多種全景影像時，標記模組90在所述相冊的圖像A上添加一可生成的最大角度類型的標記資訊，以提示使用者此圖像A的拍攝地點有全景影像可供觀看。舉例而言，若判斷模組80判斷所述提取的優選圖像能夠生成180度、270度、360度三種全景影像。標記模組90在所述相冊的圖像A上添加一可生成360度全景影像的標記資訊。若判斷模組80判斷所述提取的優選圖像能夠生成180度、270度二種全景影像。標記模組90在所述相冊的圖像A上添加一可生成270度全景影像的標記資訊。使用者可以點擊相冊中的圖片A或圖片A上的標記資訊，後臺即進行圖像拼接，以生成圖像A對應的全景影像供觀看。

當判斷模組80判斷所述提取的優選圖像不能夠生成所述任意一角度類型的全景影像時，所述標記模組90不對所述相冊的圖像A進行標記處理或所述標記模組90在所述相冊的圖像A上添加一不可生成全景影像的標記資訊。

在一實施方式中，由於全景影像是由不同方位角度的優選圖像拼接而成，判斷模組80判斷提取的優選圖像是否足夠生成所述任意一角度類型的全景影像的判斷依據可以是判斷生成一角度類型的全景影像是否缺失某一方位角度圖像，若判斷為缺失，則認為不能生成該角度類型的全景影像。

在一實施方式中，若拼接生成模組70在生成一角度類型的全景影像存在遺缺且遺缺內容較小時，可以通過內容感知技術進行填補。

圖5為本發明一實施方式中全景影像生成方法的流程圖。本方法可以使用在圖2或圖3所示的全景影像生成裝置100中。

步驟S500，接收模組20接收一基礎檢索資訊。

步驟S502，解析模組30根據所述基礎檢索資訊解析出所需檢索的圖像資訊。

步驟S504，第一提取模組40從圖像資料庫10中提取出符合所述圖像資訊的第一圖像。

步驟S506，篩選模組50從所述提取的第一圖像中篩選出具有不同方位角度且符合預設環境參數的第二圖像。

步驟S508，第二提取模組60根據所述每一第二圖像的環境參數與圖像參數從中提取出各方位角度的優選圖像。

步驟S510，拼接生成模組70調整所述每一優選圖像的圖像參數以進行拼接生成一全景影像。

在一實施方式中，拼接生成模組70包括調整單元702及拼接單元704。由於每一優選照片在拍攝時可能焦距不同，此時若直接進行拼接將導致視覺效果不佳。調整單元702將所述每一優選圖像進行中心點校正以調整所述每一優選圖像的焦距，使得焦距基本一致，進行焦距調整時，圖像比例和角度亦會經過適當調整。調整單元702同時調整所述每一優選圖像的圖像參數。拼接單元704選擇焦距最接近校正後的中心點的優選圖像作為起始拼接圖像並以此圖像基礎向四周進行拼接，以生成所述全景影像。

圖6為本發明另一實施方式中全景影像生成方法的流程圖。圖6與圖5所示的流程步驟基本相同，不同之處在於：S500，接收模組20接收一基礎檢索資訊，所述基礎檢索資訊為一相冊中的圖像。圖6所揭示的方法還包括步驟S512、步驟S514及步驟S516。

步驟S512，判斷模組80判斷所述提取的優選圖像是否足夠生成任意一預設角度類型的全景影像(180度、270度、360度)。

步驟S514，若判斷模組80判斷能夠生成一種或多種預設角度全景影像，標記模組90在所述相冊的圖像上添加一可生成的最大角度類型的標記資訊。

步驟S516，若判斷模組80判斷不能夠生成所述任意一種預設角度全景影像，標記模組90不對所述相冊的圖像進行標記處理。

在一實施方式中，若判斷模組80判斷不能夠生成所述任意一種預設角度全景影像，所述標記模組90也可以在所述相冊的圖像上添加一不可生成全景影像的標記資訊。

上述全景影像生成裝置及方法，可以根據接收到的基礎檢索資訊(語音/文字/圖像)來篩選圖像並將圖像進行拼接生成全景影像供使用者觀看，提示用戶的觀看體驗。

綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，本發明之範圍並不以上述實施方式為 限，舉凡熟悉本案技藝之人士爰依本發明之精神所作之等效修飾或變化，皆應涵蓋於以下申請專利範圍內。

Claims (10)

1. 一種全景影像生成方法，所述全景影像生成方法包括：接收一基礎檢索資訊；根據所述基礎檢索資訊解析出所需檢索的圖像資訊；從圖像資料庫中提取出符合所述圖像資訊的第一圖像；從所述提取的第一圖像中篩選出具有不同方位角度且符合預設環境參數的第二圖像；根據所述每一第二圖像的環境參數與圖像參數從中提取出各方位角度的優選圖像，其中，該環境參數包括拍攝的方位角度、光圈、快門速度、曝光值、光線角度、風速、溫濕度中的一種或多種，該圖像參數包括景深資訊、顏色、明亮度、銳利度、焦距中的一種或多種；將所述每一優選圖像進行中心點校正，以調整所述每一優選圖像的焦距；調整所述每一優選圖像的圖像參數；及選擇焦距最接近校正後的中心點的優選圖像作為起始拼接圖像向四周進行拼接，以生成所述全景影像。
2. 如申請專利範圍第1項所述之全景影像生成方法，其中所述基礎檢索資訊包括圖像、語音資訊、文字資訊中的一種或多種。
3. 如申請專利範圍第1項所述之全景影像生成方法，其中所述每一方位角度的優選圖像是相鄰方位角度中環境參數與圖像參數差異最小的第二圖像。
4. 如申請專利範圍第1項所述之全景影像生成方法，其中所述基礎檢索資訊為一相冊中的圖像，所述全景影像包括多種預設角度類型的全景影像，所述全景影像生成方法還包括：判斷所述提取的優選圖像是否足夠生成所述任意一預設角度類型的全景影像；及若能夠生成所述全景影像，在所述相冊的圖像上添加一可生成的最大角度類型的標記資訊。
5. 如申請專利範圍第4項所述之全景影像生成方法，其中所述全景影像生成方法還包括：若不能夠生成所述全景影像，不對所述相冊的圖像進行標記處理或在所述相冊 的圖像上添加一不可生成全景影像的標記資訊。
6. 一種全景影像生成裝置，包括一圖像資料庫，所述圖像資料庫存儲有多張圖像，其改良在於，所述全景影像生成裝置還包括：接收模組，用於接收一基礎檢索資訊；解析模組，用於根據所述基礎檢索資訊解析出所需檢索的圖像資訊；第一提取模組，用於從所述圖像資料庫中提取出符合所述圖像資訊的第一圖像；篩選模組，用於從所述提取的第一圖像中篩選出具有不同方位角度且符合預設環境參數的第二圖像；第二提取模組，用於根據所述每一第二圖像的環境參數與圖像參數從中提取出各方位角度的優選圖像，其中，該環境參數包括拍攝的方位角度、光圈、快門速度、曝光值、光線角度、風速、溫濕度中的一種或多種，該圖像參數包括景深資訊、顏色、明亮度、銳利度、焦距中的一種或多種；及拼接生成模組，用於調整所述每一優選圖像的圖像參數以進行拼接生成一全景影像，其中所述拼接生成模組包括調整單元及拼接單元，所述調整單元用於將所述每一優選圖像進行中心點校正以調整所述每一優選圖像的焦距，並同時調整所述每一優選圖像的圖像參數；所述拼接單元用於選擇焦距最接近校正後的中心點的優選圖像作為起始拼接圖像向四周進行拼接，以生成所述全景影像。
7. 如申請專利範圍第6項所述之全景影像生成裝置，其中所述基礎檢索資訊包括圖像、語音資訊、文字資訊中的一種或多種。
8. 如申請專利範圍第6項所述之全景影像生成裝置，其中所述每一方位角度的優選圖像是相鄰方位角度中環境參數與圖像參數差異最小的第二圖像。
9. 如申請專利範圍第6項所述之全景影像生成裝置，其中所述全景影像生成裝置還包括判斷模組及標記模組，所述基礎檢索資訊為一相冊中的圖像，所述全景影像包括多種預設角度類型的全景影像，所述判斷模組用於判斷所述提取的優選圖像是否足夠生成所述任意一預設角度類型的全景影像，所述標記模組用於在判斷所述提取的優選圖像能夠生成所述全景影像時，在所述相冊的圖像上添加一可生成的最大角度類型的標記資訊。
10. 如申請專利範圍第9項所述之全景影像生成裝置，其中當所述判斷 模組用於判斷所述提取的優選圖像不能夠生成所述任意一角度類型的全景影像時，所述標記模組不對所述相冊的圖像進行標記處理或所述標記模組在所述相冊的圖像上添加一不可生成全景影像的標記資訊。