TWI756956B - 用於環景影像的影像處理方法及裝置 - Google Patents

用於環景影像的影像處理方法及裝置 Download PDF

Info

Publication number
TWI756956B
TWI756956B TW109142266A TW109142266A TWI756956B TW I756956 B TWI756956 B TW I756956B TW 109142266 A TW109142266 A TW 109142266A TW 109142266 A TW109142266 A TW 109142266A TW I756956 B TWI756956 B TW I756956B
Authority
TW
Taiwan
Prior art keywords
depth information
image
blocks
information map
viewing angle
Prior art date
Application number
TW109142266A
Other languages
English (en)
Other versions
TW202223842A (zh
Inventor
蘇彥禎
李潤容
林豐勝
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW109142266A priority Critical patent/TWI756956B/zh
Priority to US17/135,263 priority patent/US11734795B2/en
Priority to CN202110039482.1A priority patent/CN114581297A/zh
Application granted granted Critical
Publication of TWI756956B publication Critical patent/TWI756956B/zh
Publication of TW202223842A publication Critical patent/TW202223842A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明揭露一種環景影像的處理方法及裝置。本發明的處理方法將一環景影像轉換為立方體貼圖格式。立方體貼圖格式下計算環景影像的深度資訊圖，並對深度資訊圖進行無接縫處理。將深度資訊圖由立方體貼圖格式轉換回原格式以得到對應於環景影像的深度資訊圖。

Description

用於環景影像的影像處理方法及裝置
本發明是有關於一種用於環景影像的影像處理方法及裝置。
在過去，環景(panorama)影像通常是指在水平方向涵蓋180度景物的影像。隨著電腦繪圖技術的進步，環景影像已經可以指涵蓋水平方向360度景物的影像，或是指涵蓋水平方向360度及垂直方向360度景物的影像(又稱為球體環景(spherical panorama))。取得環景影像的深度資訊的難易程度往往會受到取的景是室內還是室外所影響。一般而言，取得室外環境的環景影像的深度資訊相較於取得室內環境的環景影像的深度資訊來得困難。此外，現有技術中取得環景影像的深度資訊的方法不適合應用於室外的場景。有鑑於此，有必要提出可同時針對室內場景及室外場景的環景影像的深度資訊取得方法。
本發明實施例係揭露一種環景影像的處理裝置，包括一處理單元及一儲存單元。儲存單元耦接至處理單元，用以儲存一計算機可讀媒體。當計算機可讀媒體由處理單元執行時，致 使處理單元執行：取得一第一影像；將第一影像由一第一格式轉換為具有一立方體貼圖格式的一第二影像；複製第二影像的二垂直視角區塊以分別產生三複製區塊，並令未連接該二垂直視角區塊的該第二影像的複數個水平視角區塊與該些複製區塊以各該水平視角區塊與各該複製區塊之間各自的一對應邊連接，以產生一第三影像；從該第三影像中取出大小為3x3個區塊的二影像以產生一第四影像及一第五影像；計算該第四影像及該第五影像的深度資訊，以產生對應於該第四影像的一第一深度資訊圖及對應於該第五影像的一第二深度資訊圖；根據該第一深度資訊圖對應於第四影像的二區塊組的二重疊區域與該第二深度資訊圖對應於該第五影像的二區塊組的二重疊區域對該第一深度資訊圖的該些重疊區域與該第二深度資訊圖的該些重疊區域進行一第一混合融合處理；從該第一深度資訊圖與該第二深度資訊圖中取出對應於該第二影像的該些區塊的複數個部分，以產生複數個深度資訊區塊；對於各個對應於該垂直視角區塊的該深度資訊區塊，將對應於該些水平視角區塊的該些深度資訊區塊分別以對應於該些水平視角區塊與該垂直視角區塊之間的該對應邊的一邊連接於對應於該垂直視角區塊的該深度資訊區塊的四邊；對對應於該些垂直視角區塊的該些深度資訊區塊與對應於該些水平視角區塊的該些深度資訊區塊的複數個連接處進行一第二混合處理，以產生一第三深度資訊圖及一第四深度資訊圖；從該第三深度資訊圖及該第四深度資訊圖中取出 對應於該第二影像的該些區塊的該些深度資訊區塊，並將該些深度資訊區塊拼接為具有該立方體貼圖格式的一第五深度資訊圖；以及將該第五深度資訊圖由該立方體貼圖格式轉換為具有該第一格式的一第六深度資訊圖。
本發明另一實施例係揭露一種環景影像的處理方法，包括：取得一第一影像；將第一影像由一第一格式轉換為具有一立方體貼圖格式的一第二影像；複製第二影像的二垂直視角區塊以分別產生三複製區塊，並令未連接該二垂直視角區塊的該第二影像的複數個水平視角區塊與該些複製區塊以各該水平視角區塊與各該複製區塊之間各自的一對應邊連接，以產生一第三影像；從該第三影像中取出大小為3x3個區塊的二影像以產生一第四影像及一第五影像；計算該第四影像及該第五影像的深度資訊，以產生對應於該第四影像的一第一深度資訊圖及對應於該第五影像的一第二深度資訊圖；根據該第一深度資訊圖對應於第四影像的二區塊組的二重疊區域與該第二深度資訊圖對應於該第五影像的二區塊組的二重疊區域對該第一深度資訊圖的該些重疊區域與該第二深度資訊圖的該些重疊區域進行一第一混合融合處理；從該第一深度資訊圖與該第二深度資訊圖中取出對應於該第二影像的該些區塊的複數個部分，以產生複數個深度資訊區塊；對於各個對應於該垂直視角區塊的該深度資訊區塊，將對應於該些水平視角區塊的該些深度資訊區塊分別以對應於該些水平視角區塊與該垂直視角區塊之間的該對應邊的一邊連接於對應於該垂直視角區塊的 該深度資訊區塊的四邊；對對應於該些垂直視角區塊的該些深度資訊區塊與對應於該些水平視角區塊的該些深度資訊區塊的複數個連接處進行一第二混合處理，以產生一第三深度資訊圖及一第四深度資訊圖；從該第三深度資訊圖及該第四深度資訊圖中取出對應於該第二影像的該些區塊的該些深度資訊區塊，並將該些深度資訊區塊拼接為具有該立方體貼圖格式的一第五深度資訊圖；以及將該第五深度資訊圖由該立方體貼圖格式轉換為具有該第一格式的一第六深度資訊圖。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
10:處理裝置
102:處理單元
104:儲存單元
C:觀測點
P:平面
IMG1:第一影像
IMG2:第二影像
IMG3:第三影像
IMG4:第四影像
IMG5:第五影像
IMGD1:第一深度資訊圖
IMGD2:第二深度資訊圖
IMGD3:第三深度資訊圖
IMGD4:第四深度資訊圖
IMGD5:第五深度資訊圖
IMGD6:第六深度資訊圖
b#1~b#6:區塊
b#5-1~b#5-3、b#6-1~b#6-3:複製區塊
db#1~db#6:深度資訊區塊
a#1~a#4:重複區域
S201~S221、S401~S411:步驟
第1圖繪示根據本發明一實施例的環景影像的處理裝置的方塊圖。
第2A、2B圖繪示根據本發明一實施例的環景影像的處理方法的流程圖。
第3A~3H圖繪示根據本發明一實施例的環景影像的處理方法的操作流程圖。
第4圖繪示根據本發明另一實施例接續於第2A、2B圖的環景影像的處理方法的流程圖。
請參照第1圖，第1圖繪示根據本發明一實施例的環景影像的處理裝置的方塊圖。處理裝置10包括一處理單元102及 一儲存單元104。處理單元102可為一通用目的處理器或一專用目的處理晶片。儲存單元104可為非揮發性記憶體，或者非揮發性記憶體與揮發性記憶體的組合。儲存單元104儲存有一計算機可讀媒體。當計算機可讀媒體由處理單元102執行時，致使處理單元102執行環景影像的處理方法。環景影像的處理方法的細節將搭配第2A及2B圖詳述之。
請參照第2A、2B圖，第2A、2B圖繪示根據本發明一實施例的環景影像的處理方法的流程圖。請同時參照第3A~3H圖的環景影像的處理方法的操作示意圖以利理解。
步驟S201中，取得一第一影像。此第一影像IMG1為具有一第一格式的一環景影像。環景影像例如是涵蓋水平方向360度及垂直方向360度景物的影像(又稱為球體環景(spherical panorama))。第一格式可例如是等距長方投影(equirectangular)及小星球投影(little planet)等，但本發明不以此為限。在一實施例中，第一影像IMG1可由一環景相機提供。在另一實施例中，第一影像IMG1可以是儲存於儲存裝置104的一影像資料。也就是說，本發明不限定第一影像IMG1的來源及取得方式。
步驟S203中，將第一影像IMG1由第一格式轉換為具有一立方體貼圖(cubemap)格式的一第二影像IMG2，如第3A圖所示。在一實施例中，第一格式與立方體貼圖格式之間的轉換方式可採用本領域具有通常知識者所熟知的方式。第二影像IMG2包括六個區塊b#1~b#6，其中此六個區塊b#1~b#6可組合成一個 立方體，區塊b#1~b#4對應到的是平行於觀測點C所在平面P的前、後、左、右四個方向，區塊b#5~b#6對應到的是垂直於觀測點C所在平面P的上、下二個方向，如第3B圖所示。當區塊b#1~b#6組合成為立方體時，任一區塊會與其餘五個區塊中的四個相鄰，並與其餘五個區塊中的另一個不相鄰。舉例來說，區塊b#5會與區塊b#1~b#4相鄰，並與區塊b#6不相鄰，其中區塊b#5的四個邊會分別與區塊b#1~b#4其中之一連接。為了方便理解及說明，本發明在此定義第二影像IMG2中區塊之間的關係。對應到平行於觀測點C所在平面P的前、後、左、右四個方向的區塊b#1~b#4被定義為「水平視角區塊」，對應到垂直於觀測點C所在平面P的上、下二個方向的區塊b#5~b#6被定義為「垂直視角區塊」。區塊b#i的「相對區塊」被定義為當區塊b#1~b#6組合成為立方體時，與區塊b#i不相鄰的區塊。區塊b#i的「相鄰區塊」被定義為當區塊b#1~b#6組合成為立方體時，與區塊b#i相鄰的四個區塊。區塊b#i的「對應於第j邊的相鄰區塊」被定義為當區塊b#1~b#6組合成為立方體時，與區塊b#i的第j邊連接的區塊，並且任二個區塊連接的邊被定義為該二個區塊的「連接邊」，其中i、j為正整數，且i=1~6，j=1~4。根據上述定義，舉例來說，對於區塊b#5而言，相對區塊為區塊b#6，相鄰區塊為b#1~b#4，對應於第1邊(下方的邊)的相鄰區塊為b#1，對應於第2邊(右方的邊)的相鄰區塊為b#2，對應於第3邊(上方的邊)的相鄰區塊為b#3，對應於第4邊(左 方的邊)的相鄰區塊為b#4。再舉例來說，區塊b#5與區塊b#2的對應邊為區塊b#5的右方的邊及區塊b#2上方的邊，以此類推。
步驟S205中，複製並旋轉其中一個垂直視角區塊b#5以產生三個複製區塊b#5-1~b#5-3，並令未連接垂直視角區塊b#5的各水平視角區塊b#2~b#4與複製區塊b#5-1~b#5-3的其中之一以對應邊連接，複製並旋轉其中另一個垂直視角區塊b#6以產生三個複製區塊b#6-1~b#6-3，並令未連接垂直視角區塊b#6的各水平視角區塊b#2~b#4與複製區塊b#6-1~b#6-3的其中之一以對應邊連接，以產生一第三影像IMG3。如第3C圖所示，複製區塊b#5-1為區塊b#5順時針旋轉90度，並以相當於區塊b#5的右方的邊與區塊b#2的上方的邊連接；複製區塊b#5-2為區塊b#5順時針旋轉180度，並以相當於區塊b#5的上方的邊與區塊b#3的上方的邊連接；複製區塊b#5-3為區塊b#5順時針旋轉270度，並以相當於區塊b#5的左方的邊與區塊b#4的上方的邊連接；複製區塊b#6-1為區塊b#6逆時針旋轉90度，並以相當於區塊b#6的右方的邊與區塊b#2的下方的邊連接；複製區塊b#6-2為區塊b#6逆時針旋轉180度，並以相當於區塊b#6的下方的邊與區塊b#3的下方的邊連接；複製區塊b#6-3為區塊b#6逆時針旋轉270度，並以相當於區塊b#6的左方的邊與區塊b#4的下方的邊連接。
步驟S207中，從第三影像IMG3中取出二個大小為3x3個區塊的影像以產生一第四影像IMG4及一第五影像IMG5，其中第四影像IMG4與第五影像IMG5包括三個不重複的區塊與 複製區塊的組合以及六個重複的區塊與複製區塊的組合，六個重複區塊與複製區塊的組合中包括二區塊組，各區塊組包括三個相連接的區塊與複製區塊的組合，且二區塊組不連接。如第3D圖所示，第四影像IMG4包括區塊b#1、b#2、b#3、b#5、b#6及複製區塊b#5-1、b#5-2、b#6-1、b#6-2，而第五影像IMG5包括區塊b#1、b#3、b#4、b#5、b#6及複製區塊b#5-2、b#5-3、b#6-2、b#6-3。也就是說，對於第四影像IMG4及第五影像IMG5來說，重複的區塊組為[b#1、b#5、b#6]及[b#3、b#5-2、b#6-2]，且此二區塊組互不連接。
步驟S209中，計算第四影像IMG4及第五影像IMG5的深度資訊，以產生對應於第四影像IMG4的一第一深度資訊圖IMGD1及對應於第五影像IMG5的一第二深度資訊圖IMGD2，如第3E圖所示。在一實施例中，第四影像IMG4及第五影像IMG5被送入一類神經網路中進行深度資訊計算，以產生第一深度資訊圖IMGD1及第二深度資訊圖IMGD2。
在步驟S211中，根據第一深度資訊圖IMGD1對應於第四影像IMG4中二個區塊組的二重疊區域a#1、a#2與第二深度資訊圖IMGD2對應於第五影像IMG5中二個區塊組的二重疊區域a#3、a#4對第一深度資訊圖IMGD1對應於第四影像IMG4中二個區塊組的二重疊區域a#1、a#2與第二深度資訊圖IMGD2對應於第五影像IMG5中二個區塊組的二重疊區域a#1、a#2進行第一混合處理。舉例來說，第一混合處理是將第一深度資訊圖中對應於 區塊b#1、b#5、b#6的重疊區域a#1中各個像素的深度值與第二深度資訊圖中對應於區塊b#1、b#5、b#6的重疊區域a#4對應的像素的深度值根據該像素至區塊邊界水平距離的反比平均做為第一深度影像圖及第二深度影像圖對應像素的深度值，以及將第一深度資訊圖中對應於區塊b#3、b#5-2、b#6-2的重疊區域a#2中各個像素的深度值與第二深度資訊圖中對應於區塊b#3、b#5-2、b#6-2的重疊區域a#3對應的像素的深度值根據該像素至區塊邊界水平距離的反比平均做為第一深度影像圖及第二深度影像圖對應像素的深度值。需要注意的是，上述例子中第一混合處理所用的演算法為距離反比平均，然本發明不限於此，在替代的實施例中，也可以是計算平均值，或使用卜瓦松混合(Poisson blending)。
在步驟S213中，從第一深度資訊圖IMGD1與第二深度資訊圖IMGD2中取出對應於第二影像IMG2中六個區塊b#1~b#6的六個部分，以產生六個深度資訊區塊db#1~db#6，如第3F圖所示。
步驟S215中，對於各個對應於垂直視角區塊b#5、b#6的深度資訊區塊db#5、db#6，將對應於水平視角區塊b#1~b#4的四個深度資訊區塊db#1~db#4分別以對應於水平視角區塊b#1~b#4與垂直視角區塊b#5、b#6之間的對應邊的邊連接於對應於垂直視角區塊b#5、b#6的深度資訊區塊db#5、db#6的四個邊，如第3G圖所示。
步驟S217中，對對應於垂直視角區塊b#5、b#6的深度資訊區塊db#5、db#6與對應於水平視角區塊b#1~b#4的深度資訊區塊db#1~db#4的多個連接處進行第二混合處理，以產生一第三深度資訊圖IMGD3及一第四深度資訊圖IMGD4，如第3G圖所示。第二混合處理例如是卜瓦松混合(Poisson blending)處理、或是將區塊b#5、b#6與水平視角區塊b#1~b#4的交界處做模糊化處理等。
步驟S219中，從第三深度資訊圖IMGD3及第四深度資訊圖IMGD4中取出對應於第二影像IMG2的各區塊b#1~b#6的多個深度資訊區塊db#1~db#6，並根據第二影像IMG2的區塊b#1~b#6之間的位置關係將深度資訊區塊db#1~db#6拼接為具有立方體貼圖格式的一第五深度資訊圖IMGD5，如第3H圖所示。
步驟S221中，將第五深度資訊圖IMGD5由立方體貼圖格式轉換為具有第一格式的一第六深度資訊圖IMGD6，如第3H圖所示。
如此一來，便可以得到具有第一影像IMG1的深度資訊的第六深度資訊圖IMGD6。第六深度資訊圖IMGD6與第一影像IMG1搭配可以有各式的應用。在一實施例中，第六深度資訊圖IMGD6與第一影像IMG1搭配可應用在虛擬實境(virtual reality)裝置上。在一實施例中，處理裝置10為一虛擬實境裝置，且更包括耦接至處理單元的一顯示單元及一位姿偵測單元。位姿 偵測單元用以取得處理裝置的一旋轉角度。環景影像的處理方法可進一步包括第4圖所示的步驟。
步驟S401中，根據第六深度資訊圖IMGD6決定一解析度與一半徑，並根據解析度及半徑產生一球型網格。實際應用上，處理單元會進一步根據虛擬實境的顯示單元的效能及實際應用配置決定解析度與半徑。
步驟S403中，對於第六深度資訊圖IMGD6的各個像素，計算映射至球型網格的座標，並將該座標根據該像素的深度值調整該座標距離球型網格的球心的距離。
步驟S405中，對於第一影像IMG1的各個像素，計算映射至球型網格的座標，並根據該像素的色彩資訊對該座標進行色彩填充。
第一格式的像素與球型網格之間的座標轉換可根據本領域具有通常知識者所熟知的方式進行計算，本發明不加以限定。
步驟S407中，取得虛擬實境裝置的旋轉角度。在一實施例中，位姿偵測單元可包括慣性測量模組(IMU)及/或空間定位模組(lighthouse、SLAM tracking)，並藉以取得旋轉角度。
步驟S409中，將使用者的觀測點設置於球心，根據旋轉角度設定視線方向，並將觀測點沿視線方向的反方向移動一特定距離。
步驟S411中，根據觀測點的位置、視線方向顯示一視野範圍內球型網格上的影像。
藉由將觀測點拉遠可以讓顯示的影像因具有深度資訊的關係呈現遠近感。如此一來，就能夠強化使用者對於顯示影像中景物的遠近視覺感受。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S201~S221:步驟

Claims (10)

  1. 一種環景影像的處理裝置，包括：一處理單元；一儲存單元，耦接至該處理單元，用以儲存一計算機可讀媒體，當該計算機可讀媒體由該處理單元執行時，致使該處理單元執行：取得一第一影像；將該第一影像由一第一格式轉換為具有一立方體貼圖格式的一第二影像，該第二影像包括二垂直視角區塊及四水平視角區塊；複製該第二影像的該些垂直視角區塊以分別產生三複製區塊，並令未連接該二垂直視角區塊的該第二影像的該些水平視角區塊與該些複製區塊以各該水平視角區塊與各該複製區塊之間各自的一對應邊連接，以產生一第三影像；從該第三影像中取出大小為3x3個區塊的二影像以產生一第四影像及一第五影像；計算該第四影像及該第五影像的深度資訊，以產生對應於該第四影像的一第一深度資訊圖及對應於該第五影像的一第二深度資訊圖；根據該第一深度資訊圖對應於第四影像的二區塊組的二重疊區域與該第二深度資訊圖對應於該第五影像的二區塊組的二重疊區域對該第一深度資訊圖的該些重疊區域與該第二深度資訊圖的該些重疊區域進行一第一混合處理； 從該第一深度資訊圖與該第二深度資訊圖中取出對應於該第二影像的該些區塊的複數個部分，以產生複數個深度資訊區塊；對於各個對應於該垂直視角區塊的該深度資訊區塊，將對應於該些水平視角區塊的該些深度資訊區塊分別以對應於該些水平視角區塊與該垂直視角區塊之間的該對應邊的一邊連接於對應於該垂直視角區塊的該深度資訊區塊的四邊；對對應於該些垂直視角區塊的該些深度資訊區塊與對應於該些水平視角區塊的該些深度資訊區塊的複數個連接處進行一第二混合處理，以產生一第三深度資訊圖及一第四深度資訊圖；從該第三深度資訊圖及該第四深度資訊圖中取出對應於該第二影像的該些垂直視角區塊及該些水平視角區塊的該些深度資訊區塊，並將該些深度資訊區塊拼接為具有該立方體貼圖格式的一第五深度資訊圖；以及將該第五深度資訊圖由該立方體貼圖格式轉換為具有該第一格式的一第六深度資訊圖。
  2. 如申請專利範圍第1項所述之處理裝置，更包括一顯示單元及一位姿偵測單元，分別耦接至該處理單元，該位姿偵測單元用以取得一旋轉角度，其中該處理單元根據該第一影像、該第六深度資訊圖及該旋轉角度成像於一顯示單元。
  3. 如申請專利範圍第1項所述之處理裝置，其中當該計算機可讀媒體由該處理單元執行時更致使該處理單元執行： 根據該第六深度資訊圖計算一解析度與一半徑，並根據該解析度及該半徑產生一球型網格；對於該第六深度資訊圖的各個像素，計算映射至該球型網格的一座標，並將該座標根據該像素的一深度值調整該座標距離該球型網格的一球心的一距離；對於該第一影像的各該像素，計算映射至該球型網格的一座標，並根據該像素的一色彩資訊對該座標進行色彩填充；將一使用者的一觀測點設置於該球心，根據一旋轉角度設定一視線方向，並將該觀測點沿該視線方向的反方向移動一特定距離；以及根據該觀測點的位置、該視線方向顯示一視野範圍內該球型網格上的影像。
  4. 如申請專利範圍第1項所述之處理裝置，其中該第二混合處理為卜瓦松混合處理。
  5. 如申請專利範圍第1項所述之處理裝置，其中計算該第四影像及該第五影像的深度資訊，以產生對應於該第四影像的一第一深度資訊圖及對應於該第五影像的一第二深度資訊圖時，係將該第四影像及該第五影像送入一類神經網路進行計算以得到該第一深度資訊圖及該第二深度資訊圖。
  6. 一種環景影像的處理方法，由一處理單元執行，該處理方法包括：取得一第一影像；將該第一影像由一第一格式轉換為具有一立方體貼圖格式的一第二影像，該第二影像包括二垂直視角區塊及四水平視角區塊；複製該第二影像的該些垂直視角區塊以分別產生三複製區塊，並令未連接該二垂直視角區塊的該第二影像的該些水平視角區塊與該些複製區塊以各該水平視角區塊與各該複製區塊之間各自的一對應邊連接，以產生一第三影像；從該第三影像中取出大小為3x3個區塊的二影像以產生一第四影像及一第五影像；計算該第四影像及該第五影像的深度資訊，以產生對應於該第四影像的一第一深度資訊圖及對應於該第五影像的一第二深度資訊圖；根據該第一深度資訊圖對應於第四影像的二區塊組的二重疊區域與該第二深度資訊圖對應於該第五影像的二區塊組的二重疊區域對該第一深度資訊圖的該些重疊區域與該第二深度資訊圖的該些重疊區域進行一第一混合處理；從該第一深度資訊圖與該第二深度資訊圖中取出對應於該第二影像的該些區塊的複數個部分，以產生複數個深度資訊區塊；對於各個對應於該垂直視角區塊的該深度資訊區塊，將對應於該些水平視角區塊的該些深度資訊區塊分別以對應於該些水 平視角區塊與該垂直視角區塊之間的該對應邊的一邊連接於對應於該垂直視角區塊的該深度資訊區塊的四邊；對對應於該些垂直視角區塊的該些深度資訊區塊與對應於該些水平視角區塊的該些深度資訊區塊的複數個連接處進行一第二混合處理，以產生一第三深度資訊圖及一第四深度資訊圖；從該第三深度資訊圖及該第四深度資訊圖中取出對應於該第二影像的該些垂直視角區塊及該些水平視角區塊的該些深度資訊區塊，並將該些深度資訊區塊拼接為具有該立方體貼圖格式的一第五深度資訊圖；以及將該第五深度資訊圖由該立方體貼圖格式轉換為具有該第一格式的一第六深度資訊圖。
  7. 如申請專利範圍第6項所述之處理方法，更包括以一位姿偵測單元取得一旋轉角度，以及根據該第一影像、該第六深度資訊圖及該旋轉角度成像於一顯示單元。
  8. 如申請專利範圍第6項所述之處理方法，更包括：根據該第六深度資訊圖計算一解析度與一半徑，並根據該解析度及該半徑產生一球型網格；對於該第六深度資訊圖的各個像素，計算映射至該球型網格的一座標，並將該座標根據該像素的一深度值調整該座標距離該球型網格的一球心的一距離； 對於該第一影像的各該像素，計算映射至該球型網格的一座標，並根據該像素的一色彩資訊對該座標進行色彩填充；將一使用者的一觀測點設置於該球心，根據一旋轉角度設定一視線方向，並將該觀測點沿該視線方向的反方向移動一特定距離；以及根據該觀測點的位置、該視線方向顯示一視野範圍內該球型網格上的影像。
  9. 如申請專利範圍第6項所述之處理方法，其中該第二混合處理為卜瓦松混合處理。
  10. 如申請專利範圍第6項所述之處理方法，其中計算該第四影像及該第五影像的深度資訊，以產生對應於該第四影像的一第一深度資訊圖及對應於該第五影像的一第二深度資訊圖時，係將該第四影像及該第五影像送入一類神經網路進行計算以得到該第一深度資訊圖及該第二深度資訊圖。
TW109142266A 2020-12-01 2020-12-01 用於環景影像的影像處理方法及裝置 TWI756956B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109142266A TWI756956B (zh) 2020-12-01 2020-12-01 用於環景影像的影像處理方法及裝置
US17/135,263 US11734795B2 (en) 2020-12-01 2020-12-28 Image processing method and device for panoramic image
CN202110039482.1A CN114581297A (zh) 2020-12-01 2021-01-12 用于环景影像的影像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109142266A TWI756956B (zh) 2020-12-01 2020-12-01 用於環景影像的影像處理方法及裝置

Publications (2)

Publication Number Publication Date
TWI756956B true TWI756956B (zh) 2022-03-01
TW202223842A TW202223842A (zh) 2022-06-16

Family

ID=81711014

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109142266A TWI756956B (zh) 2020-12-01 2020-12-01 用於環景影像的影像處理方法及裝置

Country Status (3)

Country Link
US (1) US11734795B2 (zh)
CN (1) CN114581297A (zh)
TW (1) TWI756956B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230316665A1 (en) * 2022-03-30 2023-10-05 Snap Inc. Surface normals for pixel-aligned object

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201832184A (zh) * 2017-02-23 2018-09-01 鈺立微電子股份有限公司 利用非平面投影影像產生深度圖的影像裝置及其相關方法
US20180302612A1 (en) * 2017-01-17 2018-10-18 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
CN111462311A (zh) * 2020-03-31 2020-07-28 北京小米松果电子有限公司 全景图生成方法及装置、存储介质
CN111563965A (zh) * 2019-02-14 2020-08-21 贝壳技术有限公司 一种通过优化深度图生成全景图的方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6876362B1 (en) * 2002-07-10 2005-04-05 Nvidia Corporation Omnidirectional shadow texture mapping
EP3143774A4 (en) * 2014-05-13 2018-04-25 PCP VR Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
BR112018002224A8 (pt) * 2015-08-03 2020-09-08 Kiana Ali Asghar Calagari conversor de quadro de vídeo 2d para 3d
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
JP2018078057A (ja) 2016-11-11 2018-05-17 株式会社ジャパンディスプレイ 表示装置
CN108616733B (zh) * 2016-12-28 2020-01-10 深圳市掌网科技股份有限公司 一种全景视频图像的拼接方法及全景相机
US10560682B2 (en) * 2017-01-13 2020-02-11 Gopro, Inc. Methods and apparatus for providing a frame packing arrangement for panoramic content
US10957044B2 (en) 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
CN108696694B (zh) 2017-03-31 2023-04-07 钰立微电子股份有限公司 有关深度信息/全景图像的图像装置及其相关图像系统
US10659773B2 (en) 2017-04-13 2020-05-19 Facebook, Inc. Panoramic camera systems
US10297087B2 (en) 2017-05-31 2019-05-21 Verizon Patent And Licensing Inc. Methods and systems for generating a merged reality scene based on a virtual object and on a real-world object represented from different vantage points in different video data streams
TWI683280B (zh) * 2017-08-16 2020-01-21 威盛電子股份有限公司 立體環景影片產生方法及裝置
US10580158B1 (en) 2017-11-03 2020-03-03 Zoox, Inc. Dense depth estimation of image data
US10748247B2 (en) 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
US11080590B2 (en) 2018-03-21 2021-08-03 Nvidia Corporation Stereo depth estimation using deep neural networks
KR102201763B1 (ko) 2018-10-02 2021-01-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180302612A1 (en) * 2017-01-17 2018-10-18 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
TW201832184A (zh) * 2017-02-23 2018-09-01 鈺立微電子股份有限公司 利用非平面投影影像產生深度圖的影像裝置及其相關方法
CN111563965A (zh) * 2019-02-14 2020-08-21 贝壳技术有限公司 一种通过优化深度图生成全景图的方法及装置
CN111462311A (zh) * 2020-03-31 2020-07-28 北京小米松果电子有限公司 全景图生成方法及装置、存储介质

Also Published As

Publication number Publication date
CN114581297A (zh) 2022-06-03
TW202223842A (zh) 2022-06-16
US11734795B2 (en) 2023-08-22
US20220172324A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN107564089B (zh) 三维图像处理方法、装置、存储介质和计算机设备
JP6563609B2 (ja) 中間ビューからの効率的なキャンバスビューの生成
AU2011312140B2 (en) Rapid 3D modeling
CN105488775A (zh) 一种基于六摄像机环视的柱面全景生成装置及方法
JP5236219B2 (ja) 分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN113808261B (zh) 一种基于全景图的自监督学习场景点云补全的数据集生成方法
CN106604003B (zh) 一种短焦投影实现曲面幕布投影的方法及系统
WO2020151268A1 (zh) 一种3d小行星动态图的生成方法及便携式终端
JP4406824B2 (ja) 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム
CN111524230B (zh) 一种三维模型与展开全景图联动浏览方法及计算机系统
Komatsu et al. 360 depth estimation from multiple fisheye images with origami crown representation of icosahedron
JP4751084B2 (ja) マッピング関数生成方法及びその装置並びに複合映像生成方法及びその装置
TWI756956B (zh) 用於環景影像的影像處理方法及裝置
CN109461116B (zh) 一种基于opengl的720全景展开监控方法
da Silveira et al. Omnidirectional visual computing: Foundations, challenges, and applications
CN111476716B (zh) 一种实时视频拼接方法和装置
US20230005213A1 (en) Imaging apparatus, imaging method, and program
JP3387900B2 (ja) 画像処理方法及び装置
JP2002094849A (ja) 広視野画像撮像装置
JP2001256492A (ja) 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体
KR20030082307A (ko) 직각 교차 실린더를 이용한 영상기반 렌더링 방법
Ye et al. A learning-based framework for multi-view instance segmentation in panorama
JP3384764B2 (ja) 画像の対応領域抽出方法、画像合成方法、画像合成装置、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体