TWI743477B - 圖像處理裝置及圖像處理的方法 - Google Patents

圖像處理裝置及圖像處理的方法 Download PDF

Info

Publication number
TWI743477B
TWI743477B TW108115695A TW108115695A TWI743477B TW I743477 B TWI743477 B TW I743477B TW 108115695 A TW108115695 A TW 108115695A TW 108115695 A TW108115695 A TW 108115695A TW I743477 B TWI743477 B TW I743477B
Authority
TW
Taiwan
Prior art keywords
image
area
optical flow
flow adjustment
adjustment area
Prior art date
Application number
TW108115695A
Other languages
English (en)
Other versions
TW202042177A (zh
Inventor
蔡宗諭
陳奕志
Original Assignee
威盛電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威盛電子股份有限公司 filed Critical 威盛電子股份有限公司
Priority to TW108115695A priority Critical patent/TWI743477B/zh
Priority to CN201910555216.7A priority patent/CN110264406B/zh
Publication of TW202042177A publication Critical patent/TW202042177A/zh
Application granted granted Critical
Publication of TWI743477B publication Critical patent/TWI743477B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

一種圖像處理裝置及圖像處理的方法。圖像處理裝置包括至少一個圖像擷取裝置及處理器。處理器從圖像擷取裝置接收第一圖像與第二圖像，並識別第一圖像與第二圖像之間的重疊區域。處理器分析所述重疊區域以獲得多個特徵點、第一經光流調整區域及第二經光流調整區域，利用特徵點作為頂點以將第一經光流調整區域及第二經光流調整區域劃分為多個三角區塊，將第一經光流調整區域及第二經光流調整區域中對應的三角區塊進行混合以形成經拼接區域，組合經拼接區域及第一圖像與第二圖像中的多個未重疊區域以產生經拼接圖像。

Description

圖像處理裝置及圖像處理的方法
本發明是有關於一種圖像(image)及影像(video)處理技術，且特別是有關於一種利用稀疏光流法及三角區塊進行圖像拼接以降低運算複雜度的圖像處理裝置及圖像處理的方法。
圖像擷取技術越發進步的現今，使用者經常希望能利用手上的消費型電子設備來擷取視角更大、更為立體的畫面及影像。然而，由於單一台照相機或攝影機有其自身的鏡頭視角大小的問題，若希望獲得立體或是廣域(如，180度或360度)視角的圖像的話，常用多台照相機或攝影機同時擷取影像並將這些影像進行拼接，便是目前最常使用的影像擷取與拼接技術。
許多影像拼接技術/影像匹配技術需要十分大量的運算量來計算兩張或多張圖像上所有像素點的偏移量，才能進行像素級別的圖像匹配/圖像拼接。然而，上述作法需要許多硬體運算量來實現，難以應用於即時性的圖像拼接應用。
本發明提供一種圖像處理裝置及圖像處理的方法，利用稀疏光流法及三角區塊進行圖像拼接，以大幅降低運算複雜度並可具備較佳的影像品質，從而適用於圖像拼接的即時運算、立體圖像及影像生成等諸多即時性應用。
本發明實施例的圖像處理裝置包括至少一圖像擷取裝置以及處理器。所述至少一個圖像擷取裝置用以擷取第一圖像與第二圖像。第一圖像與第二圖像部分重疊。處理器耦接圖像擷取裝置。處理器從圖像擷取裝置接收第一圖像與第二圖像，識別第一圖像與第二圖像之間的重疊區域以作為第一重疊區域及第二重疊區域。處理器分析第一重疊區域及第二重疊區域以獲得多個特徵點、第一經光流調整區域及第二經光流調整區域。處理器利用所述特徵點作為頂點以將第一經光流調整區域及第二經光流調整區域劃分為多個三角區塊，並將第一經光流調整區域及第二經光流調整區域中對應的三角區塊進行混合以形成經拼接區域。處理器組合經拼接區域及第一圖像與第二圖像中的多個未重疊區域以產生經拼接圖像。經拼接圖像為第一圖像與第二圖像的拼接結果。
本發明實施例的圖像處理的方法包括：獲得第一圖像與第二圖像，其中第一圖像與第二圖像部分重疊；識別第一圖像與第二圖像之間的重疊區域以作為第一重疊區域及第二重疊區域；分析第一重疊區域及第二重疊區域以獲得多個特徵點、第一經光流 調整區域及第二經光流調整區域；利用所述特徵點作為頂點以將第一經光流調整區域及第二經光流調整區域劃分為多個三角區塊，並將第一經光流調整區域及第二經光流調整區域中對應的三角區塊進行混合以形成經拼接區域；以及，組合經拼接區域及第一圖像與第二圖像中的多個未重疊區域以產生經拼接圖像，經拼接圖像為第一圖像與第二圖像的拼接結果。
基於上述，本發明實施例所述的圖像處理裝置及圖像處理的方法在進行兩個圖像的圖像拼接時，利用圖像特徵檢測法及稀疏光流法以分析圖像中重疊區域，從而產生數個特徵點及經由稀疏光流法處理後的重疊區域。然後，圖像處理裝置利用這些特徵點劃分處理後的重疊區域以獲得數個三角區塊，藉以將重疊區域中位於相同位置的三角區塊利用視像內插、像素混合等方式進行混合以形成經拼接區域，並利用第一圖像與第二圖像中的多個未重疊區域以產生經拼接圖像。換言之，本發明實施例利用稀疏光流法及三角區塊進行圖像拼接，且不需藉由稠密光流法將重疊區域中的每個像素皆進行運算，藉此大幅降低運算複雜度並可具備較佳的影像品質，從而適用於圖像拼接的即時運算、立體圖像及影像生成等諸多即時性應用。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100:圖像處理裝置
110:圖像擷取裝置
120:處理器
130:儲存單元
211~227:圖像擷取裝置的鏡頭
S310~S350:圖像處理的方法的各步驟
410:第一圖像
420:第二圖像
430、440:第一重疊區域
432、442:第二重疊區域
450、452:非重疊區域
530:第一經光流調整區域
532:第二經光流調整區域
600:經拼接圖像
630:經拼接區域
640-1、640-2:經拼接區域
A1、B1、C1、D1、E1、F1、A2、B2、C2、D2、E2、F2:特徵點
(X1，Y1)、(X2，Y2):座標
圖1是依照本發明一實施例的一種圖像處理裝置的示意圖。
圖2A至圖2C分別是依照本發明一實施例中多個圖像擷取裝置的鏡頭排列的示意圖。
圖3是依照本發明一實施例的一種圖像處理的方法的流程圖。
圖4是本發明一實施例以圖2B的鏡頭排列所獲得的第一圖像及第二圖像的示意圖。
圖5是本發明一實施例中第一經光流調整區域及第二經光流調整區域的示意圖。
圖6是依照本發明一實施例以將第一圖像與第二圖像進行圖像拼接後的經拼接圖像示意圖。
圖1是依照本發明一實施例的一種圖像處理裝置100的示意圖。圖像處理裝置100可以是具備一個或多個鏡頭或外接圖像擷取裝置(例如，具備多個鏡頭的全景照相機)的消費型電子裝置，如筆記型電腦、智慧型手機、桌上型電腦...等。本實施例的圖像處理裝置100可用於處理圖像拼接以作為圖像或影像顯示的應用，如虛擬實境眼鏡所需的左眼影像與右眼影像、全景投影機的全景影像...等。
圖像處理裝置100至少包括至少一個圖像擷取裝置(如，圖1所示的圖像擷取裝置110)以及處理器120。圖像處理裝置100 還可包括儲存單元130，以作為處理圖像時的暫存區。處理器120可以是中央處理器(CPU)、繪圖處理器(GPU)、數位訊號處理器(DSP)...等。儲存單元130可以是隨機存取記憶體、快取硬碟...等。應用本實施例者應其需求調整處理器120及儲存單元130的實現元件，只要其功能符合本發明實施例即可。
本實施例的圖像擷取裝置110可具備多樣化的鏡頭排列，從而讓所擷取的圖像具備足夠的重疊部分，藉以進行圖像拼接，並在立體圖像或全景圖像上的應用上獲得較佳的感官呈現。本實施例中，為使兩個圖像之間的重疊區域足以平順地進行圖像拼接，希望所述重疊區域的面積至少可佔圖像面積的15%或以上。例如，若圖像的格式為1920×1080時，則重疊面積中的像素數量超過31萬個為佳。當然，應用本實施例者可依其需求來設置重疊區域與圖像之間的面積佔比，本揭露不限制於此。於符合本實施例的其他實現方式中，亦可單獨使用具備單個鏡頭的單個圖像擷取裝置，並透過擷取多張且互為連續的圖像的方式來獲得多個圖像，並將這些圖像相互拼接以獲得完整的全景圖像、立體圖像或其他應用所需之圖像、影像。
圖2A至圖2C分別是依照本發明一實施例中多個圖像擷取裝置的鏡頭排列的示意圖。圖2A中揭示用以擷取全景圖像的8個圖像擷取裝置，這8個圖像擷取裝置的鏡頭211~218以中心點N為準且成放射型排列。並且，為使圖像擷取裝置所擷取的圖像 (稱為，第一圖像)與鄰近的圖像擷取裝置所擷取的圖像(稱為，第二圖像)之間有足夠的重疊面積，本實施例將圖像擷取裝置的數量稱為N個(N為正整數)，每個圖像擷取裝置的視角為X度(X為正數)，因此圖像擷取裝置的數量(N)乘以每個圖像擷取裝置的視角(X)的數值大於等於720度為佳(亦即，X×N
Figure 108115695-A0305-02-0008-4
720°)。因此，圖2A中每個圖像擷取裝置的視角設計在90度或90度以上的角度範圍為佳。此外，亦可讓每個圖像擷取裝置的視角與相鄰圖像擷取裝置的視角相互交疊約50%以上，從而獲得較佳的圖像拼接效果。
應用本實施例者亦可使用不同數量、不同排列的圖像擷取裝置來實現本實施例，圖2B中揭示以兩個圖像擷取裝置來實現圖像的擷取，在此主要繪示這兩個圖像擷取裝置的鏡頭219及220。鏡頭219的圖像擷取方向W1與圖像擷取裝置的鏡頭220的圖像擷取方向W2相反，且為使透過鏡頭219所擷取到的圖像能夠與鏡頭220所擷取到的圖像相互重疊，鏡頭219的視角EOF1及鏡頭220的視角EOF2經設計在220度或以上的角度範圍為佳。圖2C中揭示9個圖像擷取裝置所對應的鏡頭221~229，這些鏡頭221~229以3×3的陣列形式排列在同一平面上。藉此，相鄰圖像擷取裝置所所擷取的圖像便可具備充足的重疊區域。應用本實施例者亦可使用不同陣列或形狀來排列多個鏡頭。
圖3是依照本發明一實施例的一種圖像處理的方法的流 程圖。圖3所述圖像處理的方法可依據圖1中圖像處理裝置100來實現。請參照圖1及圖3，於步驟S310中，處理器120從至少一個圖像擷取裝置110獲得包含第一圖像與第二圖像的多個圖像。本實施例以第一圖像與跟第一圖像相鄰的第二圖像作為舉例，且第一圖像與第二圖像部分重疊。於步驟S320中，處理器120識別第一圖像與第二圖像之間的重疊區域以作為第一重疊區域及第二重疊區域。
為方便說明步驟S320，本實施例利用圖4作為舉例。圖4是本發明一實施例以圖2B的鏡頭排列所獲得的第一圖像410及第二圖像420的示意圖。圖4的第一圖像410係由鏡頭219所擷取，第二圖像420由鏡頭220所擷取。因此，處理器120識別出第一圖像410具備兩個第一重疊區域430及440以及非重疊區域450、識別出第二圖像420具備兩個第二重疊區域432及442以及非重疊區域452，第一重疊區域430與第二重疊區域432相互重疊，且第一重疊區域440與第二重疊區域442相互重疊。為方便說明，本實施例主要以第一重疊區域430與第二重疊區域432作為舉例，應用本實施例者可依本實施例的揭示引申到第一重疊區域440與第二重疊區域442或相似重疊區域的圖像拼接、混合。
請參考圖3及圖4，於步驟S330中，圖1的處理器120分析第一重疊區域430及第二重疊區域440以獲得多個特徵點、第一經光流調整區域及第二經光流調整區域。詳細來說，步驟S330 可由步驟S332及S334實現。於步驟S332中，圖1的處理器120依據圖像特徵檢測法(如，尺度不見特徵轉換(Seale-invariant feature transform；SIFT)、定向快速及旋轉簡述(Oriented FAST and rotated BRIEF；ORB)或其他圖像特徵檢測法)來分析所欲混合的兩個重疊區域(即，第一重疊區域430及第二重疊區域432)中的像素資訊以取得可作為像素代表的特徵點，並利用稀疏光流法(例如是，LucasKanade光流法)計算這些特徵點所對應的光流向量。由於本發明實施例僅從像素中選擇部分的特徵點進行光流向量的計算，因此相較於將每個像素皆計算對應的光流向量的稠密光流法來說，圖像特徵檢測法結合稀疏光流法所需的計算複雜度大為降低。
所謂的『光流向量』是指，當第一重疊區域430中的每個像素要調整成第二重疊區域432中的對應像素時，第一重疊區域430中的像素要移動多少向量(亦即，光流向量，在一例子中可以是以像素數為單位)才會最為接近第二重疊區域432中的對應像素的內容。相似地，當第二重疊區域432中的每個像素要調整成第一重疊區域430中的對應像素時，第二重疊區域432中的像素要移動多少向量(亦即，光流向量)才會最為接近第一重疊區域430中的對應像素的內容。
於步驟S334中，圖1的處理器120便可依據這些特徵點及其所對應的光流向量調整第一重疊區域430及第二重疊區域 432以形成第一經光流調整區域及第二經光流調整區域。在此以圖5中的第一經光流調整區域530及第二經光流調整區域532作為舉例，圖5是本發明一實施例中第一經光流調整區域530及第二經光流調整區域532的示意圖。於本實施例中，由於第一重疊區域430及第二重疊區域432互為左右重疊，因此若要進行雙向(亦即，從第一重疊區域430調整成第二重疊區域432；或是，從第二重疊區域432調整成第一重疊區域430)的像素混合運算的話，就需要先行計算出從第一重疊區域430調整成第二重疊區域432的第一經光流調整區域530，以及從第二重疊區域432調整成第一重疊區域430的第二經光流調整區域532。
處理器120是依據特定比例來調整第一重疊區域430及第二重疊區域432以形成第一經光流調整區域530及第二經光流調整區域532。此特定比例可依據第一重疊區域430的像素與第二重疊區域432的對應像素之間的光流向量值、使用者的瞳距(pupil distance；IPD)...等參數和/或按照拼接圖像的應用而對應地調整。例如，經圖像拼接後的經拼接圖像可以採取：將位於第一經光流調整區域530(亦即，從左方第一重疊區域430到右方第二重疊區域432產生之經光流調整區域)中光流向量的比例設為50%的比例來移動第一重疊區域430中的各像素以形成第一經光流調整區域530，且將第二經光流調整區域532(亦即，從右方第二重疊區域432到左方第一重疊區域430產生之經光流調整區域)中光流向量 的位移取50%的比例來移動第二重疊區域432中的各像素以形成第二經光流調整區域532，並且利用第一經光流調整區域530與第二經光流調整區域532進行後續像素混合的計算。換句話說，於本實施例中，第一重疊區域430中的各像素會移動至要調整成第二重疊區域432中的對應像素時的向量的中間位置，而第二重疊區域432中的各像素也會移動至要調整成第一重疊區域430中的對應像素時的向量的中間位置，再將上述二者進行後續像素混合的計算。若經拼接圖像的應用是用於立體圖像的呈現，則可採取：將位於第一經光流調整區域530中光流向量的比例設為20%的比例，且將第二經光流調整區域532中光流向量的位移取80%的比例來進行像素混合的計算，以獲得立體圖像中的左眼圖像；將位於第一經光流調整區域530中光流向量的比例設為80%的比例，且將第二經光流調整區域532中光流向量的位移取20%的比例來進行像素混合的計算，以獲得立體圖像中的右眼圖像。最後，依據上述的左眼圖像及右眼圖像重新編碼以產生立體圖像或立體影像。在立體圖像的實施例中，光流向量的比例可以依據使用者的瞳距調整。
請同時參考圖3及圖5，由於步驟S330僅處理像素中的特徵點，並未將全部的像素進行處理，因此為了讓經畫面拼接後的結果更為平滑，於步驟S340中，圖1的處理器120利用步驟S332所獲得的多個特徵點作為頂點以將第一經光流調整區域530及第 二經光流調整區域532劃分為多個三角區塊，並將第一經光流調整區域530及第二經光流調整區域532中對應的所述三角區塊進行混合以形成經拼接區域。詳細來說，圖5中的第一經光流調整區域530包括特徵點A1、B1、C1、D1、E1及F1，第二經光流調整區域532包括特徵點A2、B2、C2、D2、E2及F2，且特徵點A1對應特徵點A2；特徵點B1對應特徵點B2；特徵點C1對應特徵點C2；特徵點D1對應特徵點D2；特徵點E1對應特徵點E2；特徵點F1對應特徵點F2。處理器120利用特徵點A1、B1、C1、D1、E1及F1作為頂點以形成多個三角區塊，特徵點A2、B2、C2、D2、E2及F2作為頂點以為對應的多個三角區塊。然後，處理器120將第一經光流調整區域530中的第一三角區塊(如，以特徵點A1、B1、C1作為頂點的三角區塊)及第二經光流調整區域532中對應位置的第二三角區塊(如，以特徵點A2、B2、C2作為頂點的三角區塊)進行混合，以形成經拼接區域中對應位置的經拼接三角區塊。所述『混合』是以特定比例結合相對應的兩個三角區塊的座標、像素值，利用視像內插(view interpolation)技術補插出經拼接區域中對應位置的經拼接三角區塊，並將這些經拼接三角區塊組合成經拼接區域。用於混合座標的特定比例與用於混合像素值的特定比例可以互為相同或不同數值。例如，混合座標的作法可以例如是，若特徵點D1的座標為(X1，Y1)、特徵點D2的座標為(X2，Y2)、且特定比例為θ，則經拼接區域中對應特徵點D1及特徵點 D2的像素將位於((X1+X2)×θ，(Y1+Y2)×θ)。若θ為50%，則像素座標位於(
Figure 108115695-A0305-02-0014-1
,
Figure 108115695-A0305-02-0014-2
。
而在另一實施例中，混合像素值的作法可以例如是以下述方程式F1及F2表示的像素值：
Figure 108115695-A0305-02-0014-3
D=tanh(k 4×d 12)…F2
上述方程式的c為混合後的像素值；c1為第一經光流調整區域530的特徵點的像素值；c2為對應的第二經光流調整區域532的特徵點的像素值；r1與r2為結合像素值的特定比例(r1與r2可依需求調整，例如可以是r1=0.5/r2=0.5或r1=0.2/r2=0.8...等數值)；α1與α2分別為對應該特徵點的第一重疊區域430像素與第二重疊區域432像素的不透明度參數(Alpha Channel)；I12與I21分別為將對應該特徵點的第一重疊區域430像素調整成第二重疊區域432中對應像素的光流向量與將對應該特徵點的第二重疊區域432像素調整成第一重疊區域430中對應像素的光流向量；d12為對應該特徵點的第一重疊區域430像素與第二重疊區域432中對應像素間的色差(即像素間的歐式距離(Euclidean distance))；k1到k4為可依需求調整的常數。故在本實施例中，用於混合像素值的特定比例可依據對應該特徵點的第一重疊區域430的像素與第二重疊區域432像素的色差、不透明度參數、光流向量值而調 整；不透明度參數越大者在像素值的混合中所佔的比例越高，而光流向量越大者在像素值的混合中所佔的比例也越高。在其他實施例中，混合像素值的作法也可以是以其他方式進行，例如可以不考慮不透明度參數(即將上式中的α1與α2設為常數而併入k2與k3)，或是直接將第一經光流調整區域530的特徵點與對應的第二經光流調整區域532的特徵點的像素值計算平均值作為混合後的像素值。
於步驟S350中，圖1的處理器120組合由步驟S340獲得的經拼接區域及第一圖像(如，圖4中第一圖像410)與第二圖像(如，圖4中第二圖像420)中的多個未重疊區域(如，第一圖像410的未重疊區域450以及第二圖像420的未重疊區域452)以產生經拼接圖像600，如圖6所示。圖6是依照本發明一實施例以將第一圖像410與第二圖像420進行圖像拼接後的經拼接圖像600示意圖。此處的經拼接圖像600為圖4的第一圖像410與第二圖像420的拼接結果。從圖6中可知，經拼接圖像600為利用經拼接區域630(即，由第一重疊區域430與第二重疊區域432經拼接及混合後的區域)、經拼接區域640-1、640-2(即，由第一重疊區域440與第二重疊區域442經拼接及混合後的區域，因為經拼接圖像600為全景圖像，因此分為兩個經拼接區域640-1、640-2呈現)、第一圖像410的未重疊區域450以及第二圖像420的未重疊區域452相互組合而成。
綜上所述，本發明實施例所述的圖像處理裝置及圖像處理的方法在進行兩個圖像的圖像拼接時，利用圖像特徵檢測法及稀疏光流法以分析圖像中重疊區域，從而產生數個特徵點及經由稀疏光流法處理後的重疊區域。然後，圖像處理裝置利用這些特徵點劃分處理後的重疊區域以獲得數個三角區塊，藉以將重疊區域中位於相同位置的三角區塊利用視像內插、像素混合等方式進行混合以形成經拼接區域，並利用第一圖像與第二圖像中的多個未重疊區域以產生經拼接圖像。換言之，本發明實施例利用稀疏光流法及三角區塊進行圖像拼接，且不需藉由稠密光流法將重疊區域中的每個像素皆進行運算，藉此大幅降低運算複雜度並可具備較佳的影像品質，從而適用於圖像拼接的即時運算、立體圖像及影像生成等諸多即時性應用。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S310~S350:圖像處理的方法的各步驟

Claims (8)

  1. 一種圖像處理裝置，包括：至少一圖像擷取裝置，用以擷取第一圖像與第二圖像，其中所述第一圖像與所述第二圖像部分重疊；以及處理器，耦接所述至少一圖像擷取裝置，其中所述處理器從所述至少一圖像擷取裝置接收所述第一圖像與所述第二圖像，識別所述第一圖像與所述第二圖像之間的重疊區域以作為第一重疊區域及第二重疊區域，其中所述處理器分析所述第一重疊區域及所述第二重疊區域以獲得多個特徵點、第一經光流調整區域及第二經光流調整區域，所述處理器利用所述多個特徵點作為頂點以將所述第一經光流調整區域及所述第二經光流調整區域劃分為多個三角區塊，並將所述第一經光流調整區域及所述第二經光流調整區域中對應的所述三角區塊進行混合以形成經拼接區域，所述處理器組合所述經拼接區域及所述第一圖像與所述第二圖像中的多個未重疊區域以產生經拼接圖像，其中所述經拼接圖像為所述第一圖像與所述第二圖像的拼接結果，其中所述處理器依據特定比例將所述第一經光流調整區域及所述第二經光流調整區域中對應的所述三角區塊進行混合以形成所述經拼接區域，其中所述特定比例依據所述第一重疊區域的像素與所述第二重疊區域的對應像素之間的色差、不透明度參數、光流向量值而調 整。
  2. 如申請專利範圍第1項所述的圖像處理裝置，其中所述處理器依據圖像特徵檢測法及稀疏光流法分析所述第一重疊區域及所述第二重疊區域，以獲得所述多個特徵點以及每個特徵點所對應的光流向量，並依據所述多個特徵點及其所對應的所述光流向量調整所述第一重疊區域及所述第二重疊區域以形成所述第一經光流調整區域及所述第二經光流調整區域。
  3. 如申請專利範圍第1項所述的圖像處理裝置，其中所述第一圖像與所述第二圖像之間的所述重疊區域的面積至少佔所述第一圖像或所述第二圖像15%或以上。
  4. 如申請專利範圍第1項所述的圖像處理裝置，其中所述至少一圖像擷取裝置包括依據中心點為準且成放射型排列的多個圖像擷取裝置，其中所述圖像擷取裝置的數量乘以每個圖像擷取裝置的視角的數值大於等於720。
  5. 如申請專利範圍第1項所述的圖像處理裝置，其中所述至少一圖像擷取裝置包括以陣列排列在同一平面的多個圖像擷取裝置。
  6. 一種圖像處理的方法，包括：獲得第一圖像與第二圖像，其中所述第一圖像與所述第二圖像部分重疊；識別所述第一圖像與所述第二圖像之間的重疊區域以作為第一重疊區域及第二重疊區域； 分析所述第一重疊區域及所述第二重疊區域以獲得多個特徵點、第一經光流調整區域及第二經光流調整區域；利用所述多個特徵點作為頂點以將所述第一經光流調整區域及所述第二經光流調整區域劃分為多個三角區塊，並將所述第一經光流調整區域及所述第二經光流調整區域中對應的三角區塊進行混合以形成經拼接區域；以及組合所述經拼接區域及所述第一圖像與所述第二圖像中的多個未重疊區域以產生經拼接圖像，其中所述經拼接圖像為所述第一圖像與所述第二圖像的拼接結果，其中將所述第一經光流調整區域及所述第二經光流調整區域中對應的所述三角區塊進行混合的步驟是依據特定比例以形成所述經拼接區域，其中所述特定比例依據所述第一重疊區域的像素與所述第二重疊區域的對應像素之間的色差、不透明度參數、光流向量值而調整。
  7. 如申請專利範圍第6項所述的圖像處理的方法，分析所述第一重疊區域及所述第二重疊區域以獲得所述多個特徵點、所述第一經光流調整區域及所述第二經光流調整區域的步驟包括：依據圖像特徵檢測法及稀疏光流法分析所述第一重疊區域及所述第二重疊區域，以獲得所述多個特徵點以及每個特徵點所對應的光流向量；以及依據所述多個特徵點及其所對應的所述光流向量調整所述第 一重疊區域及所述第二重疊區域以形成所述第一經光流調整區域及所述第二經光流調整區域。
  8. 如申請專利範圍第6項所述的圖像處理的方法，其中所述第一圖像與所述第二圖像之間的所述重疊區域的面積至少佔所述第一圖像或所述第二圖像15%或以上。
TW108115695A 2019-05-07 2019-05-07 圖像處理裝置及圖像處理的方法 TWI743477B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108115695A TWI743477B (zh) 2019-05-07 2019-05-07 圖像處理裝置及圖像處理的方法
CN201910555216.7A CN110264406B (zh) 2019-05-07 2019-06-25 图像处理装置及图像处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108115695A TWI743477B (zh) 2019-05-07 2019-05-07 圖像處理裝置及圖像處理的方法

Publications (2)

Publication Number Publication Date
TW202042177A TW202042177A (zh) 2020-11-16
TWI743477B true TWI743477B (zh) 2021-10-21

Family

ID=67921418

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108115695A TWI743477B (zh) 2019-05-07 2019-05-07 圖像處理裝置及圖像處理的方法

Country Status (2)

Country Link
CN (1) CN110264406B (zh)
TW (1) TWI743477B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827555B (zh) 2021-01-28 2024-05-31 中强光电股份有限公司 显示环景影像的显示系统及其操作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681423A (zh) * 2007-01-26 2010-03-24 扑动公司 捕获、处理、以及绘制图像的方法
CN101901481A (zh) * 2010-08-11 2010-12-01 深圳市蓝韵实业有限公司 一种图像拼接方法
CN105550981A (zh) * 2015-11-27 2016-05-04 中山大学 一种基于Lucas-Kanade算法的图像配准和拼接方法
TW201715476A (zh) * 2015-10-26 2017-05-01 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統
CN107274337A (zh) * 2017-06-20 2017-10-20 长沙全度影像科技有限公司 一种基于改进光流的图像拼接方法
CN108648149A (zh) * 2018-05-10 2018-10-12 上海扩博智能技术有限公司 基于增强现实的图像拼接方法、系统、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4595733B2 (ja) * 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
CN107067368B (zh) * 2017-01-20 2019-11-26 武汉大学 基于影像变形的街景影像拼接方法及系统
CN107292822B (zh) * 2017-06-26 2020-08-28 北京奇艺世纪科技有限公司 一种图像的拼接方法和装置
CN107767339B (zh) * 2017-10-12 2021-02-02 深圳市未来媒体技术研究院 一种双目立体图像拼接方法
CN109146833A (zh) * 2018-08-02 2019-01-04 广州市鑫广飞信息科技有限公司 一种视频图像的拼接方法、装置、终端设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681423A (zh) * 2007-01-26 2010-03-24 扑动公司 捕获、处理、以及绘制图像的方法
CN101901481A (zh) * 2010-08-11 2010-12-01 深圳市蓝韵实业有限公司 一种图像拼接方法
TW201715476A (zh) * 2015-10-26 2017-05-01 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統
CN105550981A (zh) * 2015-11-27 2016-05-04 中山大学 一种基于Lucas-Kanade算法的图像配准和拼接方法
CN107274337A (zh) * 2017-06-20 2017-10-20 长沙全度影像科技有限公司 一种基于改进光流的图像拼接方法
CN108648149A (zh) * 2018-05-10 2018-10-12 上海扩博智能技术有限公司 基于增强现实的图像拼接方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN110264406A (zh) 2019-09-20
TW202042177A (zh) 2020-11-16
CN110264406B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US12022227B2 (en) Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
US11756152B2 (en) Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US20230291884A1 (en) Methods for controlling scene, camera and viewing parameters for altering perception of 3d imagery
JP2005339313A (ja) 画像提示方法及び装置
JP5743016B2 (ja) 画像を生成する装置および方法
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
TWI434129B (zh) 全景影像播放裝置與系統
CN114513646B (zh) 一种三维虚拟场景中全景视频的生成方法及设备
CN105809729A (zh) 一种虚拟场景的球形全景渲染方法
CN105139336B (zh) 一种多通道全景影像转换球幕鱼眼影片的方法
CN114390262A (zh) 用于拼接三维球面全景影像的方法及电子装置
TWI743477B (zh) 圖像處理裝置及圖像處理的方法
JP6719596B2 (ja) 画像生成装置、及び画像表示制御装置
US10497094B2 (en) Method and apparatus for multi-band blending of a seam in an image derived from multiple cameras
JP6394682B2 (ja) 方法および画像処理装置
WO2019163449A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2019146010A (ja) 画像処理装置、画像処理方法およびプログラム
JP6705477B2 (ja) 画像処理システム、画像処理方法およびプログラム
JP2013223133A (ja) 誘導装置、誘導方法、及び誘導プログラム
JP2022043132A (ja) 画像処理システム、画像処理方法およびプログラム
Shulgin et al. Multiprojector image distortion correction scheme for curved screens on the example of the Cybersphere
JP2003030676A (ja) 三次元画像描画方法及び装置並びに記録媒体