TW201906398A - 影像擷取裝置及其影像拼接方法 - Google Patents
影像擷取裝置及其影像拼接方法 Download PDFInfo
- Publication number
- TW201906398A TW201906398A TW106120861A TW106120861A TW201906398A TW 201906398 A TW201906398 A TW 201906398A TW 106120861 A TW106120861 A TW 106120861A TW 106120861 A TW106120861 A TW 106120861A TW 201906398 A TW201906398 A TW 201906398A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- generate
- auxiliary
- overlapping area
- sensor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004927 fusion Effects 0.000 claims description 41
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 238000002156 mixing Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 101001002508 Homo sapiens Immunoglobulin-binding protein 1 Proteins 0.000 description 1
- 101001081567 Homo sapiens Insulin-like growth factor-binding protein 1 Proteins 0.000 description 1
- 101001044940 Homo sapiens Insulin-like growth factor-binding protein 2 Proteins 0.000 description 1
- 102100027636 Insulin-like growth factor-binding protein 1 Human genes 0.000 description 1
- 102100022710 Insulin-like growth factor-binding protein 2 Human genes 0.000 description 1
- 101001012092 Mus musculus Epsin-1 Proteins 0.000 description 1
- 101001012096 Mus musculus Epsin-2 Proteins 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
一種影像擷取裝置及其影像拼接方法，此方法包括：利用影像擷取裝置的第一影像感測器及第二感測器分別偵測拍攝場景，以產生第一攝像資訊及第二攝像資訊；利用第一影像感測器，分別根據第一攝像資訊及第二攝像資訊擷取拍攝場景的影像，以產生第一影像及第一輔助影像；利用第二影像感測器，分別根據第二攝像資訊及第一攝像資訊擷取拍攝場景的影像，以產生第二影像及第二輔助影像；融合第一影像與第一輔助影像，融合第二影像與第二輔助影像，以取得第一影像中的第一重疊區域及第二影像中的第二重疊區域各自的融合結果，據以產生拼接影像。
Description
本發明是有關於一種影像擷取裝置及其影像拼接的技術。
隨著科技的發展，各式各樣的智慧型影像擷取裝置，舉凡平板型電腦、個人數位化助理、及智慧型手機等，已成為現代人不可或缺的工具。其中，高階款的智慧型影像擷取裝置所搭載的相機鏡頭已經與傳統消費型相機不相上下，甚至可以取而代之，少數高階款更具有接近數位單眼的畫素和畫質或者是提供更為進階的功能和效果。
以全景相機為例，其是利用影像拼接技術（image stitching）將多個鏡頭同時所拍攝的影像銜接，以補捉到較大視野的拍攝場景，使得觀看照片時有如身歷其境的感覺。然而，正因為不同鏡頭是以不同視角去觀看同一場景，使得不同鏡頭所偵測到的場景資訊略有差異，進而導致後續影像拼接處理上的困難。舉例來說，當陽光於接近左鏡頭的方向照射時，左鏡頭與右鏡頭所擷取到的影像的曝光程度將會有所不同，而後續所拼接的影像中將會出現明顯的接縫線或是不自然的色帶。
有鑑於此，本發明提供一種影像擷取裝置及其影像拼接方法，其可大幅提升拼接影像的品質。
在本發明的一實施例中，上述的影像拼接方法，適用於包括第一影像感測器以及第二影像感測器的影像擷取裝置，此方法包括下列步驟。利用第一影像感測器以及第二感測器分別偵測拍攝場景，以產生對應於第一影像感測器的第一攝像資訊以及對應於第二感測器的第二攝像資訊。利用第一影像感測器，分別根據第一攝像資訊以及第二攝像資訊擷取拍攝場景的影像，以產生第一影像以及第一輔助影像。利用第二影像感測器，分別根據第二攝像資訊以及第一攝像資訊擷取拍攝場景的影像，以產生第二影像以及第二輔助影像，其中第一影像以及第一輔助影像具有第一重疊區域，第二影像以及第二輔助影像具有第二重疊區域，第一重疊區域對應於第二重疊區域。融合第一影像與第一輔助影像，並且融合第二影像與第二輔助影像，以分別取得對應於第一重疊區域以及對應於第二重疊區域的融合結果。之後，根據第一影像、融合結果以及第二影像，產生拼接影像。
在本發明的一實施例中，上述的影像擷取裝置包括第一影像感測器、第二影像感測器以及處理器，其中第一影像感測器與第二影像感測器互相耦接，處理器耦接於第一影像感測器以及第二影像感測器。第一影像感測器以及第二影像感測器用以偵測拍攝場景並且擷取拍攝場景的影像。處理器用以利用第一影像感測器以及第二感測器分別偵測拍攝場景，以產生對應於第一影像感測器的第一攝像資訊以及對應於第二感測器的第二攝像資訊，利用第一影像感測器，分別根據第一攝像資訊以及第二攝像資訊擷取拍攝場景的影像，以產生第一影像以及第一輔助影像，利用第二影像感測器，分別根據第二攝像資訊以及第一攝像資訊擷取拍攝場景的影像，以產生第二影像以及第二輔助影像，融合第一影像與第一輔助影像，並且融合第二影像與第二輔助影像，以分別取得對應於第一重疊區域以及第二重疊區域的融合結果，據以產生拼接影像，其中第一影像以及第一輔助影像具有第一重疊區域，第二影像以及第二輔助影像具有第二重疊區域，第一重疊區域對應於第二重疊區域。
在本發明的一實施例中，上述的影像拼接方法，適用於包括單一個影像感測器的影像擷取裝置，此方法包括下列步驟。利用影像感測器以第一視角偵測拍攝場景，以產生對應於第一視角的第一攝像資訊，並且利用影像感測器以第一視角擷取拍攝場景的影像，以產生第一影像。利用影像感測器以第二視角偵測拍攝場景，以產生對應於第二視角的第二攝像資訊，並且利用影像感測器分別根據第二攝像資訊以及第一攝像資訊擷取拍攝場景的影像，以產生第二影像以及輔助影像，其中第一影像具有第一重疊區域，第二影像以及輔助影像具有第二重疊區域，第一重疊區域對應於第二重疊區域。融合第二影像與輔助影像，以產生融合結果，以及根據第一影像、融合結果以及第二影像，產生拼接影像。
在本發明的一實施例中，上述的影像擷取裝置包括單一個影像感測器以及處理器，其中處理器耦接於影像感測器。影像感測器用以偵測拍攝場景並且擷取拍攝場景的影像。處理器用以利用影像感測器以第一視角偵測拍攝場景，以產生對應於第一視角的第一攝像資訊，利用影像感測器以第一視角擷取拍攝場景的影像，以產生第一影像，利用影像感測器以第二視角偵測拍攝場景，以產生對應於第二視角的第二攝像資訊，並且利用影像感測器分別根據第二攝像資訊以及第一攝像資訊擷取拍攝場景的影像，以產生第二影像以及輔助影像，融合第二影像與輔助影像，以產生融合結果，以及根據第一影像、融合結果以及第二影像，產生拼接影像，其中第一影像具有第一重疊區域，第二影像以及輔助影像具有第二重疊區域，第一重疊區域對應於第二重疊區域。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與裝置的範例。
圖1是根據本發明一實施例所繪示之影像擷取裝置的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹影像擷取裝置之所有構件以及配置關係，詳細功能將配合圖2一併揭露。
請參照圖1，影像擷取裝置100包括第一影像感測器10A、第二影像感測器10B以及處理器20。在本實施例中，影像擷取裝置100例如是數位相機、單眼相機、數位攝影機或是其他具有影像擷取功能的智慧型手機、平板電腦、個人數位助理、平板電腦等、頭戴顯示器等裝置，本發明不以此為限。
第一影像感測器10A以及第二影像感測器10B分別包括鏡頭、致動器以及感光元件，其中鏡頭包括透鏡。致動器可以例如是步進馬達（stepping motor）、音圈馬達（voice coil motor，VCM）、壓電致動器（piezoelectric actuator）或其它可機械式地移動透鏡的致動器，本發明不在此設限。感光元件用以分別感測進入透鏡的光線強度，進而分別產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件，本發明不在此設限。值得注意的是，第一影像感測器10A與第二影像感測器10B相互耦接，用以互相傳輸彼此偵測到的攝像資訊，細節將於稍後說明。
處理器20可以例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。處理器20耦接第一影像感測器10A以及第二影像感測器10B，其用以控制影像擷取裝置100整體的運作。
本領域具通常知識者應明瞭，影像擷取裝置更包括資料儲存裝置，用以儲存影像、資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置或這些裝置的組合。
以下即搭配圖1的影像擷取裝置100的各元件列舉實施例，以說明影像擷取裝置100執行影像拼接方法的詳細步驟。
圖2為根據本發明之一實施例所繪示的影像擷取裝置的影像拼接方法流程圖。
請同時參照圖1以及圖2，首先，當影像擷取裝置100在對拍攝場景進行影像擷取之前，處理器20將利用第一影像感測器10A偵測拍攝場景，以產生對應於第一影像感測器10A的第一攝像資訊（步驟S202A），並且利用第二影像感測器10B偵測拍攝場景，以產生對應於第二影像感測器10B的第二攝像資訊（步驟S202B）。在此的第一攝像資訊可以是利用3A演算法所取得到第一影像感測器10A對於拍攝場景所分析出的相關資訊。同樣地，第二攝像資訊亦可以是利用3A演算法所取得第二影像感測器10B對於拍攝場景所分析出的相關資訊。本實施例中，第一攝像資訊以及第二攝像資訊可以例如是曝光程度、色溫等。
接著，第一影像感測器10A以及第二影像感測器10B會將第一攝像資訊以及第二攝像資訊傳送至彼此，而處理器20將利用第一影像感測器10A，分別根據第一攝像資訊以及第二攝像資訊擷取拍攝場景的影像，以產生第一影像以及第一輔助影像（步驟S204A），並且將利用第二影像感測器10B，分別根據第二攝像資訊以及第一攝像資訊擷取拍攝場景的影像，以產生第二影像以及第二輔助影像（步驟S204B）。由於第一影像感測器10A以及第二影像感測器10B是分別以不同視角擷取相同的拍攝場景，因此第一影像與第二影像將具有相同拍攝內容的重疊區域。可推論地，第一輔助影像以及第二輔助影像僅是第一影像感測器10A以及第二影像感測器10B以不同的攝像資訊擷取相同的影像，因此第一輔助影像以及第二輔助影像同樣將具有與第一影像、第二影像相同的重疊區域。為了方便說明，以下將第一影像感測器10A所拍攝到的第一影像以及第一輔助影像中的重疊區域稱為「第一重疊區域」，第二影像感測器10B所拍攝到的第二影像以及第二輔助影像中的重疊區域稱為「第二重疊區域」。
在影像拼接的技術中，兩張影像的重疊區域將會決定影像拼接的品質。為了確保影像拼接的自然連續性，處理器20將融合第一影像與第一輔助影像（步驟S206A），並且融合第二影像與第二輔助影像（步驟S206B），以分別取得對應於第一重疊區域以及第二重疊區域的融合結果，進而根據第一影像、融合結果以及第二影像，產生拼接影像（步驟S208）。換句話說，在後續的影像拼接中，對應於原始第一重疊區域以及原始第二重疊區域的部份將會被融合結果所取代。由於融合結果是同時基於兩個影像感測器所偵測到攝像資訊，如此一來可避免在拼接影像中出現明顯的接縫線或是不自然的色帶。
詳細來說，以第一影像感測器10A的觀點來說，處理器20是利用第一影像的第一重疊區域與第一輔助影像中的第一重疊區域進行融合，而以第二影像感測器10B的觀點來說，處理器20是利用第二影像的第二重疊區域與第二輔助影像中的第二重疊區域進行融合。在此，第一重疊區域包括第一重疊邊界線以及第一接縫線，而第二重疊區域包括第二重疊邊界線以及第二接縫線，而第一影像中的第一接縫線與第二影像中的第二接縫線將成為兩張影像拼接的縫合處。因此，以第一影像而言，處理器20會將第一重疊邊界線與第一接縫線之間的區域以融合結果來取代，因此將稱為「第一融合重疊區域」，而以第二影像而言，處理器20會將第二重疊邊界線與第二接縫線之間的區域以融合結果來取代，因此將稱為「第二融合重疊區域」。處理器20是根據第一影像、第一融合重疊區域、第二融合重疊區域以及該第二影像來產生拼接影像。在本實施例中，假設第一融合重疊區域與第二融合重疊區域的面積相等，也就是拼接後的重疊區域一半將以第一影像為基底而另一半將以第二影像為基底。然而，此僅為用來舉例說明之用，並不用以限定本發明。
具體來說，以下將利用圖3為根據本發明之一實施例所繪示的第二影像來說明第二融合重疊區域的產生方式，而第一融合重疊區域的產生方式可依相同的方法類推。
請參照圖3，第二影像感測器10B所擷取的第二影像Img2包括第二重疊邊界線LO、第二接縫線LS以及第二影像邊界線LB。第二重疊邊界線LO與第二影像邊界線LB之間的區域為第二重疊區域，而第二接縫線LS與第二影像邊界線LB 之間的區域為拼接區域，其中拼接區域僅用以影像拼接但不會呈現於最終的拼接影像之中。
在此，第二影像Img2中的第二重疊邊界線LO與第二接縫線LS之間的區域將會被第二融合重疊區域所取代。處理器20將利用原始的第二影像Img2以及第二輔助影像（未繪示）相同區域來進行影像融合，以產生第二融合重疊區域。舉例來說，假設畫素P為第二融合重疊區域中的其中一個畫素。處理器20將會計算畫素P相對於第二重疊邊界線LO的距離dO以及畫素P相對於第二接縫線LS的距離dS，以產生第二權重比例。接著，處理器20再根據第二權重比，計算第二影像中對應於畫素P的畫素的像素值與第二輔助影像中對應於畫素P的畫素的像素值的加權總和，以產生畫素P的像素值，其可以下列方程式來表示：其中為第二融合重疊區域中座標為的畫素的像素值，為利用第一影像感測器10A的第一攝像資訊所拍攝到的第二輔助影像中座標為的畫素的像素值，為利用第二影像感測器10B本身的第二攝像資訊所拍攝到的第二影像中座標為的畫素的像素值，為影像擷取裝置位置之間的座標轉換函式，與為任意符合的函式。此外，當畫素P位於第二重疊邊界線LO時（即，），因為已是第二融合重疊區域中離第一影像最遠的位置，因此畫素P的像素值將會最接近於第二攝像資訊所拍攝到的第二影像的原始像素值（例如，）。另一方面，當畫素P位於第二接縫線LS時（即，），畫素P的像素值將會是同時考量到利用第二攝像資訊以及第一攝細資訊所拍攝到的第二影像以及第二輔助影像的的像素值（例如，）。整體來說，在本實施例中，處理器20可以例如是以下列方程式來產生畫素P的像素值：。
為了方便明瞭，圖4為根據本發明之一實施例所繪示的影像擷取裝置的影像拼接方法功能流程圖，以整合上述所提及的整體流程。
請參照圖4，首先第一影像感測器10A將偵測拍攝場景，以產生第一攝像資訊PI1，並且第二影像感測器10B將偵測拍攝場景，以產生第二攝像資訊PI2。第一影像感測器10A會將第一攝像資訊PI1傳輸至第二影像感測器10B，而第二影像感測器10B會將第二攝像資訊PI2傳輸至第一影像感測器10A。
接著，第一影像感測器10A將根據第一攝像資訊PI1擷取拍攝場景的影像，以產生第一影像Img1，並且將根據第二攝像資訊PI2擷取拍攝場景的影像，以產生第一輔助影像Img12。處理器20將針對第一影像Img1與第一輔助影像Img12進行影像融合處理IBP。另一方面，第二影像感測器10B將根據第二攝像資訊PI2擷取拍攝場景的影像，以產生第二影像Img2，並且將根據第一攝像資訊PI1擷取拍攝場景的影像，以產生第二輔助影像Img21。處理器20將針對第二影像Img2與第二輔助影像Img21進行影像融合處理IBP。
接著，處理器20將根據融合結果連同第一影像Img1以及第二影像Img2進行影像拼接處理SP，以產生拼接影像Img’。以上流程的細節請參照前述實施例的相關說明，於此不再贅述。
以上的實施例可以延申至具有三個以上的影像感測器的影像擷取裝置。當影像擷取裝置的所有影像感測器共線排列時，可以是針對每兩個相鄰的影像感測器所擷取到的影像重疊區域依圖2的流程來串接出拼接影像。另一方面，當影像擷取裝置的所有影像感測器不共線排列時（例如市面上用以擷取360度環景的影像擷取裝置），則其進行影像拼接時須更進一步地考量三個以上影像感測器所擷取到的共同重疊區域。
詳細來說，圖5是根據本發明另一實施例所繪示之影像擷取裝置的示意圖。
請參照圖5，假設影像擷取裝置100’包括相互耦接的第一影像感測器10A、第二影像感測器10B以及第三影像感測器10C，也就是說影像擷取裝置100’可視為在影像擷取裝置100中額外增設第三影像感測器10C，其中第三影像感測器10C將位於第一影像感測器10A與第二影像感測器10B之間但不會設置兩者的連線上。此外，第三影像感測器10C亦是受控於處理器20。為了方便說明，以下將會以第一影像感測器10A、第二影像感測器10B以及第三影像感測器10C的設置位置分別以「左」、「右」以及「中」來描述。
在本實施例中，第一影像感測器10A與第二影像感測器10B所擷取到的影像重疊區域可依圖2的流程來進行影像拼接。另一方面，以第三影像感測器10C的觀點來說，其亦會先偵測拍攝場景，以產生第三攝像資訊。同時，第三影像感測器10C亦會根據自第一影像感測器10A以及第二影像感測器10B所接收的第一攝像資訊以及第二攝像資訊，擷取拍攝場景的影像（以下稱為「左輔助影像」以及「右輔助影像」）。在此的第三影像、左輔助影像以及右輔助影像皆與該第一影像具有重疊區域（以下稱為「左重疊區域」），第三影像、左輔助影像以及右輔助影像皆與該第二影像具有重疊區域（以下稱為「右重疊區域」），第三影像、左輔助影像以及右輔助影像與第一影像以及第二影像同時具有重疊區域（以下稱為「共同重疊區域」）。以下將搭配圖6根據本發明一實施例所繪示之重疊區域的示意圖來說明上述重疊區域的融合方式。
請參照圖6，區域OA為一部份的第三影像，其中LOL以左所涵蓋的區域即為與第一影像重疊的左重疊區域，LOR以右所涵蓋的區域即為與第二影像重疊的右重疊區域，左重疊區域與右重疊區域的重疊區域即為第一影像、第二影像以及第三影像的共同重疊區域。此外，以360度的球面空間來說，重疊區域之間的拼接區域可以例如是10度的範圍。處理器20將會以第三影像與左輔助影像來融合左重疊區域，以第三影像與右輔助影像來融合右重疊區域，以及同時以第三影像與左輔助影像、右輔助影像來融合共同重疊區域，融合後的畫素P’的像素值可以下列方程式來表示：其中為座標為的畫素的像素值，為利用第一攝像資訊所拍攝到的左輔助影像中座標為的畫素的像素值，為利用第二攝像資訊所拍攝到的右輔助影像中座標為的畫素的像素值，為利用本身的第三攝像資訊所拍攝到的第三影像中座標為的畫素的像素值。為的笛卡兒座標系（Cartesian coordinate system）與360度的球面空間（360 spherical space）之間的座標轉換函式。
在本實施例中，處理器20可以例如是以下列方程式來產生畫素P’的像素值：其中OR為右重疊區域，OL為左重疊區域，同時屬於OR與OL的區域即為共同重疊區域，r為畫素P’與共同重疊區域的中心點之間的距離，ΓR、ΓL以及ΓC畫素P’分別與右重疊區域輪廓、左重疊區域輪廓以及共同重疊區域輪廓之間的距離。
在所有的重疊區域經過影像融合處理後，處理器20將利用第一影像、第一融合重疊區域、第二影像、第二融合重疊區域、第三影像以及第三影像中的右重疊區域、左重疊區域以及共同重疊區域的融合結果來進行影像拼接，以產生拼接影像。
以上的概念亦可以單一個影像感測器的影像擷取裝置來實現。詳細來說，圖7A是根據本發明另一實施例所繪示之影像擷取裝置的示意圖。
請參照圖7A，影像擷取裝置700包括影像感測器710以及處理器720。在本實施例中，影像感測器710以及處理器720的功能結構相當於圖1中影像擷取裝置100的影像感測器10A/10B以及處理器20，詳細說明請參照圖1的相關段落，於此不再贅述。
圖7B為根據本發明之一實施例所繪示的影像擷取裝置的影像拼接方法流程圖，而圖7B的流程適用於圖7A的影像擷取裝置700。
請同時參照圖7A以及圖7B，影像擷取裝置700的處理器720將利用影像感測器710以第一視角偵測拍攝場景，以產生對應於第一視角的第一攝像資訊（步驟S702），並且利用影像感測器710以第一視角擷取拍攝場景的影像，以產生第一影像（步驟S704）。接著，處理器720將利用影像感測器710以第二視角偵測拍攝場景，以產生對應於第二視角的第二攝像資訊（步驟S706），並且利用影像感測器710分別根據第二攝像資訊以及第一攝像資訊擷取拍攝場景的影像，以產生第二影像以及輔助影像（步驟S708）。換句話說，影像感測器710以第二視角所擷取到的拍攝場景的第二影像與圖1利用第二影像感測器10B來擷取拍攝場景的第二影像的概念相同，差別僅在於本實施例的影像擷取裝置700在擷取第二影像之前需要移動至第二視角的位置。
由於影像感測器710本身是分別以不同視角擷取相同的拍攝場景，因此第一影像與第二影像將具有相同拍攝內容的重疊區域。可推論地，輔助影像僅是影像感測器710以不同的攝像資訊擷取相同的影像，因此輔助影像同樣將具有與第一影像、第二影像相同的重疊區域。以下將第一影像的重疊區域稱為「第一重疊區域」，第二影像以及第二輔助影像中的重疊區域稱為「第二重疊區域」。
在本實施例中，處理器20將融合第二影像與輔助影像，以產生融合結果（步驟S710）。與前述實施例的差異處在於第一重疊區域將被捨棄，而第二重疊區域將直接被融合結果所取代。用以融合第二影像與輔助影像的權重比例可以是依據畫素分別相對於重疊區域的兩個重疊邊界線的距離的比例，然而本發明不在此設限。之後，處理器720將根據第一影像、融合結果以及第二影像，產生拼接影像（步驟S712）。
綜上所述，本發明所提出的影像擷取裝置及其影像拼接方法，當利用兩個影像感測器本身分別所偵測到的攝像資訊擷取拍攝場景的影像，又利用對方所偵測到的攝像資訊另外擷取拍攝場景的影像之後，將會針對所欲進行拼接的影像的重疊區域以不同攝像資訊所擷取到的影像進行融合。如此一來，除了可產生符合真實拍攝場景資訊的影像，更可避免在拼接影像中出現明顯的接縫線或是不自然的色帶，以提升拼接影像的品質。此外，本發明亦可以具有單一個影像感測器以及三個以上影像感測器的影像擷取裝置來實施，以增強了本發明在實際應用中的適用性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100、700‧‧‧影像擷取裝置
10A‧‧‧第一影像感測器
10B‧‧‧第二影像感測器
10C‧‧‧第三影像感測器
710‧‧‧影像感測器
20、720‧‧‧處理器
S202A～S208‧‧‧步驟
Img2‧‧‧第二影像
LO‧‧‧第二重疊邊界線
LS‧‧‧第二接縫線
LB‧‧‧第二影像邊界線
P、P’‧‧‧畫素
dS、dO‧‧‧距離
PI1‧‧‧第一攝像資訊
PI2‧‧‧第二攝像資訊
Img1‧‧‧第一影像
Img2‧‧‧第二影像
Img12‧‧‧第一輔助影像
Img21‧‧‧第二輔助影像
IBP1、IBP2‧‧‧融合結果
SP‧‧‧影像拼接處理
Img‧‧‧拼接影像
LOL‧‧‧左重疊區域
LOR‧‧‧右重疊區域
OA‧‧‧第三影像中的區域
rC‧‧‧距離
S702～S712‧‧‧步驟
圖1是根據本發明一實施例所繪示之影像擷取裝置的方塊圖。 圖2為根據本發明之一實施例所繪示的影像擷取裝置的影像拼接方法流程圖。 圖3為根據本發明之一實施例所繪示的第二影像。 圖4為根據本發明之一實施例所繪示的影像擷取裝置的影像拼接方法功能流程圖。 圖5是根據本發明另一實施例所繪示之影像擷取裝置的示意圖。 圖6是根據本發明一實施例所繪示之重疊區域的示意圖。 圖7A是根據本發明另一實施例所繪示之影像擷取裝置的示意圖。 圖7B為根據本發明之另一實施例所繪示的影像擷取裝置的影像拼接方法流程圖。
Claims (10)
- 一種影像擷取裝置的影像拼接方法，適用於包括第一影像感測器以及第二影像感測器的影像擷取裝置，該方法包括下列步驟： 利用該第一影像感測器以及該第二感測器分別偵測拍攝場景，以產生對應於該第一影像感測器的第一攝像資訊以及對應於第二感測器的第二攝像資訊； 利用該第一影像感測器，分別根據該第一攝像資訊以及該第二攝像資訊擷取該拍攝場景的影像，以產生第一影像以及第一輔助影像； 利用該第二影像感測器，分別根據該第二攝像資訊以及該第一攝像資訊擷取該拍攝場景的影像，以產生第二影像以及第二輔助影像，其中該第一影像以及該第一輔助影像具有第一重疊區域，該第二影像以及該第二輔助影像具有第二重疊區域，該第一重疊區域對應於該第二重疊區域；以及 融合該第一影像與該第一輔助影像，並且融合該第二影像與該第二輔助影像，據以產生拼接影像。
- 如申請專利範圍第1項所述的方法，其中融合該第一影像與該第一輔助影像，並且融合該第二影像與該第二輔助影像，據以產生該拼接影像的步驟包括： 融合該第一影像的該第一重疊區域與該第一輔助影像中的該第一重疊區域，以產生第一融合重疊區域，並且融合該第二影像的該第二重疊區域與該第二輔助影像中的該第二重疊區域，以產生第二融合重疊區域；以及 根據該第一影像、該第一融合重疊區域、該第二融合重疊區域以及該第二影像，產生該拼接影像。
- 如申請專利範圍第2項所述的方法，其中該第一重疊區域包括第一重疊邊界線以及第一接縫線，該第一融合重疊區域對應於該第一重疊邊界線與該第一接縫線之間的區域，該第二重疊區域包括第二重疊邊界線以及第二接縫線，該第二融合重疊區域對應於該第二重疊邊界線與該第二接縫線之間的區域。
- 如申請專利範圍第3項所述的方法，其中： 該第一融合重疊區域中的每一第一畫素的產生方式包括： 計算該第一畫素分別相對於該第一重疊邊界線以及該第一接縫線之間的距離，以產生第一權重比例；以及 根據該第一權重比例，計算該第一影像中對應於該第一畫素的像素值與該第一輔助影像中對應於該第一畫素的像素值的加權總和，據以產生該第一畫素的像素值；以及 該第二融合重疊區域中的每一第二畫素的產生方式包括： 計算該第二畫素分別相對於該第二重疊邊界線以及該第二接縫線之間的距離，以產生第二權重比例；以及 根據該第二權重比例，計算該第二影像中對應於該第一畫素的像素值與該第二輔助影像中對應於該第二畫素的像素值的加權總和，據以產生該第二畫素的像素值。
- 如申請專利範圍第1項所述的方法，其中該影像擷取裝置更包括第三影像感測器，而該方法更包括： 利用該第三影像感測器偵測該拍攝場景，以產生對應於該第三影像感測器的第三攝像資訊； 利用該第三影像感測器，分別根據該第三攝像資訊、該第一攝像資訊以及該第二攝像資訊擷取該拍攝場景的影像，以產生第三影像、左輔助影像以及右輔助影像，其中第三影像、左輔助影像以及右輔助影像皆具有關聯於該第一影像的左重疊區域、關聯於該第二影像的右重疊區域以及同時關聯於該第一影像以及該第二影像的共同重疊區域；以及 融合該第三影像與該左輔助影像的該左重疊區域，融合該第三影像與該右輔助影像的該右重疊區域，融合該第三影像、該左輔助影像以及該右輔助影像的該共同重疊區域，以產生關聯於該第三影像的融合結果。
- 如申請專利範圍第5項所述的方法，其中根據該第一影像、該第一融合重疊區域、該第二融合重疊區域以及該第二影像，產生該拼接影像的方法更包括： 利用該第一影像、該第一融合重疊區域、該第二融合重疊區域、該第二影像、該第三影像以及關聯於該第三影像的該融合結果，產生該拼接影像。
- 一種影像擷取裝置，包括： 第一影像感測器，用以擷取影像； 第二影像感測器，耦接該第一影像感測器，用以擷取影像；以及 處理器，耦接該第一影像感測器以及該第二影像感測器，並且用以執行下列步驟： 利用該第一影像感測器以及該第二感測器分別偵測拍攝場景，以產生對應於該第一影像感測器的第一攝像資訊以及對應於第二感測器的第二攝像資訊； 利用該第一影像感測器，分別根據該第一攝像資訊以及該第二攝像資訊擷取該拍攝場景的影像，以產生第一影像以及第一輔助影像； 利用該第二影像感測器，分別根據該第二攝像資訊以及該第一攝像資訊擷取該拍攝場景的影像，以產生第二影像以及第二輔助影像，其中該第一影像以及該第一輔助影像具有第一重疊區域，該第二影像以及該第二輔助影像具有第二重疊區域，該第一重疊區域對應於該第二重疊區域；以及 融合該第一影像與該第一輔助影像，並且融合該第二影像與該第二輔助影像，據以產生拼接影像。
- 如申請專利範圍第7項所述的影像擷取裝置，其中該影像擷取裝置更包括第三影像感測器，該第三影像感測器耦接該第一影像感測器、該第二影像感測器以及該處理器，其中該處理器更用以執行下列步驟： 利用該第三影像感測器偵測該拍攝場景，以產生對應於該第三影像感測器的第三攝像資訊； 利用該第三影像感測器，分別根據該第三攝像資訊、該第一攝像資訊以及該第二攝像資訊擷取該拍攝場景的影像，以產生第三影像、左輔助影像以及右輔助影像，其中第三影像、左輔助影像以及右輔助影像皆具有關聯於該第一影像的左重疊區域、關聯於該第二影像的右重疊區域以及同時關聯於該第一影像以及該第二影像的共同重疊區域；以及 融合該第三影像與該左輔助影像的該左重疊區域，融合該第三影像與該右輔助影像的該右重疊區域，融合該第三影像、該左輔助影像以及該右輔助影像的該共同重疊區域，以產生關聯於該第三影像的融合結果。
- 一種影像擷取裝置的影像拼接方法，適用於包括單一個影像感測器的影像擷取裝置，包括下列步驟： 利用該影像感測器以第一視角偵測拍攝場景，以產生對應於該第一視角的第一攝像資訊，並且利用該影像感測器以該第一視角擷取該拍攝場景的影像，以產生第一影像； 利用該影像感測器以第二視角偵測拍攝場景，以產生對應於該第二視角的第二攝像資訊，並且利用該影像感測器分別根據該第二攝像資訊以及該第一攝像資訊擷取該拍攝場景的影像，以產生第二影像以及輔助影像，其中該第一影像具有第一重疊區域，該第二影像以及該輔助影像具有第二重疊區域，該第一重疊區域對應於該第二重疊區域； 融合該第二影像與該輔助影像，以產生融合結果；以及 根據該第一影像、該融合結果以及該第二影像，產生拼接影像。
- 一種影像擷取裝置，包括： 單一個影像感測器，用以擷取影像； 處理器，耦接該影像感測器，並且用以執行下列步驟： 利用該影像感測器以第一視角偵測拍攝場景，以產生對應於該第一視角的第一攝像資訊，並且利用該影像感測器以該第一視角擷取該拍攝場景的影像，以產生第一影像； 利用該影像感測器以第二視角偵測拍攝場景，以產生對應於該第二視角的第二攝像資訊，並且利用該影像感測器分別根據該第二攝像資訊以及該第一攝像資訊擷取該拍攝場景的影像，以產生第二影像以及輔助影像，其中該第一影像具有第一重疊區域，該第二影像以及該輔助影像具有第二重疊區域，該第一重疊區域對應於該第二重疊區域； 融合該第二影像與該輔助影像，以產生融合結果；以及 根據該第一影像、該融合結果以及該第二影像，產生拼接影像。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106120861A TWI617195B (zh) | 2017-06-22 | 2017-06-22 | 影像擷取裝置及其影像拼接方法 |
| US15/890,363 US10506155B2 (en) | 2017-06-22 | 2018-02-07 | Image capturing apparatus and image stitching method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106120861A TWI617195B (zh) | 2017-06-22 | 2017-06-22 | 影像擷取裝置及其影像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI617195B TWI617195B (zh) | 2018-03-01 |
| TW201906398A true TW201906398A (zh) | 2019-02-01 |
Family
ID=62189254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106120861A TWI617195B (zh) | 2017-06-22 | 2017-06-22 | 影像擷取裝置及其影像拼接方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10506155B2 (zh) |
| TW (1) | TWI617195B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433475A (zh) * | 2019-06-26 | 2023-07-14 | 图码思(成都)科技有限公司 | 一种基于特征点提取的图像拼接方法及终端 |
| CN111988540A (zh) * | 2020-08-20 | 2020-11-24 | 合肥维信诺科技有限公司 | 图像采集方法、系统及显示面板 |
| CN114567716A (zh) * | 2022-02-28 | 2022-05-31 | 业成科技（成都）有限公司 | 摄像头模组、移动终端及车载影像拍摄系统 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070081081A1 (en) * | 2005-10-07 | 2007-04-12 | Cheng Brett A | Automated multi-frame image capture for panorama stitching using motion sensor |
| JP4297111B2 (ja) * | 2005-12-14 | 2009-07-15 | ソニー株式会社 | 撮像装置、画像処理方法及びそのプログラム |
| US8355042B2 (en) * | 2008-10-16 | 2013-01-15 | Spatial Cam Llc | Controller in a camera for creating a panoramic image |
| US8416282B2 (en) * | 2008-10-16 | 2013-04-09 | Spatial Cam Llc | Camera for creating a panoramic image |
| US20110242355A1 (en) * | 2010-04-05 | 2011-10-06 | Qualcomm Incorporated | Combining data from multiple image sensors |
| CN103597810B (zh) * | 2011-05-27 | 2017-02-15 | 诺基亚技术有限公司 | 图像拼接 |
| US20130141526A1 (en) * | 2011-12-02 | 2013-06-06 | Stealth HD Corp. | Apparatus and Method for Video Image Stitching |
| US9036002B2 (en) * | 2012-10-30 | 2015-05-19 | Eastman Kodak Company | System for making a panoramic image |
| JP2014230051A (ja) * | 2013-05-22 | 2014-12-08 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US20170006219A1 (en) * | 2015-06-30 | 2017-01-05 | Gopro, Inc. | Image stitching in a multi-camera array |
| US9842624B2 (en) * | 2015-11-12 | 2017-12-12 | Intel Corporation | Multiple camera video image stitching by placing seams for scene objects |
| TWI543611B (zh) * | 2015-11-20 | 2016-07-21 | 晶睿通訊股份有限公司 | 影像接合方法及具有影像接合功能的攝影系統 |
-
2017
- 2017-06-22 TW TW106120861A patent/TWI617195B/zh active
-
2018
- 2018-02-07 US US15/890,363 patent/US10506155B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20180376059A1 (en) | 2018-12-27 |
| US10506155B2 (en) | 2019-12-10 |
| TWI617195B (zh) | 2018-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6721065B2 (ja) | 撮像装置、画像処理装置および方法 | |
| CN108600576B (zh) | 图像处理装置、方法和系统以及计算机可读记录介质 | |
| US8345961B2 (en) | Image stitching method and apparatus | |
| JP7185434B2 (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
| JP2017108387A (ja) | パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム | |
| JP2017112602A (ja) | パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム | |
| TW201741999A (zh) | 產生深度資訊的方法及其系統 | |
| JP5846172B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
| JP2017208619A (ja) | 画像処理装置、画像処理方法、プログラム及び撮像システム | |
| WO2016184131A1 (zh) | 基于双摄像头拍摄图像的方法、装置及计算机存储介质 | |
| JP2013046270A (ja) | 画像貼り合せ装置、撮影装置、画像貼り合せ方法、および画像処理プログラム | |
| TWI617195B (zh) | 影像擷取裝置及其影像拼接方法 | |
| JP6665917B2 (ja) | 画像処理装置 | |
| JP6222205B2 (ja) | 画像処理装置 | |
| JP5796611B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
| TW201824178A (zh) | 全景即時影像處理方法 | |
| TW201342303A (zh) | 三維空間圖像的獲取系統及方法 | |
| CN114096984A (zh) | 从通过拼接部分图像而创建的全向图像中去除图像捕获装置 | |
| CN109214983B (zh) | 图像获取装置及其图像拼接方法 | |
| JP6079838B2 (ja) | 画像処理装置、プログラム、画像処理方法および撮像システム | |
| WO2015198478A1 (ja) | 画像歪み補正装置、情報処理装置および画像歪み補正方法 | |
| JP7321772B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP6439845B2 (ja) | 画像処理装置 | |
| JP2017130890A (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
| TWI621100B (zh) | 影像處理方法及可攜式電子裝置 |