TWI383666B - 多重鏡頭相機系統之先進式動態接圖方法 - Google Patents

多重鏡頭相機系統之先進式動態接圖方法 Download PDF

Info

Publication number
TWI383666B
TWI383666B TW096131012A TW96131012A TWI383666B TW I383666 B TWI383666 B TW I383666B TW 096131012 A TW096131012 A TW 096131012A TW 96131012 A TW96131012 A TW 96131012A TW I383666 B TWI383666 B TW I383666B
Authority
TW
Taiwan
Prior art keywords
feature
image
weight
detector
input image
Prior art date
Application number
TW096131012A
Other languages
English (en)
Other versions
TW200910930A (en
Inventor
Patrick Pan
Original Assignee
Sony Taiwan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Taiwan Ltd filed Critical Sony Taiwan Ltd
Priority to TW096131012A priority Critical patent/TWI383666B/zh
Priority to US12/229,285 priority patent/US8004557B2/en
Publication of TW200910930A publication Critical patent/TW200910930A/zh
Application granted granted Critical
Publication of TWI383666B publication Critical patent/TWI383666B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view

Description

多重鏡頭相機系統之先進式動態接圖方法
本發明係有關於一種多重鏡頭相機系統。更精確而言，本發明係有關於一種針對視差(parallax)現象的多重鏡頭相機系統之先進式動態接圖方法。
習知技術中，例如美國專利公開第US2004/0201769 A1號案，為了抑制相機系統所拾取之影像中的視差現象，其揭露的多重鏡頭相機系統，即使用光學方法來抑制視差現象。於光學方法中，鏡頭組必須置於準確的位置，否則，影像間會出現視差。因此，還是有必要實施視訊接圖引擎中的快速接圖點(stitching point)搜尋引擎，動態地調整由於物體距離改變所造成的接圖點位置改變。
因此，本發明提供一種快速且有效的搜尋引擎，以動態方式更新接圖點，使得視差現象得以補償。
本發明提供一種多重鏡頭相機系統，其係由數個面向不同方向的單一鏡頭相機所組成。為能得到廣角影像，接圖(stitching)技術是必需的。但是，大部分此種多鏡頭系統都會有視差現象，即當物體由近到遠移動時，接圖點會移動。本發明即在於提供一種動態改變接圖點而使影像無縫(seamless)的方法，此方法可與傳統的接圖技術搭配應用任何種類的多重鏡頭相機系統。
現在，將參照附圖針對本發明較佳實施例給予更詳細說明。
圖1係說明本發明之動態接圖系統1的方塊圖。該動態接圖引擎10接收來自相機陣列20的影像或視訊流。倘若物體的距離改變，則該輸入的資料被送到該動態接圖處理器101以更新接圖點122。傳統接圖處理器102根據經更新的接圖點122將輸入影像轉換並將其接圖成一個影像。最後，經接圖的影像於更新的接圖點122上以混合(blending)技術處理以得到無縫的廣角影像。
圖2顯示來自該相機陣列20的輸入影像。陰影區域是來自側邊相機之側邊影像與來自中間相機之中間影像間的重疊區域。重疊區域用於動態接圖引擎10中的特徵偵測視窗。在該重疊區域中的特徵與該二影像中的是相同的。因此，動態接圖引擎10中的特徵偵測視窗界定於此區域中。
圖3說明動態接圖引擎10的方塊圖。中間輸入影像104首先被送到中心特徵偵測器107及中心邊緣偵測器108。中心特徵偵測器107讀取特徵偵測參數106以尋找特徵點的位置，並輸出特徵相對座標到該中心邊緣偵測器108。再者，特徵偵測器107亦能輸出各特徵的權重(W1 至Wn )到區塊比對處理器109以便更精確地得到接圖點122。只要該中心影像104的邊緣偵測器108接收到來自該特徵偵測器107的特徵相對座標，則偵測特徵周圍的邊緣，並將影像雙色調處理(bi－tone)成黑白影像。邊緣偵測器108的方塊能根據系統準確度要求及可用的運算能力予以參數化。
就側(左或右)邊輸入影像而言，來自側(左或右)邊相機的影像被轉換處理器110轉換到中心輸入影像的相同平面。之後，側邊邊緣偵測器111接收來自中心特徵偵測器107之中心影像的特徵點相對座標。側邊邊緣偵測器111將該等相對座標轉換至其自己的座標空間。根據此座標空間的座標，側邊邊緣偵測器111界定各特徵點的區塊比對視窗，各特徵點係在特徵偵測器107中界定。區塊比對視窗亦稱為移動視窗，其在特徵點附近且較大於中心邊緣偵測視窗。
圖4說明特徵偵測視窗、邊緣偵測視窗、以及區塊比對視窗。在邊緣偵測器108及111之後，區塊比對處理器109對來自中心及側邊相機的影像進行區塊比對。此外，亦可將來自該中心特徵偵測器107的各特徵的加權列入考量。於區塊比對處理器109中，計算SAD(Sum of Absolute Difference，差異絕對值總和)且最後找出給傳統接圖引擎的新的接圖點122。
圖5顯示沒有邊緣偵測器108的動態接圖引擎10的方塊圖。加入邊緣偵測器108乃為避免由視訊雜訊所造成的不準確。至於沒有邊緣偵測器108的動態接圖引擎10會損失某程度的準確度，但仍能被低成本的系統接受。因此，針對仍然具有限的運算能力的低成本的系統，可省略邊緣偵測器108。
雖然本發明業已以較佳實施例的方式加以描述，應瞭解到本發明可以多種其它特定格式實施，而不背離本發明的精神與範疇。本發明示範例亦可被視為說明而非限制，且本發明並不受限於本文所給之細節，但可在所附之申請專利範圍以及等同物的全部範圍的範疇內加以修飾。
1．．．動態接圖系統
10．．．動態接圖引擎
20．．．相機陣列
101．．．動態接圖處理器
102．．．傳統接圖處理器
103．．．具動態接圖點之接圖影像
104．．．中心輸入影像
105．．．左或右輸入影像
106．．．特徵偵測參數
107．．．特徵偵測器
108．．．邊緣偵測器
109．．．區塊比對處理器
110．．．轉換處理器
111．．．側邊邊緣偵測器
120．．．轉換參數
121．．．邊緣偵測參數
122．．．接圖點
123．．．修剪
圖1係根據本發明之動態接圖系統的方塊圖；圖2係顯示相機陣列的圖；圖3係顯示動態接圖引擎的方塊圖；圖4係顯示特徵偵測器視窗、邊緣偵測器視窗、以及區塊比對視窗的方塊圖；以及圖5係顯示沒有邊緣偵測器的動態接圖引擎的方塊圖。
10．．．動態接圖引擎
104．．．中心輸入影像
105．．．左或右輸入影像
106．．．特徵偵測參數
107．．．特徵偵測器
108．．．邊緣偵測器
109．．．區塊比對處理器
110．．．轉換處理器
111．．．側邊邊緣偵測器
120．．．轉換參數
121．．．邊緣偵測參數
122．．．接圖點

Claims (7)

  1. 一種多重鏡頭相機系統，包含：相機陣列，用以捕捉影像，作為輸入影像；動態接圖引擎，具有動態接圖處理器與傳統接圖處理器，用以接收來自該相機陣列的該輸入影像；特徵偵測器，讀取特徵偵測參數以尋找特徵點的位置並輸出特徵相關座標及各特徵的權重；以及區塊比對處理器，接收來自該特徵偵測器輸出之各該特徵的權重，並輸出經該邊緣偵測器輸出之中心與兩側影像的相對應權重特徵點的差異絕對值總和，其中該動態接圖處理器接收來自該相機陣列的該輸入影像並更新接圖點，以及該傳統接圖處理器根據該更新的接圖點將該輸入影像轉換並將其接圖成一個影像。
  2. 如申請專利範圍第1項之系統，其中該相機陣列捕捉的影像在相鄰相機中間具有影像重疊區域。
  3. 如申請專利範圍第1項之系統，進一步包含：邊緣偵測器，讀取邊緣偵測參數以尋找影像邊緣的位置，並輸出僅含輸入影像邊緣的影像；以及轉換處理器，將來自側邊相機的影像轉換成中心輸入影像的相同平面。
  4. 如申請專利範圍第3項之系統，其中該特徵偵測器 偵測在該重疊區域中的多重特徵點，且該重疊區域中界定出多重區塊比對視窗。
  5. 如申請專利範圍第4項之系統，其中該區塊比對視窗的尺寸可根據視差加以調整。
  6. 如申請專利範圍第4項之系統，其中該區塊比對視窗被置於該特徵點的中心。
  7. 一種多重鏡頭相機系統之先進式動態接圖方法，該多重鏡頭相機系統包含相機陣列，用以捕捉影像，作為輸入影像；動態接圖引擎，具有動態接圖處理器與傳統接圖處理器，用以接收來自該相機陣列的該輸入影像；特徵偵測器，讀取特徵偵測參數以尋找特徵點的位置並輸出特徵相關座標及各特徵的權重；以及區塊比對處理器，接收來自該特徵偵測器輸出之各該特徵的權重，並輸出經該邊緣偵測器輸出之中心與兩側影像的相對應權重特徵點的差異絕對值總和，其中該動態接圖處理器接收來自該相機陣列的該輸入影像並更新接圖點，以及該傳統接圖處理器根據該更新的接圖點將該輸入影像轉換並將其接圖成一個影像，該方法包含：補捉影像作為輸入影像；接收該輸入影像並更新該接圖點；讀取特徵偵測參數以尋找特徵點的位置並輸出特徵相關座標及各特徵的權重；接收來自該特徵偵測器輸出之各該特徵的權重，並輸出經該邊緣偵測器輸出之中心與兩側影像的相對應權重 特徵點的差異絕對值總和；以及根據等更新的接圖點將該等輸入影轉換並接圖成一個影像。
TW096131012A 2007-08-21 2007-08-21 多重鏡頭相機系統之先進式動態接圖方法 TWI383666B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW096131012A TWI383666B (zh) 2007-08-21 2007-08-21 多重鏡頭相機系統之先進式動態接圖方法
US12/229,285 US8004557B2 (en) 2007-08-21 2008-08-20 Advanced dynamic stitching method for multi-lens camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW096131012A TWI383666B (zh) 2007-08-21 2007-08-21 多重鏡頭相機系統之先進式動態接圖方法

Publications (2)

Publication Number Publication Date
TW200910930A TW200910930A (en) 2009-03-01
TWI383666B true TWI383666B (zh) 2013-01-21

Family

ID=40381753

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096131012A TWI383666B (zh) 2007-08-21 2007-08-21 多重鏡頭相機系統之先進式動態接圖方法

Country Status (2)

Country Link
US (1) US8004557B2 (zh)
TW (1) TWI383666B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767081B2 (en) * 2009-02-23 2014-07-01 Microsoft Corporation Sharing video data associated with the same event
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9325804B2 (en) 2010-11-08 2016-04-26 Microsoft Technology Licensing, Llc Dynamic image result stitching
CN103597810B (zh) * 2011-05-27 2017-02-15 诺基亚技术有限公司 图像拼接
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
DE102013211271A1 (de) * 2013-06-17 2014-12-18 Robert Bosch Gmbh System und Verfahren zum Zusammenfügen mittels mehrerer optischer Sensoren aufgenommener Bilder
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US20150124171A1 (en) * 2013-11-05 2015-05-07 LiveStage°, Inc. Multiple vantage point viewing platform and user interface
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9602702B1 (en) 2014-09-08 2017-03-21 Sulaiman S. Albadran Video camera with multiple data input
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
JP2016066842A (ja) * 2014-09-24 2016-04-28 ソニー株式会社 信号処理回路および撮像装置
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
TWI650018B (zh) * 2017-07-18 2019-02-01 晶睿通訊股份有限公司 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
BR112021016305B1 (pt) 2019-02-19 2024-03-05 Orlaco Products B.V Sistema de espelho de câmera para um veículo e método de exibir múltiplas vistas de câmera de veículo
US11178342B2 (en) * 2019-07-18 2021-11-16 Apple Inc. Camera systems for bendable electronic devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864360A (en) * 1993-08-26 1999-01-26 Canon Kabushiki Kaisha Multi-eye image pick-up apparatus with immediate image pick-up
TW497366B (en) * 2000-02-04 2002-08-01 Ind Tech Res Inst An apparatus and method for providing panoramic images

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2248361B (en) * 1990-09-28 1994-06-01 Sony Broadcast & Communication Motion dependent video signal processing
JP3078085B2 (ja) * 1991-03-26 2000-08-21 オリンパス光学工業株式会社 画像処理装置および画像処理方法
JP2888713B2 (ja) * 1993-01-14 1999-05-10 キヤノン株式会社 複眼撮像装置
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
JP3849385B2 (ja) * 2000-02-03 2006-11-22 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
EP1231780A3 (en) * 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP2002251608A (ja) * 2001-02-23 2002-09-06 Mixed Reality Systems Laboratory Inc 撮像装置の制御装置及びその制御方法、画像処理装置及びその方法、並びにプログラムコード、記憶媒体
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20040001138A1 (en) * 2002-06-27 2004-01-01 Weerashinghe W.A. Chaminda P. Stereoscopic panoramic video generation system
EP1552682A4 (en) * 2002-10-18 2006-02-08 Sarnoff Corp METHOD AND SYSTEM FOR ENHANCING PANORAMIC VISUALIZATION BY USING MULTIPLE CAMERAS
US20070030396A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a panorama from a sequence of video frames
TW200715830A (en) * 2005-10-07 2007-04-16 Sony Taiwan Ltd Image pick-up device of multiple lens camera system to create panoramic image
TW200740212A (en) * 2006-04-10 2007-10-16 Sony Taiwan Ltd A stitching accuracy improvement method with lens distortion correction
US7555100B2 (en) * 2006-12-20 2009-06-30 Carestream Health, Inc. Long length imaging using digital radiography
WO2008115416A1 (en) * 2007-03-16 2008-09-25 Kollmorgen Corporation System for panoramic image processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864360A (en) * 1993-08-26 1999-01-26 Canon Kabushiki Kaisha Multi-eye image pick-up apparatus with immediate image pick-up
TW497366B (en) * 2000-02-04 2002-08-01 Ind Tech Res Inst An apparatus and method for providing panoramic images

Also Published As

Publication number Publication date
US20090051778A1 (en) 2009-02-26
US8004557B2 (en) 2011-08-23
TW200910930A (en) 2009-03-01

Similar Documents

Publication Publication Date Title
TWI383666B (zh) 多重鏡頭相機系統之先進式動態接圖方法
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN108600576B (zh) 图像处理装置、方法和系统以及计算机可读记录介质
EP2640057B1 (en) Image processing device, image processing method and program
TWI393072B (zh) 廣角感測器陣列模組及其影像校正方法、運作方法與應用
US20160142627A1 (en) Image capturing device and digital zooming method thereof
JP2015226144A (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
CN107274346A (zh) 实时全景视频拼接系统
JP2009177251A (ja) オルソフォト画像の生成方法、および撮影装置
JP2019030007A (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
KR102204596B1 (ko) 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
TW202011353A (zh) 深度資料處理系統的操作方法
CN106447602A (zh) 一种图像拼接方法及装置
US20190043220A1 (en) Multi-camera processor with feature matching
US20130064470A1 (en) Image processing apparatus and image processing method for reducing noise
CN111311682A (zh) 一种led屏校正过程中的位姿估计方法、装置及电子设备
CN112348775A (zh) 基于车载环视的路面坑塘检测系统及方法
CN102447917A (zh) 立体图像匹配方法及其设备
JP4394487B2 (ja) ステレオ画像処理装置
CN104794680B (zh) 基于同一卫星平台的多相机图像镶嵌方法及装置
JP2008298589A (ja) 位置検出装置及び位置検出方法
JP4605582B2 (ja) ステレオ画像認識装置及びその方法
US11743600B2 (en) Multiple-processor system for multiple-lens camera and method thereof
JP6153318B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees