TWI545388B - 產生全景圖像的系統和方法 - Google Patents

產生全景圖像的系統和方法 Download PDF

Info

Publication number
TWI545388B
TWI545388B TW103120316A TW103120316A TWI545388B TW I545388 B TWI545388 B TW I545388B TW 103120316 A TW103120316 A TW 103120316A TW 103120316 A TW103120316 A TW 103120316A TW I545388 B TWI545388 B TW I545388B
Authority
TW
Taiwan
Prior art keywords
camera
image data
cameras
downstream
data
Prior art date
Application number
TW103120316A
Other languages
English (en)
Other versions
TW201502691A (zh
Inventor
國慶 張
哈珊 葛賈里
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201502691A publication Critical patent/TW201502691A/zh
Application granted granted Critical
Publication of TWI545388B publication Critical patent/TWI545388B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

產生全景圖像的系統和方法
本發明係關於產生全景視圖的圖像感測器。特別地,利用複數個CMOS圖像感測器構建行動產業處理器介面(MIPI)菊鍊(daisy chain),以建造全景視圖。
智慧手機通常使用單一攝像機以產生全景圖像,而使用者需適當地調整攝像機之角度與位置,以捕捉複數個圖像,惟,此操作步驟麻煩,且需耗費使用者心思與技巧,除此之外,將複數個場景融合為一全景圖像乃是一大技術考驗。
本發明之第一觀點,揭示一種用以產生全景圖像之方法,包括:複數個攝像機所捕捉的圖像數據,並將圖像數據儲存於各自攝像機之記憶體緩衝器內圖像數據;自上游攝像機傳送圖像數據至下游攝像機;以及於下游攝像機內,將上游攝像機的圖像數據與下游攝像機的圖像數據相組合,以成為組合圖像數據。
本發明之第二觀點,揭示一種用以產生全景圖像之系統,包括複數個攝像機,每一攝像機具有用以捕捉場景圖像數據的成像陣列、用以接收複數個攝像機上游攝像機圖像數據的接收器、記憶體緩衝器將上游攝像機接收到的圖像數據與成像陣列所捕捉到的圖像數據相組合,以成為組合圖像數據並儲存之,以及用以傳送組合圖像數據至複數個攝像機下游攝像機的傳送器。
1、2、102、104、106、302a-302d、307a-307d‧‧‧攝像機
100‧‧‧菊鍊
108‧‧‧主機
110‧‧‧數據線、線路
112、114、116‧‧‧陣列
113、115、117‧‧‧圖像數據、數據
118、120、122‧‧‧緩衝器
124、126、128‧‧‧MIPI接收器
130、132、134‧‧‧MIPI傳送器
300‧‧‧配置
302A-302D‧‧‧各側
302、304、306‧‧‧配置
308‧‧‧CPU
400‧‧‧方法
402、404、406、408、410、412‧‧‧步驟
500‧‧‧位址識別碼
600、700‧‧‧數據傳輸圖
601‧‧‧寫入位元
701‧‧‧讀出位元
602、702、704‧‧‧認證
800‧‧‧通用呼叫
本發明將以較佳之實施例及觀點加以詳細敘述。下列圖式及描述提供本發明特定的施行細節,俾使閱者徹底瞭解這些實施例之實行方式。然該領域之熟習技藝者須瞭解本發明亦可在不具備這些細節之條件下實行。此外,文中不會對一些已熟知之結構或功能或是做細節描述,以避免各種實施例 間不必要相關描述之混淆,以下描述中之術語將以最廣義的合理方式解釋,即使其與本發明某特定實施例之細節描述一起使用。另外,附圖並未描繪實際實施例之每一特徵,所描繪之圖式元件係皆為相對尺寸而非按比例繪製。圖式中相同之元件符號係代表相同之元件,然而,為清楚說明之目的,於不同圖式中重複出現的元件未必會再標示元件符號。藉由參考下列詳細敘述,將可以更快速地瞭解上述觀點以及本發明之優點,並且藉由下面的描述及附加圖式,更容易了解本發明之精神。
第1圖係根據本發明之一實施例顯示全景圖像之複數個成像陣列之菊鍊架構圖。
第2圖示係根據第1圖菊鍊顯示複數個攝像機所接收到數據排之處理程序示意圖。
第3圖係顯示菊鍊內複數個攝像機之示例性配置。
第4圖係根據本發明之一實施例顯示攝像機菊鍊產生圖像之流程圖。
第5圖係根據第1圖菊鍊內每一裝置的位址識別碼。
第6圖係根據本發明之一實施例顯示主裝置寫入次要裝置之數據傳輸示意圖。
第7圖係根據本發明之一實施例顯示主裝置讀取次要裝置之數據傳輸示意圖。
第8圖係顯示第1圖I2C匯流排線路上的通用呼叫。
本案之實施例可應用於全景或環繞視圖成像、3D成像、手勢識別。文中所描述的攝像機係由電纜耦接為菊鍊,而非光纖之形式。
複數個攝像機(或圖像感測器)可實現全景視圖。於某些實施例中,當攝像機對齊完成預校準(pre-calibration)後,複數個攝像機無須對齊任一軸向。由於複數個攝像機間會有重疊現象產生,然一次性可編程(OTP)記憶體得編程為讀出(read out),俾使攝像機產生的全景圖像無重疊現象。
於一個實施例中,無影像記憶體存在,僅有列緩衝器(line buffer)記憶體。於另一個實施例中,下文所描述之額外影像記憶體用以處理每一單獨影像並加以組合之。
於一些實施例中,列緩衝器(line buffer)與畫中畫(picture-in-picture)(PIP)主緩衝器共用數據。
水平消隱時間(H消隱時間)係由每個感測器收集的圖像列數據傳輸至主機所需的時間來定義之。例如,H消隱時間可與系統中的圖像感測器數量成比例。數據傳輸率(即傳輸和接收速率)係由MIPI之傳送通道(Tx)和接收通道(Rx)所限制。
於一個實施例中,全域內部積體電路識別碼(I2C ID)用以辨別攝像機鏈(或圖像感測器),且各自單獨的I2C ID用以辨別每一特定攝像機(或圖像感測器)。每一攝像機於初始設定期間,從OTP記憶體載入各自I2C ID。下文將進一步詳細討論與I2C協議相關的實施例。於一個實施例中,所描述之"中介"感測器僅用以旁通數據。實施例之攝像機對準排列如第3圖所示,舉例而言,裝置302描述位於手機上的四個攝像機所產生之全景圖像。配置304描述手勢識別之實施例。配置306係從俯視角度以描述示例性汽車監視系統。
第1圖係根據本發明之一實施例顯示複數個成像陣列之菊鍊100之示意圖,其用以形成全景圖像。菊鍊100可為MIPI菊鍊,其包括輸入介面和輸出介面。來自主機處理器之控制信號係通過I2C線以輸入至每一攝像機中,此外,每一攝像機包括同步信號(FSIN)輸入端,以使所有的攝像機同時獲取圖片,同步之優點在於,影像間無運動模糊現象。
MIPI菊鍊100包括三個成像攝像機102、104和106,彼此串聯耦合,並且藉由I2C數據線110耦接至主機108。主機108可為處理器,或其他可替代性主機108,較佳地為下游攝像機(downstream camera),其包括經由I2C數據線110以控制上游攝像機(upstream camera)定時的處理器。本發明不侷限於僅I2C匯流排協定,亦即,可藉由其它連接協定(connection protocol)以耦接攝像機102、104和106以及主機108,此外,在不脫離本發明之精神與範圍的情況下,菊鍊100可包含更多或更少的攝像機,不侷限於3個攝像機。
每一攝像機102、104和106具有相關聯的攝像機子元件,其包括例如成像陣列(如攝像機內之陣列112、114、116)、相關聯的緩衝器(如緩衝器118、120和122)、相關聯的MIPI接收器(如MIPI接收器124、126和128)以及相關聯的MIPI傳送器(即MIPI傳送器130、132和134)。成像陣列112、114、116包含CMOS、CCD、NMOS、Live MOS,或其他能產生全景圖像數據的感光像素 陣列。緩衝器118、120和122為記憶體緩衝器,其用以儲存來自個別成像陣列的圖像數據,以及自菊鍊100內的上游攝像機所接收到的圖像數據,舉例而言,第二攝像機104的緩衝器120用以儲存來自陣列114的圖像數據,以及儲存自攝像機102之MIPI Tx 130並通過MIPI Rx 126所接收到的圖像數據。MIPI接收器用以接收自上游攝像機之圖像數據(即攝像機104的MIPI Rx 126自攝像機102的MIPI Tx 130接收圖像數據),MIPI收發器傳送圖像數據至下游攝像機(即MIPI Tx 132傳送數據至MIPI Rx 128)。
第1圖所示,上游攝像機朝向左側,而下游攝像機朝向右側,其中攝像機102是在MIPI菊鍊100中的第一攝像機,所有的攝像機102、104和106(以及潛在的主機108,倘若主機是攝像機)同時獲得圖像場景的圖像數據。舉例而言,攝像機102、104和106可獲取圖像數據的一或多排,並且將它們儲存於各自緩衝器118、120和122中。於第1圖內的箭頭(1)、(4)和(9)表示從每一陣列傳輸至各緩衝器的圖像數據。以第一攝像機102開始,緩衝器118內存儲的圖像數據自第一攝像機102傳輸至第二攝像機104,其該圖像數據與儲存於緩衝器120內的圖像數據相連結。舉例而言,MIPI Tx 130傳送儲存於緩衝器118內的圖像數據至攝像機104的MIPI Rx 126,如箭頭(3)所示;接續,如箭頭(5)所示,中介攝像機104的MIPI Rx 126發送鄰近上游的第一攝像機102之圖像數據至列緩衝器120,並儲存之,圖像數據係由陣列112生成的圖像數據與由陣列114生成的圖像數據串聯組合。如箭頭(2)、(3)和(5)所示的數據傳輸過程,可於圖像數據第一排傳輸至緩衝器118之後執行,但須早於收集陣列112的全陣列圖像數據之前開始執行,亦即,當攝像機102經由陣列112捕捉圖像數據時,攝像機102可同時傳輸圖像數據至攝像機104。
一旦在緩衝器120內組合,則組合圖像數據將會傳輸至MIPI Tx 132,如箭頭(6)所示,進而傳送圖像數據至下一個鄰近下游攝像機的MIPI Rx (即攝像機106的MIPI Rx 128),上述係為同時捕捉圖像數據。應當理解,每一攝像機得毋需同一時間捕捉圖像數據。於此實施例中,於攝像機102的MIPI Tx 130接收圖像數據之後或之前,攝像機104得進行捕捉場景以成像。因此,如箭頭(4)和(5)所示的數據傳輸的順序可相互對調。
由箭頭(3)至(6)所指的數據傳輸於MIPI菊鍊100中的每一額外下游攝像機(即攝像機106)反復操作,舉例而言,在數據傳輸(7)中,中 介攝像機104的MIPI Tx 132傳送數據組合排至下游右側攝像機106的MIPI Rx 128,於最右側攝像機106中繼續相同的過程,如箭頭(8)-(10)所示,最後,在菊鍊100中的最後攝像機傳送總數據組合排(11)至主機108。
自最上游攝像機(即攝像機102)傳輸圖像數據特定排至主機108,其所耗費的時間定義為總體菊鍊100之H消隱時間。H消隱時間係顯著地小於自每一攝像機傳輸所有圖像數據,以及處理器將圖像數據組合為一體所需的處理時間。舉例而言,藉由"掃描"圖元第一排,以及接續掃描圖元第二排等,以此類推至所有圖元排掃描完成,以使攝像機捕捉圖像數據。有利地,在菊鍊100配置中,來自最上游攝像機之圖像數據第一排,可在第一攝像機之全成像陣列掃描完成前,傳輸至下一下游攝像機,據此,生成全景圖像所需之處理時間顯著地減少。除此之外,由於OTP會定義菊鍊中每一相鄰攝像機間的融合特性,因而無須複雜圖像融合技術所需之大量的處理時間,以減少全程處理時間。
於一實施例中,於第1圖中之每一攝像機內的架構特徵可概括如下:第一,每一攝像機讀出相同定時列排,並且將它保存於所屬的列緩衝器;第二,MIPI Tx自列緩衝器接收MIPI列數據,並且按順序將它傳遞至下一個攝像機,同時間,每一攝像機開始讀出下一個定時列排;第三,MIPI Rx自上游攝像機接收MIPI列數據,並將它傳遞至列緩衝器,以及最後攝像機MIPI之列數據傳遞至主機。
根據上文所述,圖像係由複數個排(row)所組成。實施例用以說明圖像數據如何產生、連結及傳送每一排。第2圖係根據第1圖之菊鍊100顯示複數個攝像機所接收到數據排之處理程序示意圖。數據攝像機1、2和3(未顯示於圖中)可對應至第1圖的攝像機112、114、116,並且每一數據會產生各自排1,其中每一排1數據通過列緩衝器傳送、組合,最後發送至處理器(或攝像機主機),以形成如圖所示之最後排1,上述過程得類推至排2、3等。
據此,在菊鍊中的每一當前攝像機,接收每一上游攝像機的組合圖像數據,從當前的攝像機添加圖像數據排至組合圖像數據,接續,向下游發送更新的組合圖像數據至菊鏈中的下一攝像機,如第1圖中圓圈所示數據。舉例而言,攝像機102的數據113初始儲存於緩衝器118內,接續穿過每一下游緩衝器120和122,其中數據113與來自每一下游攝像機的額外數據相組合。類似地,數據115初始儲存於緩衝器120內,其與緩衝器120中的數據113相組合數據,在緩 衝器122中,組合數據113和115與數據117相組合。該過程反復直到所有的組合數據傳送至主機108。如上所述,攝像機對準以完成OTP的預校準,雖然仍存有複數個攝像機間重疊的問題,但OTP記憶體可編程地確切讀出,以使得在全景視圖中不存有重疊現象。
第3圖顯示菊鍊內的複數個攝像機之示例性配置。每一攝像機得位於物件的各側上。舉例而言,配置300顯示具有四個攝像機302a-302d(如虛線圓圈所示)的智慧型手機配置圖,其中每一攝像機位於智慧型手機的各側302A-302D上,如圖所示,攝像機302a位於前側302A上,攝像機302b位於後側302B上,攝像機302c位於左側302C上,並且攝像機302d位於右側302D上。攝像機之配置型態為菊鍊,因此智慧型手機產生的全景圖像結合如第1圖及第2圖所描述的概念和結構。
配置304描述手勢識別配置,其中每一攝像機位於電子裝置的單一表面上,如智慧型手機。重要的是,採用菊鍊配置提供手勢識別諸多優點。如上文所述,採用菊鍊有助於減少處理時間,因此更加精準地識別快速手勢。
配置306係以俯視角度觀看汽車監視系統。每一攝像機位於汽車的不同側向。應當理解,汽車的每一側更可包含更多或更少的攝像機。行動裝置之高速移動有助於減少配置306內攝像機菊鍊配置的處理時間,因此,快速的處理時間有助於精準地且快速抓取周圍環境的成像。於配置306內,每一攝像機307a-307d可配置為菊鍊,如上文所述。此外,可以以操作主機108之類似方式操作CPU 308,如上文所述。CPU 308可以是主要交通工具之電腦,抑或是,用於輔助視覺識別的分離CPU,諸如視覺車道輔助電腦、自動前燈控制、雨刷輔助控制、停車輔助控制、制動輔助控制或利用視覺圖像數據以輔助其它車輛操作。CPU可接收及分析每一攝像機307a-307d所接收到的圖像數據,並且利用上述資訊以輔助車輛操作。
第4圖根據本發明之一實施例顯示攝像機菊鍊生成圖像之方法400,方法400係使用第1圖的菊鍊100以執行下列步驟:於可選步驟402中,方法400會校準每一攝像機,並將校準設定值儲存於OTP記憶體中,有助於協調複數個攝像機間的圖像融合。舉例而言,由處理器或主機108以執行步驟402,校準每一攝像機102、104、106,俾使每一攝像機之圖像數據組合所產生的圖像無重疊模糊現象圖像數據。
於步驟404中,複數個攝像機捕捉圖像數據。每一攝像機102、104、106開始捕捉外部場景的圖像數據113、115、117,並儲存於各自列緩衝器118、120、122內圖像數據。舉例而言,為捕捉圖像數據,定時信號經由I2C匯流排線路110自主機108發送,以同時讀出每一陣列112、114、116的圖元排,並且儲存於各自緩衝器內。
於步驟406中,在步驟404中所儲存於第一攝像機緩衝器內的第一攝像機圖像數據與第二攝像機圖像數據組合,舉例而言,第一攝像機圖像數據自第一攝像機傳輸至第一攝像機下游的第二攝像機,來自第一攝像機圖像數據會在第二攝像機處與第二攝像機圖像數據組合。於步驟406之一實施例中,緩衝器118內的圖像數據第一排傳輸至MIPI Tx 130,圖像數據經由MIPI Tx 130傳輸至攝像機104的MIPI Rx 126,接續,儲存圖像數據113,並與緩衝器120內第二攝像機104所捕捉的圖像數據115第一排相組合。於攝像機102捕捉圖像數據113第一排之後執行步驟406,但須於捕捉全陣列112圖像數據之前執行步驟406。
於步驟408中,在步驟406中的第二攝像機緩衝器內所儲存的第一和第二攝像機的組合圖像數據會與額外攝像機的圖像數據相組合。舉例而言,圖像數據第一排的組合圖像數據(包括陣列114圖像數據第一排與陣列112圖像數據第一排之組合)傳輸至與第三攝像機之陣列116圖像數據117第一排組合。於操作步驟408之一實施例中,由第二攝像機104之圖像數據113及圖像數據115所組合的圖像數據113+115,經由MIPI Tx 132傳輸至第三攝像機106之MIPI Rx128,接續,組合圖像數據113+115數據會與在額外攝像機(即攝像機106)內的額外攝像機緩衝器(即緩衝器122)的圖像數據117第一排相結合。步驟408會在每一額外下游攝像機中反覆操作,直至組合圖像數據傳輸至主機108。
由菊鍊攝像機所捕捉的圖像數據每一排皆會進行步驟406-408。在步驟410中,方法400將現有組合圖像數據排與先前組合圖像數據排相結合。在一操作實施例中,主機108接收來自攝像機106的圖像數據之合併第二排(即經由MIPI Tx 134),並將圖像數據第二排與圖像數據第一排相結合。
於步驟412中,方法400輸出一全景圖像,其包括來自每一攝像機的組合圖像數據之所有合併排的全景圖像。舉例而言,主機108輸出一全景圖像,其包括由每一攝像機102、104和106所接收到的組合圖像數據合併排的全景圖像。
上述實施例皆使用I2C協定以控制圖像捕捉排序的定時。於兩個I2C裝置間之兩條導線進行數據通信,藉此減少圖像系統菊鍊所需的佔用的空間。舉例而言,每一裝置連接一時鐘及一數據串列線,其分別控制定時和數據資訊數據。於I2C協定內,每一裝置可為主裝置或次要裝置。主裝置負責當下時間的匯流排、控制時鐘、生成開始和停止信號,並且發送數據或接收數據至次要裝置,以及自次要裝置發送數據或接收數據。次要裝置依匯流排控制接收的數據。一般而言,次要裝置之間不具備傳輸數據之功能。
第5圖係根據本發明之一實施例顯示第1圖的菊鍊100內每一裝置的位址識別碼500,例如每一陣列、MIPI Tx、MIPI Rx具有與其相關聯的識別碼。此外,特定裝置具有獨一無二之識別碼,據此,當主裝置發送一信號至一或多個次要裝置時,該信號亦同時播放至所有次要裝置。每一裝置會針對START位元後的第一個7位元與其本身位址相比較,以確定主裝置是否與特定次要裝置"通話talking"。倘若第一個7位元與其本身位址識別碼相匹配時,則次要裝置將自行認定為主裝置。位址識別碼的位元屬於讀取/寫入位元。應當理解,位址識別碼可包括定位部分和可編程部分。除此之外,在不脫離本發明範圍及精神情況下,可比第5圖更多或更少相關聯的位址識別碼。
第6圖係根據本發明之一實施例顯示主裝置寫入次要裝置之數據傳輸圖600。於第6圖中,空白填充表示數據自主裝置發送至次要裝置數據,而虛線填充表示數據自次要裝置發送至主裝置數據。於數據傳輸600中,傳輸開始並包含識別碼500以及寫入位元601,接續,主裝置等待來自次要裝置的認證602,於接收認證602後,主裝置方可開始數據傳輸。次要裝置於整個傳輸過程中,週期性傳輸認證數據,直至主裝置發送停止命令。
第7圖係根據本發明之一實施例顯示主裝置讀取次要裝置之數據傳輸圖700。於第7圖內,空白填充表示數據自主裝置發送至次要裝置數據,而虛線填充表示數據自次要裝置發送至主裝置數據。於數據傳輸700中,傳輸開始並包括識別碼500以及讀出位元701,接續,主裝置等待來自次要裝置的認證702,於接收認證702後,次要裝置開始傳輸數據至主裝置。主裝置週期性地發送次要裝置所接收數據的認證704數據,直至主裝置發送停止命令。
第8圖係根據本發明之一實施例顯示在I2C匯流排線路上的通用呼叫800。通用呼叫800包括第一位元組802和第二位元組804,第一位元組802用 以指定次要裝置呼叫定址,第二位元組804用以指定一行動。舉例而言,第一位元組802可指示全陣列進行定址,並且第二位元組804可指示開始捕捉圖像數據。於一操作實施例中,第1圖之主機108經由I2C匯流排線路110傳送通用呼叫800至攝像機102、104、106。如上文所述,主裝置每一次可定址超過一個次要裝置。
於某些實施例中,第二位元組可指示裝置採用其識別碼(即識別碼500)之可編程部分。於此態樣實施例中,第二位元組的最後位元可以是0或1,當最後位元是0時,所有次要裝置得重新設定,並容納其位址之可編程部分,抑或是,未重新設定而容納其位址之可編程部分;當第二位元組的最後位元是1時,主裝置所發出之呼叫未具備連接次要裝置位址之任一先前資訊。據此,主裝置採用其本身位址進行呼叫,以使得次要裝置可識別訊息來源。
成像系統菊鍊所使用的I2C協定具備諸多優點。舉例而言,I2C協議得以輔助攝像機初始化和同步,藉此有助於減少全景圖像融合部分間的模糊現象。舉例而言,於第1圖的菊鍊100內,由每一陣列112、114、116所收集到的圖像數據得以通用呼叫作為同步基礎,如上述於第8圖所討論之。
本發明並未侷限於上述所描述之特定細節特徵,此領域之技藝者,在不脫離本專利精神或範圍內,所作之更動或潤飾,均屬於本發明所揭示精神下所完成之等效改變或設計,且應包含在下述之申請專利範圍內。上述敘述係為本發明之較佳實施例,此領域之技藝者應得以領會其係用以說明本發明而非用以限定本發明所主張之專利權利範圍,其專利保護範圍當視後附之申請專利範圍及其等同領域而定。
102、104、106‧‧‧攝像機
100‧‧‧菊鍊
108‧‧‧主機
110‧‧‧數據線、線路
112、114、116‧‧‧陣列
113、115、117‧‧‧圖像數據
118、120、122‧‧‧緩衝器
124、126、128‧‧‧MIPI接收器
130、132、134‧‧‧MIPI傳送器
(1)-(11)‧‧‧箭頭

Claims (20)

  1. 一種用於產生全景圖像之方法,係包含:執行一捕捉步驟,由每一攝像機捕捉一圖像數據,並將該圖像數據儲存於各自該攝像機內之一記憶體緩衝器,於攝像機菊鍊配置中,至少一鄰近上游攝像機耦接於一下游攝像機;執行一傳送步驟,該複數個攝像機之該鄰近上游攝像機傳送該圖像數據至該複數個攝像機之該下游攝像機;以及執行一組合步驟,於該下游攝像機內,將來自該鄰近上游攝像機之該圖像數據與該下游攝像機之該圖像數據組合,以成為一組合圖像數據。
  2. 如申請專利範圍第1項所述之方法,該捕捉步驟包括同時自該複數個攝像機捕捉該圖像數據。
  3. 如申請專利範圍第1項所述之方法,該捕捉步驟包括自該每一攝像機之一圖像陣列捕捉該圖像數據,以作為該圖像數據之一系列排。
  4. 如申請專利範圍第3項所述之方法,其中該傳送步驟係於該上游攝相機捕捉該系列排之第一排之後執行,並於該上游攝像機捕捉該系列排之最後排之前執行。
  5. 如申請專利範圍第1項所述之方法,進一步包含:自該下游攝像機傳送該組合圖像數據至該複數個攝像機之一額外下游攝像機;於該額外下游攝像機內,將該組合圖像數據與該額外下游數據之該圖像數據組合,以成為一額外組合圖像數據。
  6. 如申請專利範圍第1項所述之方法,其中該傳送步驟包括利用該鄰近上游攝像機內之一傳送器,以存取該鄰近上游攝像機內該記憶體緩衝器所儲存之該圖像數據,並將所存取之該圖像數據傳送 至該下游攝像機之一接收器;以及該組合步驟包括,將來自該鄰近上游攝像機之該圖像數據,自該下游攝像機之該接收器儲存至該下游攝像機之該記憶體緩衝器中。
  7. 如申請專利範圍第1項所述之方法,其進一步包括一主機產生一呼叫信號,以控制該複數個攝像機間之數據傳輸。
  8. 如申請專利範圍第7項所述之方法,更包括於一內部積體電路(I2C)匯流排上傳送該呼叫信號。
  9. 如申請專利範圍第7項所述之方法,該呼叫信號包括一第一位元組以及一第二位元組,該第一位元組用以指示一位址識別碼,其用以識別一或多個該攝像機和攝像機子元件,該第二位元組用以指示一動作,該動作係藉由該攝像機、每一攝像機內之記憶體緩衝器、每一攝像機內之該傳送器中之一或多個定址而產生。
  10. 一種用於產生全景圖像之系統,該系統包括多個攝像機,每一攝像機包括:一成像陣列,用以捕捉一場景之一圖像數據;一接收器,用以接收複數個攝像機之一鄰近上游攝像機之該圖像數據;一記憶體緩衝器,用以將從該鄰近上游攝像機所接收到的該圖像數據與該成像陣列捕捉到的該圖像數據相組合,以成為一組合圖像數據,並將該組合圖像數據儲存於該記憶體緩衝器內;一傳送器,用以將所儲存之該組合圖像數據傳送至複數個攝像機之一下游攝像機;以及複數個攝像機係以菊鍊配置耦接,一第一攝像機之傳送器耦接於一第二攝像機之接收器。
  11. 如申請專利範圍第10項所述之系統,更包括一主機,其用以協調該複數個攝像機間之數據傳輸。
  12. 如申請專利範圍第10項所述之系統,其中每一該複數個攝像機係同時捕捉該圖像數據。
  13. 如申請專利範圍第10項所述之系統,其中每一該複數個攝像機係經由一內部積體電路(I2C)匯流排以耦合為一體。
  14. 如申請專利範圍第11項所述之系統,其中該主機包括該複數個攝像機,其中一為主攝像機,其餘為次要攝像機。
  15. 如申請專利範圍第11項所述之系統,其中該主機包括一外部處理器。
  16. 如申請專利範圍第10項所述之系統,其中該圖像數據是一系列排,該圖像數據自該鄰近上游攝像機一次傳送一排至該下游攝像機。
  17. 如申請專利範圍第16項所述之系統,其中於捕捉該系列排之一第一排之後,而於捕捉該系列排之最後排之前,該上游攝像機開始傳輸該圖像數據至一第一下游攝像機。
  18. 如申請專利範圍第10項所述之系統,其中該複數個攝像機位於一物件的各側上。
  19. 如申請專利範圍第10項所述之系統,更包括:一各自位址識別碼,其用以表示每一該複數個攝像機之每一該成像陣列、該記憶體緩衝器、該接收器、該傳送器;以及一內部積體電路(I2C)匯流排,其將該主機耦合至每一該攝像機;其中,該主機經由該I2C匯流排上傳送之一呼叫信號,以協調每一該攝像機間之數據傳輸,該呼叫信號指示該主機定址之位址識別碼。
  20. 如申請專利範圍第19項所述之系統,該呼叫信號包括一第一位元組以及一第二位元組,該第一位元組指示位址識別碼進行定址,該第二位元組指示一動作,該動作係藉由至少一攝像機子元件以執行之。
TW103120316A 2013-06-14 2014-06-12 產生全景圖像的系統和方法 TWI545388B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201361835492P 2013-06-14 2013-06-14

Publications (2)

Publication Number Publication Date
TW201502691A TW201502691A (zh) 2015-01-16
TWI545388B true TWI545388B (zh) 2016-08-11

Family

ID=52018879

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103120316A TWI545388B (zh) 2013-06-14 2014-06-12 產生全景圖像的系統和方法

Country Status (4)

Country Link
US (1) US9681045B2 (zh)
CN (1) CN104284144B (zh)
HK (1) HK1202009A1 (zh)
TW (1) TWI545388B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
WO2015171544A1 (en) * 2014-05-06 2015-11-12 Niazi Zakariya Imaging system, method, and applications
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US9363569B1 (en) 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US9774887B1 (en) 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US10186301B1 (en) 2014-07-28 2019-01-22 Jaunt Inc. Camera array including camera modules
US10701426B1 (en) 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US10033928B1 (en) * 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
JP6429829B2 (ja) * 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
CN107249096B (zh) 2016-06-14 2021-02-26 杭州海康威视数字技术股份有限公司 全景摄像机及其拍摄方法
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US10554958B2 (en) 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
TWI645297B (zh) * 2017-05-26 2018-12-21 聚晶半導體股份有限公司 資料傳輸系統
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
CN113992857B (zh) * 2021-12-06 2022-03-18 北京拙河科技有限公司 基于十亿级像素的图像采集、识别与分类存储方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7064783B2 (en) 1999-12-31 2006-06-20 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
US6771304B1 (en) 1999-12-31 2004-08-03 Stmicroelectronics, Inc. Perspective correction device for panoramic digital camera
US7843487B2 (en) * 2006-08-28 2010-11-30 Panasonic Corporation System of linkable cameras, each receiving, contributing to the encoding of, and transmitting an image
JP4867552B2 (ja) * 2006-09-28 2012-02-01 株式会社ニコン 撮像装置
DE202008009834U1 (de) * 2008-07-22 2009-12-10 Liebherr-Elektronik Gmbh Kamera zum Einsatz in einem digitalen Netzwerk
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
US8205017B2 (en) * 2009-11-17 2012-06-19 Aptina Imaging Corporation Systems and methods for addressing and synchronizing multiple devices
CA2794928A1 (en) 2010-03-30 2011-10-06 Social Animal, Inc. System and method for capturing and displaying cinema quality panoramic images
TW201137507A (en) 2010-04-16 2011-11-01 Hon Hai Prec Ind Co Ltd Panoramic image capturing apparatus and method thereof
US9282242B2 (en) 2011-08-24 2016-03-08 Htc Corporation Method and electric device for taking panoramic photograph
US9124801B2 (en) 2012-07-26 2015-09-01 Omnivision Technologies, Inc. Image processing system and method using multiple imagers for providing extended view
US9094907B2 (en) * 2013-02-11 2015-07-28 Telefonaktiebolaget L M Ericsson (Publ) High-precision time tagging for content synthesization

Also Published As

Publication number Publication date
US20140368609A1 (en) 2014-12-18
TW201502691A (zh) 2015-01-16
HK1202009A1 (zh) 2015-09-11
CN104284144B (zh) 2018-02-06
CN104284144A (zh) 2015-01-14
US9681045B2 (en) 2017-06-13

Similar Documents

Publication Publication Date Title
TWI545388B (zh) 產生全景圖像的系統和方法
KR101399718B1 (ko) 다중 이미지 센서들로부터 데이터의 결합
KR101400515B1 (ko) 다중 이미지 센서들로부터 데이터의 결합
JP6123274B2 (ja) 撮像装置
JP6695739B2 (ja) 処理装置、画像センサ、およびシステム
CN108432228B (zh) 图像数据的帧同步方法、图像信号处理单元、装置及终端
CN112672004B (zh) 车辆及控制车辆的方法
US10148936B2 (en) Multi-band image sensor for providing three-dimensional color images
US9071750B2 (en) Semiconductor integrated circuit and multi-angle video system
JP2008154073A (ja) 撮像装置および撮像システム
TWI637632B (zh) 影像擷取裝置及其控制方法
JP6330873B2 (ja) 撮像装置
JP2017212690A (ja) 処理装置、画像センサ、およびシステム
KR102099914B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN109309784B (zh) 移动终端
KR101230397B1 (ko) 영상 데이터 고속 송/수신 방법 및 장치
KR102080927B1 (ko) 스테레오 영상 생성 방법 및 장치
CN103841039B (zh) 网络流送的方法和装置
JP2020188323A (ja) 撮像装置および撮像方法
CN108683866B (zh) 图像处理及传输方法、图像处理器及相关存储介质和系统
KR101254683B1 (ko) 3d 영상 촬영용 거치대 및 3d 영상의 촬영 제어 방법
KR20150034953A (ko) 고속 카메라 이미지 처리 장치
JP2017050772A (ja) 多重通信システム及び画像伝送方法
CN110363705A (zh) 基于fpga的固定相机周视成像系统及方法
JP4224504B2 (ja) 撮像システムおよび撮像システムの撮影制御方法