TW201205308A - Combining data from multiple image sensors - Google Patents

Combining data from multiple image sensors Download PDF

Info

Publication number
TW201205308A
TW201205308A TW100111892A TW100111892A TW201205308A TW 201205308 A TW201205308 A TW 201205308A TW 100111892 A TW100111892 A TW 100111892A TW 100111892 A TW100111892 A TW 100111892A TW 201205308 A TW201205308 A TW 201205308A
Authority
TW
Taiwan
Prior art keywords
image
data
sensor
line
processor
Prior art date
Application number
TW100111892A
Other languages
English (en)
Inventor
Sergiu R Goma
Hau Hwang
Joseph Cheung
Milivoje Aleksic
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201205308A publication Critical patent/TW201205308A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/665Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Analysis (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Facsimiles In General (AREA)
  • Facsimile Heads (AREA)
  • Image Input (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Description

201205308 六、發明說明: 【發明所屬之技術領域】 本發明大體而言係關於結合來自多個影像感測器之資 料。 本申請案主張2010年4月5曰申請之美國臨時申請案第 61/32〇,94〇號、2〇1〇年4月14曰申請之美國臨時申請案第 61/324,259號、2010年6月28日申請之美國臨時申請案第 61/359,312號及2010年11月11曰申請之美國臨時申請案第 61/412,75 5號中之每一者的權利,且該等申請案中之每— 者以引用的方式併入本文中。 【先前技術】 技術之進步已產生更小且更強大之計算器件。舉例而 言,當前存在多種搞帶型個人計算器件,包括無線計算器 件,諸如攜帶型無線電話、個人數位助理(pDA)及傳呼器 件,其體積小、重量輕且易於由使用者攜載。更特定言 之,攜帶型無線電話(諸如,蜂巢式電話及網際網路協定 (IP)電話)可經由無線網路傳達語音及資料封包。此外,許 多此等無線電話包括併入於其中之其他類型之器件。舉例 而言,無線電話亦可包括數位靜態相機及數位視訊相機。 又,此等無線電話可處理可執行指令,包括可用以存取網
際網路之軟體應用藉L 式(诸如,網頁瀏覽器應用程式)。 :外,無線器件可執行三維㈣應用程式。在職用程 '通f使用至少兩個影像感測器自-場景俘獲深度資 自兩個影像感测器之圖框資料經結合且處理以推斷 155243.doc 201205308 距離資訊且用以建構3D表示。結合來自該等感測器中之每 一者之影像資料通常涉及執行圖框同步及行同步,此可導 致同步及對準挑戰。另外,當源感測器以不同頻率或相位 提供資料時,濾波來自多個感測器之影像資料且交錯此影 像資料可為更加複雜的。有效地同步來自多個感測器之資 料且有效地處理該資料以減小總影像處理系統成本及複雜 性將為有利的。 【發明内容】 在多個相機陣列應用中,來自多個感測器中之每一者之 影像資料待在一行位準下同步且處理。揭示一種用以結合 來自多個感測器之資料之影像處理系統,其中同步且處理 來自一第一影像感測器及一第二影像感測器之影像資料。 藉由同步且結纟來自—II由該帛—影像感冑器所產生之第 貝料串流的第-資料與來自—藉由該第二影像感測器所 產生之第二資料串流的第二資料來產生同步資料行。影像 信號處理器經組態以處理自—結合器所接收之該等同步/資 料行且將經處理圖框輸出至一顯示器。 在特疋實施例中,揭示一種方法。該方法包括將—共 同控制k號提供至待同步之多個影像感測器。該方法進一 步包括接收來自該多個影像感測器中之—第—影像感測器 之第-資料行,接收來自該多個影像感測器中之一第二 影像感測器之一篦-咨士丨> „ 一 _ ^笫一育枓仃,及結合該第一資料行與該第 二資料行以產生一同步資料行。 在另一特定實施例中’揭示-種裝置。該裝置包括一第 155243.doc 201205308 一輸入端,該第一輸入端經組態以經由一共同控制信號接 收來自待同步之多個影像感測器中之一第一影像感測器的 一第一資料行》該裝置進一步包括:一第二輸入端,該第 二輸入端經組態以接收來自該多個影像感測器中之一第二 * 影像感測器的一第二資料行;及一結合器,該結合器耗接 • 至該第一輸入端及該第二輸入端,其中該結合器經組態以 結合該第一資料行與該第二資料行以產生一同步資料行。 在另一特定實施例中,揭示一種方法。該方法包括將一 共同控制信號提供至多個影像感測器。該多個影像感測器 中之每一者係回應於該共同控制信號以產生影像資料。該 方法進一步包括接收來自該多個影像感測器中之每一者之 同步資料輸出,結合來自該多個影像感測器中之每一者之 該同步資料輸出以產生一同步資料行,及經由一影像處理 器之一單一相機輸入將該同步資料行提供至該影像處理 器。 在另一特定實施例中,揭示一種裝置。該裝置包括一感 測器同步盗’ §亥感測器同步器經組態以將一共同控制信號 提供至多個影像感測器。該多個影像感測器中之每一者係 . 回應於該共同控制信號以產生影像資料。該裝置進一步包 ' 括一結合器’該結合器經組態以結合自該多個影像感測器 中之每一者所接收之同步資料輸出’以產生待經由一影像 處理器之一單一相機輸入提供至該影像處理器的一同步資 料行。 在另一特定實施例中’揭示一種方法。該方法包括將一 155243.doc 201205308 共同控制信號提供至多個影像感測器。該多個影像感測器 中之每一者係回應於該共同控制信號以產生影像資料。該 方法進一步包括接收來自該多個影像感測器中之每一者之 同步資料輸出。 在另一特定實施例中,揭示一種方法。該方法包括在多 個影像感測器處接收一共同控制信號。該多個影像感測器 中之每一者係回應於該共同控制信號以產生影像資料。該 方法進一步包括產生來自該多個影像感測器中之每一者之 同步資料輸出。 在另一特定實施例中,揭示一種裝置。該裝置包括一感 測器同步器,該感測器同步器經組態以將一共同控制信號 提供至多個影像感測器以使該多個影像感測器產生影像資 2。該裝置進一步包括一感測器資料介面,該感測器資料 介面經組態以接收來自該多個影像感測器中之每一者之同 步資料輸出。 在另一特定實施例中,揭示一種方法。該方法包括在具 有用於—單—相機之-輸人的—影像處理器處接收影像資 料之行。該影像資料之每一行包括來自一藉由一第—相機 所俘獲之第-影像的第—行資料及來自_藉由_第二 所俘獲之第二影像的第:行資料。該方法進—步⑼產生 -輸出諫’該輸出圖框具有對應於該第—影像之行 的-第-區段且具有對應於該第二影像之行資料二 區段。該第-區段及該第二區段經組態以: (3D)影像格式或3D視訊格式。 $一^ 155243.doc • 6 · 201205308 在另一特定實施例中’揭示一錄驻 像處理器’該影像處理器具有用於一單_ = : = -影 該影像處理器經組態讀由該輸人接收影像資料:二 影像資料之每-行包括來自一藉 〇 相機所俘獲之第 一影像的第-行資料及來自m相機所俘獲之第 -影像的第二行資料。該影像處理器經組態以產生—輸出 圖框,該輸出圖框具有對應於該第一影像之行資料的一第 -區段且具有對應於該第二影像之行資料的一第二區段。 mi段及該第二區段經組態以用以產生三維(3d)影像 格式或3D視訊格式。 在-特定實施例t,揭示-種將來自多個感測器之資料 結合成-圖框之方法。該方法包括接收來卜第一影像感 測器之一第-資料串流’接收來自-第二影像感測器之一 第一資料串流,及結合來自該第一資料串流之資料與來自 该第二資料串流之資料以產生一圖框。該方法進一步包括 在—影像信號處理器處處理該圖框以產生一經處理圖框及 輸出該經處理圖框以用於顯示。該第一影像感測器及該第 影像感測器中之每一者直接回應於該影像信號處理器。 在另一特定實施例中,揭示一種裝置。該裝置包括:一 第—影像感測器,該第一影像感測器經組態以產生一第一 資料串流;一第二影像感測器,該第二影像感測器經組態 以產生一第二資料串流;及一結合器,該結合器經組態以 結合來自該第一資料串流之第一資料與來自該第二資料串 机之第二資料以產生一圖框。該裝置進一步包括一影像信 155243.doc 201205308 號處理器,該影像信號處理器經組態以處理該圖框且將一 =圖框輸出至-顯示器》該第-影像感測器及該第二 “器中之每—者直接回應於該影像信號處理器。 在另-特定實施例中,揭示一種方法。該方法包括接收 ㈣一第—影像感測器之__影像之第—影像資料,接收來 自第-影像感測器之一影像之第二影像資料,及同步在 獲取期間該第一影像感測器及該第二影像感測器 曝光。該第-影像感測器與該第二影像感測器彼此 該同步可為逐行的且可為逐圖框的。 在另-特定實施例中’揭示一種裝置。該裝置包括一纪 憶體緩衝器。該記憶體緩衝器包括用以經由每一圖框之串 =輸以-確定性次序對準進入串流的一區段及在串流之 間的一可程式化間隙區段。 定實施例中’揭示一種方法。該方法包括在具 、I-相機之一輸入的一影像處理器處接收影像資 枓之夕個列。該影像資料之每一列包括來自藉由一第一相 機所俘獲之-第-影像之—列的資料及來 :所俘獲之-第二影像之-列的資料。該方法亦包= 具有二維(3D)影像格式或3〇視訊格式之輸出。該輸出對 應於該第一影像及該第二影像。 在另-特定實施例中,揭示一種裝置。該裝置包括一影 像處理器,該影像處理器具有用於—單—相機之—輸入。 =置亦包括一結合器’該結合器經組態以將影像資料之 夕固列發送至該影像處理器。該影像資料之每一列包括來 155243.doc 201205308 自藉由一第一相機所俘獲之—馬 .,〜像之一列的第一資料 及來自藉由一第二相機所俘獲之— 旦, 乐一影像之一列的第二 資料。該影像處理器經組態以產一 々·vm、目Μ从上 具有二維(3D)影像格 格式之輸出。該輸出對應於該第-影像及該第 二影像。 藉由所揭示實施例中之至少— 〇〇 夕者所提供的一特定優點在 於’一單一影像信號處 j用U冋步且控制來自多個影 像感測器之影像資料。另-特定優點在於,在串流之間具 有間隙提供將影像信號處理器中之經結合串流處理為一單 一圖框的靈活性,且藉由後嬙 楮田傻續的基於區塊之處理來避免串 流之污染(亦即’若間隙與基於最大區塊之處理相等,則 串流之污染得以避免)。 本發明之其他態樣、優點及特徵將在審閱包括以下章節 之完整巾請案之後變得顯而易見:圖式簡單說明、實施方 式及申請專利範圍。 【實施方式】 參看圖1,描繪用以結合來自多個感測器之資料之影像 處理系統的特定說明性實施例且將其一般地指定為1〇〇。 影像處理系統1〇〇包括多相機模組1〇2、感測器模組1〇4, 及單相機晶片模組106 »在一特定實施例中,感測器模組 104可包括複數個感測器,諸如圖2及圖3之感測器2〇2及 204 ’其中該複數個感測器中之每一者經組態以產生包括 影像之多個資料行的資料串流。單相機模組1〇6可包括具 有單—相機輸入之影像處理器,諸如圖2及圖3之影像處理 155243.doc 201205308 =。:多個感測器之影像資料串流之逐行 =同步資料行⑽使得影像處理器能夠執行用於多:: 處理之格式化,g卩伯# 機 此。結果,與使用單^ 器具有單一相機輪入仍如 與使用早縣理ns於每—相機或使用 個相機輸入之處理器的系統相比車交,系統 成本來實施〇 戍小之 參看圖2 ’描繪用以結合來自多個感測器之資料之影像 處理系統的特定說明性實施例且將其一般地指定為暮 I像處理系統200包括第一感測器2〇2及第二感測器。 影像處理系統200進-步包括結合器施、影像信號處理器 或視訊前端208,及感測器同步器23〇。影像信號處理器 208可耦接至顯示器件(未圖示卜結合器包括—或多個 行緩衝器216。影像處理系統2〇〇可整合於至少一個半導體 晶粒中。 第一感測器202經組態以產生第一資料串流,說明為第 一影像資料串流212。第一影像資料串流212包括第一資料 行222。第二感測器2〇4經組態以產生第二資料串流,說明 為第二影像資料串流214。第二影像資料串流214包括第二 資料行224。第一感測器202及第二感測器204可為實質上 類似的影像感測器,第一感測器202與第二感測器2〇4彼此 獨立且接收來自感測器同步器230之共同控制信號234。感 測器同步器230經組態以接收控制/資料信號232且將共同 控制信號234輸出至第一感測器202及第二感測器204,從 而使得第一感測器202及第二感測器204能夠產生緊密地對 155243.doc -10- 201205308 準之資料串流212、214。舉例而言,資料串流212、214可 具有實質上相同的時序特性,諸如頻率及相位。在一特定 實施例中,可自影像信號處理器2〇8接收控制/資料信號 232。 結合器206係回應於第一影像資料串流212及第二影像資 料串流214。結合器206經組態以在行緩衝器216内結合來 自第一影像資料串流212之資料與來自第二影像資料串流 214之資料。在一特定實施例中,行緩衝器216經組態以對 準第一資料(諸如,來自第一感測器2〇2之第一資料行222) 與第二資料(諸如,來自第二感測器2〇4之第二資料行 224)。在一特定實施例中,結合器2〇6係回應於儲存於行 緩衝器216内之資料且將行資料218提供至影像信號處理器 208。在一特定實施例中,行資料218可包括複數個列,其 中每一列為來自每一感測器2〇2、204之對應列之結合,諸 如關於圖6所描述。 影像彳s號處理器208經組態以處理行資料2丨8且產生經處 理行資料240。在一特定實施例中,經處理行資料24〇可作 為經處理圖框資料提供。儘管已展示兩個感測器,但應理 解’其他實施例可包括兩個以上感測器。舉例而言,圖3 描繪包括兩個以上感測器之實施例3〇〇。第N感測器3〇5經 組態以產生第N資料串流,說明為第N影像資料串流3丨5。 第N影像資料串流315包括第N資料行325。第n感測器3〇5 可實質上類似於第一影像感測器202及第二影像感測器 204 ’且可接收來自感測器同步器230之共同控制信號 155243.doc 201205308 234從而使得第一感漁j器2〇2、第二感測器及第n感測 器305能夠產生緊密地對準之資料串流212、214、315。舉 例而言,資料串流212、214、315可具有實質上相同的時 序特性,諸如頻率及相位。結合器2〇6係回應於第一影像 資料串流212、第二影像資料串流214及第N影像資料串流 315。結合器206經組態以在行緩衝器216内結合來自第一 影像資料串流212、第二影像資料串流2丨4與第像資料 串流3 15之資料。 因為自經共同地控制之類似感測器(例如,圖2之2〇2、 2〇4,或圖3之202、204、3 05)所接收之資料具有實質上相 同的頻率及相位,所以在影像資料之單一影像行内可發生 在結合器206處所接收之資料串流之間的同步。在一特定 實施例中,行緩衝器216可針對未對準之最差狀況定尺寸 (亦即,若同步未對準為三行,則行緩衝器212應被定大小 以緩衝至少六行)。結果,可使用單一影像信號處理器有 效地處理經結合資料。因此,與多處理器系統相比較(例 如,向每一感測器指派一處理器),總影像系統成本及複 雜性可減小。 參看圖4 ’描續圖2之影像處理系統2〇〇之所選擇部分4〇〇 的特疋說明性實施例。影像處理系統之部分4〇〇包括第一 感剃器202、第二感測器204及感測器同步器23〇。在一特 定實施例中’第一感測器202及第二感測器204為接收來自 感測器同步器230之相同起動或重設信號及相同時脈輸入 的相同感測器或幾乎相同感測器。舉例而言,第一感測器 155243.doc 201205308 202及第二感測器204可各自接收來自感測器同步器咖之 共同控制資料/信號。在一特定實施例中,控制資料/信號 可包括控制時脈信號404、控制資料信號4〇6、相機時脈信 號408及相機重設信號410。控制資料/信號4〇4至41〇可經 由順應兩導線晶片間通信協定(tw〇 wke communication protocol)之介面形成且傳輸,諸如積體電 路間(I2C)多主控串列電腦匯流排。或者,控制資料/信號 404至410可根據順應以下各者之規範的介面形成且傳輸: 數位相機模組與行動電話引擎之間的串列介面(諸如,相 機串列介面(CSI))、周邊器件(相機)與主機處理器(基頻、 應用程式引擎)之間的介面(諸如,相機串列介面2(csi_ 2))、數位相機模組與行動電話引擎之間的並列介面(諸 如,相機並列介面(CPI)),或其他控制介面。 第一感測器202可經組態以將第一時序資料42〇及第一感 測器影像資料422發送至如圖2或圖5中之系統中所說明之 結合器206。類似地,第二感測器2〇4可經組態以將第二時 序資料43 0及第二感測器影像資料432發送至圖2或圖5之結 合器206。 在操作期間’自時序觀點,第一感測器202及第二感測 器2 0 4各自在相同或幾乎相同之條件中操作。舉例而言, 第一感測器202及第二感測器204各自接收相同控制時脈信 號404、相同控制資料信號406、相同相機時脈信號408及 相同相機重設信號410。因為第一感測器202及第二感測器 204為相同的或幾乎相同的,所以第一感測器202及第二感 155243.doc -13- 201205308 測器204在相同時序條件下實質上類似地操作。舉例而 來自第-感測器202之資料輸出與來自第二感測器2〇4 之資料輸出具有實質上相同的頻率及相位。為了說明,來 自第一感測器2〇2及第二感測器綱之資料輪出之間的相位 差可小於相位差之單-水平行,從而使得單—影像信號處 理器能夠用以同步且控制來自該兩個影像感測器2〇2、 之影像資料。 參看圖5,描繪用以結合來自多個感測器之資料之影像 處理系統的特定說明性實施例之方塊圖且將其一般地指定 為500。系統5〇〇包括第一影像感測器2〇2、第二影像感: 器204、結合器2。6、感測器同步器23〇及影像信號處理器 2〇8。系統500進一步包括暫存器介面51〇及時脈管理器件 5。12。在-特定實施财,暫存时面51何在感測器同步 器230内。或者,暫存器介面51〇可為獨立模組。在一特定 實施例中,系統500可進一步包括精簡型輸出格式器5〇6 (以陰影展示)以及輸送封包化器及格式器(transp〇rt and formatter)508(以陰影展示)。 在一特定實施例中,結合器206經組態以接收來自第一 感測器202之第一時序資料42〇及第一感測器影像資料 422。結合器206亦經組態以接收來自第二感測器2〇4之第 二時序資料430及第二感測器影像資料432。結合器2〇6經 進一步組態以接收來自時脈管理器件512之時脈信號526。 結合器206使用第一時序資料42〇、第一感測器影像資料 422、第二時序資料430及第二感測器影像資料432來產生 155243.doc •14- 201205308 提供至影像㈣處判之同步#料行 器208處理該同步資 〜象4唬處理 7貧科仃以產生經處理之資料行 T該經處理之f料行f料提供至另—組件,諸如至顯示器 {因此,來自多個感測器之影像資料可經結合 呈現以用於在顯示器件處顯示。 且 在一特定實_中,第—時序請42q可 脈相關聯,第一感測器与 像素時 级而器衫像資料422可與第一像辛 關聯,第二時序資斜办& 1豕京大小相 ’ 可/、第二像素時脈相關聯,且g 二感測器影像資料432可與 且第 w 丹弟—像素大小相關聯。春 盗406結合第一時序資料42〇 m s 第二時序資科43〇及莖"測_資料似、 町斤貝科430及第二感測 料行時,第-影像資料之第—μ 產生同步資 第仃及第一影像資料之對廡〜 九C»成單一影像行。在—Α杂 ’心仃 大小可為第-影像資料之第—如像仃之 π 4罘一影像資料之斜庙/- 之大小的實質上兩倍(例如 :之對應订 ,._ , 矛像素大小或第二傻去+ 小之兩倍),且經結合之單—旦 像素大 為第-像素時脈或第二像素時 羊了 如’可具有為第-像素時脈頻率或第_羊:二質上兩倍(例 倍的時脈頻率)。所產生之门戈第—像素時脈頻率之兩 料俨號5 2 _人 之同步資料行經由結合器時序資 料號528及結合器影像資㈣^ 資 器208。 対疋王々像h唬處理 在一特定實施例中,蕤Λ __,θ 精由、、,。合15 206所產生之同步資钮 仃可提供至精簡型輸出格 步資枓 Λ咨506以產生經格式化眘 該經格式化資料在提供至 飞化身枓, 王㊉像仏唬處理器208之前提供至 155243.doc • 15 · 201205308 輸送封包化器及格式器508。 在一特定實施例中,精簡型輸出格式器5〇6接收結合器 時序資料信號528及結合器影像資料信號53〇以產生經格式 化資料。經格式化資料可包括輸出格式器時序資料信號 536、輸出格式器影像資料信號538、輸出格式器靜置資料 信號(output formatter stats data signal)54〇、輸出格式器開 始資料信號542,及輸出格式器有效資料信號54〇在一特 定實施例中,輸送封包化器及格式器5〇8接收來自精簡型 輸出格式器506之經格式化資料536至544,且產生包括輸 送時序資料信號546及輸送影像資料信號M8之輸送資料串 流。 在-敎實施例中,暫存器介面51G可賴接至影像信號 處理器2 0 8且耦接至時脈管理器件5 i 2。在—特定實施例 中,暫存器介面51G可接收來自時脈管理器件512之時脈信 號527且可耦接至暫存器匯流排572。時脈管理器件5 12經 組態以接收第二時序資料信號㈣且輸出時脈信號似。在 -特定實施例中,時脈信號526為第二時序資料信號之 頻率的實質上兩倍,以使得結合器襄能夠在結合來自多 個感測器之並行資料之同時維持圖框處理速率。 因為來自經共同地控制之類似感測器之資料輸出具有實 質上相同的頻率及相位,所以可在影像資料之單—景 内發生資料串流之間的同步,可使用能夠存取影像丁 資料之單-行的單一影像信號處理器有效地處理經結合資 155243.doc 201205308 參看圖6,描繪第一影像感測器之 串流斑笛-发μ β 拥】115端處的第一資料 -瓦與第—影像感測器之輸出 以形成同步I_ 弟一資枓串流經結合 :门步資枓订的特定實施例之圖解表示且將 對應”像L 第一感測器2°2)產生 影像之第一影像資料的第-資❹流6〇2。第二咸 :盗(諸如,圖2之第二感測器2〇4)產生對應於影像之第: 影像資料的第二資料串流6G4e來 、 一 枓盥貧科串流602之資 〜、帛二資料串流6 0 4之資料經結合以形成資料 端資料串流606。 ❿成資枓輸出 - 中,第一資料串流6°2包括與影像之第 包括與W 仃相關聯的資料,且第二資料串流604 /衫之帛二影像資料之對應行相關聯&一 資料串流咖包括具有第-行索引值之行資料610、具5 一仃索弓丨值之行資料612、具有第三行索引值之行資料 614 ’及具有第四行索引值之行資料616。第二資料 一^括第-資㈣流之行資料的對應行資料,包括具有 :行索弓丨值之對應行資料620、具有第二行索引值之 Ί丁資料622、具有第三行索引值之對應行資料624,及具 有第四行索弓丨值之對應行資料62卜 〃 :料輸出端資料串流6G6包括影像之第—影像資料的第 行與影像之第二影像資料之對應行的結合。如所說明, 第山^料串流6〇2與第二資料串流604經交錯以形成資料輸 出端貝料串流6G6。舉例而言,f料輸出端資料串流6〇6包 括具有第 仃索弓丨值之經結合行資料630、具有第二行索 155243.doc -17- 201205308 =之經結合行資料632,及具有第三行索引值之經結合 订資料634。經結合行資料63G包括行資料610及對應行資 ;: 1、、°合行資料632包括行資料612及對應行資料 Λ。《行資料634包括行資料614及對應行資料624。 :藉由在行緩衝器(諸如,圖2之行緩衝器2⑷内結合對應 行而產生每一經結合行63〇至634。 在特定實施例中,來自第一資料争流之資料與來 自第二f料串流_之資料經結合以產生形成圖框66〇的複 數個同步資料行。圖框66〇可包括複數個列⑷,其中每一 列對應於行索引值且儲存包括具有該行索引值之第一影 像資料行及具有該行索引值之第二影像資料對應行的同步 資料行。舉例而言,圖框660之第—列可包括經結合行資 料630,圖框660之第二列可包括經結合行資料632,圖框 660之第二列可包括經結合行資料634,等等。每一同步影 像資料行形成圖框660之部分,使得圖框66〇中之資料對 準。 以匹配來自該等影像感測器之影像資料之讀取次序的列 642次序來描繪圖框660(亦即,來自影像感測器之頂部行 (行索引1)之經結合資料在圖框660之頂部行中,且來自影 像感測器之下一行(行索引2)之經結合資料在圖框66〇之下 一行中)。或者,在其他實施例中,圖框660之列可能不匹 配影像資料之讀取次序,且可替代地對應於影像資料之任 何其他次序。舉例而言,圖框660之頂部列可對應於行索 引2 ’而圖框660之下一列可對應於行索引1。圖框66〇可為 155243.doc • 18 - 201205308 0矛式化的,使得該等列642中之每一者可經程式化以對 應於影像資料之行索引值中的任一者。 特疋實施例中,第一影像資料之第一行010與第一 象素大小(例如,每行之像素之數目)及第—像素時脈相關 7 ’且第二影像資料之對應行_與第二像素大小及第二 :、夺脈相關聯。產生貧料串流6〇2、6⑽之第一感測器及 ▲:感測器經組態以接收共同時脈信號及共同重設信號。 虽第—影像資料之第— & , 仃610與第二影像資料之對應行020 ,,口合成單一影像行時, 旦 料$笙 該早衫像仃之大小為第一影像資 针之弟一行61〇或第二 上兩倍,且經結合之二:=:620之大小的實質 睥rm ;、有為第一像素時脈信號或第二像素 =就之時脈速率的實質上兩倍的時脈速: 行資料63°可具有為行資料61。之影像大小之實 像:=Γ:Γ°之影像大小之實質上兩倍的影 及w合行資料630之像专# 有為與行資料610相關聯之第 像素時脈頻率可具 質上兩倍或*象素時脈信號之頻率的實 L、對應订貧料620相關聯 之頻率的實質上兩倍的頻率,使得經杜人行H 素時脈頻率可與第三像素時脈信號相關。。仃貝料㈣之像 信號具有為第-像素時脈或第葬’第三像素時脈 兩倍的頻率。 篆素時脈之頻率之實質上 或者,在來自具有相等行大小之 料經結合的實施中,同步行大 &像感測器之行資 為感測器行大小之實質 155243.doc -19- 201205308 上二倍’且像素時脈速率可為個別感測器之像素時脈速率 之實質上三倍。在可具有不相等大小之任意數目個感測器 之一般狀況下,同步行大小可設定為大於或等於經結合之 行大小的總和,且像素時脈速率可經設定以使得輸出行頻 寬等於或大於輸入頻寬之總和。 可在影像信號處理器(諸如,圖2之影像信號處理器2〇8) 處處理圖框660,以產生經處理圖框65〇β經處理圖框65〇 包括.包括來自第一影像感測器(諸如,圖2之感測器2〇2) 之第一影像資料的第-區段652、包括來自第二影像感測 器(諸如,圖2之感測器204)之第二影像資料的第二區段 654,及間隙區段656。間隙區段656可包括安置於第一區 段652與第二區段654之間的非影像資料。 =一特;t實施例中,第-區段652包括第—影像資料之 一仃,且第二區段654包括第二影像資料之對應行。在一 特定實施射,㈣區段656可心邊緣濾波,且可包括 寬度為大致五個像素之黑色間隙。作為另一 段㈣可添加在多個行之間,且具有等於内插:: (加叫⑽⑽〜㈣之大小或藉由影像信號處理器應用於 圖框650之最大二維濾波器之大小的大小。 在一特定說明性實施例中,可自第—區段㈣或第二 段654收集用於自動曝光、自動聚焦及自冑白平衡之 計,第—區段652或第二區段654t之任—者可為來自各 感測器中之-者的完整影像1此,用於自動曝光、自 聚焦及自動白平衡之統計可自最終影像之—半(例如, 155243.doc -20- 201205308 一區段652)收集且可應用於兩個感測器,此係由於兩個感 測器正接收實質上相同的時序資訊。目而,來自多個感測 器之資料輸出具有實質上相同的頻率及相位,使得可在影 像之影像資料之一影像行内發生同步。 圖框65G可儲存於記憶體中,該記憶體整合於至少一個 半導體晶粒中。圖框650可儲存於記憶體中,該記憶體併 入至諸如以下各者之消費型電子器件中:機上盒、音樂播 放器'視訊播放器、娛樂單元、導航器件、通信器件、個 數4助理(PDA)、固定位置資料單元及電腦。該等電子 器件可利用影像處理方法,包括處理來自多個感測器之影 像資料的3D應用程式。 看圖十田繪第-影像感測器之輸出端處的第一資料 串流與第二影像感測器之輸出端處之第:資料串流經結合 =成同步資料行的第二實施例之圖解表示且將其一般地 才曰疋為7 0 0。第—感測^ 本 女 琢]盗(褚如,圖2之第一影像感測器202) 產生對應於影像之笛—«, _ 、 一影像資料的第一資料串流702。第 二感測器(諸如,圖2之笸_ 園之第一影像感測器204)產生對應於影 像之第一影像資料的笛_在丨丨丄 卄的第一資料串流704。來自第一資料串 流702之資料盛央ά笙 — ^自第—貧料串流704之資料經結合以形成 資枓輸出端資料串流7〇6。 在特疋貫施例中,第 一影像資料之第_行相=資❹流观包括與影像之第 包括與影像之第二影料:貧科’且第-貧料串流7°4 t 7Π., 資科之對應行相關聯的資料。第_ 2包括具有第—行索引值之行資料7Η)、具有第 155243.doc •21· 201205308 二行索引值之行資料712、具有第三行索引值之行資料 714,及具有第四行索引值之行資料716。第二資料串流 704包括第一資料串流之行資料的對應行資料,包括具有 第一行索引值之對應行資料720、具有第二行索引值之對 應行資料722、具有第三行索引值之對應行資料724,及具 有第四行索引值之對應行資料726。 資料輸出端資料串流7 〇 6包括影像之第一影像資料的第 一行與影像之第二影像資料之對應行的結合。如所說明, 第一資料串流702及第二資料串流7〇4與間隙區段7〇8交錯 以形成資料輸出端資料串流7〇6。舉例而言,資料輸出端 資料串流706之所說明部分包括具有第一行索引值之經結 合灯資料730、具有第二行索引值之經結合行資料732,及 具有第三行索引值之經結合行資料734。經結合行資料73〇 包括藉由間隙區段708與對應行資料72〇分離之行資料 710。經結合行資料732包括藉由間隙區段7〇8與對應行資 料722分離之行資料712。經結合行資料734包括藉由間隙 區段708與對應行資料724分離之行資料714。可藉由在行 緩衝器(諸如,圖2之行緩衝器216)内結合對應行與對應行 之間的間隙區段708而產生每一經結合行73〇至734。 在一特定實施例中,來自第一資料串流7〇2之資料與來 自第一資料串流704之資料結合以產生形成圖框74〇的複數 個同步資料行。圖框740可包括複數個列742,其中每一列 對應於一行索引值’且儲存具有該行索引值之第一影像資 料行,且儲存具有該行索引值之第二影像資料對應行。舉 155243.doc •22· 201205308 例而言’圖框740之第一列可6』 740^ m 了包括經結合行資料730,圖框 第二列可包括經結合行資料732, 可包括經結合行資料734, ^ ◦之第二列 準。 貝枓 專等,使得圖框740中之資料對 像素大中’ I影像資料之第—行m與第一 們/笛例如,每行之像素之數目)及第—像素時脈相關 =^第二影像資料之對應行72()與第二像素大小及第二 二脈相關聯。產生資料串流7〇2、7〇4之第一感測器及 心:測器經組態以接收共同時脈信號及共同重設信號。 2 一影像資料之第-行與第二影像資料之對應行72〇 影像行時,該單—影像行之大小為第—影像資 "一仃710或第二影像資料之對應行720之大小的大致 :倍Jt外’經結合之單一影像行之像素時脈信號(例 ’第三像素時脈信號)具有^第一像素時脈信號或第二 料時脈錢之時脈速率的大致兩倍㈣脈速率。舉例而 言’經結合行資料,可具有為行資料川之影像大小之大 ^兩倍或對應行資料72G之影像大小之大致兩倍的影像大 類似地,經結合行資料73 0之像素時脈頻率可具有為 2行資料7H)相關聯之第—像素時脈信號之頻率的大致兩 倍或與對應行資料72〇相關聯之第二像素時脈信號之頻率 的大致兩倍的頻率,使得經結合行資料73〇之像素時脈頻 率可與第三像素時脈信號相Μ,第三像素時脈信號具有 為第一像素時脈或第二像素時脈之頻率之大致兩倍的頻 率〇 155243.doc •23· 201205308 母一間隙區段708可包括非影像資料。在一特定實施例 中,藉由間隙區段708所形成的在圖框74〇中之非影像資料 區域可用於邊緣濾波。間隙區段708可包括寬度為大致五 個像素之黑色間隙。在其他實施例中,每一間隙區段7 〇 8 具有等於内插核心之大小或藉由影像處理器(諸如,圖2之 影像處理器208)應用於圖框740之最大二維濾波器之大小 的大小。可藉由該影像處理器處理圖框74〇以產生3〇影 像。 參看圖8,描繪說明來自第一感測器之第一資料串流與 來自第二感測器之第二資料串流之間的兩行相位差之相位 圖之第一實施例的圖解表示且將其一般地指定為80〇。第 一感測器(諸如,圖2之第一感測器2〇2)產生第一資料串 流,第一資料串流包括第一感測器第一行資料802、第一 感測器第二行資料804 ’及第-感測器第三行資料806。第 2感測器(諸如,圖2之第二感測器2〇4)產生第二資料串 流,第二資料串流包括第二感測器第一行資料812、第二 感測器第二行資料814,及第二感測器第三行資料816。來 自第一資料串流之資料與來自第二資料串流之資料經結合 以形成經結合行820。在圖8中所說明之特定實施例中,說 明第-行資料、第二行資料及第三行資料。或者,可產生 任何數目個行資料(例如,如圖6及圖7中所說明之72〇個 行)。 一在圖8之特定實施例中,纟第一資料串流之資料與第二 育料_流之資料之間存在兩行相位差。舉例而言,藉由結 155243.doc -24- 201205308 合器(諸如’圖2之結合器216)可在第— 一感測器第-行資料802,可在第二行=目位期間接收第 咸制哭哲 相位期間接收第一 感初盗第二行資料8〇4,且可在第三 因 埶則器第二行資料806及第二感測器〜- 感測器第一行資 而,在第一感測器第一行資料802與第行資料812 料812之間存在兩行相位差。 ,、:結合行820包括影像之第-影像資料的第一行與影像 之第一影像資料之對應行的結合。如 ’、 ’丨况明,第一資料奉 流與第二資料串流經交錯以形成經結合行820。舉例而 5威經結合行咖包括具有第—感測器第—行資料802及第 -感測器第-行資料812之經結合行資料如,具有第一感 測器第二行資料8〇4及第二感測器第二行資料⑴之經結合 行資料824,及具有第一感測器第三行資料_及第二感測 器第三行資料816之經結合行資料咖。可藉由在行緩衝器 (諸如,圖2之行緩衝器216)内結合對應行而產生每—經結 合行8 2 2至8 2 6。行緩衝器可經組態以在同步資料行(例 如,經結合行資料822)被產生之前緩衝自第—影像感測器 所接收之下-資料行(例如,第一感測器第二行資料8〇4)的 至少-部分。Θ而’來自多個感測器之具有兩行相位差之 資料輸出可經結合’使得可在影像之影像資料之—影像行 内發生同步。 參看圖9,描繪說明來自第一感測器之第一資料串流與 來自第二感測器之第二資料串流之間的一行相位差之相位 圖之第一實施例的圖解表示且將其一般地指定為9〇〇。第 155243.doc •25· 201205308 一感測器(諸如,圖2之第一感測器2〇2)產生第_資料串 流,第一資料串流包括第一感測器第一行資料9〇2、第一 感測器第二行資料904、第-感測器第三行資料906,及第 一感測器第四行資料9〇8。第二感測器(諸如,圖2之第二 感測器204)產生第二資料串流,第二資料串流包括第二感 測器第-行資料912、第二感測器第二行資料914、第二感 測器第三行資料916,及第二感測器第四行資料918。來自 第一資料串流之資料與來自楚-咨制+ 貝付興采自第一資枓亊流之資料經結合以 :成經結合行920。在圖9中所說明之特定實施例中,說明 第一行資料、第二行資料、第三行資料及第四行資料。或 者’可產生任何數目個行資料(例如,如圖6及圖 明之720個行)。 ° 在圖9之㈣實施例中,在第-資料串流之資料i第二 資料串流之資料之間存在一行相位差。舉例而言,藉由結 合器(諸如,圖2之結合器216)可在第_彳 一片制卯铉 第仃相位期間接收第 一片商丨势势_ 第—订相位期間接收第 一感測第二行資料9〇4及第感 4列态第一行資料912。因 而’在第-感測器第一行資料9〇2與第二感测器第 料912之間存在一行相位差。 經結合行920包括影像之第一影 ^ ^ Ψ m 貧科的第一行與影像 之第-影像貢料之對應行的結合。如所說 流與第二資料串流經交錯以形成經結合行二::二 言’經結合行920包括具有第 舉“而 一咸測ϋ當 > 一 u 、J态第—行資料902及第 一 α澍态第一仃貧料9〗2之經結合 订資科922,具有第一感 155243.doc • 26 - 201205308 測器第一行資料9 0 4及第二感測器第二行資料914之經結合 行資料924,具有第一感測器第三行資料9〇6及第二感測器 第二行資料916之經結合行資料926,及具有第一感測器第 四行資料908及第二感測器第四行資料918之經結合行資料 928 ^可藉由在行緩衝器(諸如,圖2之行緩衝器216)内結合 對應行而產生每一經結合行922至926。因而,來自多個感 測器之具有一行相位差之資料輸出可經結合,使得可在影 像之影像資料之一影像行内發生同步。 參看圖10,描繪說明用於複數個感測器中之每一者之紅 綠藍(RGB)資料且說明同步資料行的圖解表示且將其一般 地指定為1000。在圖10中所說明之實施例中,第一感測器 (諸如,圖3之第一感測器202)產生第一資料串流,第一資 料串流包括第一感測器第一行資料1〇〇2、第一感測器第二 行資料1004,及第一感測器第三行資料1〇〇6。第二感測器 (諸如,圖3之第二感測器204)產生第二資料串流,第二資
_流之資料緬έ士 A L、i 4½ A姑π Λ . 行資料1024,及第三感測器第三行資料1〇26 料串流之資料、來自第二資料串流之資料與
Pattern) ’ 第-行資料 1〇〇2、 根據拜耳濾波器圖案(Bayer niter )Q2、1012、1022中之每一者包括 155243.doc •27· 201205308 父替之紅色及綠色像素值,第二行資料1004、1〇14、1()24 中之每一者包括交替之綠色及藍色像素值,且第三行資料 1006、1016、1〇26中之每一者包括交替之紅色及綠色像素 值。 '、 如所說明,第一資料串流、第二資料串流與第三資料串 流經交錯以形成經結合行資料串流1〇2〇。舉例而言,經結 合行資料串流1020包括具有第一感測器第一行資料1〇〇2、 第二感測器第一行資料1012及第三感測器第一行資料1〇〇2 之經結合行資料1040,具有第一感測器第二行資料1004、 第二感測器第二行資料1014及第三感測器第二行資料1024 之經結合行資料1050,及具有第一感測器第三行資料 1006、第二感測器第三行資料1〇16及第三感測器第三行資 料1026之經結合行資料1060。可藉由在行緩衝器(諸如, 圖3之行緩衝器216)内結合對應行而產生每一經結合行 1040至1060。每一經結合行1〇4〇至1〇6〇可包括自待在影像 信號處理器(諸如,圖3之影像信號處理器208)處解馬賽克 的其各別感測器行資料所讀取之原始像素(例如,R、G及 B)值。因而,來自多個感測器之資料輸出可經結合,使得 可在影像之影像資料之一影像行内發生同步。 儘管圖10將原始像素值說明為包括根據拜耳濾波器圖案 之RGB資料,但在其他實施例中,來自該等感測器之行資 料可能不包括拜耳RGB像素值。舉例而言,作為說明性非 限制實例’該等感測器可替代地提供:亮度、藍色色差色 度、紅色色差色度(YCbCr)值;青、黃、綠及洋紅(cygm) 155243.doc •28· 201205308 值;紅、綠、藍及翠綠(RGBE)值;紅、綠、藍及白 (RGB W)值;或任何其他類型之值。或者或另外,該等感 測器中之一或多者可實施全色胞元(panchromatic cell)、感 光器之群組之上的微透鏡、垂直彩色濾光片,或能夠逐行 讀出原始影像資料之任何其他感測器技術。 參看圖11,描繪說明與具有多個感測器之裝置相關聯的 信號時序之時序圖的特定實施例且將其一般地指定為 1100。該等信號包括第一感測器之圖框有效(FV)信號1102 及行有效(LV)信號1104,第二感測器之FV 1106及LV 1108,及第三感測器之FV 1110及LV 1112。在一特定實施 例中’第一感測器、第二感測器及第三感測器可為圖3之 第一感測器202、第二感測器204及第三感測器305。亦結 合經結合之行有效/資料信號及行負載(LL)信號1118來 說明經結合之圖框有效信號1114。 在一特定實施例中,信號1114至1 Π8對應於與圖框(諸 如’藉由結合器所產生之圖6之圖框660)之一或多個同步 資料行相關的信令’且信號1102至1112對應於在該結合器 處所接收之信令。如所說明,自第一感測器接收第一行資 料1120、第二行資料1122及第三行資料1124,自第二感測 器接收第一行資料1130、第二行資料1132及第三行資料 1134,且自第三感測器接收第一行資料114〇、第二行資料 1142及第三行資料1144。 在第一行資料1120及第一行資料丨丨4〇之前自第二感測器 接收第一行資料1130。將第一行資料U30與第二行資料 155243.doc •29- 201205308 1120之接收之間的相位差說明為第一相位差ago。在第一 感測器之第一行資料1140之前接收第—感測器之第一行資 料1120,且將第一感測器之第一行資料112〇與第三感測器 之第一行資料1140之接收之間的相位差說明為第二相位差 1182。來自該等感測器中之每一者之行資料可遵循對應圖 框有效信號之上升緣,從而指示經由影像資料行所接收之 資料為來自每一特定感測器的有效行資料。如所說明,經 結合之圖框有效行1114保持低位準,從而指示非有效資 料’直至諸如在圖2之結合器206處已接收第一行資料 1120、1130及1140中之每一者之後為止。在已接收第一行 1120、1130及1140中之每一者之後,經結合之圖框有效信 號1114上升以指示行有效信號1116上之有效資料。結合在 LL行1118上所確證之有效信號產生第一同步資料行115〇。 在產生第一同步行資料1150之後,經結合之圖框有效信號 1114保持於有效狀態中,而LL信號1118返回至非有效狀 態,在此之後於產生第二同步資料行1160後,LL信號1118 即返回至有效狀態,在產生第二同步資料行116〇之後產生 第三同步資料行1170。 參看圖12,描繪說明來自第一感測器之第一資料串流、 來自第一感測器之第二資料串流與來自第三感測器之第三 資料串流之間的三行相位差之相位圖之第一實施例的圖解 表不且將其一般地指定為12〇〇。第一感測器(諸如,圖3之 第感測器2 0 2)產生第一資料串流,第一資料串流包括第 一感測器第一行資料1202、第一感測器第二行資料12〇4、 155243.doc -30· 201205308 第一感測器第三行資料1206,及第一感測器第四行資料 1208。第二感測器(諸如,圖3之第二感測器204)產生第二 資料串流’第二資料串流包括第二感測器第一行資料 1212、第二感測器第二行資料i2i4、第二感測器第三行資 料1216 ,及第二感測器第四行資料1218。第三感測器(諸 如’圖3之第N感測器3〇5)產生第三資料串流,第三資料串 流包括第三感測器第_行資料丨222、第三感測器第二行資 料1224、第三感測器第三行資料1226 ,及第三感測器第四 订資料1228 °來自第—資料串流之資料、來自第二資料串 机之資料與來自第二資料串流之資料經結合以形成經結合 行1220。在圖12中所說明之特定實施例中,說明第-行資 料、第二行資料、第三行資料及第四行資料。或者,可產 生任何數目個行資料(例如,如圖6及圖7中所說明之72〇個 行)〇 在特疋實施例中,在第—資料串流之資料、第二資料 串流之資料與第三資料串流之資料之間存在三行相位差。 舉例而言’藉由結合器(諸如,圖2之結合器216)可在第— 行相位期間接收第三感測器坌一 』第一仃貧料1222,可在第二行 相位期間接收第一感測器第—> _ 第一仃資料1202及第三感測器第 二行資料1224,可在第=并心, 〜_ 订相位期間接收第一感測器第二 行資料1204及第三感測器第_ — 弟二仃資料1226 ’且可在第四行 相位期間接收第一感測器第=> 一 弟一仃資料1206、第二感測器第 一行資料1212及第三感測考坌 盗第四仃資料1228。因而,在第 感測器第一行資料1202、坌_ _ 第一感測器第一行資料1212與 155243.d〇c • 31 - 201205308 第二感測器第一行資料1222之間存在三行相位差。 經結合行1220包括影像之第一影像資料的第一行與影像 之第二影像資料之對應行’與影像之第三影像資料的/结 合。如所說明,第一資料串流、第二資料串流與第三資才: 串流經交錯以形成經結合行U20。舉例而言經結合行 1220包括具有第一感測器第一行資料12〇2、第二感測器第 一行資料1212及第三感測器第一行資料1222之經結合行資 料1232,具有第一感測器第二行資料12〇4、第二感測器第 二行資料1214及第三感測器第二行資料1224之經結合行資 料1234,及具有第一感測器第三行資料12〇6、第二感測器 第三行資料1216及第三感測器第三行資料1226之經結合行 資料1236。可藉由在行緩衝器(諸如,圖3之行緩衝器216) 内結合對應行而產生每一經結合行1232至1236。因而,來 自多個感測器之具有三行相位差之資料輸出可經結合,使 得可在影像之影像資料之一影像行内發生同步。 參看圖13,描繪用以結合來自多個感測器之資料以產生 3D資料之影像處理系統的特定說明性實施例且將其一般地 指定為1300。影像處理系統1300包括第一影像感測器13〇2 及第二影像感測器13〇4。影像處理系統1300進一步包括結 合器1306及影像處理器1308。影像處理器1308耦接至顯示 器件1310。結合器1306包括至少一個行緩衝器1312。影像 處理系統1300可整合於至少一個半導體晶粒中。 第一影像感測器1302經組態以產生第一資料串流,說明 為第一影像資料串流13 14,且第二影像感測器1304經組態 155243.doc •32· 201205308 以產生第二資料串流’說明為第二影像資料串流1316。在 -特定實施例中’第-影像資料串流13阿與第二影像資 料串流1316非同步°第—影像感測器13G2及第二影像感測 器1304可為實質上類似的影像感測器,第-影像感測器 1302與第二影像感測器13〇4彼此獨立且可接收來自處理器 (例如,結合器測或影像處理器13()8)之共同控制信號以 產生緊密地對準之影像資料串流1314、1316。舉例而言, 影像資料串流1314、1316可具有實質上相同的時序特性, 諸如頻率及相位。因為該共同控制信號可藉由處理器(諸 如)經由圖2之信號同步器23〇產生,所以影像感測器 1302、1304中之每一者可直接回應於該單一處理器且藉由 該單一處理器控制。儘管已展示兩個影像感測器丨3〇2、 1304,但應理解,兩個以上影像感測器可供影像處理系統 1300使用。 結合器1306係回應於第一影像資料串流1314及第二影像 資料串流13 16。結合器1306經組態以在行緩衝器丨3丨2内結 合來自第一影像資料串流13 14之資料與來自第二影像資料 串流1316之資料。在一特定實施例中,行緩衝器1312經組 態以使來自第一影像感測器1302之第一資料與來自第二影 像感測器1304之第二資料對準。在一特定實施例中,結合 器1306係回應於儲存於行緩衝器13 12内之資料且將圖框資 料13 18提供至影像處理器1308。在一特定實施例中,圖框 資料1318可包括影像資料之複數個列’其中每一列為來自 每一感測器1302、1304之對應列的結合,諸如關於圖3所 155243.doc -33· 201205308 描述。 影像處理器1308經組態以處理圖框資料1318且將經處理 圖框資料1320輸出至顯示器件1310。經處理圖框資料1320 可具有3D影像格式或3D視訊格式。 顯示器件13 10回應於接收經處理圖框資料1320而呈現且 顯示影像資料。因此,來自多個影像感測器之影像資料可 經結合、處理且接著呈現以用於在顯示器件13 10處顯示。 在一特定實施例中,顯示器件13 10可與影像處理器1308解 耦以不直接回應於影像處理器1308。舉例而言,顯示器件 1310可為與影像處理器13〇8分離之器件。 因為自經共同地控制之類似影像感測器13〇2、1304所接 收之資料可具有實質上相同的頻率及相位,所以可在影像 資料之單一影像行内發生資料串流丨3丨4、丨3丨6之間的同 步。在一特定實施例中,行緩衝器1312可針對未對準之最 差狀況定尺寸(亦即,若同步未對準為三行,則行緩衝器 13 12應經定大小以儲存至少六行)。結果,可使用單—影 像處理器1308有效地處理經結合資料。因此,與多處理器 系統相比較(例如,向每一感測器指派一處理器),總影像 系統成本及複雜性可減小。 多個實施例可經組態以提供3D/立體影像及/或視訊資 料。舉例而言,在一種此類實施例中,第一影像感測器 1302及第一影像感測器i 3〇4可並排地定位,以便提供左/ 右(立體)影像。藉由結合器13〇6所提供之信號被接收且可 藉由影像處理器1308處理以產生3D影像。使用者命令可允 155243.doc •34- 201205308 許影像處理器1308接收且處理來自僅單一感測器(亦即, 第一影像感測器1302或第二影像感測器1304)之資料,以 替代於產生3D影像而產生二維(2D)影像。 具有用於單一相機之輸入的影像處理器(諸如,影像處 理器1308)能夠藉由使用由結合器丨3〇6所提供之來自兩個 相機之經結合資料來處理可用於3D處理的資料。影像處理 器1308可接收來自結合器1306或來自儲存來自結合器13〇6 之影像資料之記憶體的影像資料。在一種此類實施例中, 影像處理器1308將所接收之影像資料處理為2D影像/視訊 資料,使得藉由影像處理器1308之後續處理基於來自影像 處理器1308之經處理資料提供3〇立體影像/視訊串流。或 者’影像處理器1308可經組態以基於所接收之影像資料直 接k供3 D立體影像/視訊串流。在一實施例中,3 d俘獲系 統包含實施為第一積體電路之結合器13 〇6及實施為第二積 體電路之影像處理器1308。第一積體電路與第二積體電路 可(例如)藉由_列、並列或I2C匯流排中之一或多者連接。 結合影像資料串流1314、13 16以產生圖框資料1318使得 景夕像處理器1308能夠執行用於多相機3D處理之格式化,即 使影像處理器13 0 8具有單一相機輸入仍如此。結果,與使 用單獨處理器用於每一相機或使用具有多個相機輸入之處 理器的系統相比較,系統13 00可以減小之成本來實施。 參看圖14,描繪說明具有用以結合來自多個影像感測器 之資料之影像處理系統的行動器件的各種實施例之圖解表 示且將其一般地指定為14〇〇。在14〇2處所說明之特定實施 155243.doc •35- 201205308 例中,行動器件句趑 系絲* u 有個鄰近相機之陣列的赘傻處裡 系統。在m〇4處所說明之 」的影像處理 有以同軸(in-line)組筚配 '’仃動器件包括具 系統。或者,任何數^ 二個相機之陣列的影像處理 處所說明之特定實施例Γ目機可t同轴組態配置。在1406 列的影像處m在件包括具有3x3相機陣 動器件包括具…相機定實施例中,行 何數目個相機可以二維 參:圖15,說明藉由多個相機或影像感 像之陣列的實例且 字/、一奴地指定為1500。如圖15中所說 明’藉由一相機所俘霜夕旦,你 " 獲之影像重叠。在㈣由H可與藉由其他相鄰相機所俘 曰由該4相機中之每一者所俘獲的影 像結合影像時,影像重疊可為有料。在圖15中: §月之特疋實施例中’陣列15〇〇對應於相機或影像感測器 之4X4陣列。或者’任何數目個相機可以二維陣列配置(例 如,如圖18及圖19中所說明之5χ5陣列)。 每相機俘獲陣列1500之單一相機影像。在圖Η中所說 明之實施例中’陣列15〇〇為4χ4陣列。因而,陣列測包 括第-列1502、第二列15G4、第三列15()6及第四列15〇8。 此外’陣列15〇〇包括第一行151〇、第二行1512、第三行 15 14及第四行1516。作為一說明性實例,可藉由對應於第 一列1502及第四行1516之相機俘獲單一相機影像1518。單 一相機影像1518可與藉由相鄰胞元之其他相機所俘獲之相 機影像重疊。在對應於第一列15〇2及第四行1516之相機之 155243.doc -36- 201205308 狀況下,相鄰胞元之相機可包括對應於第一列15〇2及第三 行1514之相機、對應於第二列15〇4及第三行MM之相機, 或對應於第二列1504及第四行1516之相機。舉例而言,單 相機衫像重疊1 520可與藉由對應於第一列丨5〇2及第四行 15 16之相機所俘獲之單一相機影像15〇8相關聯。圖15說明 列1502至1508中之每一者的每一相機及行151〇至1516中之 每一者的每一相機之絕對對準的理論狀況。因而,與藉由 對應於相鄰列(例如,第二列15〇4)之相機所俘獲的影像之 影像重疊可相同於與藉由對應於相鄰行(例如,第三行 1514)之相機所俘獲的影像之影像重疊。 可依特定水平解析度(「H-res」)俘獲個別影像。為了說 明’水平解析度1522可與藉由對應於第一列丨5〇2及第四行 1516之相機所俘獲之單一相機影像1518相關聯。圖15說明 在每一相機具有相同水平解析度1 522之情況下影像重疊之 理論狀況。因而,可基於個別相機之水平解析度1522與一 列中胞元之數目(「η」)的結合而計算總水平解析度丨524 (亦即,在列1502至1508中之每一者中的像素之數目在 圖15之4x4陣列1500之狀況下,在每一列中存在四個胞元 (亦即,與行1510至1516中之每一者相關聯的胞元)。總水 平解析度1524可考量影像重疊。舉例而言,總水平解析度 1524 可計算為 H_resxn-overlapx(n-2) ’ 其中「0Verlap(重 疊)」指示鄰近影像之重疊像素的數目。可執行類似計算 以判定總垂直解析度。 圖15說明具有相同影像重疊之每一相機之絕對對準的理 155243.doc •37- 201205308 藉由料個別相機所俘獲之影像之間 影像甲之每一者「拼接在-起」成單-影像。 ⑨明藉由多個相機或影像感測器所俘獲之影 像之陣列的實例且將其一 — 明,藉由一相機所俘獲之^象二如圖16中所說 獲之影像重疊。在將藉由機ΓΓ相鄰相機所俘 4相機中之每—者所俘獲的影 像一成單:影像時,影像重疊可為有…在圖16中所 Ί特疋貫施例中’陣列1600對應於相機或影像感測器 之X ",卜或者,任何數目個相機可以二維陣列配置。 圖16說明歸因於機械約束,達成在列或行上相機之絕對對 準(如圖15中所說明)可能並非可行的。 陣列刪之每—影像可具有其自己之旋轉職、移位 1604及傾斜(未圖示)。—或多個定位容限祕可與每一影 ㈣關聯。定位容限_可包括旋轉容限、移位容限、傾 斜容限或其結合。在將藉由該等相機中之每一者所俘獲的 影像結合成單"影像時,影像重疊可為有用的116說明 在結合該等料時所使用之料重疊可考#由與建置器件 相關聯之機械約束引起的每—影像之旋轉⑽2、移位1 及傾斜。-旦器件被建置,則影像重疊可為已知且穩定 的因而’影像重疊可經量化且可在稍後階段校正。 參看圖17 ’說明相機陣列及與該陣列相關聯之電連接的 特疋實施例且將其—般地指定為17〇〇。圖口說明陣列P⑼ 之每一相機具有第—類型之介面(亦即,資料介面1702)及 第二類型之介面(亦即’控制介面17G4)。在圖17中所說明 I55243.doc •38· 201205308 之實施例中,陣列1700包括3x3相機陣列。或者,陣列 1700可包括以4x4陣列配置之相機(例如,圖15及圖16之陣 列1500、1600),或以二維陣列配置之任何其他數目個相 機。 資料介面1 702可包括串列資料匯流排(例如,行動產業 處理器介面(Mobile Industry Processor Interface)或標準行 動成像架構介面(Standard Mobile Imaging Architecture interface))。圖17中之資料介面17〇2係與陣列17〇〇之第一 列1706、陣列1700之第二列17〇8及陣列17〇〇之第三列171〇 相關聯。與資料介面1 702相關聯之行可用以收集待並列地 處理的來自列1706至1710中之每一者中之相機的資料。作 為一說明性實例,針對高達5百萬像素(mpix)之解析度及 每秒十個圖框,可能需要四根導線(例如,差分資料及時 脈)。 在圖17之說明性3x3陣列1700中,該等列1706至171〇中 之每一者包括陣列1700之第一行1712中的相機、陣列17〇〇 之第二行1714中的相機,及陣列17〇〇之第三行1716中的相 機。因此,資料介面1702可用以收集待並列地處理的來自 九個相機的資料。 控制介面1704可包括用以同步陣列17〇〇中之所有相機之 行。舉例而言,控制介面行可與時脈、重設及uc通信相 關聯。在圖17之說明性3x3陣列17〇〇中,控制介面17〇4可 用以同步陣列1700之九個相機。 參看圖18,說明相機陣列處理系統之特定實施例且將其 155243.doc 39- 201205308 :般地指定為漏。在所得影像㈣結合成最終影像之 月IJ ’陣列1802中之所有相機可回應於共同控制信號,對準 且處理。在圖18中所說明之實施例中,陣列18〇2包括Μ 相機陣歹»或者,陣列赚可包括以二維陣列配置之任何 其他數目個相機(例如,圖17之3>〇陣列17〇〇)。 陣列1802中之所有相機可用使用單一lsp管線之並行影 像感測器支樓的方法來同步。此外,相機之每一列可使用 對準方法來對準。亦即’影像之一列可被收集、以相同次 序對準,且發送以用於處理為具有大小nxline之單一行, 其中η為一列中之相機的數目且Une(行)為一相機之水平大 小(亦即,如圖15中所描述之「H_res」)。圖18中所說明之 5x5陣列1802包括第一列18〇4、第二列18〇6、第三列 1808、第四列1810及第五列1812。此外,5><5陣列18〇2包 括第一行1814、第二行1816、第三行1818、第四行1820及 第五行1822。該等列1804至1812中之每一者可在視訊前端 (VFE)組件處針對顏色並列地處理,且可在圖形處理器或 圖形處理單元(GPU)組件處處理該等列18〇4至1812中之每 一者以對準且修整一列中之每一個別影像。在修整及對準 之後,可執行GPU處理以將列1804至1812中之全部結合在 一起’從而產生最終影像。 第一列1804可與第一對準區塊1824相關聯,第二列1806 可與第二對準區塊1826相關聯,第三列1808可與第三對準 區塊1828相關聯,第四列1810可與第四對準區塊1830相關 聯,且第五列1812可與第五對準區塊1832相關聯。為了說 155243.doc -40- 201205308 明,第一對準區塊1824可經調適以收集來自第一列18〇4中 之每一相機(亦即,陣列1802之五個行1814至1822中之五 個相機)的影像資料行。第一對準區塊丨824可經調適而以 相同次序對準該等影像資料行且發送該等影像資料行以用 於處理為單-;^。第—對準區塊1824可經調適以將用於處 理為單一行之影像資料行發送至第一 VFE組件1834以針對 顏色進行處理,諸如關於圖2、圖3及圖5之結合器2〇6所描 述。可基於相機之數目(亦即,五個相機)及第一列18〇4中 之每一相機的水平大小(亦即,如圖15中所描述之 「H一res」)來判定該單一行之大小。 第二對準區塊1826可經調適以收集來自第二列18〇6中之 每一相機之影像’以相同次序對準該等影像,且將用於處 理為單行之影像發送至第二VFE組件1836。第三對準區 塊刪可經調適以收集來自第三列職中之每一相機之影 像資料行’以相同次序對準料影歸料行,1將用於處 理為單一订之影像資料行發送至第三VFE組件1 。第四 對準區塊183〇可經調適以收集來自第四列i8i〇中之每一相 機之影像諸行,以相^序對準料影像資料行,且將 用於處理為單-行之影像f料行發送至第四则組件 1840。第五對準區塊1832可經調適以收集來自第五列顧 中之每一相機之影像資料行,以相同次序對準該等影像資 料行’且將用於處理為單—行之影像資料行發送至第五 VFE組件 1842 » 控制同步區塊1844可用 以按類似於感測器同步器230之 I55243.doc •41· 201205308 方式同步陣列職之該等相機中之每_者(亦即,在圖i8 之說明性5x5陣列1802的狀況下為二十五個相機)。在一特 定實施例中,㈣时區塊1834可實施圖17之控制介面 1704»控制同步區塊1844可以通信方式耦接至陣列18〇2之 該等相機中之每一者且至VFE組件1834至1842中的每一 者。陣列1802中之所有相機< 同步可允許高解析度上之滚 動快門(roUing shutter)的使用。由於所有相機可同時讀 出,故滾動快門效應可減小(隨著陣列之大小)。舉例而 言,在圖18之5x5陣列1802中,二十五個相機之同步可減 小與互補金氧半導體(CM〇s)相機相關聯之滾動快門效 應。 第一 VFE組件! 834可以通信方式耦接至第一 Gpu組件 1846以對準且修整第一列丨8〇4中之每一個別影像(亦即, 藉由五個行18 14至1822中之相機所俘獲之五個影像)。第 二VFE組件1836可以通信方式耦接至第二Gpu組件1848以 對準且修整第二列1806中之每一個別影像。第三vfe組件 1838可以通信方式耦接至第三Gpu組件185〇以對準且修整 第二列1808中之每一個別影像。第四VFE組件184〇可以通 栺方式耦接至第四GPU組件1852以對準且修整第四列181〇 中之母一個別影像。第五VFE組件丨842可以通信方式耦接 至第五GPU組件1854以對準且修整第五列丨8丨2中之每一個 別影像。GPU組件1846至1854中之每一者可以通信方式耦 接至GPU處理組件1856,Gpu處理組件1856經調適以將列 1804至1812中之全部結合在一起,從而產生最終影像。 155243.doc -42- 201205308 在圖18中所說明之實施例中,對準區塊1824至1832.中之 每一者係與其自己之VFE組件及其自己之Gpu修整及對準 組件相關聯。因此,圖18說明該等列丨8〇4至丨8丨2中之每一 者可使用單獨VFE組件針對顏色並列地處理’且可使用單 獨GPU組件處理該等列1804至1812中之每一者以對準且修 整一特定列中之每一個別影像。或者,對準區塊1824至 1832中之每一者可與單一 VFE組件及單一 Gpu修整及對準 組件相關聯(參見圖19)。 參看圖19,說明相機陣列處理系統之特定實施例且將其 一般地指定為1900。在結合成最終影像之前,陣列19〇2中 之所有相機可經同步,對準且處理。在圖19中所說明之實 施例中,陣列1902包括5x5相機陣列。或者,陣列19〇2可 包括以二維陣列配置之任何其他數目個相機。圖丨9說明單 一 VFE組件及單一 GPU修整及對準組件可用以處理陣列 1902之所有列,而非圖18中所說明之多個VFE組件及Qpu 修整及對準組件。 圖19中所說明之5x5陣列1902包括第一列1904、第二列 1906、第三列1908、第四列191〇及第五列1912。此外, 5x5陣列1902包括第一行1914、第二行1916、第三行 1918、第四行1920及第五行1922。第一列1904可與第一對 準區塊1924相關聯,第二列1906可與第二對準區塊1926相 關聯,第三列1908可與第三對準區塊1928相關聯,第四列 1910可與第四對準區塊1930相關聯,且第五列1912可與第 五對準區塊1932相關聯。為了說明,第一對準區塊1924可 155243.doc -43- 201205308 經調適以收集來自第-列19咐之每一相機(亦即,陣列 1902之五個行1914至1922中之五個相機)之影像資料行。 第一對準區塊1 9 2 4可經調適而以相同 資料行且發送該等影像資料行以用於處理為單一行4 = 對準區塊1926可經調適以收集來自第二列簡令之每—相 機之影像資料行,以相同次序對準該等影像資料行,且發 送該等影像資料行以用於處理為單_行。第三對準區塊 1928可經調適以收集來自第三列咖中之每一相機之影像 資料行,以相同次庠對進每/ 今 . ㈣準料影像資料行,且發送該等影 像資料行以用於處理為單一杆笛 乃早仃第四對準區塊1930可經調 適以收集來自第四列1910巾夕立 , J 〇中之母—相機之影像資料行,以 相同次序對準該等影像資料行,且發送該等影像資料行以 用於處理為單一行。第五對準區塊1932可經調適以收集來 自第五列1 912中之每一相機之影— ' 务彳笨貢枓仃,以相同次序對 準該專影像資料行,且發送节莖少你次 00 荨衫像資料行以用於處理為 早一行0 在圖19中所說明之實施例中,對準區塊1924至聰中之 ㈣以理之其影像發送至單一 VFE组 件1934以針對顏色進行處理。該 自五個對準區塊1924至1932所發译 ’、且1934可處理 所發送之五行中之每一者。如 上文所提’可基於一特定石丨丨士 特疋列中之相機的數目(亦即,五個
相機)及該特定列中之每—相 1U 士 “ + 「 才目機的水平大小(亦即,如圖15 中所描述之「H res」)來划〜A i m -」)來判疋來自特定對準區塊之 的大小》因而,藉由圖19之 皁VFE組件1934所處理之多 155243.doc •44· 201205308 個行的大小可為藉由圖18iVFE組件1834至1842中之一者 所處理的單一行之大小的五倍。 控制同步區塊1936可用以同步陣列19〇2之該等相機中之 母者諸如將共同控制信號提供至一或多個列1904至 1912中之相機。控制同步區塊1936可以通信方式耦接至陣 列19〇2之該等相機中之每一者且至該單一 VFE組件By。 陣列1902中之所有相機之同步可允許高解析度上之滾動快 門的使用。由於所有相機可同時讀出,故滾動快門效應可 減小(隨著陣列之大小)。舉例而言,在圖19之5χ5陣列 1902中,二十五個相機之同步可減小與CM〇s相機相關聯 之滾動快門效應。 單VFE組件193 4可以通信方式搞接至單_ Gpu組件 1938以對準且修整該等列19〇4至1912中之每一者中之每一 個別影像。因而,與藉由圖182GPU對準及修整組件以牝 至1854中之每一者所處理的五個影像相比較,圖19之單一 GPU組件1938可對準且修整二十五個影像。單一 Gpu組件 1938可以通信方式耦接至Gpu處理組件194〇,Gpu處理組 件1940經調適以將列19〇4至1912中之全部結合在一起,從 而產生最終影像。 圖20說明包括經組態以聚焦入射光2〇〇4之主透鏡22及 以陣列2006配置之多個相機的高解析度數位相機系統 2000。藉由結合在陣列2006中之該等相機中之每一者處所 俘獲的影像,高解析度影像可產生為複合(或「馬赛克」) 影像。舉例而言,陣列2006之該等相機中之每一者可為 155243.doc •45- 201205308 CMOS型相機或電荷耦合器件(CCD)型相機。主透鏡2002 可將所俘獲場景聚焦至平面2〇〇8(被稱作主透鏡2002之 「焦平面」或陣列2〇〇6中之相機的「物平面」),且陣列 2006中之每一相機可俘獲總影像之一部分。陣列2〇〇6之每 一相機具有一視場,該視場在平面2〇〇8處部分地重疊其相 鄰者之視場。此重疊可使得由陣列2〇〇6中之相鄰相機所拍 攝的影像能夠在逐列基礎上對準且在後續處理期間「拼 接」在一起,且可提供用於該陣列内之相機之非理想位置 及對準的容限(諸如關於圖16所描述)。 可藉由在逐列基礎上對準來自陣列2〇〇6之該等相機之影 像資料而產生複合影像。舉例而言,圖2〇之陣列包括 具有三個列之3X3陣列。陣列2006之一特定列(「陣列 列」)内的每一相機可包括具有以行及列配置之光偵測器 的影像感測器(「感測器行」*「感測器列」一陣列列 内之相機可經&位以使得感測器列實質上對準。為了說 明’:陣列列中之每一相機的第一感測器列與同一陣列列 中之每隔一個相機之相機的第-感測器列實質上對準。 像獲:間’自一陣列列中之每-相機讀取具有影 像資枓之第-感測器列,且將其提供至影像處理電
如關於圖17至圓19所描述)。根據該陣列列中之每-相機 之位置合併來自第—感測器列的影像資料 的影像資料為爽άJ ^ ° W 處理經合併之影像^讀取 的方式來 像感測n μ η, 并第一、第二及後續影 '列,且將其提供至影像處理電路以處理為複合影 155243.doc -46 - 201205308 像之列。每一陣列列可與其他陣列列並列地處理。 圖20之配置可提供高解析度相機之便宜替代。舉例而 言,可使用主透鏡後方之二十個5百萬像素(mpix)之CM〇s 相機來建置100 mpix相機。因為可使用多個CMOS相機來 執行影像俘獲’其中每一相機俘獲影像之一部分,所以與 俘獲整個影像之單一 1〇〇 mpiX2CMOS相機相比較,「滾動 快門」假影可減少。 參看圖21,描繪多相機模組之實施之特定實施例且將其 一般地指定為2100。系統21 〇〇說明安裝於汽車上之多相機 模組,諸如如圖1至圖5中所說明之多相機模組。多相機模 組可經組態以產生用於格式化為三維影像或視訊資料之同 步行資料圖框,諸如關於圖6至圖7所描述。藉由將多相機 模組安裝至汽車之後部,可獲得三維視圖以在倒車的同時 在内部顯示器(未圖示)上向汽車之操作者提供深度感覺。 應理解夕相機模組可安裝至任何類型之車輛,而不限於 汽車❶ 、 參看圖22 ’ “會將來自多個感測器之資料結合成同步資 ,行之方法的特定說明性實施例之流程圖且將其一般地指 定為2200。作為一說明性實例,方法2200可由圖2之系 統、圖3之系統、圖5之系統或其任何結合執行。 、在2202可將共同控制信號提供至待同步之多個影像感 止Γ舉例而5,該共同控制信號可包括共同時脈信號及 ”同重n又彳D旒,諸如圖4中所描繪之共同控制信號4⑽至 410。 155243.doc •47- 201205308 在2204 ’可接收來自該多個影像感測器中之第—影像感 測器之第一資料行。在2206,可接收來自該多個影像感測 益口中之第二影像感測器之第二資料行。舉例而言,第一感 測器及第二感測器可為圖2之感測器202、204。 在2208’該第—資料行與該第二資料行可為經結合行以 °舉例而言’方法·可包括在逐行基礎 上交錯自第-影像感測器所接收之第一資❹流與自第二 影像感測器所接收之第二資料,&。如關於圖5中所說明 之結合第-感測器影像資料422與第二感測器影像資料⑶ 的結合器406所描述,可形成同步資料行。 同步資料行可形成圖框(諸如,圖6之圖框66〇)之部分。 該圖框可包括:包括來自第-影像感測器之第-影像資料 的第-區段(例如,第一區段652)、包括來自第二影像感測 器之第二影像資料的第二區段(例如,第二區段654),及包 括安置於帛又與第二區段之間的非影像資料的間隙區 段(例如,間隙區段656)β在其他實施例中,該圖框可能不 包括第一區段與第二區段之間的間隙區段。 可在完成接收第二資料行之前完成接收第一資料行,且 可在兀成接收第二資料行之後產生同步資料行。作為一實 例’在已接收第二感測器第一行資料812之後產生圖8之經 結合資料行822。 ^ 在具有兩個以上影像感測器之實施例中,可自該多個 像感測器中之第三影像感測器接收第三資料行,諸如圖 中所說明。第三資料行可與第―資料行及第二資料行結> 155243.doc -48- 201205308 以產生同步資料行,諸如圖u之第一同步資料行115〇。 參看圖23 ’描緣將共同控制信號提供至多個影像感測器 且經由影像處理器之單—相機輸入將同步資料行提供至影 像處理器之方法的特定說明性實施例之流程圖’且將其一 般地指定為2300 °作為說明性非限制實例,方法23〇〇可在 圖2、圖3及圖5之系統中之一或多者處執行。 在2302 ’可將共同控制信號提供至多個影像感測器。該 多個影像感測器中之每一者可回應於該共同控制信號以產 生影像資料。舉例而言,可藉由耦接至該多個影像感測器 中之每一者的感測器同步器(諸如,圖2之感測器同步器 230)來提供該共同控制信號。為了說明,該感測器同步器 可經由下列介面來耦接至該多個影像感測器中之每一者: 積體電路間(I2C)控制介面;順應相機串列介面(CSI)規範 之介面;或順應相機並列介面(cpi)規範之介面。 在2304,可接收來自該多個影像感測器中之每一者之同 步資料輸出。可自該多個影像感測器中之第一影像感測器 接收第一資料行,且可自該多個影像感測器中之第二影像 感測器接收第二資料行。可在完成接收第二資料行之前完 成接收第一資料行,且可在完成接收第二資料行之後產生 同步資料行,諸如在圖8中在已接收第二感測器第一行資 料812之後所產生的經結合資料行822。 在2306,可結合來自該多個影像感測器中之每一者之同 步資料輸出以產生同步資料行。舉例而言,圖2之結合器 206可在逐行基礎上交錯自第一影像感測器2〇2所接收之第 155243.doc 49- 201205308 一資料串流與自 流。 第二影像感測器2 〇 4所接 收之第二資料串 在2308,可經由影像處理器之單—相機輸入將該同步資 料行提供至影像處理同步資料行可形成具有多個列 之圖框(諸如,圖6之圖框660)的部分。舉例而言,該圖框 可包括:包括來自第一影像感測器之第—影像資料的第一 區段、包括來自第二影像感測器之第二影像資料的第二區 段’及第一區段與第二區段之間的間隙區段。 參看圖24’描繪將共同控制信號提供至多個影像感測器 且接收來自該多個影像感測器中之每一者的同步資料輸出 之方法的特定說明性實施例之流程圖,且將其一般地指定 為 2400 〇 在2402,可將共同控制信號提供至多個影像感測器。該 多個影像感測器中之每一者係回應於該共同控制信號以產 生影像資料。舉例而言,可藉由耦接至該多個影像感測器 中之每一者之感測器同步器來提供該共同控制信號,感測 器同步器諸如圖2至圖5之感測器同步器230、圖18之控制 同步區塊1 844、圖19之控制同步區塊1936或其任何結合。 在2404 ’可接收來自該多個影像感測器中之每一者之同 步資料輸出。該同步資料輸出可包括自第一影像感測器所 接收之第一資料行及自第二影像感測器所接收之第二資料 行。作為說明性非限制實例,來自第一影像感測器之每一 所接收資料行與來自第二影像感測器之每一對應資料行之 間的相位偏移可為實質上恆定的,諸如圖9之一行相位 155243.doc -50- 201205308 差、圖8之兩行相位差或圖12之3行相位差。 參看圖25,描繪在多個影像感測器處接收共同控制信號 且產生來自該多個影像感測器中之每一者的同步資料輸出 之方法的特定說明性實施例之流程圖,且將其一般地指定 為 2500。 在2502 ’可在多個影像感測器處接收共同控制信號。該 多個影像感測器中之每一者係回應於該共同控制信號以產 生影像資料。舉例而言,可自搞接至該多個影像感測器中 之每一者的感測器同步器接收該共同控制信號,感測器同 步器諸如圖2至圖5之感測器同步器230、圖18之控制同步 區塊1844、圖19之控制同步區塊胸或其任何結合。 在2504,可產生來自該多個影像感測器中之每一者之同 步資料輸出。該同步資料輸出可包括自第一影像感測器所 接收之第貝料行及自第二影像感測器所接收之第二資料 行。作為說明性非限制實例,來自第一影像感測器之每一 斤接收資料行與來自第二影像感測器之每—對應資料行之 間的相位偏移可為實質… 生m 勹頁買上值疋的,諸如圖9之一行相位 、圖8之兩行相位差或圓12之3行相位差。 參看圖26,描繪在且有 處理器處結合來自夕偏; 機之輸入的影像信號 實施感測器之資料之方法的特定說明性 &程圖,且將其—般地指定為2600。 在2602,可在具有用於 接收影像㈣之行n/機之輸人的料處理器處 第-相機所俘獲之第仃]。括來自藉由 〜象的第一行資料及來自藉由第二 155243.doc -51. 201205308 相機所俘獲之第二影像的第二行資料。作為—說明性非限 制實例,該影像處理器可包括圖2至圖3或圖5之影像信號 處理器2〇8、圓13之影像處理器1308、圖18之VFE 1834至 1842、圓19iVFE 1934至1942,或其任何結合。 可在該影像處理器處自耦接至第一相機且至第二相機之 結合器接收影像資料之行。可使用結合器同步來自第—相 :之第-影像資料及來自第二相機之第二影像資料的逐行 貝出以產生景> 像資料之每一行。舉例而言,該結合器可 為圖2至圖3或圖5之結合器2〇6、圖13之結合器13〇6、圖18 之資料對準區塊1824至1832、圖19之資料對準區塊^以至 1932 ’或其任何結合。 在2604,可產生輸出圖框,該輸出圖框具有對應於該第 一影像之行資料的第一區段且具有對應於該第二影像之行 資料的第一區^又。該第一區段及該第二區段可經組態以用 以產生二維(3D)影像格式或3D視訊格式。 在特疋貫施例中,處理該輸出圖框以產生3D影像資 料’且將該3D影像資料發送至顯示器件。在另一實施例 中,處理該輸出圖框以產生3D視訊資料,且將該3d視訊 資料發送至顯示器件,諸如圖13之顯示器件1310。為了說 明’該顯示器件可為通信器件、相機、個人數位助理及電 腦中之至少一者之組件。 參看圖27 ’描繪將來自多個感測器之資料結合成圖框之 方法的說明性實施例之流程圖且將其一般地指定為2700 » 作為一說明性實例’方法27〇〇可由圖2之系統、圖5之系統 155243.doc •52· 201205308 或其任何結合執行。 在2702’可自第—影像感測器(諸如,圖2之第—感測 202)接收第一資料串流。第一 ° L乐貧枓串流(諸如,圖2之第— 影像資料串流212、圖6之第一眘姐虫、ώ ^ ^ ^ ^ 寅枓串流602 ,或圖5之時序 π貝才4 h唬422)可對應於影像之第一影 像資料。在2704,可白笛-岁你β 〜 J自第一影像感測器(諸如,圖2之第二
感測器204)接收第二資料串流。第二資料串流(諸如,圖I 之第二影像資料串流214、圖6之第二資料串流6〇4,或圖$ 之時序信號資料430及影傻眘粗产% m、 久京d冢貢科k唬432)可對應於影 第二影像資料。 在2706,可結合來自第—咨 第貝枓串流之資料與來自第二資 料串流之資料。舉例而言,6士 。、,。Q态(诸如,圖2之結合器 206或圖5之結合器2〇6)可社人氺6哲. ;J、,O〇來自第一資料串流之第一影 像資料與來自第二資料串流 ^ Λ 甲/巩之第一影像資料且產生所得圖 框。為了說明,第一資粗电冷 … 冑科串流可包括與第-影像資料之第 一行相關聯的資料,包括且古 ν — 括具有第—行索引值之行資料、具 有第一行索引值之行資料 一 价错 „ 。第二資料串流可包括對應 於第一資料串流之行資料 3, m P仃資枓,包括具有第一行索引 值之對應作資料及具有第二^ 一仃索引值之對應行資料等等。 來自第一資料串流之具有篦一> 一 仃索引值的行資料與來自第 一資料串流之具有對應箆_ 仃索引值的行資料可彼此附加 或結合以形成單一影像行。 ^私序可針對每一行索引值重 複以產生所得圖框(諸如, 圖6之圖框660)。在一特定實施 例中,该圖框可包括複數個 J 其中母一列對應於一行索 155243.doc •53- 201205308 引值’且儲存具有該行索 目女外—太办1豕貢科行’且儲存 、^仃,、值之第二影像資料對應行。在一特定實 中,當第一影像資料之第一’ · 合成單--ϋ U-影像資料之對應行結 該單-影像行之大小為第-影像資料 之第-订或第二影像資料之對應行之大小的實質上兩倍。 在2708 ’可在影像信號處理器處處理該圖框以產生經處 理圖框;_在—特定實施例中,該影像信號處理器可為圖2 之影像信號處理器或圖5之影像信號處理器2〇8,且該 經處理圖框可為圖2之經處理圖框㈣或圖6之經處理圖= 650在特定實施例中,該經處理圖框可包括:包括來 自第一影像感測器之第-影像資料的第-區段(諸如,第 -區段说)、包括來自第:影像感測器之第二影像資料的 第一區段(諸如,第二區段654),及間隙區段(諸如,圖6之 間隙區段6 5 6)。該間隙區段可包括安置於第-區段與第二 區段之間的非影像資料。在一特定實施例中,該第一區段 可包括第一影像資料之行,且該第二區段可包括第二影像 資料之對應行。 / 在2710 ’可輸出該經處理圖框以在顯示器件處顯示。在 一特定實施例中,該第一影像感測器及該第二影像感測器 各自直接回應於該影像信號處理器,且該顯示器件可與該 影像信號處理器解耦。 參看圖28 ’描繪同步第一影像感測器與第二影像感測器 之方法的說明性實施例之流程圖且將其一般地指定為 2800 °作為一說明性實例,方法2800可在圖2之系統2〇〇、 155243.doc • 54· 201205308 圖5之系統600或其任何結合處執行。 在2802,可自第一影像感測器接收影像之第—影像資 料。在-特定實施例中,第一影像感測器可為圖2之第— 感測器202。在2804 ’可自第一影像感測器接收與第一影 像資料相關聯之第—資料串流。在-特定實施例中,第Γ 資料串流Τ由影像感㈣器產纟,且可為圖2之第一影像資 料串流212、圖6之第一資料串流6〇2,《圖5之時序資料信 號420及影像資料信號422。 在2806,可自第二影像感測器接收該影像之第二影像資 料。在一特定實施例中,第二影像感測器可為圖2之第二 感測器204。在28G8 ’可自第二影像感測器接收與第二影 像資料相關聯之第二資料串、流。在一特定實施例中,第二 資料串流可由影像感測器產纟,且可為圖2之第二影像資 料串流214、圖6之第二資料串流604’或圖5之時序資料信 號430及影像資料信號432。 在2810,可同步在影像資料獲取期間該第—影像感測器 及該第二影像感測器之逐行曝光。在一特定實施例中,該 同步可在包括結合器(諸如,圖2之結合器寫或圖5之結合 器206)之主機處影像之影像請獲取期間發i在一特定 實施例中,該第-影像感測器與該第二影像感測器彼此獨 立。舉例而言’圖2之第-感測器加及第二感測器2〇4經 由控制信號232直接回應於影像信號處理器2〇8,α在保持 彼此獨立的同時具有類似時序特性。在2812,可交錯第一 特定實施例中,該第一資 資料串流與第二資料串流。在一 155243.doc •55- 201205308 料串流與該第二眘祖由& 言,來自第一資逐行基礎上交錯。舉例而 自第二資料串流之具有對應第-行索引值的行資科可彼: 附加以形成經交錯之單-影像行。 彼此 因此彳使用皁-影像信號處理器有效地處理經社 料。因此’與向每—感測器指派一處理器之多處理= 相比較’總影像系統成本及複雜性可減小。 、 參看圖29,描繪結合來自多個影像感測器之資料以產生 ⑽像㈣之方法㈣—說明性實施例之流㈣且將其一 4又地i日疋為2900。作為一句成 、 之系統執行。 說明性實例,方法編可由㈣ 第二’在MM ’同步來自第一相機及第二相機之 第:=之逐行讀出以產生影像資料的多個列。來自 影像資料可為來自圖1之第-影像感測器 、’>料串流1314,且第二影像資料可為來自圖13 之第二影像感測器1304的影像資料串流〗3 Μ。 該方法包括:在2904,在1有用於留上 禮卢八有用於单-相機之輸入的影 像處“處接收影像資料之多個列。該影像資料之每一列 包括來自藉由第一相機所俘獲之第—影像之-列的資料及 相機所俘獲之第二影像之一列的資料。影像 資料之該相可為圖7中所料之資料輸“串流7〇6。 該方法包括:在2906,使用影像處理器產生具有π影像 格式及3D視訊格式中之-者之輸出。該輪出對應於該第一 影像及該第H在簡,將該輸出發^顯示器件 155243.doc -56- 201205308 (例如’圖13之顯示器件1310)。 參看圖30 ’描繪將來自多個感測器之資料結合成圖框之 方法的說明性實施例之流程圖且將其一般地指定為3〇〇〇。 作為一說明性實例’方法3000可由圖13之系統執行。 在3 002,自第一影像感測器(諸如,圖13之第一影像感 測器1302)接收第一資料串流。第一資料串流(諸如,圖η 之第一影像資料串流13 14或圖7之第一資料串流7〇2)可對 應於第-影像之第-影像資料。在3_,可自第二影像感 測器(諸如,圖13之第二影像感測器13〇4)接收第二資料串 流。第:資料串流(諸如,圖13之第二影像資料串流 1316、圖7之第二資料串流7〇4)可對應於第二影像之第二 料資料。㈣-影像及該第二影像可為場景之影像 :景之第-影像及第二影像可在實質上相同時間拍攝或可 在不同時間拍攝。可自盥第_ 、弟—衫像不同之有利位置拍攝第 毛像’使得可自該場景之第一 資訊。 影像及第二影像判定深度 在3006,結合來自第—資 〜 串流之資料… ▲ 資料與來自第二資料 13〇6)可結合來自第一資祖“ 圖13之結合器 1料串★Η '串4之第—影像資料與來自第 流之第二影像資料且產生所得圖框。 第 第貧料串流可包括與第1像 料,包括具有第一行索引值之行資料相關聯的資 之行資料等等。第二資料争流可包:有第二行索引值 之行資料的行資料,包括具有第=於第一資料串流 仃索引值之對應行資料 155243.doc -57- 201205308 及具有第二行衾引值之對應行資料等等。來自第一 流之具有第-行索引值的行資料與來自第二資料串流之且 有對應第-行索引值的行資料可彼此附加或結合以形成: -影像行。該程序可針對每—行索5丨值重複Μ生所_ 框(諸如,圖7之圖框在-特定實施例中,該圖框可 包括複數個列,其令每一列對應於一行索引值,且儲存且 有該行索引值之第-影像資料行,且储存具有該行索心 之第一影像資料對應行。在一特定實施例中,當第一影像 資料之第—行與第二影像資料之對應行結合成單-影像行 時,該單-影像行之大小為第—影像請之第_行或第二 影像資料之對應行之大小的實質上兩倍。 在期8 ’經由用於單一相機之輸入來接收圖框作為影像 資料之多個列。在-特定實施例中’用於單-相機之輸入 可為影像處理H(諸如,圖13之影像處理⑽⑽)之輸入。 該圖框可為圖7之圖框74〇。 在3〇1〇,自該圖框產生輸出。該輸出具有3D影像格式及 3D視訊格式中之—者。該輸出對應於該第—影像及該第二 影像。該輸出可為圖13之經處理之圖框資料132〇。在 3〇12’將該輸出發送至顯示器件。在一特定實施例中,該 顯示器件可為圖13之顯示器件1310。 參看圖31 ’描繪同步第—影像感測器與第二影像感測器 之方法的說明性實施例之流程圖且將其一般地指定為 3 100。作為—說明性實例,方法3100可由圖13之系統1300 執行。 155243.doc -58- 201205308 在3102,可自第一影像感測器接收影像之第一影像資 料。在一特定實施例中,第一影像感測器可為圖Η之第— 影像感測器1302。在31〇4,可自第一影像感測器接收與第 一影像資料相關聯之第一資料串流。在一特定實施例中, 第一資料串流可由該影像感測器產生,且可為圖13之第— 影像資料串流13 14或圖7之第一資料串流7〇2。 在3106 ,可自第二影像感測器接收該影像之第二影像資 料。在一特定實施例中,第二影像感測器可為圖13之第二 影像感測器1304。在3108,可自第二影像感測器接收與第 二影像資料相關聯之第二資料串流。在一特定實施例中’ 第二資料串流可由該影像感測器產生,且可為圖13之第二 影像資料串流13 16或圖7之第二資料串流7〇4。 在3Π0,可同步在影像資料獲取期間該第一影像感測器 及該第二影像感測器之逐行曝光。在一特定實施例中,該 同步可在包括結合器(諸如,圖13之結合器13〇6)之主機處 影像之影像資料獲取期間發生。在一特定實施例中,該第 一影像感測器與該第二影像感測器彼此獨立。舉例而言, 圖13之第一影像感測器13〇2及第二影像感測器13〇4可經由 控制信號直接回應於影像處理器13〇8,以在保持彼此獨立 的同時具有類似時序特性。在另一實施例中,第一影像感 測器1302及第二影像感測器13()4經由控制信號直接回應於 ,’’。合器1306 ,以在保持彼此獨立的同時具有類似時序特 性。在3112 ,可交錯第一資料串流與第二資料串流。在一 特定實施例中,該苐一資料串流與該第二資料串流可在逐 155243.doc •59· 201205308 行基礎上交錯。舉例而言’纟自第一資料•流之具有第一 行索引值的行資料與來自第二資料串流之具有對應第一行 索引值的行資料可彼此附加以形成經交錯之單κ象行。 因此,可使用單-影像處理器有效地處理經結合資料。 因此’與向每-感測器指派一處理器之多處理器系統相比 較’總影像系統成本及複雜性可減小。 參看圖32,描繪使用影像處理器產生卿像之方法的說 明性實施狀隸®且將其-般地衫為影像處 理器可為圖u之影像處理器13G8e #影像處理器處理自結 合器(例如’圖1之結合器1306)所接收之圖框、來自記憶體 之圖框’或當使用者選擇使用顯示3D影像之器件之變焦特 徵或取景位置調整(pan)特徵來更改所顯示的扣影像時, 可使用方法3200 ^ 在3202,影像處理器基於校準矩陣之參數修整第—影像 及第二影I。該校準矩陣可提供用於俘獲第一影像及第二 影像之第-影像感測器及第二影像感測器之相對位置的調 整。兩個相機之相對位置可經選擇以確保最小場景失真及 眼疲勞。可在於第一影像感測器及第二影像感測器之位置 相對於彼此固定的情況下拍攝3D影像之器件之製造程序期 間判定該校準矩陣。該校準可儲存於該器件之記憶體中。 關於在第-影像感測器、第二影像感測器或兩者之位置可 調整之情況下拍攝3D影像的器件,該器件之處理器可用以 執订㈣常式以判定該校準矩陣且將該校準矩陣儲存於記 憶體中。該校準常式可能需要第一影像感測器及第二影像 J55243.doc 201205308 f測器聚焦於經定位成距該等影像感㈣器一設定距離之特 疋权準場景上。可在該等影像感測器相對於彼此之位置調 整之後執行該校準常式。 在3204,影像處理器積測第—影像中之要點。該影像處 器可偵測第一影像中之獨特(高頻率)點。在,該影 像處理器阻礙第-影像及第:影像t之局域影像補片 (image patch)之間的匹配,以計算第一影像中之每一經谓 測要點的差異。可製造用於每—要點之可靠性估計器以保 證捨棄錯誤匹配。在3208,該影像處理器基於自所計算之 差異所判定的差異範圍來判定聚合調整。該聚合調整考慮 到場景深度及顯示器幾何形狀。 在321〇,當聚合調整係在將顯示3〇影像以產生輸出之顯 示器件之能力内時,該影像處理器基於該聚合調整選擇性 地移位第一影像及第二影像中之至少一者。在切之,當聚 合調整不在用以產生輸出之顯示器件之能力内_,該影像 處理器使用具有經調整之差異的影像來匹配場景之大 多數。在32i4,該影像處理器基於顯示器件之一或多個顯 示特性來裁切(crop)該輸出。 圖33為用以結合來自多個影像感測器之資料的影像處理 系統遍之特定實施例的方塊圖。影像處理系統3可包 括影像感測器器件3302,影像感測器器件33〇2耦接至第一 透鏡3304,耗接至第二透鏡33G6,且㈣至攜帶型多媒體 器件之應用處理器晶片集3308。影像感測器器件33〇2可包 括結合器3310及接收用於單一相機之輸入的影像處理器 155243.doc -61 - 201205308 3312。影像處理器33 12可接收來自結合器331〇或來自攜帶 型多媒體器件之應用處理器晶片集33〇8之記憶體器件33 j 4 的單一相機輸入。結合器33 10可(諸如)藉由實施圖13之系 統1300,藉由根據圖29至圖31之實施例中之任一者操作或 其任何結合來結合來自第一資料串流及來自第二資料串流 的資料以產生圖框。 結合器3310經耦接以經由第一類比轉數位轉換器3318接 收來自第一感測器33 16之影像資料。結合器33〗〇經耦接以 經由第二類比轉數位轉換器3322接收來自第二感測器332〇 之影像資料。結合器33 10或影像處理器33丨2可控制第一感 測盗3316及第二感測器332〇,第一感測器3316與第二感測 器3320可以其他;5·式彼此獨立。在一特定實_中,影像 處理器3312可經由感測器同步器333〇(以陰影展示)控制第 一感測器33 1 6及第二感測器3320。 在一特定實施例中,包括影像處理電路(諸如,結合器 3310)之積體電路經組態以產生圖框。該影像處理^二經 組態以接收來自第一影像感測器(諸如,第一感測器3叫 之第一資料串流,接收來自第二影像感測器(諸如,第二 感測器3320)之第二資料串流,且結合來自第-資料串流 及來自第二資料串流之資料以產生該圖框。舉例而言,圖 7之第一資料串流702與第二資料串流7〇4可藉由=合器 33 10結合以形成圖7之圖框740。 ° 可將來自結合器33 1〇之輸出發送至攜帶型多媒體器件之 應用處理器晶片集33〇8的記憶體器件33 王京Μ象處理器 155243.doc -62- 201205308 33 =或兩者。影像處理器33i2可經組態以執行額外影像處 操乍諸如由影像處理系統所執行之一或多個操作。影 像處理器3312可接收來自結合器331〇或來自記憶體器件 4之圖框。衫像處理器3312可產生經處理之影像資料, 諸如具有3D影像格式或3D視訊格式之經處理圖框。在一 實施例中,用於產生經處理之影像資料之平均時間為約2〇 毫秒。影像處理器3312可將經處理之影像資料提供至攜帶 型多媒體器件之應用處理器晶片集3308以用於進一步處 理、傳輸、儲存、顯示至顯示器件3324,或其任何結合》 參看圖34,描繪包括如本文中所描述之圖框產生器模組 之電子器件(諸如,無線電話)的特定說明性實施例之方塊 圖且將其一般地指定為34〇〇。器件3400包括耦接至記憶體 3432之處理器3410。該處理器包括或耦接至控制器3464。 或者,該電子器件可為機上盒、音樂播放器、視訊播放 器、娛樂單元、導航器件、通信器件、個人數位助理 (PDA)、相機、固定位置資料單元或電腦。 圖34亦展示耦接至處理器341〇且耦接至顯示器3428之顯 示器控制器3426。編碼器/解碼器(CODEC)3434亦可耦接 至處理器341〇。揚聲器3439及麥克風343 8可粞接至CODEC 3434。相機控制器3470亦可耦接至處理器341〇。第一相機 3472及第二相機3473可耦接至相機控制器3470。 圖34亦指示無線介面3440可耦接至處理器3410且耦接至 無線天線3442。在一特定實施例中,處理器3410、顯示器 控制器3426、記憶體3432、CODEC 3434、無線介面3440 155243.doc -63- 201205308 及控制器3464包括於系統級封裝或系統單晶片3422中。在 一特定實施例中,輸入器件3430及電源供應器3444耦接至 系統單晶片3422。此外,在一特定實施例中,如圖34中所 說明,顯示器3428、輸入器件3430、揚聲器3439、麥克風 3438、無線天線3442及電源供應器3444在系統單晶片3422 外部。然而,每一者可耦接至系統單晶片3422之組件,諸 如介面或控制器。 在一特定實施例中,處理器341〇執行來自處理器可讀媒 體之處理器可讀程式指令,諸如儲存於記憶體3432處之程 式指令3482。舉例而言,記憶體3432可由處理器3410讀 取,且指令3482可為可由處理器3410執行以執行圖22之方 法2200的操作指令。舉例而言,指令⑽可包括可由處理 器3410執行以接收來自第一影像感測器(諸如,相機3473) 之第-資料串 ’接收來自第二影像感測器(諸如,相機 3472)之第二資料串流,且結合來自卜資❹流及來自 第二資料串流之資料以產生圖框的指令。舉例而言,該第 :影像感測器可為圖2之第一感測器2。2且該第二影像感測 器可為圖2之第二感測器綱。指令3482可進-步包括可由 處理器3410執行以在處理器则處或在影像信號處理器 (未圖示)處處理該圖框以產生經處理圖框的指令。指令 3482可進-步包括可由處理器341峨行以輸出待在顯示器 处.4示或在s己憶體3432處作為影像資料348〇儲存的 經處理圖框的指令。 參看圖35,描繪電子器件(諸如,行動電話)之特定說明 155243.doc -64· 201205308 性實施例之方塊圖且將其一般地指定為3 5 0 〇。器件3 5 0 0包 括耦接至記憶體3504之處理器3502。處理器3502包括或耦 接至影像處理器3506。影像處理器3506可接收單一相機輸 入且可輸出3D資料3590。3D資料3590可呈3D影像格式或 3D視訊格式。或者,電子器件35〇〇可為機上盒、音樂播放 器、視訊播放器、娛樂單元、導航器件、通信器件、個人 數位助理(PDA)、相機、固定位置資料單元、電腦或其結 合。 圖35亦展示耦接至處理器3502且耦接至顯示器351〇之顯 示器控制器3508。編碼器/解碼器(C〇DEC)3512亦可耦接 至處理器3502。揚聲器3514及麥克風3516可耦接至CODEC 3512。相機控制器3518亦可耦接至處理器3502。相機控制 器3518可包括結合器3520。結合器3520可將影像資料提供 至影像處理器3506。作為說明性實例,結合器3 520可為圖 13之結合器1306,或經組態以結合來自多個相機之資料的 其他硬體電路或處理器,如關於圖7所說明。第一相機 35 22及第二相機35 24可麵接至相機控制器3518 » 圖35亦指示無線介面3526可耦接至處理器3502且耦接至 無線天線3528。在一特定實施例中,處理器35〇2、顯示器 控制器3508、記憶體3504、C0DEc 35 12、相機控制器 3518及無線介面3526包括於系統級封裝或系統單晶片353〇 中。在一特定實施例中,輸入器件3532及電源供應器3534 柄接至系統單晶片3 5 3 0。此外,在一特定實施例中,如圖 35中所說明,顯示器3510、輸入器件3532、揚聲器3514、 155243.doc -65- 201205308 麥克風3516、無線天線3528及電源供應器3534在系統單晶 片3530外部。然而,每一者可耦接至系統單晶片353〇之組 件’諸如介面或控制器。 在一特定實施例中,處理器3502執行來自處理器可讀媒 體之處理器可讀程式指令,諸如儲存於記憶體35〇4處之程 式指令3536。舉例而言,記憶體35〇4可由處理器35〇2讀 取,且指令3536可為可由處理器3502執行以執行圖乃之方 法2500的操作指令。舉例而言,指令^刊可包括可由處理 器3 502執行以接收來自第一影像感測器(諸如,相機Μ”) 之第一資料串流,接收來自第二影像感測器(諸如,相機 3524)之第二資料串流,且使用相機控制器3518之結合器 3520結合來自第一資料串流及來自第二資料串流之資料以 產生圖框的指令。舉例而言,該第一影像感測器可為圖Μ 之第一影像感測器1302,且該第二影像感測器可為圖13之 第一影像感測器1304。指令3536可進一步包括可由處理琴 3502執行以在影像處理器3506處處理該圖框以產生經處理 圖框的指令。指令3536可進一步包括可由處理器35〇2執行 以將經處理圖框作為3D資料輸出至顯示器控制器35〇8以用 於在顯示器件35 10處顯示或以將經處理圖框在記憶體Μ" 處儲存為影像資料3538的指令。 熟習此項技術者應進一步瞭解,可將結合本文中所揭示 之實施例所描述之各種說明性邏輯區塊、組態、模組、電 路及演算法步驟實施為電子硬體、由處理器所執行之電腦 軟體’或兩者之結合。各種說明性組件、區塊、組阵、模 155243.doc -66 - 201205308 組、電路及步驟已在上文大體按其功能性得以描述。將此 功能性實施為硬體抑或由處理器所執行之軟體取決於特定 應用及強加於整個系統之設計約束。熟習此項技術者可針 對每一特定應用以不同方式實施所描述之功能性,但不應 將此等實施決策解譯為引起脫離本發明之範鳴。 可藉由執行可以電腦可讀指令之形式儲存於記憶體中的 程式碼來執行圖22至圖32之方法。在該狀況下,處理器 (諸位,數位信號處理器(DSP)、影像信號處理器(Isp)或其 他處理器)可執行儲存於記憶體中之指令,以便執行該等 影像處理方法中之一或多者。在一些狀況下’該等方法可 由調用各種硬體組件以加速影像處理之Dsp或Isp來執行。 在其他狀況下,本文中所描述之單元可實施為微處理器、 一或多個特殊應用積體電路(ASIC)、一或多個場可程式化 閘陣列(FPGA)或其任何結合,或方法可由微處理器、一或 多個特殊應用積體電路(ASIC)、一或多個場可程式化閘陣 列(FPGA)或其任何結合來執行。 結合本文中所揭示之實施例所描述之方法或演算法的步 驟可直接體現於硬體中、藉由處理器所執行之軟體模組 中,或該兩者之結合中。軟體模組可駐留於隨機存取記憶 體(RAM)、快閃記憶體、唯讀記憶體(r〇m)、可程式化唯 讀記憶體(PRQM)、可抹除可程式化唯讀記憶體(EpR〇M)、 電可抹除可程式化唯讀記憶體⑺EpR〇M)、暫存器、硬 碟抽取式磁碟、緊密光碟唯讀記憶體(CD_R〇M),或此 項技術巾已知之任何其他形式的非暫時性電腦可讀儲存媒 155243.doc •67· 201205308 體中。例示性儲存媒體輕接至處理器,使得處理器可自儲 存媒體讀取資訊及將資訊寫人至储存媒體。在替代例令, 儲存媒體可與處理器成一體式。處理器及錯存媒體可駐留 於特殊應用積體電路(趟〇中。ASIC可駐留於計算器件或 使用者終端機中。在替代例中,處理器及料媒體可作為 離散組件而駐留於計算器件或使用者終端機中。 提供所揭示實施例之先前描述,以使得熟習此項技術者 能夠進行或使用所揭示實施例。熟f此項技術者將易於顯 而易見對此等實施例之各種修改,且本文中所定義之原理 可在不脫離本發明之範疇的情況下應用於其他實施例。因 此,本發明不欲限於本文中所展示之實施例,而是將符合 可能與如由以下申請專利範圍所定義之原理及新穎特徵二 致的最寬範疇。 【圖式簡單說明】 圖1為用以結合來自多個影像感測器之資料的影像處理 系統之特定說明性實施例的方塊圖; 圖2為用以結合來自多個影像感測器之資料的影像處理 系統之第二說明性實施例的方塊圖; 圖3為用以結合來自多個影像感測器之資料的影像處理 系統之第三說明性實施例的方塊圖; 圖4為圖2之影像處理系統之所選擇部分的特定說明性實 施例之方塊圖,其中第一影像感測器及第二影像感測器接 收共同控制資料; 圖5為用以結合來自多個影像感測器之資料的影像處理 155243.doc -68· 201205308 系統之第四說明性實施例的方塊圖; 圖6為第—影像感測器之輸出 二影像感测器之輸出端處之第 的第-資料串流與第 步資料行的第—實施例之圖解表示…經結合以形成同 圖7為第-影像感測器之輸出端 二影像感挪器之輸出端處之第二 第;'資料串流與第 步資料行的第二實施例之圖解表示;b結合以形成同 圖8為說明來自第一感測器之 感測器之第二資料串流之門…广4串流與來自第二 實施例的圖解表示; 之相位圖之第一 圖9為說明來自第一感測 -.01| „ ^ ^ 牙 貝枓串流與來自第二 感測窃之第二資料串流之間 實施例的圖解表示; -相位差之相位圖之第二 圖,明複數個感測器中之每一者之像素資料且說明 同步資料行的圖解表示; 為說月用於多個感測器之圖框有效及行有效信號時 序之時序圖; 圖12為說明來自第一感測器之第一資料串流與來自第二 感測器之第二資料串流之間的三行相位差之相位圖之第三 實施例的圖解表示; 圖13為用以結合來自多個影像感測器之資料以產生三維 影像格式的影像處理系統之特定說明性實施例的方塊圖; 圖14為說明行動器件之各種實施例之圖解表示,該等行 動器件具有用以結合來自多個影像感測器之資料的影像處 155243.doc -69- 201205308 理系統; 圖15為說明藉由相機陣列所俘獲之包括影像之間的重疊 的多個影像之一實例之圖解表示; 圖16為說明藉由相機陣列所俘獲之包括影像之間的重疊 的夕個影像之一實例之圖解表示,其中每一影像可具有其 自己之移位分量及旋轉分量; 圖1 7為說明相機陣列及與該相機陣列相關聯之電連接之 特定實施例的方塊圖; 圖18為相機陣列處理系統之第一特定說明性實施例之方 塊圖; 圖19為相機陣列處理系統之第一特定說明性實施例之方 塊圖; 圖20為說明包括主透鏡及以陣列配置之多個相機之相機 系統的圖解表示; 圖21為說明汽車中之多相機模組之圖解表示; 圖2 2為將來自多個感測器之資料結合成同步資料行之方 法的特定說明性實施例之流程圖; 圖23為將共同控制信號提供至多個影像感測器且經由影 像處理益之早-相機輸入將同步資料行提供至影像處理器 之方法的特定說明性實施例之流程圖; 圖24為將共同控制信號提供至多個影像感測器且接收來 自該多個影像感測器中之每一者的同步資料輸出之方法的 特定說明性實施例之流程圖; 圖25為在多個影像感測器處接收共同控制信號且產生來 155243.doc 201205308 之方法的 自:多個影像感測器中之每一者的同步資料輸出 特定說明性實施例之流程圖; 圖26為在具有用於單一相 結合來自多個感測器之資料 流程圖; 機之輸入的影像信號處理器處 之方法的特定說明性實施例之 —圖27為將來自多個感測器之資料結合成圖框之方法的特 定說明性實施例之流程圖; 圖2 8為同步第一影像感測器及第二影像感測器之逐行曝 光之方法的特定說明性實施例之流程圖; 圖29為結合來自多個感測器之資料以產生三維影像資料 之方法的第一說明性實施例之流程圖; 圖30為結合來自多個感測器之資料以產生三維影像資料 之方法的第二說明性實施例之流程圖; 圖31為同步第一影像感測器及第二影像感測器之逐行曝 光之方法的特定說明性實施例之流程圖; 圖32為結合來自多個感測器之資料以自同步資料行產生 三維影像資料之方法的特定說明性實施例之流程圖; 圖33為用以結合來自多個影像感測器之資料的影像處理 系統之特定說明性實施例的方塊圖; 圖3 4為無線器件之第一說明性實施例之方塊圖,該無線 器件包括用以結合來自多個影像感測器之資料的影像處理 系統;及 圖35為無線器件之第二說明性實施例之方塊圖,該無線 器件包括用以結合來自多個影像感測器之資料的影像處理 155243.doc -71· 201205308 系統。 【主要元件符號說明】 100 影像處理系統 102 多相機模組 104 感測器模組 106 單相機晶片模組/單相機模組 108 同步資料行 200 影像處理系統 202 第一感測器 204 第二感測器 206 結合器 208 影像信號處理器/視訊前端 212 第一影像資料串流 214 第二影像資料串流 216 行缓衝器 218 行資料 222 第一資料行 224 第二資料行 230 感測器同步器 232 控制/資料信號 234 共同控制信號 240 經處理行資料 300 包括兩個以上感測器之實施例 305 第N感測器/第三感測器 155243.doc -72- 201205308 315 325 400 404 406 408 410 420 422 430 432 500 506 508 510 512 526 527 528 530 536 538 540 542 第N影像資料串流 第N資料行 影像處理系統之所選擇部分 控制時脈信號//控制資料/信號 控制資料信號//控制資料/信號 相機時脈信號//控制資料/信號 相機重設信號//控制資料/信號 第一時序資料 第一感測器影像資料 第二時序資料 第二感測器影像資料 影像處理系統 精簡型輸出格式器 輪送封包化器及格式器 暫存器介面 時脈管理器件 時脈信號 時脈信號 結合器時序資料信號 結合器影像資枓信號 輪出格式器時序資料信號/經格式 輪出格式^影像資料信號/經格式化資= 輪出格式器靜置資料信號/經格式化資料 輪出格式器開始資料信號/經格式化資料 155243.doc -73- 201205308 544 546 548 572 600 602 604 606 610 612 614 616 620 622 624 626 630 632 634 642 650 輸出格式H有效資料信號/經格式化 輸送時序資料信號 料 輪送影像資料信號 暫存器匯流排 机/、第二影像感測器之輸出端處之第二 料串μ經結合以形成同步資料行的特定 施例之圖解表示 第一資料串流 第二資料串流 資料輸出端資料串流 具有第一行索引值之行資料 具有第二行索引值之行資料 具有第三行索引值之行資料 具有第四行索引值之行資料 具有第一行索引值之對應行資料 具有第二行索引值之對應行資料 具有第三行索引值之對應行資料 具有第四行索引值之對應行資料 具·有第一行索引值之經結合行資料 具有第二行索引值之經結合行資料 具有第三行索引值之經結合行資料 列 經處理圖框 155243.doc -74- 201205308 652 第一區段 654 第二區段 656 間隙區段 660 圖框 700 第一影像感測器之輸出端處的第一 流與第二影像感測器之輪出端處之ί 料串流經結合以形成同步資料行的第 施例之圖解表示 702 第一資料串流 704 第二資料串流 706 資料輸出端資料串流 708 間隙區段 710 具有第 一行索引 值之行資料 712 具有第 二行索引 值之行資料 714 具有第 三行索引 值之行資料 716 具有第 四行索引 值之行資料 720 具有第 —行索引 值之對應行資料 722 具有第 二行索引 值之對應行資料 724 具有第 三行索引 值之對應行資料 726 具有第 四行索引 值之對應行資料 730 具有第 一行索引 值之經結合行資料 732 具有第 二行索引 值之經結合行資料 734 具有第 三行索引 值之經結合行資料 740 圖框 串 資 實 155243.doc •75· 201205308 742 800 802 804 806 812 814 816 820 822 824 826 900 902 904 906 908 912 914 列 說明來自第一感測器之第一資料串流與來 自第二感測器之第二資料串流之間的兩行 相位差之相位圖之第一實施例的圖解表示 第一感測器第一行資料 第一感測器第二行資料 第一感測器第三行資料 第二感測器第一行資料 第二感測器第二行資料 第二感測器第三行資料 經結合行 經結合行資料 經結合行資料 經結合行資料 說明來自第一感測器之第一資料串流與來 自第二感測器之第二資料串流之間的一行 相位差之相位圖之第一實施例的圖解表示 第一感測器第一行資料 第一感測器第二行資料 第一感測器第三行資料 第一感測器第四行資料 第二感測器第一行資料 第二感測器第二行資料 第二感測器第三行資料 155243.doc -76- 916 201205308 918 第二感測器第四行資料 920 經結合行 922 經結合行資料 924 經結合行資料 926 經結合行資料 928 經結合行資料 1000 說明用於複數個感測器中之每一者之 1002 藍(膽)資料且說明同步資料行的圖解表; 第一感測器第一行資料 1004 第一感測器第二行資料 1006 第一感測器第三行資料 1012 第二感測器第一行資料 1014 第二咸測5|筮-〜令,. ^ 内益乐一订資料 1016 第二感測器第三行資料 1020 經結合行/經結合行資料串流 1022 第三感測器第一行資料 1024 第二感測器第二行資料 1026 第二感測器第三行資料 1040 經結合行資料 1050 經結合行資料 1060 經結合行資料 1100 具有多個感測器之裝置相關聯的信 J 、序之時序圖的特定實施例 1102 第—感測器之圖框有效(FV)信號 155243.doc •77- 201205308 1104 1106 1108 1110 1112 1114 1116 1118 1120 1122 1124 1130 1132 1134 1140 1142 1144 1150 1160 1170 1180 1182 1200 第一感測器之行有效(LV)信號 第二感測器之FV 第二感測器之LV 第三感測器之FV 第三感測器之LV 經結合之圖框有效信號 行有效/資料信號 行負載(LL)信號 第一感測器之第一行資料 第一感測器之第二行資料 第一感測器之第三行資料 第二感測器之第一行資料 第二感測器之第二行資料 第二感測器之第三行資料 第三感測器之第一行資料 第三感測器之第二行資料 第三感測器之第三行資料 第一同步資料行 第二同步資料行 第三同步資料行 第一相位差 第二相位差 說明來自第一感測器之第一資料串流、來 自第二感測器之第二資料串流與來自第三 155243.doc -78 - 201205308 感測器之第三資料串流之間的三行相位差 之相位圖之第一實施例的圖解表示 1202 第一感測 器 第 一 行 資 料 1204 第一感測器 第 二 行 資 料 1206 第一感測 器 第 三 行 資 料 1208 第一感測 器 第 四 行 資 料 1212 第二感測器 第 一 行 資 料 1214 第二感測 器 第 二 行 資 料 1216 第二感測 器 第 三 行 資 料 1218 第二感測 器 第 四 行 資 料 1220 經結合行 1222 第三感測 器 第 一 行 資 料 1224 第三感測 器 第 二 行 資 料 1226 第三感測 器 第 三 行 資 料 1228 第三感測 器 第 四 行 資 料 1232 經結合行 資 料 1234 經結合行 資 料 1236 經結合行 資 料 1300 影像處理 系 統 1302 第一影像感 測 器 1304 第二影像感 測 器 1306 結合器 1308 影像處理 器 1310 顯示器件 155243.doc -79- 201205308 1312 行緩衝器 1314 第一影像資料串流 1316 第二影像資料串流 1318 圖框資料 1320 經處理圖框資料 1400 說明具有用以結合來自多個影像感測器之 資料之影像處理系統的行動器件的各種實 施例之圖解表示 1402 行動器件 1404 行動器件 1406 行動器件 1408 行動器件 1500 影像陣列 1502 第一列 1504 第二列 1506 第三列 1508 第四列 1510 第一行 1512 第二行 1514 第三行 1516 第四行 1518 單一相機影像 1520 單一相機影像重疊 1522 水平解析度 155243.doc -80 - 201205308 1524 總水平解析度 1600 影像陣列 1602 旋轉 1604 移位 1606 定位容限 1700 相機陣列 1702 資料介面 1704 控制介面 1706 陣列之第一列 1708 陣列之第二列 1710 陣列之第三列 1712 陣列之第一行 1714 陣列之第二行 1716 陣列之第三行 1800 相機陣列處理系統 1802 相機陣列 1804 第一列 1806 第二列 1808 第三列 1810 第四列 1812 第五列 1814 第一行 1816 第二行 1818 第三行 155243.doc -81- 201205308 1820 第四行 1822 第五行 1824 第一對準區塊 1826 第二對準區塊 1828 第三對準區塊 1830 第四對準區塊 1832 第五對準區塊 1834 第一 VFE組件 1836 第二VFE組件 1838 第三VFE組件 1840 第四VFE組件 1842 第五VFE組件 1844 控制同步區塊 1846 第一 GPU組件 1848 第二GPU組件 1850 第三GPU組件 1852 第四GPU組件 1854 第五GPU組件 1856 GPU處理組件 1900 相機陣列處理系統 1902 相機陣列 1904 第一列 1906 第二列 1908 第三列 155243.doc -82- 201205308 1910 1912 1914 1916 1918 1920 1922 1924 1926 1928 1930 1932 1934 1936 1938 1940 2000 2002 2004 2006 2008 2100 3300 3302 第四列 第五列 第一行 第二行 第三行 第四行 第五行 第一對準區塊 第二對準區塊 第三對準區塊 第四對準區塊 第五對準區塊 單一 VFE組件 控制同步區塊 單一 GPU組件 GPU處理組件 高解析度數位相機系統 主透鏡 入射光 相機陣列 平面 多相機模組/系統 影像處理系統 影像感測器器件 155243.doc •83· 201205308 3304 3306 3308 3310 3312 3314 3316 3318 3320 3322 3324 3330 3400 3410 3422 3426 3428 3430 3432 3434 3438 3439 3440 3442 第一透鏡 第二透鏡 攜帶型多媒體器件之應用處理器晶片集 結合器 影像處理器 記憶體器件 第一感測器 第一類比轉數位轉換器 第二感測器 第二類比轉數位轉換器 顯示器件 感測器同步器 電子器件 處理器 系統級封裝/系統單晶片 顯示器控制器 顯示器/顯示器件 輸入器件 記憶體 編碼器/解碼器(CODEC) 麥克風 揚聲器 無線介面 無線天線 155243.doc -84- 201205308 3444 電源供應Is 3464 控制器 3470 相機控制器 3472 第一相機 3473 第二相機 3480 影像資料 3482 程式指令 3500 電子器件 3502 處理器 3504 記憶體 3506 影像處理器 3508 顯示器控制器 3510 顯示器/顯示器件 3512 編碼器/解碼器(CODEC) 3514 揚聲器 3516 麥克風 3518 相機控制器 3520 結合器 3522 第一相機 3524 第二相機 3526 無線介面 3528 無線天線 3530 系統級封裝/系統單晶片 3532 輸入器件 155243.doc -85 - 201205308 3534 3536 3538 3590 電源供應器 程式指令 影像資料 3D資料 155243.doc

Claims (1)

  1. 201205308 七 、申請專利範圍: 1. 一種方法’其包含: 將一共同控制信號提供至多個影像感測器,其中該多 個影像感測器中之每一者係回應於該共同控制信號以 生影像資料; 出接收來自該多個影像感測器中之每一者之同步資料輸 來自該多個影像感測器中之每一者之該同步資 輸出以產生—同步資料行;及 =由-影像處理機輸人將 提供至該影像處理器。 ,貢枓仃 2. 如叫求項1之方法,其中該同步資料行带点1 之-圖框之t枓灯形成具有多個列 特定資料:: 包括第一影像感測器之- 行疋貢枓仃及—第二影像感測器之 3. 如:求項2之方法,其中該圖桓包含W枓仃。 第一區段,該第一區段包括來 之第-影像資料;及 泉自該第-衫像感測器 一第二區段,該第二區段包括來 之第二影像資料。 來自忒第一影像感測器 4. 如請求 段,該間隙區衧^其中該圖樞進-步包含-間隙區 間的非影像資^含安置於該第〜區段與該第二區段之 5 _如請求項1 自一第…方法’其進-步包含在-逐行基礎上交錯 "像感測器所接收之-第-資料串流與自—第 155243.doc 201205308 二影像感測11所接收之-第二資料串流。 6 項1之方法,其中接收同步資料輸出包括接收來 自二多個影像感測器中之—第—影像感測器之_第一資 料:’及接收來自該多個影像感測器中之一第二影像感 測器之一笛-咨H — 一’斗订,,、中在完成接收該第二資料行之 ::成接收該第一資料行,且其中在完成接收該第二資 料行之後產生該同步資料行。 7·如:求項6之方法,其進一步包含在產生該同步資料行 之則緩衝自該第-影像感測器所接收之—下—資料行的 至少一部分。 8.如請求項工之方法,其中該共同控制信號係藉由耦接至 該夕個影像感測器中之每—者的__感測器同步器提供。 9·如凊求項8之方法’其申該感測器同步器經由下列介面 來耦接至該多個影像感測器中之每一者:一積體電路間 (I2C)控制介面;順應一相機串列介面(CSI)規範之一介 面;或順應一相機並列介面(CPI)S範之一介面。 10. —種裝置,其包含: 一感測器同步器,該感測器同步器經組態以將一共同 控制k號提供至多個影像感測器,其中該多個影像感測 器中之每一者係回應於該共同控制信號以產生影像資 料;及 一結合器’該結合器經組態以結合自該多個影像感測 器中之每一者所接收之同步資料輸出,以產生待經由一 影像處理器之一單一相機輸入提供至該影像處理器的一 155243.doc 201205308 11. 12. 13. 14. 15. 16. 同步資料行。 如喷求項10之裝置,其中該同步資料行形成具有多個列 之圖框之部分,其中每一列包括一第一影像感測器之 —_ 料行及一第二影像感測器之一對應資料行。 如凊求項11之裝置’其中該圖框包含: 一第一 凡 區段’該第一區段包括來自該第一影像感測器 之第—影像資料;及 ,—第—p ^ 产一品段,該第二區段包括來自該第二影像感測器 之第二影像資料。 : '求項12之裝置’其中該圖框進一步包含一間隙區 S 1隙區^又包含安置於該第一區段與該第二區段之 間的非影像資料。 月^項10之裝置,其中該結合器經組態以在一逐行基 主、自°亥夕個景夕像感測器所接收之資料串流。 月求項10之裝置,其中該同步資料輸出包括該多個影 個-:4中之一第一影像感測器之一第-資料行及該多 ::像!測器中之一第二影像感測器之一第二資料行, 合器桩貢料仃相對於該第—資料行延遲’且其中在該結 二,收该第二資料行之後在該結合器處產生該同步資 行。U同步資料行包括該第-資料行及該第二資料 月长項15之裝置,其進—步包含 經紐能.、,0次殘:衡态 ' 在產生該同步資料行之前緩衝自該第一 測器所接收之π4影像感 收之一下一資料行的至少一部分。 155243.doc 201205308 17·如請求項10之裝置,其中該感測器同步器經由下列介面 來麵接至該多個影像感測器中之每一者:一積體電路間 (I2C)控制介面;順應一相機串列介面(CSI)規範之—介 面;或順應一相機並列介面(CPI)規範之一介面》 18.如請求項1〇之裝置,其中該感測器同步器係回應於該影 像處理器。 19.如請求項10之裝置,其中該感測器同步器及該結合器整 合於一攜帶型電子器件中。 2〇·如請求項10之裝置,其中該感測器同步器及該結合器整 合於一相機模組中,該相機模組經組態以耦接至一攜帶 型電子器件之一處理器。 21. —種裝置,其包含: 用於將-共同控制信號提供至多個影像感測器的構 件’其中該多個影像感測器中之每—者係回應於該共同 控制信號以產生影像資料;及 、 =於結合自該多個影像感測器中之每—者所接收之同 步資枓輸出以產生待經由一影像處理器之—單 入提供至該影像處理器的—同步資料行的構件。 'J 22·如請求項21之裝置’其進一步包含用於接收來自,亥多個 影像感測器中之每一者之該同步資料輸出的構件。 '請,之裝置’其進一步包含用於在產生 枓仃之則緩衝自該多個影像感測器 資 之一下—資料行的至少—部㈣構件。—者所接收 Μ. 一種非暫時性電腦可讀媒體,該非暫時性電腦可讀媒體 155243.doc 201205308 包含指令,該等指令在由-處理器執行時使該處理器. 將一共同控制信號提供至多個影像感測器,其中該多 個影像感測器中之每一者係回應於該共同控制信號二: 生影像資料;及 . 結合自該多個影像感測器中之每一者所接收之同步資 . 料輸出,以產生待經由一影像處理器之一單一相機輸入 供至S亥影像處理器的一同步資料行。 25. 如請求項24之非暫時性電腦可讀媒體,其中該同步資料 行形成具有多個列之一圖框之部分,其中每一列包括第 一影像感測器之一特定資料行及一第二影像感測器之一 對應資料行。 26. 如請求項24之非暫時性電腦可讀媒體,其進一步包含用 以使該處理器在-逐行基礎上交錯自—第—影像感測器 所接收之-第-資料串流與自_第二影像感測器所接收 之一第二資料串流的指令。 27. 如請求項24之非暫時性電腦可讀媒體,其進一步包含用 以使該處理器在產生該同步資料行之前緩衝自一第一影 像感測器所接收之一下一資料行的至少一部分的指令。 . 28. —種裝置,其包含: , 多個影像感測器,該多個影像感測器經耦接以接收一 共同控制信號且回應於該共同控制信號以產生影像資 料; 一感測器同步器,該感測器同步器經組態以將該共同 控制信號提供至該多個影像感測器;及 155243.doc 201205308 一結合器,該結合器經組態以結合自該多個影像感測 器中之每一者所接收之同步資料輸出,以產生待經由一 影像處理器之一單一相機輸入提供至該影像處理器的一 同步資料行。 29.如請求項28之裝置,其進一步包含: 一影像信號處理器,該影像信號處理器經耦接以處理 該同步資料行;及 一顯示器件,該顯示器件經組態以顯示經處理之影像 資料。 155243.doc -6-
TW100111892A 2010-04-05 2011-04-06 Combining data from multiple image sensors TW201205308A (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US32094010P 2010-04-05 2010-04-05
US32425910P 2010-04-14 2010-04-14
US35931210P 2010-06-28 2010-06-28
US41275510P 2010-11-11 2010-11-11
US13/079,619 US20110242355A1 (en) 2010-04-05 2011-04-04 Combining data from multiple image sensors

Publications (1)

Publication Number Publication Date
TW201205308A true TW201205308A (en) 2012-02-01

Family

ID=44709236

Family Applications (3)

Application Number Title Priority Date Filing Date
TW100111892A TW201205308A (en) 2010-04-05 2011-04-06 Combining data from multiple image sensors
TW100111891A TWI442766B (zh) 2010-04-05 2011-04-06 結合來自多個影像感測器之資料
TW100111894A TWI508520B (zh) 2010-04-05 2011-04-06 結合來自多個影像感測器之資料

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW100111891A TWI442766B (zh) 2010-04-05 2011-04-06 結合來自多個影像感測器之資料
TW100111894A TWI508520B (zh) 2010-04-05 2011-04-06 結合來自多個影像感測器之資料

Country Status (15)

Country Link
US (3) US9001227B2 (zh)
EP (3) EP2556658A1 (zh)
JP (3) JP2013528021A (zh)
KR (3) KR101517661B1 (zh)
CN (3) CN102884783B (zh)
AR (3) AR081161A1 (zh)
AU (1) AU2011237801A1 (zh)
BR (2) BR112012025182A2 (zh)
CA (1) CA2794682A1 (zh)
IL (1) IL222289A0 (zh)
RU (1) RU2012146968A (zh)
SG (1) SG184225A1 (zh)
TW (3) TW201205308A (zh)
WO (3) WO2011127077A1 (zh)
ZA (1) ZA201208298B (zh)

Families Citing this family (231)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US9001227B2 (en) 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
US8917632B2 (en) 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device
WO2011143501A1 (en) 2010-05-12 2011-11-17 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US8555067B2 (en) 2010-10-28 2013-10-08 Apple Inc. Methods and apparatus for delivering electronic identification components over a wireless network
KR101720190B1 (ko) * 2010-11-04 2017-03-27 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
US9313390B2 (en) * 2011-04-08 2016-04-12 Qualcomm Incorporated Systems and methods to calibrate a multi camera device
WO2012155119A1 (en) * 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
JP5821300B2 (ja) 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
JP6021489B2 (ja) * 2011-10-03 2016-11-09 キヤノン株式会社 撮像装置、画像処理装置およびその方法
US9495018B2 (en) 2011-11-01 2016-11-15 Qualcomm Incorporated System and method for improving orientation data
JP5918982B2 (ja) * 2011-11-22 2016-05-18 キヤノン株式会社 撮像装置、再生装置、その制御方法、撮像システム、及びプログラム
DE102012003127A1 (de) * 2012-02-16 2013-09-05 Leica Camera Ag Verfahren für eine Autofokuseinrichtung
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US11282287B2 (en) 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
JP6007509B2 (ja) * 2012-02-27 2016-10-12 株式会社リコー シリアルi/fバス制御装置及び撮像装置
US9253450B2 (en) 2012-04-18 2016-02-02 Utc Fire & Security Americas Corporation, Inc. Total bus surveillance system
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US20130327831A1 (en) * 2012-06-11 2013-12-12 Datalogic ADC, Inc. Dynamic imager switching
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP2888720B1 (en) 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
US9229526B1 (en) * 2012-09-10 2016-01-05 Amazon Technologies, Inc. Dedicated image processor
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140085497A1 (en) * 2012-09-26 2014-03-27 Omnivision Technologies, Inc. Systems And Methods For Sychronizing Multiple Video Sensors
US20140092439A1 (en) * 2012-09-28 2014-04-03 Scott A. Krig Encoding images using a 3d mesh of polygons and corresponding textures
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9275459B2 (en) * 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014083489A1 (en) 2012-11-28 2014-06-05 Corephotonics Ltd. High-resolution thin multi-aperture imaging systems
US9195254B2 (en) * 2012-12-21 2015-11-24 Qualcomm, Incorporated Method and apparatus for multi-level de-emphasis
US9686460B2 (en) * 2012-12-27 2017-06-20 Intel Corporation Enabling a metadata storage subsystem
US9244694B2 (en) * 2012-12-27 2016-01-26 Intel Corporation Executing a command within a transport mechanism based on a get and set architecture
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
EP2946336B1 (en) 2013-01-15 2023-06-21 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
KR20140094395A (ko) * 2013-01-22 2014-07-30 삼성전자주식회사 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
CN109040552B (zh) 2013-06-13 2021-06-22 核心光电有限公司 双孔径变焦数字摄影机
JP5953270B2 (ja) * 2013-07-04 2016-07-20 オリンパス株式会社 撮像装置
CN108388005A (zh) 2013-07-04 2018-08-10 核心光电有限公司 小型长焦透镜套件
US9955142B2 (en) * 2013-07-05 2018-04-24 Mediatek Inc. On-line stereo camera calibration device and method for generating stereo camera parameters
JP5902354B2 (ja) * 2013-07-16 2016-04-13 富士フイルム株式会社 撮影装置及び3次元計測装置
CN108989649B (zh) * 2013-08-01 2021-03-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9423588B2 (en) * 2013-10-18 2016-08-23 The Lightco Inc. Methods and apparatus for supporting zoom operations
US9549127B2 (en) * 2013-10-18 2017-01-17 Light Labs Inc. Image capture control methods and apparatus
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9264592B2 (en) 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
CN104994369B (zh) * 2013-12-04 2018-08-21 南京中兴软件有限责任公司 一种图像处理方法、用户终端、图像处理终端及系统
CN103702073A (zh) * 2013-12-11 2014-04-02 天津大学 一拖多个成像传感器同步成像的一体化相机电路
KR101528556B1 (ko) * 2013-12-12 2015-06-17 (주)씨프로 Cctv용 파노라마 카메라 장치
KR101530163B1 (ko) * 2013-12-12 2015-06-17 (주)씨프로 Cctv용 파노라마 카메라 장치
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
CN103916498B (zh) * 2014-03-28 2017-02-15 宁波萨瑞通讯有限公司 串口摄像头和并口摄像头兼容方法
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US10191356B2 (en) 2014-07-04 2019-01-29 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
WO2016007799A1 (en) 2014-07-09 2016-01-14 The Lightco Inc. Camera device including multiple optical chains and related methods
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN105335779B (zh) * 2014-08-14 2018-03-02 夏志刚 数卡器及使用数卡器进行数卡的方法
US9313391B1 (en) * 2014-08-14 2016-04-12 Amazon Technologies, Inc. Camera interfaces for electronic devices
US9992483B2 (en) * 2014-09-03 2018-06-05 Intel Corporation Imaging architecture for depth camera mode with mode switching
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9912864B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for using a camera device to support multiple modes of operation
US10944911B2 (en) * 2014-10-24 2021-03-09 Texas Instruments Incorporated Image data processing for digital overlap wide dynamic range sensors
US9842071B2 (en) * 2014-11-11 2017-12-12 Microchip Technology Incorporated Multi-channel I2S transmit control system and method
WO2016100756A1 (en) 2014-12-17 2016-06-23 The Lightco Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
CN112327464A (zh) 2015-01-03 2021-02-05 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
US9491495B2 (en) 2015-01-16 2016-11-08 Analog Devices Global Method and apparatus for providing input to a camera serial interface transmitter
JP2016178371A (ja) * 2015-03-18 2016-10-06 キヤノン株式会社 撮像装置
EP3278178B1 (en) 2015-04-02 2019-04-03 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
ES2907810T3 (es) 2015-04-16 2022-04-26 Corephotonics Ltd Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado
US10043307B2 (en) 2015-04-17 2018-08-07 General Electric Company Monitoring parking rule violations
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10380430B2 (en) 2015-04-17 2019-08-13 Current Lighting Solutions, Llc User interfaces for parking zone creation
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
WO2016172641A1 (en) 2015-04-22 2016-10-27 The Lightco Inc. Filter mounting methods and apparatus and related camera apparatus
ES2891150T3 (es) * 2015-05-06 2022-01-26 Reactive Reality Ag Método y sistema para producir imágenes de salida
US10373338B2 (en) * 2015-05-27 2019-08-06 Kyocera Corporation Calculation device, camera device, vehicle, and calibration method
EP3722860B1 (en) 2015-05-28 2023-04-19 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization and auto-focus in a digital camera
CN107615748B (zh) * 2015-06-10 2020-10-09 索尼公司 图像处理装置和方法
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
KR102143730B1 (ko) 2015-09-06 2020-08-12 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
US9992477B2 (en) * 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
KR102480600B1 (ko) * 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
KR102503442B1 (ko) * 2015-12-24 2023-02-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102433293B1 (ko) * 2015-12-24 2022-08-18 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR101751140B1 (ko) 2015-12-24 2017-06-26 삼성전기주식회사 이미지 센서 및 카메라 모듈
WO2017115179A1 (en) 2015-12-29 2017-07-06 Corephotonics Ltd. Dual-aperture zoom digital camera with automatic adjustable tele field of view
US10108462B2 (en) 2016-02-12 2018-10-23 Microsoft Technology Licensing, Llc Virtualizing sensors
JP6743427B2 (ja) * 2016-03-08 2020-08-19 株式会社リコー 情報処理装置、撮像システムおよびデータ転送方法
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
CN105635601B (zh) * 2016-03-28 2019-04-23 广州市盛光微电子有限公司 一种多传感器多通道视频数据输入方法和装置
US10719107B2 (en) 2016-03-29 2020-07-21 Intel Corporation Method and apparatus to maintain node power budget for systems that share a power supply
US9813783B2 (en) * 2016-04-01 2017-11-07 Intel Corporation Multi-camera dataset assembly and management with high precision timestamp requirements
DE102016208210A1 (de) * 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
JP6695739B2 (ja) * 2016-05-26 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 処理装置、画像センサ、およびシステム
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
CN109639954B (zh) 2016-06-19 2020-10-23 核心光电有限公司 双孔径摄影机中的帧同步系统和方法
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
KR102390572B1 (ko) 2016-07-07 2022-04-25 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
US10284838B2 (en) 2016-08-19 2019-05-07 Titan Medical Inc. Method and apparatus for transmitting images captured by first and second image sensors
US20180063428A1 (en) * 2016-09-01 2018-03-01 ORBI, Inc. System and method for virtual reality image and video capture and stitching
JP6330873B2 (ja) * 2016-09-14 2018-05-30 株式会社リコー 撮像装置
KR101809727B1 (ko) * 2016-09-27 2017-12-15 주식회사 켐트로닉스 Svm 시스템 및 그의 영상입력 및 처리방법
JP6838725B2 (ja) * 2016-10-20 2021-03-03 日立Astemo株式会社 カメラ装置
EP3550821A4 (en) * 2016-11-29 2020-04-01 Sony Corporation IMAGING DEVICE, IMAGING CONTROL METHOD, AND PROGRAM
EP4246993A3 (en) 2016-12-28 2024-03-06 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
EP3395056B1 (en) 2017-01-12 2021-06-09 Corephotonics Ltd. Compact folded camera
US10692262B2 (en) 2017-01-12 2020-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing information of multiple cameras
KR102557662B1 (ko) 2017-02-09 2023-07-19 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 전자 장치
JP2018128401A (ja) * 2017-02-10 2018-08-16 東芝Itコントロールシステム株式会社 X線透視検査装置
CN110058372B (zh) 2017-02-23 2022-02-08 核心光电有限公司 折叠式摄影机透镜设计
KR102396500B1 (ko) * 2017-03-02 2022-05-11 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 센서, 및 제어 시스템
US10554958B2 (en) 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
US10645286B2 (en) 2017-03-15 2020-05-05 Corephotonics Ltd. Camera with panoramic scanning range
CN108881112B (zh) * 2017-05-10 2021-07-30 北京猎户星空科技有限公司 基于传感器的数据的生成、传输、处理方法、装置及其系统
CN108881946A (zh) * 2017-05-10 2018-11-23 北京猎户星空科技有限公司 传感器数据的生成、传输、处理方法、装置及其系统
TWI617195B (zh) * 2017-06-22 2018-03-01 宏碁股份有限公司 影像擷取裝置及其影像拼接方法
CN109214983B (zh) * 2017-06-30 2022-12-13 宏碁股份有限公司 图像获取装置及其图像拼接方法
CN109309784B (zh) * 2017-07-28 2021-05-28 展讯通信(上海)有限公司 移动终端
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
KR102385333B1 (ko) * 2017-09-15 2022-04-12 삼성전자주식회사 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
CN110140076B (zh) 2017-11-23 2021-05-21 核心光电有限公司 紧凑型折叠式摄影机结构
KR20190065736A (ko) * 2017-12-04 2019-06-12 삼성전자주식회사 3d 이미지를 생성하기 위한 전자 장치 및 방법
KR102091369B1 (ko) 2018-02-05 2020-05-18 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
KR20230019502A (ko) 2018-02-12 2023-02-08 코어포토닉스 리미티드 광학 이미지 안정화 기능을 갖는 폴디드 카메라
US10764512B2 (en) * 2018-03-26 2020-09-01 Mediatek Inc. Method of image fusion on camera device equipped with multiple cameras
CN108540689B (zh) * 2018-04-09 2020-10-02 珠海全志科技股份有限公司 图像信号处理器、应用处理器及移动装置
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
WO2019207464A2 (en) 2018-04-23 2019-10-31 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
EP3573342B1 (en) * 2018-05-25 2021-03-31 Harman Becker Automotive Systems GmbH Multi-rate digital sensor synchronization
KR102107299B1 (ko) * 2018-06-21 2020-05-06 한국산업기술대학교산학협력단 영상 데이터 전송 방법 및 이를 수행하는 장치들
WO2019245117A1 (ko) * 2018-06-22 2019-12-26 재단법인 실감교류인체감응솔루션연구단 디모자이킹 장치 및 그 방법, 이를 적용한 스테레오 카메라
US11363180B2 (en) 2018-08-04 2022-06-14 Corephotonics Ltd. Switchable continuous display information system above camera
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
US11861481B2 (en) * 2018-12-21 2024-01-02 Waymo Llc Searching an autonomous vehicle sensor data repository
CN111919057B (zh) 2019-01-07 2021-08-31 核心光电有限公司 具有滑动接头的旋转机构
US11092456B2 (en) * 2019-03-08 2021-08-17 Aptiv Technologies Limited Object location indicator system and method
KR102494006B1 (ko) 2019-03-09 2023-01-30 코어포토닉스 리미티드 동적 입체 캘리브레이션을 위한 시스템 및 방법
CN110392149A (zh) * 2019-07-23 2019-10-29 华为技术有限公司 图像摄取显示终端
EP3837662A4 (en) 2019-07-31 2021-12-15 Corephotonics Ltd. SYSTEM AND METHOD FOR GENERATING BACKGROUND BLUR DURING CAMERA PAN or MOVEMENT
CN110381272B (zh) 2019-08-22 2022-05-13 睿镞科技(北京)有限责任公司 图像传感器组合系统及产生单一和复合视野图像的装置
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
GB2587671A (en) * 2019-10-02 2021-04-07 Advanced Mobility Res And Development Ltd Systems and methods for aircraft
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
JP7329143B2 (ja) 2019-11-30 2023-08-17 ボストン ポーラリメトリックス,インコーポレイティド 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11770618B2 (en) 2019-12-09 2023-09-26 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN111031209B (zh) * 2019-12-17 2021-11-05 威海华菱光电股份有限公司 图像处理装置
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
WO2021162173A1 (ko) * 2020-02-14 2021-08-19 엘지전자 주식회사 멀티 카메라, 이미지를 촬영하는 장치 및 그 방법
US11693064B2 (en) 2020-04-26 2023-07-04 Corephotonics Ltd. Temperature control for Hall bar sensor correction
WO2021234515A1 (en) 2020-05-17 2021-11-25 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN117572549A (zh) 2020-05-30 2024-02-20 核心光电有限公司 用于获得超微距图像的系统和方法
KR20210150704A (ko) 2020-06-04 2021-12-13 삼성전자주식회사 라인 인터리빙 컨트롤러 및 이를 포함하는 이미지 신호 프로세서
KR102455520B1 (ko) * 2020-06-05 2022-10-17 한국과학기술원 마이크로렌즈 어레이를 이용한 초박형 카메라 장치 그리고 이의 다기능 이미징 방법
WO2022013753A1 (en) 2020-07-15 2022-01-20 Corephotonics Ltd. Point of view aberrations correction in a scanning folded camera
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN114071027B (zh) * 2020-07-29 2023-04-28 华为技术有限公司 一种多数据传输通道的融合装置和电子设备
WO2022023914A1 (en) 2020-07-31 2022-02-03 Corephotonics Ltd. Hall sensor - magnet geometry for large stroke linear position sensing
CN116679419A (zh) 2020-08-12 2023-09-01 核心光电有限公司 用于光学防抖的装置和方法
JP7419204B2 (ja) * 2020-09-18 2024-01-22 株式会社東芝 画像処理装置
CN116420105A (zh) * 2020-09-30 2023-07-11 斯纳普公司 用于增强现实护目镜中的计算机视觉模式的低功耗相机管线
US20220164350A1 (en) * 2020-11-25 2022-05-26 Waymo Llc Searching an autonomous vehicle sensor data repository based on context embedding
KR20220075028A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
CN112689072A (zh) * 2020-12-23 2021-04-20 合肥安迅精密技术有限公司 一种相机系统
CN115190254A (zh) * 2021-04-07 2022-10-14 影石创新科技股份有限公司 多个视觉传感器的同步曝光电路、曝光方法及曝光装置
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US20230123736A1 (en) * 2021-10-14 2023-04-20 Redzone Robotics, Inc. Data translation and interoperability
US11995012B2 (en) * 2022-03-15 2024-05-28 Samsung Electronics Co., Ltd. High speed interface for multi image sensor device
US11818329B1 (en) * 2022-09-21 2023-11-14 Ghost Autonomy Inc. Synchronizing stereoscopic cameras using padding data setting modification
US20240163571A1 (en) * 2022-11-14 2024-05-16 Samsung Electronics Co., Ltd. Image processing apparatus including line interleaving controller and operating method thereof
CN117729394B (zh) * 2024-02-18 2024-04-30 厦门瑞为信息技术有限公司 单个图像处理模块同时处理多个图像传感器的方法

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8030A (en) * 1851-04-08 Celia b
US4323925A (en) 1980-07-07 1982-04-06 Avco Everett Research Laboratory, Inc. Method and apparatus for arraying image sensor modules
US4523226A (en) 1982-01-27 1985-06-11 Stereographics Corporation Stereoscopic television system
JPH0530423A (ja) 1991-07-25 1993-02-05 Nippon Television Network Corp ワイド画面edtv信号用映像切替装置
WO1994018789A1 (en) 1993-02-11 1994-08-18 Polycom, Inc. Resolution enhancement system
JPH06350937A (ja) 1993-06-14 1994-12-22 Pioneer Electron Corp 画像合成再生装置
DE69430153T2 (de) 1993-06-21 2002-09-05 Nippon Telegraph & Telephone Verfahren und Vorrichtung zur dreidimensionalen Bilderzeugung von Objekten
WO1995006283A1 (en) 1993-08-24 1995-03-02 Downs Roger C Topography processor system
JPH09507349A (ja) 1993-12-29 1997-07-22 ライカ アクチエンゲゼルシャフト 表示装置上に立体ビデオ映像を表示するための方法及び装置
US5786850A (en) 1994-02-17 1998-07-28 Ultrak, Inc. Multiple room portable camera system
JP3428132B2 (ja) * 1994-03-14 2003-07-22 ソニー株式会社 テレビジョン方式及び表示装置
US6064355A (en) 1994-05-24 2000-05-16 Texas Instruments Incorporated Method and apparatus for playback with a virtual reality system
DE19542308A1 (de) 1994-11-25 1996-05-30 Zeiss Carl Fa Verfahren und Vorrichtung zur Darstellung dreidimensionaler Videobilder
JP3771954B2 (ja) 1995-08-04 2006-05-10 ソニー株式会社 画像表示制御装置および方法
US5995140A (en) * 1995-08-28 1999-11-30 Ultrak, Inc. System and method for synchronization of multiple video cameras
US6108005A (en) 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
UA22127C2 (uk) 1996-09-10 1998-04-30 Сергій Іванович Мірошніченко Телевізійhа система високої розрізhяльhої здатhості
US6278480B1 (en) 1997-02-07 2001-08-21 Canon Kabushiki Kaisha Compound eye camera system
US6137580A (en) * 1998-09-22 2000-10-24 Creo Srl Autofocus system
GB2343320B (en) * 1998-10-31 2003-03-26 Ibm Camera system for three dimentional images and video
WO2000039998A2 (en) 1998-12-30 2000-07-06 Chequemate International, Inc. System and method for recording and broadcasting three-dimensional video
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
JP3619063B2 (ja) 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
GB2355612A (en) 1999-10-19 2001-04-25 Tricorder Technology Plc Image processing arrangement producing a combined output signal from input video signals.
AU2599701A (en) 1999-12-28 2001-07-09 Vrex, Inc. A 3d camera
WO2001097531A2 (en) 2000-06-12 2001-12-20 Vrex, Inc. Electronic stereoscopic media delivery system
JP2001069530A (ja) 2000-07-28 2001-03-16 Fujitsu Ltd 立体映像高能率符号化装置
EP3388784B1 (en) 2001-05-04 2019-07-17 Vexcel Imaging GmbH Method and large format camera for acquiring a large format image of a large area object
US7002618B2 (en) 2001-06-01 2006-02-21 Stereographics Corporation Plano-stereoscopic DVD movie
US7277121B2 (en) 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
US7319720B2 (en) 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
WO2004001667A2 (en) * 2002-06-21 2003-12-31 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7804995B2 (en) 2002-07-02 2010-09-28 Reald Inc. Stereoscopic format converter
US20040075741A1 (en) * 2002-10-17 2004-04-22 Berkey Thomas F. Multiple camera image multiplexer
JP4252105B2 (ja) 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置及び画像データ再生装置
KR100477801B1 (ko) 2002-12-26 2005-03-22 한국전자통신연구원 3차원 영상정보 기술장치와 그 방법 및 이를 이용한 3차원영상정보 검색장치 및 그 방법
SE0300428D0 (sv) 2003-02-17 2003-02-17 Axis Ab Digital camera having panning and/or tilting functionality
US7525576B2 (en) * 2003-02-17 2009-04-28 Axis, Ab Method and apparatus for panning and tilting a camera
KR100771299B1 (ko) 2003-06-26 2007-10-29 삼성전기주식회사 색 보간용 라인 버퍼 및 라인 데이터 제공 방법
SE0302065D0 (sv) * 2003-07-14 2003-07-14 Stefan Carlsson Video - method and apparatus
RU2250504C1 (ru) 2003-07-18 2005-04-20 Мироничев Сергей Юрьевич Способ многоканального видеоаудионаблюдения и реализующая его интегрированная высокочастотная система
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
JP4483261B2 (ja) 2003-10-24 2010-06-16 ソニー株式会社 立体視画像処理装置
JP4293053B2 (ja) * 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
JP2006005608A (ja) 2004-06-17 2006-01-05 Hitachi Ltd 撮像装置
JP4424088B2 (ja) * 2004-06-25 2010-03-03 株式会社日立製作所 撮像装置
US20060054782A1 (en) 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
KR100782811B1 (ko) * 2005-02-04 2007-12-06 삼성전자주식회사 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US7577881B1 (en) 2005-05-10 2009-08-18 Ikanos Communications Inc. Method and apparatus for an interleaver
JP4665166B2 (ja) 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
US20070146478A1 (en) 2005-07-14 2007-06-28 Butler-Smith Bernard J Stereoscopic 3D rig calibration and viewing device
WO2007014293A1 (en) 2005-07-25 2007-02-01 The Regents Of The University Of California Digital imaging system and method to produce mosaic images
JP4630149B2 (ja) 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
JP4185926B2 (ja) 2005-08-26 2008-11-26 ファナック株式会社 ロボット協調制御方法及びシステム
KR101185870B1 (ko) 2005-10-12 2012-09-25 삼성전자주식회사 3d 입체 영상 처리 장치 및 방법
TW200721803A (en) 2005-10-17 2007-06-01 Via Tech Inc 3-D stereoscopic image display system
JP4199238B2 (ja) 2006-01-11 2008-12-17 パナソニック株式会社 撮影システム
US20070248260A1 (en) 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
KR101311896B1 (ko) 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
US8520079B2 (en) 2007-02-15 2013-08-27 Pictometry International Corp. Event multiplexer for managing the capture of images
EP1988713A1 (en) * 2007-04-30 2008-11-05 STMicroelectronics (Research & Development) Limited Image processing apparatus and method using padding data
JP4720785B2 (ja) 2007-05-21 2011-07-13 富士フイルム株式会社 撮像装置、画像再生装置、撮像方法及びプログラム
US8794526B2 (en) * 2007-06-04 2014-08-05 Hand Held Products, Inc. Indicia reading terminal processing plurality of frames of image data responsively to trigger signal activation
US8009200B2 (en) * 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis
KR101313740B1 (ko) 2007-10-08 2013-10-15 주식회사 스테레오피아 원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠제작방법
CN101286000A (zh) * 2008-05-30 2008-10-15 钟磊 N镜头立体数码相机
JP5512683B2 (ja) * 2008-09-11 2014-06-04 ユニバーシティ オブ マルタ 同期化された映像データを生成及び送信するための方法及び装置
JP4793451B2 (ja) 2009-01-21 2011-10-12 ソニー株式会社 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
GB0912970D0 (en) 2009-07-27 2009-09-02 St Microelectronics Res & Dev Improvements in or relating to a sensor and sensor system for a camera
US9544661B2 (en) 2009-09-03 2017-01-10 Lg Electronics Inc. Cable broadcast receiver and 3D video data processing method thereof
US9001227B2 (en) 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors

Also Published As

Publication number Publication date
KR101399718B1 (ko) 2014-05-27
KR101512222B1 (ko) 2015-04-14
BR112012025182A2 (pt) 2016-06-21
JP5559416B2 (ja) 2014-07-23
WO2011127076A1 (en) 2011-10-13
KR20130028096A (ko) 2013-03-18
US20110242356A1 (en) 2011-10-06
SG184225A1 (en) 2012-11-29
KR20130006503A (ko) 2013-01-16
ZA201208298B (en) 2013-07-31
CN102884783B (zh) 2017-03-08
TWI508520B (zh) 2015-11-11
EP2556657A1 (en) 2013-02-13
CN102884783A (zh) 2013-01-16
US9001227B2 (en) 2015-04-07
WO2011127077A1 (en) 2011-10-13
IL222289A0 (en) 2012-12-31
TW201212643A (en) 2012-03-16
JP2013530558A (ja) 2013-07-25
RU2012146968A (ru) 2014-05-20
JP5675959B2 (ja) 2015-02-25
EP2556658A1 (en) 2013-02-13
AR081161A1 (es) 2012-07-04
BR112012025366A2 (pt) 2016-06-28
JP2013528021A (ja) 2013-07-04
AU2011237801A1 (en) 2012-11-01
AR081486A1 (es) 2012-09-19
AR081160A1 (es) 2012-07-04
EP2556656A1 (en) 2013-02-13
TW201210314A (en) 2012-03-01
KR20120137432A (ko) 2012-12-20
KR101517661B1 (ko) 2015-05-04
CN102859987A (zh) 2013-01-02
WO2011127078A1 (en) 2011-10-13
US20110242355A1 (en) 2011-10-06
CA2794682A1 (en) 2011-10-13
TWI442766B (zh) 2014-06-21
CN102870401B (zh) 2016-04-06
JP2013539608A (ja) 2013-10-24
CN102870401A (zh) 2013-01-09
US20110242342A1 (en) 2011-10-06

Similar Documents

Publication Publication Date Title
TW201205308A (en) Combining data from multiple image sensors
US8896668B2 (en) Combining data from multiple image sensors
US10582127B2 (en) Image processing device, display device, reproduction control method, and image processing system
CN106576160B (zh) 用于具有模式切换的深度相机模式的成像架构
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
JP2013055541A (ja) 撮像装置