TWI442766B - 結合來自多個影像感測器之資料 - Google Patents

結合來自多個影像感測器之資料 Download PDF

Info

Publication number
TWI442766B
TWI442766B TW100111891A TW100111891A TWI442766B TW I442766 B TWI442766 B TW I442766B TW 100111891 A TW100111891 A TW 100111891A TW 100111891 A TW100111891 A TW 100111891A TW I442766 B TWI442766 B TW I442766B
Authority
TW
Taiwan
Prior art keywords
image
data
sensor
line
sensors
Prior art date
Application number
TW100111891A
Other languages
English (en)
Other versions
TW201212643A (en
Inventor
Milivoje Aleksic
Sergiu R Goma
Hau Hwang
Joseph Cheung
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201212643A publication Critical patent/TW201212643A/zh
Application granted granted Critical
Publication of TWI442766B publication Critical patent/TWI442766B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimiles In General (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Facsimile Heads (AREA)
  • Image Input (AREA)

Description

結合來自多個影像感測器之資料
本發明大體而言係關於結合來自多個影像感測器之資料。
本申請案主張2010年4月5日申請之美國臨時申請案第61/320,940號、2010年4月14日申請之美國臨時申請案第61/324,259號、2010年6月28日申請之美國臨時申請案第61/359,312號及2010年11月11日申請之美國臨時申請案第61/412,755號中之每一者的權利，且該等申請案中之每一者以引用的方式併入本文中。
技術之進步已產生更小且更強大之計算器件。舉例而言，當前存在多種攜帶型個人計算器件，包括無線計算器件，諸如攜帶型無線電話、個人數位助理(PDA)及傳呼器件，其體積小、重量輕且易於由使用者攜載。更特定言之，攜帶型無線電話(諸如，蜂巢式電話及網際網路協定(IP)電話)可經由無線網路傳達語音及資料封包。此外，許多此等無線電話包括併入於其中之其他類型之器件。舉例而言，無線電話亦可包括數位靜態相機及數位視訊相機。又，此等無線電話可處理可執行指令，包括可用以存取網際網路之軟體應用程式(諸如，網頁瀏覽器應用程式)。
另外，無線器件可執行三維(3D)應用程式。在3D應用程式中，通常使用至少兩個影像感測器自一場景俘獲深度資訊。來自兩個影像感測器之圖框資料經結合且處理以推斷 距離資訊且用以建構3D表示。結合來自該等感測器中之每一者之影像資料通常涉及執行圖框同步及行同步，此可導致同步及對準挑戰。另外，當源感測器以不同頻率或相位提供資料時，濾波來自多個感測器之影像資料且交錯此影像資料可為更加複雜的。有效地同步來自多個感測器之資料且有效地處理該資料以減小總影像處理系統成本及複雜性將為有利的。
在多個相機陣列應用中，來自多個感測器中之每一者之影像資料待在一行位準下同步且處理。揭示一種用以結合來自多個感測器之資料之影像處理系統，其中同步且處理來自一第一影像感測器及一第二影像感測器之影像資料。藉由同步且結合來自一藉由該第一影像感測器所產生之第一資料串流的第一資料與來自一藉由該第二影像感測器所產生之第二資料串流的第二資料來產生同步資料行。影像信號處理器經組態以處理自一結合器所接收之該等同步資料行且將經處理圖框輸出至一顯示器。
在一特定實施例中，揭示一種方法。該方法包括將一共同控制信號提供至待同步之多個影像感測器。該方法進一步包括接收來自該多個影像感測器中之一第一影像感測器之一第一資料行，接收來自該多個影像感測器中之一第二影像感測器之一第二資料行，及結合該第一資料行與該第二資料行以產生一同步資料行。
在另一特定實施例中，揭示一種裝置。該裝置包括一第 一輸入端，該第一輸入端經組態以經由一共同控制信號接收來自待同步之多個影像感測器中之一第一影像感測器的一第一資料行。該裝置進一步包括：一第二輸入端，該第二輸入端經組態以接收來自該多個影像感測器中之一第二影像感測器的一第二資料行；及一結合器，該結合器耦接至該第一輸入端及該第二輸入端，其中該結合器經組態以結合該第一資料行與該第二資料行以產生一同步資料行。
在另一特定實施例中，揭示一種方法。該方法包括將一共同控制信號提供至多個影像感測器。該多個影像感測器中之每一者係回應於該共同控制信號以產生影像資料。該方法進一步包括接收來自該多個影像感測器中之每一者之同步資料輸出，結合來自該多個影像感測器中之每一者之該同步資料輸出以產生一同步資料行，及經由一影像處理器之一單一相機輸入將該同步資料行提供至該影像處理器。
在另一特定實施例中，揭示一種裝置。該裝置包括一感測器同步器，該感測器同步器經組態以將一共同控制信號提供至多個影像感測器。該多個影像感測器中之每一者係回應於該共同控制信號以產生影像資料。該裝置進一步包括一結合器，該結合器經組態以結合自該多個影像感測器中之每一者所接收之同步資料輸出，以產生待經由一影像處理器之一單一相機輸入提供至該影像處理器的一同步資料行。
在另一特定實施例中，揭示一種方法。該方法包括將一 共同控制信號提供至多個影像感測器。該多個影像感測器中之每一者係回應於該共同控制信號以產生影像資料。該方法進一步包括接收來自該多個影像感測器中之每一者之同步資料輸出。
在另一特定實施例中，揭示一種方法。該方法包括在多個影像感測器處接收一共同控制信號。該多個影像感測器中之每一者係回應於該共同控制信號以產生影像資料。該方法進一步包括產生來自該多個影像感測器中之每一者之同步資料輸出。
在另一特定實施例中，揭示一種裝置。該裝置包括一感測器同步器，該感測器同步器經組態以將一共同控制信號提供至多個影像感測器以使該多個影像感測器產生影像資料。該裝置進一步包括一感測器資料介面，該感測器資料介面經組態以接收來自該多個影像感測器中之每一者之同步資料輸出。
在另一特定實施例中，揭示一種方法。該方法包括在具有用於一單一相機之一輸入的一影像處理器處接收影像資料之行。該影像資料之每一行包括來自一藉由一第一相機所俘獲之第一影像的第一行資料及來自一藉由一第二相機所俘獲之第二影像的第二行資料。該方法進一步包括產生一輸出圖框，該輸出圖框具有對應於該第一影像之行資料的一第一區段且具有對應於該第二影像之行資料的一第二區段。該第一區段及該第二區段經組態以用以產生三維(3D)影像格式或3D視訊格式。
在另一特定實施例中，揭示一種裝置。該裝置包括一影像處理器，該影像處理器具有用於一單一相機之一輸入。該影像處理器經組態以經由該輸入接收影像資料之行。該影像資料之每一行包括來自一藉由一第一相機所俘獲之第一影像的第一行資料及來自一藉由一第二相機所俘獲之第二影像的第二行資料。該影像處理器經組態以產生一輸出圖框，該輸出圖框具有對應於該第一影像之行資料的一第一區段且具有對應於該第二影像之行資料的一第二區段。該第一區段及該第二區段經組態以用以產生三維(3D)影像格式或3D視訊格式。
在一特定實施例中，揭示一種將來自多個感測器之資料結合成一圖框之方法。該方法包括接收來自一第一影像感測器之一第一資料串流，接收來自一第二影像感測器之一第二資料串流，及結合來自該第一資料串流之資料與來自該第二資料串流之資料以產生一圖框。該方法進一步包括在一影像信號處理器處處理該圖框以產生一經處理圖框及輸出該經處理圖框以用於顯示。該第一影像感測器及該第二影像感測器中之每一者直接回應於該影像信號處理器。
在另一特定實施例中，揭示一種裝置。該裝置包括：一第一影像感測器，該第一影像感測器經組態以產生一第一資料串流；一第二影像感測器，該第二影像感測器經組態以產生一第二資料串流；及一結合器，該結合器經組態以結合來自該第一資料串流之第一資料與來自該第二資料串流之第二資料以產生一圖框。該裝置進一步包括一影像信 號處理器，該影像信號處理器經組態以處理該圖框且將一經處理圖框輸出至一顯示器。該第一影像感測器及該第二影像感測器中之每一者直接回應於該影像信號處理器。
在另一特定實施例中，揭示一種方法。該方法包括接收來自一第一影像感測器之一影像之第一影像資料，接收來自一第二影像感測器之一影像之第二影像資料，及同步在影像資料獲取期間該第一影像感測器及該第二影像感測器的逐行曝光。該第一影像感測器與該第二影像感測器彼此獨立。該同步可為逐行的且可為逐圖框的。
在另一特定實施例中，揭示一種裝置。該裝置包括一記憶體緩衝器。該記憶體緩衝器包括用以經由每一圖框之串流傳輸以一確定性次序對準進入串流的一區段及在串流之間的一可程式化間隙區段。
在另一特定實施例中，揭示一種方法。該方法包括在具有用於一單一相機之一輸入的一影像處理器處接收影像資料之多個列。該影像資料之每一列包括來自藉由一第一相機所俘獲之一第一影像之一列的資料及來自藉由一第二相機所俘獲之一第二影像之一列的資料。該方法亦包括產生一具有三維(3D)影像格式或3D視訊格式之輸出。該輸出對應於該第一影像及該第二影像。
在另一特定實施例中，揭示一種裝置。該裝置包括一影像處理器，該影像處理器具有用於一單一相機之一輸入。該裝置亦包括一結合器，該結合器經組態以將影像資料之多個列發送至該影像處理器。該影像資料之每一列包括來 自藉由一第一相機所俘獲之一第一影像之一列的第一資料及來自藉由一第二相機所俘獲之一第二影像之一列的第二資料。該影像處理器經組態以產生一具有三維(3D)影像格式或3D視訊格式之輸出。該輸出對應於該第一影像及該第二影像。
藉由所揭示實施例中之至少一者所提供的一特定優點在於，一單一影像信號處理器可用以同步且控制來自多個影像感測器之影像資料。另一特定優點在於，在串流之間具有間隙提供將影像信號處理器中之經結合串流處理為一單一圖框的靈活性，且藉由後續的基於區塊之處理來避免串流之污染(亦即，若間隙與基於最大區塊之處理相等，則串流之污染得以避免)。
本發明之其他態樣、優點及特徵將在審閱包括以下章節之完整申請案之後變得顯而易見：圖式簡單說明、實施方式及申請專利範圍。
參看圖1，描繪用以結合來自多個感測器之資料之影像處理系統的特定說明性實施例且將其一般地指定為100。影像處理系統100包括多相機模組102、感測器模組104，及單相機晶片模組106。在一特定實施例中，感測器模組104可包括複數個感測器，諸如圖2及圖3之感測器202及204，其中該複數個感測器中之每一者經組態以產生包括影像之多個資料行的資料串流。單相機模組106可包括具有單一相機輸入之影像處理器，諸如圖2及圖3之影像處理 器208。將多個感測器之影像資料串流之逐行影像資料結合成同步資料行108使得影像處理器能夠執行用於多相機處理之格式化，即使該影像處理器具有單一相機輸入仍如此。結果，與使用單獨處理器用於每一相機或使用具有多個相機輸入之處理器的系統相比較，系統100可以減小之成本來實施。
參看圖2，描繪用以結合來自多個感測器之資料之影像處理系統的特定說明性實施例且將其一般地指定為200。影像處理系統200包括第一感測器202及第二感測器204。影像處理系統200進一步包括結合器206、影像信號處理器或視訊前端208，及感測器同步器230。影像信號處理器208可耦接至顯示器件(未圖示)。結合器206包括一或多個行緩衝器216。影像處理系統200可整合於至少一個半導體晶粒中。
第一感測器202經組態以產生第一資料串流，說明為第一影像資料串流212。第一影像資料串流212包括第一資料行222。第二感測器204經組態以產生第二資料串流，說明為第二影像資料串流214。第二影像資料串流214包括第二資料行224。第一感測器202及第二感測器204可為實質上類似的影像感測器，第一感測器202與第二感測器204彼此獨立且接收來自感測器同步器230之共同控制信號234。感測器同步器230經組態以接收控制/資料信號232且將共同控制信號234輸出至第一感測器202及第二感測器204，從而使得第一感測器202及第二感測器204能夠產生緊密地對 準之資料串流212、214。舉例而言，資料串流212、214可具有實質上相同的時序特性，諸如頻率及相位。在一特定實施例中，可自影像信號處理器208接收控制/資料信號232。
結合器206係回應於第一影像資料串流212及第二影像資料串流214。結合器206經組態以在行緩衝器216內結合來自第一影像資料串流212之資料與來自第二影像資料串流214之資料。在一特定實施例中，行緩衝器216經組態以對準第一資料(諸如，來自第一感測器202之第一資料行222)與第二資料(諸如，來自第二感測器204之第二資料行224)。在一特定實施例中，結合器206係回應於儲存於行緩衝器216內之資料且將行資料218提供至影像信號處理器208。在一特定實施例中，行資料218可包括複數個列，其中每一列為來自每一感測器202、204之對應列之結合，諸如關於圖6所描述。
影像信號處理器208經組態以處理行資料218且產生經處理行資料240。在一特定實施例中，經處理行資料240可作為經處理圖框資料提供。儘管已展示兩個感測器，但應理解，其他實施例可包括兩個以上感測器。舉例而言，圖3描繪包括兩個以上感測器之實施例300。第N感測器305經組態以產生第N資料串流，說明為第N影像資料串流315。第N影像資料串流315包括第N資料行325。第N感測器305可實質上類似於第一影像感測器202及第二影像感測器204，且可接收來自感測器同步器230之共同控制信號 234，從而使得第一感測器202、第二感測器204及第N感測器305能夠產生緊密地對準之資料串流212、214、315。舉例而言，資料串流212、214、315可具有實質上相同的時序特性，諸如頻率及相位。結合器206係回應於第一影像資料串流212、第二影像資料串流214及第N影像資料串流315。結合器206經組態以在行緩衝器216內結合來自第一影像資料串流212、第二影像資料串流214與第N影像資料串流315之資料。
因為自經共同地控制之類似感測器(例如，圖2之202、204，或圖3之202、204、305)所接收之資料具有實質上相同的頻率及相位，所以在影像資料之單一影像行內可發生在結合器206處所接收之資料串流之間的同步。在一特定實施例中，行緩衝器216可針對未對準之最差狀況定尺寸(亦即，若同步未對準為三行，則行緩衝器212應被定大小以緩衝至少六行)。結果，可使用單一影像信號處理器有效地處理經結合資料。因此，與多處理器系統相比較(例如，向每一感測器指派一處理器)，總影像系統成本及複雜性可減小。
參看圖4，描繪圖2之影像處理系統200之所選擇部分400的特定說明性實施例。影像處理系統之部分400包括第一感測器202、第二感測器204及感測器同步器230。在一特定實施例中，第一感測器202及第二感測器204為接收來自感測器同步器230之相同起動或重設信號及相同時脈輸入的相同感測器或幾乎相同感測器。舉例而言，第一感測器 202及第二感測器204可各自接收來自感測器同步器230之共同控制資料/信號。在一特定實施例中，控制資料/信號可包括控制時脈信號404、控制資料信號406、相機時脈信號408及相機重設信號410。控制資料/信號404至410可經由順應兩導線晶片間通信協定(two wire inter-chip communication protocol)之介面形成且傳輸，諸如積體電路間(I2C)多主控串列電腦匯流排。或者，控制資料/信號404至410可根據順應以下各者之規範的介面形成且傳輸：數位相機模組與行動電話引擎之間的串列介面(諸如，相機串列介面(CSI))、周邊器件(相機)與主機處理器(基頻、應用程式引擎)之間的介面(諸如，相機串列介面2(CSI-2))、數位相機模組與行動電話引擎之間的並列介面(諸如，相機並列介面(CPI))，或其他控制介面。
第一感測器202可經組態以將第一時序資料420及第一感測器影像資料422發送至如圖2或圖5中之系統中所說明之結合器206。類似地，第二感測器204可經組態以將第二時序資料430及第二感測器影像資料432發送至圖2或圖5之結合器206。
在操作期間，自時序觀點，第一感測器202及第二感測器204各自在相同或幾乎相同之條件中操作。舉例而言，第一感測器202及第二感測器204各自接收相同控制時脈信號404、相同控制資料信號406、相同相機時脈信號408及相同相機重設信號410。因為第一感測器202及第二感測器204為相同的或幾乎相同的，所以第一感測器202及第二感 測器204在相同時序條件下實質上類似地操作。舉例而言，來自第一感測器202之資料輸出與來自第二感測器204之資料輸出具有實質上相同的頻率及相位。為了說明，來自第一感測器202及第二感測器204之資料輸出之間的相位差可小於相位差之單一水平行，從而使得單一影像信號處理器能夠用以同步且控制來自該兩個影像感測器202、204之影像資料。
參看圖5，描繪用以結合來自多個感測器之資料之影像處理系統的特定說明性實施例之方塊圖且將其一般地指定為500。系統500包括第一影像感測器202、第二影像感測器204、結合器206、感測器同步器230及影像信號處理器208。系統500進一步包括暫存器介面510及時脈管理器件512。在一特定實施例中，暫存器介面510可在感測器同步器230內。或者，暫存器介面510可為獨立模組。在一特定實施例中，系統500可進一步包括精簡型輸出格式器506(以陰影展示)以及輸送封包化器及格式器(transport packer and formatter)508(以陰影展示)。
在一特定實施例中，結合器206經組態以接收來自第一感測器202之第一時序資料420及第一感測器影像資料422。結合器206亦經組態以接收來自第二感測器204之第二時序資料430及第二感測器影像資料432。結合器206經進一步組態以接收來自時脈管理器件512之時脈信號526。結合器206使用第一時序資料420、第一感測器影像資料422、第二時序資料430及第二感測器影像資料432來產生 提供至影像信號處理器208之同步資料行。影像信號處理器208處理該同步資料行以產生經處理之資料行資料。可將該經處理之資料行資料提供至另一組件，諸如至顯示器件。因此，來自多個感測器之影像資料可經結合、處理且呈現以用於在顯示器件處顯示。
在一特定實施例中，第一時序資料420可與第一像素時脈相關聯，第一感測器影像資料422可與第一像素大小相關聯，第二時序資料430可與第二像素時脈相關聯，且第二感測器影像資料432可與第二像素大小相關聯。當結合器406結合第一時序資料420、第一感測器影像資料422、第二時序資料430及第二感測器影像資料432以產生同步資料行時，第一影像資料之第一行及第二影像資料之對應行結合成單一影像行。在一特定實施例中，該單一影像行之大小可為第一影像資料之第一行或第二影像資料之對應行之大小的實質上兩倍(例如，第一像素大小或第二像素大小之兩倍)，且經結合之單一影像行之像素時脈的速率可為第一像素時脈或第二像素時脈之速率的實質上兩倍(例如，可具有為第一像素時脈頻率或第二像素時脈頻率之兩倍的時脈頻率)。所產生之同步資料行經由結合器時序資料信號528及結合器影像資料信號530發送至影像信號處理器208。
在一特定實施例中，藉由結合器206所產生之同步資料行可提供至精簡型輸出格式器506以產生經格式化資料，該經格式化資料在提供至影像信號處理器208之前提供至 輸送封包化器及格式器508。
在一特定實施例中，精簡型輸出格式器506接收結合器時序資料信號528及結合器影像資料信號530以產生經格式化資料。經格式化資料可包括輸出格式器時序資料信號536、輸出格式器影像資料信號538、輸出格式器靜置資料信號(output formatter stats data signal)540、輸出格式器開始資料信號542，及輸出格式器有效資料信號544。在一特定實施例中，輸送封包化器及格式器508接收來自精簡型輸出格式器506之經格式化資料536至544，且產生包括輸送時序資料信號546及輸送影像資料信號548之輸送資料串流。
在一特定實施例中，暫存器介面510可耦接至影像信號處理器208且耦接至時脈管理器件512。在一特定實施例中，暫存器介面510可接收來自時脈管理器件512之時脈信號527且可耦接至暫存器匯流排572。時脈管理器件512經組態以接收第二時序資料信號430且輸出時脈信號526。在一特定實施例中，時脈信號526為第二時序資料信號430之頻率的實質上兩倍，以使得結合器206能夠在結合來自多個感測器之並行資料之同時維持圖框處理速率。
因為來自經共同地控制之類似感測器之資料輸出具有實質上相同的頻率及相位，所以可在影像資料之單一影像行內發生資料串流之間的同步。因此，可使用能夠存取影像資料之單一行的單一影像信號處理器有效地處理經結合資料。
參看圖6，描繪第一影像感測器之輸出端處的第一資料串流與第二影像感測器之輸出端處之第二資料串流經結合以形成同步資料行的特定實施例之圖解表示且將其一般地指定為600。第一感測器(諸如，圖2之第一感測器202)產生對應於影像之第一影像資料的第一資料串流602。第二感測器(諸如，圖2之第二感測器204)產生對應於影像之第二影像資料的第二資料串流604。來自第一資料串流602之資料與來自第二資料串流604之資料經結合以形成資料輸出端資料串流606。
在一特定實施例中，第一資料串流602包括與影像之第一影像資料之第一行相關聯的資料，且第二資料串流604包括與影像之第二影像資料之對應行相關聯的資料。第一資料串流602包括具有第一行索引值之行資料610、具有第二行索引值之行資料612、具有第三行索引值之行資料614，及具有第四行索引值之行資料616。第二資料串流604包括第一資料串流之行資料的對應行資料，包括具有第一行索引值之對應行資料620、具有第二行索引值之對應行資料622、具有第三行索引值之對應行資料624，及具有第四行索引值之對應行資料626。
資料輸出端資料串流606包括影像之第一影像資料的第一行與影像之第二影像資料之對應行的結合。如所說明，第一資料串流602與第二資料串流604經交錯以形成資料輸出端資料串流606。舉例而言，資料輸出端資料串流606包括具有第一行索引值之經結合行資料630、具有第二行索 引值之經結合行資料632，及具有第三行索引值之經結合行資料634。經結合行資料630包括行資料610及對應行資料620。經結合行資料632包括行資料612及對應行資料622。經結合行資料634包括行資料614及對應行資料624。可藉由在行緩衝器(諸如，圖2之行緩衝器216)內結合對應行而產生每一經結合行630至634。
在一特定實施例中，來自第一資料串流602之資料與來自第二資料串流604之資料經結合以產生形成圖框660的複數個同步資料行。圖框660可包括複數個列642，其中每一列對應於一行索引值且儲存包括具有該行索引值之第一影像資料行及具有該行索引值之第二影像資料對應行的同步資料行。舉例而言，圖框660之第一列可包括經結合行資料630，圖框660之第二列可包括經結合行資料632，圖框660之第三列可包括經結合行資料634，等等。每一同步影像資料行形成圖框660之部分，使得圖框660中之資料對準。
以匹配來自該等影像感測器之影像資料之讀取次序的列642次序來描繪圖框660(亦即，來自影像感測器之頂部行(行索引1)之經結合資料在圖框660之頂部行中，且來自影像感測器之下一行(行索引2)之經結合資料在圖框660之下一行中)。或者，在其他實施例中，圖框660之列可能不匹配影像資料之讀取次序，且可替代地對應於影像資料之任何其他次序。舉例而言，圖框660之頂部列可對應於行索引2，而圖框660之下一列可對應於行索引1。圖框660可為 可程式化的，使得該等列642中之每一者可經程式化以對應於影像資料之行索引值中的任一者。
在一特定實施例中，第一影像資料之第一行610與第一像素大小(例如，每行之像素之數目)及第一像素時脈相關聯，且第二影像資料之對應行620與第二像素大小及第二像素時脈相關聯。產生資料串流602、604之第一感測器及第二感測器經組態以接收共同時脈信號及共同重設信號。當第一影像資料之第一行610與第二影像資料之對應行620結合成單一影像行時，該單一影像行之大小為第一影像資料之第一行610或第二影像資料之對應行620之大小的實質上兩倍，且經結合之單一影像行之像素時脈信號(例如，第三像素時脈信號)具有為第一像素時脈信號或第二像素時脈信號之時脈速率的實質上兩倍的時脈速率。舉例而言，經結合行資料630可具有為行資料610之影像大小之實質上兩倍或對應行資料620之影像大小之實質上兩倍的影像大小。類似地，經結合行資料630之像素時脈頻率可具有為與行資料610相關聯之第一像素時脈信號之頻率的實質上兩倍或與對應行資料620相關聯之第二像素時脈信號之頻率的實質上兩倍的頻率，使得經結合行資料630之像素時脈頻率可與第三像素時脈信號相關聯，第三像素時脈信號具有為第一像素時脈或第二像素時脈之頻率之實質上兩倍的頻率。
或者，在來自具有相等行大小之三個影像感測器之行資料經結合的實施中，同步行大小可為感測器行大小之實質 上三倍，且像素時脈速率可為個別感測器之像素時脈速率之實質上三倍。在可具有不相等大小之任意數目個感測器之一般狀況下，同步行大小可設定為大於或等於經結合之行大小的總和，且像素時脈速率可經設定以使得輸出行頻寬等於或大於輸入頻寬之總和。
可在影像信號處理器(諸如，圖2之影像信號處理器208)處處理圖框660，以產生經處理圖框650。經處理圖框650包括：包括來自第一影像感測器(諸如，圖2之感測器202)之第一影像資料的第一區段652、包括來自第二影像感測器(諸如，圖2之感測器204)之第二影像資料的第二區段654，及間隙區段656。間隙區段656可包括安置於第一區段652與第二區段654之間的非影像資料。
在一特定實施例中，第一區段652包括第一影像資料之一行，且第二區段654包括第二影像資料之對應行。在一特定實施例中，間隙區段656可用於邊緣濾波，且可包括寬度為大致五個像素之黑色間隙。作為另一實例，間隙區段656可添加在多個行之間，且具有等於內插核心(interpolation kernel)之大小或藉由影像信號處理器應用於圖框650之最大二維濾波器之大小的大小。
在一特定說明性實施例中，可自第一區段652或第二區段654收集用於自動曝光、自動聚焦及自動白平衡之統計，第一區段652或第二區段654中之任一者可為來自各別感測器中之一者的完整影像。因此，用於自動曝光、自動聚焦及自動白平衡之統計可自最終影像之一半(例如，第 一區段652)收集且可應用於兩個感測器，此係由於兩個感測器正接收實質上相同的時序資訊。因而，來自多個感測器之資料輸出具有實質上相同的頻率及相位，使得可在影像之影像資料之一影像行內發生同步。
圖框650可儲存於記憶體中，該記憶體整合於至少一個半導體晶粒中。圖框650可儲存於記憶體中，該記憶體併入至諸如以下各者之消費型電子器件中：機上盒、音樂播放器、視訊播放器、娛樂單元、導航器件、通信器件、個人數位助理(PDA)、固定位置資料單元及電腦。該等電子器件可利用影像處理方法，包括處理來自多個感測器之影像資料的3D應用程式。
參看圖7，描繪第一影像感測器之輸出端處的第一資料串流與第二影像感測器之輸出端處之第二資料串流經結合以形成同步資料行的第二實施例之圖解表示且將其一般地指定為700。第一感測器(諸如，圖2之第一影像感測器202)產生對應於影像之第一影像資料的第一資料串流702。第二感測器(諸如，圖2之第二影像感測器204)產生對應於影像之第二影像資料的第二資料串流704。來自第一資料串流702之資料與來自第二資料串流704之資料經結合以形成資料輸出端資料串流706。
在一特定實施例中，第一資料串流702包括與影像之第一影像資料之第一行相關聯的資料，且第二資料串流704包括與影像之第二影像資料之對應行相關聯的資料。第一資料串流702包括具有第一行索引值之行資料710、具有第 二行索引值之行資料712、具有第三行索引值之行資料714，及具有第四行索引值之行資料716。第二資料串流704包括第一資料串流之行資料的對應行資料，包括具有第一行索引值之對應行資料720、具有第二行索引值之對應行資料722、具有第三行索引值之對應行資料724，及具有第四行索引值之對應行資料726。
資料輸出端資料串流706包括影像之第一影像資料的第一行與影像之第二影像資料之對應行的結合。如所說明，第一資料串流702及第二資料串流704與間隙區段708交錯以形成資料輸出端資料串流706。舉例而言，資料輸出端資料串流706之所說明部分包括具有第一行索引值之經結合行資料730、具有第二行索引值之經結合行資料732，及具有第三行索引值之經結合行資料734。經結合行資料730包括藉由間隙區段708與對應行資料720分離之行資料710。經結合行資料732包括藉由間隙區段708與對應行資料722分離之行資料712。經結合行資料734包括藉由間隙區段708與對應行資料724分離之行資料714。可藉由在行緩衝器(諸如，圖2之行緩衝器216)內結合對應行與對應行之間的間隙區段708而產生每一經結合行730至734。
在一特定實施例中，來自第一資料串流702之資料與來自第二資料串流704之資料結合以產生形成圖框740的複數個同步資料行。圖框740可包括複數個列742，其中每一列對應於一行索引值，且儲存具有該行索引值之第一影像資料行，且儲存具有該行索引值之第二影像資料對應行。舉 例而言，圖框740之第一列可包括經結合行資料730，圖框740之第二列可包括經結合行資料732，圖框740之第三列可包括經結合行資料734，等等，使得圖框740中之資料對準。
在一特定實施例中，第一影像資料之第一行710與第一像素大小(例如，每行之像素之數目)及第一像素時脈相關聯，且第二影像資料之對應行720與第二像素大小及第二像素時脈相關聯。產生資料串流702、704之第一感測器及第二感測器經組態以接收共同時脈信號及共同重設信號。當第一影像資料之第一行710與第二影像資料之對應行720結合成單一影像行時，該單一影像行之大小為第一影像資料之第一行710或第二影像資料之對應行720之大小的大致兩倍。此外，經結合之單一影像行之像素時脈信號(例如，第三像素時脈信號)具有為第一像素時脈信號或第二像素時脈信號之時脈速率的大致兩倍的時脈速率。舉例而言，經結合行資料730可具有為行資料710之影像大小之大致兩倍或對應行資料720之影像大小之大致兩倍的影像大小。類似地，經結合行資料730之像素時脈頻率可具有為與行資料710相關聯之第一像素時脈信號之頻率的大致兩倍或與對應行資料720相關聯之第二像素時脈信號之頻率的大致兩倍的頻率，使得經結合行資料730之像素時脈頻率可與第三像素時脈信號相關聯，第三像素時脈信號具有為第一像素時脈或第二像素時脈之頻率之大致兩倍的頻率。
每一間隙區段708可包括非影像資料。在一特定實施例中，藉由間隙區段708所形成的在圖框740中之非影像資料區域可用於邊緣濾波。間隙區段708可包括寬度為大致五個像素之黑色間隙。在其他實施例中，每一間隙區段708具有等於內插核心之大小或藉由影像處理器(諸如，圖2之影像處理器208)應用於圖框740之最大二維濾波器之大小的大小。可藉由該影像處理器處理圖框740以產生3D影像。
參看圖8，描繪說明來自第一感測器之第一資料串流與來自第二感測器之第二資料串流之間的兩行相位差之相位圖之第一實施例的圖解表示且將其一般地指定為800。第一感測器(諸如，圖2之第一感測器202)產生第一資料串流，第一資料串流包括第一感測器第一行資料802、第一感測器第二行資料804，及第一感測器第三行資料806。第二感測器(諸如，圖2之第二感測器204)產生第二資料串流，第二資料串流包括第二感測器第一行資料812、第二感測器第二行資料814，及第二感測器第三行資料816。來自第一資料串流之資料與來自第二資料串流之資料經結合以形成經結合行820。在圖8中所說明之特定實施例中，說明第一行資料、第二行資料及第三行資料。或者，可產生任何數目個行資料(例如，如圖6及圖7中所說明之720個行)。
在圖8之特定實施例中，在第一資料串流之資料與第二資料串流之資料之間存在兩行相位差。舉例而言，藉由結 合器(諸如，圖2之結合器216)可在第一行相位期間接收第一感測器第一行資料802，可在第二行相位期間接收第一感測器第二行資料804，且可在第三行相位期間接收第一感測器第三行資料806及第二感測器第一行資料812。因而，在第一感測器第一行資料802與第二感測器第一行資料812之間存在兩行相位差。
經結合行820包括影像之第一影像資料的第一行與影像之第二影像資料之對應行的結合。如所說明，第一資料串流與第二資料串流經交錯以形成經結合行820。舉例而言，經結合行820包括具有第一感測器第一行資料802及第二感測器第一行資料812之經結合行資料822，具有第一感測器第二行資料804及第二感測器第二行資料814之經結合行資料824，及具有第一感測器第三行資料806及第二感測器第三行資料816之經結合行資料826。可藉由在行緩衝器(諸如，圖2之行緩衝器216)內結合對應行而產生每一經結合行822至826。行緩衝器可經組態以在同步資料行(例如，經結合行資料822)被產生之前緩衝自第一影像感測器所接收之下一資料行(例如，第一感測器第二行資料804)的至少一部分。因而，來自多個感測器之具有兩行相位差之資料輸出可經結合，使得可在影像之影像資料之一影像行內發生同步。
參看圖9，描繪說明來自第一感測器之第一資料串流與來自第二感測器之第二資料串流之間的一行相位差之相位圖之第一實施例的圖解表示且將其一般地指定為900。第 一感測器(諸如，圖2之第一感測器202)產生第一資料串流，第一資料串流包括第一感測器第一行資料902、第一感測器第二行資料904、第一感測器第三行資料906，及第一感測器第四行資料908。第二感測器(諸如，圖2之第二感測器204)產生第二資料串流，第二資料串流包括第二感測器第一行資料912、第二感測器第二行資料914、第二感測器第三行資料916，及第二感測器第四行資料918。來自第一資料串流之資料與來自第二資料串流之資料經結合以形成經結合行920。在圖9中所說明之特定實施例中，說明第一行資料、第二行資料、第三行資料及第四行資料。或者，可產生任何數目個行資料(例如，如圖6及圖7中所說明之720個行)。
在圖9之特定實施例中，在第一資料串流之資料與第二資料串流之資料之間存在一行相位差。舉例而言，藉由結合器(諸如，圖2之結合器216)可在第一行相位期間接收第一感測器第一行資料902，且可在第二行相位期間接收第一感測器第二行資料904及第二感測器第一行資料912。因而，在第一感測器第一行資料902與第二感測器第一行資料912之間存在一行相位差。
經結合行920包括影像之第一影像資料的第一行與影像之第二影像資料之對應行的結合。如所說明，第一資料串流與第二資料串流經交錯以形成經結合行920。舉例而言，經結合行920包括具有第一感測器第一行資料902及第二感測器第一行資料912之經結合行資料922，具有第一感 測器第二行資料904及第二感測器第二行資料914之經結合行資料924，具有第一感測器第三行資料906及第二感測器第三行資料916之經結合行資料926，及具有第一感測器第四行資料908及第二感測器第四行資料918之經結合行資料928。可藉由在行緩衝器(諸如，圖2之行緩衝器216)內結合對應行而產生每一經結合行922至928。因而，來自多個感測器之具有一行相位差之資料輸出可經結合，使得可在影像之影像資料之一影像行內發生同步。
參看圖10，描繪說明用於複數個感測器中之每一者之紅綠藍(RGB)資料且說明同步資料行的圖解表示且將其一般地指定為1000。在圖10中所說明之實施例中，第一感測器(諸如，圖3之第一感測器202)產生第一資料串流，第一資料串流包括第一感測器第一行資料1002、第一感測器第二行資料1004，及第一感測器第三行資料1006。第二感測器(諸如，圖3之第二感測器204)產生第二資料串流，第二資料串流包括第二感測器第一行資料1012、第二感測器第二行資料1014，及第二感測器第三行資料1016。第三感測器(諸如，圖3之第N感測器305)產生第三資料串流，第三資料串流包括第三感測器第一行資料1022、第三感測器第二行資料1024，及第三感測器第三行資料1026。來自第一資料串流之資料、來自第二資料串流之資料與來自第三資料串流之資料經結合以形成經結合行1020。
作為一說明性實例，根據拜耳濾波器圖案(Bayer filter pattern)，第一行資料1002、1012、1022中之每一者包括 交替之紅色及綠色像素值，第二行資料1004、1014、1024中之每一者包括交替之綠色及藍色像素值，且第三行資料1006、1016、1026中之每一者包括交替之紅色及綠色像素值。
如所說明，第一資料串流、第二資料串流與第三資料串流經交錯以形成經結合行資料串流1020。舉例而言，經結合行資料串流1020包括具有第一感測器第一行資料1002、第二感測器第一行資料1012及第三感測器第一行資料1022之經結合行資料1040，具有第一感測器第二行資料1004、第二感測器第二行資料1014及第三感測器第二行資料1024之經結合行資料1050，及具有第一感測器第三行資料1006、第二感測器第三行資料1016及第三感測器第三行資料1026之經結合行資料1060。可藉由在行緩衝器(諸如，圖3之行緩衝器216)內結合對應行而產生每一經結合行1040至1060。每一經結合行1040至1060可包括自待在影像信號處理器(諸如，圖3之影像信號處理器208)處解馬賽克的其各別感測器行資料所讀取之原始像素(例如，R、G及B)值。因而，來自多個感測器之資料輸出可經結合，使得可在影像之影像資料之一影像行內發生同步。
儘管圖10將原始像素值說明為包括根據拜耳濾波器圖案之RGB資料，但在其他實施例中，來自該等感測器之行資料可能不包括拜耳RGB像素值。舉例而言，作為說明性非限制實例，該等感測器可替代地提供：亮度、藍色色差色度、紅色色差色度(YCbCr)值；青、黃、綠及洋紅(CYGM) 值；紅、綠、藍及翠綠(RGBE)值；紅、綠、藍及白(RGBW)值；或任何其他類型之值。或者或另外，該等感測器中之一或多者可實施全色胞元(panchromatic cell)、感光器之群組之上的微透鏡、垂直彩色濾光片，或能夠逐行讀出原始影像資料之任何其他感測器技術。
參看圖11，描繪說明與具有多個感測器之裝置相關聯的信號時序之時序圖的特定實施例且將其一般地指定為1100。該等信號包括第一感測器之圖框有效(FV)信號1102及行有效(LV)信號1104，第二感測器之FV 1106及LV 1108，及第三感測器之FV 1110及LV 1112。在一特定實施例中，第一感測器、第二感測器及第三感測器可為圖3之第一感測器202、第二感測器204及第三感測器305。亦結合經結合之行有效/資料信號1116及行負載(LL)信號1118來說明經結合之圖框有效信號1114。
在一特定實施例中，信號1114至1118對應於與圖框(諸如，藉由結合器所產生之圖6之圖框660)之一或多個同步資料行相關的信令，且信號1102至1112對應於在該結合器處所接收之信令。如所說明，自第一感測器接收第一行資料1120、第二行資料1122及第三行資料1124，自第二感測器接收第一行資料1130、第二行資料1132及第三行資料1134，且自第三感測器接收第一行資料1140、第二行資料1142及第三行資料1144。
在第一行資料1120及第一行資料1140之前自第二感測器接收第一行資料1130。將第一行資料1130與第一行資料 1120之接收之間的相位差說明為第一相位差1180。在第三感測器之第一行資料1140之前接收第一感測器之第一行資料1120，且將第一感測器之第一行資料1120與第三感測器之第一行資料1140之接收之間的相位差說明為第二相位差1182。來自該等感測器中之每一者之行資料可遵循對應圖框有效信號之上升緣，從而指示經由影像資料行所接收之資料為來自每一特定感測器的有效行資料。如所說明，經結合之圖框有效行1114保持低位準，從而指示非有效資料，直至諸如在圖2之結合器206處已接收第一行資料1120、1130及1140中之每一者之後為止。在已接收第一行1120、1130及1140中之每一者之後，經結合之圖框有效信號1114上升以指示行有效信號1116上之有效資料。結合在LL行1118上所確證之有效信號產生第一同步資料行1150。在產生第一同步行資料1150之後，經結合之圖框有效信號1114保持於有效狀態中，而LL信號1118返回至非有效狀態，在此之後於產生第二同步資料行1160後，LL信號1118即返回至有效狀態，在產生第二同步資料行1160之後產生第三同步資料行1170。
參看圖12，描繪說明來自第一感測器之第一資料串流、來自第二感測器之第二資料串流與來自第三感測器之第三資料串流之間的三行相位差之相位圖之第一實施例的圖解表示且將其一般地指定為1200。第一感測器(諸如，圖3之第一感測器202)產生第一資料串流，第一資料串流包括第一感測器第一行資料1202、第一感測器第二行資料1204、 第一感測器第三行資料1206，及第一感測器第四行資料1208。第二感測器(諸如，圖3之第二感測器204)產生第二資料串流，第二資料串流包括第二感測器第一行資料1212、第二感測器第二行資料1214、第二感測器第三行資料1216，及第二感測器第四行資料1218。第三感測器(諸如，圖3之第N感測器305)產生第三資料串流，第三資料串流包括第三感測器第一行資料1222、第三感測器第二行資料1224、第三感測器第三行資料1226，及第三感測器第四行資料1228。來自第一資料串流之資料、來自第二資料串流之資料與來自第三資料串流之資料經結合以形成經結合行1220。在圖12中所說明之特定實施例中，說明第一行資料、第二行資料、第三行資料及第四行資料。或者，可產生任何數目個行資料(例如，如圖6及圖7中所說明之720個行)。
在一特定實施例中，在第一資料串流之資料、第二資料串流之資料與第三資料串流之資料之間存在三行相位差。舉例而言，藉由結合器(諸如，圖2之結合器216)可在第一行相位期間接收第三感測器第一行資料1222，可在第二行相位期間接收第一感測器第一行資料1202及第三感測器第二行資料1224，可在第三行相位期間接收第一感測器第二行資料1204及第三感測器第三行資料1226，且可在第四行相位期間接收第一感測器第三行資料1206、第二感測器第一行資料1212及第三感測器第四行資料1228。因而，在第一感測器第一行資料1202、第二感測器第一行資料1212與 第三感測器第一行資料1222之間存在三行相位差。
經結合行1220包括影像之第一影像資料的第一行與影像之第二影像資料之對應行，與影像之第三影像資料的結合。如所說明，第一資料串流、第二資料串流與第三資料串流經交錯以形成經結合行1220。舉例而言，經結合行1220包括具有第一感測器第一行資料1202、第二感測器第一行資料1212及第三感測器第一行資料1222之經結合行資料1232，具有第一感測器第二行資料1204、第二感測器第二行資料1214及第三感測器第二行資料1224之經結合行資料1234，及具有第一感測器第三行資料1206、第二感測器第三行資料1216及第三感測器第三行資料1226之經結合行資料1236。可藉由在行緩衝器(諸如，圖3之行緩衝器216)內結合對應行而產生每一經結合行1232至1236。因而，來自多個感測器之具有三行相位差之資料輸出可經結合，使得可在影像之影像資料之一影像行內發生同步。
參看圖13，描繪用以結合來自多個感測器之資料以產生3D資料之影像處理系統的特定說明性實施例且將其一般地指定為1300。影像處理系統1300包括第一影像感測器1302及第二影像感測器1304。影像處理系統1300進一步包括結合器1306及影像處理器1308。影像處理器1308耦接至顯示器件1310。結合器1306包括至少一個行緩衝器1312。影像處理系統1300可整合於至少一個半導體晶粒中。
第一影像感測器1302經組態以產生第一資料串流，說明為第一影像資料串流1314，且第二影像感測器1304經組態 以產生第二資料串流，說明為第二影像資料串流1316。在一特定實施例中，第一影像資料串流1314可與第二影像資料串流1316非同步。第一影像感測器1302及第二影像感測器1304可為實質上類似的影像感測器，第一影像感測器1302與第二影像感測器1304彼此獨立且可接收來自處理器(例如，結合器1306或影像處理器1308)之共同控制信號以產生緊密地對準之影像資料串流1314、1316。舉例而言，影像資料串流1314、1316可具有實質上相同的時序特性，諸如頻率及相位。因為該共同控制信號可藉由處理器(諸如)經由圖2之信號同步器230產生，所以影像感測器1302、1304中之每一者可直接回應於該單一處理器且藉由該單一處理器控制。儘管已展示兩個影像感測器1302、1304，但應理解，兩個以上影像感測器可供影像處理系統1300使用。
結合器1306係回應於第一影像資料串流1314及第二影像資料串流1316。結合器1306經組態以在行緩衝器1312內結合來自第一影像資料串流1314之資料與來自第二影像資料串流1316之資料。在一特定實施例中，行緩衝器1312經組態以使來自第一影像感測器1302之第一資料與來自第二影像感測器1304之第二資料對準。在一特定實施例中，結合器1306係回應於儲存於行緩衝器1312內之資料且將圖框資料1318提供至影像處理器1308。在一特定實施例中，圖框資料1318可包括影像資料之複數個列，其中每一列為來自每一感測器1302、1304之對應列的結合，諸如關於圖3所 描述。
影像處理器1308經組態以處理圖框資料1318且將經處理圖框資料1320輸出至顯示器件1310。經處理圖框資料1320可具有3D影像格式或3D視訊格式。
顯示器件1310回應於接收經處理圖框資料1320而呈現且顯示影像資料。因此，來自多個影像感測器之影像資料可經結合、處理且接著呈現以用於在顯示器件1310處顯示。在一特定實施例中，顯示器件1310可與影像處理器1308解耦以不直接回應於影像處理器1308。舉例而言，顯示器件1310可為與影像處理器1308分離之器件。
因為自經共同地控制之類似影像感測器1302、1304所接收之資料可具有實質上相同的頻率及相位，所以可在影像資料之單一影像行內發生資料串流1314、1316之間的同步。在一特定實施例中，行緩衝器1312可針對未對準之最差狀況定尺寸(亦即，若同步未對準為三行，則行緩衝器1312應經定大小以儲存至少六行)。結果，可使用單一影像處理器1308有效地處理經結合資料。因此，與多處理器系統相比較(例如，向每一感測器指派一處理器)，總影像系統成本及複雜性可減小。
多個實施例可經組態以提供3D/立體影像及/或視訊資料。舉例而言，在一種此類實施例中，第一影像感測器1302及第二影像感測器1304可並排地定位，以便提供左/右(立體)影像。藉由結合器1306所提供之信號被接收且可藉由影像處理器1308處理以產生3D影像。使用者命令可允 許影像處理器1308接收且處理來自僅單一感測器(亦即，第一影像感測器1302或第二影像感測器1304)之資料，以替代於產生3D影像而產生二維(2D)影像。
具有用於單一相機之輸入的影像處理器(諸如，影像處理器1308)能夠藉由使用由結合器1306所提供之來自兩個相機之經結合資料來處理可用於3D處理的資料。影像處理器1308可接收來自結合器1306或來自儲存來自結合器1306之影像資料之記憶體的影像資料。在一種此類實施例中，影像處理器1308將所接收之影像資料處理為2D影像/視訊資料，使得藉由影像處理器1308之後續處理基於來自影像處理器1308之經處理資料提供3D立體影像/視訊串流。或者，影像處理器1308可經組態以基於所接收之影像資料直接提供3D立體影像/視訊串流。在一實施例中，3D俘獲系統包含實施為第一積體電路之結合器1306及實施為第二積體電路之影像處理器1308。第一積體電路與第二積體電路可(例如)藉由串列、並列或I2C匯流排中之一或多者連接。
結合影像資料串流1314、1316以產生圖框資料1318使得影像處理器1308能夠執行用於多相機3D處理之格式化，即使影像處理器1308具有單一相機輸入仍如此。結果，與使用單獨處理器用於每一相機或使用具有多個相機輸入之處理器的系統相比較，系統1300可以減小之成本來實施。
參看圖14，描繪說明具有用以結合來自多個影像感測器之資料之影像處理系統的行動器件的各種實施例之圖解表示且將其一般地指定為1400。在1402處所說明之特定實施 例中，行動器件包括具有兩個鄰近相機之陣列的影像處理系統。在1404處所說明之特定實施例中，行動器件包括具有以同軸(in-line)組態配置之三個相機之陣列的影像處理系統。或者，任何數目個相機可以同軸組態配置。在1406處所說明之特定實施例中，行動器件包括具有3×3相機陣列的影像處理系統。在1408處所說明之特定實施例中，行動器件包括具有5×5相機陣列的影像處理系統。或者，任何數目個相機可以二維陣列配置。
參看圖15，說明藉由多個相機或影像感測器所俘獲之影像之陣列的實例且將其一般地指定為1500。如圖15中所說明，藉由一相機所俘獲之影像可與藉由其他相鄰相機所俘獲之影像重疊。在將藉由該等相機中之每一者所俘獲的影像結合成單一影像時，影像重疊可為有用的。在圖15中所說明之特定實施例中，陣列1500對應於相機或影像感測器之4×4陣列。或者，任何數目個相機可以二維陣列配置(例如，如圖18及圖19中所說明之5×5陣列)。
每一相機俘獲陣列1500之單一相機影像。在圖15中所說明之實施例中，陣列1500為4×4陣列。因而，陣列1500包括第一列1502、第二列1504、第三列1506及第四列1508。此外，陣列1500包括第一行1510、第二行1512、第三行1514及第四行1516。作為一說明性實例，可藉由對應於第一列1502及第四行1516之相機俘獲單一相機影像1518。單一相機影像1518可與藉由相鄰胞元之其他相機所俘獲之相機影像重疊。在對應於第一列1502及第四行1516之相機之 狀況下，相鄰胞元之相機可包括對應於第一列1502及第三行1514之相機、對應於第二列1504及第三行1514之相機，或對應於第二列1504及第四行1516之相機。舉例而言，單一相機影像重疊1520可與藉由對應於第一列1502及第四行1516之相機所俘獲之單一相機影像1508相關聯。圖15說明列1502至1508中之每一者的每一相機及行1510至1516中之每一者的每一相機之絕對對準的理論狀況。因而，與藉由對應於相鄰列(例如，第二列1504)之相機所俘獲的影像之影像重疊可相同於與藉由對應於相鄰行(例如，第三行1514)之相機所俘獲的影像之影像重疊。
可依特定水平解析度(「H-res」)俘獲個別影像。為了說明，水平解析度1522可與藉由對應於第一列1502及第四行1516之相機所俘獲之單一相機影像1518相關聯。圖15說明在每一相機具有相同水平解析度1522之情況下影像重疊之理論狀況。因而，可基於個別相機之水平解析度1522與一列中胞元之數目(「n」)的結合而計算總水平解析度1524(亦即，在列1502至1508中之每一者中的像素之數目)。在圖15之4×4陣列1500之狀況下，在每一列中存在四個胞元(亦即，與行1510至1516中之每一者相關聯的胞元)。總水平解析度1524可考量影像重疊。舉例而言，總水平解析度1524可計算為H_res*n-overlap*(n-2)，其中「overlap(重疊)」指示鄰近影像之重疊像素的數目。可執行類似計算以判定總垂直解析度。
圖15說明具有相同影像重疊之每一相機之絕對對準的理 論狀況。藉由該等個別相機所俘獲之影像之間的影像重疊可允許個別影像中之每一者「拼接在一起」成單一影像。
參看圖16，說明藉由多個相機或影像感測器所俘獲之影像之陣列的實例且將其一般地指定為1600。如圖16中所說明，藉由一相機所俘獲之影像可與藉由其他相鄰相機所俘獲之影像重疊。在將藉由該等相機中之每一者所俘獲的影像結合成單一影像時，影像重疊可為有用的。在圖16中所說明之特定實施例中，陣列1600對應於相機或影像感測器之4×4陣列。或者，任何數目個相機可以二維陣列配置。圖16說明歸因於機械約束，達成在列或行上相機之絕對對準(如圖15中所說明)可能並非可行的。
陣列1600之每一影像可具有其自己之旋轉1602、移位1604及傾斜(未圖示)。一或多個定位容限1606可與每一影像相關聯。定位容限1606可包括旋轉容限、移位容限、傾斜容限或其結合。在將藉由該等相機中之每一者所俘獲的影像結合成單一影像時，影像重疊可為有用的。圖16說明在結合該等影像時所使用之影像重疊可考量由與建置器件相關聯之機械約束引起的每一影像之旋轉1602、移位1604及傾斜。一旦器件被建置，則影像重疊可為已知且穩定的。因而，影像重疊可經量化且可在稍後階段校正。
參看圖17，說明相機陣列及與該陣列相關聯之電連接的特定實施例且將其一般地指定為1700。圖17說明陣列1700之每一相機具有第一類型之介面(亦即，資料介面1702)及第二類型之介面(亦即，控制介面1704)。在圖17中所說明 之實施例中，陣列1700包括3×3相機陣列。或者，陣列1700可包括以4×4陣列配置之相機(例如，圖15及圖16之陣列1500、1600)，或以二維陣列配置之任何其他數目個相機。
資料介面1702可包括串列資料匯流排(例如，行動產業處理器介面(Mobile Industry Processor Interface)或標準行動成像架構介面(Standard Mobile Imaging Architecture interface))。圖17中之資料介面1702係與陣列1700之第一列1706、陣列1700之第二列1708及陣列1700之第三列1710相關聯。與資料介面1702相關聯之行可用以收集待並列地處理的來自列1706至1710中之每一者中之相機的資料。作為一說明性實例，針對高達5百萬像素(mpix)之解析度及每秒十個圖框，可能需要四根導線(例如，差分資料及時脈)。
在圖17之說明性3×3陣列1700中，該等列1706至1710中之每一者包括陣列1700之第一行1712中的相機、陣列1700之第二行1714中的相機，及陣列1700之第三行1716中的相機。因此，資料介面1702可用以收集待並列地處理的來自九個相機的資料。
控制介面1704可包括用以同步陣列1700中之所有相機之行。舉例而言，控制介面行可與時脈、重設及I2C通信相關聯。在圖17之說明性3×3陣列1700中，控制介面1704可用以同步陣列1700之九個相機。
參看圖18，說明相機陣列處理系統之特定實施例且將其 一般地指定為1800。在所得影像資料結合成最終影像之前，陣列1802中之所有相機可回應於共同控制信號，對準且處理。在圖18中所說明之實施例中，陣列1802包括5×5相機陣列。或者，陣列1802可包括以二維陣列配置之任何其他數目個相機(例如，圖17之3×3陣列1700)。
陣列1802中之所有相機可用使用單一ISP管線之並行影像感測器支撐的方法來同步。此外，相機之每一列可使用對準方法來對準。亦即，影像之一列可被收集、以相同次序對準，且發送以用於處理為具有大小n*line之單一行，其中n為一列中之相機的數目且line(行)為一相機之水平大小(亦即，如圖15中所描述之「H_res」)。圖18中所說明之5×5陣列1802包括第一列1804、第二列1806、第三列1808、第四列1810及第五列1812。此外，5×5陣列1802包括第一行1814、第二行1816、第三行1818、第四行1820及第五行1822。該等列1804至1812中之每一者可在視訊前端(VFE)組件處針對顏色並列地處理，且可在圖形處理器或圖形處理單元(GPU)組件處處理該等列1804至1812中之每一者以對準且修整一列中之每一個別影像。在修整及對準之後，可執行GPU處理以將列1804至1812中之全部結合在一起，從而產生最終影像。
第一列1804可與第一對準區塊1824相關聯，第二列1806可與第二對準區塊1826相關聯，第三列1808可與第三對準區塊1828相關聯，第四列1810可與第四對準區塊1830相關聯，且第五列1812可與第五對準區塊1832相關聯。為了說 明，第一對準區塊1824可經調適以收集來自第一列1804中之每一相機(亦即，陣列1802之五個行1814至1822中之五個相機)的影像資料行。第一對準區塊1824可經調適而以相同次序對準該等影像資料行且發送該等影像資料行以用於處理為單一行。第一對準區塊1824可經調適以將用於處理為單一行之影像資料行發送至第一VFE組件1834以針對顏色進行處理，諸如關於圖2、圖3及圖5之結合器206所描述。可基於相機之數目(亦即，五個相機)及第一列1804中之每一相機的水平大小(亦即，如圖15中所描述之「H_res」)來判定該單一行之大小。
第二對準區塊1826可經調適以收集來自第二列1806中之每一相機之影像，以相同次序對準該等影像，且將用於處理為單一行之影像發送至第二VFE組件1836。第三對準區塊1828可經調適以收集來自第三列1808中之每一相機之影像資料行，以相同次序對準該等影像資料行，且將用於處理為單一行之影像資料行發送至第三VFE組件1838。第四對準區塊1830可經調適以收集來自第四列1810中之每一相機之影像資料行，以相同次序對準該等影像資料行，且將用於處理為單一行之影像資料行發送至第四VFE組件1840。第五對準區塊1832可經調適以收集來自第五列1812中之每一相機之影像資料行，以相同次序對準該等影像資料行，且將用於處理為單一行之影像資料行發送至第五VFE組件1842。
控制同步區塊1844可用以按類似於感測器同步器230之 方式同步陣列1802之該等相機中之每一者(亦即，在圖18之說明性5×5陣列1802的狀況下為二十五個相機)。在一特定實施例中，控制同步區塊1834可實施圖17之控制介面1704。控制同步區塊1844可以通信方式耦接至陣列1802之該等相機中之每一者且至VFE組件1834至1842中的每一者。陣列1802中之所有相機之同步可允許高解析度上之滾動快門(rolling shutter)的使用。由於所有相機可同時讀出，故滾動快門效應可減小(隨著陣列之大小)。舉例而言，在圖18之5×5陣列1802中，二十五個相機之同步可減小與互補金氧半導體(CMOS)相機相關聯之滾動快門效應。
第一VFE組件1834可以通信方式耦接至第一GPU組件1846以對準且修整第一列1804中之每一個別影像(亦即，藉由五個行1814至1822中之相機所俘獲之五個影像)。第二VFE組件1836可以通信方式耦接至第二GPU組件1848以對準且修整第二列1806中之每一個別影像。第三VFE組件1838可以通信方式耦接至第三GPU組件1850以對準且修整第三列1808中之每一個別影像。第四VFE組件1840可以通信方式耦接至第四GPU組件1852以對準且修整第四列1810中之每一個別影像。第五VFE組件1842可以通信方式耦接至第五GPU組件1854以對準且修整第五列1812中之每一個別影像。GPU組件1846至1854中之每一者可以通信方式耦接至GPU處理組件1856，GPU處理組件1856經調適以將列1804至1812中之全部結合在一起，從而產生最終影像。
在圖18中所說明之實施例中，對準區塊1824至1832中之每一者係與其自己之VFE組件及其自己之GPU修整及對準組件相關聯。因此，圖18說明該等列1804至1812中之每一者可使用單獨VFE組件針對顏色並列地處理，且可使用單獨GPU組件處理該等列1804至1812中之每一者以對準且修整一特定列中之每一個別影像。或者，對準區塊1824至1832中之每一者可與單一VFE組件及單一GPU修整及對準組件相關聯(參見圖19)。
參看圖19，說明相機陣列處理系統之特定實施例且將其一般地指定為1900。在結合成最終影像之前，陣列1902中之所有相機可經同步，對準且處理。在圖19中所說明之實施例中，陣列1902包括5×5相機陣列。或者，陣列1902可包括以二維陣列配置之任何其他數目個相機。圖19說明單一VFE組件及單一GPU修整及對準組件可用以處理陣列1902之所有列，而非圖18中所說明之多個VFE組件及GPU修整及對準組件。
圖19中所說明之5×5陣列1902包括第一列1904、第二列1906、第三列1908、第四列1910及第五列1912。此外，5×5陣列1902包括第一行1914、第二行1916、第三行1918、第四行1920及第五行1922。第一列1904可與第一對準區塊1924相關聯，第二列1906可與第二對準區塊1926相關聯，第三列1908可與第三對準區塊1928相關聯，第四列1910可與第四對準區塊1930相關聯，且第五列1912可與第五對準區塊1932相關聯。為了說明，第一對準區塊1924可 經調適以收集來自第一列1904中之每一相機(亦即，陣列1902之五個行1914至1922中之五個相機)之影像資料行。
第一對準區塊1924可經調適而以相同次序對準該等影像資料行且發送該等影像資料行以用於處理為單一行。第二對準區塊1926可經調適以收集來自第二列1906中之每一相機之影像資料行，以相同次序對準該等影像資料行，且發送該等影像資料行以用於處理為單一行。第三對準區塊1928可經調適以收集來自第三列1908中之每一相機之影像資料行，以相同次序對準該等影像資料行，且發送該等影像資料行以用於處理為單一行。第四對準區塊1930可經調適以收集來自第四列1910中之每一相機之影像資料行，以相同次序對準該等影像資料行，且發送該等影像資料行以用於處理為單一行。第五對準區塊1932可經調適以收集來自第五列1912中之每一相機之影像資料行，以相同次序對準該等影像資料行，且發送該等影像資料行以用於處理為單一行。
在圖19中所說明之實施例中，對準區塊1924至1932中之每一者可經調適以將用於處理之其影像發送至單一VFE組件1934以針對顏色進行處理。該單一VFE組件1934可處理自五個對準區塊1924至1932所發送之五行中之每一者。如上文所提，可基於一特定列中之相機的數目(亦即，五個相機)及該特定列中之每一相機的水平大小(亦即，如圖15中所描述之「H_res」)來判定來自特定對準區塊之單一行的大小。因而，藉由圖19之單一VFE組件1934所處理之多 個行的大小可為藉由圖18之VFE組件1834至1842中之一者所處理的單一行之大小的五倍。
控制同步區塊1936可用以同步陣列1902之該等相機中之每一者，諸如將共同控制信號提供至一或多個列1904至1912中之相機。控制同步區塊1936可以通信方式耦接至陣列1902之該等相機中之每一者且至該單一VFE組件1934。陣列1902中之所有相機之同步可允許高解析度上之滾動快門的使用。由於所有相機可同時讀出，故滾動快門效應可減小(隨著陣列之大小)。舉例而言，在圖19之5×5陣列1902中，二十五個相機之同步可減小與CMOS相機相關聯之滾動快門效應。
單一VFE組件1934可以通信方式耦接至單一GPU組件1938以對準且修整該等列1904至1912中之每一者中之每一個別影像。因而，與藉由圖18之GPU對準及修整組件1846至1854中之每一者所處理的五個影像相比較，圖19之單一GPU組件1938可對準且修整二十五個影像。單一GPU組件1938可以通信方式耦接至GPU處理組件1940，GPU處理組件1940經調適以將列1904至1912中之全部結合在一起，從而產生最終影像。
圖20說明包括經組態以聚焦入射光2004之主透鏡2002及以陣列2006配置之多個相機的高解析度數位相機系統2000。藉由結合在陣列2006中之該等相機中之每一者處所俘獲的影像，高解析度影像可產生為複合(或「馬賽克」)影像。舉例而言，陣列2006之該等相機中之每一者可為 CMOS型相機或電荷耦合器件(CCD)型相機。主透鏡2002可將所俘獲場景聚焦至平面2008(被稱作主透鏡2002之「焦平面」或陣列2006中之相機的「物平面」)，且陣列2006中之每一相機可俘獲總影像之一部分。陣列2006之每一相機具有一視場，該視場在平面2008處部分地重疊其相鄰者之視場。此重疊可使得由陣列2006中之相鄰相機所拍攝的影像能夠在逐列基礎上對準且在後續處理期間「拼接」在一起，且可提供用於該陣列內之相機之非理想位置及對準的容限(諸如關於圖16所描述)。
可藉由在逐列基礎上對準來自陣列2006之該等相機之影像資料而產生複合影像。舉例而言，圖20之陣列2006包括具有三個列之3×3陣列。陣列2006之一特定列(「陣列列」)內的每一相機可包括具有以行及列配置之光偵測器的影像感測器(「感測器行」及「感測器列」)。一陣列列內之相機可經定位以使得感測器列實質上對準。為了說明，一陣列列中之每一相機的第一感測器列與同一陣列列中之每隔一個相機之相機的第一感測器列實質上對準。
在影像俘獲期間，自一陣列列中之每一相機讀取具有影像資料之第一感測器列，且將其提供至影像處理電路(諸如關於圖17至圖19所描述)。根據該陣列列中之每一相機之位置合併來自第一感測器列的影像資料。以如同經合併的影像資料為來自較大相機之影像資料之單一列的方式來處理經合併之影像資料。讀取、合併第二、第三及後續影像感測器列，且將其提供至影像處理電路以處理為複合影 像之列。每一陣列列可與其他陣列列並列地處理。
圖20之配置可提供高解析度相機之便宜替代。舉例而言，可使用主透鏡後方之二十個5百萬像素(mpix)之CMOS相機來建置100mpix相機。因為可使用多個CMOS相機來執行影像俘獲，其中每一相機俘獲影像之一部分，所以與俘獲整個影像之單一100mpix之CMOS相機相比較，「滾動快門」假影可減少。
參看圖21，描繪多相機模組之實施之特定實施例且將其一般地指定為2100。系統2100說明安裝於汽車上之多相機模組，諸如如圖1至圖5中所說明之多相機模組。多相機模組可經組態以產生用於格式化為三維影像或視訊資料之同步行資料圖框，諸如關於圖6至圖7所描述。藉由將多相機模組安裝至汽車之後部，可獲得三維視圖以在倒車的同時在內部顯示器(未圖示)上向汽車之操作者提供深度感覺。應理解，多相機模組可安裝至任何類型之車輛，而不限於汽車。
參看圖22，描繪將來自多個感測器之資料結合成同步資料行之方法的特定說明性實施例之流程圖且將其一般地指定為2200。作為一說明性實例，方法2200可由圖2之系統、圖3之系統、圖5之系統或其任何結合執行。
在2202，可將共同控制信號提供至待同步之多個影像感測器。舉例而言，該共同控制信號可包括共同時脈信號及共同重設信號，諸如圖4中所描繪之共同控制信號404至410。
在2204，可接收來自該多個影像感測器中之第一影像感測器之第一資料行。在2206，可接收來自該多個影像感測器中之第二影像感測器之第二資料行。舉例而言，第一感測器及第二感測器可為圖2之感測器202、204。
在2208，該第一資料行與該第二資料行可為經結合行以產生同步資料行。舉例而言，方法2200可包括在逐行基礎上交錯自第一影像感測器所接收之第一資料串流與自第二影像感測器所接收之第二資料串流。如關於圖5中所說明之結合第一感測器影像資料422與第二感測器影像資料432的結合器406所描述，可形成同步資料行。
同步資料行可形成圖框(諸如，圖6之圖框660)之部分。該圖框可包括：包括來自第一影像感測器之第一影像資料的第一區段(例如，第一區段652)、包括來自第二影像感測器之第二影像資料的第二區段(例如，第二區段654)，及包括安置於第一區段與第二區段之間的非影像資料的間隙區段(例如，間隙區段656)。在其他實施例中，該圖框可能不包括第一區段與第二區段之間的間隙區段。
可在完成接收第二資料行之前完成接收第一資料行，且可在完成接收第二資料行之後產生同步資料行。作為一實例，在已接收第二感測器第一行資料812之後產生圖8之經結合資料行822。
在具有兩個以上影像感測器之實施例中，可自該多個影像感測器中之第三影像感測器接收第三資料行，諸如圖11中所說明。第三資料行可與第一資料行及第二資料行結合 以產生同步資料行，諸如圖11之第一同步資料行1150。
參看圖23，描繪將共同控制信號提供至多個影像感測器且經由影像處理器之單一相機輸入將同步資料行提供至影像處理器之方法的特定說明性實施例之流程圖，且將其一般地指定為2300。作為說明性非限制實例，方法2300可在圖2、圖3及圖5之系統中之一或多者處執行。
在2302，可將共同控制信號提供至多個影像感測器。該多個影像感測器中之每一者可回應於該共同控制信號以產生影像資料。舉例而言，可藉由耦接至該多個影像感測器中之每一者的感測器同步器(諸如，圖2之感測器同步器230)來提供該共同控制信號。為了說明，該感測器同步器可經由下列介面來耦接至該多個影像感測器中之每一者積體電路間(I2C)控制介面；順應相機串列介面(CSI)規範之介面；或順應相機並列介面(CPI)規範之介面。
在2304，可接收來自該多個影像感測器中之每一者之同步資料輸出。可自該多個影像感測器中之第一影像感測器接收第一資料行，且可自該多個影像感測器中之第二影像感測器接收第二資料行。可在完成接收第二資料行之前完成接收第一資料行，且可在完成接收第二資料行之後產生同步資料行，諸如在圖8中在已接收第二感測器第一行資料812之後所產生的經結合資料行822。
在2306，可結合來自該多個影像感測器中之每一者之同步資料輸出以產生同步資料行。舉例而言，圖2之結合器206可在逐行基礎上交錯自第一影像感測器202所接收之第 一資料串流與自第二影像感測器204所接收之第二資料串流。
在2308，可經由影像處理器之單一相機輸入將該同步資料行提供至影像處理器。該同步資料行可形成具有多個列之圖框(諸如，圖6之圖框660)的部分。舉例而言，該圖框可包括：包括來自第一影像感測器之第一影像資料的第一區段、包括來自第二影像感測器之第二影像資料的第二區段，及第一區段與第二區段之間的間隙區段。
參看圖24，描繪將共同控制信號提供至多個影像感測器且接收來自該多個影像感測器中之每一者的同步資料輸出之方法的特定說明性實施例之流程圖，且將其一般地指定為2400。
在2402，可將共同控制信號提供至多個影像感測器。該多個影像感測器中之每一者係回應於該共同控制信號以產生影像資料。舉例而言，可藉由耦接至該多個影像感測器中之每一者之感測器同步器來提供該共同控制信號，感測器同步器諸如圖2至圖5之感測器同步器230、圖18之控制同步區塊1844、圖19之控制同步區塊1936或其任何結合。
在2404，可接收來自該多個影像感測器中之每一者之同步資料輸出。該同步資料輸出可包括自第一影像感測器所接收之第一資料行及自第二影像感測器所接收之第二資料行。作為說明性非限制實例，來自第一影像感測器之每一所接收資料行與來自第二影像感測器之每一對應資料行之間的相位偏移可為實質上恆定的，諸如圖9之一行相位 差、圖8之兩行相位差或圖12之3行相位差。
參看圖25，描繪在多個影像感測器處接收共同控制信號且產生來自該多個影像感測器中之每一者的同步資料輸出之方法的特定說明性實施例之流程圖，且將其一般地指定為2500。
在2502，可在多個影像感測器處接收共同控制信號。該多個影像感測器中之每一者係回應於該共同控制信號以產生影像資料。舉例而言，可自耦接至該多個影像感測器中之每一者的感測器同步器接收該共同控制信號，感測器同步器諸如圖2至圖5之感測器同步器230、圖18之控制同步區塊1844、圖19之控制同步區塊1936或其任何結合。
在2504，可產生來自該多個影像感測器中之每一者之同步資料輸出。該同步資料輸出可包括自第一影像感測器所接收之第一資料行及自第二影像感測器所接收之第二資料行。作為說明性非限制實例，來自第一影像感測器之每一所接收資料行與來自第二影像感測器之每一對應資料行之間的相位偏移可為實質上恆定的，諸如圖9之一行相位差、圖8之兩行相位差或圖12之3行相位差。
參看圖26，描繪在具有用於單一相機之輸入的影像信號處理器處結合來自多個感測器之資料之方法的特定說明性實施例之流程圖，且將其一般地指定為2600。
在2602，可在具有用於單一相機之輸入的影像處理器處接收影像資料之行。該影像資料之每一行可包括來自藉由第一相機所俘獲之第一影像的第一行資料及來自藉由第二 相機所俘獲之第二影像的第二行資料。作為一說明性非限制實例，該影像處理器可包括圖2至圖3或圖5之影像信號處理器208、圖13之影像處理器1308、圖18之VFE 1834至1842、圖19之VFE 1934至1942，或其任何結合。
可在該影像處理器處自耦接至第一相機且至第二相機之結合器接收影像資料之行。可使用結合器同步來自第一相機之第一影像資料及來自第二相機之第二影像資料的逐行讀出，以產生影像資料之每一行。舉例而言，該結合器可為圖2至圖3或圖5之結合器206、圖13之結合器1306、圖18之資料對準區塊1824至1832、圖19之資料對準區塊1924至1932，或其任何結合。
在2604，可產生輸出圖框，該輸出圖框具有對應於該第一影像之行資料的第一區段且具有對應於該第二影像之行資料的第二區段。該第一區段及該第二區段可經組態以用以產生三維(3D)影像格式或3D視訊格式。
在一特定實施例中，處理該輸出圖框以產生3D影像資料，且將該3D影像資料發送至顯示器件。在另一實施例中，處理該輸出圖框以產生3D視訊資料，且將該3D視訊資料發送至顯示器件，諸如圖13之顯示器件1310。為了說明，該顯示器件可為通信器件、相機、個人數位助理及電腦中之至少一者之組件。
參看圖27，描繪將來自多個感測器之資料結合成圖框之方法的說明性實施例之流程圖且將其一般地指定為2700。作為一說明性實例，方法2700可由圖2之系統、圖5之系統 或其任何結合執行。
在2702，可自第一影像感測器(諸如，圖2之第一感測器202)接收第一資料串流。第一資料串流(諸如，圖2之第一影像資料串流212、圖6之第一資料串流602，或圖5之時序資料信號420及影像資料信號422)可對應於影像之第一影像資料。在2704，可自第二影像感測器(諸如，圖2之第二感測器204)接收第二資料串流。第二資料串流(諸如，圖2之第二影像資料串流214、圖6之第二資料串流604，或圖5之時序信號資料430及影像資料信號432)可對應於影像之第二影像資料。
在2706，可結合來自第一資料串流之資料與來自第二資料串流之資料。舉例而言，結合器(諸如，圖2之結合器206或圖5之結合器206)可結合來自第一資料串流之第一影像資料與來自第二資料串流之第二影像資料且產生所得圖框。為了說明，第一資料串流可包括與第一影像資料之第一行相關聯的資料，包括具有第一行索引值之行資料、具有第二行索引值之行資料等等。第二資料串流可包括對應於第一資料串流之行資料的行資料，包括具有第一行索引值之對應行資料及具有第二行索引值之對應行資料等等。來自第一資料串流之具有第一行索引值的行資料與來自第二資料串流之具有對應第一行索引值的行資料可彼此附加或結合以形成單一影像行。該程序可針對每一行索引值重複以產生所得圖框(諸如，圖6之圖框660)。在一特定實施例中，該圖框可包括複數個列，其中每一列對應於一行索 引值，且儲存具有該行索引值之第一影像資料行，且儲存具有該行索引值之第二影像資料對應行。在一特定實施例中，當第一影像資料之第一行與第二影像資料之對應行結合成單一影像行時，該單一影像行之大小為第一影像資料之第一行或第二影像資料之對應行之大小的實質上兩倍。
在2708，可在影像信號處理器處處理該圖框以產生經處理圖框。在一特定實施例中，該影像信號處理器可為圖2之影像信號處理器208或圖5之影像信號處理器208，且該經處理圖框可為圖2之經處理圖框240或圖6之經處理圖框650。在一特定實施例中，該經處理圖框可包括：包括來自第一影像感測器之第一影像資料的第一區段(諸如，第一區段652)、包括來自第二影像感測器之第二影像資料的第二區段(諸如，第二區段654)，及間隙區段(諸如，圖6之間隙區段656)。該間隙區段可包括安置於第一區段與第二區段之間的非影像資料。在一特定實施例中，該第一區段可包括第一影像資料之行，且該第二區段可包括第二影像資料之對應行。
在2710，可輸出該經處理圖框以在顯示器件處顯示。在一特定實施例中，該第一影像感測器及該第二影像感測器各自直接回應於該影像信號處理器，且該顯示器件可與該影像信號處理器解耦。
參看圖28，描繪同步第一影像感測器與第二影像感測器之方法的說明性實施例之流程圖且將其一般地指定為2800。作為一說明性實例，方法2800可在圖2之系統200、 圖5之系統500或其任何結合處執行。
在2802，可自第一影像感測器接收影像之第一影像資料。在一特定實施例中，第一影像感測器可為圖2之第一感測器202。在2804，可自第一影像感測器接收與第一影像資料相關聯之第一資料串流。在一特定實施例中，第一資料串流可由影像感測器產生，且可為圖2之第一影像資料串流212、圖6之第一資料串流602，或圖5之時序資料信號420及影像資料信號422。
在2806，可自第二影像感測器接收該影像之第二影像資料。在一特定實施例中，第二影像感測器可為圖2之第二感測器204。在2808，可自第二影像感測器接收與第二影像資料相關聯之第二資料串流。在一特定實施例中，第二資料串流可由影像感測器產生，且可為圖2之第二影像資料串流214、圖6之第二資料串流604，或圖5之時序資料信號430及影像資料信號432。
在2810，可同步在影像資料獲取期間該第一影像感測器及該第二影像感測器之逐行曝光。在一特定實施例中，該同步可在包括結合器(諸如，圖2之結合器206或圖5之結合器206)之主機處影像之影像資料獲取期間發生。在一特定實施例中，該第一影像感測器與該第二影像感測器彼此獨立。舉例而言，圖2之第一感測器202及第二感測器204經由控制信號232直接回應於影像信號處理器208，以在保持彼此獨立的同時具有類似時序特性。在2812，可交錯第一資料串流與第二資料串流。在一特定實施例中，該第一資 料串流與該第二資料串流可在逐行基礎上交錯。舉例而言，來自第一資料串流之具有第一行索引值的行資料與來自第二資料串流之具有對應第一行索引值的行資料可彼此附加以形成經交錯之單一影像行。
因此，可使用單一影像信號處理器有效地處理經結合資料。因此，與向每一感測器指派一處理器之多處理器系統相比較，總影像系統成本及複雜性可減小。
參看圖29，描繪結合來自多個影像感測器之資料以產生3D影像資料之方法的第一說明性實施例之流程圖且將其一般地指定為2900。作為一說明性實例，方法2900可由圖13之系統執行。
該方法包括：在2902，同步來自第一相機及第二相機之第一影像資料之逐行讀出以產生影像資料的多個列。來自第一相機之第一影像資料可為來自圖1之第一影像感測器1302的影像資料串流1314，且第二影像資料可為來自圖13之第二影像感測器1304的影像資料串流1316。
該方法包括：在2904，在具有用於單一相機之輸入的影像處理器處接收影像資料之多個列。該影像資料之每一列包括來自藉由第一相機所俘獲之第一影像之一列的資料及來自藉由第二相機所俘獲之第二影像之一列的資料。影像資料之該等列可為圖7中所描繪之資料輸出端串流706。
該方法包括：在2906，使用影像處理器產生具有3D影像格式及3D視訊格式中之一者之輸出。該輸出對應於該第一影像及該第二影像。在2908，將該輸出發送至顯示器件 (例如，圖13之顯示器件1310)。
參看圖30，描繪將來自多個感測器之資料結合成圖框之方法的說明性實施例之流程圖且將其一般地指定為3000。作為一說明性實例，方法3000可由圖13之系統執行。
在3002，自第一影像感測器(諸如，圖13之第一影像感測器1302)接收第一資料串流。第一資料串流(諸如，圖13之第一影像資料串流1314或圖7之第一資料串流702)可對應於第一影像之第一影像資料。在3004，可自第二影像感測器(諸如，圖13之第二影像感測器1304)接收第二資料串流。第二資料串流(諸如，圖13之第二影像資料串流1316、圖7之第二資料串流704)可對應於第二影像之第二影像資料。該第一影像及該第二影像可為場景之影像。該場景之第一影像及第二影像可在實質上相同時間拍攝或可在不同時間拍攝。可自與第二影像不同之有利位置拍攝第一影像，使得可自該場景之第一影像及第二影像判定深度資訊。
在3006，結合來自第一資料串流之資料與來自第二資料串流之資料。舉例而言，結合器(諸如，圖13之結合器1306)可結合來自第一資料串流之第一影像資料與來自第二資料串流之第二影像資料且產生所得圖框。為了說明，第一資料串流可包括與第一影像資料之第一行相關聯的資料，包括具有第一行索引值之行資料、具有第二行索引值之行資料等等。第二資料串流可包括對應於第一資料串流之行資料的行資料，包括具有第一行索引值之對應行資料 及具有第二行索引值之對應行資料等等。來自第一資料串流之具有第一行索引值的行資料與來自第二資料串流之具有對應第一行索引值的行資料可彼此附加或結合以形成單一影像行。該程序可針對每一行索引值重複以產生所得圖框(諸如，圖7之圖框740)。在一特定實施例中，該圖框可包括複數個列，其中每一列對應於一行索引值，且儲存具有該行索引值之第一影像資料行，且儲存具有該行索引值之第二影像資料對應行。在一特定實施例中，當第一影像資料之第一行與第二影像資料之對應行結合成單一影像行時，該單一影像行之大小為第一影像資料之第一行或第二影像資料之對應行之大小的實質上兩倍。
在3008，經由用於單一相機之輸入來接收圖框作為影像資料之多個列。在一特定實施例中，用於單一相機之輸入可為影像處理器(諸如，圖13之影像處理器1308)之輸入。該圖框可為圖7之圖框740。
在3010，自該圖框產生輸出。該輸出具有3D影像格式及3D視訊格式中之一者。該輸出對應於該第一影像及該第二影像。該輸出可為圖13之經處理之圖框資料1320。在3012，將該輸出發送至顯示器件。在一特定實施例中，該顯示器件可為圖13之顯示器件1310。
參看圖31，描繪同步第一影像感測器與第二影像感測器之方法的說明性實施例之流程圖且將其一般地指定為3100。作為一說明性實例，方法3100可由圖13之系統1300執行。
在3102，可自第一影像感測器接收影像之第一影像資料。在一特定實施例中，第一影像感測器可為圖13之第一影像感測器1302。在3104，可自第一影像感測器接收與第一影像資料相關聯之第一資料串流。在一特定實施例中，第一資料串流可由該影像感測器產生，且可為圖13之第一影像資料串流1314或圖7之第一資料串流702。
在3106，可自第二影像感測器接收該影像之第二影像資料。在一特定實施例中，第二影像感測器可為圖13之第二影像感測器1304。在3108，可自第二影像感測器接收與第二影像資料相關聯之第二資料串流。在一特定實施例中，第二資料串流可由該影像感測器產生，且可為圖13之第二影像資料串流1316或圖7之第二資料串流704。
在3110，可同步在影像資料獲取期間該第一影像感測器及該第二影像感測器之逐行曝光。在一特定實施例中，該同步可在包括結合器(諸如，圖13之結合器1306)之主機處影像之影像資料獲取期間發生。在一特定實施例中，該第一影像感測器與該第二影像感測器彼此獨立。舉例而言，圖13之第一影像感測器1302及第二影像感測器1304可經由控制信號直接回應於影像處理器1308，以在保持彼此獨立的同時具有類似時序特性。在另一實施例中，第一影像感測器1302及第二影像感測器1304經由控制信號直接回應於結合器1306，以在保持彼此獨立的同時具有類似時序特性。在3112，可交錯第一資料串流與第二資料串流。在一特定實施例中，該第一資料串流與該第二資料串流可在逐 行基礎上交錯。舉例而言，來自第一資料串流之具有第一行索引值的行資料與來自第二資料串流之具有對應第一行索引值的行資料可彼此附加以形成經交錯之單一影像行。
因此，可使用單一影像處理器有效地處理經結合資料。因此，與向每一感測器指派一處理器之多處理器系統相比較，總影像系統成本及複雜性可減小。
參看圖32，描繪使用影像處理器產生3D影像之方法的說明性實施例之流程圖且將其一般地指定為3200。該影像處理器可為圖13之影像處理器1308。當影像處理器處理自結合器(例如，圖13之結合器1306)所接收之圖框、來自記憶體之圖框，或當使用者選擇使用顯示3D影像之器件之變焦特徵或取景位置調整(pan)特徵來更改所顯示的3D影像時，可使用方法3200。
在3202，影像處理器基於校準矩陣之參數修整第一影像及第二影像。該校準矩陣可提供用於俘獲第一影像及第二影像之第一影像感測器及第二影像感測器之相對位置的調整。兩個相機之相對位置可經選擇以確保最小場景失真及眼疲勞。可在於第一影像感測器及第二影像感測器之位置相對於彼此固定的情況下拍攝3D影像之器件之製造程序期間判定該校準矩陣。該校準可儲存於該器件之記憶體中。關於在第一影像感測器、第二影像感測器或兩者之位置可調整之情況下拍攝3D影像的器件，該器件之處理器可用以執行校準常式以判定該校準矩陣且將該校準矩陣儲存於記憶體中。該校準常式可能需要第一影像感測器及第二影像 感測器聚焦於經定位成距該等影像感測器一設定距離之特定校準場景上。可在該等影像感測器相對於彼此之位置調整之後執行該校準常式。
在3204，影像處理器偵測第一影像中之要點。該影像處理器可偵測第一影像中之獨特(高頻率)點。在3206，該影像處理器阻礙第一影像及第二影像中之局域影像補片(image patch)之間的匹配，以計算第一影像中之每一經偵測要點的差異。可製造用於每一要點之可靠性估計器以保證捨棄錯誤匹配。在3208，該影像處理器基於自所計算之差異所判定的差異範圍來判定聚合調整。該聚合調整考慮到場景深度及顯示器幾何形狀。
在3210，當聚合調整係在將顯示3D影像以產生輸出之顯示器件之能力內時，該影像處理器基於該聚合調整選擇性地移位第一影像及第二影像中之至少一者。在3212，當聚合調整不在用以產生輸出之顯示器件之能力內時，該影像處理器使用具有經調整之差異的第一影像來匹配場景之大多數。在3214，該影像處理器基於顯示器件之一或多個顯示特性來裁切(crop)該輸出。
圖33為用以結合來自多個影像感測器之資料的影像處理系統3300之特定實施例的方塊圖。影像處理系統3300可包括影像感測器器件3302，影像感測器器件3302耦接至第一透鏡3304，耦接至第二透鏡3306，且耦接至攜帶型多媒體器件之應用處理器晶片集3308。影像感測器器件3302可包括結合器3310及接收用於單一相機之輸入的影像處理器 3312。影像處理器3312可接收來自結合器3310或來自攜帶型多媒體器件之應用處理器晶片集3308之記憶體器件3314的單一相機輸入。結合器3310可(諸如)藉由實施圖13之系統1300，藉由根據圖29至圖31之實施例中之任一者操作或其任何結合來結合來自第一資料串流及來自第二資料串流的資料以產生圖框。
結合器3310經耦接以經由第一類比轉數位轉換器3318接收來自第一感測器3316之影像資料。結合器3310經耦接以經由第二類比轉數位轉換器3322接收來自第二感測器3320之影像資料。結合器3310或影像處理器3312可控制第一感測器3316及第二感測器3320，第一感測器3316與第二感測器3320可以其他方式彼此獨立。在一特定實施例中，影像處理器3312可經由感測器同步器3330(以陰影展示)控制第一感測器3316及第二感測器3320。
在一特定實施例中，包括影像處理電路(諸如，結合器3310)之積體電路經組態以產生圖框。該影像處理電路經組態以接收來自第一影像感測器(諸如，第一感測器3316)之第一資料串流，接收來自第二影像感測器(諸如，第二感測器3320)之第二資料串流，且結合來自第一資料串流及來自第二資料串流之資料以產生該圖框。舉例而言，圖7之第一資料串流702與第二資料串流704可藉由結合器3310結合以形成圖7之圖框740。
可將來自結合器3310之輸出發送至攜帶型多媒體器件之應用處理器晶片集3308的記憶體器件3314，至影像處理器 3312或兩者。影像處理器3312可經組態以執行額外影像處理操作，諸如由影像處理系統所執行之一或多個操作。影像處理器3312可接收來自結合器3310或來自記憶體器件3314之圖框。影像處理器3312可產生經處理之影像資料，諸如具有3D影像格式或3D視訊格式之經處理圖框。在一實施例中，用於產生經處理之影像資料之平均時間為約20毫秒。影像處理器3312可將經處理之影像資料提供至攜帶型多媒體器件之應用處理器晶片集3308以用於進一步處理、傳輸、儲存、顯示至顯示器件3324，或其任何結合。
參看圖34，描繪包括如本文中所描述之圖框產生器模組之電子器件(諸如，無線電話)的特定說明性實施例之方塊圖且將其一般地指定為3400。器件3400包括耦接至記憶體3432之處理器3410。該處理器包括或耦接至控制器3464。或者，該電子器件可為機上盒、音樂播放器、視訊播放器、娛樂單元、導航器件、通信器件、個人數位助理(PDA)、相機、固定位置資料單元或電腦。
圖34亦展示耦接至處理器3410且耦接至顯示器3428之顯示器控制器3426。編碼器/解碼器(CODEC)3434亦可耦接至處理器3410。揚聲器3439及麥克風3438可耦接至CODEC 3434。相機控制器3470亦可耦接至處理器3410。第一相機3472及第二相機3473可耦接至相機控制器3470。
圖34亦指示無線介面3440可耦接至處理器3410且耦接至無線天線3442。在一特定實施例中，處理器3410、顯示器控制器3426、記憶體3432、CODEC 3434、無線介面3440 及控制器3464包括於系統級封裝或系統單晶片3422中。在一特定實施例中，輸入器件3430及電源供應器3444耦接至系統單晶片3422。此外，在一特定實施例中，如圖34中所說明，顯示器3428、輸入器件3430、揚聲器3439、麥克風3438、無線天線3442及電源供應器3444在系統單晶片3422外部。然而，每一者可耦接至系統單晶片3422之組件，諸如介面或控制器。
在一特定實施例中，處理器3410執行來自處理器可讀媒體之處理器可讀程式指令，諸如儲存於記憶體3432處之程式指令3482。舉例而言，記憶體3432可由處理器3410讀取，且指令3482可為可由處理器3410執行以執行圖22之方法2200的操作指令。舉例而言，指令3482可包括可由處理器3410執行以接收來自第一影像感測器(諸如，相機3473)之第一資料串流，接收來自第二影像感測器(諸如，相機3472)之第二資料串流，且結合來自第一資料串流及來自第二資料串流之資料以產生圖框的指令。舉例而言，該第一影像感測器可為圖2之第一感測器202且該第二影像感測器可為圖2之第二感測器204。指令3482可進一步包括可由處理器3410執行以在處理器3410處或在影像信號處理器(未圖示)處處理該圖框以產生經處理圖框的指令。指令3482可進一步包括可由處理器3410執行以輸出待在顯示器件3428處顯示或在記憶體3432處作為影像資料3480儲存的經處理圖框的指令。
參看圖35，描繪電子器件(諸如，行動電話)之特定說明 性實施例之方塊圖且將其一般地指定為3500。器件3500包括耦接至記憶體3504之處理器3502。處理器3502包括或耦接至影像處理器3506。影像處理器3506可接收單一相機輸入且可輸出3D資料3590。3D資料3590可呈3D影像格式或3D視訊格式。或者，電子器件3500可為機上盒、音樂播放器、視訊播放器、娛樂單元、導航器件、通信器件、個人數位助理(PDA)、相機、固定位置資料單元、電腦或其結合。
圖35亦展示耦接至處理器3502且耦接至顯示器3510之顯示器控制器3508。編碼器/解碼器(CODEC)3512亦可耦接至處理器3502。揚聲器3514及麥克風3516可耦接至CODEC 3512。相機控制器3518亦可耦接至處理器3502。相機控制器3518可包括結合器3520。結合器3520可將影像資料提供至影像處理器3506。作為說明性實例，結合器3520可為圖13之結合器1306，或經組態以結合來自多個相機之資料的其他硬體電路或處理器，如關於圖7所說明。第一相機3522及第二相機3524可耦接至相機控制器3518。
圖35亦指示無線介面3526可耦接至處理器3502且耦接至無線天線3528。在一特定實施例中，處理器3502、顯示器控制器3508、記憶體3504、CODEC 3512、相機控制器3518及無線介面3526包括於系統級封裝或系統單晶片3530中。在一特定實施例中，輸入器件3532及電源供應器3534耦接至系統單晶片3530。此外，在一特定實施例中，如圖35中所說明，顯示器3510、輸入器件3532、揚聲器3514、 麥克風3516、無線天線3528及電源供應器3534在系統單晶片3530外部。然而，每一者可耦接至系統單晶片3530之組件，諸如介面或控制器。
在一特定實施例中，處理器3502執行來自處理器可讀媒體之處理器可讀程式指令，諸如儲存於記憶體3504處之程式指令3536。舉例而言，記憶體3504可由處理器3502讀取，且指令3536可為可由處理器3502執行以執行圖25之方法2500的操作指令。舉例而言，指令3536可包括可由處理器3502執行以接收來自第一影像感測器(諸如，相機3522)之第一資料串流，接收來自第二影像感測器(諸如，相機3524)之第二資料串流，且使用相機控制器3518之結合器3520結合來自第一資料串流及來自第二資料串流之資料以產生圖框的指令。舉例而言，該第一影像感測器可為圖13之第一影像感測器1302，且該第二影像感測器可為圖13之第二影像感測器1304。指令3536可進一步包括可由處理器3502執行以在影像處理器3506處處理該圖框以產生經處理圖框的指令。指令3536可進一步包括可由處理器3502執行以將經處理圖框作為3D資料輸出至顯示器控制器3508以用於在顯示器件3510處顯示或以將經處理圖框在記憶體3504處儲存為影像資料3538的指令。
熟習此項技術者應進一步瞭解，可將結合本文中所揭示之實施例所描述之各種說明性邏輯區塊、組態、模組、電路及演算法步驟實施為電子硬體、由處理器所執行之電腦軟體，或兩者之結合。各種說明性組件、區塊、組態、模 組、電路及步驟已在上文大體按其功能性得以描述。將此功能性實施為硬體抑或由處理器所執行之軟體取決於特定應用及強加於整個系統之設計約束。熟習此項技術者可針對每一特定應用以不同方式實施所描述之功能性，但不應將此等實施決策解譯為引起脫離本發明之範疇。
可藉由執行可以電腦可讀指令之形式儲存於記憶體中的程式碼來執行圖22至圖32之方法。在該狀況下，處理器(諸位，數位信號處理器(DSP)、影像信號處理器(ISP)或其他處理器)可執行儲存於記憶體中之指令，以便執行該等影像處理方法中之一或多者。在一些狀況下，該等方法可由調用各種硬體組件以加速影像處理之DSP或ISP來執行。在其他狀況下，本文中所描述之單元可實施為微處理器、一或多個特殊應用積體電路(ASIC)、一或多個場可程式化閘陣列(FPGA)或其任何結合，或方法可由微處理器、一或多個特殊應用積體電路(ASIC)、一或多個場可程式化閘陣列(FPGA)或其任何結合來執行。
結合本文中所揭示之實施例所描述之方法或演算法的步驟可直接體現於硬體中、藉由處理器所執行之軟體模組中，或該兩者之結合中。軟體模組可駐留於隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、抽取式磁碟、緊密光碟唯讀記憶體(CD-ROM)，或此項技術中已知之任何其他形式的非暫時性電 腦可讀儲存媒體中。例示性儲存媒體耦接至處理器，使得處理器可自儲存媒體讀取資訊及將資訊寫入至儲存媒體。在替代例中，儲存媒體可與處理器成一體式。處理器及儲存媒體可駐留於特殊應用積體電路(ASIC)中。ASIC可駐留於計算器件或使用者終端機中。在替代例中，處理器及儲存媒體可作為離散組件而駐留於計算器件或使用者終端機中。
提供所揭示實施例之先前描述，以使得熟習此項技術者能夠進行或使用所揭示實施例。熟習此項技術者將易於顯而易見對此等實施例之各種修改，且本文中所定義之原理可在不脫離本發明之範疇的情況下應用於其他實施例。因此，本發明不欲限於本文中所展示之實施例，而是將符合可能與如由以下申請專利範圍所定義之原理及新穎特徵一致的最寬範疇。
100‧‧‧影像處理系統
102‧‧‧多相機模組
104‧‧‧感測器模組
106‧‧‧單相機晶片模組/單相機模組
108‧‧‧同步資料行
200‧‧‧影像處理系統
202‧‧‧第一感測器
204‧‧‧第二感測器
206‧‧‧結合器
208‧‧‧影像信號處理器/視訊前端
212‧‧‧第一影像資料串流
214‧‧‧第二影像資料串流
216‧‧‧行緩衝器
218‧‧‧行資料
222‧‧‧第一資料行
224‧‧‧第二資料行
230‧‧‧感測器同步器
232‧‧‧控制/資料信號
234‧‧‧共同控制信號
240‧‧‧經處理行資料
300‧‧‧包括兩個以上感測器之實施例
305‧‧‧第N感測器/第三感測器
315‧‧‧第N影像資料串流
325‧‧‧第N資料行
400‧‧‧影像處理系統之所選擇部分
404‧‧‧控制時脈信號/控制資料/信號
406‧‧‧控制資料信號/控制資料/信號
408‧‧‧相機時脈信號/控制資料/信號
410‧‧‧相機重設信號/控制資料/信號
420‧‧‧第一時序資料
422‧‧‧第一感測器影像資料
430‧‧‧第二時序資料
432‧‧‧第二感測器影像資料
500‧‧‧影像處理系統
506‧‧‧精簡型輸出格式器
508‧‧‧輸送封包化器及格式器
510‧‧‧暫存器介面
512‧‧‧時脈管理器件
526‧‧‧時脈信號
527‧‧‧時脈信號
528‧‧‧結合器時序資料信號
530‧‧‧結合器影像資料信號
536‧‧‧輸出格式器時序資料信號/經格式化資料
538‧‧‧輸出格式器影像資料信號/經格式化資料
540‧‧‧輸出格式器靜置資料信號/經格式化資料
542‧‧‧輸出格式器開始資料信號/經格式化資料
544‧‧‧輸出格式器有效資料信號/經格式化資料
546‧‧‧輸送時序資料信號
548‧‧‧輸送影像資料信號
572‧‧‧暫存器匯流排
600‧‧‧第一影像感測器之輸出端處的第一資料串流與第二影像感測器之輸出端處之第二資料串流經結合以形成同步資料行的特定實施例之圖解表示
602‧‧‧第一資料串流
604‧‧‧第二資料串流
606‧‧‧資料輸出端資料串流
610‧‧‧具有第一行索引值之行資料
612‧‧‧具有第二行索引值之行資料
614‧‧‧具有第三行索引值之行資料
616‧‧‧具有第四行索引值之行資料
620‧‧‧具有第一行索引值之對應行資料
622‧‧‧具有第二行索引值之對應行資料
624‧‧‧具有第三行索引值之對應行資料
626‧‧‧具有第四行索引值之對應行資料
630‧‧‧具有第一行索引值之經結合行資料
632‧‧‧具有第二行索引值之經結合行資料
634‧‧‧具有第三行索引值之經結合行資料
642‧‧‧列
650‧‧‧經處理圖框
652‧‧‧第一區段
654‧‧‧第二區段
656‧‧‧間隙區段
660‧‧‧圖框
700‧‧‧第一影像感測器之輸出端處的第一資料串流與第二影像感測器之輸出端處之第二資料串流經結合以形成同步資料行的第二實施例之圖解表示
702‧‧‧第一資料串流
704‧‧‧第二資料串流
706‧‧‧資料輸出端資料串流
708‧‧‧間隙區段
710‧‧‧具有第一行索引值之行資料
712‧‧‧具有第二行索引值之行資料
714‧‧‧具有第三行索引值之行資料
716‧‧‧具有第四行索引值之行資料
720‧‧‧具有第一行索引值之對應行資料
722‧‧‧具有第二行索引值之對應行資料
724‧‧‧具有第三行索引值之對應行資料
726‧‧‧具有第四行索引值之對應行資料
730‧‧‧具有第一行索引值之經結合行資料
732‧‧‧具有第二行索引值之經結合行資料
734‧‧‧具有第三行索引值之經結合行資料
740‧‧‧圖框
742‧‧‧列
800‧‧‧說明來自第一感測器之第一資料串流與來自第二感測器之第二資料串流之間的兩行相位差之相位圖之第一實施例的圖解表示
802‧‧‧第一感測器第一行資料
804‧‧‧第一感測器第二行資料
806‧‧‧第一感測器第三行資料
812‧‧‧第二感測器第一行資料
814‧‧‧第二感測器第二行資料
816‧‧‧第二感測器第三行資料
820‧‧‧經結合行
822‧‧‧經結合行資料
824‧‧‧經結合行資料
826‧‧‧經結合行資料
900‧‧‧說明來自第一感測器之第一資料串流與來自第二感測器之第二資料串流之間的一行相位差之相位圖之第一實施例的圖解表示
902‧‧‧第一感測器第一行資料
904‧‧‧第一感測器第二行資料
906‧‧‧第一感測器第三行資料
908‧‧‧第一感測器第四行資料
912‧‧‧第二感測器第一行資料
914‧‧‧第二感測器第二行資料
916‧‧‧第二感測器第三行資料
918‧‧‧第二感測器第四行資料
920‧‧‧經結合行
922‧‧‧經結合行資料
924‧‧‧經結合行資料
926‧‧‧經結合行資料
928‧‧‧經結合行資料
1000‧‧‧說明用於複數個感測器中之每一者之紅綠藍(RGB)資料且說明同步資料行的圖解表示
1002‧‧‧第一感測器第一行資料
1004‧‧‧第一感測器第二行資料
1006‧‧‧第一感測器第三行資料
1012‧‧‧第二感測器第一行資料
1014‧‧‧第二感測器第二行資料
1016‧‧‧第二感測器第三行資料
1020‧‧‧經結合行/經結合行資料串流
1022‧‧‧第三感測器第一行資料
1024‧‧‧第三感測器第二行資料
1026‧‧‧第三感測器第三行資料
1040‧‧‧經結合行資料
1050‧‧‧經結合行資料
1060‧‧‧經結合行資料
1100‧‧‧說明與具有多個感測器之裝置相關聯的信號時序之時序圖的特定實施例
1102‧‧‧第一感測器之圖框有效(FV)信號
1104‧‧‧第一感測器之行有效(LV)信號
1106‧‧‧第二感測器之FV
1108‧‧‧第二感測器之LV
1110‧‧‧第三感測器之FV
1112‧‧‧第三感測器之LV
1114‧‧‧經結合之圖框有效信號
1116‧‧‧行有效/資料信號
1118‧‧‧行負載(LL)信號
1120‧‧‧第一感測器之第一行資料
1122‧‧‧第一感測器之第二行資料
1124‧‧‧第一感測器之第三行資料
1130‧‧‧第二感測器之第一行資料
1132‧‧‧第二感測器之第二行資料
1134‧‧‧第二感測器之第三行資料
1140‧‧‧第三感測器之第一行資料
1142‧‧‧第三感測器之第二行資料
1144‧‧‧第三感測器之第三行資料
1150‧‧‧第一同步資料行
1160‧‧‧第二同步資料行
1170‧‧‧第三同步資料行
1180‧‧‧第一相位差
1182‧‧‧第二相位差
1200‧‧‧說明來自第一感測器之第一資料串流、來自 第二感測器之第二資料串流與來自第三感測器之第三資料串流之間的三行相位差之相位圖之第一實施例的圖解表示
1202‧‧‧第一感測器第一行資料
1204‧‧‧第一感測器第二行資料
1206‧‧‧第一感測器第三行資料
1208‧‧‧第一感測器第四行資料
1212‧‧‧第二感測器第一行資料
1214‧‧‧第二感測器第二行資料
1216‧‧‧第二感測器第三行資料
1218‧‧‧第二感測器第四行資料
1220‧‧‧經結合行
1222‧‧‧第三感測器第一行資料
1224‧‧‧第三感測器第二行資料
1226‧‧‧第三感測器第三行資料
1228‧‧‧第三感測器第四行資料
1232‧‧‧經結合行資料
1234‧‧‧經結合行資料
1236‧‧‧經結合行資料
1300‧‧‧影像處理系統
1302‧‧‧第一影像感測器
1304‧‧‧第二影像感測器
1306‧‧‧結合器
1308‧‧‧影像處理器
1310‧‧‧顯示器件
1312‧‧‧行緩衝器
1314‧‧‧第一影像資料串流
1316‧‧‧第二影像資料串流
1318‧‧‧圖框資料
1320‧‧‧經處理圖框資料
1400‧‧‧說明具有用以結合來自多個影像感測器之資料之影像處理系統的行動器件的各種實施例之圖解表示
1402‧‧‧行動器件
1404‧‧‧行動器件
1406‧‧‧行動器件
1408‧‧‧行動器件
1500‧‧‧影像陣列
1502‧‧‧第一列
1504‧‧‧第二列
1506‧‧‧第三列
1508‧‧‧第四列
1510‧‧‧第一行
1512‧‧‧第二行
1514‧‧‧第三行
1516‧‧‧第四行
1518‧‧‧單一相機影像
1520‧‧‧單一相機影像重疊
1522‧‧‧水平解析度
1524‧‧‧總水平解析度
1600‧‧‧影像陣列
1602‧‧‧旋轉
1604‧‧‧移位
1606‧‧‧定位容限
1700‧‧‧相機陣列
1702‧‧‧資料介面
1704‧‧‧控制介面
1706‧‧‧陣列之第一列
1708‧‧‧陣列之第二列
1710‧‧‧陣列之第三列
1712‧‧‧陣列之第一行
1714‧‧‧陣列之第二行
1716‧‧‧陣列之第三行
1800‧‧‧相機陣列處理系統
1802‧‧‧相機陣列
1804‧‧‧第一列
1806‧‧‧第二列
1808‧‧‧第三列
1810‧‧‧第四列
1812‧‧‧第五列
1814‧‧‧第一行
1816‧‧‧第二行
1818‧‧‧第三行
1820‧‧‧第四行
1822‧‧‧第五行
1824‧‧‧第一對準區塊
1826‧‧‧第二對準區塊
1828‧‧‧第三對準區塊
1830‧‧‧第四對準區塊
1832‧‧‧第五對準區塊
1834‧‧‧第一VFE組件
1836‧‧‧第二VFE組件
1838‧‧‧第三VFE組件
1840‧‧‧第四VFE組件
1842‧‧‧第五VFE組件
1844‧‧‧控制同步區塊
1846‧‧‧第一GPU組件
1848‧‧‧第二GPU組件
1850‧‧‧第三GPU組件
1852‧‧‧第四GPU組件
1854‧‧‧第五GPU組件
1856‧‧‧GPU處理組件
1900‧‧‧相機陣列處理系統
1902‧‧‧相機陣列
1904‧‧‧第一列
1906‧‧‧第二列
1908‧‧‧第三列
1910‧‧‧第四列
1912‧‧‧第五列
1914‧‧‧第一行
1916‧‧‧第二行
1918‧‧‧第三行
1920‧‧‧第四行
1922‧‧‧第五行
1924‧‧‧第一對準區塊
1926‧‧‧第二對準區塊
1928‧‧‧第三對準區塊
1930‧‧‧第四對準區塊
1932‧‧‧第五對準區塊
1934‧‧‧單一VFE組件
1936‧‧‧控制同步區塊
1938‧‧‧單一GPU組件
1940‧‧‧GPU處理組件
2000‧‧‧高解析度數位相機系統
2002‧‧‧主透鏡
2004‧‧‧入射光
2006‧‧‧相機陣列
2008‧‧‧平面
2100‧‧‧多相機模組/系統
3300‧‧‧影像處理系統
3302‧‧‧影像感測器器件
3304‧‧‧第一透鏡
3306‧‧‧第二透鏡
3308‧‧‧攜帶型多媒體器件之應用處理器晶片集
3310‧‧‧結合器
3312‧‧‧影像處理器
3314‧‧‧記憶體器件
3316‧‧‧第一感測器
3318‧‧‧第一類比轉數位轉換器
3320‧‧‧第二感測器
3322‧‧‧第二類比轉數位轉換器
3324‧‧‧顯示器件
3330‧‧‧感測器同步器
3400‧‧‧電子器件
3410‧‧‧處理器
3422‧‧‧系統級封裝/系統單晶片
3426‧‧‧顯示器控制器
3428‧‧‧顯示器/顯示器件
3430‧‧‧輸入器件
3432‧‧‧記憶體
3434‧‧‧編碼器/解碼器(CODEC)
3438‧‧‧麥克風
3439‧‧‧揚聲器
3440‧‧‧無線介面
3442‧‧‧無線天線
3444‧‧‧電源供應器
3464‧‧‧控制器
3470‧‧‧相機控制器
3472‧‧‧第一相機
3473‧‧‧第二相機
3480‧‧‧影像資料
3482‧‧‧程式指令
3500‧‧‧電子器件
3502‧‧‧處理器
3504‧‧‧記憶體
3506‧‧‧影像處理器
3508‧‧‧顯示器控制器
3510‧‧‧顯示器/顯示器件
3512‧‧‧編碼器/解碼器(CODEC)
3514‧‧‧揚聲器
3516‧‧‧麥克風
3518‧‧‧相機控制器
3520‧‧‧結合器
3522‧‧‧第一相機
3524‧‧‧第二相機
3526‧‧‧無線介面
3528‧‧‧無線天線
3530‧‧‧系統級封裝/系統單晶片
3532‧‧‧輸入器件
3534‧‧‧電源供應器
3536‧‧‧程式指令
3538‧‧‧影像資料
3590‧‧‧3D資料
圖1為用以結合來自多個影像感測器之資料的影像處理系統之特定說明性實施例的方塊圖；圖2為用以結合來自多個影像感測器之資料的影像處理系統之第二說明性實施例的方塊圖；圖3為用以結合來自多個影像感測器之資料的影像處理系統之第三說明性實施例的方塊圖；圖4為圖2之影像處理系統之所選擇部分的特定說明性實施例之方塊圖，其中第一影像感測器及第二影像感測器接收共同控制資料； 圖5為用以結合來自多個影像感測器之資料的影像處理系統之第四說明性實施例的方塊圖；圖6為第一影像感測器之輸出端處的第一資料串流與第二影像感測器之輸出端處之第二資料串流經結合以形成同步資料行的第一實施例之圖解表示；圖7為第一影像感測器之輸出端處的第一資料串流與第二影像感測器之輸出端處之第二資料串流經結合以形成同步資料行的第二實施例之圖解表示；圖8為說明來自第一感測器之第一資料串流與來自第二感測器之第二資料串流之間的兩行相位差之相位圖之第一實施例的圖解表示；圖9為說明來自第一感測器之第一資料串流與來自第二感測器之第二資料串流之間的一行相位差之相位圖之第二實施例的圖解表示；圖10為說明複數個感測器中之每一者之像素資料且說明同步資料行的圖解表示；圖11為說明用於多個感測器之圖框有效及行有效信號時序之時序圖；圖12為說明來自第一感測器之第一資料串流與來自第二感測器之第二資料串流之間的三行相位差之相位圖之第三實施例的圖解表示；圖13為用以結合來自多個影像感測器之資料以產生三維影像格式的影像處理系統之特定說明性實施例的方塊圖；圖14為說明行動器件之各種實施例之圖解表示，該等行 動器件具有用以結合來自多個影像感測器之資料的影像處理系統；圖15為說明藉由相機陣列所俘獲之包括影像之間的重疊的多個影像之一實例之圖解表示；圖16為說明藉由相機陣列所俘獲之包括影像之間的重疊的多個影像之一實例之圖解表示，其中每一影像可具有其自己之移位分量及旋轉分量；圖17為說明相機陣列及與該相機陣列相關聯之電連接之特定實施例的方塊圖；圖18為相機陣列處理系統之第一特定說明性實施例之方塊圖；圖19為相機陣列處理系統之第一特定說明性實施例之方塊圖；圖20為說明包括主透鏡及以陣列配置之多個相機之相機系統的圖解表示；圖21為說明汽車中之多相機模組之圖解表示；圖22為將來自多個感測器之資料結合成同步資料行之方法的特定說明性實施例之流程圖；圖23為將共同控制信號提供至多個影像感測器且經由影像處理器之單一相機輸入將同步資料行提供至影像處理器之方法的特定說明性實施例之流程圖；圖24為將共同控制信號提供至多個影像感測器且接收來自該多個影像感測器中之每一者的同步資料輸出之方法的特定說明性實施例之流程圖； 圖25為在多個影像感測器處接收共同控制信號且產生來自該多個影像感測器中之每一者的同步資料輸出之方法的特定說明性實施例之流程圖；圖26為在具有用於單一相機之輸入的影像信號處理器處結合來自多個感測器之資料之方法的特定說明性實施例之流程圖；圖27為將來自多個感測器之資料結合成圖框之方法的特定說明性實施例之流程圖；圖28為同步第一影像感測器及第二影像感測器之逐行曝光之方法的特定說明性實施例之流程圖；圖29為結合來自多個感測器之資料以產生三維影像資料之方法的第一說明性實施例之流程圖；圖30為結合來自多個感測器之資料以產生三維影像資料之方法的第二說明性實施例之流程圖；圖31為同步第一影像感測器及第二影像感測器之逐行曝光之方法的特定說明性實施例之流程圖；圖32為結合來自多個感測器之資料以自同步資料行產生三維影像資料之方法的特定說明性實施例之流程圖；圖33為用以結合來自多個影像感測器之資料的影像處理系統之特定說明性實施例的方塊圖；圖34為無線器件之第一說明性實施例之方塊圖，該無線器件包括用以結合來自多個影像感測器之資料的影像處理系統；及圖35為無線器件之第二說明性實施例之方塊圖，該無線 器件包括用以結合來自多個影像感測器之資料的影像處理系統。
1900‧‧‧相機陣列處理系統
1902‧‧‧相機陣列
1904‧‧‧第一列
1906‧‧‧第二列
1908‧‧‧第三列
1910‧‧‧第四列
1912‧‧‧第五列
1914‧‧‧第一行
1916‧‧‧第二行
1918‧‧‧第三行
1920‧‧‧第四行
1922‧‧‧第五行
1924‧‧‧第一對準區塊
1926‧‧‧第二對準區塊
1928‧‧‧第三對準區塊
1930‧‧‧第四對準區塊
1932‧‧‧第五對準區塊
1934‧‧‧單一VFE組件
1936‧‧‧控制同步區塊
1938‧‧‧單一GPU組件
1940‧‧‧GPU處理組件

Claims (35)

  1. 一種結合資料之方法，其包含：將一共同控制信號提供至多個影像感測器，其中該多個影像感測器中之每一者係回應於該共同控制信號以產生影像資料；接收來自該多個影像感測器中之每一者之同步資料輸出；使用一校準矩陣修整該同步資料輸出，其中該校準矩陣考量該多個影像感測器之非理想位置及對準；及形成一經結合之影像框，其中該經結合之影像框包含多個影像區段及多個間隙區段，該等影像區段包括來自該多個影像感測器之影像資料，該等間隙區段包括安置於該等影像區段之間且經組態以對準該等影像區段之非影像資料，其中該經結合之影像框具有多個列，及其中每一列包括來自該多個影像感測器之同步資料行。
  2. 如請求項1之方法，其中該同步資料輸出包括自一第一影像感測器所接收之第一資料行及自一第二影像感測器所接收之第二資料行，且其中來自該第一影像感測器之每一所接收資料行與來自該第二影像感測器之每一對應資料行之間的一相位偏移為實質上恆定的。
  3. 如請求項1之方法，其中該多個影像感測器俘獲來自一主透鏡之一共同焦點平面之影像資料以產生該資料輸出。
  4. 如請求項1之方法，其中該共同控制信號係由一感測器 同步器提供，該感測器同步器經由一積體電路間(I2C)控制介面耦接至該多個影像感測器中之每一者。
  5. 如請求項1之方法，其中該該同步資料輸出包括多個資料行，其中每一資料行包括對應於一第一影像感測器之一第一行之第一資料、對應於一第二影像感測器之一第一行之第二資料及該第一資料與該第二資料間之非影像資料之多個位元共同控制信號包括一相機重設信號、一相機時脈信號、一控制時脈信號及一控制資料信號。
  6. 如請求項1之方法，其中該共同控制信號係由一感測器同步器提供，該感測器同步器經由順應一相機串列介面(CSI)規範之一介面耦接至該多個影像感測器中之每一者。
  7. 如請求項1之方法，其中該共同控制信號係由一感測器同步器提供，該感測器同步器經由順應一相機並列介面(CPI)規範之一介面耦接至該多個影像感測器中之每一者。
  8. 一種結合資料之方法，其包含：在多個影像感測器處接收一共同控制信號，其中該多個影像感測器中之每一者係回應於該共同控制信號以產生影像資料；及產生來自該多個影像感測器中之每一者之同步資料輸出，其中來自該多個影像感測器中之每一者之該資料輸出對應於一影像資料，及其中該多個影像感測器中之每一者俘獲來自一主透鏡之一共同焦點平面之一不同部分 之相對應的影像資料，其中一經結合之影像框包含多個影像區段及多個間隙區段，該等影像區段包括來自該多個影像感測器之影像資料，該等間隙區段包括安置於該等影像區段之間且經組態以對準該等影像區段之非影像資料，其中該經結合之影像框具有多個列，及其中每一列包括來自該多個影像感測器之同步資料行。
  9. 如請求項8之方法，其中該同步資料輸出包括藉由一第一影像感測器所產生之第一資料行及藉由一第二影像感測器所產生之第二資料行，且其中自該第一影像感測器所輸出之每一資料行與自該第二影像感測器所輸出之每一對應資料行之間的一相位偏移為實質上恆定的。
  10. 如請求項8之方法，其中該共同控制信號係自耦接至該多個影像感測器中之每一者的一感測器同步器接收。
  11. 如請求項8之方法，其中該共同控制信號係經由一積體電路間(I2C)控制介面在該多個影像感測器中之每一者處接收。
  12. 如請求項11之方法，其中該共同控制信號包括一相機重設信號、一相機時脈信號、一控制時脈信號及一控制資料信號。
  13. 如請求項8之方法，其中該共同控制信號係經由順應一相機串列介面(CSI)規範之一介面在該多個影像感測器中之每一者處接收。
  14. 如請求項8之方法，其中該共同控制信號係經由順應一 相機並列介面(CPI)規範之一介面在該多個影像感測器中之每一者處接收。
  15. 一種用於結合資料之裝置，其包含：一感測器同步器，該感測器同步器經組態以將一共同控制信號提供至多個影像感測器以使該多個影像感測器產生影像資料；一感測器資料介面，該感測器資料介面經組態以接收來自該多個影像感測器中之每一者之同步資料輸出；一記憶體器件，該記憶體器件用以儲存一校準矩陣，其中該校準矩陣可用以修整該資料輸出以考量該多個影像感測器之非理想位置及對準；及一影像處理器，該影像處理器經組態以形成一經結合之影像框，其中該經結合之影像框包含多個影像區段及多個間隙區段，該等影像區段包括來自該多個影像感測器之影像資料，該等間隙區段包括安置於該等影像區段之間且經組態以對準該等影像區段之非影像資料，其中該經結合之影像框具有多個列，及其中每一列包括來自該多個影像感測器之同步資料行。
  16. 如請求項15之裝置，其中該感測器同步器經由一積體電路間(I2C)控制介面耦接至該多個影像感測器中之每一者。
  17. 如請求項15之裝置，其中該共同控制信號包括一相機重設信號、一相機時脈信號、一控制時脈信號及一控制資料信號。
  18. 如請求項15之裝置，其中該感測器同步器經由順應一相機串列介面(CSI)規範之一介面耦接至該多個影像感測器中之每一者。
  19. 如請求項15之裝置，其中該感測器同步器經由順應一相機並列介面(CPI)規範之一介面耦接至該多個影像感測器中之每一者。
  20. 一種用於結合資料之裝置，其包含：一第一影像感測器；一第二影像感測器，其中該第一影像感測器及該第二影像感測器經組態以接收一共同控制信號且回應於該共同控制信號以產生同步資料輸出，其中來自該第一影像感測器及該第二影像感測器之該資料輸出對應於一影像資料，及其中該第一影像感測器及該第二影像感測器俘獲來自一主透鏡之一共同焦點平面之不同部分之相對應的影像資料；及一影像處理器，該影像處理器經組態以形成一經結合之影像框，其中該經結合之影像框包含多個影像區段及多個間隙區段，該等影像區段包括來自該第一影像感測器及該第二影像感測器之影像資料，該等間隙區段包括安置於該等影像區段之間且經組態以對準該等影像區段之非影像資料，其中該經結合之影像框具有多個列，及其中每一列包括來自該第一影像感測器及該第二影像感測器之同步資料行。
  21. 如請求項20之裝置，其中該同步資料輸出包括藉由該第 一影像感測器所產生之第一資料行及藉由該第二影像感測器所產生之第二資料行，且其中自該第一影像感測器所輸出之每一資料行與自該第二影像感測器所輸出之每一對應資料行之間的一相位偏移為實質上恆定的。
  22. 如請求項20之裝置，其中該第一影像感測器及該第二影像感測器經組態以經由一積體電路間(I2C)控制介面接收該共同控制信號。
  23. 如請求項20之裝置，其中該第一影像感測器及該第二影像感測器經組態以經由順應一相機串列介面(CSI)規範之一介面接收該共同控制信號。
  24. 如請求項20之裝置，其中該第一影像感測器及該第二影像感測器經組態以經由順應一相機並列介面(CPI)規範之一介面接收該共同控制信號。
  25. 一種用於結合資料之裝置，其包含：用於將一共同控制信號提供至多個影像感測器以使該多個影像感測器產生影像資料的構件；用於接收來自該多個影像感測器中之每一者之同步資料輸出的構件；用於使用一校準矩陣修整該同步資料輸出的構件，其中該校準矩陣考量該多個影像感測器之非理想位置及對準；及用於形成一經結合之影像框的構件，其中該經結合之影像框包含多個影像區段及多個間隙區段，該等影像區段包括來自該多個影像感測器之影像資料，該等間隙區 段包括安置於該等影像區段之間且經組態以對準該等影像區段之非影像資料，其中該經結合之影像框具有多個列，及其中每一列包括來自該多個影像感測器之同步資料行。
  26. 如請求項25之裝置，其中用於提供該共同控制信號的該構件經由一積體電路間(I2C)控制介面耦接至該多個影像感測器中之每一者。
  27. 如請求項25之裝置，其中用於提供該共同控制信號的該構件經由順應一相機串列介面(CSI)規範之一介面耦接至該多個影像感測器中之每一者。
  28. 如請求項25之裝置，其中用於提供該共同控制信號的該構件經由順應一相機並列介面(CPI)規範之一介面耦接至該多個影像感測器中之每一者。
  29. 一種用於結合資料之裝置，其包含：用於產生第一影像資料的構件；用於產生第二影像資料的構件，其中用於產生該第一影像資料的該構件及用於產生該第二影像資料的該構件經組態以接收一共同控制信號且回應於該共同控制信號以產生同步資料輸出；及用於將光聚焦於一共同焦點平面的構件，其中該第一影像資料對應於該共同焦點平面之一第一部分，及該第二影像資料對應於該共同焦點平面之一第二部分，其中一經結合之影像框包含多個影像區段及多個間隙區段，該等影像區段包括來自用於產生第一影像資料的 該構件及用於產生第二影像資料的該構件之影像資料，該等間隙區段包括安置於該等影像區段之間且經組態以對準該等影像區段之非影像資料，其中該經結合之影像框具有多個列，及其中每一列包括來自用於產生第一影像資料的該構件及用於產生第二影像資料的該構件之同步資料行。
  30. 如請求項29之裝置，其中該同步資料輸出包括藉由用於產生該第一影像資料的該構件所產生之第一資料行及藉由用於產生該第二影像資料的該構件所產生之第二資料行，且其中自用於產生該第一影像資料的該構件所輸出之每一資料行與自用於產生該第二影像資料的該構件所輸出之每一對應資料行之間的一相位偏移為實質上恆定的。
  31. 如請求項29之裝置，其中用於產生該第一影像資料的該構件及用於產生該第二影像資料的該構件經組態以經由一積體電路間(I2C)控制介面接收該共同控制信號。
  32. 一種非暫時性電腦可讀媒體，該非暫時性電腦可讀媒體包含指令，該等指令在由一處理器執行時使該處理器：將一共同控制信號提供至多個影像感測器，其中該多個影像感測器中之每一者係回應於該共同控制信號以產生影像資料；接收來自該多個影像感測器中之每一者之同步資料輸出；使用一校準矩陣修整該同步資料輸出，其中該校準矩 陣考量該多個影像感測器之非理想位置及對準；及形成一經結合之影像框，其中該經結合之影像框包含多個影像區段及多個間隙區段，該等影像區段包括來自該多個影像感測器之影像資料，該等間隙區段包括安置於該等影像區段之間且經組態以對準該等影像區段之非影像資料，其中該經結合之影像框具有多個列，及其中每一列包括來自該多個影像感測器之同步資料行。
  33. 如請求項32之非暫時性電腦可讀媒體，其中該同步資料輸出包括自一第一影像感測器所接收之第一資料行及自一第二影像感測器所接收之第二資料行，且其中來自該第一影像感測器之每一所接收資料行與來自該第二影像感測器之每一對應資料行之間的一相位偏移為實質上恆定的。
  34. 一種非暫時性電腦可讀媒體，該非暫時性電腦可讀媒體包含指令，該等指令在由一處理器執行時使該處理器：在多個影像感測器處接收一共同控制信號，其中該多個影像感測器中之每一者係回應於該共同控制信號以產生影像資料；及產生來自該多個影像感測器中之每一者之同步資料輸出，其中來自該多個影像感測器中之每一者之該資料輸出對應於一影像資料，及其中該多個影像感測器中之每一者俘獲來自一主透鏡之一共同焦點平面之一不同部分之相對應的影像資料，其中一經結合之影像框包含多個影像區段及多個間隙 區段，該等影像區段包括來自該多個影像感測器之影像資料，該等間隙區段包括安置於該等影像區段之間且經組態以對準該等影像區段之非影像資料，其中該經結合之影像框具有多個列，及其中每一列包括來自該多個影像感測器之同步資料行。
  35. 如請求項34之非暫時性電腦可讀媒體，其中該同步資料輸出包括藉由一第一影像感測器所產生之第一資料行及藉由一第二影像感測器所產生之第二資料行，且其中自該第一影像感測器所輸出之每一資料行與自該第二影像感測器所輸出之每一對應資料行之間的一相位偏移為實質上恆定的。
TW100111891A 2010-04-05 2011-04-06 結合來自多個影像感測器之資料 TWI442766B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US32094010P 2010-04-05 2010-04-05
US32425910P 2010-04-14 2010-04-14
US35931210P 2010-06-28 2010-06-28
US41275510P 2010-11-11 2010-11-11
US13/079,629 US9001227B2 (en) 2010-04-05 2011-04-04 Combining data from multiple image sensors

Publications (2)

Publication Number Publication Date
TW201212643A TW201212643A (en) 2012-03-16
TWI442766B true TWI442766B (zh) 2014-06-21

Family

ID=44709236

Family Applications (3)

Application Number Title Priority Date Filing Date
TW100111891A TWI442766B (zh) 2010-04-05 2011-04-06 結合來自多個影像感測器之資料
TW100111892A TW201205308A (en) 2010-04-05 2011-04-06 Combining data from multiple image sensors
TW100111894A TWI508520B (zh) 2010-04-05 2011-04-06 結合來自多個影像感測器之資料

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW100111892A TW201205308A (en) 2010-04-05 2011-04-06 Combining data from multiple image sensors
TW100111894A TWI508520B (zh) 2010-04-05 2011-04-06 結合來自多個影像感測器之資料

Country Status (15)

Country Link
US (3) US20110242355A1 (zh)
EP (3) EP2556658A1 (zh)
JP (3) JP2013528021A (zh)
KR (3) KR101512222B1 (zh)
CN (3) CN102859987A (zh)
AR (3) AR081161A1 (zh)
AU (1) AU2011237801A1 (zh)
BR (2) BR112012025182A2 (zh)
CA (1) CA2794682A1 (zh)
IL (1) IL222289A0 (zh)
RU (1) RU2012146968A (zh)
SG (1) SG184225A1 (zh)
TW (3) TWI442766B (zh)
WO (3) WO2011127077A1 (zh)
ZA (1) ZA201208298B (zh)

Families Citing this family (237)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110242355A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8451994B2 (en) 2010-04-07 2013-05-28 Apple Inc. Switching cameras during a video conference of a multi-camera mobile device
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US8555067B2 (en) 2010-10-28 2013-10-08 Apple Inc. Methods and apparatus for delivering electronic identification components over a wireless network
KR101720190B1 (ko) * 2010-11-04 2017-03-27 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
US9313390B2 (en) * 2011-04-08 2016-04-12 Qualcomm Incorporated Systems and methods to calibrate a multi camera device
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
JP5821300B2 (ja) * 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
JP6021489B2 (ja) * 2011-10-03 2016-11-09 キヤノン株式会社 撮像装置、画像処理装置およびその方法
US9495018B2 (en) 2011-11-01 2016-11-15 Qualcomm Incorporated System and method for improving orientation data
JP5918982B2 (ja) * 2011-11-22 2016-05-18 キヤノン株式会社 撮像装置、再生装置、その制御方法、撮像システム、及びプログラム
DE102012003127A1 (de) * 2012-02-16 2013-09-05 Leica Camera Ag Verfahren für eine Autofokuseinrichtung
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US11282287B2 (en) 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
JP6007509B2 (ja) * 2012-02-27 2016-10-12 株式会社リコー シリアルｉ／ｆバス制御装置及び撮像装置
US9253450B2 (en) 2012-04-18 2016-02-02 Utc Fire & Security Americas Corporation, Inc. Total bus surveillance system
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US20130327831A1 (en) * 2012-06-11 2013-12-12 Datalogic ADC, Inc. Dynamic imager switching
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9229526B1 (en) * 2012-09-10 2016-01-05 Amazon Technologies, Inc. Dedicated image processor
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140085497A1 (en) * 2012-09-26 2014-03-27 Omnivision Technologies, Inc. Systems And Methods For Sychronizing Multiple Video Sensors
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US20140092439A1 (en) * 2012-09-28 2014-04-03 Scott A. Krig Encoding images using a 3d mesh of polygons and corresponding textures
US9275459B2 (en) * 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
CN113472989A (zh) 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
US9195254B2 (en) * 2012-12-21 2015-11-24 Qualcomm, Incorporated Method and apparatus for multi-level de-emphasis
US9686460B2 (en) * 2012-12-27 2017-06-20 Intel Corporation Enabling a metadata storage subsystem
US9244694B2 (en) * 2012-12-27 2016-01-26 Intel Corporation Executing a command within a transport mechanism based on a get and set architecture
US9547160B2 (en) 2013-01-05 2017-01-17 Light Labs Inc. Methods and apparatus for capturing and/or processing images
CN110213565B (zh) 2013-01-15 2021-03-09 移动眼视力科技有限公司 成像系统和用于深度计算的方法
KR20140094395A (ko) * 2013-01-22 2014-07-30 삼성전자주식회사 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
CN109040553B (zh) 2013-06-13 2021-04-13 核心光电有限公司 双孔径变焦数字摄影机
CN108388005A (zh) 2013-07-04 2018-08-10 核心光电有限公司 小型长焦透镜套件
JP5953270B2 (ja) * 2013-07-04 2016-07-20 オリンパス株式会社 撮像装置
US10033989B2 (en) * 2013-07-05 2018-07-24 Mediatek Inc. Synchronization controller for multi-sensor camera device and related synchronization method
WO2015008587A1 (ja) * 2013-07-16 2015-01-22 富士フイルム株式会社 撮影装置及び３次元計測装置
CN109120823B (zh) 2013-08-01 2020-07-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9578252B2 (en) 2013-10-18 2017-02-21 Light Labs Inc. Methods and apparatus for capturing images using optical chains and/or for using captured images
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9423588B2 (en) * 2013-10-18 2016-08-23 The Lightco Inc. Methods and apparatus for supporting zoom operations
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9686471B2 (en) 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
CN104994369B (zh) * 2013-12-04 2018-08-21 南京中兴软件有限责任公司 一种图像处理方法、用户终端、图像处理终端及系统
CN103702073A (zh) * 2013-12-11 2014-04-02 天津大学 一拖多个成像传感器同步成像的一体化相机电路
KR101530163B1 (ko) * 2013-12-12 2015-06-17 (주)씨프로 Cctv용 파노라마 카메라 장치
KR101528556B1 (ko) * 2013-12-12 2015-06-17 (주)씨프로 Cctv용 파노라마 카메라 장치
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
CN103916498B (zh) * 2014-03-28 2017-02-15 宁波萨瑞通讯有限公司 串口摄像头和并口摄像头兼容方法
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
WO2016004422A1 (en) 2014-07-04 2016-01-07 The Lightco Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN105335779B (zh) * 2014-08-14 2018-03-02 夏志刚 数卡器及使用数卡器进行数卡的方法
US9313391B1 (en) * 2014-08-14 2016-04-12 Amazon Technologies, Inc. Camera interfaces for electronic devices
US9992483B2 (en) * 2014-09-03 2018-06-05 Intel Corporation Imaging architecture for depth camera mode with mode switching
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9912865B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for supporting burst modes of camera operation
US10944911B2 (en) * 2014-10-24 2021-03-09 Texas Instruments Incorporated Image data processing for digital overlap wide dynamic range sensors
US9842071B2 (en) * 2014-11-11 2017-12-12 Microchip Technology Incorporated Multi-channel I2S transmit control system and method
EP3235243A4 (en) 2014-12-17 2018-06-20 Light Labs Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
CN112327463B (zh) 2015-01-03 2022-10-14 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
US9491495B2 (en) 2015-01-16 2016-11-08 Analog Devices Global Method and apparatus for providing input to a camera serial interface transmitter
JP2016178371A (ja) * 2015-03-18 2016-10-06 キヤノン株式会社 撮像装置
WO2016156996A1 (en) 2015-04-02 2016-10-06 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
ES2907810T3 (es) 2015-04-16 2022-04-26 Corephotonics Ltd Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US10091447B2 (en) * 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US10043307B2 (en) 2015-04-17 2018-08-07 General Electric Company Monitoring parking rule violations
US10380430B2 (en) 2015-04-17 2019-08-13 Current Lighting Solutions, Llc User interfaces for parking zone creation
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
EP3091510B1 (en) * 2015-05-06 2021-07-07 Reactive Reality AG Method and system for producing output images
WO2016189878A1 (ja) * 2015-05-27 2016-12-01 京セラ株式会社 演算装置、カメラ装置、車両及びキャリブレーション方法
EP3304161B1 (en) 2015-05-28 2021-02-17 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization in a digital camera
CN107615748B (zh) * 2015-06-10 2020-10-09 索尼公司 图像处理装置和方法
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
KR102263924B1 (ko) 2015-08-13 2021-06-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
EP3335077B1 (en) 2015-09-06 2019-08-14 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
KR102480600B1 (ko) * 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
KR102433293B1 (ko) * 2015-12-24 2022-08-18 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR101751140B1 (ko) 2015-12-24 2017-06-26 삼성전기주식회사 이미지 센서 및 카메라 모듈
KR102503442B1 (ko) * 2015-12-24 2023-02-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102187146B1 (ko) 2015-12-29 2020-12-07 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
US10108462B2 (en) 2016-02-12 2018-10-23 Microsoft Technology Licensing, Llc Virtualizing sensors
JP6743427B2 (ja) * 2016-03-08 2020-08-19 株式会社リコー 情報処理装置、撮像システムおよびデータ転送方法
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
CN105635601B (zh) * 2016-03-28 2019-04-23 广州市盛光微电子有限公司 一种多传感器多通道视频数据输入方法和装置
US10719107B2 (en) 2016-03-29 2020-07-21 Intel Corporation Method and apparatus to maintain node power budget for systems that share a power supply
US9813783B2 (en) 2016-04-01 2017-11-07 Intel Corporation Multi-camera dataset assembly and management with high precision timestamp requirements
DE102016208210A1 (de) * 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
JP6695739B2 (ja) * 2016-05-26 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 処理装置、画像センサ、およびシステム
CN111965919B (zh) 2016-05-30 2022-02-08 核心光电有限公司 旋转滚珠引导音圈电动机
KR102521406B1 (ko) 2016-06-19 2023-04-12 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
WO2018007981A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
US10284838B2 (en) 2016-08-19 2019-05-07 Titan Medical Inc. Method and apparatus for transmitting images captured by first and second image sensors
US20180063428A1 (en) * 2016-09-01 2018-03-01 ORBI, Inc. System and method for virtual reality image and video capture and stitching
JP6330873B2 (ja) * 2016-09-14 2018-05-30 株式会社リコー 撮像装置
KR101809727B1 (ko) * 2016-09-27 2017-12-15 주식회사 켐트로닉스 Svm 시스템 및 그의 영상입력 및 처리방법
JP6838725B2 (ja) * 2016-10-20 2021-03-03 日立Astemo株式会社 カメラ装置
WO2018101034A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 撮像装置、撮像制御方法、及び、プログラム
US11531209B2 (en) 2016-12-28 2022-12-20 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
KR102164655B1 (ko) 2017-01-12 2020-10-13 코어포토닉스 리미티드 컴팩트 폴디드 카메라
US10692262B2 (en) 2017-01-12 2020-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing information of multiple cameras
KR102557662B1 (ko) * 2017-02-09 2023-07-19 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 전자 장치
JP2018128401A (ja) * 2017-02-10 2018-08-16 東芝Ｉｔコントロールシステム株式会社 Ｘ線透視検査装置
IL290630B2 (en) 2017-02-23 2023-10-01 Corephotonics Ltd Lens designs for a folded camera
US10841478B2 (en) * 2017-03-02 2020-11-17 Sony Semiconductor Solutions Corporation Image sensor and control system
US10554958B2 (en) 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
CN114137790A (zh) 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的系统、移动电子装置及其方法
CN108881946A (zh) * 2017-05-10 2018-11-23 北京猎户星空科技有限公司 传感器数据的生成、传输、处理方法、装置及其系统
CN108881112B (zh) * 2017-05-10 2021-07-30 北京猎户星空科技有限公司 基于传感器的数据的生成、传输、处理方法、装置及其系统
TWI617195B (zh) * 2017-06-22 2018-03-01 宏碁股份有限公司 影像擷取裝置及其影像拼接方法
CN109214983B (zh) * 2017-06-30 2022-12-13 宏碁股份有限公司 图像获取装置及其图像拼接方法
CN109309784B (zh) * 2017-07-28 2021-05-28 展讯通信（上海）有限公司 移动终端
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
KR102385333B1 (ko) * 2017-09-15 2022-04-12 삼성전자주식회사 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
KR102261024B1 (ko) 2017-11-23 2021-06-04 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
KR20190065736A (ko) * 2017-12-04 2019-06-12 삼성전자주식회사 3d 이미지를 생성하기 위한 전자 장치 및 방법
KR102091369B1 (ko) 2018-02-05 2020-05-18 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
CN113467031B (zh) 2018-02-12 2023-07-14 核心光电有限公司 具有光学图像稳定化的折叠摄像机、数字摄像机及方法
US10764512B2 (en) 2018-03-26 2020-09-01 Mediatek Inc. Method of image fusion on camera device equipped with multiple cameras
CN108540689B (zh) * 2018-04-09 2020-10-02 珠海全志科技股份有限公司 图像信号处理器、应用处理器及移动装置
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN111936908B (zh) 2018-04-23 2021-12-21 核心光电有限公司 具有扩展的两个自由度旋转范围的光路折叠元件
EP3573342B1 (en) * 2018-05-25 2021-03-31 Harman Becker Automotive Systems GmbH Multi-rate digital sensor synchronization
KR102107299B1 (ko) * 2018-06-21 2020-05-06 한국산업기술대학교산학협력단 영상 데이터 전송 방법 및 이를 수행하는 장치들
KR102179549B1 (ko) * 2018-06-22 2020-11-17 재단법인 실감교류인체감응솔루션연구단 스테레오 카메라의 동기화 장치, 스테레오 카메라 및 스테레오 카메라의 동기화 방법
WO2020031005A1 (en) 2018-08-04 2020-02-13 Corephotonics Ltd. Switchable continuous display information system above camera
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
EP3877911A1 (en) * 2018-12-21 2021-09-15 Waymo LLC Searching an autonomous vehicle sensor data repository
CN111919057B (zh) 2019-01-07 2021-08-31 核心光电有限公司 具有滑动接头的旋转机构
US11092456B2 (en) * 2019-03-08 2021-08-17 Aptiv Technologies Limited Object location indicator system and method
WO2020183312A1 (en) 2019-03-09 2020-09-17 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
CN110392149A (zh) * 2019-07-23 2019-10-29 华为技术有限公司 图像摄取显示终端
KR102365748B1 (ko) 2019-07-31 2022-02-23 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
CN110381272B (zh) 2019-08-22 2022-05-13 睿镞科技(北京)有限责任公司 图像传感器组合系统及产生单一和复合视野图像的装置
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
GB2587670A (en) * 2019-10-02 2021-04-07 Advanced Mobility Res And Development Ltd Systems and methods for aircraft
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN114641983A (zh) 2019-12-09 2022-06-17 核心光电有限公司 用于获得智能全景图像的系统及方法
CN111031209B (zh) * 2019-12-17 2021-11-05 威海华菱光电股份有限公司 图像处理装置
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
WO2021162173A1 (ko) * 2020-02-14 2021-08-19 엘지전자 주식회사 멀티 카메라, 이미지를 촬영하는 장치 및 그 방법
WO2021165764A1 (en) 2020-02-22 2021-08-26 Corephotonics Ltd. Split screen feature for macro photography
WO2021220080A1 (en) 2020-04-26 2021-11-04 Corephotonics Ltd. Temperature control for hall bar sensor correction
KR102495627B1 (ko) 2020-05-17 2023-02-06 코어포토닉스 리미티드 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
KR20240001277A (ko) 2020-05-30 2024-01-03 코어포토닉스 리미티드 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법
KR20210150704A (ko) 2020-06-04 2021-12-13 삼성전자주식회사 라인 인터리빙 컨트롤러 및 이를 포함하는 이미지 신호 프로세서
KR102455520B1 (ko) * 2020-06-05 2022-10-17 한국과학기술원 마이크로렌즈 어레이를 이용한 초박형 카메라 장치 그리고 이의 다기능 이미징 방법
EP4202521A1 (en) 2020-07-15 2023-06-28 Corephotonics Ltd. Point of view aberrations correction in a scanning folded camera
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN114071027B (zh) * 2020-07-29 2023-04-28 华为技术有限公司 一种多数据传输通道的融合装置和电子设备
EP4065934A4 (en) 2020-07-31 2023-07-26 Corephotonics Ltd. LARGE STROKE LINEAR POSITION DETECTION HALL EFFECT SENSOR MAGNET GEOMETRY
KR102480820B1 (ko) 2020-08-12 2022-12-22 코어포토닉스 리미티드 스캐닝 폴디드 카메라의 광학 이미지 안정화
JP7419204B2 (ja) 2020-09-18 2024-01-22 株式会社東芝 画像処理装置
WO2022072261A1 (en) * 2020-09-30 2022-04-07 Snap Inc. Low power camera pipeline for computer vision mode in augmented reality eyewear
EP4222951A1 (en) 2020-09-30 2023-08-09 Snap Inc. Multi-purpose cameras for augmented reality and computer vision applications
US20220164350A1 (en) * 2020-11-25 2022-05-26 Waymo Llc Searching an autonomous vehicle sensor data repository based on context embedding
KR20220075028A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
CN112689072A (zh) * 2020-12-23 2021-04-20 合肥安迅精密技术有限公司 一种相机系统
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
CN115190254A (zh) * 2021-04-07 2022-10-14 影石创新科技股份有限公司 多个视觉传感器的同步曝光电路、曝光方法及曝光装置
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
WO2022259154A2 (en) 2021-06-08 2022-12-15 Corephotonics Ltd. Systems and cameras for tilting a focal plane of a super-macro image
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US20230123736A1 (en) * 2021-10-14 2023-04-20 Redzone Robotics, Inc. Data translation and interoperability
US20230275716A1 (en) * 2022-02-28 2023-08-31 e-con Systems India Private Limited System and method for assisting data transmission over virtual channels
US11995012B2 (en) * 2022-03-15 2024-05-28 Samsung Electronics Co., Ltd. High speed interface for multi image sensor device
US11818329B1 (en) * 2022-09-21 2023-11-14 Ghost Autonomy Inc. Synchronizing stereoscopic cameras using padding data setting modification
KR20240070294A (ko) * 2022-11-14 2024-05-21 삼성전자주식회사 라인 인터리빙 컨트롤러를 포함하는 이미지 처리 장치 및 이의 동작 방법
WO2024107200A1 (en) * 2022-11-18 2024-05-23 Zeku, Inc. Multi-sensor image processing on mobile devices and method of operating the same
CN117729394B (zh) * 2024-02-18 2024-04-30 厦门瑞为信息技术有限公司 单个图像处理模块同时处理多个图像传感器的方法

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8030A (en) * 1851-04-08 Celia b
US4323925A (en) 1980-07-07 1982-04-06 Avco Everett Research Laboratory, Inc. Method and apparatus for arraying image sensor modules
US4523226A (en) * 1982-01-27 1985-06-11 Stereographics Corporation Stereoscopic television system
JPH0530423A (ja) 1991-07-25 1993-02-05 Nippon Television Network Corp ワイド画面ｅｄｔｖ信号用映像切替装置
WO1994018789A1 (en) 1993-02-11 1994-08-18 Polycom, Inc. Resolution enhancement system
JPH06350937A (ja) 1993-06-14 1994-12-22 Pioneer Electron Corp 画像合成再生装置
EP0631250B1 (en) 1993-06-21 2002-03-20 Nippon Telegraph And Telephone Corporation Method and apparatus for reconstructing three-dimensional objects
WO1995006283A1 (en) 1993-08-24 1995-03-02 Downs Roger C Topography processor system
US5870137A (en) 1993-12-29 1999-02-09 Leica Mikroskopie Systeme Ag Method and device for displaying stereoscopic video images
US5786850A (en) 1994-02-17 1998-07-28 Ultrak, Inc. Multiple room portable camera system
JP3428132B2 (ja) * 1994-03-14 2003-07-22 ソニー株式会社 テレビジョン方式及び表示装置
US6064355A (en) 1994-05-24 2000-05-16 Texas Instruments Incorporated Method and apparatus for playback with a virtual reality system
DE19542308A1 (de) 1994-11-25 1996-05-30 Zeiss Carl Fa Verfahren und Vorrichtung zur Darstellung dreidimensionaler Videobilder
JP3771954B2 (ja) 1995-08-04 2006-05-10 ソニー株式会社 画像表示制御装置および方法
US5995140A (en) * 1995-08-28 1999-11-30 Ultrak, Inc. System and method for synchronization of multiple video cameras
US6108005A (en) 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
UA22127C2 (uk) 1996-09-10 1998-04-30 Сергій Іванович Мірошніченко Телевізійhа система високої розрізhяльhої здатhості
US6278480B1 (en) 1997-02-07 2001-08-21 Canon Kabushiki Kaisha Compound eye camera system
US6137580A (en) * 1998-09-22 2000-10-24 Creo Srl Autofocus system
GB2343320B (en) * 1998-10-31 2003-03-26 Ibm Camera system for three dimentional images and video
AU2487000A (en) 1998-12-30 2000-07-31 Chequemate International Inc. System and method for recording and broadcasting three-dimensional video
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
JP3619063B2 (ja) 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
GB2355612A (en) 1999-10-19 2001-04-25 Tricorder Technology Plc Image processing arrangement producing a combined output signal from input video signals.
WO2001048537A2 (en) 1999-12-28 2001-07-05 Vrex, Inc. Stereoscopic camera
WO2001097531A2 (en) 2000-06-12 2001-12-20 Vrex, Inc. Electronic stereoscopic media delivery system
JP2001069530A (ja) 2000-07-28 2001-03-16 Fujitsu Ltd 立体映像高能率符号化装置
US7009638B2 (en) 2001-05-04 2006-03-07 Vexcel Imaging Gmbh Self-calibrating, digital, large format camera with single or multiple detector arrays and single or multiple optical systems
US7002618B2 (en) 2001-06-01 2006-02-21 Stereographics Corporation Plano-stereoscopic DVD movie
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
US7277121B2 (en) 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
US7319720B2 (en) 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
AU2003272202A1 (en) * 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7804995B2 (en) * 2002-07-02 2010-09-28 Reald Inc. Stereoscopic format converter
US20040075741A1 (en) 2002-10-17 2004-04-22 Berkey Thomas F. Multiple camera image multiplexer
JP4252105B2 (ja) 2002-12-13 2009-04-08 シャープ株式会社 画像データ作成装置及び画像データ再生装置
KR100477801B1 (ko) 2002-12-26 2005-03-22 한국전자통신연구원 3차원 영상정보 기술장치와 그 방법 및 이를 이용한 3차원영상정보 검색장치 및 그 방법
US7525576B2 (en) * 2003-02-17 2009-04-28 Axis, Ab Method and apparatus for panning and tilting a camera
SE0300428D0 (sv) 2003-02-17 2003-02-17 Axis Ab Digital camera having panning and/or tilting functionality
KR100771299B1 (ko) 2003-06-26 2007-10-29 삼성전기주식회사 색 보간용 라인 버퍼 및 라인 데이터 제공 방법
SE0302065D0 (sv) * 2003-07-14 2003-07-14 Stefan Carlsson Video - method and apparatus
RU2250504C1 (ru) 2003-07-18 2005-04-20 Мироничев Сергей Юрьевич Способ многоканального видеоаудионаблюдения и реализующая его интегрированная высокочастотная система
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
JP4483261B2 (ja) 2003-10-24 2010-06-16 ソニー株式会社 立体視画像処理装置
JP4293053B2 (ja) * 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
JP2006005608A (ja) * 2004-06-17 2006-01-05 Hitachi Ltd 撮像装置
JP4424088B2 (ja) * 2004-06-25 2010-03-03 株式会社日立製作所 撮像装置
EP1812968B1 (en) 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
KR100782811B1 (ko) * 2005-02-04 2007-12-06 삼성전자주식회사 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US7577881B1 (en) 2005-05-10 2009-08-18 Ikanos Communications Inc. Method and apparatus for an interleaver
JP4665166B2 (ja) 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
US20070146478A1 (en) 2005-07-14 2007-06-28 Butler-Smith Bernard J Stereoscopic 3D rig calibration and viewing device
WO2007014293A1 (en) 2005-07-25 2007-02-01 The Regents Of The University Of California Digital imaging system and method to produce mosaic images
JP4630149B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
JP4185926B2 (ja) 2005-08-26 2008-11-26 ファナック株式会社 ロボット協調制御方法及びシステム
KR101185870B1 (ko) 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
TW200721803A (en) 2005-10-17 2007-06-01 Via Tech Inc 3-D stereoscopic image display system
JP4199238B2 (ja) * 2006-01-11 2008-12-17 パナソニック株式会社 撮影システム
US20070248260A1 (en) 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8456515B2 (en) 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
KR101311896B1 (ko) 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
US8520079B2 (en) 2007-02-15 2013-08-27 Pictometry International Corp. Event multiplexer for managing the capture of images
EP1988713A1 (en) * 2007-04-30 2008-11-05 STMicroelectronics (Research & Development) Limited Image processing apparatus and method using padding data
JP4720785B2 (ja) 2007-05-21 2011-07-13 富士フイルム株式会社 撮像装置、画像再生装置、撮像方法及びプログラム
US7918398B2 (en) * 2007-06-04 2011-04-05 Hand Held Products, Inc. Indicia reading terminal having multiple setting imaging lens
US8009200B2 (en) * 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis
KR101313740B1 (ko) 2007-10-08 2013-10-15 주식회사 스테레오피아 원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠제작방법
CN101286000A (zh) * 2008-05-30 2008-10-15 钟磊 N镜头立体数码相机
US8654251B2 (en) * 2008-09-11 2014-02-18 University Of Malta Method and apparatus for generating and transmitting synchronized video data
JP4793451B2 (ja) 2009-01-21 2011-10-12 ソニー株式会社 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
GB0912970D0 (en) 2009-07-27 2009-09-02 St Microelectronics Res & Dev Improvements in or relating to a sensor and sensor system for a camera
US9544661B2 (en) * 2009-09-03 2017-01-10 Lg Electronics Inc. Cable broadcast receiver and 3D video data processing method thereof
US20110242355A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors

Also Published As

Publication number Publication date
CA2794682A1 (en) 2011-10-13
KR20120137432A (ko) 2012-12-20
WO2011127077A1 (en) 2011-10-13
JP2013530558A (ja) 2013-07-25
EP2556658A1 (en) 2013-02-13
EP2556657A1 (en) 2013-02-13
KR20130006503A (ko) 2013-01-16
AR081161A1 (es) 2012-07-04
RU2012146968A (ru) 2014-05-20
KR101512222B1 (ko) 2015-04-14
CN102859987A (zh) 2013-01-02
EP2556656A1 (en) 2013-02-13
US9001227B2 (en) 2015-04-07
WO2011127076A1 (en) 2011-10-13
WO2011127078A1 (en) 2011-10-13
KR101399718B1 (ko) 2014-05-27
US20110242355A1 (en) 2011-10-06
US20110242342A1 (en) 2011-10-06
TW201210314A (en) 2012-03-01
BR112012025182A2 (pt) 2016-06-21
JP2013528021A (ja) 2013-07-04
TW201205308A (en) 2012-02-01
IL222289A0 (en) 2012-12-31
CN102884783B (zh) 2017-03-08
KR101517661B1 (ko) 2015-05-04
CN102884783A (zh) 2013-01-16
BR112012025366A2 (pt) 2016-06-28
ZA201208298B (en) 2013-07-31
CN102870401B (zh) 2016-04-06
AU2011237801A1 (en) 2012-11-01
AR081160A1 (es) 2012-07-04
AR081486A1 (es) 2012-09-19
CN102870401A (zh) 2013-01-09
TW201212643A (en) 2012-03-16
TWI508520B (zh) 2015-11-11
JP2013539608A (ja) 2013-10-24
JP5675959B2 (ja) 2015-02-25
KR20130028096A (ko) 2013-03-18
US20110242356A1 (en) 2011-10-06
SG184225A1 (en) 2012-11-29
JP5559416B2 (ja) 2014-07-23

Similar Documents

Publication Publication Date Title
TWI442766B (zh) 結合來自多個影像感測器之資料
US8896668B2 (en) Combining data from multiple image sensors
US9241111B1 (en) Array of cameras with various focal distances
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
JP5634614B2 (ja) 撮像素子及び撮像装置
JP2003348605A (ja) カラービデオカメラ