TWI526068B - 圖像擷取裝置及影像處理方法 - Google Patents

圖像擷取裝置及影像處理方法 Download PDF

Info

Publication number
TWI526068B
TWI526068B TW101124641A TW101124641A TWI526068B TW I526068 B TWI526068 B TW I526068B TW 101124641 A TW101124641 A TW 101124641A TW 101124641 A TW101124641 A TW 101124641A TW I526068 B TWI526068 B TW I526068B
Authority
TW
Taiwan
Prior art keywords
image
processing
single field
view
sensor
Prior art date
Application number
TW101124641A
Other languages
English (en)
Other versions
TW201309003A (zh
Inventor
勞倫 布里斯班
大衛 婆羅曼
朗 佛里丁托
班哲民 司維爾
納雪 派特克
克里斯達 哈汀
Original Assignee
美國博通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美國博通公司 filed Critical 美國博通公司
Publication of TW201309003A publication Critical patent/TW201309003A/zh
Application granted granted Critical
Publication of TWI526068B publication Critical patent/TWI526068B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

圖像擷取裝置及影像處理方法
本申請要求於2011年7月20日提交的美國臨時申請61/509,747、以及2011年12月22日提交的美國實用專利申請13/335,028的優先權，將其全部內容通過引用結合於此。
本發明涉及雙圖像捕獲處理。
某些類型的影像處理，諸如高動態範圍(HDR)影像處理，涉及將照相機的順序的靜態圖像輸出(例如，各具有不同的曝光)組合成具有高動態範圍的單個靜態圖像(即在亮暗圖像區域之間具有更大的亮度變化範圍的圖像)。該方法通常被稱為包圍曝光，並可以在現有的相機中發現。
本發明提供了一種圖像擷取裝置，包括：第一圖像感測器，用於記錄第一圖像；第二圖像感測器，用於記錄第二圖像；控制處理電路，啟動第一圖像感測器對第一圖像以及第二圖像感測器對第二圖像的同時捕獲；以及影像處理電路，產生包括第一圖像和第二圖像的至少一部分的增強的單視場圖像。
較佳地，增強的單視場圖像包括從第一圖像中獲取的第一部分和從第二圖像中獲取的第二部分，其中第一部分包括具有與第二部分不同的曝光水準或者具有與第二部分不同的景深中的至少一個。
較佳地，增強的單視場圖像的解析度大於第一圖片和第二圖像的單個的解析度。
較佳地，對第二圖像進行分析並將其與第一圖像比較，以分離出第一圖像中的缺陷，其中增強的單視場圖像是第一圖像去除缺陷的經校正的版本。
較佳地，控制處理電路被配置為在以下模式下進行操作：立體模式，利用第一圖像感測器和第二圖像感測器的同時操作以產生立體圖像；單視場模式，利用第一圖像感測器的單獨的操作以產生單視場圖像；以及增強的單視場模式，利用第一圖像感測器和第二圖像感測器的同時操作以產生增強的單視場圖像。
較佳地，控制處理電路被配置為在包括單視場模式、立體模式或增強的單視場模式中的至少兩個的操作模式之間自動切換。
較佳地，第一圖像用作用於增強的單視場圖像的圖像資料，並且第二圖像用作增強資料以增強第一圖像的至少一個圖像特性，其中增強的單視場圖像包括具有至少一個改善的特性的第一圖像。
較佳地，影像處理電路在第一處理路徑中處理第一圖像和第二圖像所共用的相似圖元，並且在第二處理路徑中處理第二圖像的不相似的圖元。
較佳地，第一圖像感測器在同時捕獲的過程中以第一面元劃分水準進行操作，第一面元劃分水準不同於在同時捕獲的過程中第二圖像感測器進行操作的面元劃分水準。
本發明還提供了一種影像處理方法，包括：記錄由第一圖像感測器所捕獲的第一圖像；記錄由第二圖像感測器所捕獲的第二圖像，其中第一圖像和第二圖像是同時捕獲的；比較第一圖像和第二圖像中的至少一部分；以及回應 於第一圖像和第二圖像的比較結果，產生增強的單視場圖像。
較佳地，第一圖像用作用於增強的單視場圖像的圖像資料，而第二圖像用作增強資料以增強的第一圖像的至少一個圖像特性，其中增強的單視場圖像包括具有至少一個改善的特性的第一圖像。
較佳地，至少一個改善的特性包括改善的景深、改善的解析度中的至少一個；或改善的曝光水準。
較佳地，對第二圖像進行分析並將其與第一圖像比較，以分離出第一圖像中的缺陷，其中增強的單視場圖像是第一圖像去除缺陷的經校正的版本。
較佳地，缺陷包括鏡頭陰影缺陷。
較佳地，一種圖像擷取裝置包括第一圖像感測器和第二圖像感測器，方法還包括：在以下模式之間切換圖像擷取裝置的操作：立體模式，利用第一圖像感測器和第二圖像感測器的同時操作以產生立體圖像；單視場模式，利用第一圖像感測器的單獨的操作以產生單視場圖像；以及增強的單視場模式，利用第一圖像感測器和第二圖像感測器的同時操作以產生增強的單視場圖像。
較佳地，第一圖像感測器包括將紅色、綠色或藍色的光傳輸至感測器圖元的圖像感測器，並且第二圖像感測器包括與第一圖像感測器不同類型的圖像感測器。
本發明還提供了一種具有影像處理程式的電腦可讀介質，當影像處理程式被硬體處理器執行時，使硬體處理器：記錄由第一圖像感測器所捕獲的第一圖像；記錄由第二圖像感測器所捕獲的第二圖像，其中第一圖像和第二圖像是 同時捕獲的；比較第一圖像和第二圖像中的至少一部分；以及回應於第一圖像和第二圖像的比較結果，生成增強的單視場圖像。
較佳地，一種圖像擷取裝置包括第一圖像感測器和第二圖像感測器，影像處理程式進一步使硬體處理器：在以下模式之間切換圖像擷取裝置的操作：立體模式，利用第一圖像感測器和第二圖像感測器的同時操作以產生立體圖像；單視場模式，利用第一圖像感測器的單獨的操作以產生單視場圖像；以及增強的單視場模式，利用第一圖像感測器和第二圖像感測器的同時操作以產生增強的單視場圖像。
較佳地，第一圖像用作用於增強的單視場圖像的圖像資料，並且第二圖像用作支援資料以校正第一圖像中的缺陷。
較佳地，第一圖像用作用於增強的單視場圖像的圖像資料，並且第二圖像用作增強資料以增強的第一圖像的至少一個圖像特性，其中，增強的單視場圖像包括具有至少一個改善的特性的第一圖像。
參考以下的附圖，本發明的許多方面可以得到更好地瞭解。附圖中的組成部分不一定成比例，而是將重點放在清楚地示出本發明的原理上。此外，在附圖中，幾個示圖中類似的參考標號表示對應的部分。
本發明涉及可進行程式設計以自動利用數碼照相機或數碼視訊攝影機中的影像處理管線中的同時圖像捕獲(capture)的設備、方法、電腦可用介質和處理器。該技 術領域具有通常知識者應當認識到，所公開的技術也可以應用於其他環境和應用。
對於例如數碼照相機、數碼視訊攝影機、行動電話、個人資料助理(PDA)、平板、可攜式音樂播放機以及桌上型電腦或筆記本電腦這樣的嵌入式設備中的照相機，為了產生視覺上更加悅目的圖像，諸如本文所公開的技術可以改善圖像品質，而不會產生明顯的計算開銷或電力成本。
為了獲取圖像資料，數位成像設備可以包括提供了多個被配置為將由圖像感測器檢測到的光轉換成電信號的光檢測單元(如光電檢測器)的圖像感測器。圖像感測器也可以包括過濾圖像感測器捕獲到的光以捕獲色彩資訊的彩色濾光器陣列。然後，圖像感測器捕獲到的圖像資料可以通過影像處理管線電路來處理，其可以對圖像資料施加多個不同的影像處理操作以產生可以在諸如監視器的顯示裝置上顯示以用於觀看的全彩色圖像。
傳統的影像處理，諸如傳統的高動態範圍(HDR)影像處理，需要順序地捕獲多個圖像，然後進行組合，以產生具有增強的圖像特性的HDR。在傳統的HDR影像處理中，通過單個圖像感測器以不同的曝光順序地捕獲多個圖像並進行組合，以產生具有比通過捕獲單個圖像所可能具有的更高的動態範圍的單個圖像。例如，對霓虹燈的室外夜間鏡頭的捕獲，可能導致霓虹燈曝光過度或者該場景的其他部分曝光不足。然而，捕獲曝光過度的圖像和曝光不足的圖像，並組合多個圖像可以產生霓虹燈和場景都適當曝光的HDR圖像。該方法通常被稱為包圍曝光，但是要求 是捕獲到的圖像必須基本相同，儘管這些圖像是被順序拍攝以防止引入大量模糊或重影。
本發明的實施方式通過利用同時捕獲到的多個圖像而提供了增強的影像處理。參考圖1，示出了用於成像設備150的影像處理電路100的一個實施方式的框圖。所示的成像設備150可以被提供為數碼照相機，其被配置為獲取靜態圖像和運動圖像(例如，視頻)。設備150可以包括多個鏡頭110以及被配置為捕獲光並將光轉換成電信號的多個圖像感測器101。僅作為示例，單個圖像感測器可以包括CMOS(互補金屬氧化物半導體)圖像感測器(例如，CMOS有源圖元感測器(APS))或CCD(電荷耦合器件)感測器。
具有多個照相機或圖像感測器的成像設備150的一個有前景的應用是將會增加顯示圖像中所表示的維數。該功能類型的一個示例是通常具有兩個照相機(例如，兩個圖像感測器)的立體照相機。然而，本發明的實施方式可以具有兩個以上的照相機或圖像感測器。此外，成像設備150的實施方式可以具有這樣的操作模式：一種模式可以允許成像設備150捕獲二維(2D)圖像；第二模式可以允許成像設備捕獲多維圖像(例如，3D圖像)；並且第三模式可以允許成像設備同時捕獲多個圖像，並用它們來產生一個或多個已應用影像處理效果的2D增強的圖像。因此，本發明的一些實施方式，包括可配置的和可更改的(adaptable)的多成像器(multi-imager)照相機結構，其以立體(3D)模式、單視場(monoscopic)(單個2D成像器)模式或組合單視場(多個2D成像器)模式操作。在一個實施方式中，模式配置涉及到使用者選擇，而更改可以為自動或提示模 式操作。例如，單視場模式可以用於足夠普通的情況下，但是當控制邏輯105檢測到需要時切換到組合單視場操作。
在一些實施方式中，影像處理電路100可以包括各種子元件和/或分立的邏輯單元以共同形成用於執行各個不同的影像處理步驟的影像處理“管線”。這些子元件可以使用硬體(例如，數位訊號處理器或ASIC(專用積體電路))或軟體、或通過硬體和軟體元件的組合來實現。各種影像處理操作可以通過影像處理電路100提供。
影像處理電路100其中可以包括前端處理邏輯103、管線處理邏輯104以及控制邏輯105。一個或多個圖像感測器101可以包括彩色濾光器陣列(例如，拜耳(Bayer)濾光器)，從而可以提供由圖像感測器101的各個成像圖元捕獲到的到的光強度和波長資訊，以提供可被前端處理邏輯103處理的一組原始圖像資料。
前端處理邏輯103可以從記憶體108接收圖元資料。 例如，原始圖元資料可以從圖像感測器101發送到記憶體108。然後，駐留在記憶體108中的原始圖元資料可以被提供至前端處理邏輯103用於處理。
在接收到原始圖像資料(從圖像感測器101或從記憶體108)時，前端處理邏輯103可以執行一個或多個影像處理操作。然後，處理過的圖像資料可以在顯示(例如在顯示裝置106上)之前被提供至管線處理邏輯104進行附加的處理，或者可以被送至記憶體108。管線處理邏輯104可以直接從前端處理邏輯103或從記憶體108接收“前端”處理的資料，並可以根據情況來提供原始域以及RGB和YCbCr色彩空間中的圖像資料的附加的處理。然後，管線 處理邏輯104處理過的圖像資料可以輸出到顯示器106(或取景器)用於用戶觀看和/或可以被圖形引擎進一步處理。 此外，來自管線處理邏輯104的輸出可以發送到記憶體108，並且顯示器106可以從記憶體108讀取圖像資料。此外，在一些實現方式中，管線處理邏輯104可以還包括諸如壓縮引擎的編碼器107等，用於在顯示器106讀取圖像資料之前編碼圖像資料。
編碼器107可以是用於對靜態圖像編碼的JPEG(聯合圖像專家組)壓縮引擎，或用於對視頻圖像編碼的H.264壓縮引擎，或它們的一些組合。此外，應注意，管線處理邏輯104還可以從記憶體108接收原始圖像資料。
控制邏輯105可以包括處理器620(圖6)和/或被配置為執行一個或多個常式的微控制器(例如，固件)，這些常式被配置為確定用於成像設備150的控制參數以及用於管線處理邏輯104的控制參數。僅作為示例，控制參數可以包括感測器控制參數、照相機閃光燈控制參數、鏡頭控制參數(例如，用於聚焦或變焦的焦距)或者這些參數的組合以用於一個或多個圖像感測器101。控制參數，也可以包括影像處理命令，諸如自動白平衡、自動聚焦、自動曝光、色彩調整，以及用於管線處理邏輯104的鏡頭陰影校正參數。控制參數還可以包括用於管線處理邏輯104的複用信號或命令。
現在參考圖2，管線處理邏輯104的一個實施方式可通過首先發送圖像資訊至第一處理單元201來執行圖像信號處理管線的處理，第一處理單元201可採用圖像感測器101(圖1)所產生的原始資料並生成數位圖像，以被使用者觀 看或被下游處理單元進行進一步的處理。因此，處理管線可以被視為即時調整圖像資料的一系列專用演算法，並經常被實現為片上系統(SoC)影像處理器的集成元件。通過以硬體實現的圖像信號處理管線，可以在不對主應用處理器620(圖6)增加任何處理負擔的情況下完成前端影像處理。
在一個實施方式中，圖像信號處理管線的第一處理單元201元可以執行特定的影像處理，諸如降噪、有缺陷的圖元檢測/校正、鏡頭陰影校正、鏡頭失真校正、去馬賽克、圖像銳化、色彩均勻化、RGB(紅、綠、藍)對比、飽和度提升處理等。如上所述，管線可以包括第二處理單元202。在一個實施方式中，第二處理單元202可以執行特定的和不同的影像處理，諸如降噪、缺陷圖元檢測/校正、鏡頭陰影校正、去馬賽克、圖像銳化、色彩均勻化、RGB對比度、飽和度提升處理等。然後，圖像資料可以根據情況被發送至管線的一個或多個附加單元、保存到記憶體108和/或為顯示器106輸入。
在一個實施方式中，由圖像信號處理管線中的處理單元201和202處理單元所執行的影像處理是增強的高動態範圍處理。用於增強的高動態範圍處理的操作模式會使同時的圖像被圖像感測器101捕獲到。通過同時拍攝多張圖像，將在每個圖像中在同一時間捕獲對象被拍攝的多張圖片。在用於增強的高動態範圍處理的操作模式下，以不同的曝光水準(例如，不同的增益設置)或其他一些特性來捕獲多個圖像，然後進行組合以產生具有特定特性的增強的範圍的圖像。例如，增強的圖像可以根據同時捕獲到的 圖像的數量而被產生為一部分具有低曝光、另一部分具有中曝光、而又一部分具有高曝光。在不同的情景下，同時的圖像可關於不同聚焦級別(focus level)而被捕獲。
在另一實施方式中，由圖像信號處理管線中的處理單元201或202所執行的不同的影像處理是在包括增強的連續自動聚焦的許多情況下可以使用的增強的自動聚焦處理。用於增強的高動態範圍處理的操作模式使同時的圖像被圖像感測器101捕獲。可以使圖像感測器101(起輔助作用)之一聚焦在物件上，然後掃描整個聚焦範圍以找到對第一圖像感測器最佳的聚焦。然後該最佳聚焦範圍被主圖像感測器用來捕獲物件的圖像。在一個情景中，主圖像感測器101可以捕獲物件或包括物件的場景的視頻。因此，歸因於第二或輔助圖像感測器101的最佳聚焦範圍可以隨場景的變化而變化，因此，主圖像感到器101所用的聚焦可以隨著視頻被捕獲而進行調整。
在又一實施方式中，圖像信號處理管線中的處理單元所執行的影像處理是增強的景深處理。用於增強處理的操作模式使同時的圖像被圖像感測器101所捕獲到。圖像感測器101的聚焦可以被控制邏輯105獨立地控制。因此，一個圖像感測器可以在場景中的物件上精密地聚焦或變焦，而第二個圖像感測器可以在該場景的不同方面以不同水準焦距。然後，圖像單一處理管線中的影像處理可以採取捕獲到的圖像，並組合它們以產生具有更大景深的增強的圖像。因此，可以組合多個圖像以有效地擴展長景深。此外，一些實施方式可以利用來自多於兩個的成像器或圖像感測器101的圖像。
在各種實施方式中，多個圖像感測器101可以不聚焦在場景中的同一個物件上。例如，可以對圖像感測器101或成像器施加命令，其中主成像器和副成像器以不同的角度、不同的曝光、不同的增益等來捕獲場景，其中第二圖像被用來校正或增強主圖像。示例性操作包括但不僅限於：作為一個示例，HDR捕獲和通過利用一個框以幫助對其他框進行降噪的增強的降噪操作。為了說明，在一個實現方式中，在兩個同時的圖像中捕獲到的場景可通過平均兩個圖像的圖元值來進行增強的，這將改善捕獲到的場景的信噪比。此外，通過具有以不同角度同時捕獲的多個圖像，可以計算鏡頭陰影曲線(使用圖像捕獲中的相同的一個或多個物件在兩個(或更多)圖像感測器之間的位置差)並且將其用於校正有效圖元。
因此，在又一實施方式中，圖像信號處理管線中的處理單元201或202所執行的影像處理是校正處理。用於增強的處理的操作模式會使同時的圖像被圖像感測器101捕獲到。各個成像器101的鏡頭可以具有不同的視角。因此，在影像處理中，對以不同視角捕獲到的圖像進行比較以確定兩個圖像中的差異。例如，有缺陷的硬體或設備可導致在捕獲到的圖像中的可見的缺陷。因此，由於不同的視角，來自多個圖像感測器101的捕獲圖像中的缺陷在兩個視圖(view)/圖像中將不會處於相同的位置。會存在小的差異，並且，圖像信號處理管線能夠區分缺陷與真實的圖像，以施加某些形式的校正。
在又一實施方式中，圖像信號處理管線中的處理單元201或202所執行的影像處理是增強的圖像解析度處理。用 於增強的處理的操作模式會使同時的圖像被圖像感測器101以特定的解析度(例如，10兆圖元(Megapixel))捕獲到。然後圖像單一處理管線中的影像處理可以採用捕獲到的圖像，並組合它們以產生具有增加的或超級的解析度(例如，20兆圖元)的增強的圖像。此外，在一些實施方式中，一個捕獲圖像可用於改善另一個捕獲圖像，反之亦然。因此，可以通過圖像的同時捕獲而產生多個增強的單視場圖像。
在又一實施方式中，圖像信號處理管線中的處理單元所執行的影像處理是增強的圖像解析度處理。用於增強的處理的操作模式使同時的圖像視頻流在低光照條件下被圖像感測器101捕獲到。
考慮到在低光照條件下照相機的成像品質往往不足。 對於被設計為用於充足光照條件的圖像感測器陣列而言，環境光照往往是較低且不充足的。因此，這樣的感測器陣列不能接收足夠的光子以捕獲具有良好曝光的圖像，從而導致發暗的圖像。試圖通過類比或數位增益來校正這點可以有所幫助，但也往往過於放大了底層雜訊(underlying noise)(這點在低光照條件下更加突出)。一個可行的方法是延長曝光時間，但是因為手的晃動可能引入模糊所以這也未必可行。另一種傳統的解決辦法是增加大光圈鏡頭和外置閃光燈。前者是非常昂貴且佔用體積的提案，而後者則可能不被允許(諸如在博物館中)或未必有效(諸如遠距離拍攝)。此外，閃光系統也是昂貴的並消耗大量的電力。
本發明的可選擇的實施方式使用了不同的圖像感測器101(例如紅外線、RGB、全色等)的組合。例如，一個圖 像感測器可以有利地補償其他的圖像感測器所不提供的圖像資訊，反之亦然。因此，圖像感測器可以同時地捕獲圖像，其中，大部分的圖像資訊從主圖像感測器所獲取，而附加的圖像資訊則根據需要由一個或多個附加的圖像感測器提供。
在一個實施方式中，低光(low light)圖像感測器101或全色圖像感測器與標準RGB(拜耳模式)圖像感測器陣列合作而使用。由於具有較小的成像器晶片尺寸，全色感測器接收的光子多達單一的RGB感應器的光子的三倍，但是依賴RGB鄰居來進行色彩識別。這種感測器陣列設計由於較大的圖像晶片尺寸而優於較高光照水準的普通的RGB感測器。成像設備150的一個實施方式使用用於高光照的條件的RGB型CMOS或CCD型感測器陣列以及設計用於低光照條件下(例如，全色-只有黑色和白色亮度，或散佈的全色)的第二低光型感測器。從而，成像設備150在兩個感測器之間自動切換以最佳地捕獲當前的光照條件下的圖像。此外，在一個實施方式中，可在低光照下捕獲同時的圖像。特別是，通過使用全色成像器101和普通光照成像器101來捕獲多個圖像，捕獲到的圖像可以被進行關聯和組合以產生更加生動的低光圖像。
作為一個示例，全色圖像感測器101可用於在低光照條件下以較高的畫面播放速率來捕獲視頻流，而只以一半的速率來採樣色度資料。相對於以比亮度更小的解析度來處理色度的空間方法，這相當於時間壓縮方法。處理單元201或202的輸出可以是單一框序列或者可以實際上包括兩個分離的流以用於後處理訪問。
在另一情景下，可以使用全色成像器101和普通光照成像器101來減少運動模糊。運動模糊為當物件在成像設備150前面運動時以及在低光照條件下，例如，用於低光照條件下的選擇性曝光可以捕獲到被拍攝的物件的運動或成像設備150本身的晃動。因此，全色成像器被用於以比普通光照成像器捕獲到的第二圖像更小的曝光來捕獲圖像。捕獲到的圖像可以進行關聯和組合，以產生運動模糊經校正的圖像。
成像設備150的實施方式不限於具有兩個圖像感測器，而可以應用多個圖像感測器101。例如，平板設備可以在該設備的前面具有兩個成像器，並且在設備的後面具有兩個成像器，其中來自各個成像器的圖像(包括視頻)被同時地捕獲，並被組合成所得圖像。
接下來參考圖3，在一個實施方式中，由管線處理邏輯104所實現的圖像信號處理管線包含平行的路徑，而不是單一的直線路徑。例如，平行路徑可以提供第一路徑和第二路徑。此外，在一個實施方式中，第一路徑包括主要處理路徑，第二路徑包括補充處理路徑。因此，當來自第一圖像感測器101的圖像資料正在第一路徑中處理時，來自第二圖像感測器101的原始圖像資料可以在第二平行路徑中處理。可以是：第二路徑包含比第一路徑更少的階段或單元321、322。可替代地，第一路徑可以包含數量等於或少於第二路徑的階段或單元311、312。此外，第二路徑可以涉及圖像解析度的下轉換(down-conversion)，以減少在管線中的諸如用於圖像分析的影像處理過程中需要處理的圖元的量。並行路徑的好處可以應用於一個或多個圖像感測 器101捕獲到的靜態圖像以及視頻圖像。在圖像信號處理管線中使用並行路徑能夠同時處理多個圖像資料，同時最大化最終圖像的品質。
參考圖4，在影像處理管線的一個實施方式中，處理單元411和412可以劃分為適合於主圖像的單元和適合於副圖像的處理單元421和422。因此，副圖像可初步地進行諸如使縮小或按比例縮放(scale)的處理，以有益於下游單元。作為示例，由於副圖像需要下游單元來進行降噪，副圖像的路徑可以包含雜訊濾波單元。
在一些實施方式中，第一路徑和第二路徑所產生的圖像可以儲存在記憶體108中，並且可用於隨後的過程和單元的後續應用。因此，在一個實施方式中，當主圖像正在管線的主路徑中處理時，該圖像的被縮小或按比例縮放的另一圖像或者先前的圖像可以由主路徑讀取。這可以實現管線中的諸如雜訊濾波期間的更加強大的處理。
此外，在一些實施方式中，在多個圖像中的類似圖元可以一次處理，然後將獨立處理不同的圖元。應注意，從兩個彼此接近的圖像感測器同時捕獲圖像會非常相似。因此，第一捕獲圖像的圖元可以在管線的主路徑中處理。另外，可以以相似度遮罩來識別第二捕獲圖像中的類似的圖元，其中，類似的圖元也包含在第一捕獲圖像中(並且已被處理)。在第二捕獲圖像中去除類似的圖元之後，其餘的圖元可以在管線的副路徑中處理。通過去除冗餘的處理，可以實現在圖像信號處理管線中顯著的電力節省。
此外，在一些實施方式中，第一路徑和第二路徑產生的圖像可以同時顯示。例如，顯示器106的一個顯示部分 可以用來顯示視頻(例如，從第一條路徑輸出)而顯示器106的第二顯示部分可用來顯示靜態圖像或回應於成像設備150的介面上的暫停按鈕的來自視頻的“快照”(例如，從第二路徑輸出)。可替代地，一個圖像框可在顯示器的分割畫面(screen)中顯示(例如，左側部分)，而另一圖像框可顯示在顯示器的右側部分中。成像設備可以被配置為允許使用者選擇框(例如，在分割畫面中顯示的框)的組合，然後通過處理邏輯103、104、105進行比較和組合，以產生具有改善的圖像品質和解析度的增強的圖像。
如前所述，成像設備150的實施方式，可以採用從設備的介面單元中可選擇的操作模式。介面單元可以包括從顯示器106中可選擇的圖形介面單元或從成像設備150的殼體中可選擇的或可切換的機械式按鈕或開關。在一個實施方式中，使用者可以啟動立體操作模式，其中成像設備150的處理邏輯103、104、105使用捕獲到的圖像產生在顯示幕106上可觀看或能夠保存在記憶體108中的3D圖像。 使用者也可以啟動2D操作模式，其中單一的圖像被捕獲並顯示，或被保存在記憶體108中。此外，使用者可以啟動增強的2D操作模式，其中，多個圖像被捕獲並被用於產生可以觀看或在記憶體108中保存的具有增強的特性(例如，改善景深、增強的聚焦、HDR、超級解析度等)的2D圖像。
在影像處理中，面元劃分(binning)允許來自相鄰圖元的電荷相結合，以減小空間解析度為代價，提供了改善的信噪比。在各種實施方式中，可以在多個圖像感測器的每一個中使用不同的劃分水準。因此，可以從具有較低的面元劃分水準的圖像感測器中獲取更好的解析度而從具有 較高的面元劃分水準的圖像感測器中獲取更好的信噪比。 然後捕獲到的場景或圖像的兩個版本可以相組合以產生圖像的增強版本。
特別是，在一個實施方式中，多個圖像感測器101捕獲各自具有不同的曝光水準的多個圖像。圖像信號處理管線的處理單元201和202對捕獲到的圖像的不同組合進行關聯並執行高動態範圍處理。來自不同的組合的所得圖像可以顯示給使用者，或者提供給用戶對可以保存和/或顯示的所需的最終圖像進行選擇。在一些實施方式中，也可以提供允許漸進或逐步移動的圖形介面滑動條(或其他使用者介面控制單元)，以提供具有不同曝光的圖像之間的不同權重組合。對於視頻，可以跨所有框而保持這樣的設置。
在實施方式中，還利用多個圖像感測器101實現了圖像信號處理管線的複用。例如，如圖5所示，考慮立體成像設備(例如，成像設備150的一個實施方式)分發(deliver)了物件的左側圖像和右側圖像至單一圖像信號處理管線。 因此，管線處理邏輯104中的單一圖像管線被前端處理邏輯103在並行地輸入至管線的左側圖像和右側圖像之間複用。可替代地，在增強的2D影像處理中，同時的圖像捕獲也可以通過圖像之間的複用而並行地輸入至管線。
因此，不是一個圖像在另一圖像已被完整處理之後被完整處理，而是只要前端處理邏輯103的處理時間允許，圖像可以通過與另一個之間切換影像處理而同時地進行處理。這樣通過不延遲影像處理直到另一圖像完成而減少了等待時間，從而兩個圖像的處理會更迅速地完成。
記住以上幾點，圖6是示出了使用上面簡要地提到的一個或多個影像處理技術而提供了圖像資料處理的電子設備650的示例的框圖。電子設備650可以是被配置為接收和處理圖像資料(諸如使用一個或多個圖像傳感元件所獲取的資料)的任何類型的電子設備，諸如筆記本電腦或臺式電腦、行動電話、平板、數位媒體播放機等。
無論其形式(例如，可攜式和非可攜式)，應當理解，其中，電子設備650可以使用以上簡要地說明的一個或多個影像處理技術而提供圖像資料的處理。在一些實施方式中，電子設備650可以對電子設備650的記憶體中儲存的圖像資料應用這樣的影像處理技術。在進一步的實施方式中，電子設備650可以包括諸如集成的或外部的數碼照相機或成像器101的多個成像設備，它們被配置為獲取圖像資料，然後這些圖像資料被電子設備650使用一個或多個上述提到的影像處理技術進行處理。
如圖6所示，電子設備605可以包括各種有助於設備605的功能的內部和/或外部元件。該技術領域具有通常知識者應當認識到，圖6中所示的各種功能塊可以包括硬體單元(包括電路)、軟體單元(包括儲存在電腦可讀介質中的電腦代碼)或硬體和軟體單元的組合。例如，在當前所示的實施方式中，電子設備605可以包括輸入/輸出(I/O)埠610、一個或多個處理器620、存放裝置630、非易失性記憶體640、網路設備650、電源660以及顯示器670。此外，電子設備605可以包括諸如數碼照相機或成像器101的成像設備680，以及影像處理電路690。正如將在下面進一步討論的，影像處理電路690可被配置為在處理圖像資 料時實現一個或多個上述影像處理技術。正如所能夠認識到的，影像處理電路690處理過的圖像資料可以從記憶體630和/或一個或多個非易失性存放裝置640中檢索，或者可以使用成像設備680來獲取。
在繼續之前，應當理解，圖6中所示的設備605的系統框圖旨在成為高層級的控制圖，其示出了該設備605中可以包含的各種元件。即，圖6中所示的各個元件之間的連接線並非必須表示資料流程動或在設備605的各個元件之間傳輸的路徑或方向。事實上，如上所述，在一些實施方式中，所示的一個或多個處理器620包括諸如主處理器(例如，CPU)的多個處理器，以及專用的圖像和/或視頻處理器。在這些實施方式中，圖像資料的處理可以主要由這些專用處理器來處理，從而有效地從主處理器(CPU)中分擔這些任務。
接下來，參考圖7，所示的是提供了根據各種實施方式的影像處理電路100的一部分的操作的一個示例的流程圖。應當理解，圖7的流程圖只是提供了許多不同類型的功能配置的示例，它們可以被用來實現本文所述的影像處理電路100的一部分的操作。作為替代，圖7的流程圖可以被視為示出了根據一個或多個實施方式的電子設備605(圖6)中實現的方法的步驟的示例。
從步驟702開始，控制邏輯105觸發或啟動來自圖像感測器101的多個圖像的同時捕獲，其中多個圖像包括至少第一圖像和第二圖像。第一圖像包含與第二圖像的成像特性不同的成像特性或設置。可能的圖像特性包括曝光水準、聚焦水準、景深設置、視角等。在步驟704中，處理 邏輯103和處理邏輯104至少組合第一圖像和第二圖像或者第一圖像和第二圖像的一部分以產生具有第一圖像和第二圖像的品質的增強的圖像。作為示例，增強的圖像可以包含具有來自第一圖像和第二圖像的景深、來自第一圖像和第二圖像的曝光水準、第一圖像和第二圖像的組合解析度等的部分。在步驟706中，增強的圖像從處理邏輯的圖像信號處理管線中輸出，並被提供用於顯示。
接下來，參考圖8，所示的是提供了根據各種實施方式的影像處理電路100的一部分的操作的附加示例的流程圖。從步驟802開始，控制邏輯105觸發來自圖像感測器101的多個圖像的同時捕獲，其中多個圖像包括至少第一圖像和第二圖像。第一圖像包含與第二圖像的成像特性不同的成像特性或設置。此外，由於不同的特性或設置，一個圖像可包含其他圖像中不存在的圖像劣化。例如，如果一個圖像具有比其他圖像更長的曝光，則更長的曝光的圖像可能具有其他圖像中沒有捕獲到的運動模糊劣化，但是其他的圖像可能具有其他諸如低光照水準的非期望的特性。
步驟804中，處理邏輯104比較至少第一圖像和第二圖像或者第一圖像和第二圖像的一部分，以檢測第一圖像中的圖像劣化，然後在步驟806中，管線處理邏輯104補償圖像劣化以產生具有第一圖像和第二圖像的品質的增強的圖像。在步驟808中，增強的圖像從管線處理邏輯104中的圖像信號處理管線中輸出，並被提供用於顯示。在可選的實施方式中，可以輸出多個增強的圖像，其中一個捕獲到的圖像可以用來檢測第二圖像中的圖像劣化或缺陷而第二圖像也可以用來檢測第一圖片中的圖像劣化/缺陷。
在圖9中示出了提供了根據各種實施方式的影像處理電路100的一部分的操作的附加示例的流程圖。從步驟902開始，控制邏輯105啟動了成像設備150的立體操作模式，其中，捕獲圖像被用來產生能夠在顯示器106上可觀看的或能夠保存在記憶體108中的3D圖像。在一個實施方式中，使用者可以產生用於控制邏輯105的命令以啟動立體操作模式。在可選的實施方式中，控制邏輯105可被配置為自動啟動立體操作模式。
因此，在步驟904中，控制邏輯105啟動用於成像設備150的2D或單視場操作模式，其中，單一的圖像被捕獲並顯示，或者被保存在記憶體108中。在一個實施方式中，使用者可以產生用於控制邏輯105的命令以啟動2D模式。在可選的實施方式中，控制邏輯105可被配置為在沒有使用者提示情況下自動啟動2D操作模式。
此外，在步驟906中，控制邏輯105啟動用於成像設備150的增強的2D或單視場操作模式，其中多個圖像被捕獲並被用來產生具有增強的特性(例如，改善的景深、增強的聚焦、HDR、超級解析度等)、可觀看的或可保存在記憶體108中的2D圖像。此外，在各種實施方式中，影像處理的其中一個輸出可以不是增強的圖像而可以是諸如景深資訊的用於增強的圖像資訊。在一個實施方式中，使用者可以生成用於控制邏輯105的命令，以啟動增強的2D操作模式。在可選的實施方式中，控制邏輯105可被配置為在沒有使用者提示的情況下自動啟動增強的2D操作模式。
流程圖中的任何處理的說明或模組，應當理解為表示了包括用於實現處理中特定的邏輯功能或步驟的一個或多 個可執行指令的模組、程式段(segment)或部分代碼，並且可選的實施方式也被包括在本發明的實施方式的範圍內，其中，如本領域技術人員所理解的，根據所涉及的功能，可以以與所示的和所說明的順序不同的順序(包括基本同時或逆序)而執行功能。
在本文獻的上下文中，“電腦可讀介質”可以是包含、儲存、通訊或傳輸被指令執行系統、裝備或設備所使用或與它們相關的任何裝置。電腦可讀介質可以是但不限於：例如電子、磁、光、電磁、紅外或半導體系統、裝置或設備。電腦可讀介質的更具體的示例(不完全列表)將包括以下：具有一條以上配線的電連接(電子)、可攜式電腦磁片(磁)、隨機存取記憶體(RAM)(電子)、唯讀記憶體(ROM)(電子)、可擦除可程式設計唯讀記憶體(EPROM或快閃記憶體記憶體)(電子)、光纖(光)和可攜式唯讀光碟記憶體(CD-ROM)(光)。此外，某些實施的範圍包括以硬體或軟體配置的介質實現的邏輯來實現實施方式的功能。
應當強調的是，上述的實施方式僅僅是實現方式的可能的示例，只是為清楚地瞭解發明的原理而予以說明。在本質上沒有偏離發明的精神和原理的前提下，可對上述的一個或多個實施方式進行各種變化和修改。所有這些變化和修改旨在包括在本發明範圍內，並且受所附申請專利範圍的保護。
100‧‧‧影像處理電路
101‧‧‧圖像感測器
103‧‧‧處理邏輯
104‧‧‧管線處理邏輯
105‧‧‧控制邏輯
106‧‧‧顯示裝置
107‧‧‧編碼器
108‧‧‧記憶體
110‧‧‧鏡頭
150‧‧‧成像設備
201‧‧‧第一處理單元
202‧‧‧第二處理單元
311‧‧‧第二路徑的階段或單元
312‧‧‧第二路徑的階段或單元
321‧‧‧階段或單元
322‧‧‧階段或單元
411‧‧‧處理單元
412‧‧‧處理單元
421‧‧‧副圖像的處理單元
422‧‧‧副圖像的處理單元
605‧‧‧電子設備
610‧‧‧輸入/輸出埠
620‧‧‧處理器
630‧‧‧存放裝置
640‧‧‧非易失性記憶體
650‧‧‧電子設備
660‧‧‧電源
670‧‧‧顯示器
680‧‧‧成像設備
圖1是根據本發明的影像處理電路的一個實施方式的框圖。
圖2到圖5是由圖1的影像處理電路的管線處理邏輯所實現的圖像信號處理管線的實施方式的框圖。
圖6是示出了採用圖1的影像處理電路的電子設備的實施方式的框圖。
圖7到圖9是示出了圖1的影像處理電路的實施方式的各種功能的流程圖。
100‧‧‧影像處理電路
101‧‧‧圖像感測器
103‧‧‧處理邏輯
104‧‧‧管線處理邏輯
105‧‧‧控制邏輯
106‧‧‧顯示裝置
107‧‧‧編碼器
108‧‧‧記憶體
110‧‧‧鏡頭
150‧‧‧成像設備

Claims (10)

  1. 一種圖像擷取裝置，包括：第一圖像感測器，用於記錄場景之第一圖像；第二圖像感測器，用於記錄所述場景之第二圖像；控制處理電路，啟動所述第一圖像感測器對所述場景之所述第一圖像以及所述第二圖像感測器對所述場景之所述第二圖像的同時捕獲；以及影像處理電路，產生包括所述第一圖像和所述第二圖像的至少一部分的所述場景之增強的單視場圖像，其中所述影像處理電路被配置為在第一處理路徑中處理所述第一圖像所包含的第一圖元，其少於所述第二圖像所包含之全部該第一圖元，並且在第二處理路徑中處理所述第一圖像所不包含之所述第二圖像的第二圖元。
  2. 如申請專利範圍第1項所述之圖像擷取裝置，其中所述增強的單視場圖像包括從所述第一圖像中獲取的第一部分和從所述第二圖像中獲取的第二部分，其中所述第一部分包括具有與所述第二部分不同的曝光水準或者具有與所述第二部分不同的景深中的至少一個，或者其中所述增強的單視場圖像的解析度大於所述第一圖片和所述第二圖像的單個的解析度。
  3. 如申請專利範圍第1項所述之圖像擷取裝置，其中對所述第二圖像進行分析並將其與所述第一圖像比較，以分離出所述第一圖像中的缺陷，其中所述增強的單視場圖像是所述第一圖像去除所述缺陷的經校正的版本。
  4. 如申請專利範圍第1項所述之圖像擷取裝置，其中： 所述控制處理電路被配置為在以下模式下進行操作：立體模式，利用所述第一圖像感測器和所述第二圖像感測器的同時操作以產生立體圖像；單視場模式，利用所述第一圖像感測器的單獨的操作以產生單視場圖像；以及增強的單視場模式，利用所述第一圖像感測器和所述第二圖像感測器的同時操作以產生所述增強的單視場圖像，以及所述控制處理電路被配置為在包括所述單視場模式、所述立體模式或所述增強的單視場模式中的至少兩個的操作模式之間自動切換。
  5. 如申請專利範圍第1項所述之圖像擷取裝置，其中所述第一圖像用作用於所述增強的單視場圖像的圖像資料，並且所述第二圖像用作增強資料以增強所述第一圖像的至少一個圖像特性，其中所述增強的單視場圖像包括具有至少一個改善的特性的所述第一圖像。
  6. 如申請專利範圍第1項所述之圖像擷取裝置，其中第一圖像感測器在同時捕獲的過程中以第一面元劃分水準進行操作，第一面元劃分水準不同於在同時捕獲的過程中第二圖像感測器進行操作的面元劃分水準。
  7. 一種影像處理方法，包括：記錄由第一圖像感測器所捕獲的第一圖像；記錄由第二圖像感測器所捕獲的第二圖像，其中所述第一圖像和所述第二圖像是同時捕獲的；比較所述第一圖像和所述第二圖像中的至少一部分，其中所述比較包括：使用遮罩來識別所述第二圖像之圖元，其類似於所述第一圖像之圖元； 從所述第二圖像去除所述第二圖像中之識別的圖元；處理第一處理路徑中所述第一圖像；處理第二處理路徑中所述第二圖像中之剩餘的圖元；以及響應於所述第一處理路徑和所述第二處理路徑的輸出，產生增強的單視場圖像。
  8. 如申請專利範圍第7項所述之影像處理方法，其中所述第一圖像用作用於所述增強的單視場圖像的圖像資料，而所述第二圖像用作增強資料以增強的所述第一圖像的至少一個圖像特性，其中所述增強的單視場圖像包括具有至少一個改善的特性的所述第一圖像，其中所述至少一個改善的特性包括改善的景深、改善的解析度中的至少一個；或改善的曝光水準。
  9. 如申請專利範圍第7項所述之影像處理方法，其中對所述第二圖像進行分析並將其與所述第一圖像比較，以分離出所述第一圖像中的缺陷，其中所述增強的單視場圖像是所述第一圖像去除所述缺陷的經校正的版本。
  10. 如申請專利範圍第7項所述之影像處理方法，其中一種圖像擷取裝置包括所述第一圖像感測器和所述第二圖像感測器，所述方法還包括：在以下模式之間切換所述圖像擷取裝置的操作：立體模式，利用所述第一圖像感測器和所述第二圖像感測器的同時操作以產生立體圖像；單視場模式，利用所述第一圖像感測器的單獨的操作以產生單視場圖像；以及增強的單視場模式，利用所述第一圖像感測器和所述第二圖像感測器的同時操作以產生所述增強的單視場圖像。
TW101124641A 2011-07-20 2012-07-09 圖像擷取裝置及影像處理方法 TWI526068B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161509747P 2011-07-20 2011-07-20
US13/335,028 US9270875B2 (en) 2011-07-20 2011-12-22 Dual image capture processing

Publications (2)

Publication Number Publication Date
TW201309003A TW201309003A (zh) 2013-02-16
TWI526068B true TWI526068B (zh) 2016-03-11

Family

ID=46514066

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101124641A TWI526068B (zh) 2011-07-20 2012-07-09 圖像擷取裝置及影像處理方法

Country Status (5)

Country Link
US (1) US9270875B2 (zh)
EP (2) EP2549763A3 (zh)
KR (1) KR101428635B1 (zh)
CN (1) CN102892008B (zh)
TW (1) TWI526068B (zh)

Families Citing this family (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5814566B2 (ja) * 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
WO2013190171A1 (en) * 2012-06-20 2013-12-27 Nokia Corporation Display camera operation
US20140010476A1 (en) * 2012-07-04 2014-01-09 Hui Deng Method for forming pictures
US8854362B1 (en) * 2012-07-23 2014-10-07 Google Inc. Systems and methods for collecting data
US9137455B1 (en) * 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US20140267701A1 (en) * 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
US9635268B2 (en) * 2013-03-13 2017-04-25 Samsung Electronics Co., Ltd. Electronic device and method for generating thumbnail data
KR102124188B1 (ko) * 2013-03-13 2020-06-26 삼성전자주식회사 이미지를 처리하는 전자장치 및 방법
US11013398B2 (en) * 2013-03-13 2021-05-25 Stryker Corporation System for obtaining clear endoscope images
US9554113B2 (en) 2013-03-21 2017-01-24 Mediatek Inc. Video frame processing method
CN109194849B (zh) 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
CN103338355A (zh) * 2013-06-17 2013-10-02 广东新视野信息科技有限公司 一种3g航空腹舱视频监控方法
KR101757101B1 (ko) 2013-07-04 2017-07-12 코어포토닉스 리미티드 소형 망원 렌즈 조립체
WO2015015383A2 (en) 2013-08-01 2015-02-05 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
JP6306845B2 (ja) * 2013-09-12 2018-04-04 キヤノン株式会社 撮像装置及びその制御方法
US9443335B2 (en) 2013-09-18 2016-09-13 Blackberry Limited Using narrow field of view monochrome camera for producing a zoomed image
US20150103146A1 (en) * 2013-10-16 2015-04-16 Qualcomm Incorporated Conversion of at least one non-stereo camera into a stereo camera
JP2016540417A (ja) * 2013-10-18 2016-12-22 ザ ライト・コ インコーポレイテッド 画像キャプチャ制御方法および装置
CN105339841B (zh) * 2013-12-06 2018-12-14 华为终端（东莞）有限公司 双镜头设备的拍照方法及双镜头设备
WO2015081563A1 (zh) * 2013-12-06 2015-06-11 华为终端有限公司 一种生成图片的方法及一种双镜头设备
US9319576B2 (en) 2014-01-29 2016-04-19 Google Technology Holdings LLC Multi-processor support for array imagers
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
WO2016033036A2 (en) * 2014-08-26 2016-03-03 Massachusetts Institute Of Technology Methods and apparatus for three-dimensional (3d) imaging
EP3188468B1 (en) * 2014-08-29 2019-05-22 Huawei Technologies Co., Ltd. Image processing method and electronic device
TWI542224B (zh) * 2014-09-22 2016-07-11 瑞昱半導體股份有限公司 影像訊號處理方法以及影像訊號處理裝置
US9672594B2 (en) * 2014-10-21 2017-06-06 The Boeing Company Multiple pixel pitch super resolution
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
CN104363391B (zh) * 2014-11-28 2018-11-27 广东欧珀移动通信有限公司 图像坏点补偿方法、系统及拍照设备
CN104469164B (zh) * 2014-12-24 2018-10-12 联想(北京)有限公司 图像采集设备、图像采集模组及图像处理方法
US10176558B2 (en) * 2014-12-29 2019-01-08 Nokia Technologies Oy Method, apparatus and computer program product for motion deblurring of images
WO2016108093A1 (en) 2015-01-03 2016-07-07 Corephotonics Ltd. Miniature telephoto lens module and a camera utilizing such a lens module
US9729785B2 (en) 2015-01-19 2017-08-08 Microsoft Technology Licensing, Llc Profiles identifying camera capabilities that are usable concurrently
US10015384B2 (en) 2015-04-02 2018-07-03 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
KR102088603B1 (ko) 2015-04-16 2020-03-13 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
KR102007379B1 (ko) 2015-05-28 2019-08-05 코어포토닉스 리미티드 이중-조리개 디지털 카메라의 광학식 손떨림 방지 및 자동-초점을 위한 양-방향성 강성
KR102214287B1 (ko) 2015-08-13 2021-02-09 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
KR102347591B1 (ko) * 2015-08-24 2022-01-05 삼성전자주식회사 이미지 센싱 장치 및 이미지 프로세싱 시스템
CN109901342B (zh) 2015-09-06 2021-06-22 核心光电有限公司 紧凑型折叠式相机中带有滚动补偿的自动对焦和光学图像稳定
KR102400104B1 (ko) * 2015-10-28 2022-05-19 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 방법
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
EP3174286B1 (en) * 2015-11-25 2021-01-06 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
JP6603558B2 (ja) 2015-11-25 2019-11-06 キヤノン株式会社 撮像素子および撮像装置
CN105872393A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术（北京）有限公司 高动态范围图像的生成方法和装置
CN109946832B (zh) 2015-12-29 2021-01-19 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
US9712774B1 (en) * 2016-01-14 2017-07-18 Omnivision Technologies, Inc. Method and system for implementing dynamic ground sharing in an image sensor with pipeline architecture
CN105827909B (zh) * 2016-01-25 2017-06-23 维沃移动通信有限公司 一种双摄像头快速启动方法及移动终端
EP4270976A3 (en) * 2016-02-12 2024-01-10 Contrast, Inc. Devices and methods for high dynamic range video
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
CN107102499A (zh) * 2016-02-22 2017-08-29 深圳富泰宏精密工业有限公司 多镜头系统及具有该多镜头系统的便携式电子装置
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
EP3381181B1 (en) 2016-06-19 2022-04-06 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
US10762708B2 (en) * 2016-06-23 2020-09-01 Intel Corporation Presentation of scenes for binocular rivalry perception
KR102603426B1 (ko) * 2016-06-27 2023-11-20 삼성전자주식회사 이미지 처리장치 및 방법
US10845565B2 (en) 2016-07-07 2020-11-24 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
WO2018007951A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
EP3507765A4 (en) 2016-09-01 2020-01-01 Duelight LLC SYSTEMS AND METHODS FOR FOCUS ADJUSTMENT BASED ON TARGET DEVELOPMENT INFORMATION
WO2018048838A1 (en) * 2016-09-06 2018-03-15 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
GB2568647B (en) 2016-09-19 2022-04-20 Tau Tech Llc Multi-camera imaging systems
EP3563193B1 (en) 2016-12-28 2021-03-31 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
KR102164655B1 (ko) 2017-01-12 2020-10-13 코어포토닉스 리미티드 컴팩트 폴디드 카메라
WO2018142228A2 (en) 2017-01-19 2018-08-09 Mindmaze Holding Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
EP3568804A2 (en) * 2017-02-07 2019-11-20 Mindmaze Holding S.A. Systems, methods and apparatuses for stereo vision and tracking
US10630888B2 (en) 2017-02-09 2020-04-21 Samsung Electronics Co., Ltd. Method and apparatus for selecting capture configuration based on scene analysis
KR102212611B1 (ko) 2017-02-23 2021-02-05 코어포토닉스 리미티드 폴디드 카메라 렌즈 설계
CN110582724B (zh) 2017-03-15 2022-01-04 核心光电有限公司 具有全景扫描范围的照相装置
WO2018179671A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
CN107277348B (zh) * 2017-06-16 2019-08-16 Oppo广东移动通信有限公司 对焦方法、装置、计算机可读存储介质和移动终端
US10319079B2 (en) 2017-06-30 2019-06-11 Microsoft Technology Licensing, Llc Noise estimation using bracketed image capture
WO2019014057A1 (en) 2017-07-10 2019-01-17 Contrast, Inc. STEREOSCOPIC CAMERA
US10742834B2 (en) * 2017-07-28 2020-08-11 Advanced Micro Devices, Inc. Buffer management for plug-in architectures in computation graph structures
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
CN113219614B (zh) 2017-11-23 2023-02-03 核心光电有限公司 摄影机及制法、移动电子设备及减小凸起占用空间的方法
US10721419B2 (en) * 2017-11-30 2020-07-21 International Business Machines Corporation Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
CN108024056B (zh) * 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
CN114609746A (zh) 2018-02-05 2022-06-10 核心光电有限公司 折叠摄像装置
US10691968B2 (en) 2018-02-08 2020-06-23 Genetec Inc. Systems and methods for locating a retroreflective object in a digital image
CN113568251B (zh) 2018-02-12 2022-08-30 核心光电有限公司 数字摄像机及用于提供聚焦及补偿摄像机倾斜的方法
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN112367448B (zh) 2018-04-23 2022-04-19 核心光电有限公司 感测机构
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN110166795B (zh) * 2018-07-19 2022-02-18 腾讯科技（深圳）有限公司 一种视频截图方法及装置
US11363180B2 (en) 2018-08-04 2022-06-14 Corephotonics Ltd. Switchable continuous display information system above camera
US11647284B2 (en) 2018-08-20 2023-05-09 Sony Semiconductor Solutions Corporation Image processing apparatus and image processing system with image combination that implements signal level matching
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
KR102012717B1 (ko) * 2018-10-25 2019-08-21 전자부품연구원 360 vr 영상을 실시간으로 생성하는 영상변환장치 및 시스템
US10880475B2 (en) 2018-10-25 2020-12-29 Korea Electronics Technology Institute Video conversion apparatus and system for generating 360-degree virtual reality video in real time
CN113260835A (zh) 2018-12-14 2021-08-13 光谱Md公司 用于高精度多孔径光谱成像的系统和方法
CN111919057B (zh) 2019-01-07 2021-08-31 核心光电有限公司 具有滑动接头的旋转机构
EP3782363B1 (en) 2019-03-09 2023-06-07 Corephotonics Ltd. Method for dynamic stereoscopic calibration
EP3726459B1 (en) * 2019-04-17 2022-02-16 Leica Instruments (Singapore) Pte. Ltd. Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program
KR20210007697A (ko) 2019-07-12 2021-01-20 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 장치
CN110392149A (zh) * 2019-07-23 2019-10-29 华为技术有限公司 图像摄取显示终端
KR102640227B1 (ko) 2019-07-31 2024-02-22 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11188776B2 (en) 2019-10-26 2021-11-30 Genetec Inc. Automated license plate recognition system and related method
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
WO2021116851A2 (en) 2019-12-09 2021-06-17 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
RU2725973C1 (ru) * 2019-12-31 2020-07-08 Вячеслав Михайлович Смелков Способ формирования видеосигнала в телевизионно-компьютерной системе для контроля промышленных изделий, имеющих форму кругового кольца
EP4052176A4 (en) 2020-02-22 2023-01-04 Corephotonics Ltd. SPLIT SCREEN FUNCTION FOR MACRO PHOTOGRAPHY
CN114144898B (zh) 2020-04-26 2022-11-04 核心光电有限公司 用于霍尔棒传感器校正的温度控制
US20210334586A1 (en) * 2020-04-28 2021-10-28 Mediatek Inc. Edge learning display device and method
WO2021234515A1 (en) 2020-05-17 2021-11-25 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
CN117572549A (zh) 2020-05-30 2024-02-20 核心光电有限公司 用于获得超微距图像的系统和方法
US11891075B2 (en) * 2020-06-23 2024-02-06 Tusimple, Inc. Redundant hardware and software architecture for autonomous vehicles
US11928799B2 (en) 2020-06-29 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
KR102672536B1 (ko) 2020-07-15 2024-06-04 코어포토닉스 리미티드 스캐닝 폴디드 카메라에서의 시점 수차-보정
CN114270145B (zh) 2020-07-31 2024-05-17 核心光电有限公司 用于大行程线性位置感测的霍尔传感器-磁体几何结构
CN116679419A (zh) 2020-08-12 2023-09-01 核心光电有限公司 用于光学防抖的装置和方法
US11853845B2 (en) 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
AU2022249956A1 (en) 2021-03-29 2023-11-02 Alcon Inc. Stereoscopic imaging platform with continuous autofocusing mode
WO2022212507A1 (en) * 2021-03-30 2022-10-06 Cyberdontics (Usa), Inc. Optical coherence tomography for intra-oral scanning
KR20240025049A (ko) 2021-06-08 2024-02-26 코어포토닉스 리미티드 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라
US11575828B1 (en) * 2021-10-14 2023-02-07 Meta Platforms, Inc. Dynamically identifying visual media capture formats based upon conditions
WO2023141216A2 (en) * 2022-01-21 2023-07-27 Spectral Md, Inc. System and method for topological characterization of tissue
WO2024054937A1 (en) 2022-09-08 2024-03-14 Cyberdontics (Usa), Inc. Optical coherence tomography scanning system and methods

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2569474Y (zh) 2002-01-07 2003-08-27 张国梁 立体影像摄录及播放系统
KR20050041640A (ko) 2003-10-31 2005-05-04 삼성전자주식회사 영상 촬영 장치 및 방법
US7086735B1 (en) * 2005-05-27 2006-08-08 Anthony Italo Provitola Enhancement of visual perception
WO2006079963A2 (en) 2005-01-28 2006-08-03 Koninklijke Philips Electronics N.V. Device for registering images
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
JP4288623B2 (ja) * 2007-01-18 2009-07-01 ソニー株式会社 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
TW200937344A (en) 2008-02-20 2009-09-01 Ind Tech Res Inst Parallel processing method for synthesizing an image with multi-view images
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
CN105681633B (zh) * 2009-03-19 2019-01-18 数字光学公司 双传感器照相机及其方法
US20120242795A1 (en) * 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination

Also Published As

Publication number Publication date
EP2549763A3 (en) 2014-03-12
CN102892008A (zh) 2013-01-23
EP3429189A1 (en) 2019-01-16
EP2549763A2 (en) 2013-01-23
US9270875B2 (en) 2016-02-23
CN102892008B (zh) 2016-12-21
US20130021447A1 (en) 2013-01-24
TW201309003A (zh) 2013-02-16
KR101428635B1 (ko) 2014-08-08
EP3429189B1 (en) 2024-04-17
KR20130011951A (ko) 2013-01-30

Similar Documents

Publication Publication Date Title
TWI526068B (zh) 圖像擷取裝置及影像處理方法
US7940311B2 (en) Multi-exposure pattern for enhancing dynamic range of images
US8199222B2 (en) Low-light video frame enhancement
US20130021504A1 (en) Multiple image processing
JP6460653B2 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
US20130251283A1 (en) System and method to selectively combine images
JP2004064676A (ja) 撮像装置
US8854503B2 (en) Image enhancements through multi-image processing
JP2009094997A (ja) 撮像装置、撮像方法
CN116324882A (zh) 多相机系统中的图像信号处理
JP2007324856A (ja) 撮像装置、撮像制御方法
US9007479B2 (en) Imaging apparatus and evaluation value generation apparatus
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
JP5146015B2 (ja) 撮像装置及び撮像方法
US11843871B1 (en) Smart high dynamic range image clamping
WO2015129479A1 (ja) 撮像装置および方法、並びにプログラム
JP2008072501A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP6294607B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP4356651B2 (ja) 画像処理装置、撮像装置、および画像処理方法
US20240214692A1 (en) High dynamic range region based compute gating
US20240185401A1 (en) Area efficient high dynamic range bandwidth compression
WO2019171782A1 (ja) 撮像装置、撮像方法、およびプログラム
WO2024144914A1 (en) High dynamic range region based compute gating
JP2010232909A (ja) 撮像装置及びその駆動制御方法