TWI521961B - 相機、包含相機的系統、操作相機的方法及解迴旋記錄影像 - Google Patents

相機、包含相機的系統、操作相機的方法及解迴旋記錄影像 Download PDF

Info

Publication number
TWI521961B
TWI521961B TW099114708A TW99114708A TWI521961B TW I521961 B TWI521961 B TW I521961B TW 099114708 A TW099114708 A TW 099114708A TW 99114708 A TW99114708 A TW 99114708A TW I521961 B TWI521961 B TW I521961B
Authority
TW
Taiwan
Prior art keywords
sensor
lens
camera
sweep
motion
Prior art date
Application number
TW099114708A
Other languages
English (en)
Other versions
TW201106682A (en
Inventor
瑞明哥 梭多羅斯 喬翰尼斯 穆吉斯
德米崔 尼柯雷維奇 納門斯基
哈洛德 艾格拿 威翰莫斯 舒梅茲
魯得 弗洛特司
希許 法藍西柯 漢瑞克 凡
Original Assignee
皇家飛利浦電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 皇家飛利浦電子股份有限公司 filed Critical 皇家飛利浦電子股份有限公司
Publication of TW201106682A publication Critical patent/TW201106682A/zh
Application granted granted Critical
Publication of TWI521961B publication Critical patent/TWI521961B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Processing (AREA)

Description

相機、包含相機的系統、操作相機的方法及解迴旋記錄影像
本發明係關於一種包括一透鏡及一影像感測器之相機，其中該感測器與該透鏡之間沿光軸的距離與該透鏡之焦距之比率在該影像之曝光時間期間改變。本發明亦係關於一種用於解迴旋藉由一影像感測器而被捕獲的影像資料之方法。
諸如CMOS及CCD之習知影像感測器在曝光時間之期間整合所有撞擊到其上的光。此提供靜態物體之清晰影像，但是導致在快門被敞開之同時移動的物體之空間模糊。不在焦點中的物體亦係模糊的。所謂的運動模糊與曝光時間及物體速度成比例。當一相機在低光度條件下操作時，前者係特別棘手的。在此等情況下，長曝光時間係理想的以達成實質上高信雜比位準，使得一場景之暗區可被充分地成像。因此，許多相機受到在運動模糊與動態範圍之間的一典型權衡。該等曝光時間需係長的以捕獲足夠的光，但是需係小的被以便減小運動模糊。在本發明之架構內，用詞「相機」包括用於拍照片的相機以及用於視訊目的之相機。
在該第一段中所描述的類型之一相機及方法係得知自2008年10月H. Nagahara、S. Kuthirummal、C. Zhou及S.K. Nayar,European Conference on Computer Vision(ECCV),Nagahara等人「Flexible Depth of Field Photography(景域攝影之靈活深度)」。
Nagahara等人展示一種用於拍照片的相機，其中改變在該感測器與一固定焦點透鏡之間的距離。該感測器在曝光時間期間掃掠過一距離。該掃掠距離被配置以掃過若干景深範圍之一範圍以便增加景域之深度。在Nagahara等人之文章中被揭示的先前技術相機減小離焦模糊。為減少該離焦模糊，該感測器沿該光軸掃過以覆蓋某些深度範圍。
該感測器之該掃掠提供用於一複合成像，實際上係各種焦深的許多影像之一組合。可計算一點散佈函數(PSF)。實際上，一點散佈函數係一物體之一點將在該感測器上形成的影像。針對完全在焦點中的一物體，該點散佈係零，及由此該PSF係一狄拉克(Dirac)函數。對於全部頻率，此函數之傅立葉變換將係一常數。針對不在焦點中的一點，該PSF係一展開函數，針對在運動中的一物體，同時該相機被固定，該PSF將歸因於該運動而散佈於一距離。從該PSF，可計算一逆點散佈函數(IPSF)。解迴旋複合影像容許獲得一清晰影像及獲得景域之一增加的深度。此乃由於事實上，如Nagahara展示，當使該感測器進行掃掠時，用於各種距離的靜態物體之該PSF在很大程度上變得相同的。由此，具有同一個IPSF之原始影像的解迴旋將容許對於靜態物體獲得於全部距離的一清晰影像、或至少一增加之距離範圍及一增加之景域深度。
雖然離焦模糊及其減小可係及係重要的，但是如以上說明，一主要問題存在及對於運動中物體仍然存在，即運動模糊，特別係針對較大的曝光時間。
Nagahara已經提及與運動模糊相關的問題，但是沒有給出一解決方案。
用於減小運動模糊的一已知解決方案係垂直於光軸來移動該感測器。此等解決方案係例如得知自2008年8月A. Levin、P. Sand、T. S. Cho、F. Durand、W. T. Freeman. SIGGRAPH,ACM Transactions on Graphics,Levin等人「Motion-Invariant Photography」。本質上，此解決方案考量到在曝光期間使該感測器從左移動至右(或反之亦然)以減小歸因於一水平運動所致之運動模糊。
除在Levin等人之文章中建議的解決方案之外，可憑藉視訊處理而反轉運動模糊。這係藉由該運動軌道之運動估計及逆過濾而被達成。此係例如得知自US 6930676。然而，實際上此一程序之結果經受到錯誤的運動向量，特別針對遮蔽區域。必須知道運動軌道及自運動軌道推斷運動向量，且以能夠進行逆過濾。在被用於專業應用的許多獨立相機中，運動向量可能根本不可得。舉例而言，用於監視或活動監控之許多相機的記錄僅提供輸入至基於電腦視覺之分析程序(諸如，可疑物體之自動偵測、年長者之跌倒偵測，等等)。在此等情形中，原始輸入圖框之品質係對於偵測系統之效能之一決定因素。運行時在該相機內部充分精確的運動向量係不可得的，及對所記錄視訊的後處理並非係即時監控系統之一選項。對於可拍一單一快照的一相機，基本上不可能精確地決定運動向量。在遮蔽區域(如果存在的話)，運動之估計亦係極度困難的且不準確的。在低光條件下，歸因於缺乏光而使問題增加。
其次，大部分傳統相機之特徵為一可調整式快門與光圈，可調整式快門與光圈對通過透鏡而進入的光限定時間維度及空間維度之窗限。此等通常特徵為箱式過濾程序(亦即，一有限區間之一恆定靈敏度)，其相對應於在相對應的時間及空間頻率域中的一sinc調變。結果，若干高頻率在獲取期間被完全壓制且在逆FIR過濾期間甚至當理想的運動資訊係可得時不能被恢復。實際上，逆過濾應被非常仔細地處置以防止雜訊之放大及偽像之引入。
簡而言之，用於減小運動模糊的一有效及簡單的構件未從先前技術而得知。
本發明之一目的係減少運動模糊。
為此，根據本發明之相機之特徵係該相機被配置以操作使得下列成立：
Vsweep*A/b2>0.25 sec-1
其中Vsweep係沿光軸之該感測器之運動及/或該透鏡之運動及/或該透鏡之焦距之變化，A係透鏡光圈，及b係透鏡至感測器距離。
Vsweep、A及b全部以該相同距離測量被表示。
「以相同距離測量表示」意謂著全部以諸如毫米/秒及毫米、或公分/秒及公分表示。
乍看起來好似一矛盾；運動模糊係起因於在垂直於光軸的一方向中(諸如在一水平或垂直方向)之物體移動，然而該感測器之運動係沿該光軸。被攝取之影像展現在諸如一水平或垂直方向(依據該物體之運動方向)之運動模糊，及因此，看起來一邏輯選擇不會藉由沿該光軸移動該感測器而減少運動模糊，及看起來垂直於該光軸移動該感測器的一邏輯選擇(如在Levin等人之文章中)可減少運動模糊。
然而，本發明者已經認識到假如某些條件被實現，事實上，沿該光軸之該感測器相對於一聚焦平面之一運動可被用於有效地抵消運動模糊。藉由使該感測器沿該光軸掃掠，該運動模糊核心變得與物體速度之一範圍極度相似。該PSF與物體速度之一範圍極度相似。此藉由利用在物體速度之一範圍內提供一清晰影像的一IPSF而容許一運動不變量成像。
本發明者已經此認識到最大物體速度(亦即，物體速度範圍，在該範圍內，可達成運動-不變量或接近運動-不變量成像)相依於許多因素，包含：
-　該感測器運動之速度或焦點掃掠率，
-　該主透鏡之光圈，及
-　在該感測器與該透鏡之間的平均距離。
對於感測器隨著距離半途進入掃掠移動之實施例中，可決定該平均距離。
在回顧中，藉由本發明之事後認識，據計算在Nagahara等人的文章中可達成高達一特定速度運動不變量成像，但是實際上此範圍係不重要的、不充分的且難以覺察的，其在0千米/小時至0.1千米/小時的範圍內。實際上此意謂著，與Nagahara文章之陳述相一致，藉由在Nagahara文章中揭示的該相機與方法無法達成有效運動不變量成像。Nagahara於是校正聲明運動模糊係一問題。利用Nagahara之教示，對於不同的速度必須使用不同的PSF，及運動不變量成像因此係不可能的。
備註，Nagahara等人之文章未揭示存在用於運動不變量成像之任一可能性。
如在Nagaharara文章中所揭示及論述，Nagahara之感測器之運動及此運動之原因係掃掠通過各種聚焦深度。聚焦深度係一特徵，其沿該感測器之運動之相同軸延伸，亦即，該運動及該感測器運動之原因平行於(事實上符合於)該光軸。
發明者已經認識到，假如某些條件被滿足，與歸因於垂直於該光軸的物體運動所致之一現象相關聯的一問題事實上可藉由沿該光軸之該感測器之運動而被減小。
為了能夠透成針對實際物體速度及距離之運動不變量成像，該參數Vsweep*A/b2之最小值(0.25 sec-1)比Nagahara文章中已知的(值)至少高一個數量級。
備註，在本發明之概念中，該感測器之運動被認為係該感測器相對於焦距之一「運動」。可藉由移動該感測器、藉由移動該透鏡或替代地藉由改變該透鏡之焦距來產生此運動。在全部此等可能性中，該感測器掃掠通過聚焦平面之一範圍。自然地，一組合運動(其中該感測器移動及同時焦距被改變)係可能的。為簡單起見，然而在在下文被達成的該感測器之此等「移動或運動」將被稱為「感測器移動」。該感測器或透鏡係沿該光軸移動(或焦距係改變)之事實不排除該感測器在垂直於該光軸之方向之同時運動。
較佳地該參數Vsweep*A/b2大於0.5 sec-1，最佳地超過1 sec-1。
較佳地，該參數Vsweep*A/b2小於15 sec-1，最佳地小於5 sec-1。一過大的參數需要十分高的掃掠速度或非常小的感測器距離。
較佳地，該曝光時間在0.005秒與0.05秒之間及最佳地在0.01秒與0.05秒之間。
一過長的曝光時間將需要該感測器之一非常實質的移動，其可能離開該感測器之合理的移動之範圍。
在該較佳的曝光時間範圍內，該感測器之移動係在合理的界限內，同時提供十分長的曝光時間。同樣地，在此曝光時間範圍內，可產生視訊序列。
在實施例中，該比率變化係致使該感測器達到在該範圍外之位置，其中任何物體係在焦點中。
在本發明之概念中，在實施例中，使該感測器快速移動越過一較大位置範圍，或在其中快速改變焦距以移出該等位置外(其中該影像之任一何分係在焦點中)係有利的。由此該感測器之該掃掠係在所有可能的聚焦深度範圍之外。此等位置提供能夠減小該運動模糊的資訊。使感測器移動之範圍延伸至所需焦點深度之範圍之外幫助運動不變量成像。
在實施例中，掃掠至少在曝光時間之一上部範圍係相依於該曝光時間。曝光時間並非只是決定感測器之明顯移動量。
在Nagahara文章中，感測器之位移被固定以掃掠通過焦範圍。在本發明中，感測器之移動速度係一決定性因素，從而在較佳實施例中，針對不同的曝光時間，感測器之位移隨曝光時間而變化。
假定在本發明中該速度係一決定性因素，對於較大的曝光時間該感測器之位移係相對較大的，同時對於較小的曝光時間，該移動係相對較小的，但其同時容許運動模糊之有效減少。
在針對一更低曝光時間範圍的實施例中，該移動速度可與曝光時間無關。對於此等曝光時間，該移動速度可被選擇使得該運動模糊可被有效地減小。
本發明亦係關於一種用於記錄影像的系統，該系統包括一相機，該系統進一步包括用於解迴旋一所記錄影像之一解迴旋器。
本發明進一步係關於一種操作包括一透鏡及一影像感測器之一相機的方法，其中在曝光時間期間，該影像感測器與該透鏡之間的距離與一焦距之比率沿光軸改變，其中下列成立：
Vsweep*A/b2>0.25 sec-1
其中Vsweep係沿該光軸之該感測器之運動及/或該透鏡之運動及/或焦距每秒鐘的變化，A係光圈及b係在透鏡與感測器之間的距離。
本發明係基於理解到：藉由在曝光時間期間改變相機參數可修改所記錄影像之特性。此被利用以設計一相機，其中在一實際速度範圍內運動模糊幾乎係獨立於物體之運動，及較佳地該等物體運動之一者的頻率行為係係致使所記錄之信號更適合於逆過濾。容許從更久的曝光時間記錄產生清晰影像，而不需要運動估計。換言之，根據本發明之相機可在高SNR甚至係非常具有挑戰性的光學成像條件(物體在低光照位準下於各種、未知的速度移動)下提供清晰影像。為此在曝光時間期間，感測器及/或透鏡沿光軸移動，或替代地或此外，在曝光時間之期間修改透鏡之焦距。改變一透鏡之焦點特性以改變焦距具有相似於移動該感測器至或從該透鏡移動該感測器或移動該透鏡至或從該感測器移動該透鏡的一效應。此各種實施例之共同處係：沿光軸之感測器與透鏡之間的距離(b)與焦距(f)之比率在曝光期間改變。
圖1繪示本發明之各種實施例。
物體1通過一透鏡2而被聚焦。在圖1中藉由來自該物體之光線交叉處之點而闡釋該聚焦影像，在該點。在圖1之上部，相機具有一可移動的感測器3。在曝光時間期間，該感測器3該光軸被移動。在圖1之上部，此藉由虛線而被繪示。該感測器運動可用每秒行進的一距離表示。此掃掠速度在下文被稱作Vsweep。圖1之下半部繪示該感測器3及透鏡相對於彼此之表觀運動之另一個方式。在此實施例中，感測器3'係穩定的，但是透鏡2'之特性係諸如藉由改變該透鏡之形式或該透鏡之光學指數而被改變。亦可移動透鏡本身。由於改變透鏡之特性，聚焦平面被移動，其具有類似於圖1之該上部所示的移動該感測器的效應。在本發明中，以該等以上方式之任一者或以該等以上方式之任一組合而建置該感測器相對於該透鏡之表觀運動。一組合係諸如藉由移動該感測器來進行該移動之部分，及諸如藉由改變透鏡2之焦距來進行該移動之部分，用於微調速度或相對運動之延伸可能範圍。針對一移動中的感測器之掃掠速度Vsweep僅係每秒鐘該感測器之位移量。針對一移動中的透鏡，掃掠速度Vsweep僅係每秒鐘該透鏡之位移量。如果二者皆移動，則掃掠速度係每秒鐘感測器與透鏡之間的距離變化。
假如感測器及透鏡係穩定的且該透鏡之焦距f被改變，其具有如移動該感測器及/或該透鏡之等價作用，掃掠速度可如下被計算：
其保持：
1/b=1/f-1/v
由此f(t)=1/(1/v+1/(b(t))，其中b(t)代表影像平面之位置。將焦距改變為關於時間的函數，由此如下改變聚焦平面：
f(t)=(v/(v+b(t))*b(t)
於一階近似，假定v幾乎總是比b大得多：
df(t)/dt=db(t)/dt
在此情況中，Vsweep係藉由每秒鐘焦距之變化而被給定。
換言之，在保持焦距恆定的同時相對於該透鏡來回移動該感測器等價於將該感測器及透鏡保持於一固定位置，同時增加及減少透鏡焦距且掃掠速度係在一階近似等價參數中。
針對一組合作用，其中感測器及/或透鏡之二者移動及焦距f被改變，掃掠速度藉由二個效應之總和而被給定。
在所有的實例中，介於該透鏡與該感測器之間的距離(b)與焦距f之比率在掃掠期間被改變。可藉由移動該感測器或該透鏡或二者之任一個來改變距離b，或改變焦距f，或同時乃至連續地完成該兩個操作。
遵循示圖說明本發明之概念。
為簡單起見，在下文中影像形成被認為係一2D處理(時間及在該等圖中由x代表的一個空間維度)。然而，在此文件中被論述的該等概念延伸至二個橫向空間維度(x、y)。
為更好地理解運動不變量成像之概念，首先概述習知相機之時空樣本特性係有用的。在一習知的光學成像系統(諸如一照相機)中，該相機被聚焦於一受關注的物體，其相當於將該感測器與透鏡之間的位移固定為一適當的距離。如圖2A至圖2C所示，當時空快門操作在空間及時間中係極微小的(一狄拉克δ(x,t)，亦即在空間及時間中的一奇點)時，隨後可獲得理想的靜態及運動清晰度。圖2A相對應於在時空中的光之樣本。圖2B繪示相對應的時空振幅光譜及圖2C展示通過相對應於一靜態物體(實線)及移動物體(虛線)之2D振幅光譜之橫截面。在時空(圖2A)中，一靜態物體始終保持在其位置上及由此藉由始終在一固定位置x0之一線(亦即，一垂直線)而被呈現於圖2A中。垂直軸提供一正規化時間，其中0代表時間點及1代表時間點，同時1代表另一隨後的時間點。從左向右移動的移動中物體在向右移動之曝光期間改變位置。夾在中間的小正方形代表該曝光。該曝光在時間及在空間中係極微地，因此其係一極微小的時空點。針對此理想化假設的快門組態，該感測器記錄相同強度之所有頻率，其導致針對不同運動的相同頻率特性。圖2B代表該被獲得的信號之一傅立葉變換。此係一函數，1用於所有值。針對狄拉克函數，所有頻率被同等地取樣及於所有波數之振幅係相等的。圖2C以一點散佈函數(PSF)之形式而被表達，其中振幅以對數單位之垂直比例尺而被給定，波數係水平比例尺。圖2B繪示一狄拉克函數之傅立葉變換係一常數之事實。假定所有的頻率被同等地取樣，則於所有可能的速度之所有波數的振幅係相等的，亦即該PSF函數係一常數。該PSF函數由此亦係相等的。相等的PSF函數意謂著，於一物體之所有速度，影像係同等清晰的及可藉由解迴旋該影像而被重新建構。由此一狄拉克快門將容許於所有速度之一清晰影像。然而，無法建構一理想的狄拉克快門且實際近似之快門無法收集充足的光以建立一適當的影像。對於在影像中的一物體之所有速度，影像係清晰的，但是沒有充分的光被捕獲以使得該物體可見，至少可以這樣說其係高度不實用的。實際上，快門時間(及光圈)被調整以適應局部光條件，及在黑暗環境中需要更長的曝光時間以收集足夠的光以保持一充足的信雜比。解決該問題之一個途徑係發展對光更敏感的感測器，其容許曝光時間變得越來越短以接近一狄拉克函數。然而，實際上，造成對感測器靈敏度之限制。
大部分傳統相機之特徵為一可調整式快門及光圈，可調整式快門與光圈對通過透鏡而進入的光限定時間維度(亦即，在曝光時間期間)及空間維度之窗限。此等通常特徵為在即時維度與空間維度中的箱式過濾程序(亦即，關於一有限區間之一恆定靈敏度)，其相對應於在相對應的時間及空間頻率域中的一sinc調變。結果，若干高頻率在獲取期間被完全壓制且在逆FIR過濾期間甚至當理想的運動資訊係可得時不能被恢復。實際上，逆過濾應被非常仔細地處置以防止雜訊之放大及偽像之引入。此被繪示於圖3A至圖3C。圖3A繪示光照射在感測器上。一實際快門具有一有限延伸，因此框具有在x方向的一寬度。框代表在感測器上的光，因此寬度代表在感測器上的光點。該快門在一快門時間t之期間被敞開，其中此快門時間t被呈現於垂直軸，其從曝光之開始0至曝光之結束1。
在時間域(圖3B)及空間頻率域(圖3C)中，若干高頻率被壓制，其被展示於該等圖之傾角中。因此丟失若干細節及建立若干偽像。展示此外三個不同的PSF函數，其例示典型地用於在大約距離該透鏡10米處以0、50及100千米/小時的速度移動通過該影像之物體的三個不同的PSF函數。此等PSF函數分別係線31、32及33。可見該三個PSF函數係非常不同的。由於該等PSF函數對於不同的速度係不同的，所以不能使用一單一IPSF用於解迴旋所記錄之影像。實際上及理論上，意謂著不可能藉由以一致的方法逆過濾該三個影像而解迴旋。簡而言之，運動不變量成像係不可能的。
對於全域運動，可藉由用相機追蹤運動而防止運動模糊。替代地，此可藉由在曝光時間期間沿一橫向軌道(垂直於該光軸)以理想速度相對於主透鏡移動該感測器而完成。然而，僅以目標速度移動的物體在所記錄之影像中係清晰的，而所有其他的場景區域仍舊係模糊或甚至變得比未進行任何動作更模糊。
Levin等人之文章已經展現解決此問題之一途徑。此被繪示在圖4A至圖4C中。Levin等人建議在時空中沿一抛物線軌跡橫向移動感測器。圖4A至圖4C繪示Levin等人之提議。在時空(圖4A)中，在感測器上的該光照射之位置在曝光時間期間遵循一抛物線軌跡。對於高達最大速度(移動該感測器之該速度)之一速度範圍，一抛物線軌跡建立相同的運動模糊。圖4C繪示用於該三個速度之各種PSF函數幾乎係相同的之事實。可憑藉時間-整合而建立有效模糊核心及對於一抛物線軌跡，模糊核心與1/sqrt(x)成比例。雖然甚至對於靜態物體，所記錄之影像看似十分模糊的，可利用一固定、非相依於運動之逆過濾器核心而移除該模糊。由於該三個PSF函數幾乎係相同的，及逆PSF操作(亦即，影像之解迴旋)對於所有速度可提供清晰影像。然而，Levin等人正確地註明他們的方法僅適用於1D運動(諸如，純粹地水平運動)。此外，該PSF函數展現，對於若干波長，歸因於於光圈之有限尺寸，振幅係零，因此若干細節將被不可挽回地丟失。因此，雖然Levin等人的確提供減輕該問題之一途徑，該解決方案僅部分起作用及只有當運動方向係已知時及僅當該運動平行於感測器之運動的情況下起作用。對於任一其他運動或未與感測器之運動平行的運動之任一分量，無解決方案被提供且情形如圖3A至圖3C給出的一樣不佳。
Nagahara等人已經提議針對另一個問題(也就是在DOF(亦即，景域之深度)中的限制)之一解決方案。藉由使感測器沿光軸移動，感測器掃掠通過所有可能的聚焦平面，及此容許藉由解迴旋所記錄之影像，以得到具有一更大景域深度之一影像。Nagahara等人之文章展示對於離該透鏡各種距離的靜態物體，該PSF函數可幾乎係相同的。由此一單一IPSF可被用於解迴旋離該透鏡不同距離的各種靜態物體之影像，其導致景域深度之一增加。
圖5A至圖5C繪示針對Nagahara文章之實例中給出的一典型設定之情形，其中不存在靜態物體而是考慮各種目標速度之物體。在此情況下針對圖4A至圖4C中的0、50及100千米/小時之各種目標速度，PSF函數31、32、33(圖5C)係非常不同的。由於PSF函數係非常不同的，應用一單一逆PSF函數無法針對該等所指示的速度提供一清晰影像。由此，雖然Nagahara等人增加景域深度(DOF)，運動模糊仍舊係一問題。急行而過之物體給出一模糊影像。
由此，不存在先前技藝文件或技術容許一有效運動模糊減小，除非運動或運動方向係預先已知的，或移動相機或可建立運動向量，通常並非如此。
圖6A至圖6C繪示本發明。使感測器沿光軸而移動，其中保持下列條件：
Vsweep*A/b2>0.25 sec-1
在圖6A至圖6C之實例中，保持下列條件：
Vsweep=22.4毫米/秒
A=2毫米
b=4.002毫米
物體至透鏡之距離=10米
曝光時間=0.02秒
Vsweep*A/b2=2.8 sec-1
在時空(圖6A)中，圖表具有一扯鈴(diabolo)形狀；重要態樣係針對各種速度0、50及100千米/小時，PSF函數幾乎係相同的(圖6C)。
由於該等PSF函數幾乎係相同的，利用一單一IPSF函數解迴旋所記錄影像之係可能的且容許對於該等指示速度之所有物體獲得一清晰影像，亦即運動不變量成像或接近運動不變量成像對於高達100千米/小時之任一速度係可能的。與Levin等人之解決方案相比，非常重要的差異係針對於10米距離之高達100千米/小時的在垂直於光軸之任一方向之任一速度，一運動不變量成像係可能的。在Levin等人之教示中固有的針對特別的速度方向之限制由此已經被移除。同樣地，對於Levin等人(及對於Nagahara)，PSF函數不展現傾角，及由此在原則上可重新建構更多的細節。由此，藉由使感測器沿光軸移動，在沒有方向限制的情況下，及藉由高度保持細節，假如條件被滿足，運動不變量成像經證明係可能的。與Nagahara文章相比，非常重要的差異係該三個PSF函數係幾乎相同的，及由此針對該等被指示的速度之運動不變量成像係可能的，然而對Nagahara等人，其係不可能的。
備註，在本實例中假定，在曝光時期之中期，物體係在焦點上。在圖6A中，此藉由扯鈴之上部係與下部一樣大的事實而被闡釋。已經發現，即使情況不是這樣，運動不變量成像係極其可能的。如果物體未在該曝光時期之中期而是在稍微較早或較遲的時間位於焦點上，由於大多數資訊存在於扯鈴之交叉點周圍，因此大多數資訊被攝取，及一很好的運動不變量成像係可能的。以下將藉由理解而被解釋，若干微調係可能的。
在本發明之架構中，在實施例中，該感測器掃掠超過該可能的焦範圍。此將保證該資訊之大部分將被攝取用於離該透鏡任意距離的任意物體。在此實施例中，更可靠的運動不變量成像係可能的。
備註，在本發明之架構中，「運動不變量成像」未被如此嚴格地解釋為意謂著針對任何細節程度之任一速度，成像不存在差異；本發明之目的係在實際限制內減小運動變動，亦即運動模糊；一理想解決方案係一理想，並非現實。
發明者已經認識到，在感測器上攝取的一物體之PSF函數之最大物體速度基本上與一靜態物體相同，及由此運動不變量成像係可能的，最大物體速度依據下列參數：A：物體之參數，也就是物體之速度對物體至透鏡之距離。以相同速度的遠離透鏡之一物體比靠近透鏡之一物體更容易被攝取。此參數基本上提供用於物體多快行進穿過感測器影像之一測量。
B：相機或機系統之參數：
B1：感測器之掃掠速度，掃掠速度越大，最大物體速度越高，以該最大物體速度，運動不變量成像係可能的；
B2：該光圈，該光圈越大，該最大物體速度越高，運動不變量成像於該最大物體速度係可能的；
B3：透鏡-感測器之距離。
相關的相機參數係B1*B2/(B3)2，亦即Vsweep*A/b2。
發明者已經模擬各種設定(包含Nagahara之該等實例中被給出的該等設定)，及建立針對一物體之最大物體速度，於該最大物體速度，不變量成像係可能的。
以下表1給出結果；第一欄給出來源之一簡短描述，其中最前面兩行係在Nagahara文章中的實例，最後五行提供本發明之實例；其它欄提供各種參數：
很明顯，Nagahara之實例不提供任何值得注意的運動不變量成像。然而，於本發明之理解輔助下，據計算，針對與Nagahara之裝置相距2米距離的一物體，對於速度高達約0.15千米/小時，運動不變量成像係可能的，此無實際用途且實際上難以覺察。針對本發明之實例1至5之不變量速度範圍係實際速度範圍，該範圍從一行走的人或慢跑的人之速度到一汽車之速度。
進一步備註，在上表中，Nagahara實例使用f/1.4(其通常係最大可能光圈)，然而在本發明之實例1至5中，使用一更適度的f/2。如果使用相同的F/#，則關於不變量速度範圍及Vsweep*A/b2之差異甚至變成更大之一因數1.4。對於Nagahara實例運用一f/2光圈，為了進行對本發明之適當比較，針對Nagahara之不變量速度範圍甚至係比該表所指示的更小的一因數1.4，亦即，約0.1千米/小時。
如果以一監視相機為例，對於一不變量速度範圍之一合理的較低實際限制係5千米/小時之一速度，其係與一監視相機相距一合理的距離5米之一行走的人的速度。此為Vsweep*A/b2提供0.25 sec-1之一下限。
較佳地，該參數Vsweep*A/b2大於0.5 sec-1，最佳地超過1 sec-1。
較佳地，該參數Vsweep*A/b2小於15 sec-1，最佳地小於5 sec-1。一過大的參數需要十分高的掃掠速度或非常小的感測器距離。
較佳地，該曝光時間在0.005秒與0.05秒之間及較佳地在0.01秒與0.05秒之間。尤其在低光條件下，此曝光時間範圍容許拍攝優品質運動不變量影像。此範圍亦容許拍攝視訊影像。
一過長的曝光時間亦需要感測器之一非常實質的移動，其可能離開感測器之合理移動範圍。
在較佳曝光時間範圍內，感測器之移動係在合理界限內同時提供十分長的曝光時間。同樣地，在此在0.01秒與0.05秒之間的曝光時間範圍內可產生視訊序列。
較佳地，感測器之運動係線性的。在圖6A中，此藉由扯鈴係在二個直線內之事實而被展示。類似於Levin所提議之一拋物線軌跡，此提供具有在運動範圍內的一相等權值之一樣本。藉由時間整合，發明者建立，此時空取樣型樣之點散佈函數(PSF)與1/log(x)成比例，其係一簡單函數以反轉。圖3B、圖4B、圖5B至圖6B之比較繪示扇形樣本(圖6B)比一抛物線軌跡(圖4B)更好地保存高頻率且較少經受到來自時空頻率域中的sinc-調變。因此，被獲取的影像更適合於逆過濾。最終，似扇形樣本之相位特性係優於藉由抛物線橫向樣本而被獲得的相位特性。
圖7A至圖7C繪示圖6C之PSF函數之逆過濾。圖6C在圖7A中被重複。
圖7B及圖7C之其他圖框相對應於(中期)逆過濾及逆及前向PSF之迴旋。
圖7A及圖7B展示該空間PSF及該相對應的逆過濾。請注意，該逆過濾已經一短有限空間訊跡(finite spatial signature)，其意謂著在計算上高效率實施。為了證實，圖7C展示該前向及逆模糊核心之迴旋，其按要求係一單元脈衝。
在逆過濾之後，所有物體將被重新定位至該等物體在感測器與各個焦距交叉(扯鈴交叉點)時所駐在之位置，由此展示一深度相依的相位(針對在曝光半途之交叉，相移係零)。然而，如在Levin等人文章中的抛物線橫向取樣經受到與運動相依的相移，使得除在逆過濾之後所有物體看起來係清晰的，但是該等物體於稍微不同的時間移動通過之位置除外。此導致小的不一致，特別於運動邊界及遮蔽區域。與Levin等人之文章比較，此為本發明提供一重要的優點。
較佳地，有效空間模糊核心隨時間線性地改變。此可藉由沿光軸線性地調變介於感測器與主透鏡之間的距離而被達成。此係歸因於離焦模糊之程度與感測器位移成比例。在大部分自動聚焦相機中已引導此運動，雖然係在拍攝相片之前或當該快門被閉合時。結果，可以設想在若干相機中，假如運動及快門可被控制且實質上被精確地同步化，則自動聚焦機械可被容易地用於藉由在拍攝相片同時執行運動而達成理想取樣。
備註，假如Vsweep*A/b2將在曝光之期間改變，則相關參數係在曝光時間之Vsweep*A/b2之一時間平均值。如關於圖1所述，所需時空取樣之一替代實施例係藉由在曝光時間期間固定感測器-透鏡位移及掃掠主透鏡之焦距(圖1之底部分)。明顯地，此需要諸如流體聚焦透鏡或雙折射LC-材料之可切換式光學器件。可切換式基於LC之透鏡已被應用於3D螢幕，其中可切換式基於LC之透鏡被用於在2D(無透鏡效果)與3D模式之間的變化。折射率僅在一個方向(僅柱面透鏡)變化。一可變焦距亦可藉由一流體填充膜而被完成，其可透過流體壓力而使流體填充膜變形。再次，較佳地影像平面隨時間而線性地掃掠：b=b0+c0 t。作為影像平面，經由透鏡方程式，距離係關於該物體距離及透鏡焦距：
1/f=1/v+1/b
由此可見焦距將較佳地隨時間改變，其根據：
f(t)=1/(1/v+1/(b0+c0 t))
其中f(t)表示隨時間而變之透鏡焦距及c0係一常數。
該二者之一組合亦係可能的，例如，以限制感測器之實體運動或其掃掠速度，然而使時空取樣量增加(亦即，在圖6A中扯鈴之程度)，或增加掃掠速度。
圖8繪示一種用於解迴旋一所記錄影像之方法及一種用於記錄影像資料及解迴旋所記錄之影像資料之系統。藉由相機而記錄影像，該相機包括一透鏡2及一移動感測器3。該感測器之資料係藉由一讀取器而被讀出。相對應的影像81被示意性地展示為模糊。所記錄影像在解迴旋器82中被解迴旋。該系統由此包括一解迴旋器以解迴旋影像資料。該方法解迴旋所記錄之影像資料。該解迴旋器對所記錄影像執行一解迴旋操作。為了便於理解，以許多步驟而展示演算法及方法。第一步驟係計算一點散佈函數。在一簡單的實施例中，該點散佈函數取決於參數Vsweep*A/b。在簡單的實施例中，對於在掃掠範圍之中段之一靜態物體，計算PSF函數。如以上說明，由於針對一較大的速度範圍，PSF函數幾乎獨立於用於本發明之實施例之速度，針對在掃掠範圍中段的一靜態物體之一IPSF係針對所有速度之一最佳PSF之一優良的第一階近似。在更進階的實施例中，物體之距離被用於微調該PSF及由此該IPSF。舉例而言，可藉由該相機而記錄一物體之距離。大部分的相機具有某種自動聚焦，其容許決定一物體距離。如以上說明，已經發現即使一物體在掃掠的中期並非在焦點上，運動不變量成像係極其可能的。如果該物體未在該曝光時間之中期而是在稍微較早或較遲的時間位於焦點上，由於大多數資訊存在於扯鈴之交叉點周圍，因此大多數資訊被攝取，及一很好的運動不變量成像係可能的。然而，雖然利用針對在掃掠範圍中央的一靜態物體之一PSF函數將給出優良的結果，但是可藉由微調PSF而獲得稍微改良的結果，該微調係藉由依據物體距離及可能地其他參數來製定PSF。此將提供用於一稍微不對稱的且剪切的PSF。最後結果將係針對離透鏡一特定距離之一移動中物體之一稍微更清晰的影像，其以於其他距離之稍不清晰的影像為代價。備註，在本發明之實施例中，物體距離亦可被用於決定掃掠速度。如以上說明，一決定性因數係物體速度除以物體至透鏡之距離。由此，對於以一給定速度之於2米的物體，與以該相同速度之於10米的物體相比，可有利地使用一更快的掃掠速度，亦即增加Vsweep。在根據本發明之操作一相機之方法之實施例中，由物體至透鏡之距離、物體之速度、物體之速度方向所組成的參數群組之一或多者被測量，及依據被測量的參數而設定掃掠速度。繼而，此將影響PSF之參數。
物體之速度亦可係用於該解迴旋器82之一輸入。此外，雖然本發明容許針對所有速度使用一單一PSF函數，若干二階效應仍然係可能的，其中對於一特定速度微調PSF。一可能的應用領域將係測速相機；其已提供物體之方向及速度之一優良的估計。
計算已展現於PSF中存在一小、二階、運動方向相依性。在實施例中，對於方向之一範圍計算最佳PSF，及所使用的PSF係依據一方向輸入之在此範圍內的一選擇。舉例而言，選定區域可係最大、最小、中值、一加權平均值等等。
掃掠時間亦可係一輸入。
簡言之，解迴旋器可具有輸入以微調待使用之PSF。各種參數被繪示於圖8，最重要的係掃掠率、物體距離及速度與速度方向。
經解迴旋且清晰影像83被展示在圖8之右手側。
為了便於理解該方法，以各種步驟而呈現系統及演算法，從一PSF開始，及隨後自該PSF推導出一逆PSF。當然，由於IPSF係在解迴旋中的重要函數，及IPSF係PSF之反轉且反之亦然，所以亦可直接從IPSF開始，並且亦可輸入各種輸入(其曾以適當的式樣被轉譯以用於IPSF)用於決定待在解迴旋中使用的IPSF。
較佳地，感測器之運動在記錄期間係僅在一個方向，諸如僅朝向透鏡。雖然在第一階近似中，經解迴旋之影像相同獨立於感測器之掃掠方向，亦即無關於其是否移動朝向該透鏡移動或移動遠離該透鏡，但是在第二階近似中，此嚴格地僅對於在感測器之掃掠中期在焦點上的物體係正確的。對於該透鏡遠處或靠近透鏡之物體，最終結果存在一較小差異，特別係關於經解迴旋影像中的物體位置。在一單一影像中，此差異係不可察覺的或接近不可察覺的，但是在一視訊序列中，物體位置之晃動可發生。為避免此效應發生，在曝光期間感測器之運動較佳地係單向的，亦即僅在一個方向。當然，感測器隨後在下一個資料可被記錄之前必須被移回起始位置。在此實施例中，存在對曝光時間之一額外限制以便容許感測器移回到起始位置。
圖9繪示感測器之移動。線91代表感測器經過的距離，線92代表感測器之速度。在第一時間時期期間，該感測器被提升速度，其藉由速度從0增加至保持若干時間之固定速度之事實而在線92中被繪示。此後，感測器被停止並且迅速地回到其原始位置。感測器之返回意謂著僅有時間資料之一部分可被記錄，舉例而言，在此實例中僅有大約50%至70%之時間。當感測器被前後移動時，舉例而言，如果進行單次拍攝，感測器不必回到其原始位置，則係可行的。如以上說明，移動可以二個不同的方式或其任一組合而產生，該二個方式係藉由實體移動感測器或透鏡，或藉由改變透鏡的特性。
對於感測器之短曝光時間或快速移動，有利的係將該透鏡之特性之一變化用於移動之至少一部分。
簡而言之，根據本發明之運動不變量相機提供清晰的高品質視訊或影像，尤其係在低照明條件下。雖然對大部分的相機及光學成像系統(包含消費性相機及攝影機)有好處，此對若干專業監視及監控應用係特別有價值的。舉例而言，在安全系統中的監視相機通常需要在黑暗環境中操作。當前監視相機特徵為以諸如感測器冷卻之昂貴的解決方案以獲得理想的SNR位準。本發明可被用於為一高動態範圍相機提供一成本有效率替代方案或可被用於使當前感測器之動態範圍增加更多。請注意，本發明描述對光進行取樣之一新穎方式及因此可利用任何現有的光感測器技術而被實施。
本發明可被描述為一種相機及包括一相機之系統，其中在曝光期間，介於透鏡與感測器之間的距離及焦距之比率被改變。該變化率被設定使得藉由解迴旋複合影像而對於實際速度範圍(即，於該透鏡之2米距離高達至少5千米/小時之速度)可達成運動不變量成像。較佳地，該可達成的速度範圍係此速度之至少兩倍。該感測器之一線性運動係較佳的。
請注意，雖然以上被描述的方法及設備可在不必瞭解在場景中及因此在感測器上的發生的物體速度的情況下盲目地工作，但是如果具有關於此等之資訊，可達成增加的重新建構精確度(亦即，更清晰的/更好的最終影像)。此可被靜態地(例如，已知所發生的典型速度，例如在一機器視覺應用中，其中已知待被分析之物體在運輸帶上經過之速度)或動態地完成，其中系統(例如，重複地)測量在場景中的物體速度及最佳地調整以下替代實施例之參數。
一第一改良由選擇依發生中的物體速度製定之一(編碼)光圈組成，舉例而言，可藉由在透鏡之前或介於透鏡與感測器之間等之一液晶元件而被完成。舉例而言，如果具有一典型物體速度(例如，場景之一佔優勢物體之平均運動)v_average及在其上對其他物體速度之偏差Cmax之(例如，在列波上的人)，則可選擇原始光圈之一環形子區，例如，根據：
其中，及x為從物體(成像點)至透鏡之距離，f為透鏡焦距，及VL為沿感測器之光軸之位移速度。dmax係關於在影像平面上的物體影像之位置之一不確定參數(亦即，在離感測器中心之距離d，在感測器上的位置上自一物體點通過透鏡中心之中央射線應具有距離d<dmax)。此相對應於一圓圈被位移α乘以v_average，及半徑為1.25*α*Cmax+dmax。
當然，可最佳地決定更複雜的光圈，諸如針對旋轉物體之一環形。
假設已知典型的物體速度(諸如，以速度v_obj移動的一物體及一靜止背景)，改良影像之另一實施例不僅使感測器沿該光軸移動，而且與其正交(其建立一對角線複合運動)。
可藉由以左右轉動運動來移動整個相機、或替代地藉由感測器垂直於光軸之平移而進行物體之運動追蹤。
根據本實施例，可使運動追蹤與該聚焦掃掠概念組合，建立一系統，該系統將以與光軸所成之一角度移動成像平面。該實施例之該方法或設備將該感測器運動分解為二個正交向量：沿光軸之Vsweep及垂直於光軸的VTR。
感測器沿VTR之平移建立雙錐體整合之一剪切(其等係歸因於藉由掃掠感測器之一時間相依模糊而發生的圓錐體)，連同補償一平均物體速度之角度。當無作為時，針對固定物體，在DCI中的模糊核心將係圍繞垂線對稱的，但是移動物體建立此圓錐體之一剪切版本。可藉由具有一反平移運動VTR而圓錐體(部份地)剪切還原。
代替集中於零運動，不變量速度範圍現在集中於追蹤速度。針對沿光軸之運動，實施例可藉由依據平均速度定義一最佳掃掠速度及範圍來建立運動不變量性，例如：
其中a係系統之光圈。
亦即，掃掠速度被選擇以涵蓋不變量速度之預定義範圍：
請注意，物體速度不需係正好匹配的以產生一清晰影像。只要物體速度係在不變量範圍(亦即，在該實例中涵蓋移動中物體速度v_obj及零靜態速度之二者)，一清晰重新建構係可能的。
亦即，可交換一更精確的追蹤以用於一更小的掃掠，或反之亦然不精確地進行(至少若干物體之)追蹤，但是具有一更寬泛的DCI圓錐體，亦即，較大的感測器掃掠。較佳地，掃掠速度及平移被一起最佳化，從而可正確地重新建構固定物體及移動中物體兩者。
另一實施例藉由偏置感測器與光軸正交而增加成像品質。由於場景物體在感測器上的運動既係通過成像系統之幾何投影之一函數，且係感測器自身之運動：
其中v係影像物體，y係透鏡與理論清晰的影像平面(其通常係感測器掃掠之半途點)之間的距離，d係自一成像點之感測器中心之距離，及VL係感測器掃掠速度。
根據本實施例，想要使此在感測器上的速度變小以減少運動模糊，其可諸如藉由選擇感測器之一偏置而被完成：
如果以下列速度使感測器位移
獲得一典型的最佳位移：
請注意，針對以上三項實施例，可選擇若干參數最佳值：例如若干光圈形狀(諸如尺寸)、若干正交運動、及若干感測器位移，因為不僅此等係依據理想的重新建構準確度，及例如逆過濾之複雜性，而且可以各種程度組合以上三個原理，及例如藉由選擇一更最佳的感測器位移(平均值)而減小沿光軸之掃掠及/或正交運動。
1．．．物體
2．．．透鏡
2'．．．透鏡
3．．．感測器
3'．．．感測器
31．．．PSF函數
32．．．PSF函數
33．．．PSF函數
81．．．模糊影像
82．．．解迴旋器
83．．．清晰影像
圖1繪示本發明之各種實施例。
圖2A至圖2C繪示在一極短時間內的一快門操作，亦即一狄拉克函數。
圖3A至圖3C繪示一正常的快門操作。
圖4A至圖4C繪示從Levin等人之文章中已知的一操作。
圖5A至圖5C繪示從Nagahara等人之文章中已知的一操作。
圖6A至圖6C繪示本發明。
圖7A至圖7C繪示圖6C之PSF函數之逆過濾。
圖8繪示過濾一所記錄影像之一演算法、系統及方法。
圖9繪示該感測器之移動。
圖10係當瞭解關於在該場景中所發生的物體速度之更多資訊時的一最佳化光圈之一實例。
圖11展示當一物體移動時，用於泛用非速度最佳化系統之雙錐體整合。
圖12展示在距離d_sensor的正交偏移感測器之一實施例。
1．．．物體
2．．．透鏡
2'．．．透鏡
3．．．感測器
3'．．．感測器

Claims (16)

  1. 一種相機，其包括一透鏡(2)、一影像感測器(3)，其中該影像感測器與該透鏡之間沿光軸的距離與一焦距之比率在該影像曝光時間期間改變，其特徵為該相機被配置以操作使得下列成立：Vsweep*A/b2>0.25 sec-1其中Vsweep係沿該光軸之該感測器之運動及/或該透鏡之運動及/或每秒鐘焦距之變化，A係光圈，及b係透鏡與感測器之間的距離。
  2. 如請求項1之相機，其中Vsweep*A/b2大於0.5 sec-1。
  3. 如請求項1之相機，其中Vsweep*A/b2小於15 sec-1。
  4. 如前述請求項中任一項之相機，其中該相機被配置使得該曝光時間係在0.005秒與0.05秒之間。
  5. 如請求項1之相機，其中該運動係線性的。
  6. 如請求項1或5之相機，其中，該比率變化係致使該感測器達到在範圍外之位置，在該範圍中任何物體係在焦點中。
  7. 如請求項1或5之相機，其中沿該光軸之該感測器相對於一聚焦平面之位移至少在曝光時間之一上部範圍係相依於該曝光時間。
  8. 如請求項1或5之相機，其中該透鏡之至少一特徵被改變。
  9. 如請求項1或5之相機，其包括用以測量一物體之距離之一構件，其中Vsweep係相依於該測得距離。
  10. 如請求項1或5之相機，其中該相機係一攝影機，其特徵為在曝光期間之移動係單向的。
  11. 一種用於記錄影像之系統，該系統包括如請求項1或5之相機，該系統進一步包括用於解迴旋一所記錄影像之一解迴旋器。
  12. 如請求項11之系統，其中該解迴旋器具有一輸入以用於輸入參數群組之一或多者，該等參數由以下組成：一物體至該透鏡之距離、一物體之速度、該物體速度之方向、掃掠率、A、b、掃掠距離、曝光時間。
  13. 如請求項12之系統，其中在該參數群組中，用於輸入之該等參數之至少一者係一物體至該透鏡之一距離。
  14. 一種操作包括一透鏡及一影像感測器之一相機的方法，其中在影像曝光時間期間，該影像感測器與該透鏡之間的距離與一焦距之比率沿光軸改變，其中下列成立：Vsweep*A/b2>0.25 sec-1其中Vsweep係沿該光軸之該感測器之運動及/或該透鏡之運動及/或每秒鐘焦距之變化，A係光圈，及b係透鏡與感測器之間的距離。
  15. 如請求項14之方法，其中測量由一物體至該透鏡之距離、一物體之速度、該物體之速度之方向組成的參數群組之至少一個或多者，及該Vsweep係相依於該被測量的參數而被設定。
  16. 一種用於解迴旋一所記錄影像之方法，其中該解迴旋器係依據輸入資料，該輸入資料係參數群組之一或多者，該等參數由以下組成：一物體至該透鏡之距離、一物體之速度、該物體速度之方向、掃掠率、A、b、掃掠距離、曝光時間。
TW099114708A 2009-05-12 2010-05-07 相機、包含相機的系統、操作相機的方法及解迴旋記錄影像 TWI521961B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP09160007 2009-05-12
EP09163440 2009-06-23

Publications (2)

Publication Number Publication Date
TW201106682A TW201106682A (en) 2011-02-16
TWI521961B true TWI521961B (zh) 2016-02-11

Family

ID=42310697

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099114708A TWI521961B (zh) 2009-05-12 2010-05-07 相機、包含相機的系統、操作相機的方法及解迴旋記錄影像

Country Status (7)

Country Link
US (1) US8605202B2 (zh)
EP (1) EP2430826A1 (zh)
JP (1) JP5522757B2 (zh)
CN (1) CN102422629B (zh)
RU (1) RU2529661C2 (zh)
TW (1) TWI521961B (zh)
WO (1) WO2010131142A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9606450B2 (en) 2010-01-05 2017-03-28 Koninklijke Philips N.V. Image projection apparatus and method
US8537238B2 (en) * 2010-04-14 2013-09-17 Sony Corporation Digital camera and method for capturing and deblurring images
JP5591090B2 (ja) * 2010-12-13 2014-09-17 キヤノン株式会社 画像処理装置およびその方法
WO2012083968A1 (en) 2010-12-21 2012-06-28 3Shape A/S Motion blur compensation
WO2012104759A1 (en) 2011-02-04 2012-08-09 Koninklijke Philips Electronics N.V. Method of recording an image and obtaining 3d information from the image, camera system
WO2012124321A1 (ja) * 2011-03-14 2012-09-20 パナソニック株式会社 撮像装置、撮像方法、集積回路、コンピュータプログラム
EP2503364A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Camera system comprising a camera, camera, method of operating a camera and method for deconvoluting a recorded image
US9189451B1 (en) 2011-10-06 2015-11-17 RKF Engineering Solutions, LLC Detecting orbital debris
JP2013110700A (ja) * 2011-11-24 2013-06-06 Samsung Electronics Co Ltd 撮像装置、撮像方法、及び画像処理装置
US9813607B2 (en) * 2011-12-16 2017-11-07 Nokia Technologies Oy Method and apparatus for image capture targeting
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
WO2013144427A1 (en) * 2012-03-26 2013-10-03 Nokia Corporation Method, apparatus and computer program product for image stabilization
CN103379269B (zh) * 2012-04-26 2017-11-24 富泰华工业（深圳）有限公司 拍摄系统、拍摄方法及使用该拍摄系统的电子设备
US9191578B2 (en) * 2012-06-29 2015-11-17 Broadcom Corporation Enhanced image processing with lens motion
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US20140210707A1 (en) * 2013-01-25 2014-07-31 Leap Motion, Inc. Image capture system and method
US9558555B2 (en) 2013-02-22 2017-01-31 Leap Motion, Inc. Adjusting motion capture based on the distance between tracked objects
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US9733715B2 (en) 2013-03-15 2017-08-15 Leap Motion, Inc. Resource-responsive motion capture
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
EP3117597A1 (en) * 2014-03-12 2017-01-18 Sony Corporation Method, system and computer program product for debluring images
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
JP6431210B2 (ja) * 2015-10-26 2018-11-28 京セラ株式会社 撮像装置
CN112104808B (zh) * 2019-06-18 2022-06-21 长城汽车股份有限公司 图像采集装置和具有其的视觉处理系统、无人驾驶车辆

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5134432A (en) * 1990-02-14 1992-07-28 Asahi Kogaku Kogyo Kabushiki Kaisha Camera with mid-exposure zooming function
WO2002104005A1 (en) 2001-06-18 2002-12-27 Koninklijke Philips Electronics N.V. Anti motion blur display
CN1574894A (zh) * 2003-06-02 2005-02-02 宾得株式会社 多焦距成像装置和具有该多焦距成像装置的移动装置
CN100415171C (zh) * 2003-07-31 2008-09-03 株式会社东芝 使扫描图像中的模糊最小化的方法和设备
JP5013705B2 (ja) * 2005-11-21 2012-08-29 三星電子株式会社 撮像装置，画面表示方法，焦点調整方法，露出調整方法，およびコンピュータプログラム
US7711259B2 (en) 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
WO2009120718A1 (en) * 2008-03-24 2009-10-01 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for controlling depth of field in images
US8451338B2 (en) * 2008-03-28 2013-05-28 Massachusetts Institute Of Technology Method and apparatus for motion invariant imaging

Also Published As

Publication number Publication date
US20120062787A1 (en) 2012-03-15
RU2529661C2 (ru) 2014-09-27
TW201106682A (en) 2011-02-16
RU2011150257A (ru) 2013-06-20
EP2430826A1 (en) 2012-03-21
JP2012527145A (ja) 2012-11-01
US8605202B2 (en) 2013-12-10
CN102422629B (zh) 2015-04-29
JP5522757B2 (ja) 2014-06-18
CN102422629A (zh) 2012-04-18
WO2010131142A1 (en) 2010-11-18

Similar Documents

Publication Publication Date Title
TWI521961B (zh) 相機、包含相機的系統、操作相機的方法及解迴旋記錄影像
US8432434B2 (en) Camera and method for focus based depth reconstruction of dynamic scenes
CN106412426B (zh) 全聚焦摄影装置及方法
JP4679662B2 (ja) シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する装置
JP4672060B2 (ja) シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する方法
KR101233013B1 (ko) 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법
KR960005204B1 (ko) 초점 정합 및 화상처리 기능을 갖는 비디오 카메라
JP5868183B2 (ja) 撮像装置及び撮像方法
JP5870264B2 (ja) 撮像装置、撮像方法、プログラム、および集積回路
JP5328165B2 (ja) シーンの４ｄライトフィールドを取得する装置及び方法
US9826161B2 (en) Camera system comprising a camera, camera, method of operating a camera and method for deconvoluting a recorded image
US9407827B2 (en) Method and system for capturing sequences of images with compensation for variations in magnification
JP2013531268A (ja) 符号化開口を使用した距離の測定
JP2011166588A (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
Shroff et al. Variable focus video: Reconstructing depth and video for dynamic scenes
EP3143583B1 (en) System and method for improved computational imaging
KR102061087B1 (ko) 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램
Yao et al. Extreme Zoom Surveillance: System Design and Image Restoration.
Yadav et al. Performance analysis of video magnification methods
Znamenskiy et al. Motion invariant imaging by means of focal sweep