TWI596931B - 用於擷取混合的結構光影像和正常影像的單一影像感測器 - Google Patents

用於擷取混合的結構光影像和正常影像的單一影像感測器 Download PDF

Info

Publication number
TWI596931B
TWI596931B TW104136658A TW104136658A TWI596931B TW I596931 B TWI596931 B TW I596931B TW 104136658 A TW104136658 A TW 104136658A TW 104136658 A TW104136658 A TW 104136658A TW I596931 B TWI596931 B TW I596931B
Authority
TW
Taiwan
Prior art keywords
image
pixels
row
structured light
analog
Prior art date
Application number
TW104136658A
Other languages
English (en)
Other versions
TW201715881A (zh
Inventor
康懷 王
徐毅
戈登Ｃ 威爾遜
晨雨 吳
Original Assignee
卡普索影像股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 卡普索影像股份有限公司 filed Critical 卡普索影像股份有限公司
Publication of TW201715881A publication Critical patent/TW201715881A/zh
Application granted granted Critical
Publication of TWI596931B publication Critical patent/TWI596931B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

用於擷取混合的結構光影像和正常影像的單一影像感測器
本發明涉及一種能夠擷取結構光(structured-light)影像和正規(regular)影像的單一影像感測器(single image sensor)，其中，該結構光影像將用於衍生出對應的正規影像的深度或形狀等相關訊息。
用於身體內體腔或通道的成像裝置是本領域已知的，包括內視鏡和自主式膠囊相機(autonomous encapsulated cameras)。內視鏡是柔性或剛性的管狀物，經由孔口或外科開口進入體內，典型地是經口進入食道或是經直腸到結腸。在前端使用透鏡，經由透鏡中繼系統或是同調(coherent)光纖束，傳送到人體外的遠端形成影像。概念上類似的儀器可在遠端記錄電子影像，例如使用CCD或CMOS陣列，並且將影像數據作為電子訊號通過電纜傳送到近端。內視鏡允許醫師控制視野(field of view)，是被廣泛接受的診斷工具。
膠囊型內視鏡是在近年發展來替代體內內視鏡的。膠囊型內視鏡是在一個吞服型的膠囊內容納攝影機以及一個用於發送數據的無線電發射機，主要包括：記錄數位相機的影像，送到身體之外的基地台(base-station)接收機或收發信機和數據記錄器。該膠囊還可以包括一個無線電接收機，用於從基地台發射器接收指令或其他數據。也可以使用較低頻率的電磁訊號，以代替射頻(radio-frequency)傳輸。能源可以從外部電感感應地供給膠囊內部電感，或膠囊內的電池供應。
一個自主膠囊相機系統與機載數據存儲，披露在US 7,983,458，題為〞In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band〞於2011年7月19日獲准專利。膠囊相機的機載儲存器將擷取影像存儲在機載的非易失性儲存器中。膠囊相機從人體中退出取回。經膠囊相機輸出端存取，存儲在膠囊相機裡非易失性儲存器中的影像。
雖然經內視鏡擷取的二維影像已經有助於診斷，理想的是，能夠擷取胃腸(GI,gastrointestinal)道的影像與深度訊息(即，三維(3D)影像)，以提高診斷精度或舒解診斷過程。在三維成像的領域中，三維影像可以使用正規相機，針對場景中的結構(texture)訊息和一個分立的(separate)深度攝影機(例如，時差測距攝影機，Time of flight camera)擷取視野的深度訊息。三維影像也可以使用多個攝影機，其中多個攝影機通常採用平面設置，以擷取不同 視角的場景。然後，點對應地建立多個三維的三角視圖。然而，因為空間是非常有限的，這些多攝影機系統可能不容易適於胃腸道環境。在過去的二十年中，結構光的技術已經發展到使用單個相機來衍生出場景中目標的深度或形狀。在結構光系統，光源通常是用投射儀投射已知的幾何圖案到場景中的目標。一個正規相機可用於擷取影像不論其是否具有投射圖案。擷取有結構光的影像可以被用於衍生出與場景中的目標關聯的形狀。深度或形狀訊息使用正規影像，這是擷取非結構化泛光燈光，用於創建目標的三維結構模型。結構光的技術已是公知的領域。例如，在〞結構光三維表面成像教程〞(Geng,in Advances in Optics and Photonics,Vol.3,Issue 2,pp.128-160,March 31,2011)，對結構光技術使用各種結構光圖案的描述和相應的性能進行了比較。在另一個例子中，不同的設計，標定和實施問題，描述於〞使用結構光的三維電腦視覺：設計，標定和實施問題〞(DePiero et al.,Advances in Computers,Volume 43,January 1,1996,pages 243-278)。因此，結構光的技術細節，這裡不再重複。
儘管結構光的技術可能比其他技術更適合胃腸道的三維成像，但應用於胃腸道仍有其預期的問題。例如，大多數的結構光應用旨在用於固定物體。因此，在擷取的結構光影像和正規影像之間目標沒有移動。然而，在對胃腸道成像的膠囊相機應用中，無論是膠囊相機和胃腸(GI)部分(例如小腸和結腸)是可以移動的。因此，當它們 連續擷取該結構光影像和正規影像時，其間會有相對運動。此外，膠囊相機是應用於對功率非常敏感的環境。除了擷取正規影像外，使用結構光會消耗系統能源。此外，如果獲取每個正規影像後再取結構光影像，成像速率將下降一半。如果維持正規影像相同的成像速率，該系統將以兩倍成像速率來擷取影像，和消耗兩倍的功率在影像擷取。因此，理想的是開發用於在胃腸道中，可以克服這裡提到了這些問題的結構光應用。
揭露一種使用整合的影像感測器以擷取混合的結構光影像與正規影像的方法及裝置，其中，該結構光影像是使用短於該正規影像的成像期間加以擷取。為了實現該結構光影像的更短成像期間，該結構光影像可對應於以降低的動態範圍、降低的空間解析度、或其組合所擷取的影像。該擷取過程包括施加重置訊號至像素陣列以重置該像素陣列裡的行像素(rows of pixels)、從該像素陣列的行像素讀出類比訊號、以及使用一個或多個類比-數位轉換器轉換該像素陣列的該行像素的該類比訊號成為該影像的數位輸出。
降低的動態範圍可對應於類比-數位轉換器的降低的解析度。降低的動態範圍也可對應於斜坡參考電壓的降低的斜坡期間，其中，該斜坡參考電壓被該一個或多個類比-數位轉換器(ADC)用來與輸入類比電壓進行比較。當使用逐次逼近ADC的，該降低的動態範圍可對應於 降低數量的連續逼近，用於改善供應給該逐次逼近ADC以與輸入類比電壓進行比較的基準電壓。該降低的動態範圍也可以對應於該影像感測器的降低的積累時間(integration time)，以積累電荷。在這種情況下，來自該影像感測器的該行像素的該第一類比訊號的類比增益對於該結構光影像是增加的。
該方法可以復包括在結構光影像成像期間的該積累時間投射具有第一強度的結構光、以及在該第一正規影像成像期間的積累時間投射具有第二強度的非結構光到該場景。可以使用具有至少兩種不同的顏色或圖案的多個光源來產生該結構光。在一個實施例中，與該多個光源之一者或該多個光源的組合相關的光頻譜，實質上是不同於與環境光或由該非結構光照射的預期場景相關的第二頻譜。該影像感測器可以對應於彩色影像感測器，包括用於排列成馬賽克圖案的至少第一顏色的第一像素和第二顏色的第二像素，並且該第一頻譜集中在與該第一像素相關聯的第一顏色。
該非結構光可以使用窄帶域(narrowband)照明或熒光激發產生。該第一強度實質上高於該第二強度。在另一種情況下，該第一強度的期間可實質上短於人類視覺暫留時間
在一個實施例中，用於該結構光影像的該影像感測器的該行像素之間的最小行重置時間(reset time)實質上短於用於該正規影像的該影像感測器的該行像素之 間的最小行重置時間。
該方法可以復包括產生第一控制訊號以形成被觸發以擷取該結構光影像的結構光的步驟。該結構光可在該結構光影像的積累期間施加。該結構光可在第一行積累結束前和最後一行積累開始後施加。該方法可以復包括產生第二控制訊號，以形成被觸發以擷取該第二正規影像的第二光的步驟。
該方法可以復包括提供該結構光影像以衍生出該正規影像的深度或形狀訊息的步驟。施加該第一重置訊號、讀出第一類比訊號、以及轉換第一類比訊號的步驟，只施加到選定的像素陣列行(rows of the pixel array)，以降低結構光影像期間。因此，與該正規影像相比，該結構光影像具有降低的垂直解析度。上面提到的結構光影像期間等於包括用於擷取該結構光影像的該第一重置時間、該第一積累時間和該第一讀出時間的總和。該選定的像素陣列行於每N個的像素陣列行可對應其中一行，其中，N是大於1的整數。經由對每一個選擇行施加次抽樣，可以進一步減少結構光影像的期間。在一個實施例中，可重複擷取包含結構光影像和正規影像的串聯影像的過程，以獲得結構光影像序列及正規影像序列，其中，該結構光影像序列被用於衍生出深度或形狀訊息，而正規影像序列是用於觀看。
在另一個實施例中，不論是否使用較低的動態範圍，都可以降低結構光影像的空間解析度。換句話 說，該結構光影像也可以在正規的動態範圍擷取，但具有較低的空間解析度。例如，影像感測器可以被設置為只輸出被選擇的行。替代地，影像感測器可以被設置為每行輸出次抽樣的像素。此外，影像感測器可經設置只輸出被選擇行的次抽樣像素。在另一個實施例中，相較於正規影像，第一結構光影像能夠在垂直方向、水平方向或兩者的較小的影像區域被擷取。
在一個實施例中，整合的影像感測器是在一個密封的膠囊外殼裡，為人體胃腸道取像，該方法復包括，產生第一控制訊號，以在該密封的膠囊外殼內形成被觸發以擷取結構光影像的第一光，並產生第二控制訊號，以在該密封的膠囊外殼內形成被觸發以擷取正規影像的第二光。
在另一個實施例中，第一結構光影像可經由產生序列控制訊號而對應於多個結構光影像，該序列控制訊該形成序列結構光並擷取該多個結構光影像。該結構光可來自相對於該場景中的目標的位於不同方向的不同光源、來自從相同投射機但具有不同圖案、或是圖案和位置兩者的組合。
相較於單一結構光影像，多個結構光影像可以衍生更多的三維點。因此，在本發明的一個實施例中，可以連續地擷取多個結構光影像。
在另一個實施例中，該方法經由擷取有結構光影像在其間的第一正規影像和第二正規影像，而產生 組合的正規影像。接著組合該第一和第二正規影像，以產生該組合的正規影像。該結構光影像的成像期間短於該第一正規影像的成像期間和該第二正規影像的成像期間的總和。該第一正規影像的第一積累時間可長於或短於該第二正規影像的第二積累時間，以使該第一正規影像在該組合的正規影像中分別具有高於或低於該第二正規影像的加權(weighting)。例如，該第一積累時間可以是該第二積累時間的長度的三倍。該組合的影像具有對應於該第一正規影像的3/4和該第二正規影像的1/4的加權總和的效果。該第一正規影像和該第二正規影像也可以具有相同的積累時間，以在該組合的正規影像形成相同的加權。
在又一個實施例中，揭露一種針對單一感測器的雙重曝光控制，以擷取結構光影像和正規影像。該系統經由施加第一曝光控制至影像感測器以調整用於一個或多個結構光影像結構光源、與該影像感測器相關的第一增益或第一積累時間、或其組合，而在來自結構光源的結構光下的該影像感測器的視野中，擷取該一個或多個結構光影像。該系統也經由施加第二曝光控制至該影像感測器，以調整用於一個或多個正規影像的結構光、與該影像感測器相關的第二增益或第二積累時間、或其組合，而在該影像感測器的視野裡，擷取該一個或多個正規影像。該正規影像與該結構光影像是以交織的方式擷取。該第一曝光控制可以基於該第二曝光控制來確定、或該第二曝光控制可基於該第一曝光控制來確定。該第二曝光控制還可以 包括調整該正規影像的非結構光源。
110‧‧‧比較器
120‧‧‧類比訊號
130‧‧‧基準訊號
140‧‧‧計數器
150‧‧‧暫存器
310‧‧‧像素陣列
320‧‧‧輸出電路
330‧‧‧類比-數位轉換器
340A、340B‧‧‧時序/控制電路
810、820、910、920、930、940、950、960‧‧‧步驟
第1圖示出示例性的8位元的動態範圍的類比-數位轉換器。
第2A-2B圖示出作為用於類比-數位轉換器的參考訊號的斜坡(ramp)電壓波形，在此示出的波形是9位元(第2A圖)和6位元(第2B圖)的動態解析度。
第3圖示出根據本發明的一個實施例用於擷取串聯的結構光影像與正規影像的像素陣列的示例性方塊圖。
第4A圖示出用於擷取兩個正規影像的示例性時序圖。
第4B圖示出根據本發明的一個實施例串聯結構光影像和正規影像的一個例子。
第5圖示出根據本發明的一個實施例對應於第4B圖的示例性時序，用來施加結構光以擷取結構光影像，其中，明確示出該結構光的持續時間，並為了明確說明而刪除一些符號。
第6圖示出根據本發明的一個實施例施加結構光用於擷取結構光影像和正規影像的另一視圖。
第7A圖示出用於根據本發明的一個實施例擷取兩時段(two-session)影像的示例性時序圖，其中，第一正規次影像(sub-image)在該第一時段被擷取，而由結構光影像和第二正規次影像組成的混合影像在第二時段被擷 取，最終輸出為此正規影像的組合，而第一時段的積累期間是大致與第二時段的積累期間相同。
第7B圖示出類似於第7A圖的示例性時序圖，其中，第一時段的積累期間大約是第二時段的積累期間的三倍。
第8圖示出根據本發明的一個實施例用於擷取串列的結構光影像與正規影像，其中，該結構光影像具有比正規影像較低的動態範圍的示例性流程圖。
第9圖示出根據本發明的另一個實施例用於擷取串列的結構光影像與正規影像，其中，該結構光影像具有比正規影像較低的動態範圍的示例性流程圖。
將容易理解，本發明的部件，如通常所述和附圖中示出本發明，可以配置和設計成各種不同的結構。因此，本系統和本發明的方法的實施例的以下更詳細的說明，如在圖中表示的，並非意在限制本發明的範圍，如所請求的，但僅僅是代表性選擇的本發明的實施例的。貫穿本說明書中對“一個實施例”，“一個實施例”或類似語言意味著一個特定特徵，結構，或與該實施例描述的特徵可以被包括在至少一個本發明的實施例。因此，“在一個實施例中”的短語的出現或“在實施例中”在各個地方整個說明書不一定都指同一實施例。
此外，描述的特徵，結構或特性可以以任何合適的方式在一個或多個實施例相結合。本領域的有關 技術人員然而將認識到，本發明可以在沒有一個的或多個具體細節的情況下實踐，或利用其它方法，組件等。在其它實例中，公知的結構或操作未示出或詳細描述，以避免模糊本發明的態樣。本發明的說明的實施例將通過參考附圖最好地理解，其中相同的部件由相同的數字始終指定。下面的描述旨在僅通過例子的方式，並簡單地示出的裝置和方法是與根據本文申請專利範圍所述發明一致的某些選定的實施例。
內視鏡通常通過自然開口插入人體，例如口或肛門。因此，內視鏡最好是小尺寸以使侵入最小化。當用內視鏡擷取胃腸道的及時影像(live image)或視頻(vedio)來取得或衍生出深度或形狀訊息時，關鍵的是要保持小尺寸的外形。此外，除小尺寸，並連同對應的影像或視頻擷取深度訊息的能力外，此相機還發現它在其它應用中需要緊湊的尺寸，例如一個可佩戴的裝置。
一種擷取深度訊息的技術，是使用一個通帶(passband)窄得合理的彩色濾光器，放置在選定的感測器像素的前端，同時採集的顏色訊息和深度訊息。環境光源的光譜經濾波器通帶所投射能量在感測器可忽略。使用RGB像素的情況下，可添加第四類型(fourth type)的像素，來擷取照射在這些像素的前端，經濾波器的通帶的光譜的光。然後，將實質上在通帶具有光譜的結構光投射到現場。然而，使用該方法會令這樣的影像感測器擷取的影像或視頻的空間解析度降低。
另一種技術是通過投射於RGB感測器可見的結構光圖案，來獲得如三維佈局(topology)的深度訊息。然而，及時影像及/或視頻會被疊加在其上的結構光混淆。本發明描述的方法，利用單個照相機使用結構光，來擷取影像或及時視頻取得深度的訊息。
正如前面提到的，傳統結構光配合單個相機的方式會有幾個缺點。例如，可以使用成像速率每秒30幀的相機。一種傳統的方法採取及時視頻，與對應於有和沒有結構光的交錯影像。一個問題是，觀看到的深度訊息是以1/30秒遠離對應的影像。如果在場景中有任何運動，則深度訊息可能不能準確地表示在1/30秒遠離對應的影像的三維佈局。此外，在這個例子，該要觀看的視頻的有效成像速率降至每秒15幀。
在一些視頻應用中，成像速率是對於預期應用是至關重要的。例如，擷取快速移動的視頻目標，如行進中的子彈，需要一個高成像速率的攝影機，有每秒100或更高的成像速率。在這種情況下，使用結構光將削減成像速率到一半，並可能妨礙預期的應用。對於膠囊相機，胃腸(GI)道中的視頻通常是每秒幾幀，而相機可以以兩倍於原始成像速率操作，以補償由於擷取結構光影像所致的有效成像速率降低。然而，這將導致兩倍功率消耗，這是膠囊中功率有限的環境所不希望的。
每個成像速率有一個相應的成像期間。在成像期間，感測器將花費成像期間的單元(subset)，用於累 積電荷以響應發射到感測器上的入射光。該積累時間必須足夠小，使得影像實質上是靜止，以避免任何運動令所擷取的影像模糊。
第1圖示出的ADC(類比-數位轉換器)，是可用於影像感測器的一個例子。該ADC包括比較器(110,comparator)比較輸入的類比訊號(120)與基準訊號(130)。從連接到像素的類比電路的類比訊號(120)耦合到比較器的一個端子與斜坡電壓進行比較。在一個實施例中，可以使用數位邏輯電路的時脈(clock)來產生斜坡電壓，使得斜坡電壓根據每個驅動時脈逐步昇高。第2A和2B圖示出分別對應於9位元(即512級)和6位元(即64級)斜坡電壓的兩個例子。用來產生斜坡電壓的相同時脈也由計數器(140)計數。當斜坡電壓達到連接到像素的像素類比讀出電路的類比訊號(120)的電壓值(voltage level)時，比較器輸出將切換(例如，從高到低或低到高)來指示該事件。同時，比較器輸出訊號將觸發暫存器(150)，以便鎖存計數器的值，此計數時脈的數目指示等同於類比訊號(120)的斜坡電壓值。來自像素的輸出經常使用相關雙抽樣(CDS)技術來測量兩次，這是眾所周知的，用來克服由於像素的製造誤差導致的固定模式雜訊(noise)。可以使用類比電路(例如，相關雙抽樣)或數位電路來移除偏移(offset)重置訊號。對於數位實施例，在重置數位計數器讀數後，在積累期間之後可以從像素的數位計數器讀數減去。
有幾個因素決定該像素能多快地積累電子 電荷和訊號能多快地被讀出。另外，如第1圖的例子，從連接到每個像素的類比電路的類比輸出訊號(120)與基準訊號(即，電壓斜坡)進行比較。取決於期望的數位像素解析度(如，9位元對比6位元)，可產生相應的斜坡訊號。讀出速度將取決於計數器，比較器及其他相關電路的速度。對應於更高的數位解析度(即，更高的動態範圍)的斜坡訊號，需要更長的時間來產生。實施6位元的動態範圍如第2B圖，會比實施9位元的動態範圍如第2A圖快8倍。
執行ADC還有其它的變型，如逐次逼近ADC(successive approximation ADC)。就此逐次逼近ADC而言，參考電壓以粗略等級開始。取決於輸入電壓是否高於或低於基準電壓，參考電壓的改善(refined)是以先前電壓區間的一半，來增加或減少先前的參考電壓。改善的基準電壓被用來作為當前的參考電壓來逐次比較。達到所希望的解析度時結束處理。在每一輪逐次逼近，一位元被用於指示該輸入電壓是比基準電壓高或低。因此，ADC的解析度與逐次逼近ADC的逐次逼近次數有關。在一般情況下，動態範圍越高，讀出會越長。不僅需要更多的比較，而且，因為斜坡電壓或參考電壓的精度要求變高，電壓將需要更長的時間來解決。該感測器陣列具有一個固定的大RC常數，這需要一定的時間來解決，以符合精度的基本要求。在高動態範圍的情況下，導線承載參考電壓(即，斜坡參考訊號)需要更多的時間解決導線的電感，連同R(電阻)和C(電容)問題。感測器陣列的導線長度通常在千微米(μm) 的等級，這可能導致周圍的電感約為幾奈米亨利(nH)。不像電阻，電感不會按導體截面比例成反比縮小。影像/視頻能為場景中的目標提供一種詳細的色調，高動態範圍為此品質的一個重要因素。另一方面，結構光圖案的影像，基於已知的模式，如網格的幾何訊息，主要用於衍生出深度/形狀訊息。此衍生出的重要訊息與網格線的位置有關。因此，在動態範圍的要求，實質上低於由人肉眼觀看的正規影像。
由於結構光影像需要的動態範圍，比正規影像少得多，因此本發明採取不同動態範圍要求的優勢，以縮短結構光影像的成像期間。第3圖示出一個整合的影像感測器結合本發明實施例的簡化系統方塊圖。整合影像感測器包括一個像素陣列(310)，該像素陣列接收光能量，根據接收到的光能量產生具有電壓值的訊號數據；輸出電路(320)耦合到該像素陣列，以存取由像素陣列所產生的訊號數據；一個或多個類比-數位轉換器(ADC，330)具有第一動態範圍及第二動態範圍；以及時序(timing)/控制電路(340a和340b)。像素陣列可以是單色像素或彩色像素。像素陣列可以基於CMOS技術或CCD技術。在時序/控制電路的控制下，輸出電路被耦合到像素陣列。例如，在時序/控制電路的控制下，像素陣列輸出可以逐行地被傳輸到輸出電路。輸出電路還可以包括放大器和CDS電路，其中，CDS電路是用來處理重置後各個像素的偏移。而時序/控制電路(340a和340b)被示為兩個單獨的區塊，它們也可 以被實施為一個統一的區塊。
該ADC電路是能夠在第一動態範圍和第二動態範圍內操作的。第一動態範圍比該第二動態範圍小。例如，第一動態範圍可以是6位元，而第二動態範圍可以是9位元。單一ADC可以有不同的動態範圍。由於是以串行代替平行來擷取結構光影像和正規影像，因此可以使用具有可調整動態範圍的單一ADC。例如，可自動調整的ADC公開在US 8369458，2013年2月5日授予Wong等人。時序/控制電路可以包括行掃描電路和列掃描電路。時序/控制電路還負責產生各種控制訊號，如重置訊號。在後面中，提供了關於設置該影像感測器，來擷取結構光影像和正規影像的優選實施例。
第4A圖示出了時序用於正規影像感測器的例子，其中該行時序在水平方向逐幀示出，在垂直方向上從第一行(頂部)到最後一排(底部)。在一個典型的影像感測器中，該影像像素逐行讀出。每行的操作分為若干階段，包括行重置、積累(integration)和讀出。通常是逐行交錯操作，如第4A圖所示。然而，對於一個當前行的讀出操作必須等待，直到前一個行的讀出完成。對於正規影像感測器，相同的成像時間，同樣的時序模式逐幀重複使用。所有圖像有相同的期間時間。第4A圖示出用於典型影像感測器的一般時序圖。時序圖可以不按比例繪製。
第4B圖示出根據本發明的一個實施例用於擷取混合結構光影像和正規影像的時序例子，其中，該結 構光使用較小動態範圍。結構光影像的成像持續時間(frame duration)比隨後的正規影像的成像持續時間短得多，如第4B圖所示。第4B圖的時序圖不按比例繪製，特別是結構光的部分。結構光的部分已經為了說明詳情而放大。如第4B圖所示，與結構光影像相關聯的時序訊號以粗體-斜體顯示。較小的動態範圍是可以實現的，例如，減少與參考電壓的比較，其通過具有較大級距(step)的斜坡上升電壓所產生，如第2A和2B圖所示。或者，參考電壓可以在起始電壓和結束電壓之間的較小的斜坡範圍產生。因為結構光影像的讀出速度比正規影像更快，因此結構光影像可以被擠壓在正規影像的重置時序的期間內。由於該結構光影像不需要像正規影像一樣的高動態範圍，因此結構光影像重置不需要像正規影像那樣的徹底。因此，結構光可用較短的重置時間。因此，在一個實施例中，結構光影像的影像感測器中的行像素之間的最小行重置時間，可以比正規影像的影像感測器中的行像素之間的最小行重置時間短得多。
第5圖與第4B圖相同，除去一些符號，方便演示時序的設置。指示結構光的持續時間。結構光的持續時間實質上可以接近第一行積累階段結束的時候。另一方面，結構光的持續時間必須在結構光影像的最後一行的積分階段內。理想的結構光脈衝持續時間是從最後一行開始積累到第一行開始讀出。為了加快擷取結構光影像，以及降低其它光源(例如環境光)的能量影響，當場景進入 照相機時，結構光的持續時間被設定的很短。如果積累需要比所期望更長的時間，則可以經由增加強度或持續時間來增加結構光脈衝能量。在一個優選的實施例中，與正規光源或環境光的光強度相比，結構光的強度實質上更強。然而，結構光可用於比人的視覺暫留時間實質上還要短的期間，由相對較弱的非結構光和信/噪比(signal/noise ratio)很強的結構光來揭露出場景的影像。非結構光可以對應於寬帶域(broadband)、窄帶域或者螢光的光。結構光脈衝的能量可以由系統功率來限制，或由不會擾人、分散或是暴露於結構光場景的人眼睛不會受損的前提來限制。另一種能量的限制可能會是醫療成像應用時的組織光能量損傷門檻。可以增加感測器的類比增益，使得從結構光照射而產生的像素亮度，遠高於背景雜訊和來自其它光源的亮度，而結構光的能量是在可接受的低水平。增加的增益會導致較大的雜訊放大和縮小感測器的動態範圍。
當主要預期應用是用在胃腸道時，使用持續時間短的和高強度的結構光，也可以令非胃腸應用程序受益。例如，本發明也可以適用於傳統攝影在自然場景擷取混合的正規影像和結構光影像，和從結構化影像中獲得的深度或形狀訊息的場景三維影像。為了從結構光影像獲得更多可靠的深度或形狀訊息，希望選擇一種結構光源，其光譜與基本場景的環境光彩色頻譜或一個/多個非結構光非常不同。
讀出的方案，可能在積累期間辨識更高 (即，最顯著)的位元開始，具有較大的動態範圍的讀出將需要更長的時間來完成。這是因為更多的比較及需要較長的基準電壓穩定時間。因此，降低結構光影像的動態範圍，將能夠減少行的處理時間。這也適用於在全域快門模式(global shutter mode)下操作的影像感測器。因此，與參考電壓有關，提供給該ADC來與輸入的類比電壓進行比較的穩定時間，在第一結構光影像比正規影像來的短。由於需要的精度較小，因此重置訊號並不需要被保持到像素及/或相關電路重置到理想水平那麼久。
如第5圖所示，優選的結構光適用在特定的時間，以使持續時間短，但短的持續時間至少佔所有行像素積累時間的一部分。來自該成像訊號和時脈的該控制訊號可觸發該結構光。然而，結構光的控制訊號也可能來自於整合感測器的其他模組。在另一實施例中，一個來自感測器的控制訊號的固定或可編程的延遲，可被用來調整時序以適合系統優化設計。
在一個實施例中，結構光使用多個光源生成，其中至少有兩種不同的顏色或圖案。通過使用多種顏色，可以選擇顏色或顏色組合，以使所選擇的顏色光譜，實質上不同於預期的場景中正規影像被照射的非結構光或環境光線的光譜。結構光相關的光譜與預期場景中正規影像相關的光譜實質上是不同的。影像感測器可以對應於彩色影像感測器，包括安排成鑲嵌圖案的至少第一和第二像素，而結構光的相關的光譜，實質上集中在第一或第二色 彩像素的光譜上。第一或第二像素的光譜實質上對應於該結構光頻譜，通過讀出選定的數位輸出，結構光影像可以在降低空間解析度的條件下被擷取。
在膠囊的應用中，整合影像感測器是密封在膠囊外殼的裡面，在人體的胃腸道取像。由於在胃腸道沒有環境光，因此膠囊裝置必需為正規影像提供結構光及一般照明。在這種情況下，上述結構光影像的結構光源和正規影像的照明光源可以被密封在外殼中。
第6圖示出對應於第5圖時序圖的另一視角。其中的結構化影像與正規影像的影像讀數顯著使用不同的填充圖案(fill-pattern)。結構光影像相關的時序訊號示於第6圖，在此，SLI-重置對應於結構光影像的重置；SLI-積累期間對應於結構光影像的積累期間；以及SLI-讀出對應於結構光影像的讀出。結構光的持續時間也示於第6圖，其中該結構光在SLI-積累期間施加。擷取結構光影像的整個期間，可以發生在正規影像重置的重置期間內。如第6圖所示的例子，相比於正規影像的重置期間，結構光影像重置是非常短的。如第6圖時序圖所示，示出用於擷取結構光與正規影像的串聯影像的循環，其中用於正規影像的時序被修改。特別是，擷取正規影像的重置期間實質上降低，來容納結構光影像的擷取。因此，結合本發明實施例的第6圖所示時序圖，可以被認為是兩個分開的影像或是結構光影像和修改時序的正規影像的組合。
另外，在上述公開的實施例中，擷取結構 光影像在時間上接近到正規影像，從而為相關正規影像提供更準確的深度/形狀訊息。在另一個實施例中，公開一個兩時段擷取的方法，其中，正規影像被分成兩個次影像，其間擷取結構光影像。正規影像的正規積累時間在兩個次影像之間被分割。兩個正規次影像的數位輸出被組合形成一個正規的影像輸出。這種方法具有幾個優點。首先，每個次影像是使用一個用於正規影像的ADC轉換成數位輸出。因此，每個次影像與單一時段方法中的正規影像，具有相同的動態範圍。當組合兩個次影像的數位輸出時，最終的正規影像仍然保留全動態範圍。假設一個像素的完全積累時間將獲得的類比訊號被數位化為128，每個時段使用一半的積累時間，像素將獲得一半的類比訊號量，從而將被數位化到64。半積累時間是重要的，因為積累時間是總期間的重要組件。因此，每個時段僅使用一半的積累時間，將導致總時間比其它的來得短。
第7A圖示出根據本發明的實施例的例子一個兩時段的方法。在第一時段，擷取使用正規時序的正規影像。在第二時段，擷取混合影像，其包括結構光影像和一個修改時序的正規影像。結構光影像在兩個時段讀出之間被擷取。第一時段的讀出可被暫時存儲在影像感測器內部或是外部的儲存器或緩衝器中。當第二時段的讀出完成後，從兩個時段的兩個讀出值組合在一起。由於結構光影像在一個正規場景影像的兩幅次影像之間擷取的，該結構光影像應該非常接近所擷取的正規場景影像時間。因此， 結構光影像應密切地關聯到正規場景影像。從兩個時段相關的兩個次影像的讀出，組合成一個正規影像。在一個實施例中，一組交織的正規次影像和結構光影像被連續擷取。例如，奇數的影像是正規影像，而偶數影像是結構光影像。影像1和3是兩個次影像，可以被組合成正規影像以對應於影像2，一個結構光影像。同樣，影像3和5是兩個次影像，可以被組合成正規影像以對應於影像4，一個結構光影像。影像5和7可以被組合成正規影像以對應於影像6，一個結構光影像。這個過程可以持續使用每一正規次影像，在一般都使用兩次。在這種情況下，影像1，3，5，7...的加權係數，可以是50/50/50/50...，或者它可以是60/40/60/40/60...。兩個組合的加權原則是100%的目標(targeted)積累時間。
如第7A圖所示，兩個次影像的積累時間大致相同。然而，這兩個積累時間也可以是不同的。例如，第一次影像的積累時間可以是第二次影像積累時間(本發明中也稱為積累期間)的三倍，如第7B圖所示。在這種情況下，當從兩個次影像的數位輸出被組合時，組合影像具有的第一次影像(即3/4)和第二次影像(1/4)的加權效果。沒有必要在不同的積累時間執行加權，因為加權將反映在各個積累期間中累積的電荷。較長積累期間導致更多的積累電荷，從而導致較高的類比訊號。因此，兩個數位讀數的總和表示兩個次影像加權總和，其中加權因子對應於積累期間。
在結構光影像的另一應用中，多個結構光影像來獲得更多的三維點(3D points)相比於一個或多個相關正規影像的單個結構光影像。例如，在遍歷人體的胃腸(GI)道時，可以連續地由膠囊相機擷取多個結構光影像。可以在多個結構光影像之間、之前或之後擷取正規影像。所擷取的結構光影像可以用於推衍出胃腸道的三維模型。此三維胃腸道模型用於檢查相關的胃腸道正規影像是有用的。
對於兩時段正規影像與居間擷取結構光影像，為如上述用於降低結構光影像的成像期間。例如，該結構光影像可以被影像感測器，以相對於第一正規影像和第二正規影像降低的動態範圍來擷取。結構光影像也可以在比第一正規影像和第二正規影像較低的空間解析度被擷取。此外，相比於第一正規影像和第二正規影像，可以在垂直、水平或兩個方向上的縮小影像區域來擷取結構光影像。
在某些情況下，只對選擇的影像區域的深度或形狀訊息有興趣。在這些情況下，可以僅對所選擇的影像區域擷取結構光影像。因此，提供一種替代方法，以減少結構光影像的成像期間。相比於正規影像，縮小影像區域可以對應於一個在垂直、水平或兩個方向縮小的影像區域。該方法也可以與其他方法組合，如減少動態範圍或降低空間解析度，來降低結構光影像的成像期間。
降低空間解析度本身可以用作一種技術， 以減少對結構光影像的成像期間。例如，保留所選行像素並跳過影像感測器其餘的行像素，得以較低的垂直解析度來擷取該結構光影像。
對於內視鏡應用，包括一個膠囊型內視鏡的應用，不存在環境光，上述內視鏡的照明是唯一的光源。因此，每行的積累時間不需要相同，只要對每一行的曝光持續時間是相同的。對於內視鏡的環境，結構光影像比正規影像有較低動態範圍，也受益於結構光影像和正規影像之間時間接近度。因此，根據本發明，結構光影像應該承擔與正規影像相關的更準確地深度或形狀訊息。
對於能量敏感的應用，如膠囊內視鏡和可穿戴的設備，其較小的動態範圍也節省了能源，因為較少比較操作和更短的積累時間，它需要較少的結構光能量。另一方面，由於結構光影像的信噪比不是很重要，因此它的增益可以被設置為非常地高，以進一步節省能源。
一種照相機系統通常包括曝光控制功能，以控制影像感測器的操作參數，以便擷取的影像其整體強度是在一定範圍內，有正確的水平以利於觀看。影像強度是從像素強度而得。詳細的控制往往是受攝影系統設計者的偏好。例如，影像強度被影像的中心部分的像素強度的平均值來確定。在另一實例中，中心部分的像素強度的平均值被用作該影像強度。在另一實例中，以影像的多個區域來代替中央部分。如果強度被發現是太高，則該增益或積累時間可以減少。如果強度太低，那麼增益或積累時間 可以增加。此外，從一個影像到下一個的調整量，可以根據有多少的強度從該優選標準或範圍偏離。
一種照相機系統還可以提供照明，以增加環境光。從相機系統的照明也可以是唯一的照明源，如一個正規的內視鏡或膠囊型內視鏡。對於用於管道檢查或深海勘探的照相機，照相機的照明也唯一照明光源。在這樣的系統中，曝光控制將控制增益、積累時間、照明強度、及/或能量或是它們的組合。如果影像強度太強，則(增益×積累時間×光能量)的值將降低以用於隨後的影像或影像。另一方面，如果影像強度太弱，則(增益×積累時間×光能量)的值將增加以用於後續影像或影像。從一個影像到下一個的調整量，可能取決於有多少的強度從優選標準或範圍偏離。
本發明的一個實施例，解決使用單一影像感測器，擷取結構光影像和正規影像的雙重曝光控制。根據本實施例，同一影像感測器有兩個曝光控制迴路，一個用於結構光影像和另一個用於正規影像。在該正規影像照明實質上依賴於由照相機系統控制光源的情況下(例如，可忽略的或沒有環境光)，其曝光條件是非常類似於結構光與正規光，兩者離現場的距離實際上相同。因此，可使用一個曝光的控制迴路，而另一曝光控制則取決於第一曝光控制迴路。例如，結構光的(增益×積累時間×光能量)可線性地依賴於正規光影像的(增益×積累時間×光能量)，反之亦然。在另一個實施例中，使用其他的依賴方式。例如，也 可以使用γ型依賴(gamma-type dependence)或強度分佈依賴。
在存在環境光的情況下，結構光需要足夠強，以使用於分析的結構光影像之結構光圖案更易辨別。在這種情況下，光的強度在上述分析是由環境光線和光或光線投射到場景，是由相機系統的曝光控制來控制的。在這種情況下，如果環境光線是足夠的，則正規影像有可能不需要由攝影機控制光線投射。然而，結構光有另一限制，即投射結構光必須足夠強，以顯示其在結構光影像的圖案及/或顏色。如果結構光的光譜實質上集中在影像感測器的一個特定的顏色光譜，要考慮結構光影像特定顏色的強度及/或總強度。在一個實施例中，如果結構光源能夠產生多種顏色，那麼要考慮在正規影像中的每個彩色分量的強度。選擇結構光源顏色相應於正規影像中更弱的顏色，以使該結構顏色突出或具有統計學上比背景更高的訊號比，以令分析更加簡單。
第8圖示出，根據本發明的實施例，用於擷取混合結構光影像和正規影像的示例性流程圖。步驟810，在第一成像期間，使用影像感測器擷取第一結構光影像。步驟820，在第二成像期間，使用影像感測器擷取正規影像，其中，第一成像期間比第二成像期間短，且第一結構光影像是在正規影像之前或之後擷取的。
第9圖示出，根據本發明的實施例，用於擷取串列的結構光影像和正規影像，其中，該結構光影像具 有比正規影像較低動態範圍示例性流程圖。步驟910，施加第一重置訊號到像素陣列來重置像素陣列的行像素。步驟920，暴露影像感測器的行像素於結構光，行像素形成第一類比訊號。步驟930，利用一個或多個ADC，轉換來自影像感測器的行像素的第一類比訊號成為第一結構光影像的第一數位輸出。步驟940，施加第二重置訊號到該像素陣列，以重置該像素陣列的行像素。步驟950，暴露行像素於非結構光，行像素形成第二類比訊號。步驟960，利用一個或多個ADC，轉換來自行像素的第二類比訊號，為正規影像的第二數位輸出。在步驟960，第一結構光影像是在正規影像之前或之後擷取的，其中，第一動態範圍比該第二動態範圍來得小。
本發明可以以其他特定形式體現而不背離其精神或本質特徵。所描述的實施例在所有方面都僅是說明性的而不是限制性加以考慮。因此，本發明的範圍是由所附的申請專利範圍第而不是由前面的描述指示。所有改變的含義和申請專利範圍第的等效的範圍內的是在其範圍之內。
910、920、930、940、950、960‧‧‧步驟

Claims (60)

  1. 一種使用包括影像感測器的照相機以擷取場景的影像的方法，該方法包括：在第一成像期間使用該影像感測器擷取第一結構光影像，其中，該擷取該第一結構光影像包括：施加第一重置訊號至該影像感測器，以重置該影像感測器的行像素；曝露該影像感測器的該行像素到結構光，以形成來自該行像素的第一類比訊號；使用一個或多個類比-數位轉換器，轉換來自該影像感測器的該行像素的該第一類比訊號成為該第一結構光影像的第一數位輸出；在第二成像期間使用該影像感測器擷取正規影像，其中，該第一成像期間比該第二成像期間短，且該擷取該正規影像包括：施加第二重置訊號至該影像感測器，以重置該影像感測器的該行像素；曝露該影像感測器的該行像素到非結構光，以形成來自該行像素的第二類比訊號；以及使用該一個或多個類比-數位轉換器，轉換來自該行像素的該第二類比訊號成為該正規影像的第二數位輸出；以及其中，該第一結構光影像在該正規影像之前或之後擷取。
  2. 如申請專利範圍第1項所述的方法，其中，相較於該正規影像，該影像感測器是以降低的動態範圍擷取該第一結構光影像。
  3. 如申請專利範圍第2項所述的方法，其中，該降低的動態範係對應於該一個或多個類比-數位轉換器的降低的解析度。
  4. 如申請專利範圍第2項所述的方法，其中，該降低的動態範圍對應於用於產生斜坡參考電壓的降低的斜坡期間，其中，該一個或多個類比-數位轉換器使用該斜坡參考電壓與輸入類比電壓進行比較。
  5. 如申請專利範圍第2項所述的方法，其中，該一個或多個類比-數位轉換器對應於一個或多個逐次逼近類比-數位轉換器，而該降低的動態範圍對應於用來改善參考電壓的減少數量的連續逼近，該參考電壓係供應至該類比-數位轉換器，以與輸入類比電壓進行比較。
  6. 如申請專利範圍第2項所述的方法，其中，該降低的動態範圍對應於該影像感測器用來積累電子電荷的降低的積累時間。
  7. 如申請專利範圍第6項所述的方法，其中，來自該放大影像感測器的該行像素的該第一類比訊號的增益對於該第一結構光影像是增加的。
  8. 如申請專利範圍第1項所述的方法，復包括在該第一成像期間的第一積累時間，投射具有第一強度的該結構光到該場景。
  9. 如申請專利範圍第8項所述的方法，其中，該第一強度的期間實質上短於人類視覺暫留時間。
  10. 如申請專利範圍第8項所述的方法，其中，該結構光使用具有至少兩種不同顏色或圖案的多個光源來產生。
  11. 如申請專利範圍第10項所述的方法，復包括當使用兩個不同的結構光源產生該結構光時，從該影像感測器產生不同的第一控制訊號，以針對該兩個不同的結構光源觸發該投射該結構光。
  12. 如申請專利範圍第8項所述的方法，其中，與該結構光相關聯的第一光譜實質上不同於與預期場景的第二正規影像相關聯的第二光譜。
  13. 如申請專利範圍第12項所述的方法，其中，該影像感測器對應於彩色影像感測器，該彩色影像感測器包括排列成馬賽克圖案的至少用於第一顏色的第一像素和用於第二顏色的第二像素，並且該第一光譜實質上集中在一種顏色。
  14. 如申請專利範圍第13項所述的方法，其中，經由僅讀出與實質上相應於該第一光譜的一種顏色的像素關聯的選擇的數位輸出，以降低的空間解析度擷取該第一結構光影像。
  15. 如申請專利範圍第8項所述的方法，復包括在該第二成像期間的第二積累時間，投射具有第二強度的非結構光到該場景。
  16. 如申請專利範圍第15項所述的方法，復包括從該影像 感測器產生第一控制訊號，以觸發該投射該結構光，以及產生第二控制訊號，以觸發該投射該非結構光。
  17. 如申請專利範圍第15項所述的方法，其中，該非結構光對應於寬帶域。
  18. 如申請專利範圍第15項所述的方法，其中，使用窄帶域照明或熒光激發，產生該非結構光。
  19. 如申請專利範圍第15項所述的方法，其中，該結構光的該第一強度實質上高於該非結構光的該第二強度。
  20. 如申請專利範圍第1項所述的方法，其中，該第一結構光影像的第一積累時間實質上短於該正規影像的第二積累時間。
  21. 如申請專利範圍第1項所述的方法，其中，用於該第一結構光影像的該影像感測器的該行像素之間的第一最小行重置時間比實質上短於用於該正規影像的該影像感測器的該行像素之間的第二最小行重置時間。
  22. 如申請專利範圍第1項所述的方法，其中，與參考電壓有關並且提供給該一個或多個類比-數位轉換器來與輸入的類比電壓進行比較的穩定時間，用於該第一結構光影像比用於該正規影像來的短。
  23. 如申請專利範圍第1項所述的方法，其中，該結構光在用於該第一結構光影像的該影像感測器的積累期間施加，並且該結構光與最後一行積累時間的開始實質上同時開始，並且與第一行讀出期間的開始實質上同時結束。
  24. 如申請專利範圍第1項所述的方法，復包括提供該第一結構光影像以衍生出該正規影像的深度或形狀訊息。
  25. 如申請專利範圍第1項所述的方法，其中，該第一結構光影像是以低於該正規影像的空間解析度擷取。
  26. 如申請專利範圍第25項所述的方法，其中，經由只保留選擇的行像素並跳過該影像感測器的其餘行像素，以較低的垂直解析度來擷取該第一結構光影像。
  27. 如申請專利範圍第1項所述的方法，其中，相比於該正規影像，該第一結構光影像是以在垂直方向、水平方向或兩者上的降低的影像區域來擷取。
  28. 如申請專利範圍第1項所述的方法，其中，重複地產生及提供後續第一結構光影像和後常正規影像，以形第一結構光影像序列及正規影像序列，其中，該第一結構光影像序列被用於衍生出深度或形狀訊息，以用於觀看正規影像序列。
  29. 如申請專利範圍第1項所述的方法，復包括：在第三成像期間擷取第二結構光影像，其中，該第三成像期間短於該第二成像期間，並且該擷取該第二結構光影像包括：施加第三重置訊號至該影像感測器，以重置該影像感測器的該行像素；曝光該行像素到非結構光，以形成來自該行像素的第三類比訊號；使用該一個或多個類比-數位轉換器，轉換來 自該行像素的該第三類比訊號成為該第二結構光影像的第三數位輸出；以及其中，該正規影像在該第一結構光影像和該第二結構光影像之間、之前或之後擷取。
  30. 如申請專利範圍第1項所述的方法，其中，重複該擷取該第一結構光影像，以產生成多個第一結構光影像。
  31. 一種使用包括影像感測器的照相機以擷取場景的影像的方法，該方法包括：在第一成像期間使用該影像感測器擷取結構光影像，其中，該擷取該結構光影像包括：施加第一重置訊號至該像感測器，以重置該影像感測器的行像素；曝光該影像感測器的該行像素到結構光，以形成來自該行像素的第一類比訊號；使用一個或多個類比-數位轉換器，轉換來自該影像感測器的該行像素的該第一類比訊號成為用於該結構光影像的第一數位輸出；在第二成像期間中使用該影像感測器擷取一組第一正規影像，其中，擷取一個第一正規影像包括：施加第二重置訊號至該影像感測器，以重置該影像感測器的該行像素；曝光該行像素到非結構光，以形成來自該行像素的第二類比訊號；以及使用該一個或多個類比-數位轉換器，轉換來 自該影像感測器的該行像素的第二類比訊號成為用於一個第一正規影像的第二數位輸出；以及在第三成像期間擷取一組第二正規影像，其中，擷取一個第二正規影像包括：施加第三重置訊號至該影像感測器，以重置該影像感測器的該行像素；曝光該行像素到該非結構光，以形成來自該行像素的第三類比訊號；以及使用該一個或多個類比-數位轉換器，轉換來自該影像感測器的該行像素的第三類比訊號成為用於一個第二正規影像的第三數位輸出；以及組合該組第一正規影像組和該組第二正規影像組，以形成組合的正規影像；以及其中，該結構光影像是在該組第一個正規影像組和該組第二個正規影像組之間擷取，並且該第一成像期間短於該第二成像期間與第三成像期間的總和。
  32. 如申請專利範圍第31項所述的方法，其中，該組第一正規影像組由M個第一正規影像組成，而該組第二正規影像組由N個第二正規影像組成，並且其中，M和N為正整數。
  33. 如申請專利範圍第32項所述的方法，其中，M和N等於1，並且該第一正規影像的第一積累時間長於或短於該第二正規影像的第二積累時間，以使該第一正規影像在該組合的正規影像中的加權分別高於或低於該第二 正規影像。
  34. 如申請專利範圍第32項所述的方法，其中，M和N等於1，並且該第一正規影像的第一積累時間近似於該第二正規影像的第二積累時間，以使該第一正規影像與該第二正規影像在該組合的正規影像的具有相同的加權。
  35. 如申請專利範圍第32項所述的方法，其中，該組第一正規影像組和該組第二正規影像組的組合使用該組第一個正規影像組和該組第二正規影像組的加權總和來組合，以形成該組合的正規影像，並且其中，該組第一正規影像組和該組第二正規影像組的總加權等於100%。
  36. 如申請專利範圍第32項所述的方法，其中，M和N等於1，具有影像索引(i)的該第一正規影像與具有影像索引(i+2)的該第二正規影像被組合成一個組合的正規影像，用於具有影像索引(i+1)的該結構光影像，並且，具有影像索引(i+2)的該第一正規影像與具有影像索引(i+4)的該第二正規影像被組合成一個組合的正規影像，用於具有影像索引(i+3)的該結構光影像，其中，i是正整數。
  37. 如申請專利範圍第31項所述的方法，復包括暫時存儲該組第一正規影像組和該組第二正規影像組在整合於該照相機內的緩衝器中，以形成該組合的正規影像。
  38. 如申請專利範圍第31項所述的方法，其中，相較於該第一正規影像和該第二正規影像，該結構光影像是以該 影像感測器的降低的動態範圍擷取。
  39. 如申請專利範圍第31項所述的方法，其中，相較於該第一正規影像和該第二正規影像，該結構光影像是以較低的空間解析度擷取。
  40. 如申請專利範圍第31項所述的方法，其中，相較於該第一正規影像和該第二正規影像，該結構光影像是以在垂直方向、水平方向或兩者的降低的影像區域擷取。
  41. 一種整合的影像感測器，包括：像素陣列，反應於由該像素陣列所接收到的光能量，以產生像素訊號，該像素訊號的電壓值取決於接收到的該光能量；一個或多個輸出電路，耦合到該像素陣列，以存取由該像素陣列產生的該像素訊號；一個或多個類比-數位轉換器，具有第一動態範圍和第二動態範圍；一個或多個時序和控制電路，配置為：在第一成像期間，經由施加第一重置訊號至該像素陣列，以重置該陣列像素的行像素，而擷取結構光影像，暴露該像素陣列的該行像素到結構光，以形成來自該行像素的第一類比訊號，以及使用一個或多個類比-數位轉換器，轉換來自該像素陣列的該行像素的該第一類比訊號成為該結構光影像的第一數位輸出；以及在比該第一成像期間還長的第二成像期間，經 由施加第二重置訊號至該像素陣列，以重置該陣列像素的該行像素，而擷取正規影像，暴露該行像素到非結構光，以形成來自該行像素的第二類比訊號，以及使用該一個或多個類比-數位轉換器，轉換來自該行像素的該第二類比訊號成為該正規影像的第二數位輸出。
  42. 如申請專利範圍第41項所述的整合的影像感測器，其中，該一個或多個類比-數位轉換器對應於可配置的類比-數位轉換器，以提供該第一動態範圍和該第二動態範圍兩者。
  43. 如申請專利範圍第41項所述的整合的影像感測器，其中，該一個或多個類比-數位轉換器對應於具有兩種不同解析度的兩個類比-數位轉換器，以提供該第一動態範圍和該第二動態範圍兩者。
  44. 如申請專利範圍第41項所述的整合的影像感測器，其中，該一個或多個時序和控制電路復配置以低於該正規影像的空間解析度擷取該結構光影像。
  45. 一種膠囊相機系統，包括：像素陣列，反應於由該像素陣列所接收到的光能量，以產生像素訊號，該像素訊號的電壓值取決於接收到的該光能量；結構光源；正規影像的照明光源；一個或多個輸出電路，耦合到該像素陣列，以存取 由該像素陣列所產生的該像素訊號；一個或多個類比-數位轉換器，具有第一動態範圍及第二動態範圍；一個或多個時序和控制電路，其中，該一個或多個時序和控制電路被配置為：在第一成像期間，經由施加第一重置訊號至該像素陣列，以重置該陣列像素的行像素，而擷取結構光影像，暴露該像素陣列的該行像素到來自該結構光源的第一照射，以形成來自該行像素的第一類比訊號，以及使用一個或多個類比-數位轉換器，轉換來自該像素陣列的該行像素的該第一類比訊號成為該結構光影像的第一數位輸出；以及在比該第一成像期間還長的第二成像期間，經由施加第二重置訊號至該像素陣列，以重置該陣列像素的該行像素，而擷取正規影像，暴露該行像素到來自該正規影像的照明光源的第二照射，以形成來自該行像素的第二類比訊號，以及使用該一個或多個類比-數位轉換器，轉換來自該行像素的該第二類比訊號成為該正規影像的第二數位輸出。
  46. 如申請專利範圍第45項所述的膠囊相機系統，復包括，一個適於吞服的膠囊外殼，其中，該像素陣列、該結構光源、該正規影像的照明光源、該一個或多個輸出電路、以及該一個或多個時序和控制電路均被封裝及密封在膠囊外殼裡。
  47. 如申請專利範圍第45項所述的膠囊相機系統，其中，該一個或多個類比-數位轉換器對應於可配置的類比-數位轉換器，以提供該第一動態範圍和該第二動態範圍兩者。
  48. 如申請專利範圍第45項所述的膠囊相機系統，其中，該一個或多個類比-數位轉換器對應於具有兩種不同解析度的兩個類比-數位轉換器，以提供該第一動態範圍和該第二動態範圍兩者。
  49. 如申請專利範圍第45項所述的膠囊相機系統，其中，該結構光影像是以低於該正規影像的空間解析度擷取。
  50. 一種相機系統，包括：像素陣列，反應於由該像素陣列所接收到的光能量，以產生像素訊號，該像素訊號的電壓值取決於接收到的該光能量；結構光源；正規影像的照明光源；一個或多個輸出電路，耦合到該像素陣列，以存取由該像素陣列所產生的像素訊號；一個或多個類比-數位轉換器，具有第一動態範圍及第二動態範圍；一個或多個時序和控制電路，其中，該一個或多個時序和控制電路被配置為：在第一成像期間，經由施加第一重置訊號到該像素陣列，以重置該陣列像素的行像素，而擷取結 構光影像，暴露該像素陣列的該行像素到來自該結構光源的第一照射，以形成來自該行像素的第一類比訊號，以及使用該一個或多個類比-數位轉換器，轉換來自該像素陣列的該行像素的該第一類比訊號成為該結構光影像的第一數位輸出；在第二成像期間，經由施加第二重置訊號至該像素陣列，以重置該陣列像素的該行像素，而擷取第一正規影像，暴露該行像素到來自該正規影像的照明光源的第二照射，以形成來自該行像素的第二類比訊號，以及使用該一個或多個類比-數位轉換器，轉換來自該行像素的該第二類比訊號成為該第一正規影像的第二數位輸出；以及在第三成像期間，經由施加第三重置訊號至該像素陣列，以重置該陣列像素的該行像素，而擷取第二正規影像，暴露該行像素到來自該正規影像的照明光源的該第二照射，以形成來自該行像素的第三類比訊號，以及使用該一個或多個類比-數位轉換器，轉換來自該行像素的該第三類比訊號成為該第二正規影像的第三數位輸出；組合該第二數位輸出和該第三數位輸出，以形成組合的正規影像；以及其中，該結構光影像是在該第一個正規影像和該第二個正規影像之間擷取，並且該第一成像期間短於該第二成像期間及該第三成像期間的總和。
  51. 如申請專利範圍第50項所述的相機系統，其中，相較於該第一正規影像和該第二正規影像，該結構光影像以較低的空間解析度擷取。
  52. 如申請專利範圍第50項所述的相機系統，其中，該一個或多個類比-數位轉換器對應於可配置的類比-數位轉換器，以提供該第一動態範圍和第二動態範圍兩者。
  53. 如申請專利範圍第50項所述的相機系統，其中，該一個或多個類比-數位轉換器對應於具有兩種不同解析度的兩個類比-數位轉換器，以提供該第一動態範圍和第二動態範圍兩者。
  54. 一種在體內觀察的膠囊型內視鏡，包括：適於被吞服的膠囊外殼；像素陣列，反應於由該像素陣列所接收到的光能量，以產生像素訊號，該像素訊號的電壓值取決於接收到的該光能量；結構光源；正規影像的照明光源；一個或多個輸出電路，耦合到該像素陣列，以存取由該像素陣列所產生的該像素訊號；一個或多個類比-數位轉換器，具有第一動態範圍及第二動態範圍；一個或多個時序和控制電路，其中，該一個或多個時序和控制電路被配置為：在第一成像期間，經由施加第一重置訊號至該 像素陣列，以重置該陣列像素的行像素，而擷取結構光影像，暴露該像素陣列的該行像素到來自該結構光源的第一照射，以形成來自該行像素的第一類比訊號，以及使用該一個或多個類比-數位轉換器，轉換來自該像素陣列的該行像素的該第一類比訊號成為該結構光影像的第一數位輸出；在第二成像期間，經由施加第二重置訊號至該像素陣列，以重置該陣列像素的該行像素，而擷取第一正規影像，暴露該行像素到環境光或來自該正規影像的照明光源的第二照射，以形成來自該行像素的第二類比訊號，以及使用該一個或多個類比-數位轉換器，轉換來自該行像素的該第二類比訊號成為該第一正規影像的第二數位輸出；以及在第三成像期間，經由施加第三重置訊號至該像素陣列，以重置該陣列像素的該行像素，而擷取第二正規影像，暴露該行像素到環境光或來自該正規影像的照明光源的該第二照射，以形成來自該行像素的第三類比訊號，以及使用該一個或多個類比-數位轉換器，轉換來自該行像素的該第三類比訊號成為該第二正規影像的第三數位輸出；以及組合該第二數位輸出和該第三數位輸出，以形成組合的正規影像；其中，該結構光影像在該第一個正規影像和該第二個正規影像之間擷取，並且該第一成像期間短於該第二 成像期間及該第三成像期間的總和；以及其中，該像素陣列、該結構光源、該正規影像的照明光源、該一個或多個輸出電路、以及該一個或多個時序和控制電路均被封裝及密封在膠囊外殼裡。
  55. 如申請專利範圍第54項所述的膠囊型內視鏡，其中，相較於該第一正規影像和該第二正規影像，該結構光影像以較低的空間解析度擷取。
  56. 如申請專利範圍第54項所述的膠囊型內視鏡，其中，該一個或多個類比-數位轉換器對應於可配置的類比-數位轉換器，以提供該第一動態範圍和第二動態範圍兩者。
  57. 如申請專利範圍第54項所述的膠囊型內視鏡，其中，該一個或多個類比-數位轉換器對應於具有兩種不同解析度的兩個類比-數位轉換器，以提供該第一動態範圍和第二動態範圍兩者。
  58. 一種使用單一影像感測器擷取影像序列的方法，該方法包括：經由施加第一曝光控制以調整用於一個或多個結構光影像的結構光源、與該影像感測器相關的第一增益或第一積累時間、或其組合，而在來自結構光源的結構光下，使用該影像感測器擷取該一個或多個結構光影像；以及經由施加第二曝光控制至該影像感測器以針對一個或多個正規影像調整與該影像感測器相關的第二增 益或第二積累時間、或其組合，而使用該影像感測器擷取該一個或多個正規影像，其中，以交織的方式擷取該一個或多個正規影像與該一個或多個結構光影像。
  59. 如申請專利範圍第58項所述的方法，其中，該第一曝光控制是基於該第二曝光控制來確定，或該第二曝光控制是基於該第一曝光控制來確定。
  60. 如申請專利範圍第58項所述的方法，其中，該第二曝光控制復包括調整用於該正規影像的非結構光源。
TW104136658A 2015-10-16 2015-11-06 用於擷取混合的結構光影像和正常影像的單一影像感測器 TWI596931B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/884,788 US9936151B2 (en) 2015-10-16 2015-10-16 Single image sensor for capturing mixed structured-light images and regular images

Publications (2)

Publication Number Publication Date
TW201715881A TW201715881A (zh) 2017-05-01
TWI596931B true TWI596931B (zh) 2017-08-21

Family

ID=58517756

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104136658A TWI596931B (zh) 2015-10-16 2015-11-06 用於擷取混合的結構光影像和正常影像的單一影像感測器

Country Status (6)

Country Link
US (3) US9936151B2 (zh)
EP (1) EP3362989B1 (zh)
JP (3) JP6803908B2 (zh)
CN (1) CN108139207B (zh)
TW (1) TWI596931B (zh)
WO (1) WO2017065949A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US10531074B2 (en) * 2015-10-16 2020-01-07 CapsoVision, Inc. Endoscope employing structured light providing physiological feature size measurement
US10469775B2 (en) * 2017-03-31 2019-11-05 Semiconductor Components Industries, Llc High dynamic range storage gate pixel circuitry
JP7005175B2 (ja) * 2017-05-30 2022-01-21 キヤノン株式会社 距離測定装置、距離測定方法及び撮像装置
US10917589B2 (en) 2017-06-26 2021-02-09 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10969273B2 (en) * 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
CN110891471B (zh) * 2018-03-21 2022-11-18 卡普索影像公司 采用结构光提供生理特征尺寸测量的内窥镜
US10553180B1 (en) 2018-03-21 2020-02-04 Facebook Technologies, Llc Dynamically structured protective film for maximum display resolution
US11054632B1 (en) 2018-03-21 2021-07-06 Facebook Technologies, Llc Liquid filled pixelated film
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
WO2019208155A1 (ja) * 2018-04-26 2019-10-31 富士フイルム株式会社 画像処理装置、方法、及びプログラム並びに撮像装置
US10685594B2 (en) 2018-05-08 2020-06-16 Facebook Technologies, Llc Calibrating brightness variation in a display
TWI734079B (zh) * 2018-05-29 2021-07-21 大陸商廣州印芯半導體技術有限公司 影像感測系統及其多功能影像感測器
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US11019294B2 (en) * 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
WO2020019704A1 (zh) 2018-07-27 2020-01-30 Oppo广东移动通信有限公司 结构光投射器的控制系统和电子装置
CN109005370B (zh) * 2018-07-27 2020-07-03 Oppo广东移动通信有限公司 结构光投射器的控制系统和电子装置
US10991079B2 (en) * 2018-08-14 2021-04-27 Nvidia Corporation Using previously rendered scene frames to reduce pixel noise
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US10506921B1 (en) 2018-10-11 2019-12-17 Capso Vision Inc Method and apparatus for travelled distance measuring by a capsule camera in the gastrointestinal tract
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
JP7116925B2 (ja) * 2019-03-22 2022-08-12 株式会社エビデント 観察装置の作動方法、観察装置、およびプログラム
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
WO2020195046A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 固体撮像装置
US10735683B1 (en) * 2019-04-09 2020-08-04 Obsidian Sensors, Inc. Systems and methods for low-power image digitization
US11943561B2 (en) * 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US20200397239A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
CN113785561B (zh) 2019-08-01 2023-12-19 松下知识产权经营株式会社 摄像装置
US11038704B2 (en) * 2019-08-16 2021-06-15 Logitech Europe S.A. Video conference system
US11258982B2 (en) 2019-08-16 2022-02-22 Logitech Europe S.A. Video conference system
US11095467B2 (en) 2019-08-16 2021-08-17 Logitech Europe S.A. Video conference system
US11088861B2 (en) 2019-08-16 2021-08-10 Logitech Europe S.A. Video conference system
CN110677603B (zh) * 2019-09-16 2021-09-14 上海集成电路研发中心有限公司 一种用于单帧分段曝光的图像传感器和数据采集方法
CN110708481B (zh) * 2019-09-16 2021-09-14 上海集成电路研发中心有限公司 一种基于差异复位的去除固定模式噪声方法
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11252366B2 (en) 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
US11219358B2 (en) 2020-03-02 2022-01-11 Capso Vision Inc. Method and apparatus for detecting missed areas during endoscopy
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
CN113395496B (zh) * 2020-09-28 2024-03-29 腾讯科技（深圳）有限公司 图像处理装置、图像处理方法、电子设备以及存储介质
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
JP2021058776A (ja) * 2021-01-20 2021-04-15 株式会社三洋物産 遊技機
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
TW202247706A (zh) * 2021-05-19 2022-12-01 英屬開曼群島商大峽谷智慧照明系統股份有限公司 智慧人因照光系統
TWI762388B (zh) * 2021-07-16 2022-04-21 國立中正大學 以超頻譜檢測物件影像之方法
CN114219841B (zh) * 2022-02-23 2022-06-03 武汉欧耐德润滑油有限公司 基于图像处理的润滑油罐体参数自动识别方法
US20230410336A1 (en) 2022-06-15 2023-12-21 CapsoVision, Inc. Method and Apparatus for Identifying Capsule Camera Location inside Gastrointestinal Tract

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090094510A1 (en) * 2003-02-04 2009-04-09 Christopher Newell Toomey Method for Flexible, Safe, Robust, and Efficient Generation and Serving of Multi-Source World-Wide Web Content Pages
TW200921048A (en) * 2007-11-05 2009-05-16 Ind Tech Res Inst Visual navigation system and method based on structured light
US20140011945A1 (en) * 2003-11-24 2014-01-09 Intertape Polymer Corp. Process for preparing adhesive using planetary extruder
TW201432894A (zh) * 2009-12-08 2014-08-16 Zena Technologies Inc 具有奈米線結構光偵測器之主動像素感測器
US20150077493A1 (en) * 2013-09-17 2015-03-19 Ricoh Company, Ltd. Treatment target reforming device, printing apparatus, printing system, and printed material manufacturing method

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5962844A (en) * 1997-09-03 1999-10-05 Foveon, Inc. Active pixel image cell with embedded memory and pixel level signal processing capability
US6665010B1 (en) * 1998-07-21 2003-12-16 Intel Corporation Controlling integration times of pixel sensors
US6608296B1 (en) 1998-10-07 2003-08-19 Hamamatsu Photonics K.K. High-speed vision sensor having a parallel processing system
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US7128270B2 (en) * 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
US7605940B2 (en) * 1999-09-17 2009-10-20 Silverbrook Research Pty Ltd Sensing device for coded data
US6469289B1 (en) * 2000-01-21 2002-10-22 Symagery Microsystems Inc. Ambient light detection technique for an imaging array
US20030117491A1 (en) 2001-07-26 2003-06-26 Dov Avni Apparatus and method for controlling illumination in an in-vivo imaging device
KR100411631B1 (ko) * 2001-10-18 2003-12-18 주식회사 메디미르 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
US7385708B2 (en) * 2002-06-07 2008-06-10 The University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7605852B2 (en) * 2004-05-17 2009-10-20 Micron Technology, Inc. Real-time exposure control for automatic light control
GB0423011D0 (en) 2004-10-16 2004-11-17 Koninkl Philips Electronics Nv Method and apparatus for analogue to digital conversion
EP1659776A1 (en) * 2004-11-23 2006-05-24 Dialog Semiconductor GmbH An image sensor having resolution adjustment employing an analog column averaging/row averaging for high intensity light or row binning for low intensity light
US8044996B2 (en) * 2005-05-11 2011-10-25 Xenogen Corporation Surface construction using combined photographic and structured light information
US7983458B2 (en) 2005-09-20 2011-07-19 Capso Vision, Inc. In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band
US7534988B2 (en) * 2005-11-08 2009-05-19 Microsoft Corporation Method and system for optical tracking of a pointing object
JP4767685B2 (ja) * 2005-12-28 2011-09-07 オリンパスメディカルシステムズ株式会社 被検体内観察システム
WO2008036092A1 (en) 2006-09-21 2008-03-27 Thomson Licensing A method and system for three-dimensional model acquisition
US7616243B2 (en) 2007-03-07 2009-11-10 Altasens, Inc. Method and apparatus for improving and controlling dynamic range in an image sensor
US7995798B2 (en) 2007-10-15 2011-08-09 Given Imaging Ltd. Device, system and method for estimating the size of an object in a body lumen
US8369458B2 (en) 2007-12-20 2013-02-05 Ralink Technology Corporation Wireless receiving system with an adaptively configurable analog to digital converter
US8107083B2 (en) * 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
US8285025B2 (en) * 2008-03-25 2012-10-09 Electro Scientific Industries, Inc. Method and apparatus for detecting defects using structured light
FR2935076A1 (fr) 2008-08-18 2010-02-19 St Microelectronics Sa Convertisseur analogique-numerique
US8723118B2 (en) * 2009-10-01 2014-05-13 Microsoft Corporation Imager for constructing color and depth images
US8760537B2 (en) * 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
JP5371920B2 (ja) * 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
JP5830270B2 (ja) * 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
US8803979B2 (en) * 2011-09-29 2014-08-12 Aptina Imaging Corporation Self test of image signal chain while running in streaming mode
US9429417B2 (en) * 2012-05-17 2016-08-30 Hong Kong Applied Science and Technology Research Institute Company Limited Touch and motion detection using surface map, object shadow and a single camera
US9019488B2 (en) * 2012-06-25 2015-04-28 Recognition Robotics, Inc. Wheel toe and camber measurement system
US9210404B2 (en) * 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target
US9407837B2 (en) * 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US9524059B2 (en) * 2013-03-15 2016-12-20 Texas Instruments Incorporated Interaction detection using structured light images
US8937745B2 (en) * 2013-03-25 2015-01-20 Eastman Kodak Company Method for correcting stitching errors in multi-color high-speed printing
CN103561267B (zh) * 2013-09-10 2016-08-31 罗天明 基于运动信息与深度信息的3d视频编码传输方法
US8917327B1 (en) * 2013-10-04 2014-12-23 icClarity, Inc. Method to use array sensors to measure multiple types of data at full resolution of the sensor
EP2871843B1 (en) 2013-11-12 2019-05-29 LG Electronics Inc. -1- Digital device and method for processing three dimensional image thereof
US9357150B2 (en) 2013-12-03 2016-05-31 Capso Vision Inc. Image sensor with integrated power conservation control
US10132616B2 (en) * 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090094510A1 (en) * 2003-02-04 2009-04-09 Christopher Newell Toomey Method for Flexible, Safe, Robust, and Efficient Generation and Serving of Multi-Source World-Wide Web Content Pages
US20140011945A1 (en) * 2003-11-24 2014-01-09 Intertape Polymer Corp. Process for preparing adhesive using planetary extruder
TW200921048A (en) * 2007-11-05 2009-05-16 Ind Tech Res Inst Visual navigation system and method based on structured light
TW201432894A (zh) * 2009-12-08 2014-08-16 Zena Technologies Inc 具有奈米線結構光偵測器之主動像素感測器
US20150077493A1 (en) * 2013-09-17 2015-03-19 Ricoh Company, Ltd. Treatment target reforming device, printing apparatus, printing system, and printed material manufacturing method

Also Published As

Publication number Publication date
US11102428B2 (en) 2021-08-24
US20180160061A1 (en) 2018-06-07
CN108139207B (zh) 2020-09-18
JP2018533870A (ja) 2018-11-15
EP3362989B1 (en) 2022-09-21
JP2021010173A (ja) 2021-01-28
EP3362989A4 (en) 2019-06-05
CN108139207A (zh) 2018-06-08
US10447950B2 (en) 2019-10-15
WO2017065949A1 (en) 2017-04-20
EP3362989A1 (en) 2018-08-22
US20170111600A1 (en) 2017-04-20
JP6803908B2 (ja) 2020-12-23
US20200007802A1 (en) 2020-01-02
TW201715881A (zh) 2017-05-01
JP7114666B2 (ja) 2022-08-08
US9936151B2 (en) 2018-04-03
JP2021007241A (ja) 2021-01-21
JP7114667B2 (ja) 2022-08-08

Similar Documents

Publication Publication Date Title
TWI596931B (zh) 用於擷取混合的結構光影像和正常影像的單一影像感測器
JP4393866B2 (ja) インビボ画像化カプセル
US10785428B2 (en) Single image sensor for capturing mixed structured-light images and regular images
Sonoda et al. High-speed imaging using CMOS image sensor with quasi pixel-wise exposure
WO2007076198A2 (en) Image sensor array with reduced lighting requirement
WO2017065053A1 (ja) 内視鏡装置
CN111510651A (zh) 一种图像传感电路、图像传感器及终端设备
KR100722901B1 (ko) 내시경용 촬상 장치
JP2004313523A (ja) 固体撮像素子、電子内視鏡
WO2018025658A1 (ja) 撮像素子、駆動方法、および電子機器
CN103190881A (zh) 胶囊式内窥镜及其图像处理方法
JP4555604B2 (ja) カプセル型内視鏡およびカプセル型内視鏡システム
WO2017188018A1 (ja) 固体撮像素子および固体撮像素子の動作方法、撮像装置、および電子機器
CN205181290U (zh) 具有拍照后聚焦功能的光场式胶囊内窥镜相机
US10630917B1 (en) Apparatus and methods for all-CMOS compressive sensing
US10201266B2 (en) Single image sensor control for capturing mixed mode images
CN206063122U (zh) 3d内窥胶囊镜系统及其装置
RU54478U1 (ru) Цифровой регистратор импульсного светового излучения
CN117082233A (zh) 内窥镜摄像系统延时测试方法、装置、设备及系统
Vatteroni et al. Smart optical CMOS sensor for endoluminal applications
JP2009141417A (ja) 撮像素子及び該素子の信号読み出し方法
JP2009284943A (ja) カプセル内視鏡システム