TWI706181B - 具有自動對焦控制的成像裝置 - Google Patents

具有自動對焦控制的成像裝置 Download PDF

Info

Publication number
TWI706181B
TWI706181B TW105129511A TW105129511A TWI706181B TW I706181 B TWI706181 B TW I706181B TW 105129511 A TW105129511 A TW 105129511A TW 105129511 A TW105129511 A TW 105129511A TW I706181 B TWI706181 B TW I706181B
Authority
TW
Taiwan
Prior art keywords
image
user
imager
scene
display screen
Prior art date
Application number
TW105129511A
Other languages
English (en)
Other versions
TW201719219A (zh
Inventor
克里斯汀 湯－傑斯柏森
麥可 清
帕諾斯 米果爾 布魯諾 維羅
芙蘿音 庫圖
詹姆士 帕崔克 郎
哈特牧 魯德曼
Original Assignee
新加坡商海特根微光學公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新加坡商海特根微光學公司 filed Critical 新加坡商海特根微光學公司
Publication of TW201719219A publication Critical patent/TW201719219A/zh
Application granted granted Critical
Publication of TWI706181B publication Critical patent/TWI706181B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G02B7/32—Systems for automatic generation of focusing signals using parallactic triangle with a base line using active means, e.g. light emitter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/40—Systems for automatic generation of focusing signals using time delay of the reflected waves, e.g. of ultrasonic waves
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects

Abstract

本發明描述具有改良之自動對焦能力之成像技術及裝置。該等成像技術可包含主動地照明一場景，及判定在該整個場景內之距離，且使得可判定至該場景中之各物件或各點之一各自距離。因此，可儲存在任何給定時刻之至一場景中(在一特定範圍內)之所有物件之距離。可顯示影像之一預覽以便允許一使用者選擇所關注場景之一區域。回應於該使用者之選擇，可將成像器之光學總成自動調整至(例如)對應於在該場景之所選擇區域之特定距離處之物件的最佳影像擷取之一位置。

Description

具有自動對焦控制的成像裝置
本發明係關於具有自動對焦控制的成像裝置。
一些影像獲取裝置(諸如數位攝影機及智慧型電話相機)包含可操作以對焦於一場景之一經選擇點或區之一自動對焦(「AF」)光學系統。在無需來自使用者之手動干預的情況下，AF特徵可為裝置提供正確地自動對焦於一對象上之能力。 各種類型之AF控制係可用的，其包含：被動控制(例如，對比度AF)及主動控制(例如，雷射AF)。例如，智慧型電話趨於使用被動AF，此係因為對比度係透鏡對焦所需的。此等裝置可能難以在空白色表面上或低亮度中對焦。一閃光燈(其包含於一些智慧型電話上)可幫助產生人造光以協助在此等情形中之對焦。對比度AF趨於高度反覆且因此可耗時且可使用大量計算資源。另一方面，主動AF涉及主動地量測至一場景中之一物件之距離，且接著針對該特定物件之適當對焦而調整光學件。主動AF通常適用於於一低亮度環境中，但通常僅一有限區被主動照明照射。因此，一場景中之一有限區之距離資訊係已知的。若一使用者需要對焦場景中之另一區，則攝影機或主機裝置必須重新進行距離量測。
本發明描述具有改良之自動對焦能力之成像技術及裝置。成像技術可包含主動照明一場景，及判定在整個場景內之距離，且使得可判定至場景中之各物件或點之一各自距離。因此，可儲存在任何給定時刻至一場景中(在一特定範圍內)之所有物件之距離。可顯示影像之一預覽以便允許一使用者選擇所關注場景之一區域。回應於該使用者之選擇，可將成像器之光學總成自動調整至(例如)對應於與該場景之所選擇區域之特定距離處之物件的最佳影像擷取之一位置。 在一態樣中，例如，一種產生一影像之方法包含將一第一影像顯示於一顯示螢幕上，其中所顯示影像之多個區域之各者具有與其相關聯之一各自距離值。方法包含接收指示所顯示影像之區域之一者的一使用者選擇之輸入。回應於接收使用者輸入，調整一成像器之一光學總成之一位置，使得成像器對焦於在對應於與所顯示影像之使用者所選擇區域相關聯之距離值之一距離處之一或多個物件上。 一或多個以下特徵呈現於一些實施方案中。例如，方法可包含使成像器對焦在對應於在與所顯示影像之使用者所選擇區域相關聯之距離之距離處之一或多個物件的同時，藉由成像器獲取一第二影像。 在一些情況中，方法包含基於一光學飛行時間技術計算所顯示第一影像之區域的各者之各自距離值。此外，方法可包含：經調變或脈衝光學輻射信號；朝向場景發射藉由一飛行時間接收器感測由場景中之一或多個物件反射之經調變或脈衝光學輻射之信號；基於經感測信號產生輸出信號；至少部分基於輸出信號計算第一影像之該等區域的各者之各自距離值。 在一些例項中，接收指示一使用者選擇之輸入包含接收指示一使用者觸控其中影像之經選擇區域出現之顯示螢幕的一區之一信號。在一些實施方案中，至少部分基於儲存於記憶體中之一查找表中之一調整量調整光學總成的位置，其中該調整量對應於與所顯示影像之使用者所選擇區域相關聯之距離。 在另一態樣中，本發明描述一種包含一主機裝置之設備，該主機裝置包括一顯示螢幕且可操作以接收使用者輸入。該設備亦包含一成像裝置，該成像裝置包括一成像器及一飛行時間模組。成像器可操作以獲取一場景之一影像且包含可操作以自動對焦之一可調整光學總成。飛行時間模組包含：一照明源，其用以發射經調變或脈衝光學輻射；及一接收器，其可操作以感測由場景中之一或多個物件依照明源發射之一波長反射之經調變或脈衝光學輻射，且回應於感測該光學輻射產生輸出信號。一或多個處理器可共同操作以：使藉由成像器獲取之一第一影像顯示於顯示螢幕上；至少部分基於輸出信號計算所顯示影像之多個區域之各者的一各自距離值；及回應於指示所顯示影像之該等區域之一者的一使用者選擇之輸入，調整光學總成之一位置，使得成像器對焦在對應於與所顯示影像之使用者所選擇區域相關聯之距離值的一距離處之一或多個物件。 在一些實施方案中，一或多個處理器可共同操作以使用一飛行時間技術計算所顯示影像之該多個區域之各者的各自距離值。此外，在一些例項中，該顯示螢幕係一互動式觸控螢幕，其可操作以回應於該使用者觸控該顯示螢幕而接收由使用者選擇用於自動對焦的該所顯示影像之區域之一指示。 根據另一態樣，一種產生一影像之方法包含將一第一影像顯示於一顯示螢幕上，其中所顯示影像之多個區域之各者具有與其相關聯之一各自距離值。方法包含接收指示所顯示影像之區域之一者的一使用者選擇之輸入，影像之經選擇區域包含一物件。至少部分基於對應於與該所顯示影像之該使用者所選擇區域相關聯之該距離值之一距離估計一物件之未來位置，且調整一成像器之一光學總成，使得當該物件在該未來位置處時物件對焦。 在一些情況中，上述方法亦包含當物件在未來位置處時，藉由該成像器獲取一第二影像。在一些情況中，基於一光學飛行時間技術計算所顯示第一影像之該等區域之各者的各自距離值。例如，一些實施方案包含：發射經調變或脈衝光學輻射信號朝向該場景；藉由一飛行時間接收器感測由該場景中之一或多個物件反射之該經調變或脈衝光學輻射之信號；基於該等經感測信號產生輸出信號；及至少部分基於該等輸出信號計算該第一影像之該等區域之各者的該各自距離值。在一些例項中，接收指示一使用者選擇之輸入包含接收指示一使用者觸控其中影像中之物件出現之顯示螢幕的一區之一信號。 在又一態樣中，一種設備包含一主機裝置，該主機裝置包括一顯示螢幕且可操作以接收使用者輸入。該設備亦包含一成像裝置，該成像裝置包括一成像器及一飛行時間模組。該成像器係可操作以獲取一場景之一影像，且包含可操作以自動對焦之一可調整光學總成。該飛行時間模組包含：一照明源，其用以發射經調變或脈衝光學輻射；及一接收器，其可操作以感測由場景中之一或多個物件依照明源發射之一波長反射之經調變或脈衝光學輻射，且基於經感測信號產生輸出信號。一或多個處理器可共同操作以：使藉由成像器獲取之一第一影像顯示於顯示螢幕上；及針對至少部分基於輸出信號計算所顯示影像之多個區域之各者的一各自距離值。回應於指示該所顯示影像之該等區域之一者的一使用者選擇之輸入，其中影像之該選擇區域包含一物件，一或多個處理器至少部分基於對應於與顯示影像之使用者所選擇區域相關聯之距離值之一距離估計物件之一未來位置。一或多個處理器調整該光學總成，使得當物件在該未來位置時，使成像器對焦於物件。 在一些實施案例中，一或多個處理器可共同操作以使用一飛行時間技術計算該所顯示影像之該多個區域的各者之各自距離值。例如，該顯示螢幕可為一互動式觸控螢幕，其可操作以回應於使用者觸控顯示螢幕而接收由使用者選擇用於自動對焦的所顯示影像之區域之一指示。 自下文詳細描述、隨附圖式及申請專利範圍將易於明白其他態樣、特徵及優點。
本發明描述具有改良之自動對焦能力之成像技術及裝置。成像技術包含：主動照明一場景，及判定在整個場景內之距離，且使得可判定至場景中之各物件或點之一各自距離。因此，可儲存在任何給定時刻之至一場景中(在一特定範圍內)之所有物件之距離。可顯示影像之一預覽以便容許一使用者選擇所關注場景之一區域。回應於使用者之選擇，可將成像器之光學總成自動調整至(例如)對應於與場景之經選擇區域之特定距離處之物件的最佳影像擷取之一位置。 如圖1中所展示，一成像裝置100包含具有一光學件總成104之一主成像器102，該光學件總成104包含可調整(例如，藉由諸如一馬達或MEMs致動器之致動器)其之位置以達成自動對焦之一或多個透鏡。成像器102可操作以獲取包含一或多個物件122、124之一場景120之影像。成像器102可具有相對較大數目個像素(例如，一30x40像素陣列)以能夠獲取相對高解析度影像。在一些例項中，使用CCD或CMOS感測器技術實施成像器102。 成像裝置100亦包含一飛行時間(「TOF」)模組110，該飛行時間(「TOF」)模組110具有一照明源112及一光學接收器114，該光學接收器114可操作以偵測藉由照明源112發射之輻射之一波長(或波長範圍)。因此，在一些例項中，照明源112可操作以發射脈衝或其他經調變電磁輻射。例如，一些實施方案使用一直接TOF技術，其中藉由照明源112發射輻射之單一脈衝，且接收器114偵測該等脈衝之上升緣及下降緣且提供經偵測邊緣之時間戳記。在此等實施方案中，可藉由量測一光脈衝之發射與其在由場景中之一物件之反射之後到達之間的時間判定飛行時間。 其他實施方案可使用一相移，或直接TOF技術。例如，照明源112可能可操作以發射經調變紅外(「IR」)輻射，且接收器114可包含可操作以偵測由該等物件122、124反射之IR輻射且解調變該等經偵測信號之一TOF解調變像素陣列。在操作中，藉由照明源112穿過光學件總成116發射之經調變光經引導朝向場景120。經引導至場景120之總光學功率之一部分穿過光學件總成118反射回至TOF模組110，且藉由接收器114中之解調變像素偵測。接收器114中之各像素可操作以解調變藉由光學件總成118(例如，一透鏡)收集之照射光信號。解調變值容許各像素計算飛行時間，其繼而直接對應於場景120中之對應點之距離資訊(R)。飛行時間可藉由解調變從場景120反射且照射於接收器114之主動像素上之光信號而獲得。可使用各種已知調變技術，諸如偽雜訊調變、脈衝調變或連續調變。接著可使用已知技術基於該等經偵測信號計算針對各像素之至物件之距離。針對各像素之距離資訊(或針對像素之各自子群組之平均值)可儲存於(例如)記憶體132中。 可將照明源112實施為(例如)一發光二極體(LED)、紅外(IR) LED、有機LED (OLED)、紅外(IR)雷射或垂直空腔表面發光雷射(VCSEL)。可將接收器114實施為(例如)一NxM陣列IR敏感像素。若使用相移或間接TOF技術，則接收器114可包含一解調變像素陣列。在一些例項中，陣列係相對較小的(例如，3x3像素)；但是可將不同數目個像素用於一些實施方案(例如，一30x40像素之陣列)。 可包含控制、解碼器、讀出電路以及處理及其他邏輯(例如，微處理及/或其他電路)之一電子控制單元(ECU) 130可控制照明源112及接收器114之時序以啟用其之同步偵測。可將ECU 130實施為(例如)經組態為具有硬體邏輯及/或軟體指令以執行此處描述之該等任務之一或多個處理器晶片(例如，一微處理器)。可將ECU 130、成像器102及TOF模組110安裝於(例如)主機裝置中之一印刷電路板上。 較佳地，成像器102之視場(「FOV」)及TOF模組110實質上彼此重疊。 成像器102及TOF模組110可併入於具有合適電源及處理電路之一主機裝置(例如，一智慧型電話、行動電話、平板電腦、個人資料助理、筆記型電腦)。一使用者可藉由(例如)按下主機裝置上之一適當按鈕或藉由輕敲主機裝置200 (圖2)之一互動式顯示螢幕204 (例如，一觸控螢幕)上之一適當圖標啟動成像裝置100以獲取一影像。作為回應，將藉由主成像器102獲取之影像202之一預覽顯示於主機裝置200之顯示螢幕204上。在一些例項中，預覽影像202可相對粗糙及/或使用者所關注之預覽影像之部分可略微失焦。然而，使用者可選擇其想要對焦之影像之一特定區域(或影像中之一特定物件)。使用者可(例如)藉由觸控其中顯示所關注之物件或區域之顯示螢幕204之區執行選擇。例如，若使用者想要物件124A對焦，則其將觸控其中物件124A出現之顯示螢幕204之該等區A、B之一者。 在圖2之所繪示實例中，影像202之各區域與基於影像之先前計算及儲存值之各自距離值相關聯。例如，假設TOF接收器114包含針對總計九個解調變像素之一3x3像素陣列，則顯示螢幕204可劃分成相同數目個(即，9)區域，各個區域與該等像素之一各自者相關聯。因此顯示螢幕204之各區域(A至I)與基於經獲取影像之該等先前計算及儲存值之一各自距離值相關聯。在一些例項中，指示各種區域(A至I)之一柵格206可覆疊於所顯示影像202上。在一些實施方案中，在無此一柵格之情況下顯示影像。 在一些情況中，為提供更大解析度，接收器114可具有一更大數目個像素(例如，一30x40之陣列)。若影像202之各區域與一單一像素相關聯，則將存在影像202之一更大數目個使用者可選擇區域。在一些例項中，像素形成非重疊子群組，各子群組包含彼此鄰近之像素。影像202之各區域接著對應於像素之該等子群組之一各自者。在此等情況中，與一特定區域相關聯之距離值可為(例如)子群組中之所有該等像素之平均距離值。 為選擇影像202之一特定物件或區以供自動對焦，使用者觸控(例如，使用其手指或一尖筆)其中預覽影像之特定物件或區出現之顯示螢幕204之區域。因此，例如若使用者想要成像裝置100擷取其中物件124A對焦之影像，其將觸控其中物件124A出現之顯示螢幕204之區域A或區域B。作為回應，ECU 130產生一或多個信號以調整成像器102中之光學件總成104之位置，使得在對應於經選擇區域之先前儲存值的一距離處之場景120中之物件對焦。自動對焦機構105因此根據至與由使用者選擇之顯示器之區域相關聯之場景之部分的距離使光學總成104對焦。距離可與(例如)針對光學總成104之預設對焦資訊相關。對焦資訊可儲存於(例如)記憶體中之一查找表(「LUT」) 134中。 當使用者再次啟動成像裝置100以擷取影像時，成像器102中之光學件總成104將經定位，使得位於對應於場景120之使用者所選擇部分之一距離處的物件對焦。在一些情況中，使用者可無需藉由再一次按下主機裝置上之一按鈕或藉由再一次輕敲主機裝置之互動式顯示螢幕上之一圖標而再次啟動成像裝置。取而代之，成像裝置100可經組態以一旦調整光學件總成104，即擷取經自動對焦影像，而無需進一步使用者輸入。 圖3係根據一些實施方案之一方法之一流程圖。如藉由150所指示，藉由TOF照明源112照明一場景。TOF接收器114收集藉由場景中之一或多個物件反射之光(例如，IR) (152)，且使用該等經解調變(或其他經感測)信號來判定至場景中之多個點之距離值(154)。主成像器102亦獲取場景之一影像(156)。將藉由成像器102獲取之影像顯示於一主機裝置之一互動式顯示螢幕上(158)，且將所顯示影像之各個區域之各者與先前計算距離值之一者相關聯(160)。一使用者接著可使用(例如)互動式顯示螢幕選擇所顯示影像之該等區域之各者(162)。成像器102調整光學總成104，使得其自動對焦於在對應於與所顯示影像之使用者所選擇區域相關聯之距離的一距離處之物件上(164)。成像器102接著擷取另一影像，使得在對應於與所顯示影像之使用者所選擇區域相關聯之距離之之距離處之物件對焦(166)。 在一些情況中，前述技術可相對於對比度AF技術更快速執行，且可需要更少計算資源。 在一些實施方案中，自動對焦成像裝置100可操作以收集在一0.1 m至1.5 m範圍(如從裝置100量測)內之距離資料。在其他實施方案中，裝置100可操作以藉由聚集入射於若干像素上之電荷而收集更大距離(例如，多達3米或更多)內之距離資料。 當場景中之一物件在指定範圍之外時，成像裝置100可能可在其他被動及/或主動模式中操作。例如，TOF照明源112可能可操作以切換至一經結構化光模式，且可使用經結構化光計算至一場景中之物件之距離資料。此外，在一些操作模式中，成像裝置100可經組態以使用一對比度AF技術判定適當對焦。 此處描述之技術不僅可用於靜態影像，而且可用於視訊影像。圖4繪示一場景320之一實例，其中一物件322從一第一位置移動至一第二位置且接著至一第三位置。在此實例中，假定在當物件322在一第一位置處之時間t1處獲取一初始影像。經獲取影像顯示於一主機裝置200 (例如，一智慧型電話)之一互動式顯示螢幕204上。一使用者可(例如)藉由使用其手指或一尖筆觸控互動式顯示螢幕204之對應部分而選擇其想要對焦之所顯示影像302(圖5A)中之一特定物件。例如，為選擇物件322，使用者將觸控顯示螢幕204上之區域I。ECU 130接著可使用(例如)逐個圖框追蹤以追蹤成像器之視場中之經選擇物件322A之位置。在當物件322在場景320中之一第二位置處之一後續時間t2處，擷取另一影像。使用逐個圖框追蹤，ECU 130可判定經追蹤物件322A現在出現於所顯示影像302A之區域E中(見圖5B)。 每當擷取一影像時，TOF模組100產生影像中之多個點之距離資料。因此，所顯示影像之各區域(A至I)與指示從成像裝置100至場景320中之該等物件之距離的相應距離資料相關聯。ECU 130可使用距離量測之間之時間，及至在第一位置及第二位置處量測之物件322之距離，以計算物件之實際或相對速率及/或速度。此資訊可由ECU 130用以預測經追蹤物件322之一軌跡及未來位置，及調整成像器之光學總成104之對焦，使得當經追蹤物件在時間t3處到達第三位置時，成像器之光學總成將針對經追蹤物件對焦。 在一些情況中，前述技術可相對於對比度AF技術更快速執行，且可需要更少計算資源。此外，因為可更快速執行本技術，故其等可幫助減少(諸)所顯示影像中之模糊量(見圖5C，展示在時間t3處之所顯示影像)。 本說明書中所描述之標的物及功能操作之各種態樣可在數位電子電路中或在電腦軟體、韌體或硬體中實施，包含在本說明書中所揭示之結構及其等之結構化等效物或其等之一或多者之組合。可將本說明書中所描述之標的物之實施例實施為一或多個電腦程式產品，即，編碼於以電腦可讀媒體上以供資料處理設備執行或控制資料處理設備之操作之電腦程式指令之一或多個模組。電腦可讀媒體可為一機器可讀儲存媒體、一機器可讀儲存基板、一記憶體裝置、實現一機器可讀傳播信號之物質組成或其等之一或多者之一組合。術語「資料處理設備」及「電腦」涵蓋用於處理資料之所有設備、裝置及機器，包含(舉例而言)一可程式化處理器、一電腦、或多個處理器或電腦。除硬體之外，設備可包含形成所論述電腦程式之一執行環境之程式碼，例如構成處理器韌體、一協定堆疊、一資料庫管理系統、一作業系統、或其等之一或多者之一組合之程式碼。 一電腦程式(亦被稱為程式、軟體、軟體應用程式、腳本或程式碼可以任何形式之程式撰寫語言(包含編譯或解譯語言)撰寫，且其可以任何形式(包含作為一獨立程式或作為適合於用在一計算環境中之模組、組件、子常式或其他單元)部署。一電腦程式無需對應於一檔案系統中之一檔案。一程式可儲存於保存其他程式或資料之一檔案之一部份中(例如儲存於一標記語言文件中之一或多個腳本)、儲存於專屬於所論述程式之一單一檔案中或儲存於多個協調檔案(例如儲存一或多個模組、子程式或程式碼之部分之檔案)中。一電腦程式可經部署以在一個電腦上或在定位於一個地點處或跨多個地點分佈且由一通信網路互連之多個電腦上執行。 本說明書中所描述之程序及邏輯流程可由一或多個可程式化處理器執行，該一或多個可程式化處理器執行執行一或多個電腦程式以藉由操作輸入資料且產生輸出而執行功能。程序及邏輯流程亦可藉由專用邏輯電路(例如一FPGA(場可程式閘陣列)或一ASIC(特定應用積體電路))執行且設備亦可實施為專用邏輯電路(例如一FPGA(場可程式閘陣列)或一ASIC(特定應用積體電路))。 適於一電腦程式之執行之處理器舉例而言包含通用及專用微處理器兩者及任何類型之數位電腦之任何一或多個處理器。一般而言，一處理器將自一唯讀記憶體或一隨機存取記憶體或兩者接收指令及資料。一電腦之關鍵元件係用於執行指令之一處理器及用於儲存指令及資料之一或多個記憶體裝置。一電腦可嵌入於另一裝置中，例如，一行動電話或一個人數位助理(PDA)等等。適於儲存電腦程式指令及資料之電腦可讀媒體包含所有形式之非揮發性記憶體、媒體及記憶體裝置，包含舉例而言半導體記憶體裝置(例如，EPROM、EEPROM及快閃記憶體裝置)；磁碟(例如內部硬碟或可抽換式磁碟)；磁光碟；及CD ROM及DVD ROM碟。該處理器及該記憶體可由專用邏輯電路補充或併入至專用邏輯電路中。 爲提供與一使用者之互動，可在具有用於將資訊顯示給使用者之一顯示裝置(例如，一CRT(陰極射線管)或LCD(液晶顯示器)監視器)及使用者可藉由其將輸入提供至電腦中之一鍵盤及一指向裝置(例如，一滑鼠或一軌跡球)之一電腦上實施本說明書中所描述之標的物之實施例。其他類型之裝置亦可用以提供與一使用者之互動；例如，提供給使用者之回饋可係任何形式之感官回饋，例如視覺回饋、聽覺回饋或觸覺回饋；及來自使用者之輸入可以任何形式接收，包含聲學、語音或觸覺輸入。 雖然本說明書含有諸多具體細節，但不應將此等具體細節理解為對任何發明或可主張之內容之範疇之限制，而應理解為特定於本發明之特定實施例之特徵之描述。亦可在一單一實施例中組合實施在本說明書中在單獨實施例之上下文中所描述之特定特徵。相反地，亦可在多項實施例中單獨地實施或以任何適合子組合實施在一單一實施例之上下文中所描述之各種特徵。此外，儘管在上文可將特徵描述為以特定組合作用且甚至最初如此要求，但是來自一經要求之組合之一或多個特徵可在一些情況中自該組合刪去且該經要求之組合可涉及一子組合或一子組合之變動。 類似地，雖然在圖式中依一特定順序描繪操作，但此不應理解為要求依所展示之特定順序或循序順序執行此等操作，或執行全部經繪示之操作以達成所要結果。在某些情況中，多任務處理及並行處理可為有利的。此外，不應將上文所描述之實施例中之各種系統組件之分離理解為在所有實施例中需要此分離，且應理解通常可將所描述之程式組件及系統一起整合於一單一軟體產品中或封裝至多個軟體產品中。 因此，可對上述實例做出此等修改，及其他實施方案係在申請專利範圍之範疇內。
100‧‧‧成像裝置102‧‧‧成像器104‧‧‧光學總成/光學件總成105‧‧‧自動對焦機構110‧‧‧飛行時間(TOF)模組112‧‧‧照明源114‧‧‧光學接收器116‧‧‧光學件總成118‧‧‧光學件總成120‧‧‧場景122‧‧‧物件124‧‧‧物件124A‧‧‧物件130‧‧‧電子控制單元(ECU)132‧‧‧記憶體134‧‧‧查找表(LUT)150‧‧‧步驟152‧‧‧步驟154‧‧‧步驟156‧‧‧步驟158‧‧‧步驟160‧‧‧步驟162‧‧‧步驟164‧‧‧步驟166‧‧‧步驟200‧‧‧主機裝置202‧‧‧影像204‧‧‧顯示螢幕206‧‧‧柵格302‧‧‧所顯示影像320‧‧‧場景322‧‧‧物件322A‧‧‧物件A‧‧‧區域B‧‧‧區域C‧‧‧區域D‧‧‧區域E‧‧‧區域F‧‧‧區域G‧‧‧區域H‧‧‧區域I‧‧‧區域
圖1繪示一成像裝置之一實例。 圖2繪示顯示藉由該成像裝置獲取之一影像之一主機裝置的一實例。 圖3係展示用於自動對焦之一方法之一實例的一流程圖。 圖4繪示一成像裝置之另一實例。 圖5A、5B及5C繪示顯示藉由該成像裝置獲取之影像之一序列的一主機裝置之一實例。
100‧‧‧成像裝置
102‧‧‧成像器
104‧‧‧光學總成/光學件總成
105‧‧‧自動對焦機構
110‧‧‧飛行時間(TOF)模組
112‧‧‧照明源
114‧‧‧光學接收器
116‧‧‧光學件總成
118‧‧‧光學件總成
120‧‧‧場景
122‧‧‧物件
124‧‧‧物件
130‧‧‧電子控制單元(ECU)
132‧‧‧記憶體
134‧‧‧查找表(LUT)

Claims (10)

  1. 一種產生一影像之方法，其包括：將一第一影像顯示於一顯示螢幕上，其中該所顯示影像之多個區域之各者具有與其相關聯之一各自距離值；接收指示該所顯示影像之該多個區域之一者的一使用者選擇之輸入；及回應於接收該使用者輸入：調整一成像器之一光學總成之一位置，使得該成像器對焦於在對應於與該所顯示影像之該使用者所選擇區域相關聯之該各自距離值的一距離處之一或多個物件上；及無須進一步使用者輸入，對該成像器而言，在對應於在與該所顯示影像之該使用者所選擇區域相關聯之一距離的該距離處之一或多個物件處於對焦狀態的同時，藉由該成像器獲取一第二影像。
  2. 如請求項1之方法，其進一步包含基於一光學飛行時間技術計算該所顯示該第一影像之該等區域之各者的該各自距離值。
  3. 如請求項2之方法，其進一步包含：發射經調變或脈衝光學輻射信號朝向該場景；藉由一飛行時間接收器感測由該場景中之一或多個物件反射之該經調變或脈衝光學輻射之信號；基於該等經感測信號產生輸出信號；及 至少部分基於該等輸出信號計算該第一影像之該等區域的各者之該各自距離值。
  4. 如請求項1之方法，其中接收指示一使用者選擇之輸入包含：接收指示一使用者觸控其中該影像之該經選擇區域出現之該顯示螢幕的一區之一信號。
  5. 一種產生一影像之設備，其包括：一主機裝置，其包括一顯示螢幕且可操作以接收使用者輸入；及一成像裝置，其包括：一成像器，其可操作以獲取一場景之一影像，該成像器包含可操作用於自動對焦之一可調整光學總成；一飛行時間模組，其包含：一照明源，其用以發射經調變或脈衝光學輻射；及一接收器，其可操作以感測由該場景中之一或多個物件依該照明源發射之一波長反射之該經調變或脈衝光學輻射之至少部分，且回應於感測該經調變或脈衝光學輻射之至少部分產生輸出信號；一或多個處理器，其等可共同操作以：使藉由該成像器獲取之一第一影像顯示於該顯示螢幕上，至少部分基於該等輸出信號計算該所顯示影像之多個區域之各者的一各自距離值；及回應於指示該所顯示影像之該多個區域之一者的一使用者選擇之輸入，調整該光學總成之一位置，使得對該成像器而言，在對應於與該所顯示影像之該使用者所選擇區域相關聯之該各自距離值的一距離處之一或多個物件處於對焦狀態中， 其中無須進一步使用者輸入，對該成像器而言，在對應於在與該所顯示影像之該使用者所選擇區域相關聯之一距離的該距離處之一或多個物件處於對焦狀態的同時，該成像器可操作以獲取一第二影像。
  6. 如請求項5之設備，其中該顯示螢幕係一互動式觸控螢幕，其可操作以回應於該使用者觸控該顯示螢幕而接收由該使用者選擇用於自動對焦之該所顯示影像之該區域的一指示。
  7. 一種產生一影像之方法，其包括：將一第一影像顯示於一顯示螢幕上，其中該所顯示影像之多個區域之各者具有與其相關聯之一各自距離值；接收指示該所顯示影像之該等區域之一者的一使用者選擇之輸入，該影像之該經選擇區域包含一物件；至少部分基於對應於與該所顯示影像之該使用者所選擇區域相關聯之該各自距離值的一距離而估計該物件的一未來位置；及回應於該估計，調整一成像器之一光學總成，使得當該物件在該未來位置處時，該物件處於對焦狀態。
  8. 如請求項7之方法，其進一步包含：發射經調變或脈衝光學輻射信號朝向該場景；藉由一飛行時間接收器感測由該場景中之一或多個物件反射之該經調變或脈衝光學輻射之信號；基於該等經感測信號產生輸出信號；及 至少部分基於該等輸出信號計算該第一影像之該等區域的各者之該各自距離值。
  9. 一種產生一影像之設備，其包括：一主機裝置，其包括一顯示螢幕且可操作以接收使用者輸入；及一成像裝置，其包括：一成像器，其可操作以獲取一場景之一影像，該成像器包含可操作用於自動對焦之一可調整光學總成；一飛行時間模組，其包含：一照明源，其用以發射經調變或脈衝光學輻射；及一接收器，其可操作以感測由該場景中之一或多個物件依該照明源發射之一波長反射之經調變或脈衝光學輻射之至少部分，且回應於感測該經調變或脈衝光學輻射之至少部分，基於該等經感測信號產生輸出信號；一或多個處理器，其等可共同操作以：使藉由該成像器獲取之一第一影像顯示於該顯示螢幕上；至少部分基於該等輸出信號計算該所顯示影像之多個區域之各者的一各自距離值；及回應於指示該所顯示影像之該等區域之一者的一使用者選擇之輸入，其中該所顯示影像之該經選擇區域包含一物件，至少部分基於對應於與該所顯示影像之該使用者所選擇區域相關聯之該距離值的一距離估計該物件之一未來位置；及引起該光學總成之調整，使得當該物件在該未來位置處時，針對該成像器而言，該物件處於對焦狀態。
  10. 如請求項9之設備，其中該顯示螢幕係一互動式觸控螢幕，其可操作以回應於該使用者觸控該顯示螢幕而接收由該使用者選擇用於自動對焦之該所顯示影像之該區域之一指示。
TW105129511A 2015-09-11 2016-09-10 具有自動對焦控制的成像裝置 TWI706181B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562217300P 2015-09-11 2015-09-11
US62/217,300 2015-09-11

Publications (2)

Publication Number Publication Date
TW201719219A TW201719219A (zh) 2017-06-01
TWI706181B true TWI706181B (zh) 2020-10-01

Family

ID=58240381

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105129511A TWI706181B (zh) 2015-09-11 2016-09-10 具有自動對焦控制的成像裝置

Country Status (6)

Country Link
US (2) US10261287B2 (zh)
EP (1) EP3347755A4 (zh)
KR (1) KR102611080B1 (zh)
CN (1) CN108351489B (zh)
TW (1) TWI706181B (zh)
WO (1) WO2017044049A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI706181B (zh) * 2015-09-11 2020-10-01 新加坡商海特根微光學公司 具有自動對焦控制的成像裝置
US10412362B2 (en) * 2017-07-27 2019-09-10 Qualcomm Incorporated Active alignment correction for optical systems
US11692813B2 (en) * 2017-12-27 2023-07-04 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules and methods for operating the same
DE102018103092A1 (de) * 2018-02-12 2019-08-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Fokuseinstellungs-Anzeigeeinheit
TWI675248B (zh) * 2018-04-09 2019-10-21 文曄科技股份有限公司 攝像裝置
EP3798968A4 (en) * 2018-06-06 2021-08-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE, COMPUTER APPARATUS AND INFORMATION MEDIA
CN108989687A (zh) * 2018-09-07 2018-12-11 北京小米移动软件有限公司 摄像头对焦方法及装置
WO2020072484A1 (en) * 2018-10-01 2020-04-09 Nikon Corporation An auxiliary focus measurement for a laser radar 3d scanner
KR20200100498A (ko) 2019-02-18 2020-08-26 삼성전자주식회사 전자 장치 및 그 전자 장치의 자동 초점 제어 방법
JP6828069B2 (ja) * 2019-02-18 2021-02-10 キヤノン株式会社 撮像装置、撮像方法およびプログラム
US11448739B2 (en) * 2019-03-08 2022-09-20 Synaptics Incorporated Derivation of depth information from time-of-flight (TOF) sensor data
KR20210058363A (ko) * 2019-11-14 2021-05-24 삼성전자주식회사 카메라를 포함하는 전자 장치 및 그의 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102027412A (zh) * 2008-05-19 2011-04-20 佳能株式会社 图像拾取系统和透镜装置
US20120120277A1 (en) * 2010-11-16 2012-05-17 Apple Inc. Multi-point Touch Focus
TWI388204B (zh) * 2009-05-15 2013-03-01 Hon Hai Prec Ind Co Ltd 拍攝系統及使用該拍攝系統進行輔助構圖的方法
US20150002664A1 (en) * 2012-01-07 2015-01-01 Johnson Controls Gmbh Camera Arrangement For Measuring Distance

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301440B1 (en) 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
JP4759329B2 (ja) * 2005-06-23 2011-08-31 Ｈｏｙａ株式会社 オートフォーカス機能を有する撮影装置
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
DE102010041390B4 (de) * 2010-07-28 2017-12-07 pmdtechnologies ag Lichtlaufzeitkamera mit Signalpfadüberwachung
EP2448246B1 (en) * 2010-10-28 2019-10-09 Axis AB Method for focusing
JP5834410B2 (ja) * 2011-01-13 2015-12-24 株式会社リコー 撮像装置および撮像方法
US20130057655A1 (en) * 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
EP2791899B1 (en) * 2011-12-16 2016-11-09 Nokia Technologies Oy Method and apparatus for image capture targeting
TWI471630B (zh) * 2012-06-01 2015-02-01 Hon Hai Prec Ind Co Ltd 主動式距離對焦系統及方法
US8761594B1 (en) * 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems
JP5962637B2 (ja) * 2013-11-29 2016-08-03 株式会社デンソー 計測装置
US9538065B2 (en) * 2014-04-03 2017-01-03 Qualcomm Incorporated System and method for multi-focus imaging
US9451155B2 (en) * 2014-07-30 2016-09-20 Apple Inc. Depth-segmenting peak tracking autofocus
US9648236B2 (en) * 2015-02-19 2017-05-09 Blackberry Limited Device with a front facing camera having discrete focus positions
US9638791B2 (en) * 2015-06-25 2017-05-02 Qualcomm Incorporated Methods and apparatus for performing exposure estimation using a time-of-flight sensor
TWI706181B (zh) * 2015-09-11 2020-10-01 新加坡商海特根微光學公司 具有自動對焦控制的成像裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102027412A (zh) * 2008-05-19 2011-04-20 佳能株式会社 图像拾取系统和透镜装置
TWI388204B (zh) * 2009-05-15 2013-03-01 Hon Hai Prec Ind Co Ltd 拍攝系統及使用該拍攝系統進行輔助構圖的方法
US20120120277A1 (en) * 2010-11-16 2012-05-17 Apple Inc. Multi-point Touch Focus
US20150002664A1 (en) * 2012-01-07 2015-01-01 Johnson Controls Gmbh Camera Arrangement For Measuring Distance

Also Published As

Publication number Publication date
KR20180053333A (ko) 2018-05-21
EP3347755A4 (en) 2019-10-02
WO2017044049A1 (en) 2017-03-16
KR102611080B1 (ko) 2023-12-08
US20180252894A1 (en) 2018-09-06
EP3347755A1 (en) 2018-07-18
CN108351489B (zh) 2021-02-02
US20190271828A1 (en) 2019-09-05
US10663691B2 (en) 2020-05-26
TW201719219A (zh) 2017-06-01
US10261287B2 (en) 2019-04-16
CN108351489A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
TWI706181B (zh) 具有自動對焦控制的成像裝置
KR102210928B1 (ko) 향상된 화상을 형성하도록 장면의 대상들을 선택적으로 촬상하기 위한 방법 및 시스템
TWI585436B (zh) 深度資訊量測方法及裝置
US9900500B2 (en) Method and apparatus for auto-focusing of an photographing device
US10163222B2 (en) Image capturing apparatus, tracking device, control method, and storage medium
US9648223B2 (en) Laser beam scanning assisted autofocus
JP2011043876A (ja) 画像表示装置
US10877238B2 (en) Bokeh control utilizing time-of-flight sensor to estimate distances to an object
US10180724B2 (en) Operating terminal and operating method
US20140240573A1 (en) Shared-field projection and imaging system
KR20180078596A (ko) Af 방법 및 이를 수행하는 전자 장치
JP2012015642A (ja) 撮像装置
KR102610830B1 (ko) 거리 정보를 획득하는 방법 및 디바이스
CN112135034A (zh) 基于超声波的拍照方法、装置、电子设备及存储介质
CN109040578A (zh) 具有多图像捕获能力的触觉启用设备
JP2010187184A (ja) 被写体追尾装置および撮像装置
US10073614B2 (en) Information processing device, image projection apparatus, and information processing method
WO2017130521A1 (ja) 制御装置、制御方法、及びプログラム
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2010112990A (ja) プロジェクタ
JP5089559B2 (ja) 電子機器
JP5981898B2 (ja) 撮像装置およびその制御方法
GB2614592A (en) Electronic device, method of controlling the same, and program
JP5604980B2 (ja) 赤目判定装置、および、赤目判定方法
JP2010128395A (ja) 撮像装置および撮像方法