TW202318342A - 影像擷取系統和調整焦點的方法 - Google Patents
影像擷取系統和調整焦點的方法 Download PDFInfo
- Publication number
- TW202318342A TW202318342A TW111132787A TW111132787A TW202318342A TW 202318342 A TW202318342 A TW 202318342A TW 111132787 A TW111132787 A TW 111132787A TW 111132787 A TW111132787 A TW 111132787A TW 202318342 A TW202318342 A TW 202318342A
- Authority
- TW
- Taiwan
- Prior art keywords
- user
- image
- objects
- processor
- target
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本申請揭示一種影像擷取系統和一種調整焦點之方法。該影像擷取系統包括第一影像感測模組、多個處理器、顯示面板以及第二影像感測模組。第一處理器偵測該第一影像感測模組所感測到的預覽影像中之物件,並附加標籤到偵測到的物件。顯示面板顯示預覽影像及偵測到物件的標籤。第二影像感測模組獲取使用者的視線資料。第二處理器根據使用者注視顯示面板上的注視區域,選擇預覽影像中的目標,並控制第一影像感測模組對焦在目標上。第一處理器、第二處理器及/或第三處理器根據使用者視線資料來偵測注視區域。
Description
本申請係關於一種影像擷取系統,並且更具體地,係關於一種以注視控制對焦的影像擷取系統。
自動對焦是目前電子裝置中數位相機的常用功能,例如,行動電子裝置的應用處理器可透過將預覽影像分成若干區塊,並選擇具有最多紋理或細節的區塊作為焦點區域,來實現自動對焦功能。但是,如果電子裝置選擇的區塊不符合使用者的預期,則需要使用者自行手動選擇焦點區域。因此,目前已有觸控對焦功能,這種觸控對焦功能可讓使用者在電子裝置的顯示觸控面板上觸碰想要對焦的區塊,而應用處理器則會據以調整對焦區域。
但是,觸控對焦功能需要複雜且不穩定的手動操作。例如,使用者可能必須在短時間內握住電子裝置、觸摸要對焦的區塊並拍照。由於該區塊可能包含多個物件,因此很難知道使用者想要對焦的確切物件是哪個,從而導致不準確和模糊。此外,當使用者觸碰電子裝置的顯示觸控面板時,此動作可能會震動電子裝置或改變相機的視野。在這種情況下,使用者觸碰的區域可能不再是使用者想要對焦的實際區塊,因此拍攝的照片可能無法令人滿意。因此,如何在拍照時找到一種便捷的方式來選擇更準確的對焦區域,成為亟待解決的問題。
本申請的一實施例提供一種影像擷取系統。影像擷取系統包括一第一影像感測模組、多個處理器、一顯示面板及一第二影像感測模組。該些處理器包括一第一處理器和一第二處理器,其中該第一處理器設置成偵測由該第一影像感測模組所感測的預覽影像中之多個物件,及附加多個標籤至該些偵測到物件。該顯示面板設置成顯示該預覽影像及該些偵測到物件的該些標籤。該第二影像感測模組用於獲取使用者的視線資料。該第二處理器設置成根據使用者注視該顯示面板之一注視區域,從該預覽影像中帶有該些標籤之該些偵測到物件中選擇一目標,並控制該第一影像感測模組對該目標進行對焦操作。該些處理器中之至少一者設置成根據該使用者的視線資料,偵測該顯示面板上的該注視區域。
本申請的另一實施例提供一種調整焦點的方法。調整焦點的方法包括藉由一第一影像感測模組取得一預覽影像;偵測該預覽影像內的多個物件;附加多個標籤至該些偵測到的物件;藉由一顯示面板顯示該預覽影像及該些偵測到物件的該些標籤;獲取使用者的視線資料;根據該使用者的視線資料,偵測該使用者注視該顯示面板上之一注視區域;根據該注視區域從該預覽影像中帶有該些標籤的該些偵測物件中選擇一目標;以及控制該第一影像感測模組以對該目標進行對焦操作。
由於本申請實施例提供的影像擷取系統及對焦調整方法,可讓使用者藉由注視顯示面板上所顯示的物件,來選擇第一影像感測模組應對焦的目標,因此使用者在構圖時可專注於握持和穩定相機或電子裝置,而無需觸碰顯示面板進行對焦,從而不僅簡化影像擷取過程,而且避免影像擷取系統的晃動。
以下的描述是與圖式搭配,這些圖式併入本說明書中而構成本說明書的一部分,並且例示本申請的實施例,但本申請並不限於這些實施例。此外,以下所述的實施例可經適當整合而成為另一個實施例。
「一個實施例」、「一實施例」、「示範實施例」、「其他實施例」、「另一個實施例」等所參照的是指該實施例包含特定功能、結構或特性,但是並非每個實施例都需要包含該特定功能、結構或特性。再者,在重複使用「在該實施例內」一詞時,指的雖有可能是參考相同實施例,但並非必須是參考相同實施例。
為了使本申請可被完整地理解,以下說明中將提供詳細的步驟和結構。顯然,本申請的實施方式並不用以限定專業技術人士已知的特殊細節。另外,本申請對已知的結構和步驟不再做詳細說明,以避免造成本申請非必要的限制。本申請的較佳實施例將於下面詳細說明。然而,除了詳細說明之外,本申請還可在其他實施例中廣泛實現。本申請領域並不受限於該等詳細說明,而是由申請專利範圍所定義。
圖1顯示根據本申請一個實施例的影像擷取系統100。影像擷取系統100包括第一影像感測模組110、第二影像感測模組120、顯示面板130、第一處理器140及第二處理器150。在本實施例中,第一影像感測模組110可用於感測所需場景的畫面,而顯示面板130可顯示第一影像感測模組110所感測到的影像,以供使用者預覽。此外,第二影像感測模組120可用以取得使用者的視線資料,以追蹤使用者正在注視顯示面板130上的區域。也就是說,影像擷取系統100提供注視對焦功能,讓使用者透過注視顯示面板130所顯示影像中的感興趣物件,來選擇第一影像感測模組110應對焦的物件。
圖2顯示根據本申請一個實施例用於調整焦點的方法200。方法200包括步驟S210至S292,並且可應用於影像擷取系統100。
在步驟S210中,第一影像感測模組110可擷取一預覽影像IMG1,而在步驟S220中,第一處理器140可偵測預覽影像IMG1中的物件。在一些實施例中,第一處理器140可以是人工智慧(AI)處理器,並且第一處理器140可根據機器學習模型來偵測該些物件,例如利用神經網路結構的深度學習模型。例如,可使用由Joseph Redmon等人於2015年所提出知名的物件偵測演算法YOLO(You Only Live Once)。在一些實施例中,第一處理器140可包括多個處理單元,例如用於平行計算的神經網路處理單元(NPU),從而可提高基於神經網路的物件偵測速度。不過,本申請並不受限於此。在一些其他實施例中,可採用其他合適的物件偵測模型,並且可相應調整第一處理器140的結構。
此外,在一些實施例中,為了提高物件偵測的準確性,第一影像感測模組110所取得的預覽影像IMG1可經過影像處理而有更好的品質。舉例來說,影像擷取系統100可設置在行動裝置中,而第二處理器150可為該行動裝置的應用處理器(Application Processor,AP)。在這種情況下,第二處理器150可包括影像信號處理器(Image Signal Processor,ISP),並且可在第一處理器140偵測預覽影像IMG1內的物件之前,對預覽影像IMG1執行影像增強操作,例如自動白平衡(Auto White Balance,AWB)、顏色校正或降噪,以便第一處理器140能夠更準確偵測影像中的物件。
在偵測物件之後,在步驟S230中,第一處理器140可附加標籤至偵測到的物件,並且在步驟S240中,顯示面板130可顯示預覽影像IMG1及這些偵測到物件的標籤。圖3顯示根據本申請一個實施例的預覽影像IMG1,圖4顯示預覽影像IMG1及偵測到物件體附加的那些標籤。
如圖4所示,偵測到物件的標籤包括各物件的名稱和圍繞該物件體的邊界框,例如在圖4中,預覽影像IMG1中的樹已被偵測出,而這棵樹的標籤則包括其物件名稱「樹」和圍繞這樹的邊界框B1。不過,本申請並不受限於此。在其他一些實施例中,由於預覽影像IMG1中可能有很多相同的物件,因此標籤另可包括物件的序號。例如在圖4中,第一人的標籤可為「人 1」,而第二人的標籤可為「人 2」。此外,在一些其他實施例中,可省略物件的名稱,並且可應用獨特的序號來標識不同的物件。即設計者可根據自己的需要定義標籤,以改善使用者體驗。在一些實施例中,物件的標籤可包括物件序號、物件名稱或圍繞物件的邊界框,或者以上的任何組合。
在步驟S250中,第二影像感測模組120可取得使用者的視線資料。例如,第二影像感測模組120可擷取使用者眼睛的視訊或影像,以用於視線偵測。在本實施例中,影像擷取系統100可設置在行動裝置中,例如智慧型手機或平板。在這種情況下,如果顯示面板130是安裝在行動裝置的正面,則第一影像感測模組110可安裝在背面,而第二影像感測模組120可安裝在正面,並且可與顯示面板130相鄰或在其下方。因此,當使用者使用第一影像感測模組110拍攝想要的場景時,第二影像感測模組120可用於感測使用者的眼睛,以取得視線資料來評估使用者正在注視的位置。在一些實施例中,第一影像感測模組110和第二影像感測模組120可為包括電荷耦合裝置(Charge Coupled Device,CCD)感測器或互補金屬氧化物半導體(CMOS)感測器之相機,並可用於感測場景中物體的反射光。
圖5顯示根據本申請一個實施例的使用者示意圖像IMGU。在本實施例中,使用者的視線資料包括圖像IMGU以偵測使用者正在注視的顯示面板上之注視區域,如步驟S260所示。例如,第一處理器140可根據眼睛偵測演算法在圖像IMGU中偵測使用者的眼睛,接著,在偵測到眼睛之後,第一處理器140可進一步分析眼睛的外觀和/或特徵,以便根據視線追蹤演算法預測注視區域,亦即使用者正在注視的位置。
在一些實施例中,預測模型,例如深度學習模型,可預先進行訓練,並且可從圖像IMGU中裁切出使用者眼睛的影像IMGE,並將其當成輸入資料發送至預測模型。例如,基於外觀的視線追蹤演算法可使用多個裁切的眼睛影像來訓練回歸函數,如在高斯處理、多層網路和流形學習(manifold learning)中觀察到的。在回歸函數訓練完成後,可藉由將使用者的眼睛影像IMGE映射到回歸函數,來預測使用者注視的眼球運動角度,而第二處理器150另可進行校準處理,以將使用者注視的眼球運動角度投影到顯示面板130上的對應位置上。如此一來,便可得知使用者注視顯示面板130上的注視區域。不過,本申請並不受限於此。在一些其他實施例中,可選擇不同類型的視線追蹤演算法。例如,可採用基於特徵的視線追蹤演算法。
另外,根據所採用演算法的特點,可使用不同的處理器。例如,在一些其他實施例中,可利用第二處理器150,而非第一處理器140,來進行視線追蹤。在另外一些實施例中,如果第一處理器140和第二處理器150不適合於操作所選擇的視線追蹤演算法,則影像擷取系統100也可另包括與所選擇視線追蹤演算法相容的第三處理器來執行視線追蹤。再者,在一些實施例中,視線追蹤可由一個以上的處理器執行,例如,兩或三個處理器可用於視線追蹤。
圖6顯示根據本申請一個實施例的影像擷取系統300。影像擷取系統300與影像擷取系統100具有相似的結構,皆可用於執行方法200。然而,如圖6所示,影像擷取系統300另包括第三處理器360。在圖6的實施例中,第一處理器140和第三處理器360可一起用於在步驟S260中追蹤注視區域。例如,第一處理器140可用於眼睛偵測,而第三處理器360可用於根據第一處理器140提供的眼睛影像進行視線追蹤。
此外,為了提高視線追蹤的準確性,可考慮人眼的特徵,以便在影像IMGE中提供更多的眼睛細節和特徵。例如,人眼的鞏膜可反射大部分紅外光,而瞳孔可吸收大部分紅外光。因此,藉由向使用者的眼睛發射紅外光並感測使用者眼睛對紅外光的反射,可獲得更多的眼睛細節和特徵。
圖7顯示根據本申請一個實施例的第二影像感測模組120。如圖7內所示,第二影像感測模組120包括一紅外光源122和一紅外影像感測器124。紅外光源122可向使用者發射紅外光IR1,紅外影像感測器124可藉由感測使用者反射的紅外光IR2,來擷取使用者的視線資料。在這種情況下,便可更清楚捕捉瞳孔和虹膜的輪廓,亦即可使眼睛影像IMGE包括更多的細節和特徵,因此,視線追蹤的結果也可以更準確。不過,本申請並不受限於此。在一些其他實施例中,可根據所採用的視線追蹤演算法之需要,使用不同的方案來獲取使用者的視線資料。
在一些實施例中,為了降低功耗,可僅在影像擷取系統100啟動注視對焦功能時致能第二影像感測模組120。相反地,若自動對焦功能已能滿足使用者的需求,或使用者選擇藉由其他方式調整對焦,則注視對焦功能可能會被關閉而不會啟動,因而可停用第二影像感測模組120。
在步驟S260中偵測出注視區域之後,第二處理器150可在步驟S270中根據顯示面板130上的注視區域,從預覽影像IMG1中附有標籤的偵測到的物件中選擇目標。圖8顯示根據本申請一個實施例的影像擷取系統100之顯示面板130。在圖8中,顯示面板130在預覽影像IMG1中顯示了三個被偵測到的物件及其所附加的標籤,且顯示面板130還顯示了在步驟S260中所偵測到的注視區域G1。由於注視區域G1與物件O1的標籤區域重疊,因此可確定使用者有意使第一影像感測模組110對焦在物件O1上。在本實施例中,物件O1的標籤區域可包括圍繞物件O1的邊界框B1,以及顯示面板130上顯示的物件O1之名稱「樹」。因此,在步驟S280中,第二處理器150可選擇物件O1作為目標,並控制第一影像感測模組110對目標進行對焦操作,以供後續拍攝操作。
在一些實施例中,由於使用者可能會在他/她確定要對焦哪個物件之前,對顯示面板130進行掃視(掃描),因此使用者可能會在他/她做出決定之前,持續移動他/她的注視區域。在這種情況下,可重複執行步驟S250和S260,以在選擇目標之前持續追蹤使用者的視線。
此外,為了允許使用者檢查他/她是否正在注視感興趣的物件,第二處理器120可改變使用者正在注視物件的標籤之視覺外觀。例如,當有一物件的標籤區域與注視區域重疊時,第二處理器120可從預覽影像IMG1中那些偵測到的物件中選擇該物件作為候選物件,並且可改變候選物件的標籤的視覺外觀,以在視覺上將候選物件與預覽影像中其他物件區分開來,從而允許使用者檢查候選物件是否是他/她的目標。
在使用者確定目標後,使用者可另向影像擷取系統100傳達其確認,以便第二處理器120據此決定目標。舉例來說,第二處理器150可在注視區域與目標的標籤區域重疊的情況下,當使用者看著注視區域一預定時間後,例如但不限於0.1秒至2秒,將預覽影像IMG1中的物件O1判斷為目標。然而,本申請並不受限於此。在一些實施例中,第二處理器150可在注視區域與目標的標籤區域重疊的情況下,當使用者在預定時段內眨眼預定次數時,決定該物件O1為目標。例如,一旦使用者藉由注視顯示面板130上的相應區域確定他/她的目標後,使用者便可在短時間內眨眼兩次。對應地,第二處理器150或第一處理器140可偵測到眨眼,並且第二處理器150可選擇其標籤區域與注視區域重疊之物件O1作為目標。
此外,為了允許使用者通過注視來確認他/她所選擇的物件,在選擇了目標之後,第二處理器120可改變目標標籤的視覺外觀。例如,在一些實施例中,第二處理器120可改變已被選擇為目標的物件之邊界框B1顏色。如此,使用者就可根據標籤的顏色,將選中的物件與其他物件清楚區分開來。由於影像擷取系統100可一併顯示所有偵測到的物件連同其標籤,使用者可直接透過注視的方式,從顯示面板130所顯示已附加標籤的物件中選擇目標。如此一來,便可避免因為觸碰到多個相鄰物件所導致在選擇上的歧義。
在選擇了目標之後,第二處理器150便可在步驟S280中控制第一影像感測模組110對目標進行對焦操作,以進行後續拍攝操作。圖9顯示根據本申請一個實施例的第一影像感測模組110。如圖9內所示,第一影像感測模組110可包括一透鏡112、一透鏡馬達114和一影像感測器116。透鏡112可將影像投射至影像感測器116,而透鏡馬達114可調整透鏡112的位置,以調整第一影像感測模組110的焦距。在這種情況下,第二處理器150可控制透鏡馬達114調整透鏡112的位置,使得在影像感測器116所感測的影像中可清楚看到在步驟S270中選擇之目標。如此一來,在步驟S280之後,使用者便可在第一影像感測模組110對焦於目標的情況下,拍攝所需的場景。
在本實施例中,在第一影像感測模組110依據目標調整焦距之後,第二處理器150可在步驟S290中進一步追蹤目標的移動,並在步驟S292中,控制第一影像感測模組110以保持對焦在目標上。例如,第一處理器140及/或其他處理器可擷取預覽影像IMG1中目標的特徵,並藉由特徵映射來定位或追蹤移動的目標。在一些實施例中,步驟S290可採用任何已知合適的焦點追蹤技術。因此,在步驟S290及/或S292之後,當使用者命令影像擷取系統100擷取影像時,第一影像感測模組110會在對焦於目標的狀態下擷取影像。
總結來說,本申請實施例所提供的影像擷取系統及對焦調整方法,可讓使用者藉由注視顯示面板所顯示的目標,來選擇第一影像感測模組應對焦的目標。使用者在構圖時可專注於握持和穩定相機或電子裝置,而無需觸碰顯示面板進行對焦,不僅簡化影像擷取過程,而且避免影像擷取系統的晃動。更進一步,由於預覽影像中的物件得以被偵測並予以附加標記以利使用者能夠透過基於注視的對焦控制來選擇目標,因此可更準確且直接地針對目標執行對焦操作。
雖然上文已詳細說明本申請及其優點,但應明白的是,在不脫離如隨附申請專利範圍定義的本申請精神及範疇的情況下,仍可對本文所揭露的內容進行各種變更、替換及修改。例如,本文所述的許多方法也可通過不同方式、其他處理程序或前述兩者的組合來實現。
再者,本申請之範疇並不受限於說明書中所說明之程序、機器、製造、物質組成、構件、方法及步驟之特定實施例。依據本申請所揭示內容,本領域的通常知識者應容易理解,依據本申請可使用目前已存在或以後將要開發之能夠實行與本文說明之對應實施例相同之功能或獲得實質上相同結果之程序、機器、製造、物質組成、構件、方法或步驟。因此,該等隨附申請專利範圍即是用以在其範疇內包括此類程序、機器、製造、物質組成、構件、方法和步驟。
100、300:影像擷取系統
110:第一影像感測模組
112:透鏡
114:透鏡馬達
116:影像感測器
120:第二影像感測模組
122:紅外光源
124:紅外影像感測器
130:顯示面板
140:第一處理器
150:第二處理器
200:方法
360:第三處理器
B1:邊界框
G1:注視區域
IMG1:預覽影像
IMGE:影像
IMGU:圖像
IR1、IR2:紅外光
O1:物件
S210~S292:步驟
藉由參閱詳細說明以及申請專利範圍,同時參閱圖式,如此更完整瞭解本申請,其中所有圖式中相同的參考編號代表相同元件。
圖1顯示根據本申請一個實施例的影像擷取系統。
圖2顯示根據本申請一個實施例用於調整焦點的方法。
圖3顯示根據本申請一個實施例的預覽影像。
圖4顯示圖3中具有物件標籤的預覽影像。
圖5顯示根據本申請一個實施例的使用者示意圖像。
圖6顯示根據本申請另一個實施例的影像擷取系統。
圖7顯示根據本申請一個實施例的圖1中第二影像感測模組。
圖8顯示根據本申請一個實施例的圖1中影像擷取系統之顯示面板。
圖9顯示根據本申請一個實施例的第一影像感測模組。
100:影像擷取系統
110:第一影像感測模組
120:第二影像感測模組
130:顯示面板
140:第一處理器
150:第二處理器
IMG1:預覽影像
IMGU:圖像
Claims (20)
- 一種影像擷取系統,包括: 一第一影像感測模組; 多個處理器,其包括一第一處理器和一第二處理器,其中該第一處理器設置成偵測由該第一影像感測模組所感測的一預覽影像中之多個物件,及附加多個標籤至偵測到的物件; 一顯示面板,其設置成顯示該預覽影像及該些偵測到物件的該些標籤;以及 一第二影像感測模組,用於獲取使用者的一視線資料; 其中: 該第二處理器設置成根據使用者注視該顯示面板之一注視區域,從該預覽影像中帶有該些標籤之該些偵測到物件中選擇一目標,並控制該第一影像感測模組對該目標進行對焦操作;以及 該些處理器中之至少一者設置成根據該使用者的該視線資料,偵測該顯示面板上的該注視區域。
- 如請求項1之影像擷取系統,其中該第一處理器為包括多個處理單元的人工智慧(AI)處理器,及該第一處理器設置成根據一機器學習模型偵測該些物件。
- 如請求項1之影像擷取系統,其中該第二處理器進一步設置成執行一校準處理,以將使用者注視的眼球運動角度投射到該顯示面板上之一對應位置。
- 如請求項1之影像擷取系統,其中該第二影像感測模組包括: 一紅外光源,其設置成發出紅外光至該使用者;以及 一紅外影像感測器,其設置成通過感測由該使用者反射的紅外光以獲取該使用者的該視線資料。
- 如請求項1之影像擷取系統,其中在該影像擷取系統啟動一注視對焦功能時致能該第二影像感測模組以供該使用者藉由注視選擇該目標,及在該影像擷取系統關閉該注視對焦功能時停用該第二影像感測模組。
- 如請求項1之影像擷取系統,其中該第二處理器進一步設置成追蹤該目標的移動,並控制該第一影像感測模組執行對焦操作,以使該目標保持在焦點上。
- 如請求項1之影像擷取系統,其中當該注視區域與該目標的一標籤區域重疊時,該第二處理器在該使用者已經注視該注視區域一預定時間之後確定該目標。
- 如請求項1之影像擷取系統,其中當該注視區域與該目標的一標籤區域重疊,且該使用者在一預定時間內眨眼預定次數時,該第二處理器確定該目標。
- 如請求項1之影像擷取系統,其中該些物件的該些標籤可包括至少該些物件的序號、該些物件的名稱以及圍繞該些物件的邊界框中之一者。
- 如請求項1之影像擷取系統,其中該第二處理器進一步設置成當一候選物件的一標籤區域與該注視區域重疊時,從該些偵測到物件中選擇該候選物件,並改變該候選物件的該標籤之一視覺外觀,以在視覺上區分該候選物件與該預覽影像中的其他物件。
- 一種用於調整焦點的方法,包括: 藉由一第一影像感測模組取得一預覽影像; 偵測該預覽影像內的多個物件; 附加多個標籤至偵測到的物件; 藉由一顯示面板顯示該預覽影像及該些偵測到物件的該些標籤; 獲取使用者的一視線資料; 根據該使用者的該視線資料,偵測該使用者注視該顯示面板上之一注視區域; 根據該注視區域從該預覽影像中帶有該些標籤的該些偵測到物件中選擇一目標;以及 控制該第一影像感測模組以對該目標進行對焦操作。
- 如請求項11之方法,其中偵測該預覽影像中物件的步驟包括根據一機器學習模型偵測該預覽影像中之該些物件。
- 如請求項11之方法,其中偵測該使用者注視該顯示面板上之一注視區域的步驟包括執行一校準處理,以將該使用者注視的眼球運動角度投射到該顯示面板上之一對應位置。
- 如請求項11之方法,其中獲取該使用者的該視線資料的步驟包括: 發射紅外光至該使用者;以及 藉由感測從該使用者反射的紅外光,獲取該使用者的該視線資料。
- 如請求項11之方法,另包括: 當啟動一注視對焦功能時,致能該第二影像感測模組,以供該使用者通過注視來選擇該目標;以及 當關閉該注視對焦功能時,停用該第二影像感測模組。
- 如請求項11之方法,另包括: 追蹤該目標的移動;以及 根據追蹤到之該目標的移動控制該第一影像感測模組,以使該目標保持在焦點上。
- 如請求項11之方法,其中從該預覽影像中帶有該些標籤的該些偵測到物件中選擇一目標之步驟包括:當該注視區域與該目標的標籤區域重疊時,在該使用者注視該注視區域一預定時間之後,確定該目標。
- 如請求項11之方法,其中從該預覽影像中帶有該些標籤的該些偵測到物件中選擇一目標之步驟包括:當該注視區域與該目標的標籤區域重疊,且該使用者在一預定時間內眨眼預定次數時,確定該目標。
- 如請求項11之方法,其中該些物件的該些標籤可包括至少該些物件的序號、該些物件的名稱以及圍繞該些物件的邊界框中之一者。
- 如請求項11之方法,另包括: 當一候選物件的一標籤區域與該注視區域重疊時,從該些偵測到物件中選擇該候選物件;以及 改變該候選物件標籤之一視覺外觀,以在視覺上區分該候選物件與該預覽影像中的其他物件。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163273457P | 2021-10-29 | 2021-10-29 | |
US63/273,457 | 2021-10-29 | ||
US17/696,869 US20230136191A1 (en) | 2021-10-29 | 2022-03-17 | Image capturing system and method for adjusting focus |
US17/696,869 | 2022-03-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202318342A true TW202318342A (zh) | 2023-05-01 |
Family
ID=86146904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111132787A TW202318342A (zh) | 2021-10-29 | 2022-08-30 | 影像擷取系統和調整焦點的方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230136191A1 (zh) |
CN (1) | CN116095478A (zh) |
TW (1) | TW202318342A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230262300A1 (en) * | 2022-02-16 | 2023-08-17 | Lenovo (Singapore) Pte. Ltd | Information processing apparatus and control method |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10567641B1 (en) * | 2015-01-19 | 2020-02-18 | Devon Rueckner | Gaze-directed photography |
US10803695B2 (en) * | 2018-08-08 | 2020-10-13 | Igt | Gaming system and method for collecting, communicating and tracking eye gaze data |
US11756291B2 (en) * | 2018-12-18 | 2023-09-12 | Slyce Acquisition Inc. | Scene and user-input context aided visual search |
EP3690704B1 (en) * | 2019-01-29 | 2021-02-24 | Accenture Global Solutions Limited | Distributed and self-validating dense object detection in digital images |
US10937247B1 (en) * | 2019-03-11 | 2021-03-02 | Amazon Technologies, Inc. | Three-dimensional room model generation using ring paths and photogrammetry |
CN110032278B (zh) * | 2019-03-29 | 2020-07-14 | 华中科技大学 | 一种人眼感兴趣物体的位姿识别方法、装置及系统 |
GB2599831B (en) * | 2019-06-14 | 2024-07-10 | Quantum Interface Llc | Predictive virtual training systems, apparatuses, interfaces, and methods for implementing same |
US11210851B1 (en) * | 2019-06-14 | 2021-12-28 | State Farm Mutual Automobile Insurance Company | Systems and methods for labeling 3D models using virtual reality and augmented reality |
CN111225157B (zh) * | 2020-03-03 | 2022-01-14 | Oppo广东移动通信有限公司 | 追焦方法及相关设备 |
EP3893096A1 (en) * | 2020-04-06 | 2021-10-13 | Siemens Aktiengesellschaft | Aligning and augmenting a partial subspace of a physical infrastructure with at least one information element |
-
2022
- 2022-03-17 US US17/696,869 patent/US20230136191A1/en not_active Abandoned
- 2022-08-30 CN CN202211060271.7A patent/CN116095478A/zh active Pending
- 2022-08-30 TW TW111132787A patent/TW202318342A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN116095478A (zh) | 2023-05-09 |
US20230136191A1 (en) | 2023-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7259785B2 (en) | Digital imaging method and apparatus using eye-tracking control | |
US9678657B2 (en) | Imaging apparatus, imaging method, and computer-readable storage medium providing a touch panel display user interface | |
JP4196714B2 (ja) | デジタルカメラ | |
US7206022B2 (en) | Camera system with eye monitoring | |
JP5907738B2 (ja) | 撮像装置、表示方法、プログラム | |
US20120133754A1 (en) | Gaze tracking system and method for controlling internet protocol tv at a distance | |
CN103747183B (zh) | 一种手机拍摄对焦方法 | |
JP2004320286A (ja) | デジタルカメラ | |
JP2004317699A (ja) | デジタルカメラ | |
CN108200340A (zh) | 能够检测眼睛视线的拍照装置及拍照方法 | |
JP2004320285A (ja) | デジタルカメラ | |
JP5880135B2 (ja) | 検出装置、検出方法及びプログラム | |
TW202318342A (zh) | 影像擷取系統和調整焦點的方法 | |
JP5370555B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2005033766A (ja) | デジタル画像を自動的に後処理する方法および装置 | |
US11662809B2 (en) | Image pickup apparatus configured to use line of sight for imaging control and control method thereof | |
KR20100091844A (ko) | 촬상 장치 및 촬상 방법 | |
CN108156387A (zh) | 通过检测眼睛视线自动结束摄像的装置及方法 | |
JP5448868B2 (ja) | 撮像装置および撮像装置の制御方法 | |
US20220408027A1 (en) | Imaging apparatus | |
TW201236448A (en) | Auto-focusing camera and method for automatically focusing of the camera | |
TWI578783B (zh) | 控制對焦與自動曝光的方法與系統 | |
US12105871B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and storage medium | |
WO2015131483A1 (zh) | 一种图像拍摄的处理方法和装置 | |
JP7098419B2 (ja) | 撮像装置及びその制御方法、プログラム |