TWI806379B - 特徵點位置偵測方法及電子裝置 - Google Patents
特徵點位置偵測方法及電子裝置 Download PDFInfo
- Publication number
- TWI806379B TWI806379B TW111102925A TW111102925A TWI806379B TW I806379 B TWI806379 B TW I806379B TW 111102925 A TW111102925 A TW 111102925A TW 111102925 A TW111102925 A TW 111102925A TW I806379 B TWI806379 B TW I806379B
- Authority
- TW
- Taiwan
- Prior art keywords
- feature point
- imaging element
- feature points
- feature
- distance
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims description 100
- 230000014509 gene expression Effects 0.000 claims description 6
- 210000001747 pupil Anatomy 0.000 claims 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 29
- 238000010586 diagram Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本發明提供一種特徵點位置偵測方法及電子裝置。所述方法包括：取得特定物體上的多個特徵點相對於第一取像元件的多個第一相對位置；取得特定物體上的所述多個特徵點相對於第二取像元件的多個第二相對位置；以及反應於判定第一取像元件不可靠，基於各特徵點的歷史三維位置及所述多個第二相對位置估計各特徵點的當下三維位置。
Description
本發明是有關於一種影像處理機制，且特別是有關於一種特徵點位置偵測方法及電子裝置。
目前的裸眼3D顯示器會先將左眼和右眼的像素，分別放置在顯示面板對應的像素位置，再透過3D透鏡內的液晶控制光路，將左右眼的影像分別投射至對的眼睛裡。因為要聚焦到左右兩眼，所以3D透鏡通常具有弧形設計，使左(右)眼的影像可以聚焦投射到左(右)眼中。然而，受限於折射光路，有些光線可能會被投射到錯的眼睛裡。也就是說，左(右)眼的影像跑錯到右(左)眼睛裡，而此種現象稱之為3D串擾(crosstalk)。
一般而言，裸眼3D顯示器通常會配置眼球追蹤系統，以用於在取得使用者的雙眼位置之後，對雙眼提供對應的影像。目前常見使用的眼球追蹤方式多為利用雙瞳相機進行臉部辨識，並使用三角測量得出兩個眼睛位置。然而，在某些情況下，雙瞳相機所進行的臉部辨識可能因所取得的臉部特徵點不足而無法準確地測得雙眼位置，進而可能影響後續的三維影像呈現品質。
有鑑於此，本發明提供一種特徵點位置偵測方法及電子裝置，其可用於解決上述技術問題。
本發明提供一種特徵點位置偵測方法，適於包括一第一取像元件及一第二取像元件的一電子裝置，包括：取得一特定物體上的多個特徵點相對於第一取像元件的多個第一相對位置；取得特定物體上的所述多個特徵點相對於第二取像元件的多個第二相對位置；以及反應於判定第一取像元件不可靠，基於各特徵點的一歷史三維位置及所述多個第二相對位置估計各特徵點的一當下三維位置。
本發明提供一種電子裝置，包括一第一取像元件、一第二取像元件及處理器。處理器耦接第一取像元件及第二取像元件，並經配置以執行：取得一特定物體上的多個特徵點相對於第一取像元件的多個第一相對位置；取得特定物體上的所述多個特徵點相對於第二取像元件的多個第二相對位置；以及反應於判定第一取像元件不可靠，基於各特徵點的一歷史三維位置及所述多個第二相對位置估計各特徵點的一當下三維位置。
請參照圖1，其是依據本發明之一實施例繪示的電子裝置示意圖。在不同的實施例中，電子裝置100可實現為各式智慧型裝置及/或電腦裝置。在一些實施例中，電子裝置100可實現為一種眼球追蹤裝置。在一實施例中，電子裝置100例如可外接於三3D顯示器（其例如是一裸眼3D顯示器），用以為3D顯示器提供相關的眼球追蹤資訊。在另一實施例中，電子裝置100亦可實現為具眼球追蹤功能的3D顯示器。
在取得眼球追蹤資訊之後，實現為3D顯示器的電子裝置100即可相應地調整顯示內容，藉以讓觀賞3D顯示器的使用者在感受到較低3D串擾的情況下觀賞此3D顯示器的顯示內容。
在圖1中，電子裝置100包括取像元件101、102及處理器104。在不同的實施例中，電子裝置100還可包括更多耦接於處理器104的取像元件，並不限於圖1所示的實施方式。
在不同的實施例中，第一取像元件101及第二取像元件102例如是任何具有電荷耦合元件（Charge coupled device，CCD）鏡頭、互補式金氧半電晶體（Complementary metal oxide semiconductor transistors，CMOS）鏡頭的取像裝置，但可不限於此。在一些實施例中，第一取像元件101及第二取像元件102可整合地實現為電子裝置100上的雙瞳相機，但可不限於此。
處理器104耦接於第一取像元件101及第二取像元件102，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。
在本發明的實施例中，處理器104存取相關的模組、程式碼來實現本發明提出的眼球追蹤方法，其細節詳述如下。
請參照圖2，其是依據本發明之一實施例繪示的特徵點位置偵測方法流程圖。本實施例的方法可由圖1的電子裝置100執行，以下即搭配圖1所示的元件說明圖2各步驟的細節。
首先，在步驟S210中，處理器104取得特定物體上的多個特徵點相對於第一取像元件101的多個第一相對位置。為便於說明，以下假設所考慮的特定物體為人臉，而特定物體上的多個特徵點例如是位於此人臉上的多個臉部特徵點，但可不限於此。
在一實施例中，處理器104可控制第一取像元件101對所考慮的特定物體拍攝第一影像。之後，處理器104可在此第一影像中辨識特定物體上的特徵點，並據以判定這些特徵點相對於第一取像元件101的多個第一相對位置。
請參照圖3，其是依據本發明之一實施例繪示的臉部特徵點示意圖。在圖3中，假設處理器104在第一取像元件101對所考慮的特定物體（即，人臉）拍攝第一影像後，在第一影像上找出如圖3所示的多個特徵點。在一實施例中，處理器104可基於任何已知的臉部辨識演算法在第一影像中找出所示的多個特徵點，並相應地取得這些特徵點相對於第一取像元件101的多個第一相對位置。
在一實施例中，對應於各特徵點的第一相對位置例如可表徵為對應於各特徵點的單位向量。以圖3中編號0的特徵點（下稱特徵點0）為例，處理器104可在找出特徵點0之後，相應地產生對應的單位向量，而此單位向量為起點為第一取像元件101的三維位置（即，第一取像元件101在三維空間中的位置）、長度為1且指向特徵點0的向量。再以圖3中編號1的特徵點（下稱特徵點1）為例，處理器104可在找出特徵點1之後，相應地產生對應的單位向量，而此單位向量為起點為第一取像元件101的三維位置、長度為1且指向特徵點1的向量。
基於上述原則，處理器104可在取得圖3中各特徵點之後，相應地找出對應各特徵點的單位向量。
在一實施例中，在找出第一影像中的多個特徵點之後，處理器104還可據以判斷第一取像元件101是否可靠。在一實施例中，處理器104可判斷第一影像中的特徵點的數量是否低於預設閾值。若是，此即代表第一影像中的特徵點可能存在過少的問題，因此第一取像元件101所取得的資訊可能不適於用以進行後續判斷。因此，處理器104可相應地判定第一取像元件101為不可靠。
另一方面，若第一影像中的特徵點的數量未低於預設閾值，此即代表第一影像中的特徵點足夠，因此第一取像元件101所取得的資訊適於用以進行後續判斷。因此，處理器104可相應地判定第一取像元件101為可靠，但可不限於此。
另外，在步驟S220中，處理器104取得特定物體上的所述多個特徵點相對於第二取像元件102的多個第二相對位置。在一實施例中，處理器104可控制第二取像元件102對所考慮的特定物體拍攝第二影像。之後，處理器104可在此第二影像中辨識特定物體上的特徵點，並據以判定這些特徵點相對於第二取像元件102的多個第二相對位置。
相似於圖3的概念，處理器104可在基於第二影像找出多個特徵點之後，相應地找出各特徵點對應的單位向量作為對應於各特徵點的第二相對位置。相關細節可參照圖3的說明，於此不另贅述。
此外，在一實施例中，在找出第二影像中的多個特徵點之後，處理器104還可據以判斷第二取像元件102是否可靠。在一實施例中，處理器104可判斷第二影像中的特徵點的數量是否低於預設閾值。若是，此即代表第二影像中的特徵點可能存在過少的問題，因此第二取像元件102所取得的資訊可能不適於用以進行後續判斷。因此，處理器104可相應地判定第二取像元件102為不可靠。
另一方面，若第二影像中的特徵點的數量未低於預設閾值，此即代表第二影像中的特徵點足夠，因此第二取像元件102所取得的資訊適於用以進行後續判斷。因此，處理器104可相應地判定第二取像元件102為可靠，但可不限於此。
在一些實施例中，若處理器104在某個時間點判定第一取像元件101及第二取像元件102皆為可靠，則處理器104可基於第一取像元件101對應的特徵點的第一相對位置及第二取像元件102對應的特徵點的第二相對位置進行特徵匹配（Feature matching）及光束平差法（bundle adjustment）。藉此，可相應地找出特定物體上每個特徵點的當下三維位置。相關細節可參照光束平差法的相關文獻（例如「Chen, Yu & Chen, Yisong & Wang, Guoping. (2019). Bundle Adjustment Revisited.」），於此不另贅述。
在其他實施例中，反應於判定第一取像元件101或第二取像元件102之一者不可靠，處理器104可基於此二者中經判定為可靠的一者及特定物體上各特徵點的歷史三維位置來估計各特徵點的當下三維位置。為便於說明，以下假設第一取像元件101為經判定為不可靠的一者，但其僅用以舉例，並非用以限定本發明可能的實施方式。
基此，在步驟S230中，反應於判定第一取像元件101不可靠，處理器104基於各特徵點的歷史三維位置及所述多個第二相對位置估計各特徵點的當下三維位置。
在一些實施例中，各特徵點的歷史三維位置例如是各特徵點先前經估計/偵測而得的某個時間點的當下三維位置。舉例而言，假設處理器104在第t個時間點（t為索引值）判定第一取像元件101為不可靠，則處理器104例如可取各特徵點在第t-k個時間點（k為正整數）時對應的當下三維位置作為在第t個時間點所考慮的歷史三維位置，但可不限於此。
在一實施例中，處理器104基於各特徵點的歷史三維位置取得特徵點彼此的第一距離。之後，處理器104基於對應於各特徵點的單位向量及特徵點彼此的第一距離估計第二取像元件102與各特徵點之間的第二距離。接著，處理器104基於第二取像元件102的三維位置及對應於各特徵點的第二距離估計各特徵點的當下三維位置。為使上述概念更易於理解，以下另輔以圖4作進一步說明。
請參照圖4，其是依據本發明之一實施例繪示的估計各特徵點的當下三維位置的示意圖。在圖4中，假設第二取像元件102在第t個時間點時具有三維位置O，且處理器104基於第t個時間點的第二影像找出特徵點A、B、C。如先前所言，處理器104可在找出特徵點A、B、C之後，相應地找出各特徵點A、B、C對應的單位向量作為對應於特徵點A、B、C的第二相對位置。
在圖4中，特徵點A與第二取像元件102之間的第二相對位置可表徵為單位向量
，其例如是起點為三維位置O、長度為1且指向特徵點A的向量。特徵點B與第二取像元件102之間的第二相對位置可表徵為單位向量
，其例如是起點為三維位置O、長度為1且指向特徵點B的向量。另外，特徵點C與第二取像元件102之間的第二相對位置可表徵為單位向量
，其例如是起點為三維位置O、長度為1且指向特徵點C的向量。
在本發明的實施例中，假設特徵點A、B、C彼此之間的相對位置在所述第t個時間點及所述第t-k個時間點之間為恆定。
在此情況下，處理器104例如可基於特徵點A、B的歷史三維位置取得特徵點A、B之間的第一距離c、基於特徵點A、C的歷史三維位置取得特徵點A、C之間的第一距離b及基於特徵點B、C的歷史三維位置取得特徵點B、C之間的第一距離a。
此外，在圖4情境中，處理器104雖可判定特徵點A、B、C位於三維位置O的哪個方向（其可由單位向量
得知），但暫無法得知三維位置O與特徵點A之間的第二距離x、三維位置O與特徵點B之間的第二距離y、三維位置O與特徵點C之間的第二距離z。
為取得第二距離x、y、z，處理器104可基於圖4所示的幾何關係而建立可用於計算第二距離x、y、z的多個關係式。
在一實施例中，處理器104可基於單位向量
、第一距離a、b、c、第二距離x、y、z建立多個關係式，並基於這些關係式估計第二距離x、y、z。
在一實施例中，處理器104可基於餘弦定理而建立下列關係式：「
」、「
」及「
」。由於單位向量
、第一距離a、b、c皆為已知，故處理器104可基於解開上述關係式（其可視為聯立方程式）而取得第二距離x、y、z，但可不限於此。
在取得第二距離x、y、z之後，處理器104即可判定特徵點A、B、C的當下三維位置。具體而言，處理器104可以位於對應單位向量
的方向上且與三維位置O相距第二距離x的位置作為特徵點A在第t個時間點時的當下三維位置。另外，處理器104可以位於對應單位向量
的方向上且與三維位置O相距第二距離y的位置作為特徵點B在第t個時間點時的當下三維位置。相似地，處理器104可以位於對應單位向量
的方向上且與三維位置O相距第二距離z的位置作為特徵點C在第t個時間點時的當下三維位置。
在另一實施例中，假設處理器104在第t個時間點判定第二取像元件102為不可靠，則處理器104例如可取各特徵點在第t-k個時間點時對應的當下三維位置作為在第t個時間點所考慮的歷史三維位置。之後，處理器104可基於各特徵點的歷史三維位置取得特徵點彼此的第一距離。之後，處理器104基於對應於各特徵點的單位向量及特徵點彼此的第一距離估計第一取像元件101與各特徵點之間的第二距離。接著，處理器104基於第一取像元件101的三維位置及對應於各特徵點的第二距離估計各特徵點的當下三維位置。
具體而言，處理器104仍可基於圖4的相關教示來估計各特徵點的當下三維位置，惟在先前實施例中是以第二取像元件102的三維位置作為圖4中的三維位置O。然而，在第二取像元件102經判定為不可靠的情況下，處理器104需改以第一取像元件101的三維位置作為圖4中的三維位置O，並據以進行後續的估計行為。相關細節可參照先前實施例的教示，於此不另贅述。
請參照圖5，其是依據本發明之一實施例繪示的決定各特徵點的當下三維位置的應用情境圖。本發明實施例中，假設處理器104在第一取像元件101及第二取像元件102皆為可靠時取得各特徵點的當下三維位置的操作可稱為第一光束平差機制。另外，處理器104在第一取像元件101為不可靠時取得各特徵點的當下三維位置的操作可稱為第二光束平差機制，而處理器104在第二取像元件102為不可靠時取得各特徵點的當下三維位置的操作可稱為第三光束平差機制。
在圖5情境中，在每個時間點時，處理器104可在判斷第一取像元件101及/或第二取像元件102是否可靠之前皆執行第一光束平差機制511、第二光束平差機制521、第三光束平差機制531，以取得第一光束平差機制511對應的各特徵點的當下三維位置（下稱第一結果512）、第二光束平差機制521對應的各特徵點的當下三維位置（下稱第二結果522）、第三光束平差機制531對應的各特徵點的當下三維位置（下稱第三結果532）。
亦即，在判斷第一取像元件101及/或第二取像元件102是否可靠之前，處理器104可先基於第一取像元件101對應的特徵點的第一相對位置及第二取像元件102對應的特徵點的第二相對位置進行特徵匹配及光束平差法，以找出各特徵點的當下三維位置作為第一結果512。另外，處理器104還可在以第二取像元件102的三維位置作為圖4中三維位置O的情況下，基於圖4的機制取得各特徵點的當下三維位置作為第二結果522。並且，處理器104還可在以第一取像元件101的三維位置作為圖4中三維位置O的情況下，基於圖4的機制取得各特徵點的當下三維位置作為第三結果532。
之後，處理器104可再於步驟S500中因應於第一取像元件101及/或第二取像元件102是否可靠來適應性地選擇第一、第二或第三結果作為最後的結果。
在一實施例中，假設處理器104在第t個時間點判定第一取像元件101及第二取像元件102皆為可靠，則處理器104可在步驟S501中選擇第一結果512來決定各特徵點的當下三維位置（或可理解為捨棄第二、第三結果）。舉另一例而言，假設處理器104在第t個時間點判定第一取像元件101不可靠，則處理器104可在步驟S502中選擇第二結果522來決定各特徵點的當下三維位置（或可理解為捨棄第一結果512及第三結果532）。另外，假設處理器104在第t個時間點判定第二取像元件102不可靠，則處理器104可在步驟S503中選擇第三結果532來決定各特徵點的當下三維位置（或可理解為捨棄第一結果512及第二結果522）。
換言之，處理器104可在每個時間點皆執行第一光束平差機制511、第二光束平差機制521、第三光束平差機制531，再適應性地以第一結果512、第二結果522或第三結果532來決定各特徵點的當下三維位置。
在一實施例中，在決定各特徵點在第t個時間點的當下三維位置之後，處理器104還可基於卡爾曼濾波器（Kalman filter）的概念（例如線性卡爾）來對各特徵點在第t個時間點的當下三維位置作進一步處理。舉例而言，處理器104可將各特徵點在第t-m個時間點至第t個時間點個別取得的當下三維位置輸入卡爾曼濾波器（例如是線性卡爾曼濾波器），以由此卡爾曼濾波器修正各特徵點在第t個時間點的當下三維位置，但可不限於此。相關細節可參照卡爾曼濾波器的相關文獻，於此不另贅述。
在一實施例中，在處理器104依據上述教示取得人臉上雙眼的多個眼睛特徵點之後，可基於這些眼睛特徵點決定3D顯示器的三維顯示內容。例如，處理器104可開啟3D顯示器上的Lenticular透鏡，並調整3D顯示器上的像素位置，相關細節可參照現有技術中與3D渲染有關的文獻，其細節於此不另贅述。藉此，可讓位於3D顯示器前的使用者不會因某取像元件不可靠而看到具嚴重3D串擾的三維影像。
在本發明的實施例中，雖以上說明是以2個取像元件（即圖1中的第一取像元件101及第二取像元件102）及3個特徵點（即，圖3中的特徵點A、B、C）為例，但在其他實施例中，本發明的概念亦可適用於具更多取像元件及更多特徵點的情境，並不限於以上的實施方式。
此外，雖以上實施例是以3D顯示器為例作說明，但本發明實施例的概念可應用於任何進行特徵點三維位置偵測的機制中，並不限於3D顯示器。
綜上所述，本發明實施例可先取得特定物體上的多個特徵點相對於各取像元件的相對位置，並在判定某一取像元件不可靠時，基於各特徵點的歷史三維位置及另一可靠取像元件對應的相對位置估計各特徵點的當下三維位置。藉此，可讓位於3D顯示器前的使用者不會因某取像元件不可靠而看到具嚴重3D串擾的三維影像。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:電子裝置
101, 102:取像元件
104:處理器
511:第一光束平差機制
521:第二光束平差機制
531:第三光束平差機制
512:第一結果
522:第二結果
532:第三結果
A, B, C:特徵點
:單位向量
a, b, c:第一距離
x, y, z:第二距離
S210~S230, S500~S503:步驟
圖1是依據本發明之一實施例繪示的電子裝置示意圖。
圖2是依據本發明之一實施例繪示的特徵點位置偵測方法流程圖。
圖3是依據本發明之一實施例繪示的臉部特徵點示意圖。
圖4是依據本發明之一實施例繪示的估計各特徵點的當下三維位置的示意圖。
圖5是依據本發明之一實施例繪示的決定各特徵點的當下三維位置的應用情境圖。
S210~S230:步驟
Claims (8)
- 一種特徵點位置偵測方法，適於包括一第一取像元件及一第二取像元件的一電子裝置，包括：取得一特定物體上的多個特徵點相對於該第一取像元件的多個第一相對位置，包括：由該第一取像元件對該特定物體拍攝一第一影像；在該第一影像中辨識該些特徵點，並據以判定該些特徵點相對於該第一取像元件的該些第一相對位置；取得該特定物體上的該些特徵點相對於該第二取像元件的多個第二相對位置；反應於判定該些第一影像中的該些特徵點的數量低於一預設閾值，判定該第一取像元件不可靠；反應於判定該些第一影像中的該些特徵點的數量不低於該預設閾值，判定該第一取像元件可靠；以及反應於判定該第一取像元件不可靠，基於各該特徵點的一歷史三維位置及該些第二相對位置估計各該特徵點的一當下三維位置；其中該些第二相對位置包括對應於各該特徵點的一單位向量，且基於各該特徵點的該歷史三維位置及該些第二相對位置估計各該特徵點的該當下三維位置的步驟包括：基於各該特徵點的該歷史三維位置取得該些特徵點彼此的一第一距離； 基於對應於各該特徵點的該單位向量及該些特徵點彼此的該第一距離估計該第二取像元件與各該特徵點之間的一第二距離；基於該第二取像元件的三維位置及對應於各該特徵點的該第二距離估計各該特徵點的該當下三維位置。
- 如請求項1所述的方法，更包括：反應於判定該第一取像元件及該第二取像元件皆可靠，基於該些第一相對位置及該些第二相對位置估計各該特徵點的該當下三維位置。
- 如請求項1所述的方法，其中該些特徵點包括一第一特徵點、一第二特徵點及一第三特徵點，該第二取像元件具有分別對應於該第一特徵點、該第二特徵點及該第三特徵點的一第一單位向量、一第二單位向量及一第三單位向量，且基於對應於各該特徵點的該單位向量及該些特徵點彼此的該第一距離估計該第二取像元件與各該特徵點之間的該第二距離的步驟包括：基於該第一單位向量、該第二單位向量、該第三單位向量、該第一特徵點與該第二特徵點之間的該第一距離、該第二特徵點與該第三特徵點之間的該第一距離、該第一特徵點與該第三特徵點之間的該第一距離、該第二取像元件與該第一特徵點之間的該第二距離、該第二取像元件與該第二特徵點之間的該第二距離及該第二取像元件與該第三特徵點之間的該第二距離建立多個關係式；基於該些關係式估計該第二取像元件與該第一特徵點之間的 該第二距離、該第二取像元件與該第二特徵點之間的該第二距離及該第二取像元件與該第三特徵點之間的該第二距離。
- 如請求項3所述的方法，其中該些該些關係式包括：
為對應於該第一特徵點的該第一單位向量，
為對應於該第二特徵點的該第二單位向量，
為對應於該第三特徵點的該第一單位向量，a是該第二特徵點與該第三特徵點之間的該第一距離，b是該第一特徵點與該第三特徵點之間的該第一距離，c是該第一特徵點與該第二特徵點之間的該第一距離，x是該第二取像元件與該第一特徵點之間的該第二距離，y是該第二取像元件與該第二特徵點之間的該第二距離，z是該第二取像元件與該第三特徵點之間的該第二距離。
- 如請求項3所述的方法，其中該些第二相對位置於第t個時間點取得，各該特徵點的該歷史三維位置於第t-k個時間點取得，t為索引值，k為正整數，且該第一特徵點、該第二特徵點及該第三特徵點彼此之間的相對位置在所述第t個時間點及所述第t-k個時間點之間為恆定。
- 如請求項1所述的方法，其中該電子裝置為三維顯示器，且該第一取像元件及該第二取像元件屬於該三維顯示器 上的一雙瞳相機。
- 如請求項6所述的方法，其中該特定物體為人臉，且在基於各該特徵點的該歷史三維位置及該些第二相對位置估計各該特徵點的該當下三維位置的步驟之後，更包括：取得對應於該人臉上的雙眼的多個眼睛特徵點；以及基於該些眼睛特徵點決定該三維顯示器的三維顯示內容。
- 一種電子裝置，包括：一第一取像元件；一第二取像元件；以及一處理器，其耦接該第一取像元件及該第二取像元件，並經配置以執行：取得一特定物體上的多個特徵點相對於該第一取像元件的多個第一相對位置，包括：由該第一取像元件對該特定物體拍攝一第一影像；在該第一影像中辨識該些特徵點，並據以判定該些特徵點相對於該第一取像元件的該些第一相對位置；取得該特定物體上的該些特徵點相對於該第二取像元件的多個第二相對位置；反應於判定該些第一影像中的該些特徵點的數量低於一預設閾值，判定該第一取像元件不可靠；反應於判定該些第一影像中的該些特徵點的數量不低於該預設閾值，判定該第一取像元件可靠；以及 反應於判定該第一取像元件不可靠，基於各該特徵點的一歷史三維位置及該些第二相對位置估計各該特徵點的一當下三維位置；其中該些第二相對位置包括對應於各該特徵點的一單位向量，且基於各該特徵點的該歷史三維位置及該些第二相對位置估計各該特徵點的該當下三維位置包括：基於各該特徵點的該歷史三維位置取得該些特徵點彼此的一第一距離；基於對應於各該特徵點的該單位向量及該些特徵點彼此的該第一距離估計該第二取像元件與各該特徵點之間的一第二距離；基於該第二取像元件的三維位置及對應於各該特徵點的該第二距離估計各該特徵點的該當下三維位置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111102925A TWI806379B (zh) | 2022-01-24 | 2022-01-24 | 特徵點位置偵測方法及電子裝置 |
| US17/965,791 US11875532B2 (en) | 2022-01-24 | 2022-10-14 | Feature point position detection method and electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111102925A TWI806379B (zh) | 2022-01-24 | 2022-01-24 | 特徵點位置偵測方法及電子裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI806379B true TWI806379B (zh) | 2023-06-21 |
| TW202331586A TW202331586A (zh) | 2023-08-01 |
Family
ID=87314478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111102925A TWI806379B (zh) | 2022-01-24 | 2022-01-24 | 特徵點位置偵測方法及電子裝置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11875532B2 (zh) |
| TW (1) | TWI806379B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104811681A (zh) * | 2013-11-22 | 2015-07-29 | 三星显示有限公司 | 显示器和用于调节3d图像的方法 |
| CN112929638A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 眼部定位方法、装置及多视点裸眼3d显示方法、设备 |
| TW202123693A (zh) * | 2019-12-05 | 2021-06-16 | 新加坡商視覺技術創投私人有限公司 | 眼部定位裝置、方法及3d顯示裝置、方法和終端 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9036920B2 (en) * | 2010-10-08 | 2015-05-19 | Industrial Technology Research Institute | Method of detecting feature points of an object in a system for motion detection |
| GB2499426A (en) | 2012-02-16 | 2013-08-21 | Dimenco B V | Autostereoscopic display device with viewer tracking system |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| CN108307187B (zh) | 2016-09-28 | 2024-01-12 | 擎中科技（上海）有限公司 | 裸眼3d显示设备及其显示方法 |
-
2022
- 2022-01-24 TW TW111102925A patent/TWI806379B/zh active
- 2022-10-14 US US17/965,791 patent/US11875532B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104811681A (zh) * | 2013-11-22 | 2015-07-29 | 三星显示有限公司 | 显示器和用于调节3d图像的方法 |
| CN112929638A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 眼部定位方法、装置及多视点裸眼3d显示方法、设备 |
| TW202123693A (zh) * | 2019-12-05 | 2021-06-16 | 新加坡商視覺技術創投私人有限公司 | 眼部定位裝置、方法及3d顯示裝置、方法和終端 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230237695A1 (en) | 2023-07-27 |
| US11875532B2 (en) | 2024-01-16 |
| TW202331586A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10455141B2 (en) | Auto-focus method and apparatus and electronic device | |
| US11024046B2 (en) | Systems and methods for depth estimation using generative models | |
| EP3582488B1 (en) | Autofocus for stereoscopic camera | |
| TWI567693B (zh) | 產生深度資訊的方法及其系統 | |
| CN102227746B (zh) | 立体图像处理装置、方法和立体成像设备 | |
| JP6509027B2 (ja) | 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム | |
| JP6456156B2 (ja) | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム | |
| WO2014044126A1 (zh) | 坐标获取装置、实时三维重建系统和方法、立体交互设备 | |
| JP6786225B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| CN113822942B (zh) | 一种基于二维码的单目摄像头测量物体尺寸的方法 | |
| US20150178595A1 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
| TW201439659A (zh) | 自動對焦方法及自動對焦裝置 | |
| CN105335959B (zh) | 成像装置快速对焦方法及其设备 | |
| JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
| TWI806379B (zh) | 特徵點位置偵測方法及電子裝置 | |
| TW201642008A (zh) | 影像擷取裝置及其動態對焦方法 | |
| US20160065941A1 (en) | Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program | |
| CN116631044A (zh) | 特征点位置检测方法及电子装置 | |
| US10769805B2 (en) | Method, image processing device, and system for generating depth map | |
| JP2013190938A (ja) | ステレオ画像処理装置 | |
| CN112424566B (zh) | 测距摄像机 | |
| TW202318867A (zh) | 眼球追蹤方法及眼球追蹤裝置 | |
| JP2014027441A (ja) | 情報処理装置、情報処理方法、プログラム及び撮像装置 | |
| JP6066765B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
| CN118341083A (zh) | 图像虚化方法、图像虚化装置、电子设备和计算机可读存储介质 |