TWI704473B - 視線向量偵測方向與裝置 - Google Patents

視線向量偵測方向與裝置 Download PDF

Info

Publication number
TWI704473B
TWI704473B TW107140925A TW107140925A TWI704473B TW I704473 B TWI704473 B TW I704473B TW 107140925 A TW107140925 A TW 107140925A TW 107140925 A TW107140925 A TW 107140925A TW I704473 B TWI704473 B TW I704473B
Authority
TW
Taiwan
Prior art keywords
user
image
sight vector
sight
eyes
Prior art date
Application number
TW107140925A
Other languages
English (en)
Other versions
TW202020622A (zh
Inventor
藍于瀅
林信成
周森益
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW107140925A priority Critical patent/TWI704473B/zh
Priority to US16/231,724 priority patent/US10769803B2/en
Publication of TW202020622A publication Critical patent/TW202020622A/zh
Application granted granted Critical
Publication of TWI704473B publication Critical patent/TWI704473B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一種視線向量偵測方法包括：利用一影像擷取單元與一深度擷取單元來分別擷取一使用者影像以得到一第一影像與一距離資訊；根據該第一影像與該距離資訊，找出該使用者的一雙眼中心點位置；利用一視線模型來預測一使用者視線位置，以找出該使用者對一標的物之一標的物注視位置；根據該使用者的該雙眼中心點位置，得到該使用者的雙眼中心點的一第一世界座標；根據該使用者的該標的物注視位置，得到該使用者的該標的物注視位置的一第二世界座標；以及根據該使用者的該雙眼中心點的第一世界座標與該使用者的該標的物注視位置的該第二世界座標，以計算出該使用者的一視線向量。

Description

視線向量偵測方向與裝置
本發明是有關於一種視線向量偵測方向與裝置。
視線向量偵測在人們日常生活上有許多可能的應用，例如展覽導讀、電競、駕駛人注意力偵測等。當使用者在注視標的物(可能是電腦螢幕、任何透明材質(如玻璃)、任何非透明材質、投影布幕等)時，如何找出使用者的視線向量是目前產業努力方向之一。
以目前而言，已有業者利用影像相機跟紅外線相機來找出使用者瞳孔的位置，進而找出該使用者在標的物上的注視目標。然而，在應用該技術時，使用者必需站在標的物正中央前方。亦即，如果使用者不是站在標的物正中央前方的話(例如使用者站在標的物的偏左邊或偏右邊)，則該技術可能無法正確找出使用者的注視目標。
此外，現有技術亦有利用多個影像相機跟紅外線LED，來找出汽車駕駛人、火車司機、輪船掌舵者等的注視目標點，但其內容較為繁雜。而且，當使用紅外線LED來偵測使用者的注視目標點時，若紅外線LED對使用者視網膜的曝光量過多，有可能對使用者視網膜造成灼傷。
故而，如何能用比較安全且簡單的方式來找出使用者視線向量，乃是業界努力方向之一。
根據本案之一實例，提出一種視線向量偵測方法，包括：利用一影像擷取單元與一深度擷取單元來分別擷取一使用者影像以得到一第一影像與一距離資訊；根據該第一影像與該距離資訊，找出該使用者的一雙眼中心點位置；利用一視線模型來預測一使用者視線位置，以找出該使用者對一標的物之一標的物注視位置；根據該使用者的該雙眼中心點位置，得到該使用者的雙眼中心點的一第一世界座標；根據該使用者的該標的物注視位置，得到該使用者的該標的物注視位置的一第二世界座標；以及根據該使用者的該雙眼中心點的第一世界座標與該使用者的該標的物注視位置的該第二世界座標，以計算出該使用者的一視線向量。
根據本案之另一實例，提出一種視線向量偵測裝置，包括：一影像擷取單元與一深度擷取單元，分別擷取一使用者影像以得到一第一影像與一距離資訊；以及一處理電路，耦接至該影像擷取單元與該深度擷取單元。該處理電路用以：根據該第一影像與該距離資訊，找出該使用者的一雙眼中心點位置；利用一視線模型來預測一使用者視線位置，以找出該使用者之一標的物之一標的物注視位置；根據該使用者的該雙眼中心點位置，得到該使用者的雙眼中心點的一第一世界座標；根據該使用者的該標的物注視位置，得到該使用者的該標的物注視位置的一第二世界座標；以及根據該使用者的該雙眼中心點的第一世界座標與該使用者的該標的物注視位置的該第二世界座標，以計算出該使用者的一視線向量。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
本說明書的技術用語係參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋係以本說明書之說明或定義為準。本揭露之各個實施例分別具有一或多個技術特徵。在可能實施的前提下，本技術領域具有通常知識者可選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地將這些實施例中部分或全部的技術特徵加以組合。
第1圖顯示根據本案一實施例的視線向量偵測方法流程圖。如第1圖所示，在步驟105中，利用影像擷取單元(例如但不受限於，CCD)與深度擷取單元(例如可以得到深度資訊的相機或其他可得出相關深度資訊之測距識別器)來分別擷取一使用者影像以得到第一影像與距離資訊。
在步驟110中，根據第一影像與距離資訊，找出使用者的雙眼中心點位置。另外，距離資訊例如是指由深度擷取單元所擷取的第一影像中的使用者頭部影像的深度資訊。亦即，距離資訊可以代表使用者頭部與深度擷取單元之間的距離。
在步驟115中，利用視線模型來預測使用者視線位置，以找出該使用者的一標的物注視位置。
在步驟120中，根據該使用者的該雙眼中心點位置，以計算該使用者的雙眼中心點的第一世界座標。
在步驟125中，根據該使用者的該標的物注視位置，算出該使用者的該標的物注視位置的一第二世界座標。
在步驟130中，根據該使用者的該雙眼中心點的第一世界座標與該使用者的該標的物注視位置的該第二世界座標，以計算出該使用者的一視線向量。
在步驟105中，將影像擷取單元所擷取的使用者影像反轉(flip)，並且將深度擷取單元所擷取的使用者影像反轉，以得到該第一影像。也就是說，第一影像包括兩張影像，其中一張影像是將影像擷取單元所擷取的使用者影像反轉所得到的影像，另一張影像是將深度擷取單元所擷取的使用者影像反轉所得到的影像。在本案實施例中，如果所使用的影像擷取單元非鏡像相機，則需要進行影像反轉。但如果所使用的影像擷取單元是鏡像相機，則可以不需要做影像翻轉。
此外，本案實施例更可以利用影像處理來偵測在第一影像中的使用者的頭部位置。並利用影像處理來找出使用者的雙眼中心點位置。
此外，更可以對第一影像進行去背景(background erase)操作，只保留使用者頭部的影像，其餘去除，以方便後續影像處理。去背景操作乃是選擇性操作。
請注意，在本實施例中，以螢幕為例做說明，但實際上，本案可應用於其他標的物(如電腦螢幕、任何透明材質(如玻璃)、任何非透明材質、投影布幕等)，此皆在本案精神範圍內。
另外，在本實施例中，於執行步驟105之前，更可以選擇性進行解析度校正，以找出各畫素所對應的解析度，其細節將於底下說明之。
另外，在本實施例中，視線模型更可以儲存下列資訊(底下的資訊乃是由視線模型所預測出)：(1)在第一影像中的使用者位置資訊；(2)在第一影像中的使用者臉部資訊，包括尺寸與旋轉角度等；以及(3)在第一影像中的使用者雙眼資訊(包括在第一影像中的使用者雙眼中心座標
Figure 02_image001
)，其中，使用者雙眼中心座標
Figure 02_image001
)以畫素為單位，且以影像的左上角為原點)。
現將參考第2A圖至第2C圖，以說明本案實施例如何進行解析度校正的細節。第2A圖顯示在進行解析度校正時，將校正件240分別置於距離影像擷取單元220為d1-d9的位置處，並在每一個位置d1-d9由影像擷取單元220擷取校正件的影像，以計算在該些位置d1-d9的畫素的解析度。參考符號210代表標的物，而220與230則分別代表影像擷取單元與深度擷取單元。在一可能實施例中，d1-d9分別為20cm、30cm、…、90cm(10cm為間隔)，但本案並不受限於此。在本案實施例中，校正件240的面積為30cm*30cm，但當知本案不受限於此。
現將說明如何得到畫素解析度。當校正件240在位置d1時，由影像擷取單元220對校正件240擷取影像。接著，由影像處理技術可以得知，所擷取到的校正件影像在高度與長度方面皆佔了x個畫素，則此位置d1的畫素解析度R1為R1=30/x(公分)，R2-R9可依此分別推出。也就是說，在位置d1處，畫素解析度R1較大，而在位置d9處，畫素解析度R9較小。亦即，在本案實施例中，畫素解析度代表該畫素在真實世界中是對應到幾公方。
第2B圖顯示本案實施例中，在進行解析度校正時所用的校正件240的示意圖。校正件240包括：校正板241(例如但不受限於，為30cm*30cm的正方形板)、校正桿243與底部245，用以支撐校正桿243。校正板241位於校正桿243的頂端。校正桿243例如但不受限於為150cm高，其中，從50cm開始，每10個cm有刻度。
第2C圖顯示在進行視線向量偵測時，當使用者站於目前位置時，第一影像的各畫素所對應的解析度
Figure 02_image003
。詳言之，目前解析度
Figure 02_image003
可表示如下：
Figure 02_image005
(1)
在上式(1)中，使用者站於位置
Figure 02_image007
與
Figure 02_image009
之中，d代表深度參數(代表使用者相距深度擷取單元之間的距離)，
Figure 02_image007
表示使用者所站位置的前一個整數距離(例如使用者站在36cm處，則
Figure 02_image007
=30cm)，
Figure 02_image009
表示使用者所站位置的下一個整數距離(例如使用者站在36cm處，則
Figure 02_image009
=40cm)，而
Figure 02_image011
與
Figure 02_image013
則分別代表位置
Figure 02_image015
所對應的解析度。
透過第2C圖，可以得知在所拍的第一影像中，使用者頭部大小的實際尺寸(平方公方)，亦即，將
Figure 02_image003
乘上所拍攝到之影像中的畫素數量即為使用者頭部大小的實際尺寸。
現將說明在步驟115與125的細節。請參照第3圖，其顯示在本案實施例中，如何找出使用者的該標的物注視位置的第二世界座標。如第3圖所示，利用視線模型來預測在標的物上的使用者視線位置，以找出該使用者的標的物注視位置(
Figure 02_image017
,
Figure 02_image019
)(其代表在標的物上的座標，以標的物的左上角為原點(0,0)，以畫素個數為單位)。
根據該使用者的該標的物注視位置(
Figure 02_image017
,
Figure 02_image019
)，來算出該使用者的該標的物注視位置的第二世界座標(
Figure 02_image021
,
Figure 02_image023
,
Figure 02_image025
)。亦即，根據下列公式(2-1)-(2-3)來找出使用者的該標的物注視位置的第二世界座標(
Figure 02_image021
,
Figure 02_image023
,
Figure 02_image025
)。在本案實施例中，世界座標以影像擷取單元的左下角為原點(0,0,0)。
Figure 02_image021
=
Figure 02_image027
*
Figure 02_image029
-
Figure 02_image031
(2-1)
Figure 02_image023
= 0 -
Figure 02_image033
*
Figure 02_image035
Figure 02_image037
(2-2)
Figure 02_image025
= 0                                    (2-3)
其中，
Figure 02_image039
代表影像擷取單元220的底部到標的物210的頂端之間的垂直距離(公分)，而
Figure 02_image031
為標的物210的左上角到影像擷取單元220的左下角之間的水平距離(公分)。
Figure 02_image029
=標的物的真實高度尺寸(公分)/一張影像在高度上的畫素個數。而
Figure 02_image041
=標的物的真實寬度尺寸(公分)/ 一張影像在寬度上的畫素個數。例如，假設標的物為電腦螢幕，其高度為30cm，而其寬度為50cm，由影像擷取單元210所拍攝的影像的解析度為1920(寬度)*1080(高度)，則
Figure 02_image029
=30(公分)/1080，而
Figure 02_image041
=50(公分)/1920。
接著，請參考第4圖，其顯示在本案實施例中，如何找出使用者的站立位置的世界座標。
在本案實施例中，使用者的站立位置的世界座標
Figure 02_image043
可以表示如下公式(3-1)-(3-3)：
Figure 02_image045
(3-1)
Figure 02_image047
Figure 02_image049
(3-2)
Figure 02_image051
(3-3)
Figure 02_image053
代表第一影像的高度(以畫素個數為單位)，
Figure 02_image055
代表由視線模型所預測出的在第一影像中的使用者雙眼中心座標(以畫素為單位)的x座標，
Figure 02_image057
則代表標的物上緣距離地面的高度(公分)，而參數
Figure 02_image059
代表深度參數，由深度擷取單元230所得，參考符號410代表第一影像，
Figure 02_image001
)代表在第一影像中的使用者雙眼中心座標。
進一步說明，在深度擷取單元得到參數
Figure 02_image059
之後，可以代入公式(1)，以求得
Figure 02_image003
。
接著請參考第5圖，以顯示本案實施例如何得到使用者雙眼中心點的第一世界座標(此世界座標仍然是以影像擷取單元的左上角為原點)，及如何得到使用者的視線向量。使用者雙眼中心點的第一世界座標
Figure 02_image061
如底下公式(4-1)-(4-3)所示：
Figure 02_image063
Figure 02_image065
(4-1)
Figure 02_image067
(4-2)
Figure 02_image069
(4-3)
其中，
Figure 02_image071
代表使用者的高度(公分)，而
Figure 02_image071
可以由底下公式(5)得到：
Figure 02_image073
)*(
Figure 02_image013
-
Figure 02_image011
)*
Figure 02_image075
+
Figure 02_image077
(5) 其中，
Figure 02_image077
代表使用者未被影像擷取單元所擷取到的高度，其可由解析度校正過程中推論而得。例如，使用者的身高有170公分，但在第一影像中，只有拍攝到使用者高度有150公分，也就是說。
Figure 02_image077
代表使用者未被影像擷取單元所擷取到的高度20公分(170-150=20)。進一步說明，當進行解析度校正時，由於校正件240上有刻度，當校正件處於位置d1時，可以從影像中得知，校正件有多少高度未被影像擷取單元擷取到(亦即在拍攝時，校正板241要完全入鏡，但是，校正桿243的下緣可能未被拍攝到)。故而在校正時，個別記錄在位置d1-d9處，校正桿243的下緣分別有多少公分未被拍攝到，而
Figure 02_image077
可從此資訊由查表與內插而得到。
最後，使用者視線向量
Figure 02_image079
可以由底下公式(6)得到：
Figure 02_image081
(6)
在本案實施例中，當標的物為非透明材質時(例如但不受限於，電腦螢幕、投影布幕等)，使用者視線向量
Figure 02_image079
指向此非透明標的物且原則上未穿透此非透明標的物。例如，標的物為電腦螢幕、投影布幕等，由本案實施例所推測出的使用者視線向量
Figure 02_image079
會指向此非透明標的物上的某一點，也就是代表使用者在看此非透明標的物上的某一點。
相反地，當標的物為透明材質時(例如但不受限於，玻璃等)，使用者視線向量
Figure 02_image079
乃是指向此透明標的物的後方的物件且原則上穿透此透明標的物。例如，使用者為駕駛人而標的物為透明玻璃(如火車的前擋玻璃)，由本案實施例所推測出的使用者視線向量
Figure 02_image079
代表使用者從火車內往外時，在看此火車的外部物件。
當有複數個使用者位於標的物前面時，第1圖的流程圖可以重複執行，直到偵測完所有使用者的視線向量為止。
現請參照第6圖，其顯示根據本案一實施例的視線向量偵測裝置的功能方塊圖。視線向量偵測裝置600包括：影像擷取單元610、深度擷取單元620與處理電路630。處理電路630耦接至影像擷取單元610與深度擷取單元620。影像擷取單元610與深度擷取單元620的擷取影像與資訊送至處理電路630，由處理電路630執行上述的視線向量偵測方法。其細節在此不重述之。
本案實施例提出以軟體方式找出多使用者的視線向量，不但準確度高且計算過程較為簡便，硬體要求不高。
此外，在本案實施例中，由於是利用影像處理來找出使用者雙眼中心點，也就是以影像處理來辨識臉部整體姿態來找出雙眼中心點，故而本案實施例可以無需偵測瞳孔的位置(如所知般，偵測瞳孔位置需要較為複雜過程)。故而，本案實施例具有較為簡單的優點。
另外，本案實施例是以影像擷取單元與深度擷取單元來擷取使用者影像，其中，影像擷取單元與深度擷取單元乃是以自然光為其光源。所以，在本案實施例中，無需以紅外線為光源來照射使用者，故而可以減少紅外線所可能造成的意外傷害。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
105-130:步驟210:標的物240:校正件220:影像擷取單元230:與深度擷取單元241:校正板243:校正桿245:底部410:第一影像600:視線向量偵測裝置610:影像擷取單元620:深度擷取單元630:處理電路
第1圖顯示根據本案一實施例的視線向量偵測方法流程圖。 第2A圖至第2C圖顯示本案實施例進行解析度校正的流程。 第3圖顯示在本案實施例中，找出使用者的該標的物注視位置的第二世界座標。 第4圖顯示在本案實施例中，找出使用者的站立位置的世界座標。 第5圖顯示本案實施例中，找出使用者雙眼中心點的第一世界座標，及得到使用者的視線向量。 第6圖顯示根據本案一實施例的視線向量偵測裝置的功能方塊圖。
105-130:步驟

Claims (16)

  1. 一種視線向量偵測方法，包括： 利用一影像擷取單元與一深度擷取單元來分別擷取一使用者影像以得到一第一影像與一距離資訊； 根據該第一影像與該距離資訊，找出該使用者的一雙眼中心點位置； 利用一視線模型來預測一使用者視線位置，以找出該使用者對一標的物之一標的物注視位置； 根據該使用者的該雙眼中心點位置，得到該使用者的雙眼中心點的一第一世界座標； 根據該使用者的該標的物注視位置，得到該使用者的該標的物注視位置的一第二世界座標；以及 根據該使用者的該雙眼中心點的第一世界座標與該使用者的該標的物注視位置的該第二世界座標，以計算出該使用者的一視線向量。
  2. 如申請專利範圍第1項所述之視線向量偵測方法，其中，該距離資訊為由該深度擷取單元所擷取的該第一影像中的一使用者頭部影像的一深度資訊。
  3. 如申請專利範圍第1項所述之視線向量偵測方法，其中，該第一影像包括兩張影像，其中一張影像是將該影像擷取單元所擷取的該使用者影像反轉所得到，另一張影像是將該深度擷取單元所擷取的該使用者影像反轉所得到。
  4. 如申請專利範圍第1項所述之視線向量偵測方法，其中，對該第一影像進行去背景操作。
  5. 如申請專利範圍第1項所述之視線向量偵測方法，其中，該標的物包括任何透明材質或任何非透明材質。
  6. 如申請專利範圍第1項所述之視線向量偵測方法，更包括進行解析度校正，以找出一畫素解析度。
  7. 如申請專利範圍第1項所述之視線向量偵測方法，更包括：根據該使用者的該雙眼中心點位置，得到該使用者的一站立位置的一第三世界座標，以及 根據該使用者的一站立位置的一第三世界座標與一使用者高度，得到該使用者的雙眼中心點的該第一世界座標。
  8. 如申請專利範圍第1項所述之視線向量偵測方法，其中，該視線模型儲存：在該第一影像中的一使用者位置資訊；在該第一影像中的一使用者臉部資訊，包括一尺寸與一旋轉角度等；以及在該第一影像中的一使用者雙眼資訊。
  9. 一種視線向量偵測裝置，包括： 一影像擷取單元與一深度擷取單元，分別擷取一使用者影像以得到一第一影像與一距離資訊；以及 一處理電路，耦接至該影像擷取單元與該深度擷取單元，該處理電路用以：     根據該第一影像與該距離資訊，找出該使用者的一雙眼中心點位置；     利用一視線模型來預測一使用者視線位置，以找出該使用者之一標的物之一標的物注視位置；     根據該使用者的該雙眼中心點位置，得到該使用者的雙眼中心點的一第一世界座標；     根據該使用者的該標的物注視位置，得到該使用者的該標的物注視位置的一第二世界座標；以及     根據該使用者的該雙眼中心點的第一世界座標與該使用者的該標的物注視位置的該第二世界座標，以計算出該使用者的一視線向量。
  10. 如申請專利範圍第9項所述之視線向量偵測裝置，其中，該距離資訊為由該深度擷取單元所擷取的該第一影像中的一使用者頭部影像的一深度資訊。
  11. 如申請專利範圍第9項所述之視線向量偵測裝置，其中，該第一影像包括兩張影像，其中一張影像是將該影像擷取單元所擷取的該使用者影像反轉所得到，另一張影像是將該深度擷取單元所擷取的該使用者影像反轉所得到。
  12. 如申請專利範圍第9項所述之視線向量偵測裝置，其中，該處理電路對該第一影像進行去背景操作。
  13. 如申請專利範圍第9項所述之視線向量偵測裝置，其中，該標的物包括任何透明材質或任何非透明材質。
  14. 如申請專利範圍第9項所述之視線向量偵測裝置，該處理電路更進行解析度校正，以找出一畫素解析度。
  15. 如申請專利範圍第9項所述之視線向量偵測裝置，該處理電路更： 根據該使用者的該雙眼中心點位置，得到該使用者的一站立位置的一第三世界座標，以及 根據該使用者的一站立位置的一第三世界座標與一使用者高度，得到該使用者的雙眼中心點的該第一世界座標。
  16. 如申請專利範圍第9項所述之視線向量偵測裝置，其中，該視線模型儲存：在該第一影像中的一使用者位置資訊；在該第一影像中的一使用者臉部資訊，包括一尺寸與一旋轉角度等；以及在該第一影像中的一使用者雙眼資訊。
TW107140925A 2018-11-16 2018-11-16 視線向量偵測方向與裝置 TWI704473B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107140925A TWI704473B (zh) 2018-11-16 2018-11-16 視線向量偵測方向與裝置
US16/231,724 US10769803B2 (en) 2018-11-16 2018-12-24 Sight vector detecting method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107140925A TWI704473B (zh) 2018-11-16 2018-11-16 視線向量偵測方向與裝置

Publications (2)

Publication Number Publication Date
TW202020622A TW202020622A (zh) 2020-06-01
TWI704473B true TWI704473B (zh) 2020-09-11

Family

ID=70727757

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107140925A TWI704473B (zh) 2018-11-16 2018-11-16 視線向量偵測方向與裝置

Country Status (2)

Country Link
US (1) US10769803B2 (zh)
TW (1) TWI704473B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522250B (zh) * 2020-05-28 2022-01-14 华为技术有限公司 智能家居系统及其控制方法与装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2515526A2 (en) * 2011-04-08 2012-10-24 DigitalOptics Corporation Europe Limited Display device with image capture and analysis module
TW201411413A (zh) * 2012-05-09 2014-03-16 Intel Corp 眼動追蹤式選擇性強調顯示器之一部分
US20160063303A1 (en) * 2014-09-02 2016-03-03 Hong Kong Baptist University Method and apparatus for eye gaze tracking
US20170285736A1 (en) * 2016-03-31 2017-10-05 Sony Computer Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法
TWI636381B (zh) * 2017-10-19 2018-09-21 財團法人工業技術研究院 互動顯示系統及互動顯示控制方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7533989B2 (en) * 2003-12-25 2009-05-19 National University Corporation Shizuoka University Sight-line detection method and device, and three-dimensional view-point measurement device
JP4829141B2 (ja) * 2007-02-09 2011-12-07 株式会社東芝 視線検出装置及びその方法
CN103140879B (zh) * 2010-09-30 2017-06-16 富士胶片株式会社 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序
EP2649932A4 (en) * 2010-12-08 2017-06-14 National University Corporation Shizuoka University Method for detecting point of gaze and device for detecting point of gaze
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
CN102749991B (zh) 2012-04-12 2016-04-27 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
WO2013183110A1 (ja) 2012-06-04 2013-12-12 株式会社Pfu 情報処理装置、方法およびプログラム
WO2014051010A1 (ja) * 2012-09-28 2014-04-03 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
US9568422B2 (en) * 2012-12-17 2017-02-14 Advantest Corporation Light beam incident device and reflected light measurement device
WO2014188727A1 (ja) 2013-05-22 2014-11-27 国立大学法人神戸大学 視線計測装置、視線計測方法および視線計測プログラム
WO2015066475A1 (en) * 2013-10-31 2015-05-07 The University of North Carlina at Chapel Hill Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
KR20150067608A (ko) * 2013-12-10 2015-06-18 한국전자통신연구원 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법
US9958938B2 (en) 2014-01-24 2018-05-01 Sony Corporation Gaze tracking for a mobile device
US20150296135A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring
TWI577327B (zh) 2014-08-14 2017-04-11 由田新技股份有限公司 瞳孔定位方法與裝置及其電腦程式產品
US10157313B1 (en) * 2014-09-19 2018-12-18 Colorado School Of Mines 3D gaze control of robot for navigation and object manipulation
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
JP6963820B2 (ja) * 2016-08-12 2021-11-10 国立大学法人静岡大学 視線検出装置
JP6971686B2 (ja) * 2017-08-02 2021-11-24 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2515526A2 (en) * 2011-04-08 2012-10-24 DigitalOptics Corporation Europe Limited Display device with image capture and analysis module
TW201411413A (zh) * 2012-05-09 2014-03-16 Intel Corp 眼動追蹤式選擇性強調顯示器之一部分
US20160063303A1 (en) * 2014-09-02 2016-03-03 Hong Kong Baptist University Method and apparatus for eye gaze tracking
US20170285736A1 (en) * 2016-03-31 2017-10-05 Sony Computer Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
TWI636381B (zh) * 2017-10-19 2018-09-21 財團法人工業技術研究院 互動顯示系統及互動顯示控制方法
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法

Also Published As

Publication number Publication date
US20200160545A1 (en) 2020-05-21
US10769803B2 (en) 2020-09-08
TW202020622A (zh) 2020-06-01

Similar Documents

Publication Publication Date Title
WO2020042345A1 (zh) 一种单相机采集人眼视线方向的方法及系统
CN109690553A (zh) 执行眼睛注视跟踪的系统和方法
TWI704501B (zh) 可由頭部操控的電子裝置與其操作方法
US11534063B2 (en) Interpupillary distance measuring method, wearable ophthalmic device and storage medium
WO2018030515A1 (ja) 視線検出装置
TWI486631B (zh) 頭戴式顯示裝置及其控制方法
KR100949743B1 (ko) 고글 형태를 갖는 착용형 시선 추적 장치 및 방법
CN107111863B (zh) 角膜成像的设备和方法
JP7480882B2 (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
US20140022371A1 (en) Pupil detection device
JP2018518233A5 (zh)
KR20030065379A (ko) 전방위 시각 시스템, 화상처리방법, 제어프로그램, 및판독가능한 기록매체
TW201814356A (zh) 頭戴顯示裝置與其鏡片位置調整方法
JP2012039591A (ja) 撮像装置
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
TWI704473B (zh) 視線向量偵測方向與裝置
TWI669703B (zh) 適於多人觀看的資訊顯示方法及資訊顯示裝置
US11205309B2 (en) Augmented reality system and anchor display method thereof
JP6785723B2 (ja) 視線計測装置
JPWO2022074865A5 (ja) 生体検知装置、制御方法、及びプログラム
US11467400B2 (en) Information display method and information display system
JP2017173455A (ja) 情報処理装置、情報処理方法及びプログラム
TWI641999B (zh) Eyeball recognition method and system
CN110858095A (zh) 可由头部操控的电子装置与其操作方法
JP2014102668A (ja) 表示装置