TW201717840A - 視線檢測系統、凝視點確認方法以及凝視點確認程式 - Google Patents

視線檢測系統、凝視點確認方法以及凝視點確認程式 Download PDF

Info

Publication number
TW201717840A
TW201717840A TW105139171A TW105139171A TW201717840A TW 201717840 A TW201717840 A TW 201717840A TW 105139171 A TW105139171 A TW 105139171A TW 105139171 A TW105139171 A TW 105139171A TW 201717840 A TW201717840 A TW 201717840A
Authority
TW
Taiwan
Prior art keywords
line
sight
user
left eye
right eye
Prior art date
Application number
TW105139171A
Other languages
English (en)
Inventor
洛克藍 威爾森
瀬古圭一
小島由香
金子大和
Original Assignee
Fove股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove股份有限公司 filed Critical Fove股份有限公司
Publication of TW201717840A publication Critical patent/TW201717840A/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明揭露一種頭戴式顯示器，被裝戴在用戶的頭部上使用，其中，將一凸透鏡設置在裝戴了該頭戴式顯示器時，與該用戶的眼角膜相對的位置上。將多個紅外線光源設置在該凸透鏡的周圍，而對著該用戶的眼角膜發射紅外線。一攝影機，對包含該用戶的眼角膜的被攝影物的影像加以攝影。一框體，收納該凸透鏡、該紅外線光源、以及該攝影機。在此，將該凸透鏡的周圍等分成該用戶的外眼角側的區域的第一區域、內眼角側的區域的第二區域、頭頂側的區域的第三區域、下巴側的區域的第四區域的四個區域時，該多個紅外線光源分別被設置在該第一區域或該第二區域的其中之一中。

Description

視線檢測系統、凝視點確認方法以及凝視點確認程式
本發明係關於一種頭戴式顯示器。
將近紅外線等不可見光發射到用戶的眼睛，並藉由分析包含其反射光的用戶的眼睛的影像而檢測出用戶的視線方向的技術乃是已知技術。使檢測出的用戶的視線方向的訊息反映在，例如PC(Personal Computer)、遊戲機等的顯示器上，而當作指向裝置使用，也已成為實際的技術。
有鑑於此，本發明的目的在於，提供一種檢測裝戴了頭戴式顯示器的用戶的視線方向的技術。
為瞭解決上述的課題，本發明的一實施方式為一種視線檢測系統，包含被裝戴在用戶的頭部上使用的一頭戴式顯示器、以及檢測該用戶的視線的一視線檢測裝置，其中該頭戴式顯示器具有一第一紅外線發射部，其對該用戶的右眼發射紅外線、一第二紅外線發射部，其對該用戶的左眼發射紅外線、一第一攝影元件，對被發射該紅外線的該右眼加以攝影、一第二攝影元件，對被發射該紅外線的該左眼加以攝影、及一顯示部，顯示三維影像，且該視線検出装置具有一第一檢測部，基於由該第一攝影元件所 攝影到的影像檢測該右眼的視線方向、一第二檢測部，基於由該第二攝影元件所攝影到的影像檢測該左眼的視線方向、及一確認部，基於該右眼的視線方向與該左眼的視線方向，而確認該用戶於該三維影像之中所凝視著的場所。
再者，第一檢測部也可計算表示該右眼視線方向的右眼視線向量，而作為該右眼的視線方向，且第二檢測部也可計算表示該左眼視線方向的左眼視線向量，而作為該左眼的視線方向。
再者，顯示部也可在縱深方向上顯示出由多個層所形成的三維影像，且確認部也可確認右眼視線向量和左眼視線向量與各層相交的交點間的距離為最短的層，而將該層視為用戶所凝視著的場所的層。
再者，確認部也可基於右眼視線向量與左眼視線向量的交點，而確認用戶所凝視著的場所。
再者，確認部也可基於以右眼視線向量為中心的預定半徑的圓柱體、與以左眼視線向量為中心的預定半徑的圓柱體的交差區域，而確認用戶所凝視著的場所。
再者，確認部也可基於與右眼視線向量平行的多個第一平行視線向量和與左眼視線向量平行的多個第二平行視線向量的交點，而確認用戶所凝視著的場所。
再者，即使任意地組合以上的組成元件、或即使將本發明的表現型態改變成方法、裝置、系統、計算機程式、資料結構、記錄媒體等，仍可有效地當作本發明的實施方式。
藉由本發明的話，可提供一種檢測裝戴了頭戴式顯示器的用戶的視線方向的技術。
1‧‧‧視線檢測系統
100‧‧‧頭戴式顯示器
103、103a、103b、103c、103d、103e、103f‧‧‧紅外線光源
105、105a、105b、105c、105d、105e、105f‧‧‧亮點
108‧‧‧影像顯示元件
112‧‧‧熱反射鏡
114、114a、114b‧‧‧凸透鏡
116‧‧‧攝影機
118‧‧‧第一通信部
121‧‧‧顯示部
122‧‧‧紅外線發射部
123‧‧‧影像處理部
124‧‧‧攝影部
130‧‧‧影像顯示系統
150‧‧‧框體
152、152a、152b‧‧‧透鏡支持部
160‧‧‧裝戴件
170‧‧‧頭戴式耳機
200‧‧‧影像再生裝置
220‧‧‧第二通信部
221‧‧‧第一檢測部
222‧‧‧第二檢測部
223‧‧‧確認部
224‧‧‧影像輸出部
225‧‧‧記錄部
230‧‧‧視線方向檢測部
300‧‧‧用戶
302、302a、302b‧‧‧眼角膜
306‧‧‧二維座標系
701a‧‧‧右眼視線向量
701b‧‧‧左眼視線向量
702、911a、911b、921a、921b‧‧‧交點
910、920‧‧‧選單影像
1101a、1101b‧‧‧圓柱體
1102‧‧‧相交的區域
P‧‧‧中心
Q1、Q2、Q3、Q4、Q5、Q6、Q7、Q8、Q9‧‧‧點
S801、S802、S803、S804、S805、S1003、S1004、S1005、S1203、S1204、S1205‧‧‧步驟
X1、Y1‧‧‧座標
圖1為繪示出用戶裝戴了根據本實施方式的頭戴式顯示器的模樣的外觀圖。
圖2為繪示出根據本實施方式的頭戴式顯示器的影像顯示系統的外觀的透視示意圖。
圖3為繪示出根據本實施方式的頭戴式顯示器的影像顯示系統的光學配置的示意圖。
圖4為繪示出根據本實施方式的頭戴式顯示器的構造的方塊圖。
圖5為說明用以校準根據本實施方式的視線方向的檢測的示意圖。
圖6為說明用戶的眼角膜的位置座標的示意圖。
圖7為說明與本第一實施例有關的確認用戶所凝視著的場所的方法的概念圖。
圖8為繪示出與第一實施例有關的頭戴式顯示器系統的動作的流程圖。
圖9為說明與本第二實施例有關的確認用戶所凝視著的場所的方法的概念圖。
圖10為繪示出與第二實施例有關的頭戴式顯示器系統的動作的流程圖。
圖11為說明與本第三實施例有關的確認用戶所凝視著的場所的方法的概念圖。
圖12為繪示出與第三實施例有關的頭戴式顯示器系統的動作的流程圖。
圖1為繪示出根據本實施方式的視線檢測系統1的外觀的示意圖。根據本實施方式的視線檢測系統1，包含頭戴式顯示器100與影像再生裝置200。如圖1所示，頭戴式顯示器100被裝戴在用戶300的頭部上使用。
影像再生裝置200生成由頭戴式顯示器100所顯示的影像。雖然沒有限制，但舉例而言，影像再生裝置200為桌上型的遊戲機、攜帶式遊戲機、PC、平板計算機、智能手機、平板手機、視頻播放機、電視機等可再生影像的裝置。影像再生裝置200以無線或有線的方法與頭戴式顯示器100連接。在圖1所示的例子中，影像再生裝置200以無線的方法與頭戴式顯示器100連接。影像再生裝置200與頭戴式顯示器100的無線連接，利用例如已知的Wi-Fi(註冊商標)、藍芽(Bluetooth，註冊商標)等的無線通信技術而可加以實現。雖然沒有限制，但舉例而言，頭戴式顯示器100與影像再生裝置200之間的影像的傳送乃依據Miracast(商標)、WiGig(商標)、WHDI(商標)等的規格運作。
再者，圖1繪示出頭戴式顯示器100與影像再生裝置200為不同的裝置的情況的例子。然而，也可將影像再生裝置200內建在頭戴式顯示器100之中。
頭戴式顯示器100包括框體150、裝戴件160、以及頭戴式耳機170。框體150收納影像顯示元件、用以提供影像給用戶300的影像顯示系統、未繪示的Wi-Fi模組、藍芽(Bluetooth，註冊商標)模組等的無線傳送模組等。裝戴件160將頭戴式顯示器100裝戴在用戶300的頭部。例如藉由帶子、有伸縮性的帶子等實現裝戴件160。如果用戶300利用裝戴件160裝戴上頭戴式顯示器100時，框體150就會覆蓋住用戶300的眼睛。因此，當用戶300裝戴上頭戴式顯示器100時，用戶300的視野就被框體150所遮蓋。
頭戴式耳機170輸出影像再生裝置200所再生的影像的聲音。頭戴式耳機170也可非固定在頭戴式顯示器100之上。即使在用戶300利用裝戴件160裝戴了頭戴式顯示器100的狀態下，也可自由地裝卸頭戴式耳機170。
圖2為繪示出根據本實施方式的頭戴式顯示器100的影像顯示系統130的外觀的透視示意圖。更具體而言，圖2繪示出：在根據本實施方式的框體150之內，裝戴了頭戴式顯示器100時的用戶300的眼角膜302與相對的區域的關係圖。
如圖2所示，當用戶300裝戴了頭戴式顯示器100的時候，左眼用凸透鏡114a將位在面對著用戶300的左眼的眼角膜302a的位置上。同樣地，當用戶300裝戴了頭戴式顯示器100的時候，右眼用凸透鏡114b將位在面對著用戶300的右眼的眼角膜302b的位置上。左眼用凸透鏡114a與右眼用凸透鏡114b分別由左眼用透鏡支持部152a與右眼用透鏡支持部152b所夾持。
在本說明書的以下內容中，除了要特別區分左眼用凸透鏡114a與右眼用凸透鏡114b的情況以外，皆簡單地表示成「凸透鏡114」。同樣地，除了要特別區分用戶300的左眼的眼角膜302a與用戶300的右眼的眼角膜302b的情況以外，皆簡單地表示成「眼角膜302」。左眼用透鏡支持部152a與右眼用透鏡支持部152b也是一樣地，除了要特別區分的情況以外，皆表示成「透鏡支持部152」。
在透鏡支持部152之上，設有多個紅外線光源103。為了避免說明複雜起見，在圖2之中，對於第一紅外線光源103a、第二紅外線光源103b、以及第三紅外線光源103c(以下，除了要特別區分的情況以外，皆表示成「紅外線光源103」)附加標號，具有與圖中附加有標號的元件相同形狀者也代表紅外線光源103。在圖2所示的例子中，左眼用透鏡支持部152a之上例如設有六個紅外線光源103。同樣地，右眼用透鏡支持部152b之上也例如 設有六個紅外線光源103。如此，免於將紅外線光源103直接設在凸透鏡114之上，而是將其設在用以夾持凸透鏡114的透鏡支援部152之上，藉此，可以簡化紅外線光源103的安裝。一般而言，因為透鏡支持部152由樹脂等所形成，故相較於由玻璃等所形成的凸透鏡114而言，容易在透鏡支持部152上安裝紅外線光源103。
如上所述，透鏡支持部152例如為用以夾持凸透鏡114的構件。因此，設在透鏡支持部152之上的紅外線光源103將位在凸透鏡114的周圍的位置上。再者，雖然對各眼睛發射紅外線光的紅外線光源103的數量為六個，但本發明並不限制紅外線光源的數量，只要有至少一個對應於各眼睛的紅外線光源即可，並以設置二個以上為佳。
圖3是本發明之第一實施例的框體所收納的影像顯示系統的光學配置的示意圖，是從左眼側的側面所看到的圖2的框體150的圖式。影像顯示系統130例如包括紅外線光源103、影像顯示元件108、熱反射鏡(Hot mirror)112、凸透鏡114、攝影機116、以及第一通信部118。
紅外線光源103例如是近紅外線的光源，且光波長範圍介於700奈米(nm)~2500奈米，但以上參數範圍不以此為限制。一般而言，近紅外線為用戶300的肉眼無法察覺的不可見光的波長譜帶的光線。以下將近紅外線通稱為紅外線。
影像顯示元件108顯示用以提供給用戶300的影像。影像顯示元件108所顯示的影像是由視線檢測裝置200之中的影像輸出部224所產生。以下將就影像輸出部224加以說明。例如，利用已知的LCD(Liquid Crystal Display)、有機EL顯示器(Organic Electroluminescent Display)可以實現影像顯示元件108。
當用戶300裝戴了頭戴式顯示器100時，熱反射鏡112將位元在影像顯示元件108與用戶300的眼角膜302之間。熱反射鏡112具有以下特性，即供影像顯示元件108所產生的可見光穿過，但將近紅外線反射。
相對於熱反射鏡112而言，凸透鏡114位在影像顯示元件108的相反側。換言之，當用戶300裝戴了頭戴式顯示器100時，凸透鏡114將位在熱反射鏡112與用戶300的眼角膜302之間。亦即，當頭戴式顯示器100被裝戴到用戶300時，凸透鏡114將位在面對著用戶300的眼角膜302的位置上。
凸透鏡114匯聚穿過熱反射鏡112的影像顯示光線。因此，凸透鏡114具有當作將影像顯示元件108所產生的影像放大而提供給用戶300的影像擴大部的功能。再者，為了方便說明起見，雖然在圖2之中僅繪示出一個凸透鏡114，凸透鏡114也可以是結合各種透鏡所組成的透鏡組，或者，也可以是一面為曲面、而另一面為平面的單凸透鏡。
多個紅外線光源103被設置在凸透鏡114的周圍。紅外線光源103朝向用戶300的眼角膜302發射紅外線。
雖然未繪示，根據本實施方式的頭戴式顯示器100的影像顯示系統130具備二個影像顯示元件108，而可單獨地產生用以提供給用戶300的右眼的影像與用以提供給左眼的影像。因此，根據本實施方式的頭戴式顯示器100可以分別提供右眼用的視差影像與左眼用的視差影像給用戶300的右眼與左眼。藉此，根據本實施方式的頭戴式顯示器100可以對用戶300提供具有層次感的立體影像。
如上所述，熱反射鏡112可讓可見光穿過，而將近紅外線加以反射。因此，影像顯示元件108所發射的影像光會穿過熱反射鏡112而到達用戶300的眼角膜302。此外，由紅外線光源103所發射、而在凸透鏡114的內部的反射區域被反射的紅外線會到達用戶300的眼角膜302。
到達用戶300的眼角膜302的紅外線會被用戶300的眼角膜302反射，而再度射向凸透鏡114的方向。此紅外線會穿過凸透鏡114，而被熱反射鏡112反射。攝影機116具備用以濾除可見光的濾光片，而對被熱反射鏡112反射的近紅外線加以攝影。亦即，攝影機116為近紅外線攝影機，其對由紅外線光源103所發射、而在用戶300的眼睛處被眼角膜反射的近紅外線進行攝影。
再者，雖然未繪示，根據本實施方式的頭戴式顯示器100的影像顯示系130具有二個攝影機116，亦即，對包含被右眼所反射的紅外線的影像加以攝影的第一攝影部、對包含被左眼所反射的紅外線的影像加以攝影的第二攝影部。藉此，可以獲得用以檢測用戶300的右眼以及左眼的兩眼的視線方向的影像。
第一通信部118將攝影機116所攝影到的影像輸出到用以檢測用戶300的視線方向的視線檢測裝置200。具體而言，第一通信部118將攝影機116所攝影到的影像傳送到視線檢測裝置200。雖然以下將就作為視線方向檢測部的第一檢測部221、第二檢測部222的細節加以說明，其可藉由視線檢測裝置200的CPU(Central Processing Unit)所執行的視線檢測程式而加以實現。再者，在頭戴式顯示器100具備CPU、記錄體等的計算資源的情況時，頭戴式顯示器100的CPU也可執行用以實現視線方向檢測部的程式。
在攝影機116所攝影到的影像之中，由在用戶300的眼角膜302處被反射的近紅外線而來的亮點、以及包含以近紅外線的波長譜帶所觀測到的用戶300的眼角膜302的眼睛的影像將被拍到。以下將詳細說明之。
如上所述，在根據本實施方式的影像顯示系統130之中，雖然主要就用以提供給用戶300的左眼的影像的構造加以說明，但用以提供給用戶300的右眼的影像的構造也與上述相同。
圖4為和視線檢測系統1有關的頭戴式顯示器100與視線檢測装置200的方塊圖。如圖4所示，再者，如上所述地，視線檢測系統1包含可互相實施通信的頭戴式顯示器100與視線檢測装置200。
如圖4所示，頭戴式顯示器100具有第一通信部118、顯示部121、紅外線發射部122、影像處理部123、攝影部124。
第一通信部118為具備可與視線檢測裝置200的第二通信部220實施通信的機能的通信界面。如上所述地，第一通信部118可藉由有線通信或無線通信而與第二通信部220實施通信。可使用的通信規格的例子為以上所述者。第一通信部118將從攝影部116或影像處理部123傳送而來、用以檢測視線的影像資料發送給第二通信部220。再者，第一通信部118將從視線檢測裝置200發送而來的三維影像資料傳輸到顯示部121。
顯示部121具備使影像顯示元件108顯示從第一通信部118傳輸而來的三維影像資料的機能。三維影像資料包含右眼用視差影像與左眼用視差影像，而那些則成為視差影像對。
紅外線發射部122控制紅外線光源103，而向用戶的右眼或左眼發射紅外線。
影像處理部123則視需要地對攝影部116所攝影到的影像進行影像處理，而傳輸到第一通信部118。
攝影部124利用右眼用的攝影機116與左眼用的攝影機117，對包含被各眼所反射的近紅外線影像加以攝影。攝影部124將攝影得到的影像傳輸到第一通信部118或影像處理部123。
如圖4所示，視線檢測裝置200具有第二通信部220、第一檢測部221、第二檢測部222、確認部223、影像輸出部224、記錄部225。
第二通信部220為具備可與頭戴式顯示器100的第一通信部118實施通信的機能的通信界面。如上所述，第二通信部220可藉由有線通信或無線通信而與第一通信部118實施通信。
第一檢測部221接收從第二通信部220而來的用以檢測用戶的右眼的視線的影像資料，而檢測用戶的右眼的視線方向。第一檢測部221利用以下所述的方法計算出表示用戶的右眼的視線方向的右眼視線向量，而傳輸到確認部223。
第二檢測部222接收從第二通信部220而來的用以檢測用戶的左眼的視線的影像資料，而檢測用戶的左眼的視線方向。第二檢測部222利用以下所述的方法計算出表示用戶的左眼的視線方向的左眼視線向量，而傳輸到確認部223。
確認部223基於從第一檢測部221傳輸而來的右眼視線向量、與從第二檢測部222傳輸而來的左眼視線向量，而確認用戶所凝視著的頭戴式顯示器100的顯示元件108所顯示的三維影像之中的場所。在本實施例之中，確認部223求出右眼視線向量與左眼視線向量的交點，並將此交點的座標轉換到三維影像的座標系，而確認出所凝視著的三維影像的場所。
影像輸出部224產生使頭戴式顯示器100的顯示部121所顯示出的三維影像資料，而傳輸到第二通信部220。再者，影像輸出部224產生用於校準視線檢測用的標記影像資料，而傳輸到第二通信部220。影像輸出部224於輸出的三維影像的座標系以及該座標系中，保有表示被顯示出的物體的三維的位置座標的訊息。
記錄部225為記錄著視線檢測裝置200之動作所需的各種程式、資料的記錄媒體。
接著，就根據本實施方式的視線方向的檢測加以說明。
圖5為說明用以校準根據本實施方式的視線方向的檢測的示意圖。用戶300的視線方向是藉由：視線檢測裝置200內的第一檢測部221以及第二檢測部222對攝影機116所攝影到、而由第一通信部118輸出到視線檢測裝置200的影像進行分析而加以實現。在此，雖然就第一檢測部221的情況加以說明，但第二檢測部222的情況也是相同的。
投射輸出部224產生如圖5所示般的點Q1到點Q9的九個點(標記影像)，而使頭戴式顯示器100的影像顯示元件108加以顯示。視線檢測裝置200依照點Q1到點Q9的順序使用戶300凝視各點。此時，用戶300被要求保持脖子不動而盡可能地僅藉由眼球的移動去凝視各點。攝影機116對包含當用戶300凝視著點Q1到點Q9的九個點時的用戶300的眼角膜302的影像加以攝影。
圖6為說明用戶300的眼角膜302的位置座標的示意圖。視線檢測裝置200內的第一檢測部221分析攝影機116所攝影到的影像而檢測由紅外線而來的亮點105。當用戶300僅藉著眼球的移動而凝視著各點的時候，則即使用戶凝視著任一點的情況時，亮點105的位置被認為並不會變動。如此一來，第一檢測部221會以檢測出的亮點105為基準，而在攝影機116所攝影到的影像中定出二維座標系306。
第一檢測部221再藉由分析攝影機116所攝影到的影像，而檢測用戶300的眼角膜302的中心P。這可藉由，例如利用霍夫變換(Hough transformation)、邊緣抽取處理等已知的影像處理技術而加以實現。藉此，第一檢測部221可獲得預定出的二維座標系306之中的用戶300的眼角膜302的中心P的座標。
在圖5之中，將影像顯示元件108所顯示的顯示畫面之中預定出的二維座標系之中的點Q1到點Q9的座標分別顯示為Q1(x1，y1)T、Q2(x2， y2)T……，Q9(x9，y9)T。各座標是以，例如位在各點的中心的像素為編號。此外，分別將用戶300凝視著點Q1到點Q9的時候的用戶300的眼角膜302的中心P顯示為點P1到點P9。此時，分別將二維座標系306之中的點P1到點P9的座標顯示為P1(X1，Y1)T，P2(X2，Y2)T，……，P9(X9，Y9)T。再者，T顯示向量或矩陣的轉置。
現在，將大小為2x2的矩陣M定義成如以下的公式(1)。
此時，如果矩陣M滿足以下的公式(2)，則矩陣M為用戶300的視線方向投影到影像顯示元件108所顯示的影像面的矩陣。
QN=MPN(N=1，…，9) (2)
如果詳細地寫出上述的公式(2)時，將如以下的公式(3)。
如果改變公式(3)的型態的話，則可得到以下的公式(4)。
在此，如果進行以下的替換，[數學式4] 則可得到以下的公式(5)。
y=Ax (5)
在公式(5)之中，因為向量y的元素是視線方向檢測部使影像顯示元件108所顯示的點Q1到點Q9的座標，故為已知。此外，因為矩陣A的元素是用戶300的眼角膜302的頂點P的座標，因此可以獲得。因此，第一檢測部221可以獲得向量y以及矩陣A。再者，將轉換矩陣M的元素排列而成的向量的向量x為未知。因此，在向量y與矩陣A為已知時，推算矩陣M的問題為求出未知的向量x的問題。
如果公式的數目(亦即，第一檢測部221在校準時提供給用戶300的點Q的數目)比未知數的數目(亦即向量x的元素數目4)多的話，則公式(5)為優勢判定問題。在式(5)所示的例子中，因為公式的數目為九個，所以是優勢判定問題。
將向量y與向量Ax的誤差向量作為向量e。亦即，e=y-Ax。此時，代表向量e的元素的平方和為最小的意義的最佳的向量xopt可由以下的公式(6)求得。
xopt=(ATA)-1ATy (7)在此「-1」代表反矩陣。
第一檢測部221藉由利用求得的向量xopt的元素，而形成公式(1)的矩陣M。藉此，依據公式(2)，第一檢測部221藉由利用用戶300的眼角 膜302的頂點P的座標與矩陣M，而可推算出用戶300的右眼正在凝視影像顯示元件108所顯示的動態影像面上的二維的範圍的何處。藉此，第一檢測部221可計算出連結影像顯示元件108上的右眼的凝視點與用戶的右眼的角膜的頂點的右眼視線向量。同樣地，第二檢測部222可計算出連結影像顯示元件108上的左眼的凝視點與用戶的左眼的角膜的頂點的左眼視線向量。
圖7為繪示出與本第一實施例有關的確認用戶所凝視著的場所的方法的概念圖。在圖7之中，繪示出用戶300的左眼302a、右眼302b、與用戶由被顯示在頭戴式顯示器100之中的三維影像所辨識出的三維影像的一個例子的示意圖。該影像由影像輸出部224所產生，並由第二通信部220發送給頭戴式顯示器100，而藉由顯示部121在影像顯示元件108上顯示出來。
如圖7所示，依據被顯示在頭戴式顯示器100的三維影像，男孩子、狗、女性、汽車、以及車內的駕駛人被收納在用戶300的視野之中。在圖7之中，為了方便說明，故為了清楚地表現出三維影像而繪示出x軸、y軸、z軸的三軸，但這些軸並非顯示出來作為影像的。
基於圖7所示的用戶300的左眼302a的視線方向所獲得的右眼視線向量701a、與基於右眼302b的視線方向所獲得的左眼視線向量701b，在交點702處相交。亦即，交點702為用戶的焦點，也就是所謂用戶在三維影像之中所凝視著的場所。藉由計算兩眼的視線向量、並求出其交點，則即使從用戶300所見的三維影像的正面還顯示著別的物體(男孩子)，仍可檢測出：用戶正注視著比那更遠端所顯示出的汽車的駕駛人。
以下利用圖8的流程圖說明於該檢測中的視線檢測系統1的動作。圖8為繪示出根據本實施方式的視線檢測系統1的動作的流程圖。
頭戴式顯示器100的攝影機116分別對包含被右眼所反射的紅外線的右眼影像、與包含被左眼所反射的紅外線的左眼影像加以攝影(步驟 S801)。攝影部124將從各攝影機116所取得的右眼影像與左眼影像傳輸到影像處理部123。影像處理部123對傳輸而來的影像資料進行預定的處理，並傳輸到第一通信部118。接著，第一通信部118將從影像處理部123傳輸而來的處理後的影像資料發送到視線檢測裝置200。
視線檢測裝置200的第二通信部210在接收到影像資料之後，就將右眼影像傳輸給第一檢測部221，並將左眼影像傳輸給第二檢測部222。
第一檢測部221參考傳輸而來的右眼影像，並利用以上的數學式，確認相對於用戶的右眼的影像顯示元件108的凝視點。接著，就連結計算出的凝視點的座標、與用戶300的右眼的角膜的頂點P的右眼視線向量加以計算(步驟S802)。第一檢測部221將計算出的右眼視線向量傳輸給確認部223。
第二檢測部222參考傳輸而來的左眼影像，並利用以上的數學式，確認相對於用戶的左眼的影像顯示元件108的凝視點。接著，就連結計算出的凝視點的座標、與用戶300的左眼的角膜的頂點P的左眼視線向量加以計算(步驟S802)。第二檢測部222將計算出的左眼視線向量傳輸給確認部223。
確認部223就傳輸而來的右眼視線向量與左眼視線向量的交點加以計算(步驟S803)。
確認部223將計算出的交點轉換到影像輸出部224所輸出的三維影像的三維空間的座標系(步驟S804)。
確認部223將轉換後的交點座標確認為用戶在三維影像空間中所凝視著的場所(步驟S805)。
逐步地進行圖8所示的處理，則視線檢測系統1可正確地確認出用戶所凝視著的場所。
依據本實施例的話，視線檢測系統1可獲得用戶的右眼的視線方向、與左眼的視線方向的兩眼的視線方向。因此，由於可以確認三維影像 之中的縱深方向上的交差點，因此即使以三維影像的形式使各種的物體重畳地顯示，在那些重畳顯示的物體當中，仍可確認用戶所凝視著的物體。
<第二實施例>
在上述第一實施例中，說明了：基於用戶300的右眼的視線方向的右眼視線向量、與左眼的視線方向的左眼視線向量的交點而確認出用戶300於頭戴式顯示器100所顯示的三維影像中所凝視著的場所。
然而，由第一檢測部221與第二檢測部222所計算出的右眼視線向量與左眼視線向量並不一定具有交點。
在此，於本實施例中，即使是右眼視線向量與左眼視線向量不具有交點的情況，將就可一定程度地確認出用戶所凝視著的場所的方法加以說明。
再者，本第二實施例僅在於確認部223的確認方法有所不同，而其它的組成皆與上述第一實施例相同，故在此省略確認部223以外的說明。
於本第二實施例之中，將三維影像作為顯示在多個層的影像。接著，與本第二實施例有關的確認部223基於用戶的右眼視線向量和左眼視線向量與各層相交的交點間的距離，確認那些交點間的距離為最短的層，而作為用戶所凝視著的場所(層)。現在，更具體地說明的話，有層L1、L2、L3存在，而將層L1、L2、L3、……與右眼視線向量的交點定作為Pr1、Pr2、Pr3、……、並將層L1、L2、L3、……與左眼視線向量的交點定作為Pl1、Pl2、Pl3。接著，將交點Pr1與交點Pl1之間的距離定作為D1、將交點Pr2與交點Pl2之間的距離定作為D2、將交點Pr3與交點Pl3之間的距離定作為D3。確認部223就計算出的交點間的距離D1、D2、D3、…之中的最短的距離加以確認。接著，確認對應於交點間的距離為最短的距離的層，而作為用戶所凝視著的場所(層)。
圖9為繪示出與本第二實施例有關的確認用戶300所凝視著的場所的方法的概念的示意圖。於本實施例之中，在頭戴式顯示器100之中，以圖9所示的影像作為所顯示的影像。與第一實施例不同的是：在三維影像中，顯示出各種的訊息的選單影像910以及選單影像920被顯示在三維影像上。於三維影像之中，此種選單影像910、920可利用具備由多個層而成的構造加以顯示。該影像由影像輸出部224所產生，並藉由第二通信部220發送到頭戴式顯示器100，而藉由顯示部121在影像顯示元件108上顯示出來。
在此，於本第二實施例之中，基於用戶300的左眼視線向量701a與右眼視線向量701b分別與選單影像910、920相交的交點，以確認用戶所凝視著的選單影像(層)為例加以說明。
具體而言，如圖9所示，將用戶300的右眼視線向量701a與選單影像910的交點定作為交點911a。再者，將用戶300的左眼視線向量701b與選單影像910的交點定作為交點911b。接著，將交點911a與交點911b之間的距離定作為D1。
另一方面，如圖9所示，將用戶300的右眼視線向量701a與選單影像920的交點定作為交點921a。再者，將用戶300的左眼視線向量701b與選單影像920的交點定作為交點921b。接著，將交點921a與交點921b之間的距離定作為D2。
將如此所計算出的距離D1與D2的較短的一方確認成用戶300所凝視著的場所(層)。這是因為：交點之間的距離較短的一方被認為是較靠近用戶的焦點之故。
圖10為繪示出與本第二實施例有關的視線檢測系統1的動作的流程圖。於本流程圖中，因為到步驟S802為止皆與第一實施例相同，故在此省略到步驟S802為止的說明。
當用戶的右眼視線向量以及左眼視線向量傳輸而來時，確認部223就其與三維影像上所顯示的各層的交點加以計算(步驟S1003)。亦即，以圖9的例子而言，確認部223計算出與選單畫面910和選單畫面920的交點。
確認部223計算出於各層中的與右眼視線向量的交點、和與左眼視線向量的交點之間的交點間的距離(步驟S1004)。
確認部223從計算出的各交點間的距離之中，確認出最短的距離。接著，將對應於確認成最短的交點間的距離的層確認為用戶所凝視著的場所(層)(步驟S1005)。
再者，於本第二實施例之中，雖然將選單等的影像資料繪示成層構造的例子加以顯示，但於圖9所示的三維影像的x軸方向(縱深方向)上，考慮三維影像是由多個層所形成時，也可作為確認凝視場所。
亦即，例如，於x軸方向上的座標x1、x2、x3中，假設存在有與y-z平面平行的一平面而將其視為一層時，則利用上述的方法，也可確認與那一層相交的交點間的距離較短的層而視為用戶300所凝視著的層。接著，如上述般地，也可確認那個交點與交點的中點而視為用戶300的凝視點。
依據本第二實施例的話，在計算出的用戶的右眼視線向量與左眼視線向量沒有交點的情況時，以視線檢測系統1作為確認用戶於三維影像中所凝視著的場所的方法是具有効果的。再者，考慮三維影像具有由多個層所形成的構造時，藉由計算交點間距離的所謂的簡單的組成，可確認用戶所凝視著的場所。
<第三實施例>
於上述第二實施例之中，於三維影像中，在具有多個層的情況時，求出用戶300的視線向量與各層的交點，並將對應於交點間的距離為最短的層確認成用戶所凝視著的層。
於本第三實施例之中，於三維影像中，在沒有層構造的情況、且在右眼視線向量與左眼視線向量沒有交點時，將就確認用戶所凝視著的場所的方法加以說明。
再者，本第三實施例僅在於確認部223的確認方法有所不同，而其它的組成皆與上述第一實施例、第二實施例相同，故在此省略確認部223以外的說明。
確認部223與上述第一實施例、第二實施例不同，在於：確認以左眼視線向量701a為中心的預定半徑的圓柱體、與以右眼視線向量701b為中心的預定半徑的圓柱體相交的區域，而以最靠近該區域的位置的三維影像中的物體作為用戶所凝視著的場所。
圖11為繪示出與本第三實施例有關的確認用戶300所凝視著的場所的方法的概念的示意圖。該影像由影像輸出部224所產生，並由第二通信部220發送給頭戴式顯示器100，而藉由顯示部121在影像顯示元件108上顯示出來。如圖11所示，假設有以用戶的左眼視線向量701a為中心的預定半徑的圓柱體1101a。同樣地，假設有以用戶的右眼視線向量701b為中心的預定半徑的圓柱體1101b。接著，可確認圓柱體1101a與圓柱體1101b相交的區域1102，而作為用戶300在三維影像中所凝視著的場所。藉此，可得知用戶300所凝視的是三維影像中的男孩子。
圖12為繪示出與本第三實施例有關的視線檢測系統1的動作的流程圖。於本流程圖中，因為到步驟S802為止皆與第一實施例相同，故在此省略到步驟S802為止的說明。
確認部223在左眼視線向量與右眼視線向量傳輸來了之後，就計算表示以左眼視線向量為中心的圓柱體1101a的數學式F。再者，確認部223計算表示以右眼視線向量為中心的圓柱體1101b的數學式G(步驟S1203)。
確認部223基於數學式F與數學式G，而確認出圓柱體1101a與圓柱體1102b的相交區域1102(步驟S1204)。
接著，確認部223就最靠近確認出的區域的層或物體加以確認，而作為用戶所凝視著的場所(步驟S1205)。
再者，於本第三實施例中，以上述的方法計算兩個圓柱體的函數公式、並且計算其交差的區域的處理時，可以想像的是：運算數量將變多，且視線檢測装置200的處理負擔將變大。因此，可以考慮利用以下的方法，而作為減少運算數量的方法。
亦即，確認部223以右眼視線向量為中心，而計算與右眼視線向量平行的多個右眼平行向量。同樣地，確認部223以左眼視線向量為中心，而計算與左眼視線向量平行的多個左眼平行向量。接著，就各右眼平行向量計算與各左眼平行向量的交點。確認部223計算如此求得的多個交點的中心點。接著，確認部223也可確認對應於計算出的中心點的三維影像上的座標，而作為用戶300所凝視著的場所。
依據本第三實施例的話，即使在用戶300的左眼視線向量701a與右眼視線向量701b沒有交點的情況，且三維影像沒有層構造的情況，仍可確認用戶300的凝視著的場所。
<補充說明>
與本發明有關的視線檢測系統並非僅限於上述第一實施例至第三實施例，更不用說，也可藉由可實現發明的精神的其它的方式加以實現。
例如，於上述第三實施例之中，雖然確認著圓柱體與圓柱體相交的區域，但這並不僅限於圓柱體，也可以是其它的形狀，例如，也可以視為長方體加以計算。相較於圓柱體的情況，視為長方體的情況將比較容易進行運算處理。
再者，於上述實施的型態之中，為了檢測用戶300的視線，雖然以對受熱反射鏡112反射的影像攝影的方法作為攝影用戶300的眼睛的方法，但也可以不經過熱反射鏡112而直接對用戶300的眼睛攝影。
再者，於上述實施的型態之中，雖然藉由視線檢測裝置200的處理器執行視線檢測程式等而確認用戶所凝視著的場所的方法作為視線檢測的方法，但這也可以藉由視線檢測裝置200之中由積體電路(IC(Integrated Circuit)晶片、LSI(Large Scale Integration))等所構成的邏輯電路(硬體)、専用電路加以實現。再者，這些電路可以藉由一個或多個積體電路加以實現，也可以藉由一個積體電路實現上述實施的型態所示的多個機能部的機能。LSI依積聚度的不同而可分別稱為VLSI、ULSI、GLSI。
再者，上述視線檢測程式可以被儲存在可由處理器讀取的記錄媒體之中，而可作為上述記錄媒體的是：「非暫時性的有形的媒體」，例如碟帶、碟片、插卡、半導體記錄體、及可程式化之邏輯電路等。再者，上述檢測程式也可以是經由能傳送上述檢測程式的任意傳送媒體(通信網路或者播放信號等)供給至上述處理器。在本發明中，上述視線檢測程式也可以是以藉由電子格式的傳送所具體執行之嵌埋於載波之中的資料信號的格式的。
再者，上述視線檢測程式係可利用，例如ActionScript語言、JavaScript語言(註冊商標)等Script語言，Objective-C、Java(註冊商標)等物件導向程式設計語言，HTML5等標記式語言等而可加以實現。
產業上的利用可能性：本發明可利用於頭戴式顯示器。
雖然本發明已用具體實施例揭露如上，但應瞭解的是：在不脫離本發明之精神和後附之申請專利範圍所界定範圍內，本發明所屬技術領域中具有通常知識者，當可對本發明作各種之更動與潤飾。
302a‧‧‧左眼的眼角膜
302b‧‧‧右眼的眼角膜
701a‧‧‧右眼視線向量
701b‧‧‧左眼視線向量
702‧‧‧交點

Claims (6)

  1. 一種視線檢測系統，包含被裝戴在用戶的頭部上使用的一頭戴式顯示器、以及檢測該用戶的視線的一視線檢測裝置，其中該頭戴式顯示器具有：一第一紅外線發射部，對該用戶的右眼發射紅外線；一第二紅外線發射部，對該用戶的左眼發射紅外線；一第一攝影元件，對被發射該紅外線的該右眼加以攝影；一第二攝影元件，對被發射該紅外線的該左眼加以攝影；及一顯示部，顯示三維影像，其中該視線檢測裝置具有：一第一檢測部，基於由該第一攝影元件所攝影到的影像檢測該右眼的視線方向；一第二檢測部，基於由該第二攝影元件所攝影到的影像檢測該左眼的視線方向；及一確認部，基於該右眼的視線方向與該左眼的視線方向，而確認該用戶於該三維影像之中所凝視著的場所，其中該第一檢測部計算表示該右眼視線方向的右眼視線向量，而作為該右眼的視線方向，及其中該第二檢測部計算表示該左眼視線方向的左眼視線向量，而作為該左眼的視線方向，及其中該顯示部在縱深方向上顯示出由多個層所形成的三維影像，及其中該確認部確認該右眼視線向量和該左眼視線向量與各層相交的交點間的距離為最短的層，而將該層視為該用戶所凝視著的場所的層。
  2. 如申請專利範圍第1項所述之該視線檢測系統，該確認部進一步地基於該右眼視線向量與該左眼視線向量的交點，而確認該用戶所凝視著的場所。
  3. 如申請專利範圍第1項所述之視線檢測系統，該確認部進一步地基於以該右眼視線向量為中心的預定半徑的圓柱體、與以該左眼視線向量為中心的預定半徑的圓柱體交差的區域，而確認該用戶所凝視著的場所。
  4. 如申請專利範圍第1項所述之視線檢測系統，該確認部進一步地基於與該右眼視線向量平行的多個第一平行視線向量和與該左眼視線向量平行的多個第二平行視線向量的交點，而確認該用戶所凝視著的場所。
  5. 一種凝視點確認方法，確認一視線檢測系統所檢測的用戶的凝視點，而該視線檢測系統包含被裝戴在用戶的頭部上使用的一頭戴式顯示器與檢測該用戶的視線的一視線檢測裝置，其中該頭戴式顯示器：顯示三維影像；對該用戶的右眼以及左眼發射紅外線；對被發射了紅外線的該用戶的右眼以及左眼攝影；及將攝影所得到的影像資料輸出到該視線檢測裝置，其中該視線檢測裝置：基於對該右眼所攝影到的影像，計算表示該右眼視線方向的右眼視線向量而作為表示該用戶的右眼的視線方向；基於對該左眼所攝影到的影像，計算表示該左眼視線方向的左眼視線向量而作為表示該用戶的左眼的視線方向；該頭戴式顯示器在縱深方向上顯示出由多個層所形成的三維影像； 該視線檢測裝置確認該右眼視線向量與該左眼視線向量和各層相交的交點間的距離為最短的層，而將該層視為該用戶所凝視著的場所的層。
  6. 一種用戶的凝視點確認程式，由用以檢測裝戴了顯示三維影像的頭戴式顯示器的用戶的視線的視線檢測裝置的計算機所執行，其中該計算機用以實現以下機能：一影像資料的獲得機能，獲得對該裝戴了頭戴式顯示器的用戶的右眼以及左眼發射了紅外線時所攝影到的影像資料；一右眼的視線方向的檢測機能，基於該右眼的影像資料，而檢測該用戶的右眼的視線方向；一左眼的視線方向的檢測機能，基於該左眼的影像資料，而檢測該用戶的左眼的視線方向；一確認機能，基於該右眼的視線方向與該左眼的視線方向，而確認用戶於該三維影像中所凝視著的場所；一右眼視線向量的計算機能，計算表示該右眼視線方向的右眼視線向量而作為該右眼的視線方向；一左眼視線向量的計算機能，計算表示該左眼視線方向的左眼視線向量而作為該右眼的視線方向；及一顯示機能，在縱深方向上顯示由多個層所形成的三維影像，其中該確認機能為確認該右眼視線向量與該左眼視線向量和各層相交的交點間的距離為最短的層，而將該層視為該用戶所凝視著的場所的層。
TW105139171A 2015-11-27 2016-11-25 視線檢測系統、凝視點確認方法以及凝視點確認程式 TW201717840A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/083484 WO2017090203A1 (ja) 2015-11-27 2015-11-27 視線検出システム、注視点特定方法及び注視点特定プログラム

Publications (1)

Publication Number Publication Date
TW201717840A true TW201717840A (zh) 2017-06-01

Family

ID=58763231

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105139171A TW201717840A (zh) 2015-11-27 2016-11-25 視線檢測系統、凝視點確認方法以及凝視點確認程式

Country Status (5)

Country Link
US (2) US9880384B2 (zh)
KR (1) KR101862499B1 (zh)
CN (1) CN107111381A (zh)
TW (1) TW201717840A (zh)
WO (1) WO2017090203A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017090203A1 (ja) * 2015-11-27 2017-06-01 フォーブ インコーポレーテッド 視線検出システム、注視点特定方法及び注視点特定プログラム
CN205594581U (zh) * 2016-04-06 2016-09-21 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组
CN106125930A (zh) * 2016-06-27 2016-11-16 上海乐相科技有限公司 一种虚拟现实设备及主视角画面校准的方法
CN106932905A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
DE102017129795A1 (de) 2017-06-30 2019-01-03 Lg Display Co., Ltd. Anzeigevorrichtung und gate-treiberschaltkreis davon, ansteuerungsungsverfahren und virtuelle-realität-vorrichtung
KR102495234B1 (ko) * 2017-09-06 2023-03-07 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US10254832B1 (en) * 2017-09-28 2019-04-09 Microsoft Technology Licensing, Llc Multi-item selection using eye gaze
JP6897467B2 (ja) * 2017-10-02 2021-06-30 富士通株式会社 視線検出装置、視線検出プログラム、及び視線検出方法
US11073903B1 (en) 2017-10-16 2021-07-27 Facebook Technologies, Llc Immersed hot mirrors for imaging in eye tracking
US11237628B1 (en) 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
CN110134222A (zh) * 2018-02-02 2019-08-16 上海集鹰科技有限公司 一种vr头显定位瞄准系统及其定位瞄准方法
US10521013B2 (en) 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备
US11163166B1 (en) 2018-05-23 2021-11-02 Facebook Technologies, Llc Removable frames for head-mounted display systems
US10552986B1 (en) * 2018-07-20 2020-02-04 Banuba Limited Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices
US10838132B1 (en) 2018-08-21 2020-11-17 Facebook Technologies, Llc Diffractive gratings for eye-tracking illumination through a light-guide
US10996748B2 (en) 2018-09-10 2021-05-04 Apple Inc. Gaze-dependent display encryption
US10852817B1 (en) 2018-11-02 2020-12-01 Facebook Technologies, Llc Eye tracking combiner having multiple perspectives
US10725302B1 (en) 2018-11-02 2020-07-28 Facebook Technologies, Llc Stereo imaging with Fresnel facets and Fresnel reflections
CN109756723B (zh) * 2018-12-14 2021-06-11 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备
US10771774B1 (en) * 2019-03-22 2020-09-08 Varjo Technologies Oy Display apparatus and method of producing images having spatially-variable angular resolutions
KR20200136297A (ko) * 2019-05-27 2020-12-07 삼성전자주식회사 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법
US11467370B2 (en) 2019-05-27 2022-10-11 Samsung Electronics Co., Ltd. Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
US20210011550A1 (en) * 2019-06-14 2021-01-14 Tobii Ab Machine learning based gaze estimation with confidence
CN110426845B (zh) * 2019-08-09 2021-03-23 业成科技（成都）有限公司 眼球追踪架构
FR3100704B1 (fr) * 2019-09-13 2021-08-27 E Swin Dev Dispositif de mesure ophtalmologique polyvalent
US11809622B2 (en) 2020-12-21 2023-11-07 Samsung Electronics Co., Ltd. Electronic device and method for eye-tracking of user and providing augmented reality service thereof
KR20220111575A (ko) * 2021-02-02 2022-08-09 삼성전자주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
US11880504B2 (en) * 2021-09-28 2024-01-23 Ramot At Tel-Aviv University Ltd. Automatic preference quantification of displayed objects based on eye tracker data
DE102022203677A1 (de) * 2022-04-12 2023-10-12 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einer Bestimmung einer momentanen Blickrichtung eines Nutzers einer Datenbrille mit einer virtuellen Netzhautanzeige und Datenbrille
CN116027910B (zh) * 2023-03-29 2023-07-04 广州视景医疗软件有限公司 一种基于vr眼动追踪技术的眼位图生成方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2939988B2 (ja) 1989-04-05 1999-08-25 キヤノン株式会社 視線検出装置
JPH06337756A (ja) 1993-05-28 1994-12-06 Daikin Ind Ltd ３次元位置指定方法および仮想空間立体視装置
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
US6806898B1 (en) * 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
DE102005023126B4 (de) * 2005-05-19 2022-06-30 Rodenstock Gmbh Serie von Brillengläsern, Verfahren zur Herstellung
EP2649932A4 (en) * 2010-12-08 2017-06-14 National University Corporation Shizuoka University Method for detecting point of gaze and device for detecting point of gaze
CN102830793B (zh) * 2011-06-16 2017-04-05 北京三星通信技术研究有限公司 视线跟踪方法和设备
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
WO2014033306A1 (en) * 2012-09-03 2014-03-06 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
CN103020983B (zh) * 2012-09-12 2017-04-05 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
CN105814516B (zh) * 2013-10-11 2019-07-30 交互数字专利控股公司 注视驱动的增强现实
JP6608137B2 (ja) 2014-01-03 2019-11-20 ハーマン インターナショナル インダストリーズ インコーポレイテッド ディスプレイ上の両眼転導検出
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
CN104834381B (zh) * 2015-05-15 2017-01-04 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
JP6002286B1 (ja) * 2015-07-14 2016-10-05 株式会社コロプラ ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
WO2017090203A1 (ja) * 2015-11-27 2017-06-01 フォーブ インコーポレーテッド 視線検出システム、注視点特定方法及び注視点特定プログラム

Also Published As

Publication number Publication date
CN107111381A (zh) 2017-08-29
KR101862499B1 (ko) 2018-05-29
US9880384B2 (en) 2018-01-30
US20180106999A1 (en) 2018-04-19
WO2017090203A1 (ja) 2017-06-01
US20170285337A1 (en) 2017-10-05
KR20170082457A (ko) 2017-07-14

Similar Documents

Publication Publication Date Title
TW201717840A (zh) 視線檢測系統、凝視點確認方法以及凝視點確認程式
US11886633B2 (en) Virtual object display interface between a wearable device and a mobile device
KR101883090B1 (ko) 헤드 마운트 디스플레이
US10409368B2 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
TW201812432A (zh) 外部拍攝系統、外部拍攝方法及外部拍攝程式
US11275453B1 (en) Smart ring for manipulating virtual objects displayed by a wearable device
US10191285B2 (en) Head mounted display and gaze detection system
KR102653796B1 (ko) 3차원 깊이 비디오들 및 이미지들에서 쇼크웨이브들의 생성
TW201802642A (zh) 視線檢測系統
US11089427B1 (en) Immersive augmented reality experiences using spatial audio
US11792379B2 (en) Depth sculpturing of three-dimensional depth images utilizing two-dimensional input selection
TW201921028A (zh) 影像顯示系統、影像顯示方法及影像顯示程式
KR20230029920A (ko) 롤링 셔터 카메라 파이프라인 노출 타임스탬프 에러 결정
KR20210052570A (ko) 분리가능한 왜곡 불일치 결정
US20170371408A1 (en) Video display device system, heartbeat specifying method, heartbeat specifying program
TW201816547A (zh) 視線檢測系統、偏移檢測方法、偏移檢測程序
TW201823802A (zh) 信息處理系統、操作方法及操作程序
TW201807540A (zh) 信息處理系統、操作方法及操作程序
US20230123344A1 (en) Dual system on a chip eyewear
US11994751B1 (en) Dual system on a chip eyewear
US20230109916A1 (en) Dual system on a chip eyewear
JP2017022635A (ja) 頭部装着型表示装置および画像処理システム
KR20180050126A (ko) 양안식 증강현실 뷰어에서 증강현실 제공방법
JP2017045068A (ja) ヘッドマウントディスプレイ