TWI588441B - Measuring method and apparatus for carrying out the measuring method - Google Patents

Measuring method and apparatus for carrying out the measuring method Download PDF

Info

Publication number
TWI588441B
TWI588441B TW101145251A TW101145251A TWI588441B TW I588441 B TWI588441 B TW I588441B TW 101145251 A TW101145251 A TW 101145251A TW 101145251 A TW101145251 A TW 101145251A TW I588441 B TWI588441 B TW I588441B
Authority
TW
Taiwan
Prior art keywords
camera
display
light
measuring method
source image
Prior art date
Application number
TW101145251A
Other languages
English (en)
Other versions
TW201329416A (zh
Inventor
Gerald Fuetterer
Original Assignee
Seereal Tech S A
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seereal Tech S A filed Critical Seereal Tech S A
Publication of TW201329416A publication Critical patent/TW201329416A/zh
Application granted granted Critical
Publication of TWI588441B publication Critical patent/TWI588441B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

測量方法及執行該測量方法之裝置
本發明涉及測量方法及一種執行該測量方法的裝置。
能夠讓觀察者產生立體感(也就是三維影像的感覺)的顯示裝置日益普遍。
這種顯示裝置的觀察者通常需借助適當的輔助工具(例如頭盔式眼鏡、色差眼鏡、偏振光眼鏡、快門眼鏡)才能夠看到顯示裝置顯示的三維場景。
也有些顯示裝置不需輔助裝置即可讓觀察者看到三維場景。這種顯示裝置(例如自動立體顯示器或全像顯示器)通常需要知道以顯示器為準觀察者(一位或多位)所在的位置資訊。
為達到這個目的,通常是使用兩部照相機,其任務是偵測顯示裝置前面的空間區域。透過與照相機連接的測圖單元可以辨識顯示裝置之觀察者的臉部,尤其是測定以照相機為準觀察者的瞳孔位置。以顯示裝置為準,照相機的探測方向是事先設定好的,因此以照相機為準從瞳孔位置看出去可以測定以顯示器為準的瞳孔位置。在運輸顯示裝置的過程中,照相機以顯示裝置為準的位置及定向可能會發生移位。這樣就無法精確及/或正確的測定以顯示裝置為準的瞳孔位置,因此需要重新校正顯示裝置。
此外還有一些特殊的裝置可以用來測量三維物體。這種裝置通常是以雷射產生打在物體上的雷射線。然後用照相機拍下被雷射線照亮的物體的影像,並由雷射線的變形計算出物體的形狀,然後儲存起來作為 數位模型。但是為了使觀察者能夠仔細觀看這個數位模型,還需要另外配備一個數位顯示器。
因此本發明的目的是提出一種測量方法及一種執行此測量方法的構造較簡單的裝置。
採用具有申請專利範圍獨立項第1項的測量方法及第15項的裝置即可達到上述目的。依附於申請專利範圍獨立項第1項及第15項的附屬項第2項至第14項及第16項至第18項的內容為本發明之各種有利的實施方式。
本發明的測量方法是透過顯示器產生規定的照明,以照明光在光源像的平面上的強度分佈標示物體的第一個位置,並以物體的第二個位置為準測定第一個位置在照相機之座標系統中的相對位置。
本發明的基本構想是以顯示器本身作為測定物體的第一個位置以物體的第二個位置為準的相對位置的工具。由於顯示影像資料的照明是由顯示器本身規定,因此除了可以測定物體的第一個位置在顯示器之座標系統中的位置外,也可以透過以在照相機之座標系統中的第一個位置為準的第二個位置的相對位置,測定物體的第二個位置在顯示器之座標系統中的位置。
因此這樣做就無需對照相機進行校正,也就是說無需測定照相機以顯示器之座標系統為準的位置及定向。
使用全像顯示器可以透過相干光束的結構建立或結構破壞干涉產生照明光在光源像之平面上的強度分佈。透過這種方式可以產生一個主要是隨著物體與顯示器之距離變化的照明光的強度分佈。
相較於全像顯示器,自動立體顯示器的構造及所需的組件比較簡單。尤其是自動立體顯示器不需要為了顯示三維場景而配備能夠產生 相干長度很長的光線的光源。因此使用自動立體顯示器可以使本發明的方法變得更簡單。
如果要將顯示器與觀察者整合在一起,則標示顯示器之觀察者的第一個位置是一種有利的作法。但是另外一種可能性是標示無生命物體的第一個位置,這樣就可以測量這個物體,或是照亮一個特定的結構。
根據本發明之測量方法的第一種改良方式,照明光在光源像的平面上的強度分佈具有一個繞射級的光源像。
顯示器通常具有一個用於具有規定之圖像分辨率的光線的空間調變裝置。可以利用空間調變裝置的圖像分辨率作為具有規定的光柵間距的天然繞射光柵,這樣照明光在光源像的平面上的強度分佈就可以具有一個繞射級的光源像。另外一種可能的方式是使用第0繞射級的光源像,也未被繞射的光源像。當然也可以使用較高的繞射級。也可以利用多個繞射級產生強度分佈,例如目的是提高測量方法的精確性,因為這樣就可以偵測多個光源像。透過規定的光柵間距,可以非常精確的定出在強度分佈中的最大及/或最小間距。可以事先非常精確的規定以第二個位置為準測定第一個位置之相對位置的精確性。
根據本發明之測量方法的另一種實施方式,第二個位置是觀察者的一個瞳孔,並測定第一個位置以觀察者的瞳孔為準在照相機之座標系統中的相對位置。觀察者的瞳孔是觀察者的臉部非常顯著的點及/或區域。因此與照相機連接的測圖邏輯單元件很容易就可以辨識出觀察者的瞳孔。此外,測定第一個位置以觀察者的一個瞳孔為準的相對位置還可以根據觀察者的瞳孔位置進行控制。這對於因為個人身體上的原因無法以其他方式使人理解自己的意思的觀察者尤為有利。
本發明的一個實施例是改變規定的照明,使第一個位置與觀察者之臉部的一個可規定的區域(尤其是觀察者的瞳孔)重合。這樣就可以實現觀察者追蹤。
對於無需使用輔助工具(例如偏振光眼鏡或快門眼鏡)就能夠讓觀察者看到真正的三維場景的顯示器而言,一種有利的方式是,不只測定第一個位置以第二個位置為準的相對位置,而是直接使第一個位置與第二個位置重合。透過這種方式可以在重現場景(例如電影場景)時僅照亮觀察者之臉部的一個可規定的區域。透過這種方式可以減輕計算三維顯示的計算工作量。
本發明之測量方法的另外一種改良方式是以一個要向觀察者顯示的圖像的可視範圍視窗作為照明光在光源像的平面上的強度分佈或光源像。
由於使用要向觀察者顯示的圖像的可視範圍視窗,因此如果以可視範圍視窗作為觀察者的顯示器,則也可以執行測量方法。如果這是一種顯示三維場景的顯示器,則其顯示可以與合觀察者的變動的位置配合。
本發明的另外一種實施方式是透過具有照明光在第二光源像的平面上的第二個強度分佈的顯示器的規定的照明定義物體的第二個位置。
透過這種方式可以得知物體的第一個位置及第二個位置在顯示器的座標系統中的距離,以及從第一個位置以第二個位置為準在照相機的座標系統中的相對距離,測定照相機以顯示器為準的位置及定向。
照明光在第二光源像的平面上的第二個強度分佈可以具有繞射級的一個光源像。使用繞射級作為光源像的優點是其間距及/或所依據的繞射角可以透過顯示器的圖像分辨率事先規定。因此可以改善測量的可再現性。
此外,本發明的測量方法的一個實施例是以照明光的第一個強度分佈及第二個強度分佈在物體(尤其是觀察者的臉部)上形成一個規定的圖案,然後由照相機將圖案拍攝成圖像,並將攝得的圖像與規定的圖案作一比較,並找出二者的差異。
透過找出攝得的圖像與規定的圖案的差異可以測出物體的形狀。必要時也可以確定物體是否與一個規定的物同相同,或是與另外一個物體相同。
本發明的測量方法的另外一種改良方式是以第一繞射級作為第一光源像,以及以另一個繞射級作為第二光源像。
以特定的繞射級作為光源像的優點是其間距可以透過顯示器的圖像分辨率事先規定,這樣就可以將測得的相對位置還原到絕對位置。繞射圖案是由顯示器的圖像分辨率及/或顯示器之可控制空間光調變裝置的圖像分辨率、所使用之光線的波長、及/或所使用之波長及到被照亮之平面的距離(也就是到被照亮之物體的距離)所產生。
本發明之測量方法的另外一種實施方式是使用一個校正過的物體。所謂校正過的物體是指其形狀已被精確測出的物體。透過測定物體的第一個位置以校正過的物體為準在照相機之座標系統中的相對位置,可以更精確的測出照相機以顯示器之座標系統為準的位置及定向。
本發明之測量方法的一個實施例是從第一個位置以第二個位置為準在照相機的座標系統中的相對位置校正照相機以顯示器的座標系統為準的座標系統。
校正照相機的座標系統的好處是可以不必一直測定相對位置,因為不必透過規定的照明標示物體的第一個位置也可以測出物體的第二個位置在顯示器之座標系統中位置。如果照相機的定向及/或位置發生移動,只有在距離較大時才需要進行校正。尤其是裝置在經過運輸後可能需要進行校正。一種可能的方式是按照規定的時間間隔進行校正。另外一種可能的方式是只有在觀察者明確要求時才進行校正。
本發明之測量方法的另一種改良方式是使照相機與顯示器相距一個規定的距離及/或與顯示器處於一個規定的定向,並從第一個位置以第二個位置為準在照相機之座標系統中的相對位置測定第二個位置在顯 示器之座標系統中的位置。這樣就可以測出物體的形狀。
根據本發明之測量方法的另外一種實施方式,第一光源像及第二光源像的產生是透過顯示器的一個光學系統及以第一可見光波長及/或第二可見光波長及/或第三可見光波長及/或紅外線波長的光線對可控制空間光調變裝置施以規定的照明獲得實現,同時照相機及/或另外一台照相機有配備一個濾波器,其作用是僅讓第一可見光波長及/或第二可見光波長及/或第三可見光波長及/或紅外線波長的光線通過。
透過使用特定波長的光線及適當的濾波器,可以改善信號-噪聲特性。尤其是可以減輕環境光對測量結果的影響。尤其是使用讓紅外線波長的光線通過的濾波器對於搜尋觀察者是很有利的。例如,如果照相機的濾波器僅讓紅外線通過,則可以更容易的測定觀察者的瞳孔位置。
通常是以此處描述的顯示器向觀察者顯示由3種波長的光線構成的彩色光源像。由於3種波長都有利用到,因此可以改善測量的精確性。
此外,本發明之測量方法的另外一個實施例是測定第一個位置以第二個位為準在第二台照相機的第二座標系統中的相對位置。
除了知道關於物體的第一個位置及物體的第二個位置所處的方向的訊息外,若使用第二台照相機可以另外獲得關於物體的第一個位置及物體的第二個位置與顯示器的距離的訊息。增加攝影的數量的另外一個好處是可以進一步改善空間分辨率。
本發明之測量方法的另外一個實施例是透過顯示器,尤其是全像顯示器或自動立體顯示器,產生規定的照明,以照明光在光源像的平面上的強度分佈標示物體的第一個位置,其中是以一個要向觀察者顯示的圖像的可視範圍視窗作為照明光在光源像的平面上的強度分佈或光源像,其中測定第一個位置以觀察者的瞳孔為準在照相機的座標系統中的相對位置,其中透過改變規定的照明,使第一個位置與觀察者之臉部的一個可規定的區域(尤其是觀察者的瞳孔)重合。可以對兩個瞳孔進行這種方法。 可以為觀察者每一個瞳孔分別提供特定的影像訊息。例如可以帶給觀察者特別好的景深感覺。此外,可視範圍視窗可以持續追蹤眼睛的位置,因此可以避免較高繞射級的光源像被瞳孔感知到。
本發明還提出一種能夠執行上述測量方法的裝置,這種裝置包含一個顯示器、一台照相機、以及一個用於測定第一個位置在照相機的座標系統中的位置的測圖單元。
使用這種顯示器(尤其是全像顯示器或自動立體顯示器)的優點已在前面關於本發明之測量方法的說明中有所描述。
根據本發明之裝置的第一種改良方式,照相機包含一個CCD傳感器。
CCD傳感器的動態範圍特別大,也就是說不論是非常亮或非常暗的範圍都可以偵測到。
另一種可能性是照相機具有一個CMOS傳感器。CMOS傳感器的動態範圍通常大於CCD傳感器,但是CCD傳感器的位元深度通常大於CMOS傳感器。CMOS傳感器通常也可以測得長波長的光及紅外線。
照相機也可以是一種彩色照相機。透過充分利用顏色訊息可以進一步改善相對位置測定的精確性。
本發明之裝置的另外一個實施例包含一個光源及一個光學系統,其中利用這個光源及光學系統可以產生照明光在光源像的平面上的強度分佈。
根據本發明,可以借助照明光成像或投影在一個物體上的強度分佈非常可靠的測定物體的第一個的位置以物體的第二個位置為準在照相機的座標系統中相對位置,其中第二個位置是觀察者的一個瞳孔。
根據本發明的一種有利的實施方式,為了提高信號-噪聲特性,可以使用至少一個窄的帶通濾波器。第5圖顯示一個三重帶通濾波器的傳輸特性。第5圖顯示的是傳輸率與所使用之光線的波長的關系。可以將傳 輸率優化為作用在多個窄帶頻譜範圍。與此相應的,一種可能性是應用相應的頻譜窗,例如用於(475+/-3nm)、(532+/-3nm)、(640+/-3nm)及/或(780+/-5nm)。現今這種頻譜濾波器已屬於大量生產的產品,其主要的應用領域是螢光顯微鏡及以色彩分散的三維的方式顯示物體。另外一種可能性是,只使用一種紅外線波長(例如780nm)作為不可見的成分。這是因為波長780nm的光線只有在強度很對時才會被看見。這樣就可以應用接近紅外線範圍或是在紅外線範圍的窄的頻譜窗。可以將環境光抑制一個係數(例如>200)。
另外一種有利可能性是在本發明之測量方法中額外使用一個子系統,以進行紅外線掃描(也就是線性圖像分辨率)。
可以借助CMOS陣列或CMOS行列探測或測定眼睛的位置。利用視網膜掃描可以快速追蹤眼睛的位置。一種可能的方式是利用一種近紅外線發光二極體執行視網膜掃描,這種紅外線發光二極體可以實現規定的空間相關性。與此相應的,可以利用預先定義或規定的照明函數修正眼睛及/或瞳孔的位置。
根據第一個實施例,可以使用多個光源,而且這些光源發出的光線朝向不同的方向。因此可以從不同的方向照亮觀察者的頭部及眼睛。可以接通及切斷不同的照明方向,也就是說可以接通及切斷不同方向的光源。這種接通及切斷可以按時序進行或同時進行,例如以基本上相同的波長按時序方式進行。如果是使用不同波長的照明光,則亦可同時進行。
根據另一個實施例,可以使用一種掃描的解決方案。例如可以在一個方向、兩個方向、三個方向、或是多個不同方向進行掃描。每一個三維掃描(也就是說光束的每一個圖像分辨率都沿著一條基本上筆直的線)都會提高視網膜反射信號。此處亦可利用窄帶頻譜濾波器,以便將掃描器之光源的光線與環境光分開,以提高偵測到的信號的信號-噪聲特性。
可以按時序方式計算及/或測定眼睛位置,例如在兩個不同 方向上進行。與此相應的,如果使用的是CMOS線性偵測器可以在1/1000秒內測定眼睛或瞳孔的x位置及y位置。
可以使用不同的掃描方法。例如可以執行全域掃描,例如在x方向及y方向上掃描,或是在交叉方向上掃描。也可以執行由角度相關的掃描。也可以將多種掃描方法組合在一起,以減少或完全排除位置測定的不確定性。
此外可以另外定義及/或確定一個掃描範圍。這個掃描範圍可以遠小於整個掃描範圍。與此相應的,可以在這個縮小的掃描進行掃描,以提高掃描速度及更快的偵測眼睛。
具體的作法是,根據一個實施例,可以將一個位於x方向及/或水平方向的線性掃描器設置在顯示器的一邊,以及將一個直線形偵測器或一個(二維)偵測矩陣設置在顯示器的另外一邊。另一種可能性的方式是在顯示器的兩邊均設有線性掃描器及偵測器。一個可比較的配置方式是在顯示器的頂面及底面設置均設置線性掃描器及偵測器,以執行y方向的掃描。
例如一種可降低成本的解決方案是在一個IR-LD(紅外線發光二極體)及一個一維掃描鏡之前設置一個DOE(繞射光學元件),其中紅外線發光二極體及一維掃描鏡位於一個標準IC外殼內,其中整個電子控制裝置亦設置於這個標準IC外殼內,以驅動這個小的掃描鏡。
這種偵測原理也可以搭配HMD(頭戴式顯示器,也就是一種配戴在觀察者頭上的顯示器)一起使用。
例如,如果使用一個一維或二維CMOS偵測器陣列,則一樣可以選擇一個受限的掃描範圍,以便偵測受限的掃描範圍偵測的信號,並能夠以更高的重複速率讀出信號。例如可以使用一種尋找觀察者頭部的模式,這種模式僅偵測觀察者頭部的位置。然後將觀察者頭部的位置數據應用於所選擇的掃描範圍,例如使用兩個一維掃描器。
例如可以使用一個25mm x 25mm的小範圍,或甚至是比這個範圍還要小很多的範圍,其中這個範圍大致是集中在瞳孔的中央。利用一維或二維線性掃描器照亮這個範圍。可以將快速的光偵測二極體設置在顯示器的邊緣。例如這些偵測器可以配備窄帶濾波器,其中這些濾波器與照明波長(例如近紅外線發光二極體)調諧。與此相應的,這樣就可以實現一個能夠應用於顯示器內的快速的子系統,其中顯示器可能是一種直視顯示器、HMD、行動顯示器、或平板電腦。光偵測器或光發光二極體也可以具有特殊調諧的角度相關偵測特性,尤其是能夠偵測從規定的空間範圍及/或追蹤範圍發出的光線。這樣就可以減少不是源自掃描範圍或偵測範圍的光線的量。
根據本發明之裝置的另外一種改良方式,裝置包含一個濾波器,其中該濾波器係設置在第一台照相機的前面,其中該濾波器基本上僅讓第一可見光波長及/或第二可見光波長及/或第三可見光波長及/或紅外線波長的光線通過。
這樣做的優點已經在前面關於本發明之測量方法的描述中有所說明。
3、32‧‧‧裝置
4、33‧‧‧顯示器
5、34、35‧‧‧照相機
6、36‧‧‧測圖單元
7‧‧‧光源
8‧‧‧空間光調變裝置
9‧‧‧光學系統
10、15‧‧‧連接線
11‧‧‧物體
12‧‧‧照明光
13‧‧‧平面
14、37、38‧‧‧瞳孔
16、17‧‧‧眼睛
18‧‧‧光源像
19、20、21、22、23、24、25、26、27、28、29、30‧‧‧繞射級
31‧‧‧可視範圍視窗
39、40‧‧‧向量
以下將配合圖式說明其他的實施方式。以下之圖式均以示意方式繪製,其中:
第1圖:本發明之測量方法的一個實施例的流程圖。
第2圖:一種執行本發明之測量方法的一個實施例的裝置。
第3圖:在光源像的一個平面上,一位觀察者的眼睛相對於照明光之光源像的位置,在這個實施例中,光源像的平面與可控制空間光調變裝置的表面平行。
第4圖:執行本發明之測量方法之裝置的一個實施例的俯視 圖,以及一位觀察者的眼睛。
第5圖:顯示三重帶通濾波器之傳輸特性的曲線圖。
第1圖是以示意方式顯示本發明之測量方法的一個實施例的流程圖。
第1個步驟是利用顯示器發出的規定的照明將物體照亮,並以照明光在光源像的平面上的強度分佈標示物體的第一個位置。
第2個步驟是測定物體的第一個位置以物體的第二個位置為準在照相機之座標系統中的相對位置。
第2圖顯示本發明之裝置3的一個實施例。裝置3包含一個顯示器4、一台照相機5、以及一個測圖單元6。顯示器4包含一個光源7、一個空間光調變裝置8、以及一個光學系統9。
如第2圖代表符號7所示,如果將一種小尺寸的光源分佈在廣大的面積上,則會形成一個至少在一個方向具有聚焦作用的光學系統,因此至少在一個方向會形成一個光源像,例如位於平面13附近的光源像。如果光源7是一個發光面,則在平面13上有一個與發光面的平面波頻譜成正比的強度分佈,空間光調變裝置可以執行繞射處理。
空間光調變裝置8(縮寫為SLM)的作用是對光線進行空間調變。SLM通常是調變光線的強度。但是也有調變光線的相位用的SLM,以及可以同時調變光線的強度及相位用的SLM。
在本實施例中,測圖單元6經由連接線10控制顯示器4,並規定顯示器4將物體11照亮的照明。這個規定的照明會在光源像的平面13上形成照明光12的強度分佈,並以此標示物體11的第一個位置。
通常在顯示器的平面13上形成的強度分佈可以明顯小於第2圖的情況。例如可以是一個面積只有10mm x 10mm或直徑僅有3mm的可 視範圍視窗。
可以利用照相機5可以偵測照明光12在光源像的平面13上的強度分佈,以及利用照相機5偵測物體的第一個位置。照相機5也可以偵測物體11的第二個位置,也就是觀察者的瞳孔14。測圖單元6可以根據照相機5經由連接線15提供的數據,測定第一個位置以物體11的第二個位置為準在照相機5的座標系統中的相對位置。
第3圖顯示一位觀察者的眼睛16、17的位置,觀察者的臉部(未在第3圖中繪出)被一個未在第3圖中繪出的顯示器(尤其是全像顯示器或自動立體顯示器)照亮。在以顯示器照亮觀察者時,照明光的強度分佈通常具有多個繞射級18-30的光源像。在第3圖中以黑色圓點標示的顯示繞射級18-30是從一個二維編碼獲得。第0繞射級的光源像是未被繞射的光源像18。包含未被繞射的光源像18並延伸至鄰近之較高繞射級的光源像的範圍被稱為可視範圍視窗31。第3圖中的可視範圍視窗31是一個橢圓形範圍。例如可以透過可控制空間光調變裝置的餘弦形變跡輪廓的像素,例如WO 2009/156191 A1的描述,降低距離從可視範圍視窗31較遠的光源像的強度。如第3圖所示,如果可視範圍視窗31與眼睛16的位置重合,則可以將其他的光源像抑制到不會被另外一個眼睛17看見的程度。為了確保在眼睛移動時也能實現這一點,通常需持續使照明與眼睛的位置匹配。第3圖中的4個短箭頭標示眼睛的移動。
第4圖顯示本發明之裝置32的另一個實施例。裝置32具有一個顯示器33、兩台照相機34、35、以及一個測圖單元36。在組裝時可以設定兩台照相機34、35以顯示器33為準的定向及位置。換句話說,兩台照相機34、35的座標系統是可以校正的。
以兩個照相機34、35偵測裝置32前方的空間,也就是觀察者所在的空間,其中可以根據照相機拍攝到的影像辨認出觀察者的臉部。測定瞳孔37、38在照相機34、35之校正過的座標系統中的位置。首先獲得瞳 孔37的兩個向量39、40,也就是從照相機34、35的位置出發,指向瞳孔37的方向的向量。從兩個向量39、40向前延伸的直線的交點可以求出瞳孔37到顯示器33的距離,及/或瞳孔37及顯示器33之間的相對位置。以同樣的方式測定第二個瞳孔38。
在運送裝置32的過程中,照相機34、35相對於顯示器33位置及/或定向可能會發生改變。在這種情況下,照相機34、35的座標系統就不再處於以顯示器33為準的校正過的狀態。
如果是使用WO 2006/066919 A1的顯示裝置,及/或將本發明的測量方法應用於WO 2006/066919 A1的顯示裝置,則可以透過顯示器33的天然像素圖像分辨率規定在物體上形成的光源像的距離(比較第3圖),例如作為可控制光調變裝置的傅利葉轉換。為了校正裝置32,可以利用照相機34、35偵測多個繞射級18-30的光源像,也就是光源像光柵,並從光源像在照相機34、35之座標系統中的相對位置測定物體的位置。由於光源像以顯示器33為準的位置是已知的,因此可以重新校正裝置。
13‧‧‧平面
32‧‧‧裝置
33‧‧‧顯示器
34、35‧‧‧照相機
36‧‧‧測圖單元
37、38‧‧‧瞳孔
39、40‧‧‧向量

Claims (18)

  1. 一種測量方法,用於確定在一第一位置的一光強度分佈相對於在一第二位置的一物體之相對位置,其中:在一光源像的一平面產生一光強度分佈,其中該物體是以一顯示器提供,該顯示器包括一光源、一空間光調變裝置及一光學系統;預先確定該光強度分佈,使得該第一位置被標示出來;以及以一照相機記錄該第一位置及在該第二位置的該物體,以及在該照相機的一座標系統中確定該第一位置相對於該第二位置的該相對位置。
  2. 如申請專利範圍第1項的測量方法,其中照明光在該光源像的該平面的強度分佈具有一繞射級的光源像。
  3. 如申請專利範圍第1項或第2項的測量方法,其中該第二位置是觀察者的瞳孔,且該第一位置相對於該觀察者的該瞳孔的該相對位置是在該照相機的該座標系統中確定。
  4. 如申請專利範圍第1項的測量方法,其中藉由改變預先確定的照明,使該第一位置與觀察者之臉部的一可預先確定的區域重合。
  5. 如申請專利範圍第1項的測量方法,其中要向該觀察者顯示的一圖像的一可視範圍視窗被使用作為照明光在光源像的平面的強度分佈或作為光源像。
  6. 如申請專利範圍第1項的測量方法,其中該物體的該第二位置是藉由該顯示器的預先確定的照明利用具有照明光在一第二光源像的平面的一第二強度分佈來定義。
  7. 如申請專利範圍第6項的測量方法,其中以該照明光的該第一強度分佈及該第二強度分佈在該物體上形成一可預先確定的圖案,其中該照相機將圖案拍攝成圖像,以及其中將所拍攝的圖像與該可預先確定的圖案進行比較,以找出二者的差異。
  8. 如申請專利範圍第6項的測量方法,其中一第一繞射級被使用作為第一光源像,以及另一繞射級被使用作為該第二光源像。
  9. 如申請專利範圍第1項、第6項、第7項或第8項的測量方法,其中使用一校正過的物體。
  10. 如申請專利範圍第6項至第8項中任一項的測量方法,其中該照相機的該座標系統是由在該照相機的該座標系統中該第一位置相對於該第二位置的該相對位置來相對於該顯示器的一座標系統而校正。
  11. 如申請專利範圍第1項的測量方法,其中該照相機與該顯示器相距一預先確定的距離及/或與該顯示器處於一預先確定的定向,以及其中該第二位置在該顯示器的座標系統中的位置是由該照相機的該座標系統中該第一位置相對於該第二位置的該相對位置確定。
  12. 如申請專利範圍第6項的測量方法,其中第一光源像及/或該第二光源像是由該顯示器的光學系統以及由具有一第一可見光波長及/或一第二可見光波長及/或一第三可見光波長及/或一紅外線波長的光的可控制空間光調變裝置的一預先確定的照明產生,以及其中該照相機及/或另一照相機配備一濾波器,用於僅讓該第一可見光波長及/或該第二可見光波長及/或該第三可見光波長及/或紅外線波長的光通過。
  13. 如申請專利範圍第1項的測量方法,其中該第一位置相對於該第二位置的該相對位置是在一第二照相機的一第二座標系統中確定。
  14. 如申請專利範圍第4項的測量方法,其中藉由該顯示器的預先確定的照明,以照明光在光源像的平面中的強度分佈標示該顯示器的該觀察者的該第一位置,其中要向該觀察者顯示的一圖像的一可視範圍視窗被使用作為照明光在光源像的平面的強度分佈或作為光源像,其中該第一位置相對於該觀察者的瞳孔的相對位置是在該照相機的 該座標系統中確定,以及其中藉由改變該預先確定的照明,使該第一位置與該觀察者之臉部的一可預先確定的區域重合。
  15. 一種用於執行如申請專利範圍第1項至第14項中任一項之測量方法的裝置,其中該裝置包含一顯示器、至少一照相機、以及用於確定該第一位置在該照相機的該座標系統中的位置的一測圖單元。
  16. 如申請專利範圍第15項的裝置,其中該照相機包含一CCD傳感器或一CMOS傳感器,及/或其中該照相機是一彩色照相機。
  17. 如申請專利範圍第15項或第16項的裝置,包含一光源及一光學系統,其中照明光在光源像的平面的一強度分佈可利用該光源及該光學系統產生。
  18. 如申請專利範圍第15項或第16項的裝置,其中該裝置包含一濾波器,其中該濾波器係設置在第一照相機的前面,以及其中該濾波器基本上僅讓一第一可見光波長及/或一第二可見光波長及/或一第三可見光波長及/或紅外線波長的光通過。
TW101145251A 2011-12-02 2012-12-03 Measuring method and apparatus for carrying out the measuring method TWI588441B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102011055967.1A DE102011055967B4 (de) 2011-12-02 2011-12-02 Messverfahren und Vorrichtung zur Durchführung des Messverfahrens

Publications (2)

Publication Number Publication Date
TW201329416A TW201329416A (zh) 2013-07-16
TWI588441B true TWI588441B (zh) 2017-06-21

Family

ID=47520897

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101145251A TWI588441B (zh) 2011-12-02 2012-12-03 Measuring method and apparatus for carrying out the measuring method

Country Status (5)

Country Link
US (1) US11675426B2 (zh)
CN (1) CN104205006B (zh)
DE (1) DE102011055967B4 (zh)
TW (1) TWI588441B (zh)
WO (1) WO2013079727A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10775878B2 (en) * 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US10564429B2 (en) * 2018-02-01 2020-02-18 Varjo Technologies Oy Gaze-tracking system using illuminators emitting different wavelengths

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060139711A1 (en) * 2004-12-23 2006-06-29 Seereal Technologies Gmbh Method of computing a hologram
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
GB2315858A (en) 1996-08-01 1998-02-11 Sharp Kk System for eye detection and gaze direction determination
EP0961506B1 (en) * 1998-05-20 2003-03-26 Texas Instruments France Autostereoscopic display
DE19953835C1 (de) 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
CN101512445B (zh) * 2006-09-01 2013-07-17 视瑞尔技术公司 借助亚全息图实时生成视频全息图的方法
DE102007010807B4 (de) * 2007-03-02 2012-11-15 B.R. Deutschland, vertr. d. d. Bundesministerium f. Wirtschaft u.Technologie, dieses vertr. d. d. Präs. d. Phys.-Techn. Bundesanstalt Verfahren und Vorrichtung zur Vermessung der Topografie einer Oberfläche eines Messobjekts
DE102007030378A1 (de) * 2007-06-29 2009-01-02 Spatial View Gmbh Dresden System zur Bestimmung der Lage eines Kamerasystems
WO2009101238A1 (en) 2008-02-14 2009-08-20 Nokia Corporation Device and method for determining gaze direction
EP2519014B1 (en) * 2008-04-22 2014-05-14 Ehn Spire Limited Liability Company Position-permissive autostereoscopic display systems and methods
DE102008002692B4 (de) * 2008-06-26 2019-02-21 Seereal Technologies S.A. Displayeinrichtung zur dreidimensionalen holographischen oder stereoskopischen Darstellung räumlicher Objekte und Verfahren zum Ermitteln einer Apodisationsfunktion für eine Apodisationsmaske
ES2880475T3 (es) 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
EP2446326A2 (de) * 2009-06-23 2012-05-02 SeeReal Technologies S.A. Lichtmodulationsvorrichtung für ein display zur darstellung zwei- und/oder dreidimensionaler bildinhalte mit variablen beugungselementen basierend auf linearen, parallelen elektroden
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US20060139711A1 (en) * 2004-12-23 2006-06-29 Seereal Technologies Gmbh Method of computing a hologram

Also Published As

Publication number Publication date
US20140327612A1 (en) 2014-11-06
WO2013079727A1 (de) 2013-06-06
US11675426B2 (en) 2023-06-13
CN104205006B (zh) 2018-04-06
CN104205006A (zh) 2014-12-10
DE102011055967B4 (de) 2016-03-10
TW201329416A (zh) 2013-07-16
DE102011055967A1 (de) 2013-06-06

Similar Documents

Publication Publication Date Title
KR102456961B1 (ko) 구조화 조명 및 비행 시간을 사용한 깊이 맵핑
US10762652B2 (en) Hybrid depth detection and movement detection
US9170097B2 (en) Hybrid system
KR101892168B1 (ko) 반사도 맵 표현을 이용한 깊이 맵 표현의 증강
US11533466B2 (en) Active stereo matching for depth applications
CN108352075A (zh) 使用光流的眼睛跟踪
CN104903680B (zh) 控制三维物体的线性尺寸的方法
US11399139B2 (en) High dynamic range camera assembly with augmented pixels
EP3964792A1 (en) Method and system for generating light pattern using polygons
US10728518B2 (en) Movement detection in low light environments
US10791286B2 (en) Differentiated imaging using camera assembly with augmented pixels
US11509803B1 (en) Depth determination using time-of-flight and camera assembly with augmented pixels
TWI588441B (zh) Measuring method and apparatus for carrying out the measuring method
Langmann Wide area 2D/3D imaging: development, analysis and applications
KR102314822B1 (ko) 후방 산란된 레이저 스페클 패턴들의 광학 흐름을 추적함으로써 움직임의 6개의 자유도들을 검출하기 위한 시스템
US10586343B1 (en) 3-d head mounted display based environmental modeling system
EP3104209B1 (en) Method and system for generating light pattern using polygons
CN117795391A (zh) 2d扫描显示中的3d映射