TWI767232B - 透明顯示系統、視差校正方法與圖像輸出方法 - Google Patents

透明顯示系統、視差校正方法與圖像輸出方法 Download PDF

Info

Publication number
TWI767232B
TWI767232B TW109116779A TW109116779A TWI767232B TW I767232 B TWI767232 B TW I767232B TW 109116779 A TW109116779 A TW 109116779A TW 109116779 A TW109116779 A TW 109116779A TW I767232 B TWI767232 B TW I767232B
Authority
TW
Taiwan
Prior art keywords
image
user
transparent display
positioning points
background object
Prior art date
Application number
TW109116779A
Other languages
English (en)
Other versions
TW202145780A (zh
Inventor
蔡宜修
郭信宏
陳冠廷
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW109116779A priority Critical patent/TWI767232B/zh
Priority to CN202010533994.9A priority patent/CN113703157B/zh
Priority to US17/148,204 priority patent/US11699301B2/en
Publication of TW202145780A publication Critical patent/TW202145780A/zh
Application granted granted Critical
Publication of TWI767232B publication Critical patent/TWI767232B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一種透明顯示系統之視差校正方法。一透明顯示裝置位於一背景物與一使用者之間。視差校正方法包括以下步驟。於透明顯示裝置顯示一視線注視點。擷取包括透明顯示裝置、背景物及使用者之一影像。依據影像，偵測至少二顯示器定位點及對應之至少二背景物定位點。此些顯示器定位點位於透明顯示裝置上，此些背景物定位點位於背景物上。獲得延伸於此些顯示器定位點與對應之此些背景物定位點之數條視覺延伸線。依據此些視覺延伸線之一交集處，獲得使用者之慣用眼的一等效眼位點。

Description

透明顯示系統、視差校正方法與圖像輸出方 法
本揭露是有關於一種透明顯示系統、視差校正方法與圖像輸出方法。
隨著顯示科技的發展，各式顯示裝置不斷推陳出新。請參照第1圖，其繪示透明顯示裝置700之示意圖。透明顯示裝置700可以設置於使用者600與背景物800之間。透明顯示裝置700可以呈現圖像P70。當使用者600站在透明顯示裝置700前，圖像P70即可疊合於背景物800之圖像P80。
然而，人類大腦會決定慣用眼(ocular dominance)的視線，有人的慣用眼是左眼，有人的慣用眼是右眼。請參照第2~3圖，第2圖繪示慣用眼為右眼之使用者600所觀看到的疊合情況，第3圖繪示慣用眼為左眼之使用者600所觀看到的疊合情況。在相同位置下，慣用眼為右眼之使用者600所觀看到的圖像P70可能剛好對準於圖像P80之中心，但慣用眼為 左眼之使用者600所觀看到的圖像P70卻會偏向圖像P80之右邊，此種情況即稱為視差。
每位使用者600的慣用眼並不相同。如果透明顯示裝置700都在相同的位置呈現圖像P70，會讓不同使用者600產生不同的疊合情況。此外，同樣是右眼慣用眼的兩個使用者600，也可能會有不同程度的視差。因此，研究人員正積極研發視差校正方法，以使透明顯示裝置700能夠適用於不同程度之視差的各個使用者600。
本揭露係有關於一種透明顯示系統、視差校正方法與圖像輸出方法。
根據本揭露之一實施例，提出一種透明顯示系統之視差校正方法。透明顯示裝置位於背景物與使用者之間。視差校正方法包括以下步驟。於透明顯示裝置顯示視線注視點。擷取包括透明顯示裝置、背景物及使用者之影像。依據影像，偵測至少二顯示器定位點及對應之至少二背景物定位點。此些顯示器定位點位於透明顯示裝置上，此些背景物定位點位於背景物上。獲得延伸於此些顯示器定位點與對應之此些背景物定位點之數條視覺延伸線。依據此些視覺延伸線之交集處，獲得使用者之慣用眼(ocular dominance)的等效眼位點(equivalent eye position)。
根據本揭露之另一實施例，提出一種透明顯示系統之圖像輸出方法。透明顯示裝置位於背景物與使用者之間。圖像輸出方法包括以下步驟。擷取包括透明顯示裝置、背景物及使用者之影像。獲得使用者之慣用眼的等效眼位點。於影像偵測背景物之實體位置。依據等效眼位點與實體位置之至少一連線，於透明顯示裝置取得顯示位置。依據顯示位置，於透明顯示裝置顯示圖像。
根據本揭露之再一實施例，提出一種透明顯示系統。透明顯示系統包括透明顯示裝置、影像擷取裝置、處理裝置以及儲存裝置。透明顯示裝置設置於背景物與使用者之間。透明顯示裝置顯示視線注視點。影像擷取裝置擷取包括透明顯示裝置、背景物及使用者之影像。處理裝置連接於影像偵測裝置。處理裝置包括影像分析單元及空間運算單元。影像分析單元用以於影像偵測至少二顯示器定位點及對應之至少二背景物定位點。此些顯示器定位點位於透明顯示裝置上，此些背景物定位點位於該背景物上。空間運算單元用以計算延伸於各個顯示器定位點與對應之各個背景物定位點之視覺延伸線，並依據此些視覺延伸線與雙眼連線之交集處，計算使用者之慣用眼的等效眼位點。儲存裝置用以記錄等效眼位點。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
100,100’,100”:透明顯示裝置
200:影像擷取裝置
300:處理裝置
310:影像分析單元
320:空間運算單元
330:圖像控制單元
400:儲存裝置
500,500’,500”:背景物
600:使用者
700:透明顯示裝置
800:背景物
900,900’,900”:使用者
910,910’:指尖
1000:透明顯示系統
A2:影像擷取角度
EL:左眼
ER:右眼
EP:等效眼位點
ID:臉部特徵
IM,IM’:影像
L11,L12,L13,L14:視覺延伸線
L81:連線
LC1:顯示位置
LC5:實體位置
P0,P0’,P0”:視線注視點
P11,P11’,P11”,P12,P12’,P12”,P13,P13’,P13”,P14:顯示器定位點
P51,P51’,P51”,P52,P52’,P52”,P53,P53’,P53”,P54:背景物定位點
P70,P80,PT:圖像
RS:對應關係
S110,S120,S130,S140,S140’,S141,S141’,S142,S142’,S143,S143’,S144,S144’,S145,S145’,S146,S146’,S150,S160,S170,S210,S220,S230,S240,S250,S260:步驟
第1圖繪示透明顯示裝置之示意圖；第2圖繪示慣用眼為右眼之使用者所觀看到的疊合情況；第3圖繪示慣用眼為左眼之使用者所觀看到的疊合情況；第4圖繪示根據一實施例之透明顯示系統之示意圖；第5圖繪示根據一實施例之透明顯示系統的方塊圖；第6圖繪示根據一實施例之透明顯示系統之視差校正方法的流程圖；第7圖繪示根據一實施例之透明顯示系統之圖像輸出方法的流程圖；第8圖說明圖像輸出方法的示例圖；第9圖繪示根據另一實施例之視差校正方法的流程圖；第10圖以智慧零售場域之商品展示箱為例來說明第9圖之各步驟的示例圖；以及第11圖以智慧育樂場域之投影布幕為例來說明第9圖之各步驟的示例圖。
請參照第4圖，其繪示根據一實施例之透明顯示系統1000之示意圖。透明顯示系統1000包括透明顯示裝置100、影像擷取裝 置200、處理裝置300及儲存裝置400。透明顯示裝置100設置於使用者900與背景物500之間。透明顯示系統1000例如可以應用於智慧醫療場域。背景物500例如為X光片。透明顯示裝置100例如包括透明液晶顯示器(Transparent LCD)、透明有機發光二極體顯示器(Transparent OLED display)、透明微發光二極體顯示器(Transparent micro LED display)或貼附反射膜之透明玻璃。影像擷取裝置200可用以擷取影像。影像擷取裝置200例如是照相機、攝影機、結構光感測器或紅外線感測儀等。處理裝置300可用以執行各種分析程序、運算程序或控制程序等。處理裝置300例如是電腦、伺服器、雲端運算中心或行動電話等。儲存裝置400可用以儲存資料。儲存裝置400例如是硬碟、記憶體、光碟或雲端儲存中心等。
請參照第5圖，其繪示根據一實施例之透明顯示系統1000的方塊圖。處理裝置300包括影像分析單元310、空間運算單元320及圖像控制單元330。影像分析單元310可用以執行影像分析程序。空間運算單元320可用以進行三維空間資料的運算程序。圖像控制單元330可用以執行透明顯示裝置100之控制程序，以呈現所需要的圖像。影像分析單元310、空間運算單元320及圖像控制單元330例如是電路、晶片、電路板或儲存程式碼等之記憶裝置。
本實施例之透明顯示系統1000可以透過視差校正方法計算出使用者900之慣用眼(ocular dominance)的等效眼位點(equivalent eye position)EP。等效眼位點EP位於使用者900之右眼ER與左眼EL之間。等效眼位點EP靠近右眼ER者，其慣用眼為右眼ER；等 效眼位點EP靠近左眼EL者，其慣用眼為左眼EL。本實施例所計算出之等效眼位點EP係為右眼ER與左眼EL之間的一精確位置，可以按照視差的程度來校正圖像在透明顯示裝置100的顯示位置。
請參照第6圖，其繪示根據一實施例之透明顯示系統1000之視差校正方法的流程圖。以下搭配第4圖之示意圖進行說明。首先，在步驟S110中，於透明顯示裝置100顯示一視線注視點P0。在操作過程中，可以要求使用者900站在透明顯示裝置100的前方，視線注視點P0顯示於透明顯示裝置100之內，以使視線注視點P0位於使用者900之前方。
接著，在步驟S120中，影像擷取裝置200擷取包括透明顯示裝置100、背景物500及使用者900之影像IM。
然後，在步驟S130中，處理裝置300之影像分析單元310可於影像IM辨識使用者900之一臉部特徵ID。透過臉部特徵ID即可確認使用者900之身分。後續所計算出之校正資訊即可對應至此位使用者900。
接著，在步驟S140中，處理裝置300之影像分析單元310依據影像IM，偵測顯示器定位點P11~P14(顯示器定位點之數量可以是至少兩個)及對應之背景物定位點P51~P54(背景物定位點之數量可以是至少兩個)。顯示器定位點P11~P14位於透明顯示裝置100上，背景物定位點P51~P54位於背景物500上。
在第4圖之實施例中，顯示器定位點P11~P14可以是事先預訂的，背景物定位點P51~P54則是由使用者900按照其視線來點選，可藉此確認此位使用者900真實的視線。
步驟S140包括步驟S141~S146。在步驟S141中，於透明顯示裝置100顯示顯示器定位點P11。在一實施例中，透明顯示裝置100可以先顯示一個顯示器定位點P11，待取得背景物定位點P51後，再繼續顯示下一個顯示器定位點P12，依此類推。或者，在一實施例中，透明顯示裝置100可以同時顯示顯示器定位點P11及顯示器定位點P12。
在步驟S142中，提示使用者900注視視線注視點P0。此步驟可以透過透明顯示裝置100來顯示提醒文字(例如提示「請注視螢幕的中心紅點」)。或者，此步驟亦可透過一喇叭來播放提醒語音。上述步驟S141及步驟S142之順序係可交替。
在步驟S143中，提示使用者900例如以一指尖910於背景物500指出對應顯示器定位點P11之重疊處。此步驟可以透過透明顯示裝置100來顯示提醒文字(例如提示「請以手指在X光片指出藍點」)。或者，此步驟亦可透過喇叭來播放提醒語音。
在步驟S144中，處理裝置300之影像分析單元310於影像IM偵測透明顯示裝置100，以取得顯示器定位點P11於三維空間的位置。顯示器定位點P11係為三維空間上的點，空間運算單元320可以得知影像擷取裝置200的影像擷取角度A2，並推算出影像IM中顯示器定位點P11位於三維空間的位置。
在步驟S145中，處理裝置300之影像分析單元310於影像IM偵測對應顯示器定位點P11之重疊處，以取得背景物定位點P51於三維空間的位置。指尖910係為三維空間上的一個點，空間運算單元320可以得知影像擷取裝置200的影像擷取角度A2，並推算出影像IM中對應顯示器定位點P11之重疊處位於三維空間的位置(即背景物定位點P51)。
然後，在步驟S146中，處理裝置300之空間運算單元320判斷是否已計算出所有的背景物定位點P51~P54。若尚未計算出所有的背景物定位點P51~P54，則回至步驟S141，再次進行計算；若已計算出所有的背景物定位點P51~P54，則進入步驟S150。
視線注視點P0可以位於顯示器定位點P11~P14所圍範圍的中心。顯示器定位點之數量並不局限於4個，顯示器定位點之數量大於等於3時，視線注視點P0可以位於顯示器定位點所圍範圍的中心。
取得顯示器定位點P11~P14與背景物定位點P51~P54之後，即可進行後續運算程序來計算出等效眼位點EP。
在步驟S150中，處理裝置300之空間運算單元320計算延伸於顯示器定位點P11~P14與對應之背景物定位點P51~P54之視覺延伸線L11~L14。舉例來說，顯示器定位點P11與對應之背景物定位點P51形成視覺延伸線L11；顯示器定位點P12與對應之背景物定位點P52形成視覺延伸線L12，依此類推。如第4圖所示，使用者900係按照其視線來點選背景物500上對應顯示器定位點P11~P14之重疊處，亦即背景物定位點P51~P54，故此些視覺延伸線L11~L14大致上會聚焦於同一處。
接著，步驟S160中，處理裝置300之空間運算單元320依據視覺延伸線L11~L14之交集處，獲得使用者900之慣用眼的等效眼位點EP於三維空間的位置。等效眼位點EP係位於使用者900之左眼EL與右眼ER之間。
然後，在步驟S170中，處理裝置300之空間運算單元320記錄臉部特徵ID與等效眼位點EP之對應關係RS，並於儲存裝置400儲存此對應關係RS。當此位使用者900再次使用透明顯示系統1000時，空間運算單元320即可直接依據臉部特徵ID，查詢儲存於儲存裝置400之對應關係RS，以獲得此位使用者900的等效眼位點EP。
透過上述流程，可取得等效眼位點EP。等效眼位點EP係為右眼ER與左眼EL之間的一精確位置。透明顯示裝置100可以依據等效眼位點EP以特定位置、特定尺寸、特定旋轉角度輸出圖像。請參照第7~8圖，第7圖繪示根據一實施例之透明顯示系統1000之圖像輸出方法的流程圖，第8圖說明圖像輸出方法的示例圖。
在步驟S210中，影像擷取裝置200擷取包括透明顯示裝置100、背景物500及使用者900之影像IM。
接著，在步驟S220中，處理裝置300之影像分析單元310於影像IM辨識使用者900之臉部特徵ID。
然後，在步驟S230中，處理裝置300之空間運算單元320依據臉部特徵ID查詢儲存於儲存裝置400之對應關係RS，以獲得使用者900之慣用眼(ocular dominance)的等效眼位點(equivalent eye position)EP於三度空間的位置。
接著，在步驟S240中，處理裝置300之影像分析單元310於影像IM偵測背景物500之實體位置LC5。例如是第8圖之背景物500之肝臟照片的位置。
然後，在步驟S250中，處理裝置300之空間運算單元320依據等效眼位點EP與實體位置LC5之至少一連線L81，於透明顯示裝置100取得一顯示位置LC1。顯示位置LC1即為連線L81穿越透明顯示裝置100之點。
接著，在步驟S260中，處理裝置300之圖像控制單元330依據顯示位置LC1，於透明顯示裝置100顯示一圖像PT。透過上述實施例，等效眼位點EP可以依據使用者900之視差的程度用來校正圖像在透明顯示裝置100的顯示位置，以使圖像PT顯示正確位置。使用者900在觀看圖像PT時，圖像PT能夠準確地疊合在背景物500所對應之處。
由於每一使用者900的視差情況並不相同，上述的視差校正方法可針對每個使用者900個別執行，以取得各自的等效眼位點EP。當然，上述的圖像輸出方法也可針對每個使用者900個別執行，以根據各自的等效眼位點EP進行圖像PT的輸出。
請參照第9~10圖，第9圖繪示根據另一實施例之視差校正方法的流程圖，第10圖以智慧零售或展覽場域之商品展示箱為例來說明第9圖之各步驟的示例圖。在本實施例中，使用者900’可能無法用指尖910’去點選背景物500’，故第9圖之視差校正方法可以將背景物定位點P51’~P53’設定為事先預訂，並讓顯示器定位點P11’~P13’由使用者900’按照其視線來點選，如此也可確認此位使用者900’真實的視線。
相較於第9圖與第6圖，其不同處在於步驟S140’，其餘相同之處不在此重複敘述。步驟S140’包括步驟S141’~S146’。在步驟S141’中，提示使用者900’注視視線注視點P0’。此步驟可以透過透明顯示裝置100’來顯示提醒文字(例如提示「請注視著中心紅點」)。或者，此步驟亦可透過喇叭來播放提醒語音。
接著，在步驟S142’中，提示使用者900’背景物定位點P51’於背景物500’之位置。此步驟可以透過透明顯示裝置100’來顯示提醒文字(例如提示「請找出模型的頂端」)。或者，此步驟亦可透過喇叭來播放提醒語音。
然後，在步驟S143’中，提示使用者900’例如以一指尖910’於透明顯示裝置100’指出對應背景物定位點P51’之重疊處。此步驟可以透過透明顯示裝置100’來顯示提醒文字(例如提示「請以手指在螢幕上指出模型的頂端」)。或者，此步驟亦可透過喇叭來播放提醒語音。
接著，在步驟S144’中，處理裝置300之影像分析單元310於影像IM’偵測對應於背景物定位點P51’之重疊處，以取得顯示器定位點P11’於三維空間的位置。
然後，在步驟S145’中，處理裝置300之影像分析單元310於影像IM’偵測背景物500’，以取得背景物定位點P51’於三維空間的位置。
接著，在步驟S146’中，處理裝置300之空間運算單元320’判斷是否已計算出所有的顯示器定位點P11’~P13’。若尚未計算出所有 的顯示器定位點P11’~P13’，則回至步驟S141’，再次進行計算；若已計算出所有的顯示器定位點P11’~P13’，則進入步驟S150。
取得顯示器定位點P11’~P13’與背景物定位點P51’~P53’之後，即可進行後續運算程序來計算出等效眼位點EP。
請參照第11圖，第11圖以智慧育樂場域之投影布幕為例來說明第9圖之各步驟的示例圖。在智慧育樂場域之投影布幕中，使用者900”不直接接觸背景物500”(即投影布幕)。第11圖之實施例也可適用於第9圖之視差校正方法，而可以將背景物定位點P51”~P53”設定為事先預訂，並讓使用者900”注視著視線注視點P0”時按照其視線來點選出顯示器定位點P11”~P13”，如此也可確認此位使用者900”真實的視線。
透過上述實施例，透明顯示系統1000可以透過視差校正方法計算出使用者900、900’、900”之慣用眼的等效眼位點EP。等效眼位點EP係為右眼ER與左眼EL之間的一精確位置，可以按照視差的程度來校正圖像在透明顯示裝置100、100’、100”的顯示位置，以使圖像PT顯示於正確位置。使用者900、900’、900”在觀看圖像PT時，圖像PT能夠準確地疊合在背景物500、500’、500”所對應之處。
綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍及其均等範圍所界定者為準。
100:透明顯示裝置
200:影像擷取裝置
300:處理裝置
310:影像分析單元
320:空間運算單元
330:圖像控制單元
400:儲存裝置
500:背景物
900:使用者
910:指尖
1000:透明顯示系統
A2:影像擷取角度
EL:左眼
ER:右眼
EP:等效眼位點
ID:臉部特徵
IM:影像
L11,L12,L13,L14:視覺延伸線
P0:視線注視點
P11,P12,P13,P14:顯示器定位點
P51,P52,P53,P54:背景物定位點
RS:對應關係

Claims (18)

  1. 一種透明顯示系統之視差校正方法，一透明顯示裝置位於一背景物與一使用者之間，該視差校正方法包括：於該透明顯示裝置顯示一視線注視點；擷取包括該透明顯示裝置、該背景物及該使用者之一影像；依據該影像，偵測至少二顯示器定位點及對應之至少二背景物定位點，該些顯示器定位點位於該透明顯示裝置上，該些背景物定位點位於該背景物上；獲得延伸於該些顯示器定位點與對應之該些背景物定位點之複數條視覺延伸線；以及依據該些視覺延伸線之一交集處，獲得該使用者之慣用眼(ocular dominance)的一等效眼位點(equivalent eye position)。
  2. 如請求項1所述之視差校正方法，其中該視線注視點位於該使用者之前方。
  3. 如請求項1所述之視差校正方法，其中偵測該些顯示器定位點及對應之該些背景物定位點之步驟包括：於該透明顯示裝置顯示各該顯示器定位點；提示該使用者注視該視線注視點； 提示該使用者於該背景物指出各該顯示器定位點之一重疊處；於該影像偵測該透明顯示裝置，以取得各該顯示器定位點於三維空間的位置；以及於該影像偵測各該重疊處，以取得各該背景物定位點於三維空間的位置。
  4. 如請求項1所述之視差校正方法，其中偵測該些顯示器定位點及對應之該些背景物定位點之步驟包括：提示該使用者注視該視線注視點；提示該使用者各該背景物定位點於該背景物之位置；提示該使用者於該透明顯示裝置指出各該背景物定位點之一重疊處；於該影像偵測該重疊處，以取得各該顯示器定位點；以及於該影像偵測該背景物，以取得各該背景物定位點於三維空間的位置。
  5. 如請求項1所述之視差校正方法，其中該視線注視點位於該些顯示器定位點所圍之範圍的中心。
  6. 如請求項1所述之視差校正方法，更包括：於該影像辨識該使用者之一臉部特徵；以及記錄該臉部特徵與該等效眼位點之一對應關係。
  7. 如請求項1所述之視差校正方法，其中該等效眼位點位於該使用者之雙眼之間。
  8. 一種透明顯示系統之圖像輸出方法，一透明顯示裝置位於一背景物與一使用者之間，該圖像輸出方法包括：擷取包括該透明顯示裝置、該背景物及該使用者之一影像；獲得該使用者之慣用眼(ocular dominance)的一等效眼位點(equivalent eye position)；於該影像偵測該背景物之一實體位置；依據該等效眼位點與該實體位置之至少一連線，於該透明顯示裝置取得一顯示位置；以及依據該顯示位置，於該透明顯示裝置顯示一圖像。
  9. 如請求項8所述之圖像輸出方法，其中該等效眼位點位於該使用者之雙眼之間。
  10. 如請求項8所述之圖像輸出方法，更包括：於該影像辨識該使用者之一臉部特徵；其中，在獲得該等效眼位點之步驟中，係依據該臉部特徵查詢一儲存裝置以獲得該等效眼位點。
  11. 一種透明顯示系統，包括：一透明顯示裝置，設置於一背景物與一使用者之間，該透明顯示裝置顯示一視線注視點；一影像擷取裝置，擷取包括該透明顯示裝置、該背景物及該使用者之一影像；一處理裝置，連接於該影像偵測裝置，該處理裝置包括：一影像分析單元，用以於該影像偵測至少二顯示器定位點及對應之至少二背景物定位點，該些顯示器定位點位於該透明顯示裝置上，該些背景物定位點位於該背景物上；及一空間運算單元，用以計算延伸於各該顯示器定位點與對應之各該背景物定位點之一視覺延伸線，並依據該些視覺延伸線與該雙眼連線之交集處，計算該使用者之慣用眼(ocular dominance)的一等效眼位點(equivalent eye position)；以及一儲存裝置，用以記錄該等效眼位點。
  12. 如請求項11所述之透明顯示系統，其中該視線注視點位於該使用者之前方。
  13. 如請求項11所述之透明顯示系統，其中該透明顯示裝置更顯示各該顯示器定位點，並提示該使用者注視該視線注視點，且提示該使用者於該背景物指出各該顯示器定位點之一重疊處； 該影像分析單元於該影像偵測該透明顯示裝置，以取得各該顯示器定位點；該影像分析單元並於該影像偵測該重疊處，以取得各該背景物定位點。
  14. 如請求項11所述之透明顯示系統，其中該透明顯示裝置更提示該使用者注視該視線注視點，並提示該使用者各該背景物定位點於該背景物之位置，且提示該使用者於該透明顯示裝置指出各該背景物定位點之一重疊處；該影像分析單元於該影像偵測該重疊處，以取得各該顯示器定位點於三維空間的位置；該影像分析單元並於該影像偵測該背景物，以取得各該背景物定位點於三維空間的位置。
  15. 如請求項11所述之透明顯示系統，其中該視線注視點位於該些顯示器定位點所圍之範圍的中心。
  16. 如請求項11所述之透明顯示系統，其中該影像分析單元更於該影像偵測該背景物之一實體位置，該空間運算單元依據該等效眼位點與該實體位置之至少一連線，於該透明顯示裝置取得一顯示位置，該處理裝置更包括：一圖像控制單元，該圖像控制單元依據該顯示位置，於該透明顯示裝置顯示一圖像。
  17. 如請求項11所述之透明顯示系統，其中該等效眼位點位於該使用者之雙眼之間。
  18. 如請求項11所述之透明顯示系統，其中該影像分析單元更用以於該影像辨識該使用者之一臉部特徵，該儲存裝置更用以記錄該臉部特徵與該等效眼位點之一對應關係。
TW109116779A 2020-05-20 2020-05-20 透明顯示系統、視差校正方法與圖像輸出方法 TWI767232B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109116779A TWI767232B (zh) 2020-05-20 2020-05-20 透明顯示系統、視差校正方法與圖像輸出方法
CN202010533994.9A CN113703157B (zh) 2020-05-20 2020-06-12 透明显示系统、视差校正方法与图像输出方法
US17/148,204 US11699301B2 (en) 2020-05-20 2021-01-13 Transparent display system, parallax correction method and image outputting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109116779A TWI767232B (zh) 2020-05-20 2020-05-20 透明顯示系統、視差校正方法與圖像輸出方法

Publications (2)

Publication Number Publication Date
TW202145780A TW202145780A (zh) 2021-12-01
TWI767232B true TWI767232B (zh) 2022-06-11

Family

ID=78608603

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109116779A TWI767232B (zh) 2020-05-20 2020-05-20 透明顯示系統、視差校正方法與圖像輸出方法

Country Status (3)

Country Link
US (1) US11699301B2 (zh)
CN (1) CN113703157B (zh)
TW (1) TWI767232B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021300A (zh) * 2018-01-18 2018-05-11 京东方科技集团股份有限公司 一种画面显示方法及画面显示装置
TW201929786A (zh) * 2017-12-28 2019-08-01 佳世達科技股份有限公司 影像顯示裝置及影像顯示方法
TW201939102A (zh) * 2018-03-07 2019-10-01 和碩聯合科技股份有限公司 抬頭顯示系統及其控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164581B2 (en) * 2010-10-22 2015-10-20 Hewlett-Packard Development Company, L.P. Augmented reality display system and method of display
JP5830987B2 (ja) * 2011-07-06 2015-12-09 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
WO2014021169A1 (ja) 2012-07-31 2014-02-06 独立行政法人科学技術振興機構 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
TWI458530B (zh) * 2012-08-20 2014-11-01 Au Optronics Corp 娛樂顯示系統及其互動式立體顯示方法
CN103985334B (zh) * 2014-05-04 2017-08-29 京东方科技集团股份有限公司 透明显示系统以及设置有该透明显示系统的设备
EP3041231A1 (en) * 2014-12-30 2016-07-06 SeeFront GmbH Autostereoscopic multi-view system
CN105719586A (zh) * 2016-03-18 2016-06-29 京东方科技集团股份有限公司 透明显示方法和透明显示装置
CN108227914B (zh) * 2016-12-12 2021-03-05 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
CN109828663A (zh) 2019-01-14 2019-05-31 北京七鑫易维信息技术有限公司 瞄准区域的确定方法及装置、瞄准目标物的操作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201929786A (zh) * 2017-12-28 2019-08-01 佳世達科技股份有限公司 影像顯示裝置及影像顯示方法
CN108021300A (zh) * 2018-01-18 2018-05-11 京东方科技集团股份有限公司 一种画面显示方法及画面显示装置
TW201939102A (zh) * 2018-03-07 2019-10-01 和碩聯合科技股份有限公司 抬頭顯示系統及其控制方法

Also Published As

Publication number Publication date
US20210368159A1 (en) 2021-11-25
US11699301B2 (en) 2023-07-11
CN113703157B (zh) 2024-05-14
CN113703157A (zh) 2021-11-26
TW202145780A (zh) 2021-12-01

Similar Documents

Publication Publication Date Title
US10607395B2 (en) System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface
TW201901529A (zh) 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體
US10254831B2 (en) System and method for detecting a gaze of a viewer
US11461980B2 (en) Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
TWI680743B (zh) 眼球追蹤方法、電子裝置及非暫態電腦可讀取記錄媒體
JP2017129904A (ja) 情報処理装置、情報処理方法、及び記録媒体
TW202206978A (zh) 用於擴展現實的隱私控制介面
US11532138B2 (en) Augmented reality (AR) imprinting methods and systems
US20160284127A1 (en) Individualized content in augmented reality systems
JP2023516108A (ja) アイトラッキングを用いたなりすまし防止のための方法、システム、および媒体
US20190369807A1 (en) Information processing device, information processing method, and program
Nitschke et al. I see what you see: point of gaze estimation from corneal images
TWI767232B (zh) 透明顯示系統、視差校正方法與圖像輸出方法
TWI804671B (zh) 互動顯示方法與互動顯示系統
Kim et al. Gaze estimation using a webcam for region of interest detection
CN111651043B (zh) 一种支持定制化多通道交互的增强现实系统
WO2021100214A1 (ja) 情報処理方法、情報処理装置、及び制御プログラム
CN112435347A (zh) 一种增强现实的电子书阅读系统及方法
Lander et al. Eyemirror: Mobile calibration-free gaze approximation using corneal imaging
US10013736B1 (en) Image perspective transformation system
TW202005407A (zh) 透過擴增實境給予提示以播放接續影片之系統及方法
JP6802549B1 (ja) 情報処理方法、情報処理装置、及び制御プログラム
WO2023221884A1 (zh) 一种护眼方法、装置、设备及存储介质
KR101591038B1 (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
CN117765621A (zh) 活体检测方法、装置及存储介质