TWI657431B - 動態顯示系統 - Google Patents

動態顯示系統 Download PDF

Info

Publication number
TWI657431B
TWI657431B TW107112275A TW107112275A TWI657431B TW I657431 B TWI657431 B TW I657431B TW 107112275 A TW107112275 A TW 107112275A TW 107112275 A TW107112275 A TW 107112275A TW I657431 B TWI657431 B TW I657431B
Authority
TW
Taiwan
Prior art keywords
user
display screen
image
display system
dynamic display
Prior art date
Application number
TW107112275A
Other languages
English (en)
Other versions
TW201837893A (zh
Inventor
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW201837893A publication Critical patent/TW201837893A/zh
Application granted granted Critical
Publication of TWI657431B publication Critical patent/TWI657431B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

動態顯示系統包含顯示屏幕、偵測裝置及處理器。偵測裝置偵測使用者之位置相對於偵測裝置之第一三維座標資訊。處理器耦接於顯示屏幕及偵測裝置。處理器將第一三維座標資訊轉換為使用者之位置相對於顯示屏幕之第二三維座標資訊,並根據第二三維座標資訊產生顯示屏幕所呈現之影像。

Description

動態顯示系統
本發明係有關於一種動態顯示系統,特別是一種能夠根據使用者所在位置而產生對應影像的動態顯示系統。
在先前技術中,使用者在觀看影像時,大多會處於較為靜態的環境當中,例如在家中的客廳觀看電視,或是在電影院裡觀看投影幕。在相對靜態的環境當中,由於使用者的座位大致上為固定,因此使用者與顯示屏幕之間的距離大致上也是固定的。在此情況下,電視或電影投影機呈現影像的條件較為單純,而可以根據預設的觀看位置來產生合適的影像內容。
然而隨著行動電子裝置的功能日益強大,使用者在行動電子裝置上觀看影像的頻率越來越高。由於使用者觀看顯示屏幕的習慣各異,與顯示屏幕之間的距離也可能不同。此外,由於使用者在觀看影像的過程中,也可能移動位置,因此倘若欲在行動電子裝置上顯示出具有立體效果的二維影像或三維影像,就可能因為無法即時對應到使用者的位置,而導致影像品質不佳的問題。
本發明之一實施例提供一種動態顯示系統,動態顯示系統包含顯示屏幕、偵測裝置及處理器。
偵測裝置與顯示屏幕設置於動態顯示系統之殼體的同一側,並可偵測使用者之位置相對於偵測裝置之第一三維座標資訊。處理器耦接於顯示屏幕及偵測裝置。處理器將第一三維座標資訊轉換為第一使用者之位置相對於顯示屏幕之第二三維座標資訊,並根據第二三維座標資訊產生顯示屏幕所呈現之第一影像。
本發明之另一實施例提供一種動態顯示系統,動態顯示系統包含顯示屏幕、偵測裝置及處理器。
偵測裝置與顯示屏幕設置於動態顯示系統之殼體的同一側,並可偵測出使用者之位置。處理器耦接於顯示屏幕及偵測裝置。當偵測裝置偵測到使用者之位置遠離顯示屏幕時,處理器放大顯示屏幕中的內容。
第1圖為本發明一實施例之動態顯示系統100的示意圖,動態顯示系統100可例如但不限於行動電子裝置,如手機及平板,或智慧電視。動態顯示系統100包含顯示屏幕110、偵測裝置120及處理器130,處理器130耦接於顯示屏幕110及偵測裝置120。
在第1圖的實施例中,偵測裝置120與顯示屏幕110可同樣設置於動態顯示系統100之殼體100A的同一側,以便偵測裝置120能夠偵測使用者在觀看顯示屏幕110時的位置,而處理器130則可根據使用者的位置來產生對應的影像。
舉例來說,偵測裝置120可辨識出使用者U1的特定部位,並根據使用者U1的特定部位偵測出使用者U1相對於偵測裝置120的三維座標資訊。在本發明的部分實施例中,動態系統100可將使用者U1之雙眼間的中點設定為所欲辨識的特定部位,在此情況下,使用者U1相對於偵測裝置120的三維座標資訊即會包含使用者U1之雙眼中點的三維座標(EAX120 , EAY120 , EAZ120 )。在本發明的部分實施例中,偵測裝置120可包含深度擷取裝置及影像擷取裝置,因此偵測裝置120可根據眼部的形狀及顏色等特徵辨識出使用者U1的雙眼位置,而其中的深度擷取裝置則可利用雙眼視覺深度感測、結構光深度感測、飛時測距(Time of Flight,ToF)深度感測或測距雷達等方式,偵測出使用者U1之眼部相對於偵測裝置120之間的距離。在本發明的部分實施例中,偵測裝置120也可能僅包含深度擷取裝置,並透過深度擷取裝置進行物體辨識以及深度偵測。
然而,本發明並不限定偵測裝置120需辨識使用者U1的眼部,在本發明的其他實施例中,偵測裝置120也可辨識出使用者U1的頭部或其他部位,並可偵測使用者U1的頭部或其他部位相對於偵測裝置120的三維座標座標。此外,在本發明的部分實施例中,偵測裝置120也可根據使用者U1之特定部位的大小變化,例如頭部或眼部的大小變化,來估測使用者U1的位置變化,並產生對應的三維座標資訊。
一般而言,偵測裝置120與顯示屏幕110的設置位置並不相同,而使用者U1實際上所觀察的對象應為顯示屏幕110,因此為了能夠得知使用者U1觀察顯示屏幕110的情況,動態顯示系統100會透過處理器130將偵測裝置120所偵測到使用者U1相對於偵測裝置120的位置,轉換為使用者U1相對於顯示屏幕110的位置。在本發明的部分實施例中,為方便處理器130能夠計算產生使用者U1相對於顯示屏幕110的位置,處理器130可在顯示屏幕110上設定顯示屏幕110的參考點以代表顯示屏幕110的位置,處理器130可例如但不限於將顯示屏幕110上的顯示中心110C設定為參考點。在其他實施例中,處理器130也可將顯示屏幕110之任何位置設定為參考點,為了方便說明以下皆以顯示中心110C來舉例。
由於偵測裝置120與顯示屏幕110會設置在殼體100A上的固定位置,因此兩者的相對位置亦為固定,例如在第1圖中,偵測裝置120與顯示屏幕110之顯示中心110C的水平距離Dx及垂直距離Dy可為固定。在此情況下,只要能夠取得水平距離Dx及垂直距離Dy的值,處理器130就可經由座標變換的運算將使用者U1之位置相對於偵測裝置120的三維座標資訊轉換為使用者U1之位置相對於顯示屏幕110之顯示中心110C之三維座標資訊。也就是說,處理器130可將以偵測裝置120為參考點的三維座標(EAX120 , EAY120 , EAZ120 )轉換為以顯示中心110C為參考點的三維座標(EAX110 , EAY110 , EAZ110 )。在其他實施例中,處理器130也可將顯示屏幕110之任何位置設定為參考點,為了方便說明以下皆以顯示中心110C來舉例。
在本發明的部分實施例中,由於偵測裝置120與顯示屏幕110在殼體100A上的位置是在製造前的設計階段便已經先行決定,因此兩者的相對空間參數可以事先儲存在處理器130中。雖然在實際製造動態顯示系統100時,偵測裝置120與顯示屏幕110在殼體100A的位置可能會有些許誤差,但是在誤差不大的情況下,事先儲存的參數仍可滿足應用上的需求。然而在對於誤差要求較為嚴格的應用中,也可對動態顯示系統100進行校正以取得較為精確的數值。
取得使用者U1相對於顯示屏幕110的三維座標資訊,例如使用者U1雙眼中點的三維座標(EAX110 , EAY110 , EAZ110 )之後,處理器130便可據以產生顯示屏幕110所呈現之影像。舉例來說,處理器130可根據使用者U1相對於顯示屏幕110的三維座標資訊判斷使用者U1觀察顯示屏幕110的視野以及使用者U1相對於顯示屏幕110的距離,並具根據其視野及距離來決定呈現影像的比例大小。第2圖為本發明一實施例之動態顯示系統100的使用情境圖。在第2圖中,動態顯示系統100主要是在呈現完整影像IMG0中的內容,且動態顯示系統100可以根據處理器130所判斷之使用者U1的視野及顯示影像之比例大小取出完整影像IMG0中的部分影像,並產生最終顯示屏幕110所呈現的影像。
舉例來說,當使用者U1的雙眼中點在位置A時,處理器130可根據其所在的位置A判斷使用者U1觀看顯示屏幕110的視野及使用者U1相對於顯示屏幕110的距離,並據以求得顯示屏幕110顯示影像時的比例大小,接著即可根據其所判斷出的視野及比例大小自完整影像IMG0中取出部分影像IMG1以供顯示屏幕110顯示。同理,當使用者U1的雙眼中點在位置B時,處理器130則可根據其所在的位置B判斷使用者U1觀看顯示屏幕110的視野及距離以求得顯示影像之比例大小,並根據其所決定的視野及比例大小自完整影像IMG0中取出部分影像IMG1’以供顯示屏幕110顯示。
在第2圖的實施例中,完整影像IMG0可例如為平面影像,然而在本發明的其他實施例中,完整影像IMG0也可以是360度全景影像。由於動態顯示系統100可以根據使用者的位置來產生對應的影像,因此能夠提供使用者更直覺的顯示效果。
此外,在本發明的部分實施例中,當動態顯示系統100透過顯示屏幕110呈現選單圖示時,處理器130也可根據使用者U1的位置來顯示選單圖示,例如當使用者U1改變觀看位置時,選單圖示也會跟著位移,如此一來,就能夠產生立體的效果。倘若動態顯示系統100所呈現選單圖示是具有深度資訊的三維圖像時,處理器130也可根據使用者U1的位置來顯示選單圖示,使得立體的效果更加明顯。舉例來說,當使用者U1以正面觀看選單圖示時,處理器130可以產生選單圖示的正面圖案,而當使用者U1在側邊觀看選單圖示時,處理器130則可以產生選單圖示的側邊邊框。如此一來,在使用者U1變換觀看位置時,便可感受到選單圖示的厚度,而產生立體浮出的視覺效果。
動態顯示系統100除了能夠根據觀看位置改變影像的內容之外,在本發明的部分實施例中,當偵測裝置120偵測到使用者U1逐漸遠離顯示中心110C時,處理器130還可放大顯示屏幕110中所呈現的至少部分內容。
舉例來說,當顯示屏幕110所呈現內容包含圖像時,倘若使用者U1逐漸遠離顯示屏幕110,則處理器130可以將整張圖像放大,或是選擇將圖像的局部內容放大,例如圖像中實際上挾帶資訊的重點部分。也就是說,使用者U1即使距離顯示屏幕110較遠,仍然可以清楚看見影像的內容,這項功能特別能夠輔助具有老花眼的長者。
此外,當顯示屏幕110所呈現的內容包含文字時,處理器130則可以將文字放大,以便使用者U1可以在較遠的距離看見文字內容。然而本發明並不限定處理器130係以何種方式來放大顯示屏幕110呈現的內容,例如處理器130在放大文字時,除了可以將文字內容以圖像的方式直接放大之外,也可能是透過改變字型大小的方式來實行,而皆屬於本發明的範疇。在本發明的部分實施例中,當處理器130放大文字內容時,也可能同時減少原先所能呈現之文字的數量,以配合顯示屏幕110的大小。
在本發明的部分實施例中,偵測裝置120可根據偵測到使用者U1的深度變化來判斷使用者U1是否遠離顯示屏幕110,然而本發明並不以此為限。在本發明的部分實施例中,偵測裝置120也可在未產生深度資訊的情況下,根據偵測到使用者U1之特定部位的影像大小變化來判斷使用者U1的距離遠近,並據以縮放顯示屏幕110中所呈現的內容。
此外,由於偵測裝置120可以產生物體的深度資訊,因此在本發明的部分實施例中,也可利用偵測裝置120來辨識特定的立體識別物件,例如使用者所特有的飾品或是具有特殊結構的物件,而當偵測裝置120辨識出立體識別物件時,處理器130就可對應地解鎖動態顯示系統100。如此一來,就可以進一步簡化動態顯示系統100的解鎖程序。
在本發明的部分實施例中,顯示屏幕110是二維影像的顯示器,也就是說,顯示屏幕110並未針對使用者的左右眼分別投射不同的影像。在此情況下,偵測裝置120實際上所取得的位置可對應於使用者U1的兩眼中點。然而在本發明的其他實施例中,顯示屏幕110亦可能支援三維影像,此時處理器130則會針對使用者的左右眼產生不同的影像。在此情況下,偵測裝置120所取得的三維座標資訊即可包含使用者U1之左眼的三維座標及使用者U1之右眼的三維座標,而處理器130可進一步將左眼相對於偵測裝置120之三維座標轉換為左眼相對於顯示屏幕110的三維座標,並將右眼相對於偵測裝置120之三維座標轉換為右眼相對於顯示屏幕110的三維座標。
在取得使用者U1之左右眼相對於顯示屏幕110的三維座標後,處理器130便可得知使用者U1的雙眼是從空間中的什麼位置觀看顯示屏幕110,因此可據以產生顯示屏幕110所呈現的影像,此時顯示屏幕110所呈現的影像即包含左眼影像及右眼影像。
如此一來,當處理器130透過顯示屏幕110顯示三維影像中的物體時,使用者U1便會根據自身所在的位置觀看到物體的不同面向,製造出類似於全像投影(holographic)的視覺效果。第3圖為本發明一實施例之動態顯示系統100的使用情境圖。在第3圖中,當使用者U1是在位置A以正面觀察顯示屏幕110時,處理器130將產生物體O正面O1的立體影像,而當使用者U1是在位置B以側面觀察顯示屏幕110時,處理器130將產生較多物體O側面O2與較少O1的立體影像。
在第3圖的實施例中,處理器130主要是根據使用者U1的位置來判斷觀察角度,進而產生對應的影像,亦即物體O像是存在於由動態顯示系統100所建立的相對空間,因此動態顯示系統100本身的位置及方向變換並不會影像到處理器130所產生的影像內容。也就是說,處理器130僅會因為動態顯示系統100本身的變動所造成使用者U1與顯示屏幕110的相對位置變化來對應改變影像的內容。然而在本發明的其他實施例中,倘若動態顯示系統100還包含了慣性感測器,例如陀螺儀,則動態顯示系統100也可以根據慣性感測器所偵測到的自身角度變化來產生對應於物體不同面向的影像。
第4圖為本發明一實施例之動態顯示系統100的使用情境圖。在第4圖中,使用者U1的位置並未改變,然而隨著動態顯示系統100的角度及位置變化,動態顯示系統100仍會持續讓物體O呈現在相同的位置。也就是說,物體O像是存在於絕對的空間中,不會因為動態顯示系統100的位置方向改變而隨著改變。
第5圖為本發明另一實施例之動態顯示系統200的示意圖。動態顯示系統200包含顯示屏幕210、偵測裝置220、處理器230,並且可與動態顯示系統100根據相同的原理操作。此外,動態顯示系統200還可包含深度擷取模組240。深度擷取模組240與顯示屏幕210設置於殼體200A的相對兩側,因此深度擷取模組240可以偵測顯示屏幕210背後的環境深度資訊。在此情況下,處理器230便可根據深度擷取模組240所取得的環境深度資訊產生擴增實境(Augmented Reality,AR)內容並據以產生顯示屏幕210所應呈現的影像。換言之,動態顯示系統200可以根據深度擷取模組240所取得的環境深度資訊建立與真實環境相關的虛擬立體世界場景,且由於動態顯示系統200所建立的虛擬立體世界場景會與深度擷取模組240所取得的環境深度資訊相關,因此可以避免使用者在執行應用時,引導使用者穿越牆壁或進入危險區域。
第6圖為本發明另一實施例之動態顯示系統300的示意圖。動態顯示系統300與動態顯示系統100具有相似的結構及操作原理,然而在動態顯示系統300中,顯示屏幕310係為多視角立體顯示屏幕,在此情況下,當有多個使用者同時觀看顯示屏幕310時,動態顯示系統300就可以根據每個使用者所在的位置,提供對應視角及視野的畫面。
舉例來說,在第6圖中,偵測裝置320會偵測使用者U1及U2的位置相對於偵測裝置320的三維座標資訊,而處理器330則會將使用者U1及U2的位置相對於偵測裝置320的三維座標資訊轉換為其相對於顯示屏幕310的三維座標資訊,在此實施例中,處理器330可將顯示屏幕310之顯示中心310C做為參考點。此外,在此實施例中,偵測裝置320所取得的三維座標資訊會包含使用者U1的左眼三維座標及右眼三維座標,以及使用者U2的左眼三維座標及右眼三維座標。如此一來,處理器330便可根據使用者U1的雙眼位置來投射對應的右眼影像R1及左眼影像L1,並根據使用者U2的雙眼位置來投射對應的右眼影像R2及左眼影像L2,提升動態顯示系統300所能呈現的視覺效果。
在本發明的部分實施例中,使用者在觀看多視角立體顯示屏幕時,可能會為以裸視的方式觀看,也可能會根據系統的需求,戴上與屏幕相配合的眼鏡來觀看。
第7圖為本發明一實施例之操作動態顯示系統100的方法400之流程圖。方法400包含步驟S410至S430。
S410: 偵測裝置120偵測使用者U1之位置相對於偵測裝置120之第一三維座標資訊;
S420: 處理器130將第一三維座標資訊轉換為使用者U1之位置相對於顯示屏幕110之第二三維座標資訊;
S430: 處理器130根據第二三維座標資訊產生顯示屏幕110所呈現之影像。
在本發明的部分實施例中,偵測裝置120可辨識出使用者U1之特定部位,並根據使用者U1之特定部位偵測出使用者U1相對於偵測裝置120的三維座標資訊。也就是說,在步驟S410中,偵測裝置120所取得的第一三維座標資訊可包含使用者U1之特定部位的三維座標。舉例來說,使用者U1的特定部位可例如是使用者U1之眼部、雙眼間的中點或的頭部。
在偵測裝置120取得使用者U1相對於偵測裝置120的三維座標資訊後,處理器130可以進一步將之轉換為其相對於顯示屏幕110的三維座標資訊,並據以產生對應的顯示影像。舉例來說,處理器130可以根據使用者U1相對於顯示屏幕110的三維座標資訊判斷之使用者U1的視野及距離,並進一步判斷出顯示影像之比例大小。如此一來,處理器130便可在步驟S430中,根據其所判斷出的視野或比例大小取出完整影像中的部分影像以產生顯示屏幕110所呈現的影像,例如第2圖所示。
此外,在本發明的部分實施例中,方法400還可包含當偵測裝置120偵測到使用者U1遠離顯示屏幕110時,處理器130放大影像中的內容,使得使用者U1即使距離顯示屏幕110較遠,仍然可以清楚看見影像的內容,這項功能特別能夠輔助具有老花眼的長者。在本發明的部分實施例中,偵測裝置120可根據偵測到使用者U1的深度變化來判斷使用者U1是否遠離顯示屏幕110,然而本發明並不以此為限。在本發明的部分實施例中,偵測裝置120也可在未產生深度資訊的情況下,根據偵測到使用者U1之特定部位的影像大小來判斷使用者U1的距離遠近,並據以縮放顯示屏幕110中所呈現的內容。
再者,在本發明的部分實施例中,顯示屏幕110可支援顯示三維立體影像,也就是說,顯示屏幕110可同時產生左眼影像及右眼影像以提供使用者立體的視覺效果。在此情況下,偵測裝置120所取得的三維座標資訊可包含使用者U1之左眼三維座標及右眼三維座標,而處理器130則會根據使用者U1雙眼對應於顯示屏幕110的三維座標來產生顯示屏幕110所應呈現的影像,此影像即包含左眼影像及右眼影像,第3圖所示。
第8圖為本發明一實施例之操作動態顯示系統200的方法500之流程圖。方法500包含步驟S510至S520。
S510: 深度擷取模組240偵測顯示屏幕210背後之環境深度資訊;
S520: 處理器230根據環境深度資訊產生擴增實境內容以產生影像。
在此實施例中,動態顯示系統200可以根據深度擷取模組240所取得的環境深度資訊建立與真實環境相關的虛擬立體世界場景,且由於動態顯示系統200所建立的虛擬立體世界場景會與深度擷取模組240所取得的環境深度資訊相關,因此可以避免使用者在執行應用時,引導使用者穿越牆壁或進入危險區域。此外,在本發明的部分實施例中,方法400亦可應用於動態顯示系統200。
第9圖為本發明一實施例之操作動態顯示系統300的方法600之流程圖。方法600包含步驟S610至S660。
S610: 偵測裝置320偵測使用者U1之位置相對於偵測裝置320之第一三維座標資訊;
S620: 處理器330將第一三維座標資訊轉換為使用者U1之位置相對於顯示屏幕310之顯示中心310C之第二三維座標資訊;
S630: 處理器330根據第二三維座標資訊產生顯示屏幕310所呈現之第一影像;
S640: 偵測裝置320偵測使用者U2之位置相對於偵測裝置320之第三三維座標資訊;
S650: 處理器330將第三三維座標資訊轉換為使用者U2之位置相對於顯示中心310C之第四三維座標資訊;
S660: 處理器330根據第四三維座標資訊產生顯示屏幕310所呈現之第二影像。
在此實施例中,顯示屏幕310可為多視角立體顯示屏幕,因此透過方法600,動態顯示系統300就可以在有多個使用者同時觀看顯示屏幕310時,根據每個使用者所在的位置,提供對應視角及視野的畫面。
綜上所述,本發明之實施例所提供的動態顯示系統及操作動態顯示系統的方法可以在使用者觀看影像的過程中,取得使用者相對於顯示屏幕的位置及距離,並據以提供對應的二維影像或三維影像,進而提供更為豐富的視覺效果。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
100、200、300‧‧‧動態顯示系統
110、210、310‧‧‧顯示屏幕
120、220、320‧‧‧偵測裝置
130、230、330‧‧‧處理器
Dx‧‧‧水平距離
Dy‧‧‧垂直距離
U1‧‧‧使用者
110C‧‧‧顯示中心
100A、200A‧‧‧殼體
IMG0‧‧‧完整影像
IMG1、IMG1’‧‧‧部分影像
O‧‧‧物體
O1‧‧‧正面
O2‧‧‧側面
240‧‧‧深度擷取模組
R1、R2‧‧‧右眼影像
L1、L2‧‧‧左眼影像
400、500、600‧‧‧方法
S410至S430、S510至S520、S610至S660‧‧‧步驟
第1圖為本發明一實施例之動態顯示系統的示意圖。 第2圖為第1圖之動態顯示系統的使用情境圖。 第3圖為第1圖之動態顯示系統的使用情境圖。 第4圖為第1圖之動態顯示系統的使用情境圖。 第5圖為本發明另一實施例之動態顯示系統的示意圖。 第6圖為本發明另一實施例之動態顯示系統的示意圖。 第7圖為第1圖之動態顯示系統的操作方法之流程圖。 第8圖為第5圖之動態顯示系統的操作方法之流程圖。 第9圖為第6圖之動態顯示系統的操作方法之流程圖。

Claims (20)

  1. 一種動態顯示系統,包含:一顯示屏幕;一偵測裝置,與該顯示屏幕設置於該動態顯示系統之一殼體的同一側,用以偵測一第一使用者之一位置相對於該偵測裝置之一第一三維座標資訊;及一處理器,耦接於該顯示屏幕及該偵測裝置,用以將該第一三維座標資訊轉換為該第一使用者之該位置相對於該顯示屏幕之一第二三維座標資訊,及根據該第二三維座標資訊產生該顯示屏幕所呈現之一第一影像,其中該第一三維座標資訊及該第二三維座標資訊皆從該第一使用者之該位置所產生。
  2. 如請求項1所述之動態顯示系統,其中該偵測裝置包含一深度擷取裝置,或包含一深度擷取裝置及一影像擷取裝置。
  3. 如請求項1所述之動態顯示系統,其中該偵測裝置係根據該第一使用者之一特定部位以偵測出該第一使用者之該位置,及該第一三維座標資訊包含該第一使用者之該特定部位之一三維座標。
  4. 如請求項3所述之動態顯示系統,其中該特定部位係為該第一使用者之一眼部、雙眼間的一中點或一頭部。
  5. 如請求項1所述之動態顯示系統,其中該處理器係根據該第二三維座標資訊判斷該第一使用者觀察該顯示屏幕之一視野及相對於該顯示屏幕之一距離,根據該視野及該距離決定呈現該第一影像之一比例大小,及根據該視野及該比例大小取出一完整影像中的部分影像以產生該第一影像。
  6. 如請求項5所述之動態顯示系統,其中該完整影像係為一平面影像或一360度全景影像。
  7. 如請求項1所述之動態顯示系統,其中當該偵測裝置偵測到該第一使用者遠離該顯示屏幕時,該處理器放大該顯示屏幕中所呈現的內容。
  8. 如請求項1所述之動態顯示系統,其中:該第一三維座標資訊包含該第一使用者之一左眼之一三維座標及該第一使用者之一右眼之一三維座標;及該第一影像包含一左眼影像及一右眼影像。
  9. 如請求項1所述之動態顯示系統,另包含:一深度擷取模組,與該顯示屏幕設置於該殼體的相對兩側,用以偵測該顯示屏幕背後之一環境深度資訊;該處理器另用以根據該環境深度資訊產生一擴增實境(Augmented Reality,AR)內容以產生該第一影像。
  10. 如請求項1所述之動態顯示系統,其中:該顯示屏幕係為一多視角立體顯示屏幕;該偵測裝置另用以偵測一第二使用者之一位置相對於該偵測裝置之一第三三維座標資訊;及該處理器另用以將該第三三維座標資訊轉換為該第二使用者之該位置相對於該顯示屏幕之一第四三維座標資訊,及根據該第四座標產生該顯示屏幕所呈現之一第二影像。
  11. 如請求項1所述之動態顯示系統,其中:當該偵測裝置辨識出一立體識別物件時,該處理器解鎖該動態顯示系統。
  12. 一種動態顯示系統,包含:一顯示屏幕;一偵測裝置,與該顯示屏幕設置於該動態顯示系統之一殼體的同一側,用以偵測出一第一使用者之一位置;及一處理器,耦接於該顯示屏幕及該偵測裝置,用以根據該偵測裝置偵測到該第一使用者的移動所造成之該位置的變化,放大或縮小該顯示屏幕中所呈現的至少部分內容。
  13. 如請求項12所述之動態顯示系統,其中:該偵測裝置係根據該第一使用者之一特定部位的影像大小或根據該第一使用者之一深度變化來判斷該第一使用者之該位置的變化。
  14. 如請求項12所述之動態顯示系統,其中該偵測裝置包含一深度擷取裝置,或包含一深度擷取裝置及一影像擷取裝置。
  15. 如請求項12所述之動態顯示系統,其中該偵測裝置係根據該第一使用者之一特定部位之一三維座標以偵測出該第一使用者之該位置。
  16. 如請求項15所述之動態顯示系統,其中該特定部位係為該第一使用者之一眼部、雙眼間的一中點或一頭部。
  17. 如請求項12所述之動態顯示系統,其中該處理器係根據該第一使用者之該位置判斷該第一使用者觀察該顯示屏幕之一視野及相對於該顯示屏幕之一距離,根據該視野及該距離決定呈現一影像之一比例大小,及根據該視野及該比例大小取出一完整影像中的部分影像以產生該影像。
  18. 如請求項17所述之動態顯示系統,其中該完整影像係為一平面影像或一360度全景影像。
  19. 如請求項12所述之動態顯示系統,另包含:一深度擷取模組,與該顯示屏幕設置於該殼體的相對兩側,用以偵測該顯示屏幕背後之一環境深度資訊;該處理器另用以根據該環境深度資訊產生一擴增實境(Augmented Reality,AR)內容以產生一影像。
  20. 如請求項12所述之動態顯示系統,其中:當該偵測裝置辨識出一立體識別物件時,該處理器解鎖該動態顯示系統。
TW107112275A 2017-04-10 2018-04-10 動態顯示系統 TWI657431B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762483472P 2017-04-10 2017-04-10
US62/483,472 2017-04-10

Publications (2)

Publication Number Publication Date
TW201837893A TW201837893A (zh) 2018-10-16
TWI657431B true TWI657431B (zh) 2019-04-21

Family

ID=63711363

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107112334A TWI672675B (zh) 2017-04-10 2018-04-10 深度處理裝置
TW107112275A TWI657431B (zh) 2017-04-10 2018-04-10 動態顯示系統

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW107112334A TWI672675B (zh) 2017-04-10 2018-04-10 深度處理裝置

Country Status (3)

Country Link
US (2) US11050997B2 (zh)
CN (2) CN108900829B (zh)
TW (2) TWI672675B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102503976B1 (ko) * 2018-07-02 2023-02-28 한국전자통신연구원 증강현실 영상 보정 장치 및 방법
US10789912B2 (en) * 2018-12-20 2020-09-29 Intel Corporation Methods and apparatus to control rendering of different content for different view angles of a display
CN110822649B (zh) * 2019-11-25 2021-12-17 广东美的制冷设备有限公司 空调器的控制方法、空调器及存储介质
CN111311687B (zh) * 2020-01-21 2022-12-02 上海万物新生环保科技集团有限公司 一种手机屏幕像素点的空间位置检测方法及设备
TWI731715B (zh) * 2020-06-12 2021-06-21 宏碁股份有限公司 顯示器調整系統及顯示器調整方法
US11630639B2 (en) 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
CN114979613A (zh) * 2021-02-25 2022-08-30 吴松阳 立体图像显示方法及用于显示立体图像的携带式设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201508552A (zh) * 2013-06-25 2015-03-01 Microsoft Corp 透過深度相機的眼動追蹤
TWI557708B (zh) * 2015-11-05 2016-11-11 宏碁股份有限公司 顯示裝置和顯示方法
TWM535848U (zh) * 2016-07-11 2017-01-21 Lunghwa Univ Of Science And Tech 結合小波轉換及邊緣偵測建立單張影像深度圖的裝置
CN106384365A (zh) * 2016-11-22 2017-02-08 塔普翊海(上海)智能科技有限公司 一种包含深度信息获取的扩增实境系统及其方法
TW201710641A (zh) * 2015-05-27 2017-03-16 英特爾股份有限公司 可調適的深度感測系統

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751209B (zh) * 2008-11-28 2012-10-10 联想(北京)有限公司 一种调整屏幕呈现元素的方法及计算机
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
US8194101B1 (en) * 2009-04-01 2012-06-05 Microsoft Corporation Dynamic perspective video window
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
CN101720047B (zh) * 2009-11-03 2011-12-21 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN101894538B (zh) * 2010-07-15 2012-09-05 优视科技有限公司 屏幕显示画面控制方法和装置
US9411413B2 (en) * 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
TW201227602A (en) * 2010-12-22 2012-07-01 Service & Quality Technology Co Ltd Method and computer-readable medium for calculating depth of image
CN102595151A (zh) * 2011-01-11 2012-07-18 倚强科技股份有限公司 影像深度计算方法
CN102075776B (zh) * 2011-01-18 2014-03-26 青岛海信电器股份有限公司 一种立体显示的控制方法及装置
US20120246223A1 (en) * 2011-03-02 2012-09-27 Benjamin Zeis Newhouse System and method for distributing virtual and augmented reality scenes through a social network
JP5178876B2 (ja) * 2011-04-27 2013-04-10 株式会社東芝 立体映像表示装置及び立体映像表示方法
CN103002297A (zh) * 2011-09-16 2013-03-27 联咏科技股份有限公司 动态深度值产生方法及其装置
CN102364524A (zh) * 2011-10-26 2012-02-29 清华大学 一种基于变光照多视角间差采样的三维重建方法和装置
TWI504233B (zh) * 2011-12-22 2015-10-11 Teco Elec & Machinery Co Ltd 深度估測方法及其裝置
CN102595187B (zh) * 2012-02-27 2014-01-29 天津大学 一种影响立体图像舒适度的色度范围的测定方法
CN103379255B (zh) * 2012-04-24 2017-06-06 华晶科技股份有限公司 影像处理装置及其处理方法
KR101626759B1 (ko) * 2012-05-10 2016-06-02 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN102842301B (zh) * 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
CN103716641B (zh) * 2012-09-29 2018-11-09 浙江大学 预测图像生成方法和装置
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
EP2930693B1 (en) * 2012-12-10 2020-06-24 Sony Corporation Display control device, display control method and program
CN103903262B (zh) 2014-03-25 2017-01-18 苏州科技学院 基于图像分割的深度不连续区域立体匹配算法
US20180210546A1 (en) * 2014-06-02 2018-07-26 Xlabs Pty Ltd Pose-invariant eye-gaze tracking using a single commodity camera
EP3158536B1 (en) * 2014-06-19 2019-01-02 Koninklijke Philips N.V. Method and apparatus for generating a three dimensional image
CN104656683B (zh) * 2015-01-15 2017-04-26 西安交通大学 双目视觉区域目标的深度信息提取及剖面分析系统及方法
WO2016151581A1 (en) * 2015-03-23 2016-09-29 Controlrad Systems Inc. Eye tracking system
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置
US9996744B2 (en) * 2016-06-29 2018-06-12 International Business Machines Corporation System, method, and recording medium for tracking gaze using only a monocular camera from a moving screen
US10353535B2 (en) * 2016-10-21 2019-07-16 Misapplied Sciences, Inc. Multi-view display viewing zone layout and content assignment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201508552A (zh) * 2013-06-25 2015-03-01 Microsoft Corp 透過深度相機的眼動追蹤
TW201710641A (zh) * 2015-05-27 2017-03-16 英特爾股份有限公司 可調適的深度感測系統
TWI557708B (zh) * 2015-11-05 2016-11-11 宏碁股份有限公司 顯示裝置和顯示方法
TWM535848U (zh) * 2016-07-11 2017-01-21 Lunghwa Univ Of Science And Tech 結合小波轉換及邊緣偵測建立單張影像深度圖的裝置
CN106384365A (zh) * 2016-11-22 2017-02-08 塔普翊海(上海)智能科技有限公司 一种包含深度信息获取的扩增实境系统及其方法

Also Published As

Publication number Publication date
CN108765480A (zh) 2018-11-06
CN108900829B (zh) 2022-02-22
TW201837893A (zh) 2018-10-16
US11050997B2 (en) 2021-06-29
TWI672675B (zh) 2019-09-21
CN108765480B (zh) 2022-03-15
TW201837862A (zh) 2018-10-16
CN108900829A (zh) 2018-11-27
US20180295345A1 (en) 2018-10-11
US10567737B2 (en) 2020-02-18
US20180295353A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
TWI657431B (zh) 動態顯示系統
US9848184B2 (en) Stereoscopic display system using light field type data
US8768043B2 (en) Image display apparatus, image display method, and program
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
US9467685B2 (en) Enhancing the coupled zone of a stereoscopic display
KR20070078464A (ko) 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법
TW201920985A (zh) 用於產生場景之表示的設備及方法
CN109922255A (zh) 用于生成实时深度图的双相机系统
KR102402381B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
WO2017204581A1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
TW201336294A (zh) 立體成像系統及其方法
WO2016169409A1 (en) A method and apparatus for displaying a virtual object in three-dimensional (3d) space
US20200242335A1 (en) Information processing apparatus, information processing method, and recording medium
JP2018500690A (ja) 拡大3d画像を生成するための方法およびシステム
CN102799378B (zh) 一种立体碰撞检测物体拾取方法及装置
TWI486054B (zh) A portrait processing device, a three-dimensional image display device, a method and a program
TWI486052B (zh) 立體影像處理裝置以及立體影像處理方法
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
KR101779423B1 (ko) 영상처리방법 및 영상처리장치
JP2019032713A (ja) 情報処理装置、情報処理方法及びプログラム
JP2011180779A (ja) 立体画像データ生成装置、立体画像データ生成方法、および立体画像データ生成プログラム
JP2012169822A (ja) 画像処理方法及び画像処理装置
US10091495B2 (en) Apparatus and method for displaying stereoscopic images
Joachimiak et al. View Synthesis with Kinect-Based Tracking for Motion Parallax Depth Cue on a 2D Display
JP2014078861A (ja) 表示制御装置