TWI746184B - 利用視線方向調整顯示模式的顯示裝置及其操作方法 - Google Patents

利用視線方向調整顯示模式的顯示裝置及其操作方法 Download PDF

Info

Publication number
TWI746184B
TWI746184B TW109133390A TW109133390A TWI746184B TW I746184 B TWI746184 B TW I746184B TW 109133390 A TW109133390 A TW 109133390A TW 109133390 A TW109133390 A TW 109133390A TW I746184 B TWI746184 B TW I746184B
Authority
TW
Taiwan
Prior art keywords
processing circuit
person
line
photo
display module
Prior art date
Application number
TW109133390A
Other languages
English (en)
Other versions
TW202212918A (zh
Inventor
黃士挺
黃昭世
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW109133390A priority Critical patent/TWI746184B/zh
Priority to US17/183,300 priority patent/US11457203B2/en
Application granted granted Critical
Publication of TWI746184B publication Critical patent/TWI746184B/zh
Publication of TW202212918A publication Critical patent/TW202212918A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明提供一種顯示裝置及其操作方法。此顯示裝置包括三維顯示模組、相機以及處理電路。處理電路耦接至三維顯示模組與相機。相機被配置為拍攝三維顯示模組的觀賞場域以產生相片。處理電路被配置為輸出影像串流給三維顯示模組以顯示畫面。處理電路辨識該相片以獲知在觀賞場域中的人的臉方向與視線方向。處理電路依據臉方向與視線方向去決定是否對影像串流啟用前庭-動眼反射(vestibulo-ocular reflex, VOR)補償模式。

Description

利用視線方向調整顯示模式的顯示裝置及其操作方法
本發明是有關於一種顯示技術，且特別是有關於一種利用視線方向調整顯示模式的顯示裝置及其操作方法。
在傳統的3D顯示技術中，與實際觀看物件的體驗感受不同，顯示畫面不會隨著觀看者的視點變化而互動地產生相應地動態縮放變化。因此，在3D顯示技術中支援物件隨著人臉靠近螢幕或遠離螢幕而動態實現3D物體的放大縮小，同時讓人眼在固定注視位置時，隨著頭部轉動，可以看到同一物體不同角度的畫面，將可以達到更貼近觀看實際物件的互動感受。
利用人眼的前庭動眼反射(vestibulo-ocular reflex,VOR)機制，類似手機拍照時鏡頭有提供防手震功能，確保手機拍攝時，在某程度下，可確保影像拍攝是不抖動的。人眼的前庭動眼反射是人們體內最迅速、最活躍的反射之一。在內耳探測到頭部運動 後，前庭動眼反射會控制眼球產生補償性運動，使之匹配頭部的動向(但眼球運動與頭部方向相反)。所以不管頭部轉動得多麼厲害，這種下意識的持續型眼部姿態調節都可以讓人眼保持穩定注視的狀態。
然而，現有的3D顯示技術在觀看者頭部轉動時，3D畫面會有異常抖動的情況，且左右眼畫面跟人眼對於實際物體感受有存在落差，目前3D畫面產生，僅針對2D人臉之標誌資訊(face landmark)進行平行與前後移動做影像偵測，沒有支援頭部上下左右轉動，更沒有去偵測實際眼球注視(Gaze)的位置，所以存在左右眼影像有錯位與實際感受落差，造成使用者頭暈不適感，使用者體驗會大打折扣。
須注意的是，「先前技術」段落的內容是用來幫助了解本發明。在「先前技術」段落所揭露的部份內容(或全部內容)可能不是所屬技術領域中具有通常知識者所知道的習知技術。在「先前技術」段落所揭露的內容，不代表該內容在本發明申請前已被所屬技術領域中具有通常知識者所知悉。
本發明提供一種顯示裝置及其操作方法，可以依據臉方向與視線方向去決定顯示操作。
本發明的實施例提供一種顯示裝置。該顯示裝置包括三維顯示模組、相機以及處理電路。相機被配置為拍攝三維顯示模 組的觀賞場域以產生相片。處理電路耦接至三維顯示模組與相機。處理電路被配置為輸出影像串流給三維顯示模組以顯示畫面。處理電路可以辨識相片，以獲知在觀賞場域中的人的臉方向與視線方向。處理電路可以依據臉方向與視線方向去決定是否對影像串流啟用前庭-動眼反射(vestibulo-ocular reflex,VOR)補償模式。
本發明的另一實施例提供一種顯示裝置的操作方法。該操作方法包括：由顯示裝置的相機拍攝顯示裝置的三維顯示模組的觀賞場域以產生相片；由顯示裝置的處理電路輸出影像串流給三維顯示模組以顯示畫面；由處理電路辨識相片，以獲知在觀賞場域中的人的臉方向與視線方向；以及由處理電路依據臉方向與視線方向去決定是否對影像串流啟用VOR補償模式。
本發明又一實施例提供一種顯示裝置。該顯示裝置包括三維顯示模組、相機以及處理電路。相機被配置為拍攝三維顯示模組的觀賞場域以產生相片。處理電路耦接至三維顯示模組與相機。處理電路被配置為輸出影像串流給三維顯示模組以顯示畫面。處理電路可以辨識相片以獲知在觀賞場域中的人的臉方向與視線方向。處理電路可以依據臉方向與視線方向去判斷人的視野範圍。處理電路可以對被視野範圍覆蓋的畫面啟用三維渲染(3D rendering)模式，以及處理電路可對沒有被視野範圍覆蓋的畫面啟用二維渲染(2D rendering)模式。
本發明的再一實施例提供一種顯示裝置的操作方法。該操作方法包括：由顯示裝置的相機拍攝顯示裝置的三維顯示模組 的觀賞場域以產生相片；由顯示裝置的處理電路輸出影像串流給三維顯示模組以顯示畫面；由處理電路辨識相片，以獲知在觀賞場域中的人的臉方向與視線方向；由處理電路依據臉方向與視線方向去判斷人的視野範圍；由處理電路對被視野範圍覆蓋的畫面啟用三維渲染模式；以及由處理電路對沒有被視野範圍覆蓋的畫面啟用二維渲染模式。
基於上述，本發明諸實施例藉由辨識相片獲知在觀賞場域中觀看者的臉方向與視線方向。在一些實施例中，處理電路可以依據臉方向與視線方向去決定是否對影像串流啟用前庭-動眼反射(VOR)補償模式。在另一些實施例中，處理電路可以依據臉方向與視線方向去判斷觀看者的視野範圍，進而對視野範圍覆蓋的畫面啟用三維渲染模式，以及對沒有被視野範圍覆蓋的畫面啟用二維渲染模式。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
10:顯示裝置
20:人
100:三維顯示模組
110:觀賞場域
112:畫面
200:相機
210:相片
212:眼部影像
213:角膜徑長
214:角膜左距
215:角膜右距
216:眼睛縱長
217:眼皮縱長
240:視野範圍
300:處理電路
310:影像串流
S210~S240、S310~S360、S410~S460:步驟
圖1是依照本發明一實施例所繪示的一種顯示裝置的示意圖。
圖2是依照本發明一實施例所繪示的一種顯示裝置的操作方法的流程示意圖。
圖3是依照本發明一實施例所繪示眼部影像的示意圖。
圖4是依照本發明另一實施例所繪示眼部影像的示意圖。
圖5是依照本發明另一實施例所繪示的一種顯示裝置的操作方法的流程示意圖。
圖6是依照本發明一實施例所繪示的人的視野範圍的俯視示意圖。
圖7是依照本發明一實施例所繪示的人的視野範圍的側視示意圖。
圖8是依照本發明又一實施例所繪示的一種顯示裝置的操作方法的流程示意圖。
在本案說明書全文(包括申請專利範圍)中所使用的「耦接(或連接)」一詞可指任何直接或間接的連接手段。舉例而言，若文中描述第一裝置耦接(或連接)於第二裝置，則應該被解釋成該第一裝置可以直接連接於該第二裝置，或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接至該第二裝置。本案說明書全文(包括申請專利範圍)中提及的「第一」、「第二」等用語是用以命名元件(element)的名稱，或區別不同實施例或範圍，而並非用來限制元件數量的上限或下限，亦非用來限制元件的次序。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標 號或使用相同用語的元件/構件/步驟可以相互參照相關說明。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與系統的範例。
圖1是依照本發明一實施例所繪示的一種顯示裝置10的示意圖。圖1所示的顯示裝置10包括三維顯示模組100、相機200以及處理電路300。處理電路300耦接至三維顯示模組100與相機200。處理電路300可以輸出影像串流310給三維顯示模組100以顯示畫面。在觀賞場域110中的人20可以觀看三維顯示模組100的顯示畫面。依照不同的設計需求，上述三維顯示模組100以及(或是)處理電路300的實現方式可以是硬體(hardware)、韌體(firmware)、軟體(software，即程式)或是前述三者中的多者的組合形式。
圖2是依照本發明一實施例所繪示的一種顯示裝置的操作方法的流程示意圖。請參照圖1與圖2。在步驟S210中，相機200可以拍攝三維顯示模組100的觀賞場域110而產生相片210。
在步驟S220中，顯示裝置10的處理電路300輸出影像串流310給三維顯示模組100以顯示畫面。依照設計需求，在一些實施例中，影像串流310可以是以三維渲染顯示的物件影格或是以二維顯示的物件影格。例如，影像串流310可以是支援前庭- 動眼反射(vestibulo-ocular reflex,VOR)補償模式的顯示影格。須注意的是，步驟S210與步驟S220二者並沒有先後順序的限制。在一些實施情境中，步驟S210與步驟S220可能同時進行。在另一些實施情境中，步驟S220的進行可能早於(或晚於)步驟S210的進行。
在步驟S230中，處理電路300可以辨識相片210，以獲知在觀賞場域110中的人20的臉方向與視線方向。臉方向可以包含左右(yaw)、上下(pitch)或是傾斜(roll)方向的轉動。在一些實施例中，處理電路300可以藉由臉部標誌(face landmark)技術計算而得的特徵點來判斷使用者頭部轉動的方向(臉方向)。舉例來說，處理電路300可以利用臉部特徵點計算鼻子中線、眼睛平均中線以及下巴和額頭所形成之橢圓，以及偵測橢圓形狀的變化來視為頭部轉動之情況。
在一些實施例中，處理電路300可以基於臉部標誌(face landmark)資訊的特徵點，更進一步地計算鄰近眼睛區域的特徵點而得到視線方向(眼球方向)。臉方向與視線方向可能是同方向或是不同方向。
在步驟S240中，處理電路300可以依據臉方向與視線方向去決定是否對影像串流310啟用VOR補償模式。依照設計需求，所述VOR補償模式可以進行習知的VOR補償操作或是其他VOR補償操作。舉例來說，在一些實施例中，當臉方向與視線方向不同，就啟用VOR補償模式。
圖3是依照本發明一實施例所繪示，辨識相片210中的眼部影像212的示意圖。請參照圖1、圖2與圖3，在一些實施例中，處理電路300可以擷取在相片210中的人20的眼部影像212。處理電路300可以辨識相片210中的眼部影像212，以獲得角膜徑長213、角膜左距214與角膜右距215。處理電路300可以在步驟S230中至少使用角膜徑長213、角膜左距214與角膜右距215去獲知人20的視線方向。舉例來說，藉由比較角膜左距214與角膜右距215的大小來判斷(獲知)視線方向。在一些實施例中，當角膜左距214小於角膜右距215時，處理電路300可以判斷視線方向為向右旋轉。亦即，人20的臉方向朝向相機200(三維顯示模組100)但是視線方向(眼球方向)卻向右轉。反之，當角膜左距214大於角膜右距215時，處理電路300可以判斷視線方向為向左旋轉。
在另一些實施例中，處理電路300可以分別計算眼睛的角膜徑長213與角膜左距214、角膜右距215的比值，並且可以藉由比較所計算得到的比值的大小來判斷視線方向。舉例來說，在一些實施例中，當角膜徑長213除以角膜左距214之比值大於角膜徑長213除以角膜右距215之比值時，處理電路300判斷視線方向為向右旋轉。當角膜徑長213除以角膜左距214之值小於角膜徑長213除以角膜右距215之值時，處理電路300判斷視線方向為向左旋轉。當角膜徑長213除以角膜左距214之值等於角膜徑長213除以角膜右距215之值時，處理電路300判斷視線方向 為直視相機200(三維顯示模組100)。
圖4是依照本發明另一實施例所繪示眼部影像212的示意圖。請參照圖1、圖2與圖4，在一些實施例中，處理電路300可以擷取在相片210中人20的眼部影像212，以及辨識眼部影像212以獲得眼睛縱長216與眼皮縱長217。在一些實施例中，眼皮縱長217可以是眼皮邊緣至眉毛的距離。處理電路300可以至少使用眼睛縱長216與眼皮縱長217去獲知人20的視線方向。舉例來說，處理電路300可以藉由眼睛縱長216與眼皮縱長217之值的大小變化來決定視線方向。在一些實施例中，若眼睛縱長216變大且同時眼皮縱長217變小，則處理電路300可以判斷視線方向為向上轉動。反之，若眼睛縱長216變小且同時眼皮縱長217變大，則處理電路300可以判斷視線方向為向下轉動。
圖5是依照本發明另一實施例所繪示的一種顯示裝置的操作方法的流程示意圖。圖5所示步驟S310-S330可參照圖2所示步驟S210-S230的相關說明，故不再贅述。請參照圖1與圖5，在決定了臉方向與視線方向後，處理電路300可以在步驟S340中進一步根據臉方向與視線方向判斷視野範圍(例如圖6與圖7所示視野範圍240)。具體來說，在一些實施例中，以臉方向為基準，根據人因工程學(ergonomics)的對於頭部轉動與視線轉動的經驗規律，眼球轉動最大幅度約為正負30度角。一般而言，以人眼視覺舒適度考量下，當眼睛轉15度後還是看不到時，頭部就會自然的跟著轉動。藉此，圖6與圖7所示視野範圍240可以由視線轉 動最大範圍正負15度角之內決定。
處理電路300可以在圖5的步驟S350中對被視野範圍240覆蓋的畫面啟用三維渲染(3D rendering)模式，以及在步驟S360中對沒有被視野範圍240覆蓋的畫面啟用二維渲染(2D rendering)模式。須注意的是，步驟S350與步驟S360二者並沒有先後順序的限制。在一些實施情境中，步驟S350與步驟S360可能同時進行。在另一些實施情境中，步驟S360的進行可能早於(或晚於)步驟S210的進行。
圖6是依照本發明一實施例所繪示的人的視野範圍的俯視示意圖。在圖6左側所示俯視圖中，視野範圍240覆蓋了顯示裝置10的三維顯示模組100所顯示的畫面112的一部分。圖6右側繪示了顯示裝置10所顯示的畫面112的正視示意圖。在圖6所示範例情境中，視野範圍240覆蓋了畫面112左側的一部分。因此，處理電路300可以在步驟S350中對被視野範圍240覆蓋的畫面(圖6所示畫面112中被標示為「3D」的區域)啟用三維渲染模式，以及在步驟S360中對沒有被視野範圍240覆蓋的畫面(圖6所示畫面112中被標示為「2D」的區域)啟用二維渲染模式。須注意的是，圖6所示應用例是以三維渲染作為說明範例，但本發明的實施範例並不限於此。舉例來說，在一些實施例，圖6所示畫面112中被標示為「3D」的區域可以被視為前庭-動眼反射(VOR)補償模式被啟用的區域，而圖6所示畫面112中被標示為「2D」的區域可以被視為前庭-動眼反射(VOR)補償模式被關閉的 區域。
圖7是依照本發明一實施例所繪示的人的視野範圍的側視示意圖。在圖7左側所示側視圖中，視野範圍240覆蓋了顯示裝置10的三維顯示模組100所顯示的畫面112的一部分。圖7右側繪示了顯示裝置10所顯示的畫面112的正視示意圖。在圖7所示範例情境中，視野範圍240覆蓋了畫面112上側的一部分。因此，處理電路300可以在步驟S350中對被視野範圍240覆蓋的畫面(圖7所示畫面112中被標示為「3D」的區域)啟用三維渲染模式，而對沒有被視野範圍240覆蓋的畫面(圖7所示畫面112中被標示為「2D」的區域)啟用二維渲染模式。須注意的是，圖7所示應用例是以三維渲染作為說明範例，但本發明的實施範例並不限於此。舉例來說，在一些實施例，圖7所示畫面112中被標示為「3D」的區域可以被視為前庭-動眼反射(VOR)補償模式被啟用的區域，而圖7所示畫面112中被標示為「2D」的區域可以被視為前庭-動眼反射(VOR)補償模式被關閉的區域。視野範圍240所覆蓋的區域可以是人20的視野範圍240的上下方向或是左右方向旋轉而決定的範圍，本發明對此並不限制。
圖8是依照本發明又一實施例所繪示的一種顯示裝置的操作方法的流程示意圖。在步驟S410之中，處理電路300可以輸出影像串流310給三維顯示模組100以顯示畫面112(三維顯示模式)。在步驟S420之中，處理電路300可以依據臉方向與視線方向決定是否對影像串流310啟用前庭-動眼反射(VOR)補償模式。 當處理電路300判斷關閉該前庭-動眼反射(VOR)補償模式時(步驟S420的判斷結果為「關閉」)，處理電路300可以進行步驟S430。在步驟S430之中，三維顯示模組100維持一般三維渲染模式的內容顯示。
當處理電路300判斷啟用該前庭-動眼反射(VOR)補償模式時(步驟S420的判斷結果為「啟用」)，處理電路300可以進行步驟S440。在步驟S440之中，處理電路300會根據視野範圍240來進一步判斷是否啟用動態調整顯示。所述動態調整顯示可以參照圖6與圖7的相關說明來類推。當處理電路300判斷關閉動態調整顯示時(步驟S440的判斷結果為「關閉」)，處理電路300可以進行步驟S450。在步驟S450之中，三維顯示模組100可以進行一般前庭-動眼反射(VOR)補償模式並且在畫面112全螢幕使用三維渲染模式。亦即，三維顯示模組100可以對畫面112的全部進行VOR補償模式操作。
當處理電路300判斷啟用動態調整顯示時(步驟S440的判斷結果為「啟用」)，處理電路300可以進行步驟S460。在步驟S460之中，處理電路300可以根據視野範圍240去動態調整VOR模式與三維渲染模式的區域。舉例來說，處理電路300可以對被視野範圍240覆蓋的畫面112(圖6或圖7所示畫面112中被標示為「3D」的區域)啟用VOR模式與三維渲染模式，而對沒有被視野範圍240覆蓋的畫面112(圖6或圖7所示畫面112中被標示為「2D」的區域)啟用二維渲染模式並且關閉VOR模式。
以硬體形式而言，上述三維顯示模組100以及(或是)處理電路300的方塊可以實現於積體電路(integrated circuit)上的邏輯電路。上述三維顯示模組100以及(或是)處理電路300的相關功能可以利用硬體描述語言(hardware description languages，例如Verilog HDL或VHDL)或其他合適的編程語言來實現為硬體。舉例來說，上述三維顯示模組100以及(或是)處理電路300的相關功能可以被實現於一或多個控制器、微控制器、微處理器、特殊應用積體電路(Application-specific integrated circuit,ASIC)、數位訊號處理器(digital signal processor,DSP)、場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)及/或其他處理單元中的各種邏輯區塊、模組和電路。
以軟體形式及/或韌體形式而言，上述三維顯示模組100以及(或是)處理電路300的相關功能可以被實現為編程碼(programming codes)。例如，利用一般的編程語言(programming languages，例如C、C++或組合語言)或其他合適的編程語言來實現上述三維顯示模組100以及(或是)處理電路300。所述編程碼可以被記錄/存放在記錄媒體中。在一些實施例中，所述記錄媒體例如包括唯讀記憶體(Read Only Memory，ROM)、隨機存取記憶體(Random Access Memory，RAM)以及(或是)儲存裝置。所述儲存裝置包括硬碟(hard disk drive，HDD)、固態硬碟(Solid-state drive，SSD)或是其他儲存裝置。在另一些實施例中，所述記錄媒體可以包括「非臨時的電腦可讀取媒體(non-transitory computer readable medium)」。舉例來說，帶(tape)、碟(disk)、卡(card)、半導體記憶體、可程式設計的邏輯電路等可以被使用來實現所述非臨時的電腦可讀取媒體。電腦、中央處理器(Central Processing Unit，CPU)、控制器、微控制器或微處理器可以從所述記錄媒體中讀取並執行所述編程碼，從而實現上述三維顯示模組100以及(或是)處理電路300的相關功能。而且，所述編程碼也可經由任意傳輸媒體(通信網路或廣播電波等)而提供給所述電腦(或CPU)。所述通信網路例如是網際網路(Internet)、有線通信(wired communication)網路、無線通信(wireless communication)網路或其它通信介質。
綜上所述，上述諸實施例所述顯示裝置及其操作方法，可以藉由辨識相片以獲知在觀賞場域中的一人的一臉方向與一視線方向，在一些實施例中，可以判斷是否啟用前庭-動眼反射(VOR)補償模式，而且更可以根據該臉方向與該視線方向決定移視野範圍來動態地調整三維渲染模式的顯示，在現有單純的基於臉部標誌(face landmark)的偵測系統中，加入此前庭-動眼反射(VOR)輔助判斷機制，可改善在觀看者頭部轉動與眼睛轉動時，三維顯示模式因為眼睛偵測失準而異常切換顯示的抖動問題。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:顯示裝置
20:人
100:三維顯示模組
110:觀賞場域
200:相機
210:相片
300:處理電路
310:影像串流

Claims (10)

  1. 一種顯示裝置，包括：一三維顯示模組；一相機，被配置為拍攝該三維顯示模組的一觀賞場域以產生一相片；以及一處理電路，耦接至該三維顯示模組與該相機，被配置為輸出一影像串流給該三維顯示模組以顯示一畫面，其中該處理電路辨識該相片以獲知在該觀賞場域中的一人的一臉方向與一視線方向，以及該處理電路依據該臉方向與該視線方向去決定是否對該影像串流啟用一前庭-動眼反射補償模式，其中該處理電路擷取在該相片中該人的一眼部影像，該處理電路辨識該眼部影像以獲得一角膜徑長、一角膜左距與一角膜右距，以及該處理電路至少使用該角膜徑長、該角膜左距與該角膜右距去獲知該人的該視線方向。
  2. 一種顯示裝置，包括：一三維顯示模組；一相機，被配置為拍攝該三維顯示模組的一觀賞場域以產生一相片；以及一處理電路，耦接至該三維顯示模組與該相機，被配置為輸出一影像串流給該三維顯示模組以顯示一畫面，其中該處理電路辨識該相片以獲知在該觀賞場域中的一人的一臉方向與一視線方向，以及該處理電路依據該臉方向與該視線方向去決定是否對該 影像串流啟用一前庭-動眼反射補償模式，其中該處理電路擷取在該相片中該人的一眼部影像，該處理電路辨識該眼部影像以獲得一眼睛縱長與一眼皮縱長，以及該處理電路至少使用該眼睛縱長與該眼皮縱長去獲知該人的該視線方向。
  3. 如請求項2所述的顯示裝置，其中該眼皮縱長為一眼皮邊緣至一眉毛的一距離。
  4. 一種顯示裝置的操作方法，包括：由該顯示裝置的一相機拍攝該顯示裝置的一三維顯示模組的一觀賞場域以產生一相片；由該顯示裝置的一處理電路輸出一影像串流給該三維顯示模組以顯示一畫面；由該處理電路辨識該相片，以獲知在該觀賞場域中的一人的一臉方向與一視線方向；由該處理電路依據該臉方向與該視線方向去決定是否對該影像串流啟用一前庭-動眼反射補償模式；由該處理電路擷取在該相片中該人的一眼部影像；由該處理電路辨識該眼部影像，以獲得一角膜徑長、一角膜左距與一角膜右距；以及由該處理電路至少使用該角膜徑長、該角膜左距與該角膜右距去獲知該人的該視線方向。
  5. 一種顯示裝置的操作方法，包括： 由該顯示裝置的一相機拍攝該顯示裝置的一三維顯示模組的一觀賞場域以產生一相片；由該顯示裝置的一處理電路輸出一影像串流給該三維顯示模組以顯示一畫面；由該處理電路辨識該相片，以獲知在該觀賞場域中的一人的一臉方向與一視線方向；由該處理電路依據該臉方向與該視線方向去決定是否對該影像串流啟用一前庭-動眼反射補償模式；由該處理電路擷取在該相片中該人的一眼部影像；由該處理電路辨識該眼部影像以獲得一眼睛縱長與一眼皮縱長；以及由該處理電路至少使用該眼睛縱長與該眼皮縱長去獲知該人的該視線方向。
  6. 一種顯示裝置，包括：一三維顯示模組；一相機，被配置為拍攝該三維顯示模組的一觀賞場域以產生一相片；以及一處理電路，耦接至該三維顯示模組與該相機，被配置為輸出一影像串流給該三維顯示模組以顯示一畫面，其中該處理電路辨識該相片以獲知在該觀賞場域中的一人的一臉方向與一視線方向，該處理電路依據該臉方向與該視線方向去判斷該人的一視野範圍，該處理電路對被該視野範圍覆蓋的該畫面啟用一三維渲染 模式，以及該處理電路對沒有被該視野範圍覆蓋的該畫面啟用一二維渲染模式，其中該處理電路擷取在該相片中該人的一眼部影像，該處理電路辨識該眼部影像以獲得一角膜徑長、一角膜左距與一角膜右距，以及該處理電路至少使用該角膜徑長、該角膜左距與該角膜右距去獲知該人的該視線方向。
  7. 一種顯示裝置，包括：一三維顯示模組；一相機，被配置為拍攝該三維顯示模組的一觀賞場域以產生一相片；以及一處理電路，耦接至該三維顯示模組與該相機，被配置為輸出一影像串流給該三維顯示模組以顯示一畫面，其中該處理電路辨識該相片以獲知在該觀賞場域中的一人的一臉方向與一視線方向，該處理電路依據該臉方向與該視線方向去判斷該人的一視野範圍，該處理電路對被該視野範圍覆蓋的該畫面啟用一三維渲染模式，以及該處理電路對沒有被該視野範圍覆蓋的該畫面啟用一二維渲染模式，其中該處理電路擷取在該相片中該人的一眼部影像，該處理電路辨識該眼部影像以獲得一眼睛縱長與一眼皮縱長，以及該處理電路至少使用該眼睛縱長與該眼皮縱長去獲知該人的該視線方向。
  8. 如請求項7所述的顯示裝置，其中該眼皮縱長為一眼皮邊緣至一眉毛的一距離。
  9. 一種顯示裝置的操作方法，包括：由該顯示裝置的一相機拍攝該顯示裝置的一三維顯示模組的一觀賞場域以產生一相片；由顯示裝置的一處理電路輸出一影像串流給該三維顯示模組以顯示一畫面；由該處理電路辨識該相片，以獲知在該觀賞場域中的一人的一臉方向與一視線方向；由該處理電路依據該臉方向與該視線方向去判斷該人的一視野範圍；由該處理電路對被該視野範圍覆蓋的該畫面啟用一三維渲染模式；由該處理電路對沒有被該視野範圍覆蓋的該畫面啟用一二維渲染模式；由該處理電路擷取在該相片中該人的一眼部影像；由該處理電路辨識該眼部影像，以獲得一角膜徑長、一角膜左距與一角膜右距；以及由該處理電路至少使用該角膜徑長、該角膜左距與該角膜右距去獲知該人的該視線方向。
  10. 一種顯示裝置的操作方法，包括：由該顯示裝置的一相機拍攝該顯示裝置的一三維顯示模組的 一觀賞場域以產生一相片；由顯示裝置的一處理電路輸出一影像串流給該三維顯示模組以顯示一畫面；由該處理電路辨識該相片，以獲知在該觀賞場域中的一人的一臉方向與一視線方向；由該處理電路依據該臉方向與該視線方向去判斷該人的一視野範圍；由該處理電路對被該視野範圍覆蓋的該畫面啟用一三維渲染模式；由該處理電路對沒有被該視野範圍覆蓋的該畫面啟用一二維渲染模式；由該處理電路擷取在該相片中該人的一眼部影像；由該處理電路辨識該眼部影像以獲得一眼睛縱長與一眼皮縱長；以及由該處理電路至少使用該眼睛縱長與該眼皮縱長去獲知該人的該視線方向。
TW109133390A 2020-09-25 2020-09-25 利用視線方向調整顯示模式的顯示裝置及其操作方法 TWI746184B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109133390A TWI746184B (zh) 2020-09-25 2020-09-25 利用視線方向調整顯示模式的顯示裝置及其操作方法
US17/183,300 US11457203B2 (en) 2020-09-25 2021-02-23 Display apparatus using sight direction to adjust display mode and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109133390A TWI746184B (zh) 2020-09-25 2020-09-25 利用視線方向調整顯示模式的顯示裝置及其操作方法

Publications (2)

Publication Number Publication Date
TWI746184B true TWI746184B (zh) 2021-11-11
TW202212918A TW202212918A (zh) 2022-04-01

Family

ID=79907586

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109133390A TWI746184B (zh) 2020-09-25 2020-09-25 利用視線方向調整顯示模式的顯示裝置及其操作方法

Country Status (2)

Country Link
US (1) US11457203B2 (zh)
TW (1) TWI746184B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2362261A1 (en) * 2010-02-23 2011-08-31 Elbit Systems Ltd. Real-time image scanning and processing
US8564533B2 (en) * 2009-07-10 2013-10-22 Peking University Image manipulation based on tracked eye movement
CN106657717A (zh) * 2015-10-28 2017-05-10 霍尼韦尔国际公司 显示系统中前庭眼球反射校正的设计和方法
CN110623629A (zh) * 2019-07-31 2019-12-31 毕宏生 一种基于眼球运动的视觉注意检测方法及系统
TW202009648A (zh) * 2018-08-09 2020-03-01 黃鈞鼎 影像處理方法及頭戴式影像系統
CN111684394A (zh) * 2018-03-15 2020-09-18 欧姆龙株式会社 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US9788714B2 (en) * 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564533B2 (en) * 2009-07-10 2013-10-22 Peking University Image manipulation based on tracked eye movement
EP2362261A1 (en) * 2010-02-23 2011-08-31 Elbit Systems Ltd. Real-time image scanning and processing
CN106657717A (zh) * 2015-10-28 2017-05-10 霍尼韦尔国际公司 显示系统中前庭眼球反射校正的设计和方法
CN111684394A (zh) * 2018-03-15 2020-09-18 欧姆龙株式会社 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质
TW202009648A (zh) * 2018-08-09 2020-03-01 黃鈞鼎 影像處理方法及頭戴式影像系統
CN110623629A (zh) * 2019-07-31 2019-12-31 毕宏生 一种基于眼球运动的视觉注意检测方法及系统

Also Published As

Publication number Publication date
US11457203B2 (en) 2022-09-27
TW202212918A (zh) 2022-04-01
US20220103805A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
JP6838099B2 (ja) プレビュー画像表示方法及び装置、並びに端末
JP6945632B2 (ja) 視線追跡を用いたｖｒ、低遅延、無線ｈｍｄビデオストリーミングのためのフォービエイテッドビデオリンク
US10691934B2 (en) Real-time visual feedback for user positioning with respect to a camera and a display
TWI545947B (zh) 具有影像擷取及分析模組之顯示裝置
JP6165459B2 (ja) 映像内のユーザの視線補正方法、機械可読の格納媒体及び携帯端末
JP6870080B2 (ja) 画像生成装置、画像表示システム、および画像生成方法
JP5602155B2 (ja) ユーザインタフェース装置および入力方法
EP2515526A2 (en) Display device with image capture and analysis module
JP2017525052A (ja) 表示のためにキャプチャ画像の視野を調整する技術
CN107277375B (zh) 一种自拍方法和移动终端
US11216907B2 (en) Image generating apparatus, method, and program for displaying image resolution with motion in head-mounted display (HMD)
US20170372679A1 (en) Mobile Terminal for Automatically Adjusting a Text Size and a Method Thereof
JP6359572B2 (ja) 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体
JP2012095229A (ja) 画像表示装置及び画像表示装置用のコンピュータプログラム
TW201814356A (zh) 頭戴顯示裝置與其鏡片位置調整方法
EP3014520A1 (en) Image processing apparatus, image processing method, and program
JP2013148599A (ja) 表示装置
TW201222429A (en) Web camera device and operating method thereof
WO2022257922A1 (zh) 基于电视的照镜视野生成方法、系统、设备及介质
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
JP6223964B2 (ja) 立体視効果の調整用の対話型ユーザインターフェース
TWI746184B (zh) 利用視線方向調整顯示模式的顯示裝置及其操作方法
TWI725574B (zh) 頭戴式顯示裝置以及眼球追蹤游標的顯示方法
CN114610141A (zh) 利用视线方向调整显示模式的显示设备及其操作方法
US11740478B2 (en) Display device, control method thereof, and recording medium