TW202123693A - 眼部定位裝置、方法及3d顯示裝置、方法和終端 - Google Patents

Abstract

本申請揭露一種眼部定位裝置，包括：眼部定位器，包括被配置為拍攝用戶臉部的黑白圖像的黑白攝影機和被配置為獲取臉部的景深資訊的景深獲取裝置；眼部定位影像處理器，被配置為基於黑白圖像和獲取的景深資訊確定眼部的空間位置。上述裝置能高精度地確定用戶眼部的空間位置，進而提高3D顯示品質。本申請還揭露一種眼部定位方法、3D顯示裝置、3D顯示方法和3D顯示終端、電腦可讀儲存媒體、電腦程式產品。

Description

眼部定位裝置、方法及3D顯示裝置、方法和終端

本申請要求在2019年12月05日提交中國智慧財產權局、申請號為201911231165.9、發明名稱為「人眼追蹤裝置、方法及3D顯示裝置、方法和終端」的中國專利申請的優先權，其全部內容通過引用結合在本申請中。本申請涉及3D顯示技術，例如涉及眼部定位裝置、方法及3D顯示裝置、方法和終端。

在一些常規的臉部或眼部定位裝置中，僅檢測臉部與螢幕的距離，並依靠預設的或默認的瞳距來確定眼部所在的視點位置。這樣識別的精度不高，可能會造成視點計算錯誤，無法滿足高品質的3D顯示。

本背景技術僅為了便於瞭解本領域的相關技術，並不視作對現有技術的承認。

為了對披露的實施例的一些方面有基本的理解，下面給出了簡單的概括。該概括不是泛泛評述，也不是要確定關鍵／重要組成元素或描繪這些實施例的保護範圍，而是作為後面的詳細說明的序言。

本申請的實施例意圖提供眼部定位裝置、方法及3D顯示裝置、方法和終端、電腦可讀儲存媒體、電腦程式產品。

在一個方案中，提供了一種眼部定位裝置，包括：眼部定位器，包括被配置為拍攝用戶的臉部的黑白圖像的黑白攝影機和被配置為獲取臉部的景深資訊的景深獲取裝置；眼部定位影像處理器，被配置為基於黑白圖像和景深資訊確定眼部的空間位置。

通過這種眼部定位裝置，能夠高精度地確定用戶眼部的空間位置，從而能夠提供符合用戶眼部的空間位置的顯示物件的3D顯示畫面，提高3D顯示品質，提升觀看體驗。基於用戶眼部的實際空間位置能夠確定用戶眼部所處的視點位置，從而能向用戶提供更精確的、自由度更高的3D顯示。

在一些實施例中，眼部定位影像處理器還被配置為基於黑白圖像識別眼部的存在。

在一些實施例中，眼部定位裝置包括眼部定位資料介面，被配置為傳輸包含眼部的空間位置的眼部空間位置資訊。

在一些實施例中，景深獲取裝置為結構光攝影機或TOF攝影機。

在一些實施例中，眼部定位裝置還包括視角確定裝置，被配置為計算用戶相對於3D顯示裝置的視角。

根據視角，能夠以隨動的方式生成從不同角度觀察到的顯示物件的3D顯示畫面，從而使用戶能夠觀看到與視角相符合的3D顯示畫面，增強3D顯示的真實感和沉浸感。

在一些實施例中，黑白攝影機被配置為拍攝黑白圖像序列。

在一些實施例中，眼部定位影像處理器包括：暫存器，配置為緩存黑白圖像序列中多幅黑白圖像；比較器，配置為比較黑白圖像序列中的前後多幅黑白圖像；判決器，被配置為，當比較器通過比較在黑白圖像序列中的當前黑白圖像中未識別到眼部的存在且在之前或之後的黑白圖像中識別到眼部的存在時，將基於之前或之後的黑白圖像和獲取的景深資訊確定的眼部空間位置資訊作為當前的眼部空間位置資訊。

基於此，例如在黑白攝影機出現卡頓或跳幀等情況時，能夠為用戶提供更為連貫的顯示畫面，確保觀看體驗。

在一個方案中，提供了一種3D顯示裝置，包括：多視點3D顯示螢幕，包括對應多個視點的多個子像素；如上文描述的眼部定位裝置，被配置為確定用戶眼部的空間位置；以及3D處理裝置，被配置為根據用戶眼部的空間位置確定視點，並且基於3D訊號渲染與視點對應的子像素。

在一些實施例中，多視點3D顯示螢幕包括多個複合像素，多個複合像素中的每個複合像素包括多個複合子像素，多個複合子像素中的每個複合子像素由對應於多個視點的多個子像素構成。

在一些實施例中，3D處理裝置與眼部定位裝置通過眼部定位資料介面通訊連接。

在一些實施例中，3D顯示裝置還包括：3D拍攝裝置，被配置為採集3D圖像，3D拍攝裝置包括景深攝影機和至少兩個彩色攝影機。

在一些實施例中，眼部定位裝置與3D拍攝裝置集成設置。

在一些實施例中，3D拍攝裝置前置於3D顯示裝置。

在一個方案中，提供了一種眼部定位方法，包括：拍攝用戶的臉部的黑白圖像；獲取臉部的景深資訊；基於黑白圖像和所述景深資訊確定眼部的空間位置。

在一些實施例中，眼部定位方法還包括：基於黑白圖像識別眼部的存在。

在一些實施例中，眼部定位方法還包括：傳輸包含眼部的空間位置的眼部空間位置資訊。

在一些實施例中，眼部定位方法還包括：拍攝出包括黑白圖像的黑白圖像序列。

在一些實施例中，眼部定位方法還包括：緩存黑白圖像序列中多幅黑白圖像；比較黑白圖像序列中的前後多幅黑白圖像；當通過比較在黑白圖像序列中的當前黑白圖像未識別到眼部的存在且在之前或之後的黑白圖像中識別到眼部的存在時，基於之前或之後的黑白圖像和獲取的景深資訊確定的眼部空間位置資訊作為當前的眼部空間位置資訊。

在一個方案中，提供了一種3D顯示方法包括：確定用戶眼部的空間位置；根據用戶眼部的空間位置確定視點，並且基於3D訊號渲染與視點對應的子像素；其中，3D顯示裝置包括多視點3D顯示螢幕，多視點3D顯示螢幕包括對應多個視點的多個子像素。

在一個方案中，提供了一種3D顯示終端，包括處理器、儲存有程式指令的記憶體和多視點3D顯示螢幕，處理器被配置為在執行程式指令時，執行如上文描述的3D顯示方法。

本揭露實施例提供的電腦可讀儲存媒體，儲存有電腦可執行指令，上述電腦可執行指令設置為執行上述的眼部定位方法、3D顯示方法。

本揭露實施例提供的電腦程式產品，包括儲存在電腦可讀儲存媒體上的電腦程式，上述電腦程式包括程式指令，當該程式指令被電腦執行時，使上述電腦執行上述的眼部定位方法、3D顯示方法。

以上的總體描述和下文中的描述僅是示例性和解釋性的，不用於限制本申請。

為了能夠更加詳盡地瞭解本揭露實施例的特點與技術內容，下面結合附圖對本揭露實施例的實現進行詳細闡述，所附附圖僅供參考說明之用，並非用來限定本揭露實施例。

在本揭露實施例中，提供了一種眼部定位裝置，被配置為用於3D顯示裝置，眼部定位裝置包括：眼部定位器，包括被配置為拍攝黑白圖像的黑白攝影機和被配置為獲取景深資訊的景深獲取裝置；眼部定位影像處理器，被配置為基於黑白圖像識別眼部的存在且基於黑白圖像和獲取的景深資訊確定眼部的空間位置。這種眼部定位裝置在第1圖中示例性地示出。

在本揭露實施例中，提供了一種3D顯示裝置，包括：多視點3D顯示螢幕（例如：多視點裸眼3D顯示螢幕），包括對應多個視點的多個子像素；3D處理裝置，被配置為基於3D訊號渲染與視點對應的子像素；其中，視點由用戶的眼部的空間位置確定；以及根據上文描述的眼部定位裝置。

作為解釋而非限制性地，由眼部的空間位置確定視點可由3D處理裝置實現，也可由眼部定位裝置的眼部定位影像處理器實現。

在一些實施例中，3D處理裝置與多視點3D顯示螢幕通訊連接。

在一些實施例中，3D處理裝置與多視點3D顯示螢幕的驅動裝置通訊連接。

在本揭露實施例中，提供了一種眼部定位方法，包括：拍攝黑白圖像；獲取景深資訊；基於黑白圖像識別眼部的存在；基於黑白圖像和獲取的景深資訊確定眼部的空間位置。

在本揭露實施例中，提供了一種3D顯示方法，適用於3D顯示裝置，3D顯示裝置包括多視點3D顯示螢幕，包括對應多個視點的多個子像素；3D顯示方法包括：傳輸3D訊號；利用根據上文描述的眼部定位方法確定用戶的眼部的空間位置；基於眼部的空間位置確定眼部所在的視點；基於3D訊號渲染與視點對應的子像素。

第2A圖示出了根據本揭露實施例的3D顯示裝置100的示意圖。參考第2A圖，在本揭露實施例中提供了一種3D顯示裝置100，包括多視點3D顯示螢幕110、被配置為接收3D訊號的影片幀的訊號介面140、與訊號介面140通訊連接的3D處理裝置130和眼部定位裝置150。眼部定位裝置150通訊連接至3D處理裝置130，由此，3D處理裝置130可以直接接收眼部定位資料。

在一些實施例中，3D處理裝置被配置為由眼部的空間位置確定用戶眼部所在的視點。在另一些實施例中，由眼部的空間位置確定用戶眼部所在的視點也可通過眼部定位裝置實現，3D處理裝置接收包含視點的眼部定位資料。

作為解釋而非限制性地，眼部定位資料可以包含眼部的空間位置，例如用戶的眼部相對於多視點3D顯示螢幕的間距、用戶的眼部所在的視點、用戶視角等。

多視點3D顯示螢幕110可包括顯示面板和覆蓋在顯示面板上的光柵（未標識）。在第2A圖所示的實施例中，多視點3D顯示螢幕110可包括m列n行、亦即m×n個複合像素並因此限定出m×n的顯示解析度。

在一些實施例中，m×n的解析度可以為全高清（FHD）以上的解析度，包括但不限於，1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。

作為解釋而非限制地，每個複合像素包括多個複合子像素，各複合子像素由對應於i個視點的i個同色子像素構成，i≥3。在第2A圖所示的實施例中，i=6，但可以想到i為其他數值。在所示的實施例中，多視點3D顯示螢幕可相應地具有i（i=6）個視點（V1-V6），但可以想到可以相應地具有更多或更少個視點。

作為解釋而非限制地，在第2A圖所示的實施例中，每個複合像素包括三個複合子像素，並且每個複合子像素由對應於6個視點（i=6）的6個同色子像素構成。三個複合子像素分別對應於三種顏色，即紅（R）、綠（G）和藍（B）。在第2A圖所示的實施例中，每個複合像素中的三個複合子像素呈單列佈置，每個複合子像素的六個子像素呈單行佈置。但可以想到，各複合像素中的多個複合子像素成不同排列形式；也可以想到，各複合子像素中的多個子像素成不同排列形式。

作為解釋而非限制性地，例如第2A圖所示，3D顯示裝置100可設置有單個3D處理裝置130。單個3D處理裝置130同時處理對多視點3D顯示螢幕110的各複合像素的各複合子像素的子像素的渲染。在另一些實施例中，3D顯示裝置100也可設置有一個以上3D處理裝置130，它們並行、串列或串並行結合地處理對多視點3D顯示螢幕110的各複合像素的各複合子像素的子像素的渲染。本領域技術人員將明白，一個以上3D處理裝置可以有其他的方式分配且並行處理多視點3D顯示螢幕110的多行多列複合像素或複合子像素，這落入本揭露實施例的範圍內。

在一些實施例中，3D處理裝置130還可以選擇性地包括暫存器131，以便緩存所接收到的影片幀。

在一些實施例中，3D處理裝置為FPGA或ASIC晶片或FPGA或ASIC晶片組。

繼續參考第2A圖，3D顯示裝置100還可包括通過訊號介面140通訊連接至3D處理裝置130的處理器101。在本文所示的一些實施例中，處理器101被包括在電腦或智慧終端機、如移動終端中或作為其處理器單元。但是可以想到，在一些實施例中，處理器101可以設置在3D顯示裝置的外部，例如3D顯示裝置可以為帶有3D處理裝置的多視點3D顯示器，例如非智慧的3D電視。

為簡單起見，下文中的3D顯示裝置的示例性實施例內部包括處理器。基於此，訊號介面140為連接處理器101和3D處理裝置130的內部介面。在本文所示的一些實施例中，作為3D顯示裝置的內部介面的訊號介面可以為MIPI、mini-MIPI介面、LVDS介面、min-LVDS介面或Display Port介面。在一些實施例中，如第2A圖所示，3D顯示裝置100的處理器101可包括寄存器122。寄存器122可被配置為暫存指令、數據和地址。在一些實施例中，寄存器122可被配置為接收有關多視點3D顯示螢幕110的顯示要求的資訊

在一些實施例中，3D顯示裝置100還可以包括轉碼器，配置為對壓縮的3D訊號解壓縮和編解碼並將解壓縮的3D訊號經訊號介面140發送至3D處理裝置130。

參考第2B圖，3D顯示裝置100還包括被配置為採集3D圖像的3D拍攝裝置120，眼部定位裝置150集成在3D拍攝裝置120中，也可以想到集成到處理終端或顯示裝置的常規攝影裝置中。在所示的實施例中，3D拍攝裝置120為前置攝影裝置。3D拍攝裝置120包括攝影機單元121、3D影像處理器126、3D圖像輸出介面125。

如第2B圖所示，攝影機單元121包括第一彩色攝影機121a、第二彩色攝影機121b、景深攝影機121c。在另一些實施例中，3D影像處理器126可以集成在攝影機單元121內。在一些實施例中，第一彩色攝影機121a被配置為獲得拍攝物件的第一彩色圖像，第二彩色攝影機121b被配置為獲得拍攝物件的第二彩色圖像，通過合成這兩幅彩色圖像獲得中間點的合成彩色圖像；景深攝影機121c被配置為獲得拍攝物件的景深資訊。通過合成獲得的合成彩色圖像和景深資訊形成3D圖像。在本揭露實施例中，第一彩色攝影機和第二彩色攝影機是相同的彩色攝影機。在另一些實施例中，第一彩色攝影機和第二彩色攝影機也可以是不同的彩色攝影機。在這種情況下，為了獲得合成彩色圖像，可以對第一彩色圖像和第二彩色圖像進行校準或矯正。景深攝影機121c可以是TOF（飛行時間）攝影機或結構光攝影機。景深攝影機121c可以設置在第一彩色攝影機和第二彩色攝影機之間。

在一些實施例中，3D影像處理器126被配置為將第一彩色圖像和第二彩色圖像合成為合成彩色圖像，並將獲得的合成彩色圖像與景深資訊合成為3D圖像。所形成的3D圖像通過3D圖像輸出介面125傳輸至3D顯示裝置100的處理器101。

可選地，第一彩色圖像、第二彩色圖像以及景深資訊經由3D圖像輸出介面125直接傳輸至3D顯示裝置100的處理器101，並通過處理器101進行上述合成兩幅彩色圖像以及形成3D圖像等處理。

可選地，3D圖像輸出介面125還可通訊連接到3D顯示裝置100的3D處理裝置130，從而可通過3D處理裝置130進行上述合成彩色圖像以及形成3D圖像等處理。

在一些實施例中，第一彩色攝影機和第二彩色攝影機中至少一個是廣角的彩色攝影機。

繼續參考第2B圖，眼部定位裝置150集成在3D拍攝裝置120內並且包括眼部定位器151、眼部定位影像處理器152和眼部定位資料介面153。

眼部定位器151包括黑白攝影機151a和景深獲取裝置151b。黑白攝影機151a被配置為拍攝黑白圖像，景深獲取裝置151b被配置為獲取景深資訊。在3D拍攝裝置120是前置的並且眼部定位裝置150集成在3D拍攝裝置120內的情況下，眼部定位裝置150也是前置的。那麼，黑白攝影機151a的拍攝物件是用戶臉部，基於拍攝到的黑白圖像識別出臉部或眼部，景深獲取裝置至少獲取眼部的景深資訊，也可以獲取臉部的景深資訊。

在一些實施例中，眼部定位裝置150的眼部定位資料介面153通訊連接至3D顯示裝置100的3D處理裝置130，由此，3D處理裝置130可以直接接收眼部定位資料。在另一些實施例中，眼部定位影像處理器152可通訊連接至3D顯示裝置100的處理器101，由此眼部定位資料可以從處理器101通過眼部定位資料介面153被傳輸至3D處理裝置130。

在一些實施例中，眼部定位裝置150與攝影機單元121通訊連接，由此可在拍攝3D圖像時使用眼部定位資料。

可選地，眼部定位器151還設置有紅外發射裝置154。在黑白攝影機151a工作時，紅外發射裝置154被配置為選擇性地發射紅外光，以在環境光線不足時、例如在夜間拍攝時起到補光作用，從而在環境光線弱的條件下也能拍攝能識別出臉部及眼部的黑白圖像。

在一些實施例中，眼部定位裝置150或集成有眼部定位裝置的處理終端或顯示裝置可以配置為，在黑白攝影機工作時，基於接收到的光線感應訊號，例如檢測到光線感應訊號低於給定閾值時，控制紅外發射裝置的開啟或調節其大小。在一些實施例中，光線感應訊號是從處理終端或顯示裝置集成的環境光感測器接收的。

可選地，紅外發射裝置154配置為發射波長大於或等於1.5微米的紅外光，亦即長波紅外光。與短波紅外光相比，長波紅外光穿透皮膚的能力較弱，因此對眼部的傷害較小。

拍攝到的黑白圖像被傳輸至眼部定位影像處理器152。示例性地，眼部定位影像處理器配置為具有視覺識別功能、例如臉部識別功能，並且配置為基於黑白圖像識別出臉部和眼部。基於識別出的眼部，能夠得到用戶相對於顯示裝置的顯示螢幕的視角，這將在下文中描述。

通過景深獲取裝置151b獲取到的眼部或臉部的景深資訊也被傳輸至眼部定位影像處理器152。眼部定位影像處理器152被配置為基於黑白圖像和獲取的景深資訊確定眼部的空間位置，這將在下文中描述。

在一些實施例中，景深獲取裝置151b為結構光攝影機或TOF攝影機。

作為解釋而非限制性地，TOF攝影機包括投射器和接收器，通過投射器將光脈衝到被觀測物件上，然後通過接收器接收從被觀測物件反射回的光脈衝，通過光脈衝的往返時間來計算被觀測對象與攝影機的距離。

作為解釋而非限制性地，結構光攝影機包括投影器和採集器，通過投影器將面結構光、例如編碼結構光投射到被觀測物件上，在被觀測物件表面形成面結構光的畸變圖像，然後通過採集器採集並解析畸變圖像，從而還原被觀測物件的三維輪廓、空間資訊等。

在一些實施例中，黑白攝影機151a是廣角的黑白攝影機。

在一些實施例中，景深獲取裝置151b和3D拍攝裝置120的景深攝影機121c可以是相同的。在這種情況下，景深獲取裝置151b和景深攝影機121c可以是同一個TOF攝影機或同一個結構光攝影機。在另一些實施例中，景深獲取裝置151b和景深攝影機121c可以是不同的。

在一些實施例中，眼部定位裝置150包括視角確定裝置155，視角確定裝置155被配置為計算用戶相對於3D顯示裝置或其顯示螢幕或黑白攝影機的視角。

基於黑白攝影機151a拍攝的黑白圖像，視角包括但不限於用戶的單眼與黑白攝影機鏡頭中心O/顯示螢幕中心DLC的連線相對於黑白攝影機平面MCP/顯示螢幕平面DLP的傾斜角、雙眼連線的中點（雙眼中心）與黑白攝影機鏡頭中心O/顯示螢幕中心DLC的連線相對於黑白攝影機平面MCP/顯示螢幕平面DLP的傾斜角。

在此基礎上，再結合景深獲取裝置151b獲取的深度圖像，除了上述傾斜角，視角還可以包括雙眼連線相對於黑白攝影機平面MCP/顯示螢幕平面DLP的傾斜角、臉部所在平面HFP相對於黑白攝影機平面MCP/顯示螢幕平面DLP的傾斜角等。其中，臉部所在平面HFP可通過提取若干臉部特徵來確定，例如眼部和耳部、眼部和嘴角、眼部和下巴等。在本揭露實施例中，由於眼部定位裝置150及其黑白攝影機151a相對於3D顯示裝置或其顯示螢幕為前置的，可將黑白攝影機平面MCP視作顯示螢幕平面DLP。

作為解釋而非限制性的，上文描述的線相對於面的傾斜角包括但不限於線與線在面內的投影的夾角、線在面內的投影與面的水準方向的夾角、線在面內的投影與面的垂直方向的夾角。其中，線與線在面內的投影的夾角可具有水準方向的分量和垂直方向的分量。

在一些實施例中，如第2B圖所示，視角確定裝置155可集成設置在眼部定位影像處理器152內。如上文所述，眼部定位影像處理器152被配置為基於黑白圖像和景深資訊確定眼部的空間位置。在本揭露實施例中，眼部的空間位置包括但不限於上文描述的視角、眼部相對於黑白攝影機平面MCP/顯示螢幕平面DLP的距離、眼部相對於眼部定位裝置或其黑白攝影機/3D顯示裝置或其顯示螢幕的空間座標等。在一些實施例中，眼部定位裝置150還可包括視角資料輸出介面，視角資料輸出介面被配置為輸出由視角確定裝置計算出的視角。

在另一些實施例中，視角確定裝置可集成設置在3D處理裝置內。

作為解釋而非限制性地，通過黑白攝影機151a拍攝的包含了用戶左眼和右眼的黑白圖像，可得知左眼和右眼在黑白攝影機151a的焦平面FP內成像的X軸（水準方向）座標和Y軸（垂直方向）座標。如第3圖所示，以黑白攝影機151a的鏡頭中心O為原點，X軸和與X軸垂直的Y軸（未示出）形成黑白攝影機平面MCP，其與焦平面FP平行；黑白攝影機151a的光軸方向為Z軸，Z軸也是深度方向。也就是說，在第3圖所示的XZ平面內，左眼和右眼在焦平面FP內成像的X軸座標XR、XL是已知的；而且，黑白攝影機151a的焦距f是已知的；在這種情況下，可算出左眼和右眼與黑白攝影機鏡頭中心O的連線在XZ平面內的投影相對於X軸的傾斜角ß，這將在下文中進一步描述。同理，在（未示出的）YZ平面內，左眼和右眼在焦平面FP內成像的Y軸座標是已知的，再結合已知的焦距f，可算出左眼和右眼與黑白攝影機鏡頭中心O的連線在YZ平面內的投影相對於黑白攝影機平面MCP的Y軸的傾斜角。

作為解釋而非限制性地，通過黑白攝影機151a拍攝的包含了用戶左眼和右眼的黑白圖像以及景深獲取裝置151b獲取的左眼和右眼的景深資訊，可得知左眼和右眼在黑白攝影機151a的坐標系內的空間座標（X，Y，Z），其中，Z軸座標即為景深資訊。據此，如第3圖所示，可算出左眼和右眼的連線在XZ平面內的投影與X軸的夾角α。同理，在（未示出的）YZ平面內，可算出左眼和右眼的連線在YZ平面內的投影與Y軸的夾角。

第3圖示意性地示出了利用黑白攝影機151a和景深獲取裝置151b（未示出）確定眼部的空間位置的幾何關係模型的俯視圖。其中，R和L分別表示用戶的右眼和左眼，XR和XL分別為用戶右眼R和左眼L在黑白攝影機151a的焦平面FP內成像的X軸座標。在已知黑白攝影機151a的焦距f、雙眼在焦平面FP內的X軸座標XR、XL的情況下，可以得出用戶的右眼R和左眼L與鏡頭中心O的連線在XZ平面內的投影相對於X軸的傾斜角ßR和ßL分別為：

在此基礎上，通過（未示出的）景深獲取裝置151b獲得的右眼R和左眼L的景深資訊，可得知用戶右眼R和左眼L相對於黑白攝影機平面MCP/顯示螢幕平面DLP的距離DR和DL。據此，可以得出用戶雙眼連線在XZ平面內的投影與X軸的夾角α以及瞳距P分別為：

1.      上述計算方法和數學表示僅是示意性的，本領域技術人員可以想到其他計算方法和數學表示，以得到所需的眼部的空間位置。本領域技術人員也可以想到，必要時將黑白攝影機的坐標系與顯示裝置或其顯示螢幕的坐標系進行變換。

在一些實施例中，當距離DR和DL不等並且夾角α不為零時，可認為用戶斜視顯示螢幕平面DLP；當距離DR和DL相等並且視角α為零時，可認為用戶平視顯示螢幕平面DLP。在另一些實施例中，可以針對夾角α設定閾值，在夾角α不超過閾值的情況下，可以認為用戶平視顯示螢幕平面DLP。

在一些實施例中，眼部定位裝置150包括眼部定位資料介面153，被配置為傳輸眼部空間位置資訊，包括但不限於如上文描述的傾斜角、夾角、空間座標等。利用眼部空間位置資訊可向用戶提供有針對性的或客製化的3D顯示畫面。

作為解釋而非限制性地，視角、例如用戶雙眼中心與顯示螢幕中心DLC的連線相對於水準方向（X軸）或垂直方向（Y軸）的夾角通過眼部定位資料介面153傳輸至3D處理裝置130。3D處理裝置130基於接收到的視角隨動地生成與視角相符合的3D顯示畫面，從而能夠向用戶呈現從不同角度觀察的顯示物件。

示例性地，基於用戶雙眼中心與顯示螢幕中心DLC的連線相對於水準方向（X軸）的夾角能夠呈現水準方向上的隨動效果；基於用戶雙眼中心與顯示螢幕中心DLC的連線相對於垂直方向（Y軸）的夾角能夠呈現垂直方向上的隨動效果。

作為解釋而非限制性地，用戶的左眼和右眼的空間座標通過眼部定位資料介面153傳輸至3D處理裝置130。3D處理裝置130基於接收到的空間座標確定用戶雙眼所處的且由多視點3D顯示螢幕110提供的視點，並基於3D訊號的影片幀渲染相應的子像素。

示例性地，當基於眼部空間位置資訊確定用戶的雙眼各對應一個視點時，基於3D訊號的影片幀渲染各複合像素的多個複合子像素中與這兩個視點相對應的子像素，也可額外地渲染各複合像素的多個複合子像素中與這兩個視點相鄰的視點相對應的子像素。

示例性地，當基於眼部空間位置資訊確定用戶的雙眼各分別位於兩個視點之間時，基於3D訊號的影片幀渲染各複合像素的多個複合子像素中與這四個視點相對應的子像素。

示例性地，當基於眼部空間位置資訊確定用戶雙眼中至少一隻眼睛產生了運動時，可基於3D訊號的下一影片幀渲染各複合像素的多個複合子像素中與新的預定的視點對應的子像素。

示例性地，當基於眼部空間位置資訊確定有一個以上用戶時，可基於3D訊號的影片幀渲染各複合像素的多個複合子像素與各用戶雙眼分別所處的視點相對應的子像素。

在一些實施例中，分別確定用戶的視角和視點位置，並據此提供隨視角和視點位置變化的3D顯示畫面，提升觀看體驗。

在另一些實施例中，眼部空間位置資訊也可被直接傳輸至3D顯示裝置100的處理器101，3D處理裝置130通過眼部定位資料介面153從處理器101接收/讀取眼部空間位置資訊。

在一些實施例中，黑白攝影機151a配置為拍攝出黑白圖像序列，其包括按照時間前後排列的多幅黑白圖像。

在一些實施例中，眼部定位影像處理器152包括暫存器156和比較器157。暫存器156被配置為緩存黑白圖像序列中分別按照時間前後排列的多幅黑白圖像。比較器157被配置為比較黑白圖像序列中按照時間前後拍攝的多幅黑白圖像。通過比較，例如可以判斷眼部的空間位置是否變化或者判斷眼部是否還處於觀看範圍內等。

在一些實施例中，眼部定位影像處理器152還包括判決器（未示出），被配置為基於比較器的比較結果，在黑白圖像序列中的當前黑白圖像中未識別到眼部的存在且在之前或之後的黑白圖像中識別到眼部的存在時，基於之前或之後的黑白圖像確定的眼部空間位置資訊作為當前的眼部空間位置資訊。這種情況例如為用戶短暫轉動頭部。在這種情況下，有可能短暫地無法識別到用戶的臉部及其眼部。

示例性地，在暫存器156的緩存段記憶體有黑白圖像序列中的若干黑白圖像。在某些情況下，無法從所緩存的當前黑白圖像中識別出臉部及眼部，然而可以從所緩存的之前或之後的黑白圖像中識別出臉部及眼部。在這種情況下，可以將基於在當前黑白圖像之後的、也就是更晚拍攝的黑白圖像確定的眼部空間位置資訊作為當前的眼部空間位置資訊；也可以將基於在當前黑白圖像之前的、也就是更早拍攝黑白圖像確定的眼部空間位置資訊作為當前的眼部空間位置資訊。此外，也可以對基於上述之前和之後的能識別出臉部及眼部的黑白圖像確定的眼部空間位置資訊取平均值、進行資料擬合、進行插值或以其他方法處理，並且將得到的結果作為當前的眼部空間位置資訊。

在一些實施例中，黑白攝影機151a被配置為以24幀/秒或以上的頻率拍攝黑白圖像序列。示例性地，以30幀/秒的頻率拍攝。示例性地，以60幀/秒的頻率拍攝。

在一些實施例中，黑白攝影機151a被配置為以與3D顯示裝置的顯示螢幕刷新頻率相同的頻率進行拍攝。

本揭露實施例還可以提供一種眼部定位方法，其利用上述實施例中的眼部定位裝置來實現。

參考第4圖，在一些實施例中，眼部定位方法包括： S401：拍攝用戶的臉部的黑白圖像； S402：獲取臉部的景深資訊； S403：基於拍攝的黑白圖像和景深資訊確定眼部的空間位置。

參考第5圖，在一些實施例中，眼部定位方法包括： S501：拍攝用戶的臉部的黑白圖像； S502：獲取臉部的景深資訊； S503：基於拍攝的黑白圖像識別眼部的存在； S504：基於拍攝的黑白圖像和景深資訊確定眼部的空間位置； S505：傳輸包含眼部的空間位置的眼部空間位置資訊。

參考第6圖，在一些實施例中，眼部定位方法包括： S601：拍攝出包括用戶的臉部的黑白圖像的黑白圖像序列； S602：緩存黑白圖像序列中多幅黑白圖像； S603：比較黑白圖像序列中的前後多幅黑白圖像； S604：獲取臉部的景深資訊； S605：當通過比較在黑白圖像序列中的當前黑白圖像未識別到眼部的存在且在之前或之後的黑白圖像中識別到眼部的存在時，基於之前或之後的黑白圖像和獲取的景深資訊確定的眼部空間位置資訊作為當前的眼部空間位置資訊。

本揭露實施例還可以提供一種3D顯示方法，其適用於上述實施例中的3D顯示裝置，3D顯示裝置包括多視點3D顯示螢幕，多視點3D顯示螢幕包括對應多個視點的多個子像素。

參考第7圖，在一些實施例中，3D顯示方法包括： S701：確定用戶眼部的空間位置； S702：根據用戶眼部的空間位置確定視點，並且基於3D訊號渲染與視點對應的子像素。

本揭露實施例提供了一種3D顯示終端800，參考第8圖，3D顯示終端800包括：處理器814、記憶體811、多視點3D顯示螢幕810，還可以包括通訊介面812和匯流排813。其中，多視點3D顯示螢幕810、處理器814、通訊介面812、記憶體811通過匯流排813完成相互間的通訊。通訊介面812可以用於資訊傳輸。處理器814可以調用記憶體811中的邏輯指令，以執行上述實施例的3D顯示方法。

此外，記憶體811中的邏輯指令可以通過軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存媒體中。

記憶體811作為一種電腦可讀儲存媒體，可被配置為儲存軟體程式、電腦可執行程式，如本揭露實施例中的方法對應的程式指令/模組。處理器814通過運行儲存在記憶體811中的程式指令/模組，從而執行功能應用以及資料處理，即實現上述方法實施例中的眼部定位方法和/或3D顯示方法。

記憶體811可包括儲存程式區和儲存資料區，其中，儲存程式區可儲存作業系統、至少一個功能所需的應用程式；儲存資料區可儲存根據終端設備的使用所創建的資料等。此外，記憶體811可以包括高速隨機存取記憶體，還可以包括非易失性記憶體。

本揭露實施例提供的電腦可讀儲存媒體，儲存有電腦可執行指令，上述電腦可執行指令設置為執行上述的眼部定位方法、3D顯示方法。

本揭露實施例提供的電腦程式產品，包括儲存在電腦可讀儲存媒體上的電腦程式，上述電腦程式包括程式指令，當該程式指令被電腦執行時，使上述電腦執行上述的眼部定位方法、3D顯示方法。

本揭露實施例的技術方案可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體中，包括一個或多個指令用以使得一台電腦設備（可以是個人電腦、伺服器、或者網路設備等）執行本揭露實施例的方法的全部或部分步驟。而前述的儲存媒體可以是非暫態儲存媒體，包括：USB隨身碟、行動硬碟、唯讀記憶體、隨機存取記憶體、磁碟或者光碟等多種可以儲存程式碼的媒體，也可以是暫態儲存媒體。

本領域技術人員可以意識到，結合本文中所揭露的實施例描述的各示例的單元及演算法步驟，能夠以電子硬體、或者電腦軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行，可以取決於技術方案的特定應用和設計約束條件。本領域技術人員可以對每個特定的應用來使用不同方法以實現所描述的功能，但是這種實現不應認為超出本揭露實施例的範圍。

本文所披露的實施例中，所揭露的方法、產品（包括但不限於裝置、設備等），可以通過其它的方式實現。例如，以上所描述的裝置或設備實施例僅僅是示意性的，例如，單元的劃分，可以僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些介面，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其它的形式。作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例。另外，在本揭露實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。

另外，在附圖中的流程圖所對應的描述中，不同的方框所對應的操作或步驟也可以以不同於描述中所披露的順序發生，有時不同的操作或步驟之間不存在特定的順序。

100:3D顯示裝置 101:處理器 122:寄存器 110:多視點3D顯示螢幕 120:3D拍攝裝置 121:攝影機單元 121a:第一彩色攝影機 121b:第二彩色攝影機 121c:景深攝影機 125:3D圖像輸出介面 126:3D影像處理器 130:3D處理裝置 131:暫存器 140:訊號介面 150:眼部定位裝置 151:眼部定位器 151a:黑白攝影機 151b:景深獲取裝置 152:眼部定位影像處理器 154:紅外發射裝置 155:視角確定裝置 156:暫存器 157:比較器 153:眼部定位資料介面 FP:焦平面 O:鏡頭中心 f:焦距 MCP:黑白攝影機平面 R:用戶的右眼 L:用戶的左眼 P:瞳距 XR:用戶的右眼在焦平面內成像的X軸座標 XL:用戶的左眼在焦平面內成像的X軸座標 ßR:傾斜角 ßL:傾斜角 α:夾角 DR:用戶的右眼R相對於黑白攝影機平面MCP的距離 DL:用戶的左眼L相對於黑白攝影機平面MCP的距離 DLP:顯示螢幕平面 DLC:顯示螢幕中心 HFP:臉部所在平面 S401~S403:步驟 S501~S505:步驟 S601~S605:步驟 S701~S702:步驟 800:3D顯示終端 810:多視點3D顯示螢幕 811:記憶體 812:通訊介面 813:匯流排 814:處理器

一個或多個實施例通過與之對應的附圖進行示例性說明，這些示例性說明和附圖並不構成對實施例的限定，附圖不構成比例限制，並且其中： 第1圖是根據本揭露實施例的眼部定位裝置的示意圖； 第2A圖和第2B圖是根據本揭露實施例的3D顯示裝置的示意圖； 第3圖是利用根據本揭露實施例的眼部定位裝置確定眼部的空間位置的示意圖； 第4圖是根據本揭露實施例的眼部定位方法的步驟示意圖； 第5圖是根據本揭露實施例的眼部定位方法的步驟示意圖； 第6圖是根據本揭露實施例的眼部定位方法的步驟示意圖； 第7圖是根據本揭露實施例的3D顯示方法的步驟示意圖； 第8圖是根據本揭露實施例的3D顯示終端的結構示意圖。

150:眼部定位裝置

151:眼部定位器

151a:黑白攝影機

151b:景深獲取裝置

152:眼部定位影像處理器

Claims (22)

1. 一種眼部定位裝置，包括： 眼部定位器，包括被配置為拍攝用戶的臉部的黑白圖像的黑白攝影機和被配置為獲取所述臉部的景深資訊的景深獲取裝置； 眼部定位影像處理器，被配置為基於所述黑白圖像和所述景深資訊確定眼部的空間位置。
2. 根據請求項1所述的眼部定位裝置，其中，所述眼部定位影像處理器還被配置為基於所述黑白圖像識別所述眼部的存在。
3. 根據請求項1所述的眼部定位裝置，還包括眼部定位資料介面，被配置為傳輸包含所述眼部的空間位置的眼部空間位置資訊。
4. 根據請求項1所述的眼部定位裝置，其中，所述景深獲取裝置為結構光攝影機或TOF攝影機。
5. 根據請求項1所述的眼部定位裝置，還包括視角確定裝置，被配置為計算所述用戶相對於3D顯示裝置的視角。
6. 根據請求項1至5任一項所述的眼部定位裝置，其中，所述黑白攝影機被配置為拍攝黑白圖像序列。
7. 根據請求項6所述的眼部定位裝置，其中，所述眼部定位影像處理器包括： 暫存器，配置為緩存所述黑白圖像序列中多幅黑白圖像； 比較器，配置為比較所述黑白圖像序列中的前後多幅黑白圖像； 判決器，被配置為，當所述比較器通過比較在所述黑白圖像序列中的當前黑白圖像中未識別到眼部的存在且在之前或之後的黑白圖像中識別到眼部的存在時，將基於所述之前或之後的黑白圖像和獲取的景深資訊確定的眼部空間位置資訊作為當前的眼部空間位置資訊。
8. 一種3D顯示裝置，包括： 多視點3D顯示螢幕，包括對應多個視點的多個子像素； 根據請求項1至7任一項所述的眼部定位裝置，被配置為確定用戶眼部的空間位置；以及 3D處理裝置，被配置為根據所述用戶眼部的空間位置確定視點，並且基於3D訊號渲染與所述視點對應的子像素。
9. 根據請求項8所述的3D顯示裝置，其中，所述多視點3D顯示螢幕包括多個複合像素，所述多個複合像素中的每個複合像素包括多個複合子像素，所述多個複合子像素中的每個複合子像素由對應於多個視點的多個子像素構成。
10. 根據請求項8或9所述的3D顯示裝置，其中，所述3D處理裝置與所述眼部定位裝置通過眼部定位資料介面通訊連接。
11. 根據請求項8或9所述的3D顯示裝置，還包括： 3D拍攝裝置，被配置為採集3D圖像， 所述3D拍攝裝置包括景深攝影機和至少兩個彩色攝影機。
12. 根據請求項11所述的3D顯示裝置，其中，所述眼部定位裝置與所述3D拍攝裝置集成設置。
13. 根據請求項11所述的3D顯示裝置，其中，所述3D拍攝裝置前置於所述3D顯示裝置。
14. 一種眼部定位方法，包括： 拍攝用戶的臉部的黑白圖像； 獲取所述臉部的景深資訊； 基於所述黑白圖像和所述景深資訊確定眼部的空間位置。
15. 根據請求項14所述的眼部定位方法，還包括：基於所述黑白圖像識別所述眼部的存在。
16. 根據請求項14所述的眼部定位方法，還包括：傳輸包含所述眼部的空間位置的眼部空間位置資訊。
17. 根據請求項14所述的眼部定位方法，還包括：拍攝出包括所述黑白圖像的黑白圖像序列。
18. 根據請求項17所述的眼部定位方法，還包括： 緩存所述黑白圖像序列中多幅黑白圖像； 比較所述黑白圖像序列中的前後多幅黑白圖像； 當通過比較在所述黑白圖像序列中的當前黑白圖像未識別到眼部的存在且在之前或之後的黑白圖像中識別到眼部的存在時，基於所述之前或之後的黑白圖像和獲取的景深資訊確定的眼部空間位置資訊作為當前的眼部空間位置資訊。
19. 一種3D顯示方法，包括： 確定用戶眼部的空間位置； 根據所述用戶眼部的空間位置確定視點，並且基於3D訊號渲染與所述視點對應的子像素； 其中，所述3D顯示裝置包括多視點3D顯示螢幕，所述多視點3D顯示螢幕包括對應多個視點的多個子像素。
20. 一種3D顯示終端，包括處理器、儲存有程式指令的記憶體和多視點3D顯示螢幕，所述處理器被配置為在執行所述程式指令時，執行根據請求項19所述的3D顯示方法。
21. 一種電腦可讀儲存媒體，儲存有電腦可執行指令，所述電腦可執行指令設置為執行如請求項14至19任一項所述的方法。
22. 一種電腦程式產品，包括儲存在電腦可讀儲存媒體上的電腦程式，所述電腦程式包括程式指令，當該程式指令被電腦執行時，使所述電腦執行如請求項14至19任一項所述的方法。

Images