TWI818211B

TWI818211B - 眼部定位裝置、方法及3d顯示裝置、方法

Info

Publication number: TWI818211B
Application number: TW109142826A
Authority: TW
Inventors: 刁鴻浩; 玲溪黃
Original assignee: 新加坡商視覺技術創投私人有限公司; 中國商北京芯海視界三維科技有限公司
Priority date: 2019-12-05
Filing date: 2020-12-04
Publication date: 2023-10-11
Also published as: US20230007225A1; EP4068769A4; CN112929642A; TW202123692A; EP4068769A1; WO2021110034A1

Abstract

本申請涉及3D顯示技術，揭露一種眼部定位裝置，包括：眼部定位器，包括被配置為拍攝第一黑白圖像的第一黑白攝影機和被配置為拍攝第二黑白圖像的第二黑白攝影機；眼部定位影像處理器，被配置為基於第一黑白圖像和第二黑白圖像中至少一幅識別眼部的存在且基於在第一黑白圖像和第二黑白圖像中識別到的眼部確定眼部空間位置。上述裝置能高精度地確定用戶眼部的空間位置，進而可以提高3D顯示品質。本申請還揭露一種眼部定位方法以及3D顯示裝置、方法、電腦可讀儲存媒體、電腦程式產品。

Description

眼部定位裝置、方法及3D顯示裝置、方法

本申請要求在2019年12月05日提交中國智慧財產權局、申請號為201911231206.4、發明名稱為「人眼追蹤裝置、方法及3D顯示裝置、方法」的中國專利申請的優先權，其全部內容透過引用結合在本申請中。本申請涉及3D顯示技術，例如涉及眼部定位裝置和方法以及3D顯示裝置和方法。

在一些常規的臉部或眼部定位裝置中，僅檢測臉部與螢幕的距離，並依靠預設的或默認的瞳距來確定眼部所在的視點位置。這樣識別的精度不高，可能會造成視點計算錯誤，無法滿足高品質的3D顯示。

本背景技術僅為了便於瞭解本領域的相關技術，並不視作對現有技術的承認。

為了對披露的實施例的一些方面有基本的理解，下面給出了實施例的概括，其不是要確定關鍵／重要組成元素或描繪發明的保護範圍，而是作為後面的詳細說明的序言。

本申請的實施例意圖提供眼部定位裝置和方法以及3D顯示裝置和方法、電腦可讀儲存媒體、電腦程式產品。

在一個方案中，提供了一種眼部定位裝置，包括：眼部定位器，包括被配置為拍攝第一黑白圖像的第一黑白攝影機和被配置為拍攝第二黑白圖像的第二黑白攝影機；眼部定位影像處理器，被配置為基於第一黑白圖像和第二黑白圖像中至少一幅識別眼部的存在且基於在第一黑白圖像和第二黑白圖像中識別到的眼部確定眼部空間位置。

透過這種眼部定位裝置，能夠高精度地確定用戶眼部的空間位置，以提高3D顯示品質。

在一些實施例中，眼部定位裝置還包括眼部定位資料介面，被配置為傳輸表明眼部空間位置的眼部空間位置資訊。

在一些實施例中，眼部定位器還包括紅外發射裝置。

在一些實施例中，紅外發射裝置被配置為發射波長大於或等於1.5微米的紅外光。

在一些實施例中，第一黑白攝影機和第二黑白攝影機被配置為分別拍攝包括第一黑白圖像的第一黑白圖像序列和包括第二黑白圖像的第二黑白圖像序列。

在一些實施例中，眼部定位影像處理器包括同步器，被配置為確定時間同步的第一黑白圖像和第二黑白圖像，以便進行眼部的識別以及眼部空間位置的確定。

在一些實施例中，眼部定位影像處理器包括：暫存器，被配置為緩存第一黑白圖像序列和第二黑白圖像序列中多幅第一黑白圖像和第二黑白圖像；比較器，被配置為比較第一黑白圖像序列和第二黑白圖像序列中的前後多幅第一黑白圖像和第二黑白圖像；判決器，被配置為，當比較器透過比較在第一黑白圖像序列和第二黑白圖像序列中的當前第一黑白圖像和第二黑白圖像中未識別到眼部的存在且在之前或之後的第一黑白圖像和第二黑白圖像中識別到眼部的存在時，將基於之前或之後的第一黑白圖像和第二黑白圖像確定的眼部空間位置作為當前的眼部空間位置。

基於此，例如在第一或第二黑白攝影機出現卡頓或跳幀等情況時，能夠為用戶提供更為連貫的顯示畫面，確保觀看體驗。

在另一方案中，提供了一種3D顯示裝置，包括：多視點3D顯示螢幕，包括對應多個視點的多個子像素；如上文描述的眼部定位裝置，以獲得眼部空間位置；3D處理裝置，被配置為根據眼部定位裝置獲得的眼部空間位置確定所對應的視點，並基於3D訊號渲染多視點3D顯示螢幕的與視點對應的子像素。

在一些實施例中，多視點3D顯示螢幕包括多個複合像素，多個複合像素中的每個複合像素包括多個複合子像素，多個複合子像素中的每個複合子像素由對應於多個視點的多個子像素構成。

在一些實施例中，3D處理裝置與眼部定位裝置通訊連接。

在一些實施例中，還包括：3D拍攝裝置，被配置為採集3D圖像；3D拍攝裝置包括景深攝影機和至少兩個彩色攝影機。

在一些實施例中，眼部定位裝置與3D拍攝裝置集成設置。

在一些實施例中，3D拍攝裝置前置於3D顯示裝置。

在另一方案中，提供了一種眼部定位方法，包括：拍攝第一黑白圖像和第二黑白圖像；基於第一黑白圖像和第二黑白圖像中至少一幅識別眼部的存在；基於在第一黑白圖像和第二黑白圖像中識別到的眼部確定眼部空間位置。

在一些實施例中，眼部定位方法還包括：傳輸表明眼部空間位置的眼部空間位置資訊。

在一些實施例中，眼部定位方法還包括：在第一黑白攝影機或第二黑白攝影機工作時，利用紅外發射裝置發射紅外光。

在一些實施例中，眼部定位方法還包括：分別拍攝出包括第一黑白圖像的第一黑白圖像序列和包括第二黑白圖像的第二黑白圖像序列。

在一些實施例中，眼部定位方法還包括：確定時間同步的第一黑白圖像和第二黑白圖像。

在一些實施例中，眼部定位方法還包括：緩存第一黑白圖像序列和第二黑白圖像序列中多幅第一黑白圖像和第二黑白圖像；比較第一黑白圖像序列和第二黑白圖像序列中的前後多幅第一黑白圖像和第二黑白圖像；當透過比較在第一黑白圖像序列和第二黑白圖像序列中的當前第一黑白圖像和第二黑白圖像中未識別到眼部的存在且在之前或之後的第一黑白圖像和第二黑白圖像中識別到眼部的存在時，將基於之前或之後的第一黑白圖像和第二黑白圖像確定的眼部空間位置作為當前的眼部空間位置。

在另一方案中，提供了一種3D顯示方法，包括：獲得用戶的眼部空間位置；根據眼部空間位置確定所對應的視點；基於3D訊號渲染多視點3D顯示螢幕的與視點對應的子像素。

在一些實施例中，3D顯示方法還包括：提供多視點3D顯示螢幕，包括多個複合像素，多個複合像素中的每個複合像素包括多個複合子像素，多個複合子像素中的每個複合子像素由對應於多個視點的多個子像素構成。

本揭露實施例提供的電腦可讀儲存媒體，儲存有電腦可執行指令，上述電腦可執行指令設置為執行上述的眼部定位方法、3D顯示方法。

本揭露實施例提供的電腦程式產品，包括儲存在電腦可讀儲存媒體上的電腦程式，上述電腦程式包括程式指令，當該程式指令被電腦執行時，使上述電腦執行上述的眼部定位方法、3D顯示方法。

以上的總體描述和下文中的描述僅是示例性和解釋性的，不用於限制本申請。

為了能夠更加詳盡地瞭解本揭露實施例的特點與技術內容，下面結合附圖對本揭露實施例的實現進行詳細闡述，所附附圖僅供參考說明之用，並非用來限定本揭露實施例。

在一個方案中，提供了一種眼部定位裝置，包括：眼部定位器，包括被配置為拍攝第一黑白圖像的第一黑白攝影機和被配置為拍攝第二黑白圖像的第二黑白攝影機；眼部定位影像處理器，配置為基於第一黑白圖像和第二黑白圖像中至少一幅識別眼部的存在且基於第一黑白圖像和第二黑白圖像中存在的眼部的所在位置確定眼部空間位置；眼部定位資料介面，配置為傳輸眼部空間位置的眼部空間位置資訊。

透過這種眼部定位裝置，能夠高精度地確定用戶眼部的空間位置。

在一些實施例中，眼部定位器還包括紅外發射裝置。

在一些實施例中，紅外發射裝置配置為發射波長大於或等於1.5微米的紅外光。

在一些實施例中，第一黑白攝影機和第二黑白攝影機配置為分別拍攝第一黑白圖像序列和第二黑白圖像序列。

在一些實施例中，眼部定位影像處理器包括同步器，配置為確定時間同步的第一黑白圖像和第二黑白圖像。

在一些實施例中，眼部定位影像處理器包括：暫存器，配置為緩存第一黑白圖像序列和第二黑白圖像序列中多幅第一黑白圖像和第二黑白圖像；比較器，配置為比較第一黑白圖像序列和第二黑白圖像序列中的前後多幅第一黑白圖像和第二黑白圖像。

在一些實施例中，眼部定位影像處理器配置為，在第一黑白圖像序列和第二黑白圖像序列中的當前第一黑白圖像和第二黑白圖像中未識別到眼部的存在且在之前或之後的第一黑白圖像和第二黑白圖像中識別到眼部的存在時，基於之前或之後的第一黑白圖像和第二黑白圖像確定的眼部空間位置資訊作為當前的眼部空間位置資訊。

在一些實施例中，第一黑白攝影機和第二黑白攝影機配置為以24幀/秒或以上的頻率拍攝第一黑白圖像序列和第二黑白圖像序列。

在另一方案中，提供了一種3D顯示裝置，包括多視點3D顯示螢幕（例如：多視點裸眼3D顯示螢幕）、被配置為接收3D視訊訊號（3D訊號）的影片幀的視訊訊號介面（訊號介面）、與視訊訊號介面通訊連接的3D處理裝置和如上所述的眼部定位裝置，多視點3D顯示螢幕包括對應多個視點的多個子像素，3D處理裝置配置為基於3D視訊訊號的影片幀渲染與預定的視點相關的子像素，預定的視點由用戶的眼部空間位置資訊確定。

在一些實施例中，多視點3D顯示螢幕包括多個複合像素，多個複合像素中的每個包括多個複合子像素，各複合子像素由對應於多個視點的多個同色子像素構成。

在一些實施例中，3D處理裝置與眼部定位裝置的眼部定位資料介面通訊連接。

在一些實施例中，3D顯示裝置還包括被配置為採集3D圖像的3D拍攝裝置，3D拍攝裝置包括攝影機元件和3D影像處理器，攝影機元件包括第一彩色攝影機、第二彩色攝影機和景深攝影機。

在一些實施例中，眼部定位裝置與所述3D拍攝裝置相集成。

在一些實施例中，3D拍攝裝置是前置攝影裝置。

在另一方案中，提供了一種眼部定位方法，包括：在第一位置拍攝第一黑白圖像；在第二位置拍攝第二黑白圖像，其中第二位置不同於第一位置；基於第一黑白圖像和第二黑白圖像中至少一幅識別眼部的存在；基於第一黑白圖像和第二黑白圖像中存在的眼部的所在位置確定眼部空間位置；和傳輸眼部空間位置的眼部空間位置資訊。

在一些實施例中，眼部定位方法還包括：在第一或第二黑白攝影機工作時，利用紅外發射裝置發射紅外光。

在一些實施例中，眼部定位方法還包括：分別拍攝出第一黑白圖像序列和第二黑白圖像序列。

在一些實施例中，眼部定位方法還包括：緩存第一黑白圖像序列和第二黑白圖像序列中多幅第一黑白圖像和第二黑白圖像；比較第一黑白圖像序列和第二黑白圖像序列中的前後多幅第一黑白圖像和第二黑白圖像。

在一些實施例中，眼部定位方法還包括：在第一黑白圖像序列和第二黑白圖像序列中的當前第一黑白圖像和第二黑白圖像中未識別到眼部的存在且在之前或之後的第一黑白圖像和第二黑白圖像中識別到眼部的存在時，基於之前或之後的第一黑白圖像和第二黑白圖像確定的眼部空間位置資訊作為當前的眼部空間位置資訊。

在一些實施例中，眼部定位方法還包括：以24幀/秒或以上的頻率拍攝第一黑白圖像序列和第二黑白圖像序列。

在另一方案中，提供了一種3D顯示方法，適用於3D顯示裝置，3D顯示裝置包括多視點3D顯示螢幕，包括對應多個視點的多個子像素；3D顯示方法包括：傳輸3D視訊訊號的影片幀；接收或讀取用戶的眼部空間位置資訊，眼部空間位置資訊利用如上所述的眼部定位方法來確定；基於眼部空間位置資訊確定眼部所在的視點；基於視點，依據所接收的所述3D視訊訊號的影片幀渲染相關的子像素。

在一些實施例中，3D顯示方法還包括：提供多視點3D顯示螢幕，包括多個複合像素，多個複合像素中的每個包括多個複合子像素，各複合子像素由對應於多個視點的多個同色子像素構成。

在另一方案中，提供了一種3D顯示裝置，包括處理器和儲存有程式指令的記憶體，還包括多視點3D顯示螢幕，處理器被配置為在執行程式指令時，執行如上所述的3D顯示方法。

第1A圖示出了根據本揭露實施例提供的3D顯示裝置100的結構示意圖。參考第1A圖，在本揭露實施例中提供了一種3D顯示裝置100，其包括多視點3D顯示螢幕110、被配置為接收3D視訊訊號的影片幀的訊號介面140、與訊號介面140通訊連接的3D處理裝置130和眼部定位裝置150。眼部定位裝置150通訊連接至3D處理裝置130，由此3D處理裝置130可以直接接收眼部定位資料。

多視點3D顯示螢幕110可包括顯示面板和覆蓋在顯示面板上的光柵（未標識）。在第1A圖所示的實施例中，多視點3D顯示螢幕110可包括m×n個複合像素CP並因此限定出m×n的顯示解析度。如第1A圖所示，多視點3D顯示螢幕110包括m列n行個複合像素並因此限定出m×n的顯示解析度。

在一些實施例中，m×n的解析度可以為全高清（FHD）以上的解析度，包括但不限於，1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。

在一些實施例中，3D處理裝置與多視點3D顯示螢幕通訊連接。

在一些實施例中，3D處理裝置與多視點3D顯示螢幕的驅動裝置通訊連接。

作為解釋而非限制地，每個複合像素CP包括多個複合子像素CSP，各複合子像素由對應於i個視點的i個同色子像素構成，i≥3。在圖1所示的實施例中，i=6，但可以想到i為其他數值。在所示的實施例中，多視點3D顯示螢幕可相應地具有i（i=6）個視點（V1-V6），但可以想到可以相應地具有更多或更少個視點。

作為解釋而非限制地，在圖1所示的實施例中，每個複合像素包括三個複合子像素，並且每個複合子像素由對應於6視點（i=6）的6個同色子像素構成。三個複合子像素分別對應於三種顏色，即紅（R）、綠（G）和藍（B）。也就是說，每個複合像素的三個複合子像素分別具有6個紅色、6個綠色或6個藍色的子像素。在圖1所示的實施例中，複合像素中的各複合子像素平行佈置。各複合子像素包括呈單行形式的子像素。但可以想到，複合像素中的複合子像素的不同排列方式或複合子像素中的子像素的不同排列形式，例如各複合子像素包括呈單列或陣列形式的子像素。

作為解釋而非限制性地，例如第1A圖所示，3D顯示裝置100可設置有單個3D處理裝置130。單個3D處理裝置130同時處理對3D顯示螢幕110的各複合像素的各複合子像素的子像素的渲染。在另一些實施例中，3D顯示裝置100也可設置有一個以上3D處理裝置130，它們並行、串列或串並行結合地處理對3D顯示螢幕110的各複合像素的各複合子像素的子像素的渲染。本領域技術人員將明白，一個以上3D處理裝置可以有其他的方式分配且並行處理3D顯示螢幕110的多行多列複合像素或複合子像素，這落入本揭露實施例的範圍內。

在一些實施例中，3D處理裝置130還可以選擇性地包括暫存器131，以便緩存所接收到的影片幀。

在一些實施例中，3D處理裝置為FPGA或ASIC晶片或FPGA或ASIC晶片組。

繼續參考第1A圖，3D顯示裝置100還可包括透過訊號介面140通訊連接至3D處理裝置130的處理器101。在本文所示的一些實施例中，處理器101被包括在電腦或智慧終端機、如移動終端中或作為其處理器單元。但是可以想到，在一些實施例中，處理器101可以設置在3D顯示裝置的外部，例如3D顯示裝置可以為帶有3D處理裝置的多視點3D顯示器，例如非智慧的3D電視。

為簡單起見，下文中的3D顯示裝置的示例性實施例內部包括處理器。基於此，訊號介面140構造為連接處理器101和3D處理裝置130的內部介面，參考第2圖和第3圖所示的以移動終端方式實施的3D顯示裝置200可更明確該結構。在本文所示的一些實施例中，作為3D顯示裝置的內部介面的訊號介面可以為MIPI、mini-MIPI介面、LVDS介面、min-LVDS介面或Display Port介面。在一些實施例中，如第1A圖所示，3D顯示裝置100的處理器101還可包括寄存器122。寄存器122可被配置為暫存指令、數據和地址。在一些實施例中，寄存器122可被配置為接收有關多視點3D顯示螢幕110的顯示要求的資訊

在一些實施例中，3D顯示裝置100還可以包括轉碼器，配置為對壓縮的3D視訊訊號解壓縮和編解碼並將解壓縮的3D視訊訊號經訊號介面140發送至3D處理裝置130。

參考第1B圖，第1B圖所示出的實施例與第1A圖所示出的實施例的區別在於，3D顯示裝置100還包括被配置為採集3D圖像的3D拍攝裝置120，眼部定位裝置150集成在3D拍攝裝置120中，也可以想到集成到處理終端或顯示裝置的常規攝影裝置中。如第1B圖所示，3D拍攝裝置120構造為前置拍攝裝置。3D拍攝裝置120包括攝影機元件121、3D影像處理器126、3D圖像輸出介面125。3D拍攝裝置120與眼部定位裝置150集成。

如第1B圖所示，攝影機元件121包括第一彩色攝影機121a、第二彩色攝影機121b、景深攝影機121c。在另一些未示出的實施例中，3D影像處理器126可以集成在攝影機元件121內。在一些實施例中，第一彩色攝影機121a配置為獲得拍攝物件的第一彩色圖像，第二彩色攝影機121b配置為獲得拍攝物件的第二彩色圖像，透過合成這兩幅彩色圖像獲得中間點的合成彩色圖像；景深攝影機121c配置為獲得拍攝物件的景深圖像。合成彩色圖像和景深圖像形成3D視訊訊號的影片幀。在本揭露實施例中，第一彩色攝影機和第二彩色攝影機是相同的彩色攝影機。在另一些實施例中，第一彩色攝影機和第二彩色攝影機也可以是不同的彩色攝影機。在這種情況下，為了獲得彩色合成圖像，可以對第一和第二彩色圖像進行校準或矯正。景深攝影機121c可以是飛行時間（TOF）攝影機或結構光攝影機。景深攝影機121c可以設置在第一彩色攝影機和第二彩色攝影機之間。

在一些實施例中，3D影像處理器126配置為將第一和第二彩色圖像合成為合成彩色圖像，並將合成的合成彩色圖像與景深圖像形成3D圖像。所形成的3D圖像透過3D圖像輸出介面125傳輸至3D顯示裝置100的處理器101。

可選地，第一和第二彩色圖像以及景深圖像經由3D圖像輸出介面125直接傳輸至3D顯示裝置100的處理器101，並透過處理器101進行上述合成彩色圖像以及形成3D圖像等處理。

可選地，3D圖像輸出介面125還可通訊連接到3D顯示裝置100的3D處理裝置130，從而可透過3D處理裝置130進行上述合成彩色圖像以及形成3D圖像等處理。

在一些實施例中，第一彩色攝影機和第二彩色攝影機中至少一個攝影機是廣角的彩色攝影機。

繼續參考第1B圖，眼部定位裝置150集成在3D拍攝裝置120內並且包括眼部定位器151、眼部定位影像處理器152和眼部定位資料介面153。

眼部定位器151包括第一黑白攝影機151a和第二黑白攝影機151b。第一黑白攝影機151a配置為拍攝第一黑白圖像，第二黑白攝影機151b配置為拍攝第二黑白圖像。在上述3D拍攝裝置120是前置的並且眼部定位裝置150集成在3D拍攝裝置120內的情況下，眼部定位裝置150也是前置的，第一黑白攝影機和第二黑白攝影機的拍攝對象是用戶臉部。

在一些實施例中，眼部定位裝置150的眼部定位資料介面153通訊連接至3D顯示裝置100的3D處理裝置130，由此3D處理裝置130可以直接接收眼部定位資料。在另一些實施例中，眼部定位裝置150的眼部定位影像處理器152可通訊連接至3D顯示裝置100的處理器101，由此眼部定位資料可以從處理器101透過眼部定位資料介面153被傳輸至3D處理裝置130。

在一些實施例中，眼部定位裝置150與攝影機元件221通訊連接，由此可在拍攝3D圖像時使用眼部定位資料。

可選地，眼部定位器151還設置有紅外發射裝置154。在第一或第二黑白攝影機工作時，紅外發射裝置154配置為選擇性地發射紅外光，以在環境光線不足時、例如在夜間拍攝時起到補光作用，從而在環境光線弱的條件下也能拍攝能識別出用戶臉部及眼部的第一或第二黑白圖像。

在一些實施例中，眼部定位裝置150或集成有眼部定位裝置的處理終端或顯示裝置可以配置為，在第一或第二黑白攝影機工作時，基於接收到的光線感應訊號，例如檢測到光線感應訊號低於給定閾值時，控制紅外發射裝置的開啟或調節其大小。在一些實施例中，光線感應訊號是從處理終端或顯示裝置集成的環境光感測器，如環境光感測器2702接收的。

可選地，紅外發射裝置154配置為發射波長大於或等於1.5微米的紅外光，亦即長波紅外光。與短波紅外光相比，長波紅外光穿透皮膚的能力較弱，因此對眼部的傷害較小。

拍攝到的第一黑白圖像和第二黑白圖像被傳輸至眼部定位影像處理器152。示例性地，眼部定位影像處理器配置為具有視覺識別功能、例如臉部識別功能，並且配置為基於這兩幅黑白圖像中至少一幅識別出臉部並識別出眼部以及基於這兩幅黑白圖像中存在的眼部的所在位置確定眼部空間位置。在本揭露實施例中，第一黑白攝影機和第二黑白攝影機是相同的黑白攝影機。在另一些實施例中，第一黑白攝影機和第二黑白攝影機也可以是不同的黑白攝影機。在這種情況下，為了確定眼部空間位置，可以對第一黑白圖像和第二黑白圖像進行校準或矯正。

在一些實施例中，第一黑白攝影機和第二黑白攝影機中至少一個攝影機是廣角的黑白攝影機。

第4圖示意性地示出了利用兩個黑白攝影機確定眼部空間位置的幾何關係模型的俯視圖。在第4圖所示實施例中，第一黑白攝影機和第二黑白攝影機是相同的黑白攝影機，因此具有相同的焦距f；第一黑白攝影機151a的光軸Za與第二黑白攝影機151b的光軸Zb平行，第一黑白攝影機151a的焦平面401a和第二黑白攝影機151b的焦平面401b處於同一平面內並且垂直於兩個黑白攝影機的光軸。基於上述設置，兩個黑白攝影機的鏡頭中心Oa和Ob的連線平行於兩個黑白攝影機的焦平面。在第4圖所示實施例中，以兩個黑白攝影機的鏡頭中心Oa到Ob的連線方向作為X軸方向並且以兩個黑白攝影機的光軸方向為Z軸方向示出XZ平面的幾何關係模型的俯視圖。

在第4圖所示實施例中，以第一黑白攝影機151a的鏡頭中心Oa為其原點，以第二黑白攝影機151b的鏡頭中心Ob為其原點。R和L分別表示用戶的右眼和左眼，XRa和XRb分別為用戶右眼R在兩個黑白攝影機的焦平面401a和401b內成像的X軸座標，XLa和XLb分別為用戶左眼L在兩個黑白攝影機的焦平面401a和401b內成像的X軸座標。此外，兩個黑白攝影機的間距T以及它們的焦距f也是已知的。根據相似三角形的幾何關係可得出右眼R和左眼L與如上設置的兩個黑白攝影機所在平面的間距DR和DL分別為：

並且可得出用戶雙眼連線與如上設置的兩個黑白攝影機所在平面的傾斜角度α以及用戶雙眼間距或瞳距P分別為：

在第4圖所示實施例中，用戶雙眼連線、亦即用戶臉部與如上設置的兩個黑白攝影機所在平面相互傾斜並且傾斜角度為α；當用戶臉部與如上設置的兩個黑白攝影機所在平面相互平行時、亦即當用戶平視兩個黑白攝影機時，傾斜角度α為零。

如上所述，在本文的一些實施例中，3D顯示裝置100可以是電腦或智慧終端機、如移動終端。但是可以想到，在一些實施例中，3D顯示裝置100也可以是非智慧的顯示終端、如非智慧的3D電視。在第5A圖、第5B圖和第5C圖中示出分別構造為智慧手機、平板電腦和非智慧顯示器的3D顯示裝置500的示意圖，其具有多視點3D顯示螢幕510、前置的3D拍攝裝置並且3D拍攝裝置集成有眼部定位裝置。在第5A圖至第5C圖所示實施例中，包括兩個彩色攝影機121a、121b和景深攝影機121c的3D拍攝裝置120及其所集成的包括兩個黑白攝影機151a、151b的眼部定位裝置150與3D顯示裝置500的多視點3D顯示螢幕510設置在同一平面內。因此，在第4圖所示實施例中示例性得出的用戶的右眼R和左眼L與如上設置的兩個黑白攝影機所在平面的間距DR和DL即為用戶的右眼R和左眼L與多視點3D顯示螢幕的間距，用戶臉部與如上設置的兩個黑白攝影機所在平面的傾斜角度α即為用戶臉部與多視點3D顯示螢幕的傾斜角度。

參考第6A圖，示出了用戶正視或平視3D顯示裝置600的多視點3D顯示螢幕的示意圖，即用戶臉部所在平面與顯示螢幕所在平面相互平行，用戶雙眼與顯示螢幕的間距DR、DL相同、傾斜角度α為零。

參考第6B圖，示出了用戶臉部相對於3D顯示裝置600的多視點3D顯示螢幕傾斜的示意圖，即用戶臉部所在平面與顯示螢幕所在平面不相互平行，用戶雙眼與顯示螢幕的間距DR、DL不同、傾斜角度α不為零。

在一些實施例中，眼部定位資料介面153配置為傳輸用戶雙眼相對於眼部定位裝置150或多視點3D顯示螢幕110的傾斜角度或平行度。這可有利於更精確地呈現3D圖像，對此將在下文中描述。

例如，如上示例性得出的眼部空間位置資訊DR、DL、α和P透過眼部定位資料介面153傳輸至3D處理裝置130。3D處理裝置130基於接收到的眼部空間位置資訊確定用戶雙眼所在的且由多視點3D顯示螢幕110提供的視點、即預定的視點。

例如，如上示例性得出的眼部空間位置資訊DR、DL、α和P也可被直接傳輸至3D顯示裝置100的處理器101，3D處理裝置130透過眼部定位資料介面153從處理器101接收/讀取眼部空間位置資訊。

在一些實施例中，第一黑白攝影機151a配置為拍攝出第一黑白圖像序列，其包括按照時間前後排列的多幅第一黑白圖像，第二黑白攝影機151b配置為拍攝出第二黑白圖像序列，其包括按照時間前後排列的多幅第二黑白圖像。

在一些實施例中，眼部定位影像處理器152包括同步器155，其配置為在第一黑白圖像序列和第二黑白圖像序列中確定時間同步的第一黑白圖像和第二黑白圖像。被確定為時間同步的第一黑白圖像和第二黑白圖像用於眼部的識別以及眼部空間位置的確定。

在一些實施例中，眼部定位影像處理器152包括暫存器156和比較器157。暫存器156配置為緩存第一黑白圖像序列和第二黑白圖像序列中分別按照時間前後排列的多幅第一黑白圖像和第二黑白圖像。比較器157配置為比較第一黑白圖像序列和第二黑白圖像序列中按照時間前後拍攝的多幅第一黑白圖像和第二黑白圖像。透過比較，例如可以判斷眼部空間位置是否變化或者判斷眼部是否還處於觀看範圍內等。

在一些實施例中，眼部定位影像處理器152還包括判決器（未示出），被配置為，當比較器透過比較在第一黑白圖像序列和第二黑白圖像序列中的當前第一黑白圖像和第二黑白圖像中未識別到眼部的存在且在之前或之後的第一黑白圖像和第二黑白圖像中識別到眼部的存在時，將基於之前或之後的第一黑白圖像和第二黑白圖像確定的眼部空間位置作為當前的眼部空間位置。這種情況例如為用戶短暫轉動頭部。在這種情況下，有可能短暫地無法識別到用戶的臉部及其眼部。

示例性地，在暫存器156的緩存段記憶體有第一黑白圖像序列和第二黑白圖像序列中的若干第一黑白圖像和第二黑白圖像。在某些情況下，無法從所緩存的當前第一黑白圖像和第二黑白圖像中識別出臉部及眼部，然而可以從所緩存的之前或之後的第一黑白圖像和第二黑白圖像中識別出臉部及眼部。在這種情況下，可以將基於在當前第一黑白圖像和第二黑白圖像之後的、也就是更晚拍攝的第一黑白圖像和第二黑白圖像確定的眼部空間位置資訊作為當前的眼部空間位置資訊；也可以將基於在當前第一黑白圖像和第二黑白圖像之前的、也就是更早拍攝的第一黑白圖像和第二黑白圖像確定的眼部空間位置資訊作為當前的眼部空間位置資訊。此外，也可以對基於上述之前和之後的能識別出臉部及眼部的第一黑白圖像和第二黑白圖像確定的眼部空間位置資訊取平均值、進行資料擬合、進行插值或以其他方法處理，並且將得到的結果作為當前的眼部空間位置資訊。

在一些實施例中，第一黑白攝影機和第二黑白攝影機配置為以24幀/秒或以上的頻率拍攝第一黑白圖像序列和第二黑白圖像序列。示例性地，以30幀/秒的頻率拍攝。示例性地，以60幀/秒的頻率拍攝。

在一些實施例中，第一黑白攝影機和第二黑白攝影機配置為以與3D顯示裝置的顯示螢幕刷新頻率相同的頻率進行拍攝。

如前所述，本揭露實施例提供的3D顯示裝置可以是包含處理器的3D顯示裝置。在一些實施例中，3D顯示裝置可構造為智慧蜂窩電話、平板電腦、智慧電視、可穿戴設備、車載設備、筆記型電腦、超級移動個人電腦(UMPC)、Netbook、個人數位助理(PDA)等。

示例性的，第2圖示出了實施為移動終端、如平板電腦或智慧蜂窩電話的3D顯示裝置200的硬體結構示意圖。3D顯示裝置200可以包括處理器201、外部儲存介面202、（內部）記憶體203、通用序列匯流排(USB)介面204、充電管理模組205、電源管理模組206、電池207、行動通訊模組281、無線通訊模組283、天線282及284、音訊模組212、揚聲器213、受話器214、麥克風215、耳機介面216、按鍵217、馬達218、指示器219、用戶標識模組(SIM)卡介面260、多視點3D顯示螢幕210、3D處理裝置230、訊號介面240、3D拍攝裝置220以及感測器模組230等。其中3D拍攝裝置220可以包括攝影機元件221、3D圖像輸出介面225和眼部定位裝置250。其中感測器模組270可以包括接近光感測器2701、環境光感測器2702、壓力感測器2703、氣壓感測器2704、磁感測器2705、重力感測器2706、陀螺儀感測器2707、加速度感測器2708、距離感測器2709、溫度感測器2710、指紋感測器2711、觸摸感測器2712、骨傳導感測器2713等。

可以理解的是，本揭露實施例示意的結構並不構成對3D顯示裝置200的限定。在本揭露另一些實施例中，3D顯示裝置200可以包括比圖示更多或更少的部件，或者組合某些部件，或者拆分某些部件，或者不同的部件佈置。圖示的部件可以以硬體，軟體或軟體和硬體的組合實現。

處理器201可以包括一個或一個以上處理單元，例如：處理器201可以包括應用處理器(AP) 、調製解調處理器、基帶處理器、寄存器222、圖形處理器(GPU)223、圖像訊號處理器(ISP) 、控制器、記憶體、影片轉碼器224、數位訊號處理器(DSP) 、基帶處理器、神經網路處理器(NPU)等或它們的組合。其中，不同的處理單元可以是獨立的器件，也可以集成在一個或一個以上處理器中。

處理器201中還可以設置有快取記憶體器，被配置為保存處理器201剛用過或迴圈使用的指令或資料。在處理器201要再次使用指令或資料時，可從記憶體中直接調用。

在一些實施例中，處理器201可以包括一個或一個以上介面。介面可以包括積體電路(I2C)介面、積體電路內置音訊(I2S)介面、脈衝碼調制(PCM)介面、通用非同步收發傳輸器(UART)介面、移動產業處理器介面(MIPI)、通用輸入輸出(GPIO)介面、用戶標識模組(SIM)介面、通用序列匯流排(USB)介面等。

I2C介面是一種雙向同步串列匯流排，包括一根串列資料線(SDA)和一根串列時鐘線(SCL)。在一些實施例中，處理器201可以包含多組I2C匯流排。處理器201可以透過不同的I2C匯流排介面分別通訊連接觸摸感測器2712、充電器、閃光燈、D拍攝裝置220或其攝影機元件221、眼部定位裝置250等。

I2S介面和PCM介面都可以用於音訊通訊。

UART介面是一種通用串列資料匯流排，用於非同步通訊。匯流排可以為雙向通訊匯流排。它將要傳輸的資料在串列通訊與並行通訊之間轉換。在一些實施例中，UART介面被配置為連接處理器201與無線通訊模組283。

在第2圖所示的實施例中，MIPI介面可以被配置為連接處理器201與多視點3D顯示螢幕210。此外，MIPI介面還可被配置為連接如攝影機元件221、眼部定位裝置250等週邊器件。

GPIO介面可以透過軟體配置。GPIO介面可以被配置為控制訊號，也可被配置為資料訊號。在一些實施例中，GPIO介面可以配置為連接處理器201與3D拍攝裝置220或其攝影機元件221、多視點3D顯示螢幕110、無線通訊模組283、音訊模組212、感測器模組270等。

USB介面204是符合USB標準規範的介面，可以是Mini USB介面、Micro USB介面、USB Type C介面等。USB介面204可以被配置為連接充電器為3D顯示裝置200充電，也可以用於3D顯示裝置200與週邊設備之間傳輸資料。也可以被配置為連接耳機，透過耳機播放音訊。

可以理解的是，本揭露實施例示意的各模組間的介面連接關係，只是示意性說明，並不構成對3D顯示裝置200的結構限定。

3D顯示裝置200的無線通訊功能可以透過天線282及284、移動通訊模組281、無線通訊模組283、調製解調處理器或基帶處理器等實現。

天線282及284被配置為發射和接收電磁波訊號。3D顯示裝置200中的每個天線可被配置為覆蓋單個或多個通訊頻帶。不同的天線還可以複用，以提高天線的利用率。

移動通訊模組281可以提供應用在3D顯示裝置200上的包括2G/3G/4G/5G等無線通訊的解決方案。移動通訊模組281可以包括至少一個濾波器、開關、功率放大器、低雜訊放大器(LNA)等。移動通訊模組281可以由天線282接收電磁波，並對接收的電磁波進行濾波，放大等處理，傳送至調製解調處理器進行解調。移動通訊模組281還可以對經調製解調處理器調製後的訊號放大，經天線282轉為電磁波輻射出去。在一些實施例中，移動通訊模組281的至少部分功能模組可以被設置於處理器201中。在一些實施例中，移動通訊模組282的至少部分功能模組可以與處理器201的至少部分模組被設置在同一個器件中。

無線通訊模組283可以提供應用在3D顯示裝置200上的包括無線區域網路(WLAN) 、藍牙(BT) 、全球導航衛星系統(GNSS) 、調頻(FM) 、近距離無線通訊技術(NFC) 、紅外技術(IR)等無線通訊的解決方案。無線通訊模組283可以是集成至少一個通訊處理模組的一個或一個以上器件。無線通訊模組283經由天線284接收電磁波，將電磁波訊號調頻以及濾波處理，將處理後的訊號發送到處理器201。無線通訊模組283還可以從處理器201接收待發送的訊號，對其進行調頻，放大，經天線284轉為電磁波輻射出去。

在一些實施例中，3D顯示裝置200的天線282和移動通訊模組281耦合，天線284和無線通訊模組283耦合，使得3D顯示裝置200可以透過無線通訊技術與網路以及其他設備通訊。無線通訊技術可以包括全球移動通訊系統(GSM) 、通用分組無線服務(GPRS) 、分碼多址接入(CDMA)、寬頻分碼多址(WCDMA) 、分時分碼多址(TD-SCDMA) 、長期演進(LTE) 、BT、GNSS、WLAN、NFC、FM、或IR技術等中至少一項。GNSS可以包括全球衛星定位系統(GPS) 、全球導航衛星系統(GLONASS) 、北斗衛星導航系統(BDS) 、准天頂衛星系統(QZSS)或星基增強系統(SBAS)中至少一項。

在一些實施例中，被配置為接收3D視訊訊號的外部介面可以包括USB介面204、移動通訊模組281、無線通訊模組283或其組合。此外，還可以想到其他可行的被配置為接收3D視訊訊號的介面，例如上述的介面。

記憶體203可以被配置為儲存電腦可執行程式碼，可執行程式碼包括指令。處理器201透過運行儲存在記憶體203的指令，從而執行3D顯示裝置200的各種功能應用以及資料處理。記憶體203可以包括儲存程式區和儲存資料區。其中，儲存程式區可儲存作業系統，至少一個功能所需的應用程式(比如聲音播放功能，圖像播放功能等)等。儲存資料區可儲存3D顯示裝置200使用過程中所創建的資料(比如音訊資料，電話本等)等。此外，記憶體203可以包括高速隨機存取記憶體，還可以包括非易失性記憶體，例如至少一個磁碟記憶體件、快閃記憶體器件、通用快閃記憶體記憶體(UFS)等。

外部記憶體介面202可以被配置為連接外部儲存卡，例如Micro SD卡，實現擴展3D顯示裝置200的儲存能力。外部儲存卡透過外部記憶體介面202與處理器201通訊，實現資料儲存功能。

在一些實施例中，3D顯示裝置的記憶體可以包括（內部）記憶體203、外部記憶體介面202連接的外部儲存卡或其組合。在本揭露另一些實施例中，訊號介面也可以採用上述實施例中不同的內部介面連接方式或其組合。

在本揭露實施例中，攝影機元件221可以2D或3D採集圖像或影片，並經由3D圖像輸出介面225輸出採集到的影片。眼部定位裝置250可以確定用戶的眼部的空間位置。攝影機元件221、3D圖像輸出介面225和眼部定位裝置250共同形成3D拍攝裝置220。

在一些實施例中，3D顯示裝置200透過訊號介面240、3D處理裝置230、眼部定位裝置250、多視點3D顯示螢幕210，以及應用處理器等實現顯示功能。

在一些實施例中，3D顯示裝置200可包括GPU，例如在處理器201內被配置為對3D影片圖像進行處理，也可以對2D影片圖像進行處理。

在一些實施例中，3D顯示裝置200還包括影片轉碼器224，被配置為對數位視訊壓縮或解壓縮。

在一些實施例中，訊號介面240被配置為將經GPU或轉碼器224或兩者處理的3D視訊訊號、例如解壓縮的3D視訊訊號的影片幀輸出至3D處理裝置230。

在一些實施例中，GPU或轉碼器224集成有格式調整器。

多視點3D顯示螢幕210被配置為顯示3D圖像或影片等。多視點3D顯示螢幕210包括顯示面板。顯示面板可以採用液晶顯示螢幕(LCD)、有機發光二極體(OLED)、有源矩陣有機發光二極體或主動矩陣有機發光二極體(AMOLED)、柔性發光二極體(FLED)、Mini-LED、Micro-LED、Micro-OLED、量子點發光二極體(QLED)等。

在一些實施例中，眼部定位裝置250通訊連接至3D處理裝置230，從而3D處理裝置230可以基於眼部定位資料渲染複合像素（複合子像素）中的相應子像素。在一些實施例中，眼部定位裝置250還可連接處理器201，例如旁路連接處理器201。

在一些實施例中，3D拍攝裝置220的3D圖像輸出介面225可通訊連接至處理器201或3D處理裝置230。

3D顯示裝置200可以透過音訊模組212、揚聲器213、受話器214、麥克風215、耳機介面216，以及應用處理器等實現音訊功能。例如音樂播放、錄音等。音訊模組212被配置為將數位音訊資訊轉換成類比音訊訊號輸出，也被配置為將類比音訊輸入轉換為數位音訊訊號。音訊模組212還可以被配置為對音訊訊號編碼和解碼。在一些實施例中，音訊模組212可以設置於處理器201中，或將音訊模組212的部分功能模組設置於處理器201中。揚聲器213被配置為將音訊電訊號轉換為聲音訊號。3D顯示裝置200可以透過揚聲器213收聽音樂，或收聽免提通話。受話器214，也稱“聽筒”，被配置為將音訊電訊號轉換成聲音訊號。當3D顯示裝置200接聽電話或語音資訊時，可以透過將受話器214靠近耳部接聽語音。麥克風215被配置為將聲音訊號轉換為電訊號。耳機介面216被配置為連接有線耳機。耳機介面216可以是USB介面204，也可以是3.5mm的開放移動3D顯示裝置平臺(OMTP)標準介面，美國蜂窩電信工業協會(CTIA)標準介面。

按鍵217包括開機鍵、音量鍵等。按鍵217可以是機械按鍵。也可以是觸摸式按鍵。3D顯示裝置200可以接收按鍵輸入，產生與3D顯示裝置200的用戶設置以及功能控制有關的鍵訊號輸入。

馬達218可以產生振動提示。馬達218可以被配置為來電振動提示，也可以被配置為觸摸振動回饋。

SIM卡介面260被配置為連接SIM卡。在一些實施例中，3D顯示裝置200採用eSIM，即：嵌入式SIM卡。

環境光感測器2702被配置為感知環境光亮度。3D顯示裝置200可以根據感知的環境光亮度調節多視點3D顯示螢幕210的亮度或輔助眼部定位，例如在環境光亮度較暗時，眼部定位裝置250啟動紅外發射裝置。環境光感測器2702也可以被配置為在黑白攝影機拍攝時調節白平衡。

壓力感測器2703被配置為感受壓力訊號，可以將壓力訊號轉換成電訊號。在一些實施例中，壓力感測器2703可以設置於多視點3D顯示螢幕210，這落入本揭露實施例的範圍內。

氣壓感測器2704被配置為測量氣壓。在一些實施例中，3D顯示裝置200透過氣壓感測器2704測得的氣壓值計算海拔高度，輔助定位和導航。

磁感測器2705包括霍爾感測器。

重力感測器2706是將運動或重力轉換為電訊號的感測器，主要被配置為傾斜角、慣性力、衝擊及震動等參數的測量。

陀螺儀感測器2707可以被配置為確定3D顯示裝置200的運動姿態。

加速度感測器2708可檢測3D顯示裝置200在各個方向上(一般為三軸)加速度的大小。

距離感測器2709可被配置為測量距離

溫度感測器2710可被配置為檢測溫度。

指紋感測器2711被配置為採集指紋。3D顯示裝置200可以利用採集的指紋特性實現指紋解鎖、訪問應用鎖、指紋拍照、指紋接聽來電等。

觸摸感測器2712可以設置於多視點3D顯示螢幕210中，由觸摸感測器2712與多視點3D顯示螢幕210組成觸控式螢幕，也稱「觸控屏」。

骨傳導感測器2713可以獲取振動訊號。

充電管理模組205被配置為從充電器接收充電輸入。其中，充電器可以是無線充電器，也可以是有線充電器。在一些有線充電的實施例中，充電管理模組205可以透過USB介面204接收有線充電器的充電輸入。在一些無線充電的實施例中，充電管理模組205可以透過3D顯示裝置200的無線充電線圈接收無線充電輸入。

電源管理模組206被配置為連接電池207，充電管理模組205與處理器201。電源管理模組206接收電池207或充電管理模組205中至少一項的輸入，為處理器201、記憶體203、外部記憶體、視點3D顯示螢幕210、攝影機元件221，和無線通訊模組283等供電。在另一些實施例中，電源管理模組206和充電管理模組205也可以設置於同一個器件中。

3D顯示裝置200的軟體系統可以採用分層架構、事件驅動架構，微核架構、微服務架構、或雲架構。本揭露所示的實施例以分層架構的安卓系統為例，示例性說明3D顯示裝置200的軟體結構。但可以想到，本揭露的實施例可以在不同的軟體系統、如作業系統中實施。

第3圖是第2圖所示的3D顯示裝置200的軟體結構示意圖。分層架構將軟體分成若干個層。層與層之間透過軟體介面通訊。在一些實施例中，將安卓系統分為四層，從上至下分別為應用程式層310、框架層320、核心類庫和運行時(Runtime)330以及內核層340。

應用程式層310可以包括一系列應用套裝程式。如第3圖所示，應用套裝程式可以包括藍牙、WLAN、導航、音樂、相機、日曆、通話、影片、圖庫、地圖、簡訊等應用程式。根據本揭露實施例的3D影片顯示方法，例如可以在影片應用程式中實施。

框架層320為應用程式層的應用程式提供應用程式設計介面(API)和程式設計框架。框架層包括一些預先定義的函數。例如，在本揭露的一些實施例中，對所採集的3D影片圖像進行識別的函數或者演算法以及處理圖像的演算法等可以包括在框架層。

如第3圖所示，框架層320可以包括資源管理器、電話管理器、內容管理器、通知管理器、視窗管理器、視圖系統、安裝包管理器等。

安卓Runtime（運行時）包括核心庫和虛擬機器。安卓Runtime負責安卓系統的調度和管理。

核心庫包含兩部分：一部分是java語言要調用的功能函數，另一部分是安卓的核心庫。

應用程式層和框架層運行在虛擬機器中。虛擬機器將應用程式層和框架層的java檔執行為二進位檔案。虛擬機器被配置為執行物件生命週期的管理、堆疊管理、執行緒管理、安全和異常的管理以及垃圾回收等功能。

核心類庫可以包括多個功能模組。例如：3D圖形處理庫(例如：OpenGL ES) 、表面管理器、影像處理庫、媒體庫、2D圖形引擎(例如：SGL)等。

內核層340是硬體和軟體之間的層。內核層至少包含攝影機驅動、音檔影片介面、通話介面、Wifi介面、感測器驅動、電源管理、GPS介面。

在此，以具有第2圖和第3圖所示結構的作為移動終端的3D顯示裝置為例，描述3D顯示裝置中的3D影片傳輸和顯示的實施例；但是，可以想到，在另一些實施例中可以包括更多或更少的特徵或對其中的特徵進行改變。

在一些實施例中，例如為移動終端、如平板電腦或智慧蜂窩電話的3D顯示裝置200例如借助作為外部介面的行動通訊模組281及天線282或者無線通訊模組283及天線284從網路、如蜂窩網路、WLAN網路、藍牙接收例如壓縮的3D視訊訊號，壓縮的3D視訊訊號例如經GPU 223進行影像處理、轉碼器224編解碼和解壓縮，然後例如經作為內部介面的訊號介面240、如MIPI介面或mini-MIPI介面將解壓縮的3D視訊訊號發送至3D處理裝置230。並且，透過眼部定位裝置250獲得用戶的眼部空間位置資訊。基於眼部空間位置資訊確定預定的視點。3D處理裝置230針對預定的視點相應地渲染顯示螢幕的子像素，由此實現3D影片播放。

在另一些實施例中，3D顯示裝置200讀取（內部）記憶體203或透過外部記憶體介面202讀取外部儲存卡中儲存的壓縮的3D圖像訊號，並經相應的處理、傳輸和渲染來實現3D圖像播放。

在另一些實施例中，3D顯示裝置200接收攝影機元件221拍攝的且經由3D圖像輸出介面225傳輸的3D圖像，並經相應的處理、傳輸和渲染來實現3D圖像播放。

在一些實施例中，上述3D圖像的播放是在安卓系統應用程式層310中的影片應用程式中實施的。

本揭露實施例還可以提供一種眼部定位方法，其利用上述實施例中的眼部定位裝置來實現。

參考第7圖，在一些實施例中，眼部定位方法包括： S701：拍攝第一黑白圖像和第二黑白圖像； S702：基於第一黑白圖像和第二黑白圖像中至少一幅識別眼部的存在； S703：基於在第一黑白圖像和第二黑白圖像中識別到的眼部確定眼部空間位置。

示例性地，在第一位置拍攝第一黑白圖像，在第二位置拍攝第二黑白圖像，第一位置不同於第二位置。

在一些實施例中，眼部定位方法包括：以24幀/秒或以上的頻率拍攝第一黑白圖像序列和第二黑白圖像序列。

本揭露實施例還可以提供一種3D顯示方法。

參考第8圖，在一些實施例中，3D顯示方法包括： S801：獲得用戶的眼部空間位置； S802：根據眼部空間位置確定所對應的視點； S803：基於3D訊號渲染多視點3D顯示螢幕的與視點對應的子像素。

示例性地，當基於眼部空間位置確定用戶的雙眼各對應一個視點時，基於3D視訊訊號的影片幀生成用戶雙眼所處的兩個視點的圖像，並渲染複合子像素中與這兩個視點相對應的子像素。

參考第9圖，在所示實施例中，用戶的右眼處於第2視點V2，左眼處於第5視點V5，基於3D視訊訊號的影片幀生成這兩個視點V2和V5的圖像，並渲染複合子像素中與這兩個視點相對應的子像素。

在一些實施例中，在基於眼部空間位置確定用戶雙眼相對於多視點3D顯示螢幕的傾斜角度或平行度的情況下，可為用戶提供有針對性的或定制化的顯示圖像，提升用戶的觀看體驗。

上述的眼部空間位置可以是即時獲取或確定的，也可以是週期性或隨機獲取或確定的。

本揭露實施例的技術方案可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒體中，包括一個或多個指令用以使得一台電腦設備（可以是個人電腦、伺服器、或者網路設備等）執行本揭露實施例的方法的全部或部分步驟。而前述的儲存媒體可以是非暫態儲存媒體，包括：隨身碟、行動硬碟、唯讀記憶體、隨機存取記憶體、磁碟或者光碟等多種可以儲存程式碼的媒體，也可以是暫態儲存媒體。

上述實施例闡明的系統、裝置、模組或單元，可以由各種可能的實體來來實現。一種典型的實現實體為電腦或其處理器或其他部件。電腦例如可以為個人電腦、筆記型電腦、車載人機互動設備、蜂窩電話、相機電話、智慧型電話、個人數位助理、媒體播放機、導航設備、電子郵件設備、遊戲控制台、平板電腦、可穿戴設備、智慧電視、物聯網系統、智慧家居、工業電腦、單片機系統或者這些設備中的組合。在一個典型的配置中，電腦可包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和記憶體。記憶體可能包括電腦可讀媒體中的非永久性記憶體，隨機存取記憶體(RAM)和/或非易失性記憶體等形式，如唯讀記憶體(ROM)或快閃記憶體(flash RAM)。

在本申請的實施例的方法、程式、系統、裝置等，可以在單個或多個連網的電腦中執行或實現，也可以在分散式運算環境中實踐。在本說明書實施例中，在這些分散式運算環境中，由透過通訊網路而被連接的遠端處理設備來執行任務。

本領域技術人員應明白，本說明書的實施例可提供為方法、系統或電腦程式產品。因此，本說明書實施例可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。

本領域技術人員可想到，上述實施例闡明的功能模組/單元或控制器以及相關方法步驟的實現，可以用軟體、硬體和軟/硬體結合的方式實現。例如，可以以純電腦可讀程式碼方式實現，也可以部分或全部透過將方法步驟進行邏輯程式設計來使得控制器以硬體來實現相同功能，包括但不限於邏輯門、開關、專用積體電路、可程式設計邏輯控制器（如FPGA）和嵌入微控制器。

在本申請的一些實施例中，以功能模組/單元的形式來描述裝置的部件。可以想到，多個功能模組/單元一個或多個「組合」功能模組/單元和/或一個或多個軟體和/或硬體中實現。也可以想到，單個功能模組/單元由多個子功能模組或子單元的組合和/或多個軟體和/或硬體實現。功能模組/單元的劃分，可以僅為一種邏輯功能劃分，在實現方式中，多個模組/單元可以結合或者可以集成到另一個系統。此外，本文所述的模組、單元、裝置、系統及其部件的連接包括直接或間接的連接，涵蓋可行的電的、機械的、通訊的連接，尤其包括各種介面間的有線或無線連接，包括但不限於HDMI、雷達、USB、WiFi、蜂窩網路。

在本申請的實施例中，方法、程式的技術特徵、流程圖和/或方框圖可以應用到相應的裝置、設備、系統及其模組、單元、部件中。反過來，裝置、設備、系統及其模組、單元、部件的各實施例和特徵可以應用至根據本申請實施例的方法、程式中。例如，電腦程式指令可裝載到通用電腦、專用電腦、嵌入式處理機或其他可程式設計資料處理設備的處理器以產生一個機器，其具有實現在流程圖一個流程或多個流程和／或方框圖一個方框或多個方框中相應的功能或特徵。

根據本申請實施例的方法、程式可以以電腦程式指令或程式的方式儲存在能引導電腦或其他可程式設計資料處理設備以特定方式工作的電腦可讀的記憶體或媒體中。本申請實施例也涉及儲存有可實施本申請實施例的方法、程式、指令的可讀記憶體或媒體。

除非明確指出，根據本申請實施例記載的方法、程式的動作或步驟並不必須按照特定的順序來執行並且仍然可以實現期望的結果。在某些實施方式中，多工處理和並行處理也是可以的或者可能是有利的。

已參考上述實施例示出並描述了本申請的示例性系統及方法，其僅為實施本系統及方法的示例。本領域的技術人員可以理解的是可以在實施本系統及/或方法時對這裡描述的系統及方法的實施例做各種改變而不脫離界定在所附請求項中的本申請的精神及範圍。

100:3D顯示裝置 101:處理器 122:寄存器 110:多視點3D顯示螢幕 120:3D拍攝裝置 121:攝影機組件 121a:第一彩色攝影機 121b:第二彩色攝影機 121c:景深攝影機 125:3D圖像輸出介面 126:3D影像處理器 130:3D處理裝置 131:暫存器 140:訊號介面 150:眼部定位裝置 151:眼部定位器 151a:第一黑白攝影機 151b:第二黑白攝影機 154:紅外發射裝置 152:眼部定位影像處理器 155:同步器 156:暫存器 157:比較器 153:眼部定位資料介面 CP:複合像素 CSP:複合子像素 200:3D顯示裝置 201:處理器 202:外部記憶體介面 203:記憶體 204:USB介面 205:充電管理模組 206:電源管理模組 207:電池 210:多視點3D顯示螢幕 212:音訊模組 213:揚聲器 214:受話器 215:麥克風 216:耳機介面 217:按鍵 218:馬達 219:指示器 220:3D拍攝裝置 221:攝影機組件 222:寄存器 223:GPU 224:轉碼器 225:3D圖像輸出介面 226:3D影像處理器 230:3D處理裝置 240:訊號介面 250:眼部定位裝置 260:SIM卡介面 270:感測器模組 2701:接近光感測器 2702:環境光感測器 2703:壓力感測器 2704:氣壓感測器 2705:磁感測器 2706:重力感測器 2707:陀螺儀感測器 2708:加速度感測器 2709:距離感測器 2710:溫度感測器 2711:指紋感測器 2712:觸摸感測器 2713:骨傳導感測器 281:移動通訊模組 282:天線 283:無線通訊模組 284:天線 310:應用程式層 320:框架層 330:核心類庫和運行時（Runtime） 340:內核層 T:兩個黑白攝影機的間距 401a:第一黑白攝影機151a的焦平面 401b:第二黑白攝影機151b的焦平面 f:焦距 Oa:第一黑白攝影機151a的鏡頭中心 Ob:第二黑白攝影機151b的鏡頭中心 Za:第一黑白攝影機151a的光軸 Zb:第二黑白攝影機151b的光軸 R:用戶的右眼 L:用戶的左眼 P:用戶的瞳距 α:用戶臉部與多視點3D顯示螢幕的傾斜角度 XRa:用戶右眼R在第一黑白攝影機151a的焦平面401a內成像的X軸座標 XRb:用戶右眼R在第二黑白攝影機151b的焦平面401b內成像的X軸座標 XLa:用戶左眼L在第一黑白攝影機151a的焦平面401a內成像的X軸座標 XLb:用戶左眼L在第二黑白攝影機151b的焦平面401b內成像的X軸座標 DR:用戶的右眼R與多視點3D顯示螢幕的間距 DL:用戶的左眼L與多視點3D顯示螢幕的間距 500:3D顯示裝置 600:3D顯示裝置 V1~V6:視點 S701~S703:步驟 S801~S803:步驟

一個或多個實施例透過與之對應的附圖進行示例性說明，這些示例性說明和附圖並不構成對實施例的限定，附圖中具有相同參考數位標號的元件示為類似的元件，附圖不構成比例限制，並且其中：第1A圖和第1B圖是根據本揭露實施例的3D顯示裝置的結構示意圖；第1C圖是根據本揭露實施例的眼部定位裝置的結構示意圖；第2圖是根據本揭露實施例的3D顯示裝置的硬體結構示意圖；第3圖是第2圖所示的3D顯示裝置的軟體結構示意圖；第4圖是利用根據本揭露實施例的眼部定位裝置確定眼部空間位置的示意圖；第5A圖至第5C圖是根據本揭露實施例的3D顯示裝置的正面示意圖；第6A圖和第6B圖是根據本揭露實施例的用戶臉部與3D顯示裝置的位置關係示意圖；第7圖是根據本揭露實施例的眼部定位方法的步驟示意圖；第8圖是根據本揭露實施例的3D顯示方法的步驟示意圖；第9圖是用根據本揭露實施例的3D顯示方法實現3D顯示裝置的多視點3D顯示螢幕的顯示的示意圖，其中用戶的雙眼各對應一個視點。

150:眼部定位裝置

151:眼部定位器

151a:第一黑白攝影機

151b:第二黑白攝影機

152:眼部定位影像處理器

Claims

一種眼部定位裝置，包括：眼部定位器，包括被配置為拍攝第一黑白圖像的第一黑白攝影機和被配置為拍攝第二黑白圖像的第二黑白攝影機，其中所述第一黑白攝影機和所述第二黑白攝影機的拍攝對象是用戶的臉部；眼部定位影像處理器，被配置為基於所述第一黑白圖像和第二黑白圖像中至少一幅識別眼部的存在且基於在所述第一黑白圖像和第二黑白圖像中識別到的所述眼部確定眼部空間位置；以及眼部定位資料介面，被配置為傳輸表明所述眼部空間位置的眼部空間位置資訊；其中所述眼部空間位置資訊包括瞳距；及其中所述眼部定位影像處理器更基於所述眼部分別在所述第一黑白攝影機和所述第二黑白攝影機的焦平面內的成像位置、所述第一黑白攝影機與所述第二黑白攝影機的間距，及所述第一黑白攝影機與所述第二黑白攝影機的焦距，計算所述瞳距。
根據請求項1所述的眼部定位裝置，其中，所述眼部定位器還包括紅外發射裝置。
根據請求項2所述的眼部定位裝置，其中，所述紅外發射裝置被配置為發射波長大於或等於1.5微米的紅外光。
根據請求項1至3任一項所述的眼部定位裝置，其中，所述第一黑白攝影機和第二黑白攝影機被配置為分別拍攝包括所述第一黑白圖像的第一黑白圖像序列和包括所述第二黑白圖像的第二黑白圖像序列。
根據請求項4所述的眼部定位裝置，其中，所述眼部定位影像處理器包括同步器，被配置為確定時間同步的第一黑白圖像和第二黑白圖像，以便進行眼部的識別以及眼部空間位置的確定。
根據請求項5所述的眼部定位裝置，其中，所述眼部定位影像處理器包括：暫存器，被配置為緩存所述第一黑白圖像序列和第二黑白圖像序列中多幅第一黑白圖像和第二黑白圖像；比較器，被配置為比較所述第一黑白圖像序列和第二黑白圖像序列中的前後多幅第一黑白圖像和第二黑白圖像；判決器，被配置為，當所述比較器透過比較在所述第一黑白圖像序列和第二黑白圖像序列中的當前第一黑白圖像和第二黑白圖像中未識別到眼部的存在且在之前或之後的第一黑白圖像和第二黑白圖像中識別到眼部的存在時，將基於所述之前或之後的第一黑白圖像和第二黑白圖像確定的眼部空間位置作為當前的眼部空間位置。
一種3D顯示裝置，包括：多視點3D顯示螢幕，包括對應多個視點的多個子像素；根據請求項1至6任一項所述的眼部定位裝置，以獲得眼部空間位置；3D處理裝置，被配置為根據所述眼部定位裝置獲得的眼部空間位置確定所對應的視點，並基於3D訊號渲染所述多視點3D顯示螢幕的與所述視點對應的子像素。
根據請求項7所述的3D顯示裝置，其中，所述多視點3D顯示螢幕包括多個複合像素，所述多個複合像素中的每個複合像素包括多個複合子像素，所述多個複合子像素中的每個複合子像素由對應於多個視點的多個子像素構成。
根據請求項7所述的3D顯示裝置，其中，所述3D處理裝置與所述眼部定位裝置通訊連接。
根據請求項7至9任一項所述的3D顯示裝置，還包括：3D拍攝裝置，被配置為採集3D圖像；所述3D拍攝裝置包括景深攝影機和至少兩個彩色攝影機。
根據請求項10所述的3D顯示裝置，其中，所述眼部定位裝置與所述3D拍攝裝置集成設置。
根據請求項11所述的3D顯示裝置，其中，所述3D拍攝裝置前置於所述3D顯示裝置。
一種眼部定位方法，包括：以用戶的臉部為對象，使用第一黑白攝影機和第二黑白攝影機分別拍攝第一黑白圖像和第二黑白圖像；基於所述第一黑白圖像和第二黑白圖像中至少一幅識別眼部的存在；基於在所述第一黑白圖像和第二黑白圖像中識別到的所述眼部確定眼部空間位置；傳輸表明所述眼部空間位置的眼部空間位置資訊；其中所述眼部空間位置資訊包括瞳距；以及其中基於在所述第一黑白圖像和第二黑白圖像中識別到的所述眼部確定所述眼部空間位置，包括：基於所述眼部分別在所述第一黑白攝影機和所述第二黑白攝影機的焦平面內的成像位置、所述第一黑白攝影機與所述第二黑白攝影機的間距，及所述第一黑白攝影機與所述第二黑白攝影機的焦距，計算所述瞳距。
根據請求項13所述的眼部定位方法，還包括：在所述第一黑白攝影機或第二黑白攝影機工作時，利用紅外發射裝置發射紅外光。
根據請求項13或14所述的眼部定位方法，還包括：分別拍攝出包括所述第一黑白圖像的第一黑白圖像序列和包括所述第二黑白圖像的第二黑白圖像序列。
根據請求項15所述的眼部定位方法，還包括：確定時間同步的第一黑白圖像和第二黑白圖像。
根據請求項16所述的眼部定位方法，還包括：緩存所述第一黑白圖像序列和第二黑白圖像序列中多幅第一黑白圖像和第二黑白圖像；比較所述第一黑白圖像序列和第二黑白圖像序列中的前後多幅第一黑白圖像和第二黑白圖像；當透過比較在所述第一黑白圖像序列和第二黑白圖像序列中的當前第一黑白圖像和第二黑白圖像中未識別到眼部的存在且在之前或之後的第一黑白圖像和第二黑白圖像中識別到眼部的存在時，將基於所述之前或之後的第一黑白圖像和第二黑白圖像確定的眼部空間位置作為當前的眼部空間位置。
一種3D顯示方法，包括：根據請求項13至17任一項所述的眼部定位方法，獲得用戶的眼部空間位置；根據所述眼部空間位置確定所對應的視點；基於3D訊號渲染多視點3D顯示螢幕的與所述視點對應的子像素。
根據請求項18所述的3D顯示方法，還包括：提供所述多視點3D顯示螢幕，包括多個複合像素，所述多個複合像素中的每個複合像素包括多個複合子像素，所述多個複合子像素中的每個複合子像素由對應於多個視點的多個子像素構成。
一種電腦可讀儲存媒體，儲存有電腦可執行指令，所述電腦可執行指令設置為執行如請求項13至19任一項所述的方法。
一種電腦程式產品，包括儲存在電腦可讀儲存媒體上的電腦程式，所述電腦程式包括程式指令，當該程式指令被電腦執行時，使所述電腦執行如請求項13至19任一項所述的方法。