TWI725351B

TWI725351B - 電子裝置及輸出畫面決定方法

Info

Publication number: TWI725351B
Application number: TW107139053A
Authority: TW
Inventors: 余祥瑞; 張立人; 歐葳; 戴佳琪; 陳佳志
Original assignee: 宏正自動科技股份有限公司
Priority date: 2018-11-02
Filing date: 2018-11-02
Publication date: 2021-04-21
Also published as: CN111147934B; CN111147934A; TW202018463A

Abstract

一種輸出畫面決定方法包括：透過一或多攝影裝置，取得一或多攝影畫面；取得該一或多攝影畫面在一系統座標系中的複數畫面座標；根據該一或多攝影畫面的該些畫面座標，決定該一或多攝影畫面在該系統座標系中的一或多畫面邊界；透過一眼球追蹤器，取得在該系統座標系中的一視線座標；以及相應於該視線座標位於該一或多畫面邊界之內，在該一或多攝影畫面中決定相應於該視線座標的一局部輸出畫面。

Description

電子裝置及輸出畫面決定方法

本案涉及一種電子裝置及一種方法。具體而言，本案涉及一種電子裝置及輸出畫面決定方法。

隨著電子技術的發展，攝影裝置(如直播裝置)已廣泛應用於人們生活當中。

典型的直播方式是透過直播者的行動電話或電腦上的攝影鏡頭拍攝畫面，並傳送畫面至觀看者的顯示裝置中。以藉此能讓觀看者和直播者之間經由畫面而互動。

然而，受限於直播者的行動電話或電腦經常需固定擺放，直播畫面亦會固定而無法彈性改變，造成不便。因此，一種解決方法當被提出。

本案的一實施態樣涉及一種電子裝置。根據本案一實施例，電子裝置包括一或多處理元件、一記憶體、以及一或多程式。該一或多程式儲存於該記憶體中，並用以被該一或多處理元件所執行，以令該一或多處理元件進行以下操作：取得一或多攝影畫面；取得該一或多攝影畫面在一系統座標系中的複數畫面座標；根據該一或多攝影畫面的該些畫面座標，決定該一或多攝影畫面在該系統座標系中的一或多畫面邊界；取得在該系統座標系中的一視線座標；以及相應於該視線座標位於該一或多畫面邊界之內，在該一或多攝影畫面中決定相應於該視線座標的一局部輸出畫面。

本案的另一實施態樣涉及一種輸出畫面決定方法。根據本案一實施例，輸出畫面決定方法包括：透過一或多攝影裝置，取得一或多攝影畫面；取得該一或多攝影畫面在一系統座標系中的複數畫面座標；根據該一或多攝影畫面的該些畫面座標，決定該一或多攝影畫面在該系統座標系中的一或多畫面邊界；透過一眼球追蹤器，取得在該系統座標系中的一視線座標；以及相應於該視線座標位於該一或多畫面邊界之內，在該一或多攝影畫面中決定相應於該視線座標的一局部輸出畫面。

透過應用上述實施例中的一者，即可在一或多攝影畫面中決定相應於視線座標的一局部輸出畫面。藉此，直播者不須手動操作，並透過直播者的視線即可變化觀看者能看到的直播畫面，進而能增加直播者與觀看者之間的互動，也能提升直播者使用上的便利性。

20‧‧‧眼球追蹤器

30‧‧‧攝影裝置

100‧‧‧電子裝置

110‧‧‧處理元件

120‧‧‧記憶體

200‧‧‧方法

S1-S5‧‧‧操作

CMI‧‧‧攝影畫面

OBJ‧‧‧目標

NA‧‧‧參考點

NB‧‧‧參考點

NC‧‧‧參考點

SYC‧‧‧系統座標系

CNT‧‧‧畫面邊界

USI‧‧‧使用者訊號

ORI‧‧‧局部輸出畫面

600‧‧‧輸出對象裝置

第1圖為根據本案一實施例所繪示的電子裝置的示意圖；第2圖為根據本發明一實施例的輸出畫面決定方法的流程圖；第3圖為根據本發明一操作例的輸出畫面決定方法的示意圖；第4圖為根據本發明一操作例的輸出畫面決定方法的示意圖；第5圖為根據本發明一操作例的輸出畫面決定方法的示意圖；以及第6圖為根據本發明一操作例的輸出畫面決定方法的示意圖；第7圖為根據本發明一實施例的輸出畫面決定方法的子操作流程圖；第8圖為根據本發明一實施例的輸出畫面決定方法的子操作流程圖；以及第9圖為根據本發明一實施例的輸出畫面決定方法的子操作流程圖。

以下將以圖式及詳細敘述清楚說明本揭示內容之精神，任何所屬技術領域中具有通常知識者在瞭解本揭示內容之實施例後，當可由本揭示內容所教示之技術，加以改變及修飾，其並不脫離本揭示內容之精神與範圍。

關於本文中所使用之『耦接』，可指二或多個元件相互直接作實體或電性接觸，或是相互間接作實體或電性接觸，而『耦接』還可指二或多個元件相互操作或動作。

關於本文中所使用之『第一』、『第二』、...等，並非特別指稱次序或順位的意思，亦非用以限定本發明，其僅為了區別以相同技術用語描述的元件或操作。

關於本文中所使用之『包含』、『包括』、『具有』、『含有』等等，均為開放性的用語，即意指包含但不限於。

關於本文中所使用之『及/或』，係包括所述事物的任一或全部組合。

關於本文中所使用之用詞(terms)，除有特別註明外，通常具有每個用詞使用在此領域中、在此揭露之內容中與特殊內容中的平常意義。某些用以描述本揭露之用詞將於下或在此說明書的別處討論，以提供本領域技術人員在有關本揭露之描述上額外的引導。

關於本文中所使用之用語『大致』、『約』等，一般係用以指涉與所述數值或範圍相近的任何數值或範圍，此數值或範圍會根據涉及的不同技藝而有所變化，且其解釋範圍符合本領域具通常知識者對其所為的最廣解釋範圍，以涵蓋所有的變形或相似結構。一些實施例中，此類用語所修飾的些微變化或誤差之範圍為20%，在部份較佳實施例中為10%，在部份更佳實施例中為5%。另外，本文中所述及的數值皆意指近似數值，在未作另外說明的情況下，其隱涵『大致』、『約』的詞意。

本揭示內容的一態樣涉及一種電子裝置。為使說明清楚，在以下段落中，將以直播盒為例描述電子裝置的細節。然而其它的電子裝置，如平板電腦、智慧型手機、桌上型電腦等，亦在本案範圍之中。

第1圖為根據本案一實施例所繪示的電子裝置100的示意圖。在本實施例中，電子裝置100電性連接眼球追蹤器20及一或多攝影裝置30。在本實施例中，電子裝置100用以接收來自眼球追蹤器20的眼球追蹤資料。在本實施例中，電子裝置100用以接收來自一或多攝影裝置30的一或多攝影畫面。

在本實施例中，電子裝置100包括一或多處理元件110、記憶體120。在本實施例中，此一或多處理元件110電性連接記憶體120。其中，在第1圖及以下說明中僅是以一個處理元件110作為例子說明，本案並非以此為限制。

在一實施例中，處理元件110例如可用中央處理器及/或微處理器等處理器實現，但不以此為限。在一實施例中，記憶體120可包括一或多個記憶體裝置，其中每一記憶體裝置或多個記憶體裝置之集合包括電腦可讀取記錄媒體。記憶體120可包括唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫、或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取紀錄媒體。

在一實施例中，處理元件110可運行或執行儲存於記憶體120中的各種軟體程式及/或指令集，以執行電子裝置100的各種功能。

應注意到，上述電子裝置100中元件的實現方式不以上述實施例所揭露的為限，且連接關係亦不以上述實施例為限，凡足以令電子裝置100實現下述技術內容的連接方式與實現方式皆可運用於本發明。

在一實施例中，處理元件110可透過一或多攝影裝置30取得一或多攝影畫面。處理元件110可將攝影畫面對應至一系統座標系，並取得攝影畫面在系統座標系中的畫面邊界。

另外，處理元件110可根據來自眼球追蹤器20的眼球追蹤資料，取得在系統座標系中的一視線座標，其中此一視線座標對應於使用者注視的位置。於一實施例中，處理元件110能分析計算眼球追蹤資料而得出視線座標。

在此一視線座標位於一或多攝影畫面在系統座標系中的畫面邊界內的情況下，處理元件110可在一或多攝影畫面中，決定相應於此使用者注視位置的局部輸出畫面。在一實施例中，處理元件110可將此局部輸出畫面輸出至輸出對象裝置(如第6圖中輸出對象裝置600)，如直播伺服器、影像擷取盒、個人電腦，但不以此為限。

藉由如此操作，直播者即可利用視線以變化觀看者能看到的直播畫面，進而能增加直播者與觀看者間的互動。

其中，系統座標系可以為桌面座標系或其他等座標系。其中，系統座標系例如是以第3圖中目標OBJ及參考點NA、NB、NC所在的桌面為基礎的座標系。例如，該桌面的第一方向桌緣可與系統座標系的x軸對齊，且該桌面的第二方向桌緣可與系統座標系的y軸對齊。應注意到，上述實施例僅為示例，本案並不以此為限。

以下將搭配第2圖中的輸出畫面決定方法以提供本案更具體細節，然本案不以下述實施例為限。

應注意到，此一輸出畫面決定方法可應用於相同或相似於第1圖中所示結構之行動裝置。而為使敘述簡單，以下將根據本發明一實施例，以第1圖中的電子裝置100為例進行對輸出畫面決定方法的敘述，然本發明不以此應用為限。

此外，此一輸出畫面決定方法亦可實作為一電腦程式，並儲存於一非暫態電腦可讀取記錄媒體中，而使電腦或電子裝置讀取此記錄媒體後執行虛擬實境方法。非暫態電腦可讀取記錄媒體可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之非暫態電腦可讀取記錄媒體。

另外，應瞭解到，在本實施方式中所提及的輸出畫面決定方法的操作，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行。

再者，在不同實施例中，此些操作亦可適應性地增加、置換、及/或省略。

參照第1、2圖，輸出畫面決定方法200包括以下操作。

在操作S1中，處理元件110取得一或多攝影畫面。在一實施例中，一或多攝影畫面是來自於一或多攝影裝置30，但本案不以此為限。

在操作S2中，處理元件110取得前述一或多攝影畫面在一系統座標系中的複數畫面座標。在一實施例中，系統座標系的原點及座標軸可為預設的原點及座標軸，但不以此為限。在一實施例中，此些畫面座標可相應於此一或多攝影畫面的頂點、邊界、中心、及/或其它參考位置，但不以此為限。在一實施例中，處理元件110是利用複數參考點，以取得前述畫面座標。

舉例而言，參照第3圖及第4圖，在本例中，攝影畫面CMI中存在參考點NA、NB、NC。如第4圖所示，參考點NA、NB、NC在系統座標系SYC中，各別具有其座標(以下稱為參考座標)。在一些實施例中，參考座標可為預設值。在一些實施例中，參考座標可預存於電子裝置100中，且使用者可在環境初始化時依預設指示設置參考點NA、NB、NC。應注意到，上述說明僅為例示，本案不以上述實施例為限。

進一步來說，假設參考點NA、NB、NC在攝影畫面CMI中的座標為(1，3)、(2，4)、(3，6)，參考點NA、NB、NC在系統座標系SYC中的座標為可為(-1，-3)、(10，20)、(30，40)。又假設攝影畫面CMI的頂點在攝影畫面CMI中的座標為(0，0)、(50，0)、(0，50)、(50， 50)，此些頂點在系統座標系SYC中的座標為可為(-15，-15)、(-15，100)、(100，-15)、(100，100)。

在本實施例中，處理元件110取得參考點NA、NB、NC在系統座標系SYC中的參考座標(第7圖操作S21)。另一方面，處理元件110取得參考點NA、NB、NC在攝影畫面CMI中各別的位置(參照第3圖)(第7圖操作S22)。而後，處理元件110根據參考點NA、NB、NC在系統座標系SYC中的參考座標及參考點NA、NB、NC在攝影畫面CMI中的位置，建立攝影畫面CMI與系統座標系SYC間的對應關係(以下稱為第二對應關係)(第7圖操作S23)。根據此第二對應關係，處理元件110可產生攝影畫面CMI的頂點、邊界、中心、及/或其它參考點在系統座標系SYC中的畫面座標(第7圖操作S24)。在一實施例中，前述第二對應關係例如可用轉換矩陣、查照表、數學函式、或其它任何可行方式實現，本案不以此為限。

藉由上述方式，處理元件110亦可取得其它攝影畫面(若有)在系統座標系SYC中的畫面座標。

在操作S3中，處理元件110根據前述一或多攝影畫面的畫面座標，以決定前述一或多攝影畫面在系統座標系SYC中的一或多畫面邊界CNT。

例如，參照第4圖，處理元件110可根據前述畫面座標，以決定前述攝影畫面CMI在系統座標系SYC中的畫面邊界CNT(在本實施例中，系統座標系例如可為對應第4圖中桌面的座標系)。於此以數個實施例做說明，但本案並不以此為限制。在一實施例中，處理元件110可根據相應於攝影畫面CMI的至少部分頂點(例如兩對角頂點、中心點與至少一頂點)的畫面座標，以決定系統座標系SYC中的畫面邊界CNT。在另一實施例中，處理元件110可根據相應於攝影畫面CMI的邊界的畫面座標，決定系統座標系SYC中的畫面邊界CNT。在又一實施例中，處理元件110可根據攝影畫面CMI與系統座標系SYC間的第二對應關係，估算攝影畫面CMI在系統座標系SYC中的大小，而後再根據相應於攝影畫面CMI的中心的畫面座標，決定系統座標系SYC中的畫面邊界CNT。

應注意到，雖然在第4圖中，畫面邊界CNT以圓形虛線表示，然而畫面邊界CNT可為其它形狀、如扇形、平行四邊形、或不規則形狀，故本案的畫面邊界CNT之形狀不以第4圖中所繪為限。

在操作S4中，處理元件110透過眼球追蹤器20，取得在系統座標系中的一視線座標。在一實施例中，此一視線座標相應於在攝影畫面CMI中的一特定位置，且此一特定位置為在攝影畫面CMI中使用者注視的位置。應注意到，操作S4與操作S1、S2、S3可同時進行，或次序對換。

在一實施例中，處理元件110可根據系統座標系與來自眼球追蹤器20的眼球追蹤資料之間的對應關係(以下稱為第一對應關係)，取得前述在系統座標系中的視線座標。在一實施例中，處理元件110是利用複數參考點，以取得系統座標系與眼球追蹤資料之間的第一對應關係。

舉例而言，參照第4圖、第5圖，首先，處理元件110取得參考點NA、NB、NC在系統座標系SYC中的參考座標(第8圖操作S41)。使用者可在注視參考點NA時，利用控制器或其它使用者輸入介面傳送使用者訊號USI至電子裝置100。在一實施例中，使用者訊號USI為一觸發訊號。在一實施例中，使用者例如可按壓一控制器，以產生使用者訊號USI。處理元件110可相應於使用者訊號USI擷取來自眼球追蹤器20的眼球追蹤資料，作為相應於參考點NA的參考眼球追蹤資料(第8圖操作S42)。藉由類似方法，處理元件110可取得相應於參考點NB、NC的參考眼球追蹤資料。而後，處理元件110可根據參考點NA、NB、NC在系統座標系SYC中的參考座標及相應於參考點NA、NB、NC的參考眼球追蹤資料，取得系統座標系SYC與眼球追蹤資料之間的第一對應關係(第8圖操作S43)。應注意到，在不同實施例中，處理元件110亦可利用不同於參考點NA、NB、NC的其它參考點，建立系統座標系SYC與眼球追蹤資料之間的第一對應關係。

而後，透過系統座標系SYC與眼球追蹤資料之間的第一對應關係，處理元件110即可根據來自眼球追蹤器20的眼球追蹤資料，取得使用者注視的位置在系統座標系SYC中的視線座標(第8圖操作S44)。

在操作S5中，相應於前述視線座標位於相應於前述一或多攝影畫面的畫面邊界之內(例如，當使用者注視的目標在任一攝影畫面所涵蓋的範圍內時)，處理元件110 在前述一或多攝影畫面中決定相應於前述視線座標的一局部輸出畫面。

例如，參照第3圖、第4圖、第6圖，當使用者注視目標OBJ時，處理元件110可取得系統座標系SYC中對應於目標OBJ的視線座標。在一實施例中，目標OBJ可包括物品、文字、圖框等，但不以此為限。處理元件110可判斷此一視線座標是否位於畫面邊界CNT中。在此一視線座標位於畫面邊界CNT中的情況下，處理元件110可根據攝影畫面CMI與系統座標系SYC間的第二對應關係，取得攝影畫面CMI中相應於此一視線座標的視線位置(如第3圖中目標OBJ在攝影畫面CMI中的位置)(第9圖操作S51)。而後，處理元件110可根據攝影畫面CMI中相應於視線座標的視線位置，決定局部輸出畫面ORI(參照第6圖)(第9圖操作S52)。

相對地，在一實施例中，在視線座標位於所有的攝影畫面在系統座標系的畫面邊界之外的情況下，處理元件110可決定輸出畫面為前述一或多攝影畫面中的一者(如輸出畫面為第3圖中的攝影畫面CMI)。也就是說，當存在攝影畫面A、B、C，而使用者的視線座標在攝影畫面A、B、C所涵蓋的範圍外時，處理元件110可決定輸出畫面為攝影畫面A、B、C中的預設一者(例如是對準主要拍攝目標的攝影畫面)。如此一來，當使用者的視線暫時移開，輸出畫面即可回到預設的主要攝影畫面，而可避免輸出無意義的攝影畫面。

在一實施例中，在視線座標僅位於前述一或多畫面邊界中的一者(如第3圖中的攝影畫面CMI)之內的情況下，局部輸出畫面為對應於一或多畫面邊界中的該者的攝影畫面(如第3圖中的攝影畫面CMI)的一部份(如第3圖中的攝影畫面CMI中對應於目標OBJ的部份)。例如，當存在攝影畫面A、B、C，而使用者注視的目標僅在攝影畫面A所涵蓋的範圍內時，局部輸出畫面僅呈現攝影畫面A的一部份，不會呈現攝影畫面B、C的任何部份。

在一實施例中，在視線座標位於前述一或多畫面邊界中的複數者之內的情況下，處理元件110可根據實際需求或預設的優先次序，決定局部輸出畫面為對應於一或多畫面邊界中的此些複數者中的一者的攝影畫面的一部份，也就是說，當存在攝影畫面A、B、C，而使用者注視的目標在攝影畫面A、B、C所涵蓋的範圍內時，處理元件110可根據實際需求或預設的優先次序決定局部輸出畫面要呈現攝影畫面A、攝影畫面B、或攝影畫面C中的哪一個的一部份。

應注意到，雖然本案以直播為例進行說明，然而本案的應用領域不限於直播，其它可在攝影畫面中決定相應於視線座標的局部輸出畫面的應用亦在本案範圍之中。

藉由應用上述實施例中的一者，即可在攝影畫面CMI中決定相應於視線座標的局部輸出畫面。藉此，直播者不須手動操作，仍可變化觀看者能看到的直播畫面，進而能增加直播者與觀看者之間的互動，也能提升直播者使用上的便利性。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

200‧‧‧方法

S1-S5‧‧‧操作

Claims

一種電子裝置，包括：一或多處理元件；以及一記憶體，電性連接該一或多處理元件；其中該記憶體儲存一或多程式，且該一或多處理元件執行該一或多程式，以進行以下操作：取得一或多攝影畫面；取得該一或多攝影畫面在一系統座標系中的複數畫面座標；根據該一或多攝影畫面的該些畫面座標，決定該一或多攝影畫面在該系統座標系中的一或多畫面邊界；取得在該系統座標系中的一視線座標；相應於該視線座標位於該一或多畫面邊界之內，在該一或多攝影畫面中決定相應於該視線座標的一局部輸出畫面；以及相應於該視線座標位於該一或多畫面邊界之外，決定該一或多攝影畫面中的一攝影畫面為一輸出畫面。
如請求項1所述之電子裝置，其中執行該一或多程式更包括以下操作：取得複數參考點在該系統座標系中的複數參考座標；取得分別對應該些參考點的複數筆參考眼球追蹤資料；根據該些參考座標及該些參考眼球追蹤資料，建立一第一對應關係；以及根據該第一對應關係，將一眼球追蹤資料轉換為該視線座標。
如請求項1所述之電子裝置，其中執行該一或多程式更包括以下操作：取得複數參考點在該系統座標系中的複數參考座標；取得該些參考點在該一或多攝影畫面中的位置；根據該些參考座標及該些參考點在該一或多攝影畫面中的位置，建立一或多第二對應關係；以及根據該一或多第二對應關係，產生該些畫面座標。
如請求項3所述之電子裝置，其中執行該一或多程式更包括以下操作：根據該一或多第二對應關係及該視線座標，取得該一或多攝影畫面中相應於該視線座標的一或多視線位置；以及根據該一或多視線位置決定該局部輸出畫面。
如請求項1至4中任一者所述之電子裝置，其中在該視線座標僅位於該一或多畫面邊界中的一者之內的情況下，該局部輸出畫面為對應於該一或多畫面邊界中的該者的攝影畫面的一部份。
一種輸出畫面決定方法，包括：透過一或多攝影裝置，取得一或多攝影畫面；取得該一或多攝影畫面在一系統座標系中的複數畫面座標；根據該一或多攝影畫面的該些畫面座標，決定該一或多攝影畫面在該系統座標系中的一或多畫面邊界；透過一眼球追蹤器，取得在該系統座標系中的一視線座標；相應於該視線座標位於該一或多畫面邊界之內，在該一或多攝影畫面中決定相應於該視線座標的一局部輸出畫面；以及相應於該視線座標位於該一或多畫面邊界之外，決定該一或多攝影畫面中的一攝影畫面為一輸出畫面。
如請求項6所述之輸出畫面決定方法，其中取得在該系統座標系中該視線座標的操作包括：取得複數參考點在該系統座標系中的複數參考座標；取得分別對應該些參考點的複數筆參考眼球追蹤資料；根據該些參考座標及該些參考眼球追蹤資料，建立一第一對應關係；以及根據該第一對應關係，將一眼球追蹤資料轉換為該視線座標。
如請求項6所述之輸出畫面決定方法，其中取得該一或多攝影畫面在該系統座標系中的該些畫面座標的操作包括：取得複數參考點在該系統座標系中的複數參考座標；取得該些參考點在該一或多攝影畫面中的位置；根據該些參考座標及該些參考點在該一或多攝影畫面中的位置，建立一或多第二對應關係；以及根據該一或多第二對應關係，產生該些畫面座標。
如請求項8所述之輸出畫面決定方法，其中在該一或多攝影畫面中決定相應於該視線座標的該局部輸出畫面的操作包括：根據該一或多第二對應關係及該視線座標，取得該一或多攝影畫面中相應於該視線座標的一或多視線位置；以及根據該一或多視線位置決定該局部輸出畫面。
如請求項6至9中任一者所述之輸出畫面決定方法，其中在該視線座標僅位於該一或多畫面邊界中的一者之內的情況下，該局部輸出畫面為對應於該一或多畫面邊界中的該者的攝影畫面的一部份。