TWI461960B - 一種通信方法和通信系統 - Google Patents

一種通信方法和通信系統 Download PDF

Info

Publication number
TWI461960B
TWI461960B TW099139259A TW99139259A TWI461960B TW I461960 B TWI461960 B TW I461960B TW 099139259 A TW099139259 A TW 099139259A TW 99139259 A TW99139259 A TW 99139259A TW I461960 B TWI461960 B TW I461960B
Authority
TW
Taiwan
Prior art keywords
dimensional
viewer
window
dimensional video
content
Prior art date
Application number
TW099139259A
Other languages
English (en)
Other versions
TW201145074A (en
Inventor
Marcus Kellerman
Xuemin Chen
Samir Hulyalkar
Ilya Klebanov
Original Assignee
Broadcom Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Broadcom Corp filed Critical Broadcom Corp
Publication of TW201145074A publication Critical patent/TW201145074A/zh
Application granted granted Critical
Publication of TWI461960B publication Critical patent/TWI461960B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

一種通信方法和通信系統
本發明涉及通信系統。更具體地說，本發明涉及一種根據視角自動適配移動設備的視窗的方法和系統。
在三維或二維視頻和/或靜態圖像系統中，顯示設備(例如手持設備、電視機、監視器、相機和/或遊戲機)中顯示有圖像。現在大多數視頻廣播利用支援以位元流形式廣播視頻圖像的視頻處理應用，該位元流包含代表將要顯示的圖像的特徵的資訊。視頻應用可以利用各種插值和/或速率轉換功能在顯示器上展示包含靜態和/或動態圖像的內容。
比較本發明後續將要結合附圖介紹的系統，現有技術的其他局限性和弊端對於本領域的普通技術人員來說是顯而易見的。
本發明提供了一種用於移動設備根據視角自動適配視窗的方法和系統，結合至少一幅附圖進行詳細描述，並在權利要求中得到了更完整的闡述。
根據本發明的一個方面，提供一種通信方法，包括：由二維視頻和/或三維視頻處理設備中的一個或多個處理器和/或電路執行：當觀看者在觀看當前視窗顯示的二維和/或三維視頻內容時，拍攝所述觀看者的一幅或多幅圖像；對所拍攝的所述觀看者的一幅或多幅圖像執行臉部和/或眼睛追蹤；根據所述臉部和/或眼睛追蹤生成包含不同和/或部分不同的二維和/或三維視頻內容的另一 視窗；以及顯示所述生成的另一視窗。
優選地，所述二維視頻和/或三維視頻處理設備包括相機以及二維和/或三維顯示器。
優選地，所述當前視窗和/或所述另一視窗包括同一個(single)二維和/或三維視頻內容源的不同和/或部分不同的部分。
優選地，所述另一視窗包括來自與所述當前視窗不同的二維和/或三維視頻內容源的二維和/或三維視頻內容。
優選地，所述方法進一步包括在當前可用的二維和/或三維視頻內容源中和/或另一二維和/或三維視頻內容源中滾動、縮放和/或導航以生成所述另一視窗。
優選地，所述方法進一步包括處理二維和/或三維視頻內容以生成所述另一視窗。
優選地，所述方法進一步包括通過相機拍攝觀看者的臉部、面部表情、眼睛的一個或多個位置、角度和/或動作和/或觀看者的其他肢體動作的圖像以進行所述臉部和/或眼睛追蹤。
優選地，所述方法進一步包括解析(interpreting)拍攝的觀看者的臉部、面部表情、眼睛的一個或多個位置、角度和/或動作和/或觀看者的其他肢體動作的圖像以便在所述當前視窗以外進行滾動、縮放和/或導航。
優選地，所述方法進一步包括根據所述臉部和/或眼睛追蹤生成所述另一視窗以便在三維視頻內容中導航和/或旋轉三維物件，其中所述另一視窗包括不同和/或部分不同的二維和/或三維視頻內容。
優選地，所述方法進一步包括所述二維視頻和/或三維視頻處理設備通過一個或多個有線介面、無線介面和/或光纖介面通信。
根據本發明的一個方面，提供一種通信系統，包括：二維視頻和/或三維視頻處理設備中的一個或多個處理器和/或電路，所述一個或多個處理器和/或電路用於：當觀看者在觀看當前視窗顯示 的二維和/或三維視頻內容時，拍攝所述觀看者的一幅或多幅圖像；對所述拍攝的所述觀看者的一幅或多幅圖像執行臉部和/或眼睛追蹤；根據所述臉部和/或眼睛追蹤生成包含不同和/或部分不同的二維和/或三維視頻內容的另一視窗；以及顯示所述生成的另一視窗。
優選地，所述二維視頻和/或三維視頻處理設備包括相機以及二維和/或三維顯示器。
優選地，所述當前視窗和/或所述另一視窗包括同一個二維和/或三維視頻內容源的不同和/或部分不同的內容。
優選地，所述另一視窗包括來自與所述當前視窗不同的二維和/或三維視頻內容源的二維和/或三維視頻內容。
優選地，所述一個或多個處理器和/或電路用於在當前可用的二維和/或三維視頻內容源中和/或另一二維和/或三維視頻內容源中滾動、縮放和/或導航以生成所述另一視窗。
優選地，所述一個或多個處理器和/或電路用於處理二維和/或三維視頻內容以生成所述另一視窗。
優選地，所述一個或多個處理器和/或電路用於通過相機拍攝觀看者的臉部、面部表情、眼睛的一個或多個位置、角度和/或動作和/或觀看者的其他肢體動作的圖像以進行所述臉部和/或眼睛追蹤。
優選地，所述一個或多個處理器和/或電路用於解析(interpret)拍攝的觀看者的臉部、面部表情、眼睛的一個或多個位置、角度和/或動作和/或觀看者的其他肢體動作的圖像以便在所述當前視窗以外進行滾動、縮放和/或導航。
優選地，所述一個或多個處理器和/或電路用於根據所述臉部和/或眼睛追蹤生成所述另一視窗以便在三維視頻內容中導航和/或旋轉三維物件，其中所述另一視窗包括不同和/或部分不同的二維和/或三維視頻內容。
優選地，所述一個或多個處理器和/或電路用於通過一個或多個有線介面、無線介面和/或光纖介面通信。
本發明的各種優點、各個方面和創新特徵，以及其中所示例的實施例的細節，將在以下的說明書和附圖中進行詳細介紹。
106‧‧‧移動顯示設備
120‧‧‧通信模組
122‧‧‧處理器
123‧‧‧記憶體
124‧‧‧臉部和/或眼睛追蹤模組
125‧‧‧可選的外部記憶體
126‧‧‧顯示面板
128‧‧‧相機
210‧‧‧觀看者
220‧‧‧顯示器
224‧‧‧視窗
310a、310b、310c‧‧‧觀看位置
320‧‧‧顯示器
322、324、326‧‧‧視窗
410a‧‧‧觀看者位置
410b‧‧‧觀看者位置
420a‧‧‧三維物件視圖
420b‧‧‧三維物件視圖
430a‧‧‧三維視窗
430b‧‧‧三維視窗
圖1是用於根據對觀看顯示器的觀看者的臉部和/或眼睛追蹤來顯示和/或處理圖像或頁面的各個部分的示範性移動設備的框圖；圖2是根據本發明實施例的可以根據觀看者相對於移動顯示設備的位置、觀看行為和/或空間方位進行轉換或調整的示範性顯示視窗的框圖；圖3是根據本發明實施例的可以根據觀看者相對於移動顯示設備的位置、觀看行為和/或空間方位來轉換文本的多個示範性視窗位置的示意圖；圖4是根據本發明實施例的利用臉部和/或眼睛追蹤的示範性三維導航的示意圖；圖5是根據本發明實施例的移動設備基於臉部和/或眼睛追蹤自動適配視窗的示範性步驟的流程圖。
本發明用於移動設備根據視角自動適配視窗的方法和系統提供了一些實施例。在本發明的各種實施例中，二維視頻和/或三維視頻處理設備可以用於在觀看者觀看該設備的當前視窗中顯示的二維視頻和/或三維視頻內容時拍攝觀看者的一幅或多幅圖像。就這一點而言，二維和/或三維內容可以包括靜態的、動態的、文本的和/或圖形的二維視頻和/或三維視頻內容。在本發明的一個實施例中，二維視頻和/或三維視頻處理設備可以是移動或手持設備。二維視頻和/或三維視頻處理設備可以對所拍攝的觀看者的圖像執行臉部和/或眼睛追蹤，並可以至少根據臉部和/或眼睛追蹤中得到 的資訊生成另一視窗。根據臉部和/或眼睛追蹤，該另一視窗可以包括與當前視窗不同和/或部分不同的二維視頻和/或三維視頻內容。可以顯示該另一視窗。
就這一點而言，二維視頻和/或三維視頻處理設備可以包括相機以及二維視頻和/或三維視頻顯示器。當前視窗和/或另一視窗可以包括同一個二維視頻和/或三維視頻內容源的不同和/或部分不同的內容。可選地，另一視窗和當前視窗可以包括不同源的二維視頻和/或三維視頻內容。可以在當前可用的二維視頻和/或三維視頻內容源和/或另一二維視頻和/或三維視頻內容源中滾動、縮放和/或導航以生成另一視窗。可以處理生成該另一視窗的二維視頻和/或三維視頻內容。可以用相機拍攝觀看者的臉部、面部表情、眼睛的一個或多個位置、角度和/或動作和/或觀看者的其他肢體動作的圖像。可以由臉部和/或眼睛追蹤解析拍攝的圖像以便在當前視窗以外滾動、縮放和/或導航。可以根據臉部和/或眼睛追蹤生成包含不同和/或部分不同的二維視頻和/或三維視頻內容的另一視窗，以便在三維視頻內容中導航和/或旋轉三維物件。二維視頻和/或三維視頻處理設備可以通過有線介面、無線介面和/或光纖介面通信。以這種方式，觀看者可以根據臉部和/或眼睛追蹤來調整和/或控制視頻處理設備中顯示的一個或多個視窗。
圖1是根據本發明實施例的用於根據對觀看顯示器的觀看者的臉部和/或眼睛追蹤來顯示和/或處理圖像或頁面的各個部分的示範性移動設備的框圖。圖1示出了移動顯示設備106，移動顯示設備106可以包括通信模組120、處理器122、記憶體123、可選的外部記憶體125、臉部和/或眼睛追蹤模組124、顯示面板126和相機128。
移動顯示設備106可以包括合適的邏輯、電路、介面和/或代碼，用於感應觀看者的觀察方向以及用於基於感應觀看者試圖觀看的圖像或頁面的各個部分來自動適配視窗。例如，觀看者可能 試圖去看超過圖像或頁面的顯示部分邊緣的地方。視窗可以包括移動顯示設備106當前顯示的圖像或頁面中的一部分或一個特定的視窗。例如，視窗的內容源可以包括移動顯示設備106可獲得的特定的圖像、頁面、幀和/或相應的三維幀的所有內容。移動顯示設備106可以用於顯示圖像、頁面、幀和/或相應的三維幀的全部內容和/或可以用於放大和/或顯示全部內容的各個部分。就這一點而言，移動顯示設備106可以有一個小螢幕或顯示面板126並可以放大圖像或頁面的選定區域以便觀看。儘管描述了圖1所示的移動顯示設備106，但本發明並不受限於此。就這一點而言，本發明的各種實施例可以包括任意合適的顯示設備或任意合適的包含顯示器的設備。
移動顯示設備106可以利用臉部和/或眼睛追蹤來確定何時觀看者在查看螢幕上當前顯示的邊界以外的內容。例如，臉部和/或眼睛追蹤可以分析和/或解析顯示面板126的觀看者的一幅或多幅圖像，以及可以確定觀看者查看的部位或內容。就這一點而言，臉部和/或眼睛追蹤可以分析觀看者的一幅或多幅圖像以及可以確定觀看者查看的部位。可以分析和/或解析觀看者的眼睛、面部、頭、面部特徵和/或各個身體部位的動作、位置和/或角度來確定觀看者查看的部位。例如，觀看者的凝視方向和/或視角可以說明觀看者可能需要另一個角度的圖像。例如，臉部和/或眼睛追蹤可以通過觀看者的眼睛位置和/或眼睛和/或臉部的角度來確定觀看者想要滾動到當前視窗顯示的圖像部分邊緣以外的圖像區域。在這種情況下，移動顯示設備106可以調整視窗中顯示的內容並可以顯示觀看者試圖觀看的圖像部分。另外，移動顯示設備106可以放大顯示的內容區域和/或根據觀看者的觀看行為對內容進行其他處理。移動顯示設備106可以是二維或三維、無線或有線設備，例如移動電話、媒體播放器、電腦、電視、數碼相機、地理定位設備和/或遊戲設備，但是，本發明並不受限於此。
通信模組120可以包括合適的邏輯、電路和/或代碼，用於通過有線、光纖和/或無線信號發送和/或接收信號。通信模組120可以支援多個介面。例如，通信模組120可以用於支援蜂窩、衛星、無線局域網或WiFi無線技術。另外，通信模組120可以用於支援外部記憶體介面、通用非同步收發器(UART)介面、增強型串列外設介面(eSPI)、通用輸入/輸出(GPIO)介面、脈衝編碼調製(PCM)和/或晶片間音頻介面(inter-IC sound interface，簡稱I2S)、積體電路間(I2C)匯流排界面、通用串列匯流排(USB)介面、藍牙介面、紫蜂(ZigBee)介面、IrDA介面和/或無線USB(W-USB)介面。
處理器122可以包括合適的邏輯、電路、介面和/或代碼，用於控制和/或配置移動顯示設備106中的一個或多個模組和/或可以用於通過通信模組120與其他設備通信。例如，處理器122可以用於控制相機128，以便拍攝有用的臉部和/或眼睛追蹤資訊。又例如，處理器122可以通過通信模組120從記憶體123和/或可選外部記憶體125中獲取和/或在記憶體123和/或可選外部記憶體125中存儲內容資料、指令和/或參數。進一步地，處理器122可以用於從臉部和/或眼睛追蹤模組124接收和/或處理臉部和/或眼睛追蹤資訊。就這一點而言，處理器122可以用於根據臉部和/或眼睛追蹤資訊處理和/或編輯通過顯示面板126顯示的內容。例如，處理器122可以根據臉部和/或眼睛追蹤資訊確定圖像、頁面、幀和/或多個相應的三維幀中的哪個部分的內容和/或怎樣在視窗中對該內容進行處理和/或顯示。當臉部和/或眼睛追蹤資訊說明觀看者可能想要查看當前圖像、頁面、幀和/或相應的三維幀以外的新內容源時，處理器122可以用於轉向顯示新的圖像、頁面、幀和/或多個相應的三維幀。例如，可以在新頁面中通過各種視窗使用新的文本頁面進行顯示。
在本發明的各種實施例中，處理器122可以根據來自臉部和/或眼睛追蹤模組124的臉部和/或眼睛追蹤資訊來優化(enhance)或 處理圖像或部分圖像的的細節。進一步地，處理器122可以利用附加資訊來編輯或調整視窗中顯示的內容，附加資訊可以包括，例如，用戶資訊或關於正在顯示的內容類型的資訊，內容類型包括，例如文本、二維或三維圖像、動態或靜態圖像、照片和/或圖形。處理器122可以處理靜態或動態三維視頻和/或三維圖形內容以便通過顯示面板126顯示，這樣觀看者可以從各種視角或各種深度觀看三維內容。進一步地，處理器122可以根據來自臉部追蹤模組124的臉部和/或眼睛追蹤資訊來處理特定視窗中顯示的三維內容，從而為觀看者在三維圖像中導航。
相機128可以包括合適的邏輯、電路、介面和/或代碼，用於在觀看者觀看移動顯示設備106上的顯示面板126時感應和/或拍攝觀看者的臉部、眼睛和/或身體。例如，相機128可以用於感應可見光和/或紅外光。相機128可以將感應的和/或拍攝的資訊傳送給臉部和/或眼睛追蹤模組124。例如，相機128可以用於拍攝面部特徵、動作、頭部、眼睛或其他身體部位的角度，表情和/或位置。例如，相機可以拍攝眼睛特點，例如眼睛位置、眼睛動作、焦點或凝視點，並將它們傳送給臉部和/或眼睛追蹤模組124。另外，相機還可以拍攝向顯示面板126靠近這一動作和/或頭部或身體的觀看角度或狀態，並將這些傳送給臉部和/或眼睛追蹤模組124。例如，相機拍攝的資料可以說明觀看者正向一定的方向傾斜以便看到當前視窗內容以外的部分或傾斜以便看到更深處或細節。在本發明的各種實施例中，相機128拍攝的資料可以說明觀看者可能正努力去觀看一個三維物件的新的角度或正努力在三維空間中導航。
臉部和/或眼睛追蹤模組124可以包括合適的邏輯、電路、介面和/或代碼，用於從相機128接收拍攝的資料並可以確定觀看者正在看的地方或內容或觀看者想要通過顯示面板126看到的地方或內容。例如，觀看者的凝視方向和/或視角可以說明觀看者可能 需要的一幅圖像的另一方面。例如，臉部和/或眼睛追蹤模組124可以確定觀看者想要看一些當前螢幕上沒有的東西。就這一點而言，根據臉部和/或眼睛追蹤資訊，處理器122可以將視窗轉向一個新的位置或可以放大或縮小當前圖像或頁面的內容以便顯示觀看者所需要的內容。例如，臉部和/或眼睛追蹤模組124可以對可用二維或三維內容進行滾動、縮放和/或導航。
顯示面板126可以包括合適的邏輯、電路、介面和/或代碼，用於接收、處理和/或顯示二維和/或三維內容。就這一點而言，可以在移動顯示設備106中使用任意合適的顯示技術，例如，LCD、LED或其他顯示技術。對於三維顯示器，顯示面板126可以用於利用偏振顯示技術和/或時序顯示技術並可以與，例如三維眼鏡通信。
在運行中，移動顯示設備106可以用於通過顯示面板126顯示二維和/或三維內容。移動顯示設備106可以通過顯示面板126利用視窗顯示圖像的一部分或頁面的一部分。在本發明的各種實施例中，移動顯示設備106可以利用相機128來感應和/或拍攝觀看者觀察和/或試圖觀察時的行為或在顯示面板126上顯示的二維或三維圖像或頁面中導航。就這一點而言，可以將拍攝的觀看者行為的圖像傳送給臉部和/或眼睛追蹤模組124。臉部和/或眼睛追蹤模組124可以根據拍攝的圖像確定觀看者正在看或想要看的地方並可以確定如何顯示可用的二維和/或三維內容。例如，臉部和/或眼睛追蹤模組124可以確定視窗需要按特定方向滾動和/或需要調整到一個特定的縮放等級。另外，臉部和/或眼睛追蹤模組124可以確定可以根據觀看者在觀察三維內容時的行為來旋轉三維物件。在一些例子中，臉部和/或眼睛追蹤模組124可以確定觀看者試圖去看當前可用二維或三維內容以外的另一內容源中的東西以及可以確定可以顯示新的圖像或頁面。臉部和/或眼睛追蹤模組124可以將臉部和/或眼睛追蹤資訊和/或關於顯示二維和/或三維 內容時進行調整的資訊傳送給處理器122。處理器122可以根據從臉部和/或眼睛追蹤模組124接收的資訊來處理二維和/或三維內容以自動適配視窗並可以將自動適配的內容傳送給顯示面板126。
圖2是根據本發明實施例的可以根據觀看者的位置、觀看行為和/或相對於移動顯示設備的空間方位來轉換或調整的顯示視窗的示意圖。圖2示出了顯示器220的可用內容、視窗224、觀看者210。
顯示器220的可用內容可以包括視窗224的二維和/或三維、靜態和/或動態、視頻、圖形和/或文本源。就這一點而言，本發明並不受限於任意特定類型的內容，而可以包括任意能夠在移動顯示設備106上顯示的內容。
視窗224可以包括顯示器220可用內容的一部分。視窗中顯示的部分內容可以由處理器120根據各種參數，例如顯示面板126的大小和/或顯示內容的縮放等級進行處理。視窗224可以向左、向右、向上、向下和/或向各種方向或方向組合進行滾動。另外，例如，當有跡象表明觀看者更近地觀看圖像和/或文本時，可以將視窗中顯示的內容放大。
觀看者210可以在視窗224中調整要顯示顯示器220的可用內容的哪一部分並通過顯示面板126通信。就這一點而言，焦點和/或眼睛在多個方向的運動和/或觀看者210的頭部或身體位置可以表明觀看者想要顯示和/或觀看顯示器220可用內容的哪個部分。
在運行中，觀看者210可以通過看向顯示器220可用內容中的所需部分來在多個方向滾動視窗224。就這一點而言，可以表明觀看者210可能想看的內容的眼睛動作、焦點和/或頭部、臉部和/或身體姿勢可以由相機128拍攝並由臉部和/或眼睛追蹤模組124處理。臉部和/或眼睛追蹤模組124可以解析拍攝的觀看者210的資訊並可以確定將在視窗224中顯示顯示器220可用內容的哪一 區域。臉部和/或眼睛追蹤模組124可以將確定的區域傳送給處理器120。處理器120可以從臉部和/或眼睛追蹤模組124接收資訊並根據特定的視窗224區域處理顯示器的所有或部分可用內容。就這一點而言，處理器120可以優化(enhance)和/或放大視窗224中顯示的內容。在本發明的各種實施例中，臉部和/或眼睛追蹤模組124和/或處理器122可以確定觀看者正在尋找顯示器當前可用內容以外的內容並可以從另一個源中選擇內容進行顯示。例如，觀看者正在閱讀一欄文本並在觀看者到達當前可顯示的文本結尾時，可以顯示另一欄文本的全部或部分。類似地，例如，包含所有或部分照片的視窗的觀看者可以嘗試去看位於該照片邊緣以外的內容。就這一點而言，可以在視窗中顯示另一照片的全部或部分，顯示的另一照片的全部或部分展示了原照片以外的內容。
圖3是根據本發明實施例的可以根據觀看者的位置、觀看行為和/或相對於移動顯示設備的空間方位來轉換文本的多個視窗位置的示意圖。圖3示出了顯示器320的可用內容、三個視窗322、324和326以及觀看位置310a、310b和310c。
顯示器320的可用內容可以在移動顯示設備106上存儲或流動。視窗322、324和/或326可以表明由顯示面板126顯示的顯示器320可用內容中的三個部分的內容。例如，可顯示內容可以包括一個文本和/或圖片頁面。
在運行中，觀看者可以通過顯示面板126上顯示的各個視窗閱讀來自顯示器320可用內容的文本和/或圖片。定位視窗，使它們可以覆蓋顯示器320可用內容的各個部分。視窗中可顯示的內容可以包括顯示器320的全部可用內容和/或顯示器320的全部可用內容放大或裁剪後的內容。
採取觀看位置310a的觀看者可以閱讀視窗322顯示的一部分文本或觀看視窗322顯示的圖片。當觀看者閱讀和/或觀看圖片時，觀看者的位置可以改變，例如，變為位置310b。在觀看位置 310b，相對於移動顯示設備106的焦點、眼睛動作和/或觀看行為可以向臉部和/或眼睛追蹤模組124表明觀看者準備閱讀視窗324中展示的文本。處理器122可以生成新的視窗324，該視窗324可以包括顯示器320的可用內容中的文本和/或圖片，可以使觀看者能繼續閱讀。處理器122可以將新視窗324的內容傳送給顯示面板126。類似地，當觀看者到達位置310c時，由臉部和/或眼睛追蹤模組124獲取的觀看者的焦點、眼睛動作和/或觀看行為，可以表明觀看者想要看到視窗326中包含的內容320的一部分。處理器122可以將可顯示內容滾動至視窗326的位置，並可以將該內容傳送給顯示面板126。以這種方式，觀看者可以通過執行閱讀動作或通過觀看視窗顯示的內容和/或尋找視窗沒有顯示的內容來在閱讀材料中滾動。就這一點而言，觀看者可以基於相對於移動顯示設備106的觀看行為，例如焦點、眼睛動作、頭部和/或身體動作和/或位置來表明觀看者想看視窗邊緣以外的內容。
圖4是根據本發明實施例的利用臉部和/或眼睛追蹤的示範性三維導航的示意圖。圖4示出了觀看者位置410a、三維視窗430a和三維物件視圖420a。另外，還示出了觀看者位置410b、三維視窗430b和三維物件視圖420b。
三維視窗430a和430b可以包括來自當前可顯示的同一個(single)內容源的不同部分的靜態和/或動態三維視頻和/或圖形內容。當前可顯示的同一個內容源可以包括相應立體的左和/或右視圖三維內容和/或可以包括由兩個以上的相機拍攝的或由多視圖中的兩個以上圖形幀生成的相應多視圖三維視頻和/或圖形內容。三維視窗430a和430b可以在顯示面板126上顯示，顯示面板126可以利用任意合適的顯示技術。例如，三維視窗430a和430b可以由顯示器126利用偏振顯示技術和偏振化的液晶顯示器(LCD)顯示。在本發明的另一個實施例中，可以利用時序顯示技術，例如DLN背投式顯示器或高幀頻等離子顯示器來顯示三維視窗430a 和430b。觀看者需要佩戴三維眼鏡來觀看三維內容，例如，三維偏振眼鏡和/或三維快門眼鏡。另外，還可以利用光譜過濾技術、立體影片技術、浦夫裏希(Pulfrich)技術和/或透鏡顯示技術(lenticular display techniques)中的一種或多種。就這一點而言，本發明並不受限於任意特定的顯示技術和/或眼鏡技術，而可以利用任意合適類型的三維視頻和/或圖形顯示技術和/或三維眼鏡技術。
三維視窗430a和430b可以包括來自當前可顯示內容的三維物件，觀看者可以從多個位置和/或觀看角度觀看該三維物件。例如，在觀看位置410a，觀看者可以觀看到三維視窗430a中的三維物件視圖420a。在另一時間段，觀看者可以改為觀看位置410b和/或可以觀看物件視圖420b的三維物件。相機128和/或臉部和/或眼睛追蹤模組124可以觀察和/或解析觀看者的焦點、眼睛、臉部、頭部和/或身體動作，並可以確定觀看者想看三維物件視圖420b。處理器122可以處理可顯示內容的合適部分並可以顯示包含該三維物件視圖420b的視窗430b。
在本方面的各種實施例中，觀看者的動作和/或位置可以向臉部和/或眼睛追蹤模組124表明，觀看者試圖看到當前可顯示內容的單一源以外的內容。因此，處理器122可以獲取新的內容源，從中可以選擇新的視窗顯示。例如，當前可顯示的三維內容可以包括一個門被打開的室內場景。觀看者可能試圖從打開的門中看到室內角落。臉部和/或眼睛追蹤模組可以確定觀看者正在看的地方並可以確定觀看者正在尋找可能在當前可顯示內容以外的東西。處理器122可以確定可以顯示另一內容源，該內容源包括門道另一邊的另一間房的場景。例如，另一內容源可以包括另一組相應立體的左和/或右視圖三維內容和/或可以包括由兩個以上相機拍攝的或由多視圖中的兩個以上圖形幀生成的另一組相應多視圖三維視頻和/或圖形內容。處理器122可以從新的可顯示內容源中選擇一個視窗。顯示器126可以顯示選擇的視窗。以這種方式， 觀看者可以根據臉部和/或眼睛追蹤在三維空間中導航。
在運行中，移動顯示設備106可以利用相機128來感應和/或拍攝觀看者在觀看或導航顯示面板126上顯示的三維圖像或頁面時的行為。就這一點而言，臉部和/或眼睛追蹤模組124可以確定應該以一個特定方向滾動視窗430a和/或將視窗430a調整到視窗430b中顯示的一個特定縮放等級。另外，臉部和/或眼睛追蹤模組124可以根據觀看者在觀看三維內容時的行為來確定旋轉三維物件。在一些例子中，臉部和/或眼睛追蹤模組124可以確定觀看者想要看到當前可用三維內容源以外的東西並可以確定可以利用新的圖像、頁面、幀和/或多個相應三維幀作為視窗430b的新源。臉部和/或眼睛追蹤模組124可以將臉部和/或眼睛追蹤信息和/或關於調整顯示的三維內容的資訊傳送給處理器122。處理器122可以根據從臉部和/或眼睛追蹤模組124接收的資訊來處理三維內容以自動適配視窗430b並可以將自動適配的視窗430b的內容傳送給顯示面板126。
圖5是根據本發明實施例的移動設備基於臉部和/或眼睛追蹤自動適配視窗的示範性步驟的流程圖。該示範性步驟可以開始於步驟510。在步驟512中，當前視窗，例如，視窗322可以由移動顯示設備106通過顯示面板126顯示。當前視窗322可以包括移動顯示設備106中顯示器320的當前可用二維和/或三維內容的全部和/或部分。在步驟514中，觀看者觀看當前視窗322時的圖片可以由相機128拍攝，並且可以由臉部和/或眼睛追蹤模組124對拍攝的觀看者圖片執行臉部和/或眼睛追蹤。在步驟516中，臉部和/或眼睛追蹤模組124可以確定觀看者何時想看當前視窗322以外和/或顯示器320當前可用內容以外的內容。在步驟518中，可以根據對觀看者圖片的臉部和/或眼睛追蹤，通過在顯示器320當前可用內容和/或其他內容中滾動、縮放和/或導航，來確定顯示器的新視窗324。在步驟520中，可以根據臉部和/或眼睛追蹤，從 顯示器320當前可用內容中生成新視窗322，或從用於顯示的新二維和/或三維內容中生成新視窗322。在步驟522中，可以由顯示面板126來顯示新視窗324。示範性步驟可以結束於步驟524。
在本發明的一個實施例中，移動顯示設備106可以是二維視頻和/或三維視頻處理設備。當觀看者觀看移動顯示設備106上的當前視窗322中顯示的二維視頻和/或三維視頻內容時，該設備可以拍攝觀看者的一幅或多幅圖像，例如，相機128可以拍攝觀看者在位置310a的圖像。顯示設備106可以通過臉部和/或眼睛追蹤模組124對拍攝的圖像執行臉部和/或眼睛追蹤，並可以生成另一視窗324。根據臉部和/或眼睛追蹤，另一視窗324可以包括與當前視窗322不同和/或部分不同的二維視頻和/或三維視頻內容。另一視窗324可以由顯示面板126顯示。就這一點而言，顯示設備106可以包括相機128以及二維和/或三維顯示面板126。當前視窗322和/或另一視窗324可以包括同一個二維視頻和/或三維視頻內容源的不同和/或部分不同的部分，同一二維視頻和/或三維視頻內容源可以是，例如顯示器320當前可用的一個內容源。可選地，另一視窗324和當前視窗322可以包括不同源的二維視頻和/或三維視頻內容。
可以在當前可用二維視頻和/或三維視頻內容源320中和/或另一二維視頻和/或三維視頻內容源中滾動、縮放和/或導航，以生成另一視窗324。可以對生成另一視窗324的二維視頻和/或三維視頻內容進行處理，例如，優化視窗322中顯示的內容和/或減小雜訊。觀看者的臉部的位置、角度和/或動作、面部表情、眼睛和/或其他肢體動作可以由相機128拍攝。拍攝的圖像可以由臉部和/或眼睛追蹤模組124解析，用以在當前視窗，例如視窗430a外滾動、縮放和/或導航。可以根據臉部和/或眼睛追蹤生成包含不同和/或部分不同二維視頻和/或三維視頻內容的另一視窗430b，以便在三維視頻內容中導航和/或旋轉三維物件420a。顯示設備106可 以通過通信模組120經有線介面、無線介面和/或光纖介面中的一個或多個進行通信。以這種方式，觀看者可以根據臉部和/或眼睛追蹤調整和/或控制顯示設備106中顯示的一個或多個視窗。
本發明的另一個實施例可以提供一種機器和/或電腦可讀記憶體和/或媒介，其內存儲的機器代碼和/或電腦程式包括至少一個代碼段，所述至少一個代碼段由機器和/或電腦執行，從而使該機器和/或電腦執行上述移動設備根據視角自動適配視窗的步驟。
因此，本發明可以通過硬體、軟體，或者軟、硬體結合來實現。本發明可以在至少一個電腦系統中以集中方式實現，或者由分佈在幾個互連的電腦系統中的不同部分以分散方式實現。任何可以實現方法的電腦系統或其他設備都是可適用的。常用軟硬體的結合可以是安裝有電腦程式的通用電腦系統，通過安裝和執行程式控制電腦系統，使其按方法運行。
本發明還可以通過電腦程式產品進行實施，套裝程式含能夠實現本發明方法的全部特徵，當其安裝到電腦系統中時，可以實現本發明的方法。本文件中的電腦程式所指的是：可以採用任何程式語言、代碼或符號編寫的一組指令的任何運算式，該指令組使系統具有資訊處理能力，以直接實現特定功能，或在進行下述一個或兩個步驟之後實現特定功能：a)轉換成其他語言、解碼或符號；b)以不同的格式再現。
雖然本發明是通過具體實施例進行說明的，本領域技術人員應當明白，在不脫離本發明範圍的情況下，還可以對本發明進行各種變換及等同替代。另外，針對特定情形或材料，可以對本發明做各種修改，而不脫離本發明的範圍。因此，本發明不局限於所公開的具體實施例，而應當包括落入本發明權利要求範圍內的全部實施方式。
圖5為流程圖，無元件符號說明。

Claims (9)

  1. 一種通信方法，其特徵在於，包括：由二維視頻和/或三維視頻處理設備中的一個或多個處理器和/或電路執行：當觀看者在觀看當前視窗顯示的二維和/或三維視頻內容時，拍攝所述觀看者的一幅或多幅圖像；對所拍攝的所述觀看者的一幅或多幅圖像執行臉部和/或眼睛追蹤；根據所述臉部和/或眼睛追蹤生成包含不同和/或部分不同的二維和/或三維視頻內容的另一視窗，其中生成的所述另一視窗，便於所述觀看者通過多個觀看角度和/或位置以觀看所述二維和/或三維視頻內容；以及顯示所述生成的另一視窗。
  2. 如申請專利範圍第1項所述的方法，其中，所述二維視頻和/或三維視頻處理設備包括相機以及二維和/或三維顯示器。
  3. 如申請專利範圍第1項所述的方法，其中，所述當前視窗和/或所述另一視窗包括同一個二維和/或三維視頻內容源的不同和/或部分不同的部分。
  4. 如申請專利範圍第1項所述的方法，其中，所述另一視窗包括來自與所述當前視窗不同的二維和/或三維視頻內容源的二維和/或三維視頻內容。
  5. 如申請專利範圍第1項所述的方法，其中，包括在當前可用的二維和/或三維視頻內容源中和/或另一二維和/或三維視頻內容源中滾動、縮放和/或導航以生成所述另一視窗。
  6. 如申請專利範圍第1項所述的方法，其中，包括處理二維和/或三維視頻內容以生成所述另一視窗。
  7. 如申請專利範圍第1項所述的方法，其中，包括通過相機拍攝觀看者的臉部、面部表情、眼睛的一個或多個位置、角度和/或 動作和/或觀看者的其他肢體動作的圖像以進行所述臉部和/或眼睛追蹤。
  8. 如申請專利範圍第1項所述的方法，其中，包括解析拍攝的觀看者的臉部、面部表情、眼睛的一個或多個位置、角度和/或動作和/或觀看者的其他肢體動作的圖像以便在所述當前視窗以外進行滾動、縮放和/或導航。
  9. 一種通信系統，其特徵在於，包括：二維視頻和/或三維視頻處理設備中的一個或多個處理器和/或電路，所述一個或多個處理器和/或電路用於：當觀看者在觀看當前視窗顯示的二維和/或三維視頻內容時，拍攝所述觀看者的一幅或多幅圖像；對所述拍攝的所述觀看者的一幅或多幅圖像執行臉部和/或眼睛追蹤；根據所述臉部和/或眼睛追蹤生成包含不同和/或部分不同的二維和/或三維視頻內容的另一視窗，其中生成的所述另一視窗，便於所述觀看者通過多個觀看角度和/或位置以觀看所述二維和/或三維視頻內容；以及顯示所述生成的另一視窗。
TW099139259A 2009-11-16 2010-11-15 一種通信方法和通信系統 TWI461960B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/619,461 US8762846B2 (en) 2009-11-16 2009-11-16 Method and system for adaptive viewport for a mobile device based on viewing angle

Publications (2)

Publication Number Publication Date
TW201145074A TW201145074A (en) 2011-12-16
TWI461960B true TWI461960B (zh) 2014-11-21

Family

ID=43618711

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099139259A TWI461960B (zh) 2009-11-16 2010-11-15 一種通信方法和通信系統

Country Status (4)

Country Link
US (2) US8762846B2 (zh)
EP (1) EP2333640A1 (zh)
CN (1) CN102063249A (zh)
TW (1) TWI461960B (zh)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300881B2 (en) 2009-09-16 2012-10-30 Broadcom Corporation Method and system for watermarking 3D content
US20110199468A1 (en) * 2010-02-15 2011-08-18 Gallagher Andrew C 3-dimensional display with preferences
US20110228051A1 (en) * 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
US20110273731A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Printer with attention based image customization
KR20120038224A (ko) * 2010-10-13 2012-04-23 엘지전자 주식회사 입체 플라즈마 디스플레이 장치
US20120098931A1 (en) * 2010-10-26 2012-04-26 Sony Corporation 3d motion picture adaption system
US20120314899A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Natural user interfaces for mobile image viewing
US9800864B2 (en) 2011-07-29 2017-10-24 Sony Mobile Communications Inc. Gaze controlled focusing of stereoscopic content
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US9035878B1 (en) 2012-02-29 2015-05-19 Google Inc. Input system
US20130271575A1 (en) * 2012-04-11 2013-10-17 Zspace, Inc. Dynamically Controlling an Imaging Microscopy System
US20150062311A1 (en) * 2012-04-29 2015-03-05 Hewlett-Packard Development Company, L.P. View weighting for multiview displays
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN102842301B (zh) * 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US10116911B2 (en) * 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions
KR102062310B1 (ko) * 2013-01-04 2020-02-11 삼성전자주식회사 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법
US20140192033A1 (en) * 2013-01-07 2014-07-10 Htc Corporation 3d image apparatus and method for displaying images
US9225969B2 (en) * 2013-02-11 2015-12-29 EchoPixel, Inc. Graphical system with enhanced stereopsis
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US9619020B2 (en) 2013-03-01 2017-04-11 Tobii Ab Delay warp gaze interaction
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
WO2014139574A1 (en) * 2013-03-14 2014-09-18 Brainlab Ag 3d-volume viewing by controlling sight depth
CN103513879B (zh) * 2013-04-26 2017-10-24 展讯通信（上海）有限公司 触控设备及其显示控制方法及装置
US9348411B2 (en) * 2013-05-24 2016-05-24 Microsoft Technology Licensing, Llc Object display with visual verisimilitude
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US20150009118A1 (en) * 2013-07-03 2015-01-08 Nvidia Corporation Intelligent page turner and scroller
WO2015025185A1 (en) * 2013-08-21 2015-02-26 Thomson Licensing Video display with pan function controlled by viewing direction
EP3043343A4 (en) * 2013-09-02 2017-04-05 Sony Corporation Information processing device, information processing method, and program
JP2015087824A (ja) * 2013-10-28 2015-05-07 オムロン株式会社 画面操作装置および画面操作方法
US10146299B2 (en) * 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US9442631B1 (en) * 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US9448687B1 (en) 2014-02-05 2016-09-20 Google Inc. Zoomable/translatable browser interface for a head mounted device
JP6445784B2 (ja) * 2014-05-16 2018-12-26 キヤノン株式会社 画像診断支援装置、その処理方法及びプログラム
CN104267812B (zh) * 2014-09-22 2017-08-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN105573478A (zh) * 2014-10-13 2016-05-11 北京三星通信技术研究有限公司 便携式设备的输入控制方法和装置
WO2016118848A1 (en) * 2015-01-22 2016-07-28 Clearstream. Tv, Inc. Video advertising system
US9955147B2 (en) * 2015-01-28 2018-04-24 Nextvr Inc. Zoom related methods and apparatus
US10146301B1 (en) 2015-03-26 2018-12-04 Amazon Technologies, Inc. Rendering rich media content based on head position information
FR3034215B1 (fr) * 2015-03-27 2018-06-15 Valeo Comfort And Driving Assistance Procede de commande, dispositif de commande, systeme et vehicule automobile comprenant un tel dispositif de commande
KR102313485B1 (ko) 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
CN104866785B (zh) * 2015-05-18 2018-12-18 上海交通大学 结合眼动跟踪的基于非拥塞窗口信息安全系统及方法
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US9681111B1 (en) 2015-10-22 2017-06-13 Gopro, Inc. Apparatus and methods for embedding metadata into video stream
US10033928B1 (en) * 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US9792709B1 (en) 2015-11-23 2017-10-17 Gopro, Inc. Apparatus and methods for image alignment
US9973696B1 (en) 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US9848132B2 (en) 2015-11-24 2017-12-19 Gopro, Inc. Multi-camera time synchronization
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
US9674290B1 (en) * 2015-11-30 2017-06-06 uZoom, Inc. Platform for enabling remote services
EP3182252A1 (en) * 2015-12-17 2017-06-21 Alcatel Lucent A method for navigating between navigation points of a 3-dimensional space, a related system and a related device
CN105630170B (zh) * 2015-12-25 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
US9667859B1 (en) 2015-12-28 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9922387B1 (en) 2016-01-19 2018-03-20 Gopro, Inc. Storage of metadata and images
US9967457B1 (en) 2016-01-22 2018-05-08 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9665098B1 (en) 2016-02-16 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9973746B2 (en) * 2016-02-17 2018-05-15 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9743060B1 (en) * 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
WO2017192332A1 (en) * 2016-05-05 2017-11-09 Social Networking Technology, Inc. Systems and methods for view-based advertisement selection
CN107801105A (zh) * 2016-09-07 2018-03-13 环球智达科技（北京）有限公司 一种智能电视滑动焦点移动方法及其控制系统
US9934758B1 (en) 2016-09-21 2018-04-03 Gopro, Inc. Systems and methods for simulating adaptation of eyes to changes in lighting conditions
US10268896B1 (en) 2016-10-05 2019-04-23 Gopro, Inc. Systems and methods for determining video highlight based on conveyance positions of video content capture
US9973792B1 (en) 2016-10-27 2018-05-15 Gopro, Inc. Systems and methods for presenting visual information during presentation of a video segment
JP7132921B2 (ja) 2016-11-22 2022-09-07 コーニンクレッカ フィリップス エヌ ヴェ ビューポートサイズ変更に基づく３ｄコンテンツのための動的次元切替え
EP3364652B1 (en) * 2017-02-21 2021-07-21 Vestel Elektronik Sanayi ve Ticaret A.S. Display system and display method
US10194101B1 (en) 2017-02-22 2019-01-29 Gopro, Inc. Systems and methods for rolling shutter compensation using iterative process
US10187607B1 (en) 2017-04-04 2019-01-22 Gopro, Inc. Systems and methods for using a variable capture frame rate for video capture
EP3607420B1 (en) * 2017-05-10 2021-06-23 Microsoft Technology Licensing, LLC Presenting applications within virtual environments
US10778993B2 (en) * 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
US20190007672A1 (en) 2017-06-30 2019-01-03 Bobby Gene Burrough Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections
US10091482B1 (en) 2017-08-04 2018-10-02 International Business Machines Corporation Context aware midair projection display
US10735707B2 (en) 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
US20190289204A1 (en) * 2018-01-03 2019-09-19 Gopro, Inc. Systems and methods for tagging highlights within spherical videos
WO2019161503A1 (en) 2018-02-22 2019-08-29 Innodem Neurosciences Eye tracking method and system
CN112929644A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 多视点裸眼3d显示屏、多视点裸眼3d显示设备
US11775060B2 (en) 2021-02-16 2023-10-03 Athena Accessible Technology, Inc. Systems and methods for hands-free scrolling
US20240153125A1 (en) * 2022-11-09 2024-05-09 Cbs Interactive Inc. Method and system for optimizing a viewer position with respect to a display device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US7113618B2 (en) * 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US20070064982A1 (en) * 2005-09-19 2007-03-22 General Electric Company Clinical review and analysis work flow for lung nodule assessment
TW200828176A (en) * 2006-06-08 2008-07-01 Euclid Discoveries Llc Apparatus and method for processing video data
TW200841736A (en) * 2007-01-23 2008-10-16 Euclid Discoveries Llc Systems and methods for providing personal video services
CN100481161C (zh) * 2006-05-12 2009-04-22 财团法人工业技术研究院 影像显示装置
US7591558B2 (en) * 2006-05-31 2009-09-22 Sony Ericsson Mobile Communications Ab Display based on eye information

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015064A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
US20030218638A1 (en) * 2002-02-06 2003-11-27 Stuart Goose Mobile multimodal user interface combining 3D graphics, location-sensitive speech interaction and tracking technologies
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7532753B2 (en) * 2003-09-29 2009-05-12 Lipsky Scott E Method and system for specifying color of a fill area
US9652032B2 (en) * 2004-03-02 2017-05-16 Brian T. Mitchell Simulated training environments based upon fixated objects in specified regions
US7593026B2 (en) * 2005-05-11 2009-09-22 L-3 Communications Corporation Dynamic display optimization method and system with image motion
US20070197909A1 (en) * 2006-02-06 2007-08-23 General Electric Company System and method for displaying image studies using hanging protocols with perspectives/views
US8223143B2 (en) * 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
US8036917B2 (en) * 2006-11-22 2011-10-11 General Electric Company Methods and systems for creation of hanging protocols using eye tracking and voice command and control
US7783077B2 (en) * 2006-12-01 2010-08-24 The Boeing Company Eye gaze tracker system and method
US8266536B2 (en) * 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
US20100275122A1 (en) * 2009-04-27 2010-10-28 Microsoft Corporation Click-through controller for mobile interaction
US20100328428A1 (en) * 2009-06-26 2010-12-30 Booth Jr Lawrence A Optimized stereoscopic visualization
US20110072355A1 (en) * 2009-09-24 2011-03-24 Fuji Xerox Co., Ltd. At-a-distance magic lenses for privacy-sensitive, collaborative document viewing across mobile devices and large displays

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US7113618B2 (en) * 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
US20070064982A1 (en) * 2005-09-19 2007-03-22 General Electric Company Clinical review and analysis work flow for lung nodule assessment
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
CN100481161C (zh) * 2006-05-12 2009-04-22 财团法人工业技术研究院 影像显示装置
US7591558B2 (en) * 2006-05-31 2009-09-22 Sony Ericsson Mobile Communications Ab Display based on eye information
TW200828176A (en) * 2006-06-08 2008-07-01 Euclid Discoveries Llc Apparatus and method for processing video data
TW200841736A (en) * 2007-01-23 2008-10-16 Euclid Discoveries Llc Systems and methods for providing personal video services

Also Published As

Publication number Publication date
US10009603B2 (en) 2018-06-26
US20150015671A1 (en) 2015-01-15
US8762846B2 (en) 2014-06-24
EP2333640A1 (en) 2011-06-15
US20110115883A1 (en) 2011-05-19
TW201145074A (en) 2011-12-16
CN102063249A (zh) 2011-05-18

Similar Documents

Publication Publication Date Title
TWI461960B (zh) 一種通信方法和通信系統
CN110908503B (zh) 跟踪设备的位置的方法
US9360671B1 (en) Systems and methods for image zoom
JP2019092170A (ja) ３ｄプレノプティックビデオ画像を作成するためのシステムおよび方法
US10531066B2 (en) Method for displaying 3D image and device for same
US11209900B2 (en) Information processing device and information processing method
KR20200073487A (ko) 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
EP3039476B1 (en) Head mounted display device and method for controlling the same
JP2019079339A (ja) 画像生成装置、画像生成システム、画像生成方法、およびプログラム
US10997741B2 (en) Scene camera retargeting
KR20130106001A (ko) 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법
US11750915B2 (en) Mobile terminal
US20180192031A1 (en) Virtual Reality Viewing System
JP2019534493A (ja) 拡張現実感のための装置および方法
KR20150057064A (ko) 전자 다바이스 및 그 제어방법
EP2426937A1 (en) Image processing apparatus, image processing method, and computer program
KR20200115631A (ko) 멀티뷰잉 가상 현실 사용자 인터페이스
KR101793739B1 (ko) 3차원 촬영과 재생이 가능한 이동단말
US9811160B2 (en) Mobile terminal and method for controlling the same
JP2015023435A (ja) 表示装置、透過型表示装置および表示装置の制御方法
US20170155892A1 (en) Wearable stereoscopic camera system for 3d virtual reality imaging and networked area learning
KR101153120B1 (ko) 입체영상의 깊이감 조정 방법 및 이를 위한 사용자 기기
CN103220458A (zh) 一种立体摄像装置和立体摄像方法
EP4352966A1 (en) Device with dynamic transcode throttling
CN117981296A (zh) 使用多个相机的扩展视场