TWI507961B - 用於產生圖形使用者介面表示之方法及相關裝置與非暫態電腦可讀取媒體 - Google Patents

用於產生圖形使用者介面表示之方法及相關裝置與非暫態電腦可讀取媒體 Download PDF

Info

Publication number
TWI507961B
TWI507961B TW098139730A TW98139730A TWI507961B TW I507961 B TWI507961 B TW I507961B TW 098139730 A TW098139730 A TW 098139730A TW 98139730 A TW98139730 A TW 98139730A TW I507961 B TWI507961 B TW I507961B
Authority
TW
Taiwan
Prior art keywords
depth
image
command
gui
button
Prior art date
Application number
TW098139730A
Other languages
English (en)
Other versions
TW201037592A (en
Inventor
Philip Steven Newton
Francesco Scalori
Original Assignee
Koninkl Philips Electronics Nv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninkl Philips Electronics Nv filed Critical Koninkl Philips Electronics Nv
Publication of TW201037592A publication Critical patent/TW201037592A/zh
Application granted granted Critical
Publication of TWI507961B publication Critical patent/TWI507961B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

用於產生圖形使用者介面表示之方法及相關裝置與非暫態電腦可讀取媒體
本發明係關於一種在一3D影像裝置上提供三維[3D]圖形使用者介面[GUI]以經由使用者控制構件來控制一使用者裝置的方法，該等使用者控制構件經配置用於接收使用者動作且產生對應之控制信號。
本發明係進一步關於一種提供一3D圖形使用者介面以經由使用者控制構件來控制一使用者裝置的3D影像裝置，該等使用者控制構件經配置用於接收使用者動作且產生對應之控制信號。
本發明係關於如下領域：在一3D影像裝置上呈現及顯示影像資料(例如視訊)，且提供一GUI以由一使用者控制一使用者裝置，例如該3D影像裝置本身或與之耦合之另一使用者裝置，該使用者正利用使用者控制構件(譬如遠端控制單元、滑鼠、操縱桿、專屬按鈕、游標控制按鈕等)操作(巡覽、選擇、啟動等)該GUI中之圖形元件。
用於呈現視訊資料之裝置業廣為人知，例如用於呈現數位視訊信號之視訊播放器，譬如DVD播放器、BD播放器或電視機視訊轉換器。該呈現裝置通常用作為一源裝置以耦合至一顯示裝置(譬如一電視機)。自該源器件經由一合適介面(譬如HDMI)傳送影像資料。給予視訊播放器之使用者一組使用者控制元件，譬如一遠端控制裝置上之按鈕，或虛擬按鈕，以及一圖形使用者介面(GUI)中之其他使用者控制項。該等使用者控制元件容許使用者經由該GUI調整視訊播放器中之影像資料之呈現。
目前已有裝置係基於二維[2D]顯示技術，並應用2D GUI來控制例如一行動電話中或一2D PC監視器上之多種功能。而且，3D圖形系統係正被研發。舉例而言，WO 2008/044191文件描述一種用於建立3D圖形資料之圖形系統。形成一圖形串流以表示該3D圖形資料。該圖形串流包括具有2D圖形資料之一第一分段及包括一深度圖之一第二分段。一顯示裝置基於該資料串流來呈現3D子標題或圖形影像。
一3D GUI之研發需要現有2D元件被重新建立為3D物件，例如藉由增添一深度圖而實現。然而，建立、處理及操縱新3D物件需要一強大處理環境。
本發明之一目的係提供一種具較小複雜性之3D圖形使用者介面。
為此目的，根據本發明之一第一態樣，在如本文[發明所屬之技術領域]段落所述之方法中，該方法包括：提供一一圖形資料結構，該圖形資料結構表示用於顯示在3D圖形使用者介面中之一圖形控制元件；提供用於表示圖形控制元件之二維[2D]影像資料予該圖形資料結構；及提供用於定位該2D影像資料於該3D圖形使用者介面中之一深度位置的至少一深度參數予該圖形資料結構。
為此目的，根據本發明之一第二態樣，該3D影像裝置包括：輸入構件，其用於接收一圖形資料結構，該圖形資料結構表示用於顯示在3D圖形使用者介面中之一圖形控制元件，該圖形資料結構具有用於表示該圖形控制元件之二維[2D]影像資料及至少一深度參數；及圖形處理器構件，其用於處理用於定位該2D影像資料於該3D圖形使用者介面中之一深度位置的圖形資料結構。
為此目的，根據本發明之一進一步態樣，提供一種圖形資料結構，該圖形資料結構表示用於顯示在一3D影像裝置上三維[3D]圖形使用者介面中之一圖形控制元件，以經由使用者控制構件來控制一使用者裝置，該等使用者控制構件經配置以接收使用者動作且產生對應之控制信號，該圖形資料結構包括：用於表示該圖形控制元件之二維[2D]影像資料；及至少一深度參數，其用於定位該2D影像資料於該3D圖形使用者介面中之一深度位置。
為此目的，根據本發明之一進一步態樣，提供一種包括影像資料之記錄載體，其用於在一3D影像裝置上提供三維[3D]圖形使用者介面，以經由使用者控制構件而控制一使用者裝置，該等使用者控制構件經配置以接收使用者動作且產生對應之控制信號，該記錄載體包括由實體可偵測標記構成之一磁軌，該等標記包括該影像資料，該影像裝置經配置以接收該影像資料，該影像資料包括：一圖形資料結構，該圖形資料結構表示用於顯示在3D圖形使用者介面中之一圖形控制元件，該圖形資料結構包括：用於表示該圖形控制元件之二維[2D]影像資料；及用於定位該2D影像資料於該3D圖形使用者介面中之一深度位置的至少一深度參數。
為此目的，根據本發明之一進一步態樣，提供一種用於在一3D影像裝置上提供三維[3D]圖形使用者介面之電腦程式產品，該程式可操作以致使一處理器執行上文所定義之方法。
上文所提及之諸態樣構成一種用於提供三維圖形使用者介面之系統。在該系統中該等措施具有之如下效果：現有2D圖形資料結構係藉增添深度參數而延伸。圖形資料結構之影像資料具有一2D結構，而所增添之至少一深度參數容許將3D顯示器中之元件定位於一所期望之深度層級。而且，該等使用者控制構件提供控制信號以基於3D GUI空間中所定位之2D圖形元件，經由該3D GUI操作及巡覽。
本發明亦基於下列認知。3D圖形物件之建立及處理需要基本處理能力，這增加裝置之複雜性及價格。而且，將存在根本無法處理或顯示3D資料之大量舊型(legacy)裝置。本發明者已發現可藉由提供一GUI而實現介於舊型2D環境與新3D系統之間的一有效相容性，該GUI係基於2D系統但針對定位增強之2D圖形元件於3D空間中而增強。該等增強之2D圖形元件容許在該空間中在該等元件之間進行巡覽。
在該系統之一實施例中，該圖形資料結構包括下列深度參數之至少一者：
-用於指示深度方向上之圖形控制元件之目前位置作為一對應2D圖形資料結構之一額外引數(argument)的一深度位置；
-用於指示深度方向上之圖形控制元件之目前位置作為一對應2D圖形資料結構之一色彩模型之一額外座標的一深度位置。
其效果係該深度參數係以與現有2D系統相容之一方式增添至2D結構。此具有下列優勢：此等舊型裝置可忽略所增添之參數，而增強型系統可應用所增添之深度參數來產生3D GUI。
在該系統之一實施例中，該圖形資料結構包括一3D巡覽指示符，該3D巡覽指示符指示3D圖形使用者介面中之3D巡覽係相對於圖形資料結構而啟用。其效果係：在增強型系統中，該巡覽指示符指示深度參數之圖形資料結構之各自欄位中是否含有一有效值，及用於巡覽之進一步深度參數。此具有可很容易偵測該圖形資料結構是否適用於該3D GUI之優勢。
根據本發明之裝置及方法之進一步較佳實施例係於隨附申請專利範圍中給出，所揭示之內容係以引用之方式併入本文中。
本發明之此等及其他態樣將自憑藉下列描述中之實例並參考附圖描述之實施例而變為明顯，且參考該等而進一步闡明。
在圖中，對應於已描述之元件的該等元件具有與之相同之元件符號。
圖1展示一種用於提供三維[3D]圖形使用者介面之系統。該系統可呈現影像資料，諸如視訊、圖形或其他可視資訊。一3D影像裝置10經耦合作為一源裝置而傳送資料至一3D顯示裝置13。請注意，該等裝置亦可組合至一單一單元中。該3D影像裝置具有用於接收影像資訊之一輸入單元51。舉例而言，該輸入單元裝置可包括用於自一光學記錄載體54(譬如DVD或藍光光碟)擷取多種類型之影像資訊的一光碟單元58。或者，該輸入單元可包括用於耦合至一網路55(例如網際網路或廣播網路)之一網路介面單元59。可自一遠端媒體伺服器57擷取影像資料。
該3D影像裝置具有耦合至輸入單元51之一處理單元52，該處理單元52用於處理影像資訊以產生待經由一輸出單元12傳送至該顯示裝置的傳送資訊56。該處理單元52經配置用於產生傳送資訊56中所包括的影像資料以用於顯示在該3D顯示裝置13上。該3D影像裝置配備目前稱之為第一使用者控制元件15的使用者控制元件，用於控制多種功能，例如影像資料之顯示參數(諸如對比度或色彩參數)。特定言之，該使用者控制單元回應於接收使用者動作(例如按下按鈕)而產生信號，並產生對應之控制信號。諸如此類之使用者控制元件係廣為人知，且可包括一遠端控制單元，該遠端控制單元具有，用以控制該3D影像裝置之多種功能(諸如播放及記錄功能)及用於操作一圖形使用者介面(GUI)中之圖形控制元件。該處理單元52具有用於處理源影像資料而提供該影像資料至輸出單元12的電路。該處理單元52可具有一GUI單元，該GUI單元用於產生該GUI之影像資料及用於定位增強之圖形控制元件於該GUI中(如下進一步描述)。
該3D影像裝置可具有一資料產生器單元(11)，用於提供一圖形資料結構，該圖形資料結構表示用於顯示在3D圖形使用者介面中之一圖形控制元件。該單元提供用於表示圖形控制元件之二維[2D]影像資料予該圖像資料結構，並進一步提供用於定位該2D影像資料於該3D圖形使用者介面之一深度位置的至少一深度參數予該圖形資料結構。
3D顯示裝置13係用於顯示影像資料。該裝置具有一輸入單元14，該輸入單元14用於接收自一源裝置(譬如3D影像裝置10)傳送之包括影像資料之傳送資訊56。該3D顯示裝置配備目前稱為第二使用者控制元件16的使用者控制元件，用於設定顯示器之顯示參數(諸如對比度或色彩參數)。經傳送之影像資料係在處理單元18中進行處理。該處理單元18可具有一GUI單元19，該GUI單元19用於產生該GUI之影像資料及用於定位增強之圖形控制元件於該GUI中(如下進一步描述)。該GUI單元19經由該輸入單元14接收該圖形資料結構。
該3D顯示裝置具有用於顯示經處理之影像資料的一顯示器17，例如一3D增強型LCD或電漿螢幕，或可與同樣廣為人知之觀察設備(譬如專用護目鏡)協作。因此，影像資料之顯示係以3D執行，並可包括當在源裝置(例如光碟播放器11)或該3D顯示裝置本身中處理時顯示一3D GUI。
圖1進一步展示作為影像資料之一載體的記錄載體54。該記錄載體可例如係一磁性載體(譬如硬碟)或一光碟。該記錄載體成碟狀並具有一磁軌及一中央孔。由一系列實體可偵測標記構成之該磁軌係根據螺旋或同心旋轉圖案加以配置，以構成一資訊層上之大體平行之磁軌。稱之為光碟(例如CD、DVD或BD(藍光光碟))之該記錄載體係光學可讀的。資訊係藉沿磁軌(例如訊坑(pit)及軌面(land))之光學可偵測標記而被表示在資訊層上。磁軌結構亦包括用於指示資訊單元位置的位置資訊，例如標頭及位址，通常稱之為資訊區塊。記錄載體54承載表示經數位編碼(例如根據MPEG2編碼系統編碼至一預定義記錄格式，諸如DVD或BD格式)之影像資料(譬如視訊)之資訊。為了配合所提及之三維圖形使用者介面，該記錄載體之磁軌中之標記亦體現該圖形資料結構。
在BD系統之情形下，更多細節在由藍光光碟協會(http://www.bluraydisc.com)發行之公開可用技術白皮書，2004年8月「Blu-ray Disc Format General」及2005年11月「Blu-ray Disc 1.C Physical Format Specifications for BD-ROM」中發現。
下文中，當提及BD應用程式格式時，將明確引用美國專利申請案第2006-0110111號(Attourney檔案號碼NL021359)及由藍光光碟協會發行之白皮書，2005年3月「Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM」中所揭示之應用程式格式。
據悉，BD系統亦提供網路連接能力予一完全可程式化應用程式環境，藉此使內容提供者能夠建立互動式內容。此模式係以JavaTM ()3平台為基礎且被稱為「BD-J」。BD-J定義數位視訊廣播(DVB)多媒體家用平台(MHP)規格1.0之一子集(公開可用為ETSI TS 101 812)。藍光播放器之一實例係Sony公司所出售之Sony Playstation 3TM 。
3D影像系統係配置以在一3D影像顯示器上顯示三維(3D)影像資料。另外該影像資料包括用於在一3D顯示裝置上顯示之深度資訊。提及參考圖1而描述之系統，顯示裝置53可係具有箭頭44所指示之一顯示深度範圍的一立體顯示器。可自經增強以包含3D影像資料之一光學記錄載體54擷取3D影像資訊。可經由網際網路自遠端媒體伺服器57擷取該3D影像資訊。
下列段落提供三維顯示器及人對深度之感知的一概觀。3D顯示器在感觀上不同於2D顯示器，因為3D顯示器可提供更生動之深度感知。此實現之原因在於，3D顯示器提供更多深度提示(cue)，而2D顯示器僅可展現單眼深度提示及以動作為基礎之提示。
可使用單個眼睛自一靜態影像獲得單眼(或靜態)深度提示。畫家通常使用單眼提示來建立油畫中之深度感測。此等提示包括相對大小、相對於水平線之高度、遮蔽、透視、紋理梯度及照明/陰影。眼球動作提示係自一觀察者之眼肌中之張力所得之深度提示。眼睛具有用於轉動眼睛及拉伸水晶體之肌肉。水晶體之拉伸及鬆弛被稱為適應，且當聚焦於一影像時得以實現。水晶體肌肉之拉伸或鬆弛量提供對一物件係多遠或多近之一提示。完成眼睛轉動以使得雙眼睛聚焦於相同物件上，稱之為會聚。最終，動作視差係接近一觀察者之物件似比更遠之物件移動更快之效果。
雙眼像差係自吾人之雙眼看見一略有不同之影像的事實得到的一深度提示。單眼深度提示可係任何2D可視顯示器類型並用於任何2D可視顯示器類型中。為重新建立一顯示器中之雙眼像差，需要該顯示器可為左眼及右眼分割視圖，以使得每一眼睛看見該顯示器上略有不同之影像。可重新建立雙眼像差之顯示器係專用顯示器，稱之為3D或立體顯示器。該等3D顯示器能夠沿實質上由人眼感知之一深度維度顯示影像，在此文件中稱之為具有顯示深度範圍之3D顯示器。因此，3D顯示器提供一不同視圖給左眼及右眼。
可提供兩不同視圖之3D顯示器問世已久。大多數3D顯示器係基於使用雙眼式眼鏡來分離左眼及右眼視圖。目前，隨著顯示技術之進步，新顯示器業已進入市場，其等可在不使用雙眼式眼鏡下提供一立體視圖。此等顯示器被稱為自動立體顯示器。
一第一方法係基於LCD顯示器，容許使用者在不需要雙眼式眼鏡的情況下觀看立體視訊。此等係基於兩項技術之任一者，雙凸螢幕及視差屏障式顯示器。利用該雙凸螢幕顯示器，該LCD係被一片雙凸透鏡覆蓋。該等透鏡繞射來自顯示器之光，以使得左眼及右眼接收來自不同像素之光。此容許兩不同影像之一者用於待顯示之左眼視圖且另一者用於待顯示之右眼視圖。
對該雙凸螢幕之一替代物係視差屏障式顯示器，其在LCD後方及背光照明前方使用一視差屏障物來分離來自LCD中像素之光。該屏障物係致使，自螢幕前方之一設定位置，左眼看見之像素不同於右眼之像素。視差屏障式顯示器之一問題係亮度及解析度損耗，且亦具一極狹窄之觀察角度。此使得其與例如具有9個視圖及多視域區欄位之雙凸螢幕相比不夠引人注目作為起居室電視機。
一進一步方法仍以使用快門雙眼式眼鏡與可高刷新率(例如120赫茲)顯示圖框之高解析度個人視訊機(beamer)組合為基礎。此高刷新率係因利用該快門雙眼式眼鏡方法交替顯示左眼及右眼視圖而需要。配戴此雙眼式眼鏡之觀察者感知60赫茲之立體視訊。該快門雙眼式眼鏡方法容許高品質視訊及高層級深度。
自動立體顯示器及快門雙眼式眼鏡方法卻皆遭受適應性會聚失配。此確實限制深度量及可使用此等裝置舒適觀察之時間。存在其他顯示技術，諸如全像顯示器及體積式顯示器(volumetric displays)，其等卻不遭受此問題。請注意，本發明可用於任何類型之具有一深度範圍之3D顯示器。
用於3D顯示器之影像資料係假定為可用作電子(通常數位)資料。本發明係關於此影像資料並在數位域中操縱該影像資料。當自一源(例如藉使用雙相機)傳送時，該影像資料可已包含3D資訊，或一專屬預處理系統可涉及自2D影像建立/重新建立3D資訊。影像資料可為靜態(譬如幻燈片)或可包括動態視訊(譬如電影)。其他影像資料(通常稱之為圖形資料)可作為經儲存物件取得，或按一應用程式所需在即時處理時產生。舉例而言，使用者控制資訊(譬如選單、巡覽項目或文字及說明註解)可增添至其他影像資料。
存在多種不同方式，其中立體影像可係格式化的，稱之為3D影像格式。某些格式係基於使用一2D通道亦來承載立體資訊。舉例而言，左視圖及右視圖可交錯，或可並排及上下放置。該等方法犧牲解析度來承載立體資訊。另一選擇是犧牲色彩，此方法被稱為互補色立體法(anaglyphic stereo)。互補色立體法使用基於以補色顯示兩個分離、覆疊影像之光譜多工。藉由使用具有有色濾光器之雙眼式眼鏡，每一眼睛僅看見與該眼睛前方之濾光器相同色彩之影像。因此舉例而言，右眼僅看見紅色影像作，且左眼僅看見綠色影像。
一不同3D格式係基於兩個視圖，該個兩視圖使用一2D影像及一額外深度影像，即，所謂深度圖，其傳達有關2D影像中物件之深度的資訊。稱為影像+深度之格式因其係一2D影像與一所謂「深度」或像差圖之組合而不同。此係一灰階影像，藉此一像素之灰階值指示相關聯2D影像中對應像素之像差量(或一深度圖情形下之深度)。顯示裝置使用該像差圖或深度圖來計算將2D影像作為輸入之額外視圖。此可以多種方式實現，最簡單之形式大抵上為取決於關於像素之像差值而使該等像素向左或向右移位。由Christoph Fen之題為「Depth image based rendering,compression and transmission for a new approach on 3D TV」之文件給出此項技術之一極佳概觀(見http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf)。
圖2展示影像資料之一實例。該影像資料之左部分係一2D影像21(通常為彩色)，且該影像資料之右部分係一深度圖22。2D影像資訊可以任何合適影像格式表示。深度圖資訊可係具有每一像素之一深度值的一額外資料串流，可能具較2D影像縮減之解析度。在深度圖中，灰階值指示2D影像中相關像素之深度。白色指示接近觀察者，而黑色指示遠離觀察者之一較大深度。一3D顯示器可藉由使用深度圖之深度值並藉由計算所需像素變換來計算所需立體之額外視圖。可使用評估或孔洞充填技術來解決遮蔽。進一步之圖(譬如遮蔽圖、像差圖及/或在一背景前方移動之透明物件的透明度圖)可增添至影像及深度圖格式。
當自一播放器裝置(諸如藍光光碟播放器)發送視訊至一立體顯示器時，增添立體至視訊亦影響該視訊之格式。在2D情形下，僅發送一2D視訊串流(解碼圖像資料)。對於立體視訊，此隨目前須發送包含第二視圖(立體)或一深度圖之一第二串流增加。此可加倍電介面上之所需位元率。一不同方法是以犧牲解析度並格式化該串流，以使得第二視圖或深度圖交錯或與2D影像並排放置。圖2展示如何實現此來傳輸2D資料及一深度圖之一實例。當覆疊圖形至視訊上時，可使用進一步分離之資料串流。
所提出之3D影像系統可經由一合適數位介面傳送包括圖形資料結構之影像資料。當一播放裝置－通常為一BD播放器－擷取或產生偵測此標記之圖形資料結構時，其於一視訊介面(諸如著名的HDMI介面(例如見2006年11月10日之High Definition Multimedia Interface Specification Version 1.3a))上傳輸該圖形資料結構與該影像資料。
本文所述之3D影像系統之主要思想表示對上文所陳述之問題之一通用解決方案。下文之詳盡描述係僅基於藍光光碟(BD)播放及使用Java程式設計實例之特定情形的一實例。用於儲存音訊視訊資料(AV資料)之BD階層式影像資料結構係由Title(標題)、Movie Object(電影物件)、Play List(播放清單)、Play Item(播放項目)及Clip(剪輯)組成。一使用者介面係基於容許於多種標題及選單之間巡覽之一索引表(Index Table)。BD之影像資料結構包括圖形元件，以產生圖形使用者介面。影像資料結構可藉由包括另一控制資料以表示圖形資料結構而增強至一3D GUI，如上文所述。
一圖形使用者介面(GUI)之一實例係描述如下。將注意，在此文件中，該3D GUI係用作一對任何互動式視訊或影像內容(諸如視訊、電影、遊戲等)之一命名，其呈現與使用者可以任何方式互動之圖形元件組合的3D影像資料，例如選擇、移動、修改、啟動、按下、刪除等。任何功能可耦合至此類元件，例如：無任何功能；僅介面本身內之一功能，譬如反白顯示；顯示裝置之一功能，譬如開始一電影；及/或其他裝置之功能，例如一家用報警系統或一微波爐。
BD發行格式為內容作者定義一完整應用環境，以建立一互動式電影體驗。其中之部分係該系統建立選單及按鈕。此係基於使用選單及按鈕之點陣圖影像(即2D影像資料)及容許將該等選單及該等按鈕被動畫化之構圖資訊。該構圖資訊可被稱為構圖元件或分段，並係所提出之圖形資料結構之一實例。使用者介面及GUI之一典型實例係當一使用者選擇一選單中之一按鈕時，該按鈕之狀態及外觀發生改變。當藍光光碟規格支援具有容許一內容建立者控制系統之全部特徵之一較大組程式庫的Java程式設計語言時，此可更進一步涉及全部類型之動畫及內容調適。
目前，BD為一內容作者提供兩種機制以建立使用者選擇選單。一方法是以使用預定義HDMV互動式圖形規格，另一方法係完全使用Java語言及應用程式設計介面。
該HDMV互動式圖形規格係基於包含運行長度編碼點陣圖圖形之一MPEG-2基礎串流。此外在BD中，元資料結構容許一內容作者指定動畫效果及取決於該串流中之圖形物件之巡覽命令。具有相關聯之一巡覽命令的圖形物件被稱為(選單)按鈕。定義動畫效果及與按鈕相關聯之巡覽命令的元資料結構被稱為interactive composition(互動式構圖)結構。
HDMV係在使用發送一關鍵事件串流(而非位置資訊)之一傳統遠端控制(例如圖1所示之單元15)的基礎上加以設計。無可用的自由移動之游標。為解決此，吾人提議一映射方案：映射輸入裝置之位置變化至一使用者作業。為此目的，定義兩項新互動式使用者作業：一Move_Forward Selected_button及一Move_Backward-Selected_button。在朝後、遠離螢幕之一位置改變產生所謂Move_Backward-Selected_button作業，在朝向該螢幕之一位置改變產生所謂forward selected_button使用者作業。
Java係一程式設計環境，其使用Sun Microsystems之Java語言連同基於DVB-GEM標準(數位視訊廣播(DVB)-MHP全域執行(GEM))之一程式庫集合。基於Java程式設計語言之更多資訊可造訪http://java.sun.com/，且GEM及MHP規格可從ETSI(www.etsi.org)獲得。在該可用程式庫集合之間存在一設定，其提供程式設計員存取函式，以利用選單及按鈕及其他GUI元件來建立一使用者介面。
在一實施例中，由BD得知之interactive composition分段係得以增強，且延伸至兩類型3D互動式圖形資料結構中。該圖形資料結構之一實例依靠使用現有輸入裝置(諸如方向鍵)來巡覽選單。另一實例容許使用容許亦在深度上巡覽之輸入裝置。第一interactive composition圖形資料結構係完全回溯相容，並可參考具有不同「深度」位置之圖形物件，但其不提供額外結構予支援額外鍵以在深度或「z方向」上巡覽的輸入裝置。3D第二interactive composition圖形資料結構類似於第一composition物件，但延伸以容許輸入裝置提供「z方向」輸入之輸入裝置，且不與現有播放器相容。
此外，對於3D提供interactive composition圖形資料結構之延伸按鈕結構，以使得其包含在按鈕之「z方向」或深度上之位置的一項目，及用於指示在深度上高於或低於目前所選擇按鈕之按鈕的一識別符。此容許使用者使用一遠端裝置上之一按鈕來切換位於一不同深度位置之按鈕間之選擇。
對於Java程式設計環境，增添包括延伸該Java介面以有可能在深度維度上巡覽之一使用者介面元件的一額外程式庫。而且，提供兩項新使用者作業及相關關鍵事件，指示一使用者何時已按下該遠端裝置上之一鍵以在深度方向上進行巡覽。
該等改變對於內容作者之優勢有可能是建立簡單3D使用者介面，並在不導入大量技術複雜性至該播放器裝置之實施下容許使用者使用一適當輸入裝置來巡覽該3D使用者介面。
圖3展示一interactive composition結構之一區段。圖形資料結構係用於藍光光碟中。此表中之第四欄位係被保留，其被插入用於位元組對齊。第四欄位大小係6位元，且使用該6位元之1位元來增添一額外欄位，該額外欄位指示該interactive composition是否支援3D巡覽。
圖4展示具有一3D巡覽指示符(名為3D_Navigation)之一interactive composition結構的一區段。此3D_Navigation欄位指示該interactive composition是否支援3D巡覽。一位元(1b )之旗標指示支援3D(3個方向自由度[DOF]，x、y及z)，0b 指示僅支援2D巡覽(2-DOF)。
圖5展示一圖形控制元件。該表展示用於BD中之一button(按鈕)結構之一簡化表示。
圖6展示一3D增強圖形控制元件。該表展示經延伸用於選單之按鈕結構的版本，該選單係由3D圖形物件組成，但不使用額外輸入構件來巡覽該選單。此處，保留之7位元係用於指示按鈕之一深度位置，以使用一2-DOF輸入裝置(諸如一遠端裝置上之4個方向鍵)容許使用者在位於不同深度位置之按鈕間巡覽。舉例而言，向上方向鍵可選擇位於更遠離觀察者之一按鈕，而向下方向鍵係用於選擇接近該觀察者之一按鈕。請注意，8位元(255個值)係用於指示深度，但目前僅7個可用，故此吾人使用該7個位元作為一8個位元值之MS位元。其它映射亦可行。
藉由增添一深度位置至該button結構，內容作者可將按鈕定位於不同深度，且在其等按鈕之間建立一z軸順序，藉此一按鈕(按鈕之部分)疊加於另一按鈕上。舉例而言，當一使用者選擇不處於前方之一按鈕時，該按鈕移至前方以顯示完整按鈕，接著若該使用者希望繼續，則其可按下「OK」或「Enter」鍵來選擇與該按鈕相關之動作。
圖7展示一3D button(3D按鈕)結構。該表經延伸以容許來自一3 DOF之裝置之輸入並因此提供完整3D巡覽。當圖6之表中所指示之3D_Navigation 欄位設定為1b 時，此button結構將用於該interactive composition。因在現有button結構中無足夠保留欄位，故已定義非相容於現有裝置之一新結構。
所增添之欄位係一depth position (深度位置)、一front button identifier (前按鈕識別符)及一back button identifier (後)。Depth position 係一16位元值，以連同horizontal position(水平位置)及vertical position(垂直位置)而指示3D空間中之位置。使用16位元來匹配其他位置參數，實際上更少位元可足矣，但使用16位元以最小代價建立空間以用於未來系統。
front button identifier 及back button identifier 欄位係用於指示哪些按鈕定位於此按鈕前方或後方，並當使用者在深度或所謂「z方向」上巡覽(即遠離螢幕或朝向螢幕)時，指示此等按鈕應被選擇。front button identifier係用於指示位於目前圖形控制元件前方之另一圖形控制元件的一前控制參數的一實例，而back button identifier係用於指示位於目前圖形控制元件後方之另一圖形控制元件的一後控制參數的一實例。
到目前為止，已論述對延伸3D藍光光碟HDMV互動式圖形之較佳解決方案，其容許一內容作者使用兩種方法：一種方法係回溯相容但僅支援2-DOF巡覽；另一種方法係非相容但不會過時並支援3-DOF巡覽。
若相容性重要，則仍存在其他之解決方案，但其等犧牲某些之功能性。如圖5所示，button結構具有7個保留位元，可用來指示一按鈕之深度位置及此按鈕前方或後方之按鈕的識別符兩者。舉例而言，3位元可用來指示深度位置；此容許內容作者指示深度上之8個層級。剩餘4位元可用作容許後或前四按鈕之識別符。該方法可連同button結構中之某些其他保留位元使用，但該等位元當作為其他欄位元之部分時則不太合適，因該等欄位不與所提出之新值一致。
在一實施例中，替代於使用保留位元，建立一「虛設」按鈕。此按鈕無視覺組件、無巡覽命令並由一「真實」按鈕所控制。「虛設」按鈕純係用以指示按鈕深度及後方與前方之按鈕識別符。
圖8展示承載3D參數之一「虛設」按鈕結構的一表示。該表展示用以承載3D button參數之一「虛設」按鈕的一實例。「虛設」按鈕之識別符使其可與對應「真實」2D按鈕相關聯。而且，視需要使用保留之7位元連同前述項目(auto action(自動動作)旗標)之1位元以指示按鈕之深度位置。horizontal position及vertical position欄位係與對相關聯2D按鈕之情形相同。upper button identifier(上按鈕識別符)及lower button identifier(下按鈕識別符)係用以分別承載後及前按鈕之識別符。
normal state(正常狀態)、selected state(經選擇狀態)及activated state(經啟動狀態)等項目通常係用以參考表示按鈕之圖形物件。當不存在與一按鈕相關之圖形物件時，根據標準之值應設定為0xFFFF。
對於BD-Java環境解決方案在某種程度上有所不同，因BD-java為不取決於靜態資料結構卻基於執行一組作業之函式之程式庫的一種程式設計環境。基礎圖形使用者介面元件係java.awt.Component類別。此類別係java.awt程式庫中全部使用者介面相關項目之基礎超級類別，諸如button(按鈕)、textfield(文字欄位)等。完整規格可自Sun(www.java.sun.com)獲得(http://java.sun.com/javame/reference/apis.jsp )。
以下相關段落描述延伸Java 2D圖形以包括深度。將描述如何延伸java.awt程式庫以容許互動式圖形物件定位於3D空間中。除此之外，定義新使用者事件以亦容許6個DOF巡覽予該java.awt程式庫中之全部使用者介面元件。
圖9展示一關鍵事件表。數個可能關鍵事件係為藍光光碟定義。其等關鍵事件經延伸以包括深度方向上之關鍵事件。VK_FORWARD指示當按下一鍵時，是以朝螢幕移動，而VK_BACKWARD指示按下對應於遠離該螢幕方向之鍵。
亦定義對應之使用者作業：Move Forward Selected Button及Move backward Selected Button。此種對關鍵事件及使用者作業之延伸容許在光碟上建立基於Java之互動式應用程式，藉此使用者可在深度方向上多個按鈕之間巡覽，以自最前部按鈕朝至更深入螢幕之數個按鈕進行。
為了支援6 DOF，存在兩輸入裝置可能性。第一者將延伸InputEvent(輸入事件)類別，以支援6 DOF類型之事件。
圖10展示一Six DOF Event類別及AWTEvent階層結構。該圖展示多種預存在事件，及表示一6 DOF輸入裝置之一事件的一額外Six DOF Event。
下列係SixDofEvent類別之最簡單定義。其描述位置與定向，包括當觸動事件(例如移動、點選按鈕)時，裝置之旋轉移動(rotation movement)：滾轉(roll)、左右轉向(yaw)、上下移動(pitch)。
當移動容許6個DOF之一輸入裝置或點選該裝置上之一按鈕時，產生該等事件。控制輸入裝置所關注之應用程式須要登錄為SixDofEventListener。當觸發對應事件時，此等應用程式須要基於該輸入裝置之目前位置及定向指定其等所須具有之行為。
或者可遵循由Java 3D產生之更複雜之方法。支援透過Sensor類別而啟用6個DOF，其容許應用程式讀取輸入裝置之位置、定向及按鈕狀態之最後N個取樣值。憑藉一Transform3D物件而描述位置及定向，即憑藉一3×3旋轉矩陣、一平移向量及一標度因數而描述。
public Transform3D(Matrix3d m1,Vector3d t1,double s)
可由應用程式使用該等值；接著選擇三維空間按鈕；亦例如修改呈現場景之視角，當使用者移動其頭部來巡視物件時模仿真實發生之事件。
Java圖形應用程式可使用標準Java程式庫。Java程式庫尤其包括抽象視窗套件(AWT)，抽象視窗套件(AWT)提供用於建立圖形使用者介面(例如一「列印」按鈕)及用於直接於某些表面(例如某文字)上直接繪製圖形的基礎工具。為了開發使用者介面，多種介面工具集(widget)(稱之為組件)係可用於容許建立視窗、對話方塊、按鈕、核取方塊、捲動清單、捲軸、文字區域等。AWT亦提供多種方法，使程式設計員能够直接於先前建立之畫布上使用目前所選色彩、字體及其他屬性來繪製不同形狀(例如直線、矩形、圓形、自由文字等)。目前所有項目係二維，且某些延伸須要增添第三維度至Java圖形。
朝第三維度增強2D Java圖形係可藉以下而實現：建立3D圖形物件並將其等定位於一3D空間中，選擇一相機視角並呈現所組成之場景。此係與2D圖形完全不同之一模型，儘管品質及程式設計靈活性可達到更高水準，然其仍需要增添除用於2D繪製之程式庫以外之一分離程式庫，並且顯著需要更大量計算。
在根據本發明之一實施例中，目前2D圖形模型係連同能力延伸以利用深度資訊。非強制程式設計員開始以一完全不同之傾向思索，而是調適現有介面工具集及繪製方法以使給予程式設計員能夠指定圖形物件係應出現於哪一深度，而無論其等是否處於電視螢幕之前方或後方。
實現兩替代物來實現此可能性：調適多種繪製方法(例如drawLine、drawRect等)來接受物件之深度作為一「額外引數」；連同一表示深度之「額外座標」延伸色彩模型；以此方式指派深度至一物件原則上等效於對該物件附加(attach)一色彩。
圖11展示一Java AWT組件類別樹。程式設計員可應用該等類別來產生使用者介面。在下文段落中將闡明如何連同指定該等物件深度之能力而延伸該等物件，此可藉由增添該等方法至各自物件而實現。
圖12展示延伸Component類別以包括深度。該圖展示一種增添至一類別之方法，且藉此為，全部子類別固定容許指定其等將出現之那一深度。而且，當需要繪製組件之內容時呼叫之paint()方法，以在第三維度上延伸。參照圖16來定義類別Graphics3D。
圖13展示延伸LayoutManager類別以包括深度。該圖展示對指定深度之一替代物作為每一介面工具集之一屬性，其存在於修改該LayoutManager介面，以容許指定增添至正使用之佈局管理器的組件之深度。
圖14展示延伸以包括深度之Component類別之一實例。
圖15展示延伸以包括深度之LayoutManager類別之一實例。圖14與圖15之實例間之比較闡明圖12及圖13中所示之延伸實施例。
如上文所提及，需要增強Java標準程式庫之圖形繪製能力。Graphics類別中之全部方法容許直接於一繪畫表面上繪製線、多邊形、圓形及其他多種形狀，以及文字訊息及影像，該等方法將以其等深度之指示延伸。
圖16展示延伸Graphics類別以包括深度。已增添一額外深度整數參數。
或者，在色彩模型係利用一額外深度組件升級時，Graphics類別中之方法可完全保持不動，類似於定義物件之透明度之alpha組件。
圖17展示延伸Color類別以包括深度。此實施例需要對下一所繪製物件之深度改變係藉由以所期望深度值設定目前色彩而完成。
圖18展示延伸以包括深度之Graphics類別之一實例。
圖19展示延伸以包括深度之Color類別之一實例。圖18與圖19之實例間之比較闡明圖16及圖17中所示之延伸實施例。
圖20展示一圖形處理器系統。該系統基於一編碼視訊輸入信號200產生一視訊輸出信號207。在一輸入單元201中接收包括影像資料之該輸入信號，其可包括一輸入緩衝器。該輸入單元係耦合至一圖形處理器202，其將傳入之影像資料解碼並輸出該經解碼影像物件至一物件單元203，該物件單元203儲存物件屬性，例如自增強圖形資料結構擷取之2D影像資料(諸如點陣圖)。來自該物件單元之影像資料按要求由圖形單元204使用，該圖形單元204組合多種物件以產生包括(例如)用於顯示一圖形使用者介面之影像資料的3D視訊輸出信號。該3D視訊輸出信號可配置以具有多種純視訊(video plain)，且包含上文所述之任何格式之深度資訊。圖形處理器202進一步擷取並解碼上文所述之圖形控制結構，並儲存各資料結構於一構圖緩衝器205中。特定言之，此類資料可被稱為一構圖分段，其定義如何處理影像物件。該構圖單元係耦合至可用以提供2D視訊資料之一圖形加速器206。特定言之，增強3D圖形結構中所包括之深度資訊經處理以基於該/該等深度參數而定位2D影像資料(例如來自物件單元203之點陣圖)至一3D顯示信號中，該/該等深度參數此時包括至圖形資料結構中，用於定位2D影像資料至3D圖形使用者介面之一深度位置處。
概觀上而言，上文探究須執行至Java AWT圖形程式庫之多種延伸，以致使能夠研發包括介面工具集及不同深度層級處之物件的圖形使用者介面。接著可於支援基於Java之互動式應用程式之所有標準中利用此功能性，諸如藍光(BD-J部分)及DVB MHP。
最後請注意，應用程式並非僅限於二維+深度格式，而是亦可利用立體+深度格式。在此情形下，深度值可用以表述程式設計員對於圖形物件處應相對於螢幕平面多遠而出現的意圖；此等值接著可用以自動產生自第一視圖調適之一第二視圖，如2007年「Bruls F.;Gunnewiek R.K.;「Flexible Stereo 3D Format」;」中所描述。
將注意，可使用可程式化組件以硬體及/或軟體實施本發明。一種用於本發明之方法具有對應於參考圖1所闡明之3D影像系統的處理步驟。一3D影像電腦程式可具有用於3D影像裝置之各處理步驟之軟體功能；一顯示電腦程式可具有用於顯示裝置之各處理步驟之軟體功能。此等程式可實施於一個人電腦或一專屬視訊系統上。儘管本發明已藉實施例，使用光學記錄載體或網際網路而主要解釋，然本發明亦適用於任何影像處理環境，譬如著作軟體或廣播設備。進一步之應用程式包括一3D個人電腦(PC)使用者介面或3D媒體中心PC，一3D行動播放器及一3D行動電話。
請注意，在此文件中，詞語「包括」不排除除所羅列之元件或步驟外之元件或步驟之存在，且前述一元件之詞語「一」不排除複數個元件之存在，請注意，任何參考標記並非限制申請專利範圍之範疇，並請注意，可憑藉軟體及硬體兩者而實施本發明，且數個「構件」或「單元」可由該軟體或硬體之相同術語表示，且一處理器可實現一個或多個單元之功能，或有可能協同硬體元件實現。進一步而言，本發明並非限於該等實施例，且取決於上文所述特徵之每一及每個新穎特徵或組合。
10．．．3D影像裝置
11．．．光碟播放器
12．．．輸出單元
13．．．3D顯示裝置
14．．．使用者輸入單元
15．．．第一使用者控制元件
16．．．第二使用者控制元件
17．．．顯示器
18．．．處理單元
19．．．GUI單元
21．．．2D影像
22．．．深度圖
51．．．輸入單元
52．．．處理裝置
53．．．顯示裝置
54．．．光學記錄載體
55．．．網路
56．．．傳送資訊
57．．．遠端媒體伺服器
58．．．光碟單元
59．．．網路介面單元
200．．．編碼視訊輸入信號
201．．．輸入單元
202．．．處理器
203．．．物件單元
204．．．圖形單元
205．．．構圖緩衝器
206．．．圖形加速器
207．．．視訊輸出信號
圖1展示用於提供一3D圖形使用者介面之系統；
圖2展示影像資料之一實例；
圖3展示一interactive composition結構之一區段；
圖4展示具有一3D巡覽指示符之一interactive composition結構的一區段；
圖5展示一圖形控制元件；
圖6展示一3D增強圖形控制元件；
圖7展示一3D button結構；
圖8(包括圖8-I及圖8-II)展示承載3D參數之一「虛設」按鈕結構之一表示；
圖9展示一關鍵事件表；
圖10展示一Six DOF Event類別及AWTEvent階層結構；
圖11展示一Java AWT組件類別樹；
圖12展示對Component類別延伸以包括深度；
圖13展示對LayoutManager類別延伸以包括深度；
圖14展示經延伸以包括深度之Component類別之一實例；
圖15展示經延伸以包括深度之LayoutManager類別之一實例；
圖16展示對Graphic類別延伸以包括深度；
圖17展示對Color類別延伸以包括深度；
圖18展示經延伸以包括深度之Graphic類別之一實例；
圖19展示經延伸以包括深度之Color類別之一實例；及
圖20展示一圖形處理器系統。
10．．．3D影像裝置
11．．．光碟播放器
12．．．輸出單元
13．．．3D顯示裝置
14．．．使用者輸入單元
15．．．第一使用者控制元件
16．．．第二使用者控制元件
17．．．顯示器
18．．．處理單元
19．．．GUI單元
51．．．輸入單元
52．．．處理裝置
54．．．光學記錄載體
55．．．網路
56．．．傳送資訊
57．．．遠端媒體伺服器
58．．．光碟單元
59．．．網路介面單元

Claims (13)

  1. 一種控制裝置之方法，該方法包括下列動作：提供複數個資料結構以產生用於控制選自二維[2D]及三維[3D]裝置中之一裝置之複數個命令之一2D及一3D圖形使用者介面(GUI)表示，產生一或多個信號，其識別具有相對應2D影像之該複數個命令中之一第一命令，提供表示該經識別第一命令之該複數個資料結構中之至少一者，及將對應於該經識別第一命令之該2D影像之一參照(reference to the 2D image)分配至該經提供資料結構中之一第一欄位(field)並將用於定位對應於該3D GUI中之該經識別第一命令之該經參照2D影像之指示在一深度方向上之一位置之至少一深度參數分配至該經提供資料結構中之一第二欄位，其中該第二欄位中之該至少一深度參數在2D及3D裝置中係經不同地使用。
  2. 如請求項1之方法，其中該深度參數包括一引數(argument)及一色彩模型之一座標中之至少一者。
  3. 如請求項1之方法，其中該資料結構包括一用於指示3D巡覽係經啟用之欄位。
  4. 如請求項1之方法，其中該資料結構包括下列至少一者：用於指示該2D影像在一深度方向上之一位置的一深度 參數；用於指示該複數個命令中之至少一者先於(preceding)該經識別命令的一前控制參數；用於指示該複數個命令中之至少一者後於(following)該經識別命令的一後控制參數。
  5. 如請求項1之方法，其中該資料結構包括：一2D按鈕結構，其用於表示對應於該等命令之按鈕，及一虛設按鈕結構，其包括用於定位該2D影像資料於該3D GUI中之一深度位置的該至少一深度參數。
  6. 如請求項5之方法，其中該虛設按鈕結構包括在為一對應2D參數保留之一位置中的至少一深度參數。
  7. 如請求項1之方法，其進一步包含將該等控制信號轉換為該複數個命令之動作。
  8. 一種選自2D及3D裝置中之一裝置，該裝置包括：一控制器，其經組態以提供複數個資料結構以產生複數個用於控制該裝置之命令之一2D及一3D圖形使用者介面(GUI)表示而控制該裝置，一產生器，其經組態以產生識別具有相對應2D影像之該複數個命令中之一第一命令之一或多個信號，一接收器，其經組態以接收表示該經識別第一命令之該複數個資料結構中之至少一者，及一處理器，其經組態以將對應於該經識別第一命令之該2D影像之一參照分配至該經接收資料結構中之一第一 欄位並將用於定位對應於該3D GUI中之該經識別第一命令之該經參照2D影像之指示在一深度方向上之一位置之至少一深度參數分配至該經接收資料結構中之一第二欄位，及一顯示器，其經組態以在該3D GUI中顯示該經參照2D影像，其中該第二欄位中之該至少一深度參數在2D及3D裝置中係經不同地使用。
  9. 如請求項8之裝置，其中該接收器包括一記錄載體。
  10. 如請求項9之裝置，其中該接收器係光碟讀取器。
  11. 如請求項9之裝置，其中該至少一深度參數定位該2D影像於一深度位置。
  12. 如請求項9之裝置，其中該記錄載體包括用於在該顯示器上顯示之該2D影像。
  13. 一種非暫態電腦可讀取媒體，其包含一電腦程式產品，其經在一處理器上執行時將執行一種控制裝置之方法，該方法包括下列動作：提供複數個資料結構以產生用於控制選自2D及3D裝置中之一裝置之複數個命令之一2D及一3D圖形使用者介面(GUI)表示，產生一或多個信號，其識別具有相對應2D影像之該複數個命令中之一第一命令，提供表示該經識別第一命令之該複數個資料結構中之至少一者，及 將對應於該經識別第一命令之該2D影像之一參照分配至該經提供資料結構中之一第一欄位並將用於定位對應於該3D GUI中之該經識別第一命令之該經參照2D影像之指示在一深度方向上之一位置之至少一深度參數分配至該經提供資料結構中之一第二欄位，其中該第二欄位中之該至少一深度參數在2D及3D裝置中係經不同地使用。
TW098139730A 2008-11-24 2009-11-23 用於產生圖形使用者介面表示之方法及相關裝置與非暫態電腦可讀取媒體 TWI507961B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08169774 2008-11-24
EP08172352 2008-12-19

Publications (2)

Publication Number Publication Date
TW201037592A TW201037592A (en) 2010-10-16
TWI507961B true TWI507961B (zh) 2015-11-11

Family

ID=41510501

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098139730A TWI507961B (zh) 2008-11-24 2009-11-23 用於產生圖形使用者介面表示之方法及相關裝置與非暫態電腦可讀取媒體

Country Status (7)

Country Link
US (2) US20110225523A1 (zh)
EP (1) EP2374279A1 (zh)
JP (1) JP5616352B2 (zh)
KR (1) KR101629865B1 (zh)
CN (1) CN102224738A (zh)
TW (1) TWI507961B (zh)
WO (1) WO2010058362A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
US20110202845A1 (en) * 2010-02-17 2011-08-18 Anthony Jon Mountjoy System and method for generating and distributing three dimensional interactive content
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
JP5143856B2 (ja) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント ３次元画像表示装置、および３次元画像表示方法
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
KR20110138151A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
US10194132B2 (en) 2010-08-03 2019-01-29 Sony Corporation Establishing z-axis location of graphics plane in 3D video display
US8605136B2 (en) * 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
EP2418857A1 (en) * 2010-08-12 2012-02-15 Thomson Licensing Stereoscopic menu control
CN103069815B (zh) * 2010-08-17 2016-04-13 Lg电子株式会社 用于接收数字广播信号的设备和方法
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
US8854357B2 (en) * 2011-01-27 2014-10-07 Microsoft Corporation Presenting selectors within three-dimensional graphical environments
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US10353566B2 (en) * 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US9317194B2 (en) * 2011-09-19 2016-04-19 Koninklijke Philips N.V. Status-indicator for sub-volumes of multi-dimensional images in guis used in image processing
TWI488142B (zh) * 2012-02-24 2015-06-11 國立中山大學 應用於向量圖形點陣化之階層式緩衝器之運算方法
CZ308335B6 (cs) * 2012-08-29 2020-05-27 Awe Spol. S R.O. Způsob popisu bodů předmětů předmětového prostoru a zapojení k jeho provádění
US9607012B2 (en) * 2013-03-06 2017-03-28 Business Objects Software Limited Interactive graphical document insight element
KR101598706B1 (ko) 2014-08-14 2016-02-29 주식회사 엔씨소프트 배경 그래픽의 입체적 표시를 위한 컴퓨팅 디바이스 및 컴퓨터 프로그램
US10372108B2 (en) * 2015-08-08 2019-08-06 PopUp Play Inc. Production of components of custom structures
EP3185214A1 (en) * 2015-12-22 2017-06-28 Dassault Systèmes Streaming of hybrid geometry and image based 3d objects
EP3185152B1 (en) 2015-12-22 2022-02-09 Dassault Systèmes Distributed clash and snapping
US10719870B2 (en) * 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
US10761344B1 (en) 2019-02-07 2020-09-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for generating a volumetric image and interacting with the volumetric image using a planar display
US20220247991A1 (en) * 2019-06-28 2022-08-04 Sony Group Corporation Information processing apparatus, information processing method, reproduction processing device, and reproduction processing method
US20220148134A1 (en) * 2020-11-10 2022-05-12 Embarcadero Technologies, Inc. Systems and method for providing images on various resolution monitors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030060679A1 (en) * 2001-06-25 2003-03-27 Olympus Optical Co., Ltd Stereoscopic observation system
US20060031776A1 (en) * 2004-08-03 2006-02-09 Glein Christopher A Multi-planar three-dimensional user interface
CN101518096A (zh) * 2006-09-20 2009-08-26 苹果公司 三维显示系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260671A (ja) * 1997-03-21 1998-09-29 Sony Corp 画像表示制御装置および方法
JPH11113028A (ja) 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
US5990900A (en) * 1997-12-24 1999-11-23 Be There Now, Inc. Two-dimensional to three-dimensional image converting system
US6229542B1 (en) * 1998-07-10 2001-05-08 Intel Corporation Method and apparatus for managing windows in three dimensions in a two dimensional windowing system
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
US7441201B1 (en) * 2004-10-19 2008-10-21 Sun Microsystems, Inc. Method for placing graphical user interface components in three dimensions
JP4276640B2 (ja) * 2005-06-17 2009-06-10 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理装置の制御方法及び情報処理プログラム
JP2007317050A (ja) * 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> ３次元表示を用いたユーザインタフェースシステム
CN101523924B (zh) * 2006-09-28 2011-07-06 皇家飞利浦电子股份有限公司 3d菜单显示
WO2008044191A2 (en) 2006-10-11 2008-04-17 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data
US8208013B2 (en) * 2007-03-23 2012-06-26 Honeywell International Inc. User-adjustable three-dimensional display system and method
WO2009083863A1 (en) * 2007-12-20 2009-07-09 Koninklijke Philips Electronics N.V. Playback and overlay of 3d graphics onto 3d video
TW201130289A (en) * 2009-07-14 2011-09-01 Panasonic Corp Image reproducing apparatus
US8947422B2 (en) * 2009-09-30 2015-02-03 Disney Enterprises, Inc. Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030060679A1 (en) * 2001-06-25 2003-03-27 Olympus Optical Co., Ltd Stereoscopic observation system
US20060031776A1 (en) * 2004-08-03 2006-02-09 Glein Christopher A Multi-planar three-dimensional user interface
CN101518096A (zh) * 2006-09-20 2009-08-26 苹果公司 三维显示系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ted Boardman, "3ds Max 8 Fundamentals."May 03 2006, New Riders *

Also Published As

Publication number Publication date
WO2010058362A1 (en) 2010-05-27
EP2374279A1 (en) 2011-10-12
TW201037592A (en) 2010-10-16
JP2012510102A (ja) 2012-04-26
KR101629865B1 (ko) 2016-06-14
US20160154563A1 (en) 2016-06-02
KR20110102359A (ko) 2011-09-16
US20110225523A1 (en) 2011-09-15
CN102224738A (zh) 2011-10-19
JP5616352B2 (ja) 2014-10-29

Similar Documents

Publication Publication Date Title
TWI507961B (zh) 用於產生圖形使用者介面表示之方法及相關裝置與非暫態電腦可讀取媒體
JP5820276B2 (ja) ３ｄ画像及びグラフィカル・データの結合
US9035942B2 (en) Graphic image processing method and apparatus
RU2512135C2 (ru) Устройство воспроизведения, способ воспроизведения и программа для стереоскопического воспроизведения
CN102257825B (zh) 用于在3d视频上覆盖3d图形的方法和设备
KR20110129903A (ko) ３ｄ 시청자 메타데이터의 전송
US9445034B2 (en) Method and apparatus for processing video image
TW201215102A (en) Signaling for multiview 3D video
JP2012513146A (ja) 表示パラメータ設定の制御
US11962743B2 (en) 3D display system and 3D display method
KR101539232B1 (ko) 3차원 그래픽 생성 방법 및 장치
US20130129313A1 (en) Personalized stereoscopic image generation
KR20110007719A (ko) 기록매체, 데이터 기록/재생 방법 및 데이터 기록/재생 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees