TWI435592B - Reproducing apparatus capable of reproduction of stereoscopic video images, reproduction method, program - Google Patents

Reproducing apparatus capable of reproduction of stereoscopic video images, reproduction method, program Download PDF

Info

Publication number
TWI435592B
TWI435592B TW099133517A TW99133517A TWI435592B TW I435592 B TWI435592 B TW I435592B TW 099133517 A TW099133517 A TW 099133517A TW 99133517 A TW99133517 A TW 99133517A TW I435592 B TWI435592 B TW I435592B
Authority
TW
Taiwan
Prior art keywords
plane
graphics
eye
image
configuration
Prior art date
Application number
TW099133517A
Other languages
English (en)
Other versions
TW201138427A (en
Inventor
Osamu Yamaji
Germano Leichsenring
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW201138427A publication Critical patent/TW201138427A/zh
Application granted granted Critical
Publication of TWI435592B publication Critical patent/TWI435592B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/0021Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/0021Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier
    • G11B20/00217Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier the cryptographic key used for encryption and/or decryption of contents recorded on or reproduced from the record carrier being read from a specific source
    • G11B20/00246Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier the cryptographic key used for encryption and/or decryption of contents recorded on or reproduced from the record carrier being read from a specific source wherein the key is obtained from a local device, e.g. device key initially stored by the player or by the recorder
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/0021Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier
    • G11B20/00217Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier the cryptographic key used for encryption and/or decryption of contents recorded on or reproduced from the record carrier being read from a specific source
    • G11B20/00253Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier the cryptographic key used for encryption and/or decryption of contents recorded on or reproduced from the record carrier being read from a specific source wherein the key is stored on the record carrier
    • G11B20/00362Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier the cryptographic key used for encryption and/or decryption of contents recorded on or reproduced from the record carrier being read from a specific source wherein the key is stored on the record carrier the key being obtained from a media key block [MKB]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/0021Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier
    • G11B20/00485Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier characterised by a specific kind of data which is encrypted and recorded on and/or reproduced from the record carrier
    • G11B20/00492Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier characterised by a specific kind of data which is encrypted and recorded on and/or reproduced from the record carrier wherein content or user data is encrypted
    • G11B20/00528Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving encryption or decryption of contents recorded on or reproduced from a record carrier characterised by a specific kind of data which is encrypted and recorded on and/or reproduced from the record carrier wherein content or user data is encrypted wherein each title is encrypted with a separate encryption key for each title, e.g. title key for movie, song or data file
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B2020/1264Formatting, e.g. arrangement of data block or words on the record carriers wherein the formatting concerns a specific kind of data
    • G11B2020/1289Formatting of user data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N2013/40Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)

Description

可再生立體視覺影像之再生裝置、再生方法、程式 發明領域
一種屬於位元碼應用程式之圖形繪圖技術之技術領域之發明。
發明背景
位元碼應用程式乃意指將使用物件導向程式語言所記述之類別結構體(class structure)加以編譯(compile)所得之執行形式的程式,係藉由不依靠機器之碼(位元碼)所記述者。作為位元碼應用程式,典型者有Java應用程式。
可藉由中間軟體對位元碼應用程式提供各種功能。對於位元碼應用程式之功能提供,係由呼叫出中間軟體有裝設之封包的成員函數(member function)而達成。中間軟體有裝設之封包包含程式館,可進行伴隨有色指定之線或矩形等圖形之繪圖、指定區域之塗滿、複製、轉貼等繪圖處理。而且,中間軟體依照該程式館之功能,具備有執行圖形繪圖之繪圖部。位元碼應用程式可藉由連續發出該等繪圖處理之要求,實現各式各樣的圖形繪圖處理。用以圖形繪圖之封包中有java.awt封包,而圖形繪圖的應用程式介面會成為該java.awt封包之方法(method)。在此,用以位元碼應用程式作業之平台中,並不限於以平面視再生為前提者,亦出現有以立體視再生為前提者。以立體視再生為前提之平台,含有左眼用圖形平面與右眼用圖形平面,在平面視模式與立體視模式中,係以可切換該等圖形平面之方式而設定。
此外,專利文獻1中記載有一技術,可準備在平面視模式與立體視模式之切換前後、於視覺上看起來完全相同的切換後影像,藉此保證在模式切換前後所輸出之影像的同一性。
先行技術文獻 專利文獻
專利文獻1:專利第4266774號
然而,於立體視內容之再生時,期望是可藉由啟動應用程式,使與動態影像再生同步的GUI,繪圖至應用程式中,藉此使可易於進行在再生立體視內容時之使用者操作。上述期望係來自於內容製作人方面,希望在既存的DVB-MHP內容或BD-ROM內容中實現有使內容與應用程式連動、並使GUI處理在應用程式中進行之高度處理,亦可在立體視內容中實現。
位元碼應用程式或java.awt.Graphics係在其執行時藉由複數線程(thread)所處理,又,參數的交換係在透過儲存器(stack)之線程間通訊所進行,因此於位元碼應用程式之圖形繪圖要求會有很大的時滯(time lag)。因而,當由java.awt.Graphics受理某應用程式線程所發出的模式切換後,其他的應用程式線程所發出的2D圖形繪圖要求要達及java.awt.Graphics亦非非比尋常。
由於2D圖形繪圖要求延遲抵達,而演變成由模式切換所確保之右眼用圖形平面、右眼用圖形平面當中,僅於左眼用圖形平面中,寫入由2D圖形繪圖要求所要求之圖形,則會產生兩眼圖形之不整合,而造成使用者視覺上的不快感。
當然,即便因2D圖形繪圖要求而產生左眼-右眼之視覺不整合,只要藉由爾後的3D圖形繪圖要求之發行,使圖形進行更新,則產生左眼-右眼之視覺不整合的期間會僅為短暫期間。但,在立體視再生時的左眼-右眼之視覺不整合之發生,即便只為短暫期間,對視聽者所帶來的不快感之影響亦很大,且非常有可能會因其不快感而造成視聽者厭惡立體視內容本身,而對立體視內容之相關產品顯示有抗拒反應。故,不論期間之長短,左眼-右眼之視覺不整合並非可許容者。
為避免兩眼之圖形不整合,可將應用程式之製作規律成一律性的製造,但顯示內容固有的GUI之應用程式係由內容供給者所獨自製作,即便從再生品質而言有所訴求,亦不太可能一味地強迫推銷製造者的期望。
本發明之目的在於提供一種再生裝置,可在即便從位元碼應用程式對繪圖部之繪圖要求的時滯極大時,亦不會對欣賞立體視再生的使用者帶來視覺上的不快感。
可解決上述課題之再生裝置,其特徵在於具備讓位元碼應用程式作業之平台部、左眼用圖形平面、及右眼用圖形平面;前述平台部含有繪圖部,該繪圖部係接收來自位元碼應用程式的圖形繪圖要求而執行圖形繪圖者。前述左眼用圖形平面及右眼用圖形平面之組態中,有1平面構成與2平面構成,前者1平面構成係於平面視再生時及立體視再生時,對圖形繪圖僅使用左眼用圖形平面者,而後者2平面構成係於立體視再生時,對圖形繪圖使用左眼用圖形平面及右眼用圖形平面者。前述圖形繪圖要求中,有2D圖形之繪圖要求及3D圖形之繪圖要求;前述組態當中從1平面構成到2平面構成之切換,包含:無效處理,係使至今由位元碼應用程式所進行之2D圖形之繪圖要求無效者;及複製處理,係將左眼用圖形平面之儲存內容複製到右眼用圖形平面者。於該複製完成後,繪圖部即接受3D圖形之繪圖要求。
具備有上述課題解決手段之再生裝置,在將圖形平面之組態從1平面構成切換成2平面構成時,會使2D圖形繪圖要求無效,因此即便在圖形平面之組態從1平面構成切換成2平面構成後,存有達及繪圖部的2D圖形繪圖要求,其2D圖形繪圖要求亦會在從左眼用圖形平面到右眼用圖形平面之平面間複製執行前無效。
由於從左眼用圖形平面到右眼用圖形平面之複製,係在使儲存器上之2D圖形繪圖要求短暫性無效的情況下進行,因此在圖形平面之組態從1平面構成切換到2平面構成後,不可能因2D圖形繪圖要求達至繪圖部,而僅更新左眼用圖形平面之儲存內容。即便在使內容供給者所製作之應用程式運作而使3D圖形顯示在其應用程式的情況下,再生裝置之製造亦可藉由對立體視內容的再生品質等級賦予充分的關注,以避免對視聽其3D圖形之使用者增添不愉快的經驗。
2D圖形繪圖要求之無效乃先行於從左眼用圖形平面到右眼用圖形平面之複製,因此在從左眼用圖形平面到右眼用圖形平面的複製期間,不會有左眼用圖形平面單獨的更新。故而可完全斷絕於左眼用圖形平面中所儲存之像素當中既已複製到右眼用圖形平面者,在平面間複製期間,因2D圖形繪圖要求而於事後遭受重寫之可能性的根源。
當將圖形平面之組態從1平面構成變更至2平面構成時,乃嚴密保障左眼用圖形平面與右眼用圖形平面為同一內容,因此亦不會發生短暫期間的左眼-右眼之視覺不整合。因而,可使3D圖形的品質等級提升到極致的水準。
由於將圖形平面從1平面構成切換成2平面構成後的2D圖形繪圖要求之無效,而排除了僅單獨重寫單眼用的圖形平面之可能性,且以應用程式所繪圖之3D圖形的品質等級,係從與其應用程式之平台相當的平台立場加以保障,因此,內容供給者可委託製造維持以應用程式所繪圖之3D圖形的品質等級。藉由將3D圖形的品質管理委託於製造,可使內容供給者專心於立體視內容之製作,因此可多加促進立體視內容之製作,並圖謀立體視內容之充實性。
即使從位元碼應用程式對繪圖模組之繪圖要求的交換中發生有時滯,其時滯亦不會成為使立體視圖像之品質等級下降之主因,因此如會從位元碼應用程式對繪圖模組之繪圖要求的交換中發生時滯的軟體裝設,亦尚可接受。且對在製造開發再生裝置時的軟體裝設亦容許有自由度,因而可促進再生裝置的產品開發,且圖謀可立體視再生的再生裝置之充實性。
在現實的再生裝置之軟體裝設中,極有可能有一種裝設形態,係由java.awt.Graphics處理2D圖形繪圖要求,而由再生裝置中的裝置驅動器(device driver)執行從左眼用圖形平面到右眼用圖形平面的複製,且該等java.awt.Graphics與裝置驅動器為平行作業。但,在本發明中,2D圖形繪圖要求之無效乃先行於從左眼用圖形平面到右眼用圖形平面之複製而進行,因此當圖形平面為2平面構成時,即便在java.awt.Graphics與裝置驅動器平行作業之軟體裝設的形態中,亦可嚴密保障左眼用圖形平面與右眼用圖形平面為同一內容。因而從再生裝置之製造中,不會有剝奪軟體裝設之自由度的問題。
雖為任擇,但上述再生裝置亦可如下述構成。例如,前述再生裝置具備:解碼器,係將前述記錄媒體中所記錄之立體視視訊流(video stream)予以解碼者;左眼用視訊平面,係將以解碼立體視視訊流所得之左眼用圖片資料予以儲存者;右眼用視訊平面,係將以解碼立體視視訊流所得之右眼用圖片資料予以儲存者;及合成部,係執行左眼輸出系統之合成、及右眼輸出系統之合成者。前述左眼輸出系統之合成,係將左眼用圖形平面之儲存內容與左眼用視訊平面之儲存內容加以合成者,而前述右眼輸出系統之合成,係將左眼用圖形平面及右眼用圖形平面之其中一儲存內容,與右眼用視訊平面之儲存內容予以合成者。前述合成部在進行自前述1平面構成切換到2平面構成時,係將左眼用圖形平面之儲存內容複製到右眼用圖形平面後,開始進行將右眼用輸出系統中的右眼用圖形平面之儲存內容,合成到右眼用視訊平面之儲存內容之處理,而接受前述繪圖部之3D圖形繪圖之要求,係於合成右眼用圖形平面之儲存內容、及右眼用視訊平面之儲存內容後進行者亦可。
在從左眼用圖形平面到右眼用圖形平面之平面間複製完成之前,不會進行視訊平面與圖形平面之合成輸出,因此不會在左眼用圖形平面之儲存內容與右眼用圖形平面之儲存內容中存有視覺不整合的狀態下,將圖形與動態影像合成供給予視聽者。故可維持應以左眼視聽之圖形與應以右眼視聽之圖形的完全整合。
圖式簡單說明
第1圖係顯示由封包媒體之記錄媒體、播放機器之再生裝置、顯示裝置、及眼鏡所構成之家庭劇院系統。
第2圖係顯示再生裝置之內部構成的方塊圖。
第3圖係顯示已儲存於視訊平面104a、104b之圖片資料如何呈現在已配戴好快門眼鏡500之使用者之眼前。
第4圖係顯示繪圖部115之功能性構成的方塊圖。
第5圖(a)-(d)係顯示平面合成器之內部構成之圖。
第6圖(a)-(b)係顯示圖形平面104c、104d之內部構成。
第7圖(a)-(c)係顯示平面間複製之處理內容之圖。
第8圖(a)-(b)係顯示從1平面構成到2平面構成之切換後的圖形更新之圖。
第9圖(a)-(c)係顯示有BD-J模組15所支援之圖形繪圖功能的API一例之圖。
第10圖(a)-(c)係可使用第8圖之應用軟體程式介面而規定之繪圖要求的具體例。
第11圖(a)-(b)係示意性顯示當引數如第9圖所指定時,係藉由Graphics#drawImage及StereoGraphics#drawImage之呼叫執行何種寫入。
第12圖係順著視訊流時間軸顯示有忽視2D圖形繪圖要求、平面間複製、及追加右眼用輸出系統之時間關係的計時圖(timing chart)。
第13(a)-(b)圖係用以對比說明由再生裝置所再生之立體視影像,會因執行或不執行Graphics#drawImage之無效而有何不同之圖。
第14圖(a)-(d)係以連續照片式表記顯示當未執行無效即欲執行模式切換時,如何處理儲存器中的複數碼之圖。
第15圖係顯示因第14圖(c)之寫入而變得可加以再生的立體視影像。
第16圖(a)-(d)係以連續照片式表記顯示當執行無效後欲執行模式切換時,如何處理儲存器中的複數API呼叫碼。
第17圖係顯示因第16圖(d)之寫入而變得可加以再生的立體視影像。
第18圖係顯示BD-ROM100之內部構成之圖。
第19圖係顯示再生裝置之內部構成的方塊圖。
第20圖(a)-(b)係顯示平面記憶體之層(layer)構成、及合成部之構成元素。
第21圖(a)-(d)係顯示以平面合成器20實現4種輸出系統之切換所形成的4個合成模式(合成模式1、合成模式2、合成模式3、與合成模式4)。
第22圖(a)-(e)係顯示有BD-J模組15所支援之圖形繪圖功能之API一例之圖。
第23圖(a)-(e)係顯示第22圖之圖形繪圖功能API之呼叫碼一例之圖。
第24圖係顯示呼叫出合成模式切換要求803時的處理順序之圖。
第25圖(a)-(b)係顯示從1平面切換到2平面之處理、及從2平面切換到1平面之處理順序的流程圖。
第26圖係顯示在setConfiguraionAPI呼叫時的org.havi.ui之處理順序的流程圖。
第27圖係顯示java.awt.Graphics之處理順序的流程圖。
第28圖係顯示應用程式管理器之StereoGraphics狀態控制之順序的流程圖。
第29圖(a)-(b)係顯示平面合成器之合成模式切換、及右眼用輸出系統之切換順序的流程圖。
第30圖係顯示呼叫出StereoGraphics#drawImage方法時的繪線順序的流程圖。
第31圖係位元碼應用程式之選單顯示的流程圖。
第32圖係顯示作業模式物件之內部構成一例之圖。
第33圖係顯示標題選擇時之解析度設定時中的處理順序的流程圖。
第34圖(a)-(c)係用以說明立體視圖像會看起來較顯示畫面更前方之原理之圖。
第35圖(a)-(c)係用以說明立體視圖像會看起來較顯示畫面更後方之原理之圖。
第36圖(a)-(b)係顯示正與負的平面偏移在視覺之差異一例之圖。
第37圖係顯示積體電路之架構之圖。
用以實施發明之形態
以下,將參考圖式說明本申請中所包含之再生裝置之發明、積體電路之發明、再生方法之發明、及程式之發明的實施形態。
具備有上述課題解決手段之再生裝置之發明,可作為用以再生封包媒體之播放機器加以實施,而積體電路之發明可作為安裝該播放機器之系統LSI加以實施。再生方法之發明可作為以該播放機器實現之時系列順序而加以實施。程式之發明可作為記錄於可電腦讀取的記錄媒體、並安裝(install)於播放機器之執行形式程式而加以實施。
1:再生裝置之發明的使用形態
第1圖係顯示由封包媒體之記錄媒體、播放機器之再生裝置、顯示裝置、及眼鏡所構成之家庭劇院系統。如同圖所示,上述封包媒體之記錄媒體、與播放機器之再生裝置,係連同顯示裝置、眼鏡、及遙控器,構成家庭劇院系統而供使用者之使用。
1.1:記錄媒體100
記錄媒體100係對上述家庭劇院系統供給例如電影作品之光碟。
1.2:再生裝置200
再生裝置200與電視機400相連接,並再生記錄媒體100。該再生係以交互重複左眼用影像(L圖像)之影像輸出、及右眼用影像(R圖像)之影像輸出而達成。如此所再生之再生影像中,有2D影像與3D影像。例如,2D影像係將包含顯示裝置之顯示畫面之平面解釋為X-Y平面,以呈現在位於該X-Y平面上之顯示畫面之顯示位置之像素的圖像,亦稱為平面視圖像。將用以再生該2D影像之再生裝置之再生模式,稱為“2D再生模式”或“平面視再生模式”。而且,該2D再生模式中,由再生裝置所顯示之圖形稱為“2D圖形”。
相對地,3D影像係將與解釋為上述X-Y平面之平面呈正交的直線令為Z軸,而加有Z軸方向之深度的圖像。將用以再生該3D影像之再生裝置之再生模式,稱為“3D再生模式”或“立體視再生模式”。而且,該3D再生模式中,由再生裝置所顯示之圖形稱為“3D圖形”。
1.3:遙控器300
遙控器300係從使用者接收對經階層化過的GUI之操作的機器,為進行該操作接收,遙控器300具備:選單鍵,係呼叫構成GUI之選單者;箭頭鍵,係使構成選單之GUI零件之焦點移動者;決定鍵,係對構成選單之GUI零件進行確定操作者;返回鍵,係用以將經階層化過的選單返回至較上位之部分者;以及數字鍵。
1.4:電視機400
電視機400係接收來自再生裝置200之影像輸出,並以同時序將L圖像及R圖像依原貌交互輸出。時序的同一化可藉由令影像輸出與顯示切換之框率(frame rate)同一而實現。為了減輕視聽者眼部的負擔,亦可採取僅將顯示切換側之框率倍乘之構成。此時,顯示器400將蓄積L圖像及緊接著所輸出的R圖像之組合,並藉由在顯示器側將該等圖像高速切換,進行高框率之顯示。
1.5:快門眼鏡500
快門眼鏡500係由液晶快門與控制部構成,利用在使用者兩眼之視差而實現立體視。快門眼鏡500之液晶快門係藉由改變應用電壓(applied voltage),而使用有具有光透射率變化性質之液晶透鏡的快門。快門眼鏡500之控制部係接收來自再生裝置所送出之R圖像及L圖像之輸出切換的同步訊號,並依照該同步訊號,切換第1狀態與第2狀態。
第1狀態係完成以與右眼相對應之液晶透鏡不透光的方式調節應用電壓、並以與左眼相對應之液晶透鏡透光的方式調節應用電壓之狀態,在此狀態中乃L圖像射入左眼、但於右眼中未射入L圖像之狀態。
第2狀態係完成以與右眼相對應之液晶透鏡透光的方式調節應用電壓、並以與左眼相對應之液晶透鏡不透光的方式調節應用電壓之狀態,在此狀態中乃R圖像射入右眼、但於左眼中未射入R圖像之狀態。
一般而言,R圖像及L圖像係因其撮影位置之差,而使自右眼瞳孔之射入可見之像、與自左眼瞳孔之射入可見之像,在視覺上看起來呈有些許差異之圖像。
藉由將該像在視覺上的差異程度作為從人類的左眼/右眼分別可見之像的差異程度(亦即,視差程度),可利用為將從人類的眼睛可見之像識別為立體。爰此,快門眼鏡500只要使如上述第1狀態與第2狀態之切換同步於R圖像及L圖像之輸出的切換時序,則使用者便會將平面顯示錯覺成立體呈現。其次,說明當顯示R圖像及L圖像時的時間間隔。
具體而言,在平面顯示的圖像中,於R圖像及L圖像中有相當於人類視差(視覺差異程度)之差,係藉由以短時間間隔切換該等圖像加以顯示,而使看起來猶如形成有立體顯示的模樣。該短時間間隔係只要可因上述切換顯示使人們錯覺成立體性的程度之時間便足夠。在本實施形態中,係將顯示電視機400用以再生視訊流之顯示週期的視框期間分割成二個後,將由分割所得的個別期間,作為用以切換右眼、左眼之時間間隔。以分割視框期間所得的期間中,用以使左眼視聽之期間稱為“左眼瞳孔射入期間”。又用以使右眼視聽之期間稱為“右眼瞳孔射入期間”。在此,若視框週期為1/24秒,則左眼瞳孔射入期間、及右眼瞳孔射入期間分別為1/48秒。若視框週期為1/60秒,則左眼瞳孔射入期間、及右眼瞳孔射入期間分別為1/120秒。
(第1實施形態)
以下,將說明於具備有本申請說明書之課題解決手段之再生裝置之實施形態當中,令圖形平面為2平面構成之實施形態。
2:再生裝置之內部構成
第2圖係顯示具備有本申請之課題解決手段之再生裝置的基本內部構成。如本圖所示,再生裝置200係由讀出部101、視訊解碼器102、平面記憶體組合103(包含視訊平面104a及104b、與圖形平面104c及104d)、平面合成器105、影像記憶體106、轉列引擎(rendering engine)107、平台部110、堆積記憶體(heap memory)111、位元碼解釋器112、類別載入器(classloader)113、應用程式管理器114、及繪圖部115而構成。
2.1:讀出部101
讀出部101係從記錄媒體100讀出視訊流、資料結構體、位元碼應用程式之類別結構體、及應用程式管理表。視訊流乃供給至視訊解碼器102。
2.2:視訊解碼器102
視訊解碼器102係將所讀出之視訊流加以解碼,並將非壓縮形式圖片寫入平面記憶體組合103。
平面記憶體組合103係由複數平面記憶體而構成。平面記憶體係用以將一畫面份的像素資料,以行(line)單位加以儲存,並依照水平同步訊號、及垂直同步訊號將該等像素資料予以輸出之記憶體。各個平面記憶體可儲存藉由視訊、字幕、GUI、及背景圖像之解碼所得之一畫面份的像素資料。
該等平面記憶體構成有層狀模式(layer model),且各個平面記憶體之儲存內容乃供於層合成(layer synthesis)。該層合成係由下述處理而進行,即:在平面記憶體之層狀模式中,對層狀模式中之二個階層的全部組合,執行使二個階層之平面記憶體中所儲存的像素資料之像素值加以重疊之處理。
2.4.1:左眼用視訊平面104a、右眼用視訊平面104b
左眼用視訊平面104a及右眼用視訊平面104b係平面記憶體組合之一,分別儲存左眼用視訊圖片、及右眼用視訊圖片。
2.4.2:左眼用圖形平面104c、右眼用圖形平面104d
左眼用圖形平面104c及右眼用圖形平面104d係平面記憶體組合當中之一,係以非壓縮形式儲存視訊平面上之應使重疊之圖形。左眼用圖形平面104c係儲存左眼用圖形之左眼用平面記憶體。右眼用圖形平面104d係儲存右眼用圖形之右眼用平面記憶體。左眼用圖形平面及右眼用圖形平面之組態中,有1平面構成與2平面構成。前述1平面構成係在平面視再生時及立體視再生時,於圖形繪圖僅使用左眼用圖形平面者。前述2平面構成係在立體視再生時,於圖形繪圖使用左眼用圖形平面及右眼用圖形平面者。在此的“圖形”係指以該等圖形平面中所儲存之ARGB形式的像素資料所呈現之顯示內容,包含:藉由使用字型(font)擴展文字碼所得之文字、記號之位元映像(bit map)、或以解碼GIF/JPEG/PNG資料所得之GIF/JPEG/PNG影像(在本說明書中稱為“繪圖影像”)。
2.5:平面合成器105
平面合成器105可進行複數平面記憶體之層合成。平面合成器105係由左眼用輸出系統及右眼用輸出系統而構成,乃分別獨立在左眼用輸出系統及右眼用輸出系統,進行複數平面記憶體間之層合成。左眼用輸出系統及右眼用輸出系統係由複數加法器與加法器間之接線而構成。左眼用輸出系統係與2D再生模式共用。右眼用輸出系統僅在3D再生模式中有效。在該右眼用輸出系統中,當將對加法器之供給源設成左眼用圖形平面時,可將圖形平面設為1平面構成,而當將對加法器之供給源設成右眼用圖形平面時,可將圖形平面設為2平面構成。
2.6:影像記憶體106
影像記憶體106係用以在生成有記錄媒體100中所記錄之資料結構體之實例(instance)時,將資料結構之實例─繪圖影像─加以儲存之記憶體。該繪圖影像係ARGB形式之位元映像,從位元碼應用程式乃受實例變數(instance variable)指示。在3D再生模式中,可個別儲存右眼用繪圖影像物件、及左眼用繪圖影像物件。
2.7:轉列引擎107
轉列引擎107可進行對左眼用圖形平面104c及右眼用圖形平面104d之繪圖處理。轉列引擎107之影像繪圖係將影像記憶體106上之繪圖影像物件,從影像記憶體106複製到圖形平面104c及104d而進行。複製對象之繪圖影像物件係以實例變數所指示。
2.10:平台部110
平台部110係由ROM等非依電性記憶體中所記憶之安裝程式、及執行該安裝程式之硬體(包含MPU、暫存器、及周邊電路)而構成,可使記錄媒體100中所記錄之類別結構體之實例-位元碼應用程式-作業。
2.11:堆積記憶體111
堆積記憶體111係位元碼應用程式用以執行作業的工作區,由多線程111a與複數儲存器111b而構成。
2.11.1:多線程111a
多線程111a係執行位元碼之邏輯性執行主體(線程)的集結體,可將局部變數(local variable)或運算元儲存器中所儲存之引數作為運算元進行運算,並將運算結果儲存至局部變數或運算元儲存器。相對於再生裝置中的物理性執行主體僅只唯一一個MPU,邏輯性執行主體之線程最大可有64個。在該64個數值內,可製作新線程,亦可消除既有的線程,線程之作業數量有可能在平台的作業中增減。由於線程之數量可適當增加,因此可藉由複數線程進行構成位元碼應用程式之位元碼的並列執行,並可圖謀位元碼應用程式的高速化。構成從記錄媒體載入之位元碼應用程式、java.awt.Graphics、或HAVi等常駐型位元碼應用程式之位元碼,亦可供於該並列執行。
2.11.2:複數儲存器111b
複數儲存器111b係與複數線程的各個線程以一對一的比率所存在之儲存器之集結體,各儲存器於其內部持有程式計數器與一個以上的視框。”程式計數器”在實例中可顯示現在正執行哪一部分。”視框”係針對一次呼叫對方法所分配的儲存器式之區域,乃由儲存其一次呼叫時的引數之”運算元儲存器”、及受呼叫之方法使用的”局部變數儲存器”而構成。每當呼叫一次,便會將視框積層至儲存器,因此當某方法以遞迴(recursively)的方式呼叫自己時,亦會積層一該視框。
2.12:位元碼解釋器112
位元碼解釋器112係分配到線程之位元碼,轉換成本機碼(native code),並使MPU執行。位元碼解釋器112係將位元碼應用程式作為多線程加以處理。
2.13:類別載入器113
類別載入器113係藉由於堆積記憶體111生成記錄媒體100中所記錄之應用程式的類別結構體之實例,進行位元碼應用程式之載入。
2.14:應用程式管理器114
應用程式管理器114係基於應用程式管理表,在檢證出位元碼應用程式之正當性的情況下,進行啟動位元碼應用程式、或結束位元碼應用程式等位元碼應用程式之應用信號(application signaling)。
2.15:繪圖部115
繪圖部115係對正在平台部作業之位元碼應用程式提供各種功能之用以安裝機器的中間軟體程式。該中間軟體程式所裝設之封包包含程式館,該程式館係透過轉列引擎107對左眼用圖形平面104c及右眼用圖形平面104d,進行伴有顏色指定之線程或矩形等圖形之繪圖、指定區域之塗滿、或、所指定之複製轉貼等繪圖處理。位元碼應用程式係以對繪圖部連續發出該等繪圖處理之要求,而實現各式各樣的圖形繪圖處理。
以下,將穿插參考圖,更詳細地說明該等構成元素之處理內容。
3:快門眼鏡500之立體視影像之視聽
第3圖係顯示已儲存於視訊平面104a、及104b之圖片資料,係如何呈現在已配戴好快門眼鏡500之使用者之眼前。
圖中的箭頭vw1係顯示對右眼瞳孔射入期間之視點的影像輸入,圖中的箭頭vw2係顯示在對左眼瞳孔射入期間之視點的影像輸入。在右眼瞳孔射入期間,如箭頭vw1所示,右眼用視訊平面之儲存內容係穿透快門眼鏡500射入使用者之左眼。在左眼瞳孔射入期間,如該箭頭vw2所示,左眼用視訊平面之儲存內容係穿透快門眼鏡500射入使用者之左眼。藉由上述的快門切換,可實現視訊流之立體視再生。在本圖中,由附加有字幕、語音、及特典等文字列之三個按鍵構材所形成之選單,係由圖形平面中所儲存之圖形而構成。如此一來,成為立體視再生之對象者並不限於視訊。由圖形所構成之選單亦可成為立體視之對象。
以上係由配戴快門眼鏡500之立體視影像之視聽。接下來,將說明圖形平面之詳細。
接著,將說明在圖形平面104c、及104d之組態設定。該組態中有2平面構成與1平面構成。
4.1:2平面構成
2平面構成係指當再生裝置為3D再生模式時,用以以3D-LR模式再生位元碼應用程式所繪圖之圖形之平面構成。3D-LR模式係藉由將左眼用圖形寫入左眼用圖形平面、且將右眼用圖形寫入右眼用圖形平面,製作立體視效果之再生模式。
4.2:1平面構成
1平面構成係指當再生裝置為3D再生模式時,用以以1plane+Offset模式再生位元碼應用程式所繪圖之圖形之平面構成。1plane+Offset模式係分別在左眼瞳孔射入期間及右眼瞳孔射入期間,使平面記憶體中之行單位的像素座標往左方向或往右方向位移(shift),並使右眼視線及左眼視線之成像點(imaging point)往前面方向、或深度方向變位,藉此使深度感變化之再生模式。具體而言,若在左眼瞳孔射入期間使像素座標往左方向變化、且在右眼瞳孔射入期間使像素座標往右方向變化,則兩眼視線之成像點會在前面,而若在左眼瞳孔射入期間使像素座標往右方向變化、且在右眼瞳孔射入期間使像素座標往左方向變化,則兩眼視線之成像點會在前面。
在該平面位移中,用以立體視之平面記憶體只需1平面即足夠,因此最適於簡易製出立體視影像者。然而,在該平面位移中,頂多是使平面影像來到前面、或往後方凹縮之立體視影像,雖然適於選單或字幕之立體視效果,但在人物或物體之立體視效果之實現上略顯不足。因為,無法重現人物臉部的凹陷或凹凸等。
再生對象之視訊流係基視視訊流(base view video stream)及附屬視視訊流(dependent view video stream)之組合,即便再生裝置係設定在3D再生模式,圖形平面之組態原則上為1平面構成。只有在位元碼應用程式進行組態設定要求,而將圖形平面之組態切換成2平面構成之情況下,會切換成2平面構成。
記錄媒體中記錄有右眼用繪圖影像之資料結構、及左眼用繪圖影像之資料結構,當位元碼應用程式欲以該等實現圖像或按鍵構材之立體視再生時,位元碼應用程式必須在繪圖之前進行組態設定要求,並先將圖形平面設定成2平面構成。
4:繪圖部116之功能構成
如上述之繪圖部116係用以處理該等繪圖要求、及組態設定要求之構成元素,若從軟體之功能觀點來看,繪圖部之內部構成係如第4圖所呈現。第4圖係顯示繪圖部116之功能性構成的方塊圖。第1層係第2圖之內部構成中之軟體之層構成,第2層係第2圖之內部構成中之平面記憶體之層構成,顯示右眼用輸出系統、與左眼用輸出系統。第3層係顯示右眼影像、與左眼影像。
在第1層之層狀模式中,附有影陰線(hatching)者係顯示成為繪圖部之構成元素者。如在本圖附有影陰線所示,繪圖部係由常駐型位元碼應用程式─『org.havi.ui』、『java.awt.Graphics』,與以再生裝置之本機碼所記述之安裝程式─『裝置驅動器』─而構成。以下,將說明該等繪圖部之構成元素。
4.1:org.havi.ui模組
『org.havi.ui』係將左眼用圖形平面、與右眼用圖形平面作為HAVi圖形裝置來管理。
4.2:java.awt.Graphics模組
『java.awt.Graphics模組』係施加有改良之java.awt.Graphics之模組。java.awt(Abstract Window Toolkit)係整合用以構築GUI之功能的基本程式館,持有組件(component)與貯藏器(container)之二類別(class)。組件提供Java應用程式之繪圖區,而貯藏器則提供配置儲存複數組件之功能。至於是就哪一點加以改良,則是:在下令進行從1平面到2平面之圖形平面切換時進行特殊處理之點,與一般的java.awt.Graphics相異。當圖形平面變成2平面期間,除了未執行2D圖形繪圖以外,與一般的java.awt.Graphics相同。該java.awt.Graphics之特殊處理係指2D圖形繪圖要求之忽視。在第1實施形態中,作為該“忽視”之一例,例如係採用將既已蓄積儲存器中之2D圖形繪圖要求之呼叫碼全部消去,且將Exception歸還至要求源之線程中。執行該忽視後,在下令進行從2平面到1平面之圖形平面切換、且解放右眼用輸出系統為止前,不會執行2D圖形之繪圖。
4.3:裝置驅動器116
裝置驅動器116係依照java.awt.Graphics、及org.havi.ui之要求,將圖形寫入左眼用圖形平面、及右眼用圖形平面。
從1平面圖形平面切換成2平面時,會執行將左眼用圖形平面中所儲存之一畫面份的像素資料,複製到右眼用圖形平面之處理,藉此切換輸出系統。圖中的箭頭dr1、及dr2乃像徵性顯示有對裝置驅動器之左眼用圖形平面、及右眼用圖形平面之存取(access)。
藉由該存取,左眼用圖形平面之儲存內容可複製到右眼用圖形平面。箭頭cp1係顯示從左眼用圖形平面到右眼用圖形平面之複製。如第4圖之第3層所示,在上述複製後,係以追加右眼用輸出系統,將合成有圖形之右眼圖像及左眼圖像從再生裝置加以輸出。
4.4:Stereo Graphics模組
『Stereo Graphics模組』係用以接收3D圖形繪圖之要求、且進行圖形繪圖,而特別裝設在再生裝置之常駐型位元碼應用程式,僅在下令從1平面圖形平面切換成2平面時啟動,當圖形平面從2平面切換成1平面後,立即終止作業。
本實施形態中最重要的是在層狀模式中之說明中所述之「右眼用輸出系統之追加」、「平面間複製」、及「2D圖形繪圖要求之忽視」之三步驟。以下,將說明該等步驟、及用以實現該步驟之構成元素。
實現右眼用輸出系統之追加者乃平面合成器105。接下來,就合成部之內部構成加以說明。
5:平面合成器105之內部構成
第5圖(a)顯示平面記憶體之層構成、及合成部之構成元素。合成部係以下述三者為構成元素:加法器41,係設置在平面記憶體之層構成之左眼用輸出系統者;加法器42,係設置在平面記憶體之層構成之右眼用輸出系統者;及開關43。
5.1:加法器41
加法器41係在左眼用輸出系統中,將左眼用視訊平面之儲存內容、及左眼用圖形平面之儲存內容加以合成。
5.2:加法器42
加法器42係在右眼用輸出系統中,將右眼用視訊平面之儲存內容、及左眼用圖形平面與右眼用圖形平面其中一方加以合成。該等加法器41、42之儲存內容之合成乃重疊視訊平面及圖形平面中所儲存之像素資料之像素值者。像素值之重疊係指下述處理,即:將透射率α作為加權,乘上平面記憶體之行單位之像素值,並將(1-透射率α)之加權乘上位於其下位階層之平面記憶體之行單位之像素值後,將施加有該等亮度加權的像素值彼此相加,並將加算結果設為其階層中之行單位之像素的像素值。加法器41、42含有線記憶體(line memory)及乘法部,就線像素(line pixel)中之各個像素,進行如上述之加法。前述線記憶體係儲存平面記憶體之線像素之像素資料者。前述乘法部係用以將等價值乘於在線像素之各個像素值者。
5.3:開關43
開關43係將對加法器42的像素資料之供給源,切換成左眼用圖形平面及右眼用圖形平面其中一者。當將對加法器42的像素資料之供給源設為左眼用圖形平面時,圖形平面之組態將成為“1平面構成”,而當將像素資料之供給源設為右眼用圖形平面時,組態將成為“2平面構成”。
5.4:合成模式之變化(variation) 5.4.1:合成模式
將2D再生模式中之輸出系統固定為第5圖(b)者。相對於此,3D再生模式中有右眼用輸出系統與左眼用輸出系統,在左眼用輸出系統中,係依照將往加法器之資料供給源作為右眼用平面記憶體、或作為左眼用平面記憶體,而有第5圖(c)~(d)中所示之2種變化。亦即,在2D再生模式中,輸出系統並不存有變化,但在3D再生模式中,平面合成器20可藉由實現2種輸出系統之切換,而有二個合成模式(合成模式A、與合成模式B)。以下,將分別就各模式,以第5圖(c)~(d)分別加以說明。
第5圖(c)係顯示令圖形平面及視訊平面之比率為2:2之輸出系統之合成模式(合成模式A)。圖形平面之平面數皆為2平面,因此往加法器42之供給源為右眼用圖形平面。
5.4.2:合成模式B
第5圖(d)係顯示令圖形平面及視訊平面之比率為1:2之輸出系統之合成模式(合成模式B)。合成模式B中,圖形平面僅使用左眼用。因此,就圖形平面而言將輸出左右相同的影像,因此在視聽者眼中將會看成平面。
在2D再生模式中,於平面合成器105中不存有右眼用輸出系統,因此平面合成器105會變成第5圖(b)之狀態。但,從2D再生模式切換成3D再生模式時,於平面合成器105中將追加右眼用輸出系統,因此平面合成器105會變成第5圖(c)或第5圖(d)之狀態。如此一來,使加法器42及開關43呈有效狀態,係指“右眼用輸出系統之追加”。相反地,使加法器42及開關43呈無效狀態,係指“右眼用輸出系統之解放”。
接下來,就平面間複製之詳細加以說明。平面間複製意指將左眼用圖形平面中所儲存的所有像素複製到右眼用圖形平面。接著將說明該複製處理之前提─圖形平面之平面構成。
6.圖形平面之內部構成
第6圖係顯示左眼用圖形平面104c及右眼用圖形平面104d之共通內部構成。如同圖(a)所示,當解析度設定在1920×1080時,圖形平面104c、及104d係由橫1920× 縱1080之32位元長的記憶元件形成。圖形平面104c、及104d係以1920×1080之解析度,以ARGB形式8888形式儲存像素資料。在ARGB形式8888形式之各像素,係由8位元之透明度A值、8位元之R值、8位元之G值、及8位元之B值而構成。
6.1:像素資料
同圖(b)係顯示圖形平面104c、及104d中所儲存之像素資料。如本圖所示,圖形平面104c、及104d中所儲存之圖形資料係由相當於前景部分之像素資料、及相當於背景部分之像素資料而構成。在此,相當於背景部分之記憶元件中儲存有顯示透明色之A值,於該部分中,在與視訊平面合成時,圖形平面之字幕或視訊平面中之動態影像會看起來呈透明。另一方面,相當於前景部分之記憶元件中儲存有顯示透明色以外的R、G、B值,並藉由該透明色以外的R、G、B值而可描繪繪圖影像。
在平面合成器105之平面合成時,在相當於透明像素的部分當中,其他平面記憶體之儲存內容看起來會呈透明,且因該透明部分之存在而可進行平面合成。
6.2:平面間複製
接著就平面間複製加以說明。當將圖形平面從1平面構成變更成2平面構成時,必須將第6圖(a)中所示之左眼用圖形平面之儲存內容,全部複製到右眼用圖形平面中。該複製係指將左眼用圖形平面之儲存內容之像素資料的集結體(亦即,左眼用圖形平面中所儲存的1920×1080之ARGB形式之像素資料),全部複製到右眼用圖形平面者。此是因為,若於從1平面構成切換成2平面構成時,左眼用圖形平面中存有有效像素,相對地,右眼用圖形平面中絲毫未有像素存在而呈素色(plain)狀態,便會產生左眼-右眼之視覺不一致。因而,在進行從1平面構成到2平面構成之切換時,必須在將右眼用圖形平面之儲存內容供給至再生輸出之前,將左眼用圖形平面中所存有的1920×1080之像素資料,全部複製到右眼用圖形平面。相對地,在從2平面構成切換至1平面構成時,無需此種複製。此是因為,在2D再生模式中,無須擔憂左眼-右眼之視覺不整合的發生。因而,從左眼用圖形平面到右眼用圖形平面的複製係在進行將圖形平面之組態從1平面構成變更成2平面構成時所必須之處理。
7:平面間複製之過程
以下,將以穿插第7圖(a)~(c)的方式說明平面間複製之過程。第7圖(a)中顯示追加右眼用輸出系統前的左眼用圖形平面、及右眼用圖形平面之儲存內容。本圖中可知,存在左上的選單同於第3圖之立體視影像中之選單,構成該選單之像素資料則存在左眼用圖形平面中。第7圖(b)係示意性顯示如何進行右眼用輸出系統之追加。左眼用圖形平面係1920×1080之像素資料之集結體,該等當中,橫1920之像素將構成線像素。第7圖(b)之箭頭cy1、cy2、cy3、cy4、cy5乃像徵性顯示有從左眼用圖形平面至右眼用圖形平面的線像素之複製。藉由該線像素之複製,在左眼用圖形平面之1920×1080之像素資料可原原本本地複製到右眼用圖形平面。第7圖(c)係顯示追加右眼用輸出系統後的左眼用圖形平面、及右眼用圖形平面之儲存內容。第7圖(c)中,由於左眼用圖形平面及右眼用圖形平面分別存有選單,因此不可能發生左眼右眼之視覺不一致。
8:2D圖形繪圖要求之忽視
以上係對平面間複製與圖形平面之說明。接下來,將說明忽視2D圖形繪圖要求之詳細。2D圖形繪圖要求之忽視係指於1平面構成切換到2平面構成後,忽視到達java.awt.Graphics之2D圖形繪圖要求者。意指,當以組態之切換將圖形平面設成2平面構成時,將儲存器中所蓄積之2D圖形繪圖要求全部消去,使2D圖形繪圖要求例外結束之積極性處理。藉由伴隨積極性處理之“忽視”,可使2D圖形繪圖要求從java.awt.Graphics用以從位元碼應用程式接收要求之儲存器消失。忽視組態變更要求後之2D圖形繪圖要求之處理,亦稱為2D圖形繪圖要求之“無效”。
參考第8圖說明從1平面構成切換到2平面構成後,因2D圖形繪圖要求之抵達會產生何種弊端。第8圖係顯示從1平面構成切換到2平面構成後的圖形更新。第8圖中,以圖式之左端作為時間軸之原點,且以圖式之右方向作為時間軸之正方向,以及,以左方向作為時間軸之負方向。而且,將與該時間軸呈正交之平面,設為圖形平面所形成之X-Y平面。在再生圖形時,會賦予與該時間軸呈正交之X-Y平面中之座標作為顯示座標。在以下說明中,若無特別註記,則於視訊流之時間軸或X-Y座標系之表記上使用與本圖相同之表記。依照用以圖形更新之繪圖要求為2D圖形繪圖要求或為3D圖形繪圖要求,而有第8圖(a)之事例、或第8圖(b)之事例發生。
8.2:由切換成2平面構成後之3D圖形繪圖要求所進行的更新
第8圖(a)之事例係顯示將圖形平面之組態從1平面構成切換成2平面構成後,執行有由3D圖形繪圖要求所進行的圖形更新之事例。該第8圖(a)之事例中乃設想,以圖之選單所呈現之語音、字幕、及特典中,當選擇到語音時,作為語音之言語將呈現接收英語、中文、或日語選擇之選單之顯示例。本圖中,在時間點u1係於左眼用圖形平面存有選單。在時間點u2係藉由將組態從1平面構成切換成2平面構成後,執行平面間複製,並於左眼用圖形平面、及右眼用圖形平面雙方存有選單。在時間點u3係顯示藉由依照選單之確定操作、發出3D圖形繪圖要求,而更新有左眼用圖形平面、及右眼用圖形平面之儲存內容之狀態。
8.3:由切換成2平面構成後之2D圖形繪圖要求所進行的更新
第8圖(b)係顯示將圖形平面之組態從1平面構成切換成2平面構成後,執行有由2D圖形繪圖要求所進行的圖形更新之事例。在該第8圖(b)之事例中,在時間點u1係於左眼用圖形平面存有選單。在時間點u2係藉由將組態從1平面構成切換成2平面構成後,執行平面間複製,並於左眼用圖形平面、及右眼用圖形平面雙方存有選單。在時間點u3係顯示藉由依照選單之確定操作、發出2D圖形繪圖要求,而僅更新有左眼用圖形平面之儲存內容之狀態。由於相對於左眼用圖形平面之儲存內容有所更新、右眼用圖形平面之儲存內容並未更新,因而產生有左眼及右眼之視覺不整合。
以下,將說明成為忽視對象之2D圖形繪圖要求為何,並說明3D圖形繪圖要求、與組態設定要求為何。
『2D圖形繪圖要求』係作為實施有第1引數與第2引數之設定的Graphics#drawImage API之呼叫碼而實現。當第1引數、第2引數、與第3引數為x1,y1,x2,y2,image1時,2D圖形繪圖要求係藉由將稱為Graphics#drawImage(x1,y1,x2,y2,image1)之API呼叫碼記述至位元碼應用程式中而執行。
『3D圖形繪圖要求』係實施有第1引數、第2引數、第3引數、第4引數、與第5引數之設定的StereoGraphics#drawImage API之呼叫碼。當引數為x1,y1,x2,y2,image1,x3,y3,x4,y4,image2時,3D圖形繪圖要求係藉由將稱為StereoGraphics#drawImage(x1,y1,x2,y2,image1,x3,y3,x4,y4,image2)之API呼叫碼記述至位元碼應用程式中而執行。
『組態設定要求』係實施有第1引數與第2引數之設定的SetConfiguraionAPI之呼叫碼。當引數為第1引數、且第2引數為width×height,number1時,可將稱為setConfiguraion(width×height,number1)之API呼叫碼記述至位元碼應用程式中,藉此要求圖形平面記憶體之組態切換。
該等2D圖形繪圖要求之Graphics#drawImage API之呼叫碼、及3D圖形繪圖要求之StereoGraphics#drawImageLR之呼叫碼,係以構成位元碼應用程式之線程而蓄積於儲存器,並供給至繪圖部之構成元素─java.awt.Graphics、Stereo Graphics。
當呼叫該等Graphics#drawImage API、StereoGraphics#drawImage API、及setConfiguraion API之API時,該等呼叫所對應之視框係積層在複數儲存器中各個儲存器之線程所對應的儲存器上。而且,於該等儲存器之視框之運算元儲存器中,可積層Graphics#drawImage API呼叫之引數、StereoGraphics#drawImage API呼叫之引數、及setConfiguraionAPI呼叫之引數。
第9圖係顯示用以寫入繪圖影像的應用軟體程式介面。
9.1:java.awt.Graphics#drawImage方法
第9圖(a)中之java.awt.Graphics#drawImage方法係用以呼叫下述功能之API:將以第2引數所指定之繪圖影像,寫入在第1引數之位置所指定的繪圖位置。正確而言,亦可將指定矩形位置、且用以將所指定之繪圖影像修剪成矩形後加以繪圖之引數加以傳送,但在此將之省略。
9.2:StereoGraphics#drawImage方法
在第9圖(b)之StereoGraphics#drawImage方法係用以呼叫下述功能之API:在左眼用圖形平面,將以第2引數所指定之繪圖影像寫入在第1引數之位置所指定的矩形範圍內,並在左眼用圖形平面,將以第4引數所指定之繪圖影像,寫入在第3引數之位置所指定的矩形範圍內。
矩形範圍係以欲成繪圖位置之矩形區之左上座標(x1,y1)與右下座標(x2,y2)之組合而呈現。又,作為繪圖影像物件,除了由GIF/JPEG/PNG形式之資料結構所生成之實例以外,亦可使用BufferedImage。
如前述在java.awt.Graphics#drawImage方法中,規定有影像複製處理,該處理中僅可指定一個矩形區之複製。另一方面,來自StereoGraphics#drawImage方法之左右同時影像複製,包含繪圖位置與繪圖影像之對。繪圖位置平面係分別設為固定於左眼用圖形平面104c及右眼用圖形平面105d者,且圖形平面之指定係排除在StereoGraphics#drawImage方法之引數以外。
10:繪圖要求之具體例
第10圖係可使用第9圖之應用軟體程式介面而規定之繪圖要求之具體例。
10.1:來自java.awt.Graphics#drawImage之繪圖要求之具體例
第10圖(a)係以表形式顯示當API之類別為java.awt.Graphics#drawImage方法時,應如何具體設定應繪圖之矩形範圍與繪圖影像者。在java.awt.Graphics#drawImage方法之情況下,應繪圖之矩形範圍係以平面座標系中之XY座標(X1=50,Y1=100)、(X2=250,Y2=170)呈現。又,繪圖影像係以資料結構體之實例中所賦予之實例變數表現。本圖之"位元映像影像1"係由橫200像素×高70像素所構成之實例中所賦予之實例變數。
10.2:來自StereoGraphics#drawImage之繪圖要求之具體例
同圖(b)係顯示當API之類別為StereoGraphics#drawImage方法時,應如何具體設定應繪圖之矩形範圍與繪圖影像之圖。API之類別為StereoGraphics#drawImage方法之情況下,在左眼用圖形平面中應繪圖之矩形範圍,係以平面座標系中之XY座標(X1=50,Y1=100)、(X2=255,Y2=170)呈現。又,繪圖影像係以資料結構體之實例中所賦予之變數名呈現。本圖之"位元映像影像1"係由橫200像素×高70像素所構成之實例中所賦予之實例變數。
在右眼用圖形平面中應繪圖之矩形範圍,係以平面座標系中之XY座標(X3=55,Y3=100)、(X4=255,Y4=170)呈現。又,繪圖影像係以資料結構體之實例中所賦予之實例變數呈現。本圖之“位元映像影像2”係由橫200像素×高70像素所構成之實例中所賦予之實例變數。
11.1:來自2D圖形繪圖要求之對圖形平面之寫入
第11圖(a)係示意性顯示當如第10圖(a)指定有引數時,會依照Graphics#drawImage之呼叫,執行何種寫入。圖中之前側部分係顯示儲存有繪圖影像之影像記憶體。圖中之後側部分係顯示彼此重合後之左眼用圖形平面及左眼用視訊平面之組、及右眼用圖形平面及右眼用視訊平面之組。
依據第11圖(a),圖形僅有寫入左眼用圖形平面,然而,雖然左眼用圖形有加以更新,但由於圖形未寫入右眼用圖形平面,因此依照2D圖形繪圖要求,會僅更新有左眼用圖形平面。故可知,因從1平面構成切換成2平面構成後之2D圖形繪圖要求,將產生有左眼-右眼之視覺不整合。
11.2:來自StereoGraphics#drawImage之對圖形平面之寫入
第11圖(b)係示意性顯示當如第10圖(b)指定有引數時,依照StereoGraphics#drawImage之呼叫會執行何種寫入。圖中之前側部分係顯示儲存有繪圖影像之影像記憶體。圖中之後側部分係顯示彼此重合後之左眼用圖形平面及左眼用視訊平面之組、及右眼用圖形平面及右眼用視訊平面之組。該左眼用圖形平面與右眼用圖形平面中,繪製(plot)有在第10圖(b)作為應繪圖之矩形範圍所顯示之具體的XY座標。
依據本圖,在左右之圖形平面中,X座標有些微偏移,因此繪圖影像會分別往橫方向些許偏移之位置複製。圖中之箭頭ig1、及ig2係顯示從左右影像記憶體到左右影像記憶體之複製。此時,由於R圖像之繪圖位置較L圖像之繪圖位置往右偏移5個像素份,因此會變成對視聽者而言感覺像往顯示器之後端深入之顯示。由於是指定有對左右各個視點指向所準備之不同的位元映像,因此就立體視之效果會有所提升,且亦可利用同一個位元映像作為繪圖影像。
因此,為了避免如以上之視覺不整合,在2平面構成中必須忽視2D圖形繪圖要求。
以上從1平面構成切換至2平面構成時的2D圖形繪圖要求之忽視、平面間複製、以及右眼用輸出系統之追加的時間關係為:(1)2D圖形繪圖要求之忽視→(2)平面間複製→(3)右眼用輸出系統之追加,並於執行右眼用輸出系統之追加後,接收3D圖形繪圖要求。另一方面,從2平面構成切換至1平面構成時的時間關係為:禁止3D圖形繪圖要求之接受後,解放右眼用輸出系統,再接收2D圖形繪圖要求。第12圖之計時圖顯示有該等順序之時間關係。
12:各構成元素之作業之時間關係
第12圖係沿著視訊流時間軸顯示有位元碼應用程式、StereoGraphics、java.awt.Graphics、與裝置驅動器之作業之時間關係的計時圖。第1層係顯示位元碼應用程式,而第2層係顯示StereoGraphics。第3層係顯示java.awt.Graphics,而第4層係顯示裝置驅動器。第5層係顯示在視訊流之時間軸上,以1/23.976秒、1/59.94秒之視框期間連續顯示之複數圖片。第6層係顯示視訊流之時間軸。
12.1:從1平面到2平面之組態切換
圖中附有星形記號1的箭頭,係像徵性顯示令第2引數為“2平面”之setConfiguraion之呼叫。圓圈記號1、2、3、4係顯示於令引數為2平面之setConfiguraion之呼叫後,以何種順序執行java.awt.Graphics之無效、裝置驅動器之複製、及Stereo Graphics之3D圖形繪圖要求之接收。同於該圓圈記號之編號可知,第1係由java.awt.Graphics所為之Graphics#drawImage之無效、第2係由裝置驅動器所為之圖形平面之複製、而第3係由裝置驅動器所為之右眼用輸出系統之輸出。當該等處理完成後可知,第4係啟動StereoGraphics,且開始有StereoGraphics#drawImage之接受。
在第2層中之無效的開始時間點t0係進行setConfiguraionAPI之呼叫後之時間點的瞬後。平面記憶體之複製的開始時間點t1係2D圖形繪圖要求之無效完成後之時間點的瞬後。假設,進行複製期間,若左眼用圖形平面之內容由java.awt.Graphics重寫,則在左眼用圖形平面與右眼用圖形平面之間會產生儲存內容之不一致,而造成兩眼視覺之不一致。但,如本圖所示,由於是在java.awt.Graphics完全忽視2D圖形繪圖之要求後,才進行圖形平面之複製,因此左眼用圖形平面與右眼用圖形平面,不可能產生儲存內容之不一致。
如以上,裝置驅動器之處理當中的特徵點在於:完成2D圖形繪圖要求之忽視後,才進行上述複製。亦即,進行複製期間,若左眼用圖形平面之內容由java.awt.Graphics重寫,則在左眼用圖形平面與右眼用圖形平面之間會產生儲存內容之不一致,而造成兩眼視覺之不一致。但,若java.awt.Graphics使2D圖形繪圖要求全部從儲存器消失後,裝置驅動器才進行圖形平面之複製,就不可能產生儲存內容之不一致。
右眼用輸出系統之追加時間點t2係平面複製完成後之時間點的瞬後。可知,在第5層中,該輸出系統的切換後立刻有影像輸出從平面視切換成立體視。
StereoGraphics之啟動時間點t3係右眼用輸出系統之追加後之時間點的瞬後。由於已啟動StereoGraphics,因此該時間點t3以下可更新立體視圖形。如從以上計時圖可知,setConfiguraion之呼叫後,並非可立即進行3D圖形繪圖要求之StereoGraphics#drawImage之繪圖。可能有因執行2D圖形繪圖要求之忽視、圖形平面之複製、及輸出系統之切換等一連串處理之時滯產生。
12.2:從2平面到1平面之組態切換
附有圖中星形記號2的箭頭,係像徵性顯示有令第2引數為“1平面”之setConfiguraion之呼叫。圓圈記號5、6、7係顯示於令引數為1平面之SetConfiguraion之呼叫後,以何種順序執行java.awt.Graphics之無效、裝置驅動器之複製、及StereoGraphics之3D圖形繪圖要求之接收。同於該圓圈記號之編號可知,第1為StereoGraphics之作業結束,第2為僅令輸出系統為左眼用輸出系統,而第3為java.awt.Graphics開始有接收Graphics#drawImage之呼叫。
第2層中之Stereo Graphics之結束時間點t4係setConfiguraion呼叫後之時間點的瞬後。對應StereoGraphics#drawImage執行3D圖形繪圖之Stereo Graphics,僅會在因setConfiguraion之呼叫而下令有從1平面到2平面之圖形平面切換的情況下啟動,當再次因setConfiguraion之呼叫而使圖形平面從2平面變換成1平面時,將立即結束作業,因此其作業期間深受侷限。故,在2D再生模式中,不會發生因StereoGraphics作業所形成之故障。
第4層中之右眼用輸出系統之解放時間點t4係StereoGraphics之作業結束後之時間點的瞬後。可知,在第5層中,該輸出系統的切換後立即有影像輸出從平面視切換成立體視。
第3層中之Graphics#drawImage之接收時間點t5係從2平面到1平面之輸出系統完成後之時間點的瞬後。由於java.awt.Graphics接收2D圖形繪圖之要求,因此於該時間點以下可更新2D圖形。
在執行複製期間或切換輸出系統期間,不會將圖形平面之儲存內容供於輸出,因此可保障來自再生裝置之輸出內容為正確者。以上,為java.awt.Graphics、裝置驅動器、及StereoGraphics之時間關係的相關說明。
13:對比說明
再生裝置之處理中最具特徵者乃2D圖形繪圖之無效。在此,將加以對比說明藉由再生裝置而再生之立體視影像,會因以執行或未執行該無效而有何不同。在該對比說明中,係選擇如第13圖之事例作為題材。
13.1:設想之事例
第13圖(a)係內容製作者認為理想的圖形之更新過程。本圖中之aaa係略記有接收第3圖中所示之語音、字幕、特典選擇之選單者,bbb係略記有接收第7圖中所示之英語、中文、日語選擇之選單者。該更新過程係於四個視框f、f+1、f+2、f+3當中,在視框f依Graphics#drawImage API之呼叫寫入aaa,在視框f+1依Graphics#drawImage API之呼叫寫入bbb,並將bbb分別寫入在視框f+2將圖形平面予以2平面化、及在視框f+3予以2平面化後的圖形平面中者。為了實現該圖形更新,設成在視框f、及f+1中會發行Graphics#drawImage、在視框f+2中會發行setConfiguraion、而在視框f+3中會發行StereoGraphics#drawImage。
在位元碼應用程式中,Graphics#drawImage之呼叫碼、setConfiguraion之呼叫碼、及StereoGraphics#drawImage之呼叫碼,係以2D圖形繪圖要求→setConfiguraion→StereoGraphics#drawImage之順序排列,然而,由於相當於GraphicsDrawImage之呼叫碼之位元碼、相當於setConfiguraion之呼叫碼之位元碼、及相當於StereoGraphics#drawImage之呼叫碼之位元碼,係以多線程中之三個線程所並列執行,因此該等呼叫碼係設為以setConfiguraion→Graphics#drawImage→StereoGraphics#drawImage之順序所發出者。
第13圖(b)係顯示用以第13圖(a)之圖形更新,由位元碼應用程式所發出之三個呼叫碼。本圖之第2層係用以線程間通訊之儲存器,於其中存有經更換排列成setConfiguraion、Graphics#drawImage、及StereoGraphics#drawImage之順序的三個碼。本圖之第1層係顯示位元碼應用程式,而第4層係顯示平面記憶體。第3層係顯示繪圖部之構成元素─java.awt.Graphics、StereoGraphics、及裝置驅動器。
14.1:事例1(執行無效後,執行平面構成之切換之情況)
第一,敘述未執行無效而欲執行平面構成之切換之事例。
第14圖係以連續照片式的表記顯示當未執行無效而欲執行平面構成之切換時,如何處理儲存器中之複數碼之圖。處理儲存器中之碼之過程係由四個階段所形成,第14圖(a)為顯示最初階段、第14圖(b)為顯示第二階段、第14圖(c)為顯示第三階段、而第14圖(d)為顯示第四階段。該等第14圖(a)~(d)中係以與前圖同表記,描述儲存器、java.awt.Graphics、StereoGraphics、裝置驅動器、及平面記憶體。
附有第14圖(a)圖中之圓圈記號2之箭頭乃像徵性呈現平面記憶體之複製。附有第14圖(b)中之圓圈記號3之箭頭乃像徵性呈現輸出系統之切換。附有第14圖(c)圖中之圓圈記號8之箭頭乃像徵性呈現來自Graphics#drawImage之bbb之寫入。附有第14圖(d)中之圓圈記號9之箭頭乃像徵性呈現來自StereoGraphics#drawImage之bbb之寫入。
15.以事例1再生之立體視影像
第15圖係顯示因第14圖(c)之寫入而變得可加以再生的立體視影像。在第14圖(c)中,由於右眼圖形平面及左眼圖形平面為相異者,因此在右眼用影像及左眼用影像之間有產生不一致。在執行StereoGraphics之左眼用圖形平面及右眼用圖形平面之更新為止之前,右眼-左眼之視覺不一致會一直殘留在畫面上,因此該不一致會對使用者帶來極大的不快感。
16.事例2(執行無效後,執行模式切換之事例)
第16圖係以連續照片式的表記顯示當執行無效後欲執行模式切換時,如何處理儲存器中之複數API呼叫碼。處理儲存器中之碼之過程與第14圖相同,係由四個階段所形成,第16圖(a)為顯示最初階段、第16圖(b)為顯示第二階段、第16圖(c)為顯示第三階段、而第16圖(d)為顯示第四階段。該等第16圖(a)~(d)中係以與第13圖(b)相同表記,描述有儲存器、java.awt.Graphics、StereoGraphics、裝置驅動器、及平面記憶體。
第16圖(a)中,附有圓圈記號1之箭頭乃顯示來自無效之2D圖形繪圖要求API之呼叫碼之消去。圖中之×記號係示意性顯示於儲存器中所儲存之三個呼叫碼當中,因寫入bbb意旨之Graphics#drawImage遭消去,而使後續之setConfiguraion之呼叫碼之順位往上升級一位。
第16圖(b)中,附有圓圈記號2之箭頭乃像徵性呈現平面記憶體之複製。由於第16圖(a)之java.awt.Graphics係使2D圖形繪圖之要求全部從儲存器消失後,執行有第16圖(b)中之圖形平面之複製,因此無法產生左眼及右眼之視覺上之不一致。第16圖(c)中,附有圓圈記號3之箭頭乃像徵性呈現右眼用輸出系統之追加。第16圖(d)中,附有圓圈記號9之箭頭乃像徵性呈現來自StereoGraphics#drawImage之bbb之寫入。
17.以事例2再生之立體視影像
第17圖係顯示因第16圖(d)之寫入而變得可加以再生之立體視影像。由於右眼圖形平面與左眼圖形平面相異,因而未產生不一致。
如以上,依據本實施形態,由於係使2D圖形繪圖要求無效先行於圖形平面之複製,因此從左眼用圖形平面像素資料複製到圖形平面後,不會有新的圖形寫入左眼用圖形平面。即便2D圖形繪圖要求遲延而達至java.awt.Graphics,亦不可能會依照其2D圖形繪圖要求顯示圖形,因此不會產生兩眼視覺之不一致。
(第2實施形態)
在第1實施形態中,雖將儲存器上所儲存之2D圖形繪圖要求API之呼叫碼加以消去,而藉此實現有2D圖形繪圖之無效,然而,2D圖形繪圖要求之忽視亦包含僅在藉由組態切換使圖形平面變成2平面構成之期間,以無處理之態樣返回(return)2D圖形繪圖要求的方式,變更2D圖形繪圖處理側,亦即,在組態變更時之2D圖形繪圖要求之“暫時性無效”。
因此,在本實施形態中,僅有在圖形平面變成2平面構成之期間,以2D圖形繪圖禁止旗號之裝設,實現可將2D圖形繪圖要求予以無處理返回之形態之忽視。
2D圖形繪圖禁止旗號係用以對Graphics#drawImage下令忽視2D圖形繪圖要求、或接收2D圖形繪圖要求之選擇者。作為該2D圖形繪圖禁止旗號之追加所伴隨的Graphics#drawImage之改良,可將參考2D圖形繪圖禁止旗號之處理,安裝至其處理部之前頭。該參考處理意指,若2D圖形繪圖禁止旗號呈「開啟」,即不執行Graphics#drawImage之處理而即時以例外處理(典型上為無處理)返回,若2D圖形繪圖禁止旗號呈「關閉」,則執行Graphics#drawImage之處理。
另一方面,作為setConfiguration之改良,當呼叫setConfiguration、並有下令從1平面構成切換至2平面構成時,係將2D圖形繪圖禁止旗號從「關閉」切換成「開啟」。藉此,在2平面構成中設定有圖形平面之期間,Graphics#drawImage不會處理儲存器中之2D圖形繪圖要求而加以例外終止,並返回到其呼叫源之應用程式內。
相反地,當呼叫setConfiguration、且有下令從2平面構成切換至1平面構成時,係將2D圖形繪圖禁止旗號從「開啟」切換成「關閉」。藉此,在1平面構成中設定有圖形平面之期間,Graphics#drawImage將接受儲存器中之2D圖形繪圖要求,執行2D圖形之繪圖。
如以上,依據本實施形態,由於僅在圖形平面成為2平面構成之期間,藉由以無處理即返回2D圖形繪圖要求的方式變更2D圖形繪圖處理側之形態,實現2D圖形繪圖要求之忽視,因此可藉由簡易處理,實現2D圖形繪圖要求之忽視。因該簡易化,2D圖形繪圖要求之忽視之裝設將變得很簡單。
(第3實施形態)
第3實施形態在本申請之優先權主張之基礎申請中,實質上係如隨附於申請書之說明書中之實施形態,同內容之實施形態。
在本實施形態執行立體顯示之對象影像,係以再生、視聽BD-ROM記錄媒體中所記錄者為前提。在BD-ROM規格中,亦可將以準據BD-ROM規格之形式而記錄於局部儲存區(local storage)內或可移媒體(removable media)之資料予以再生。含括該等,以再生裝置200說明實施立體視影像顯示之形態。
18.BD-ROM之內部構成
接下來,說明再生裝置200作為再生對象之BD-ROM100之內部構成。第18圖係顯示BD-ROM100之內部構成之圖。
本圖之第4層中顯示BD-ROM,而第3層中顯示BD-ROM上之磁軌。本圖之磁軌係將自BD-ROM之內圍起至外圍形成呈螺旋狀之磁軌,往橫方向延伸所繪製。該磁軌係由引入區(lead in area)、容量區(volume area)、及引出區(lead out area)而形成。又,引入之內側有稱為BCA(BurstCuttingArea)之區域,可從該區域讀出資訊之主體有所限制,故可利用在如著作權保護技術等。
本圖之容量區持有物理層、檔案系統層、與應用層之層狀模式,且於容量區中,以檔案系統資訊(容量)為前頭,記錄有影像資料等之應用程式資料。檔案系統意指UDF或ISO9660等,可使用目錄(directory)、或檔案結構讀出如一般的PC同樣所記錄之論理資料,並可讀出255字之檔案名、目錄名。
若以目錄結構表現BD-ROM之應用層格式(應用程式格式),即如圖中之第1層。在該第1層中,BD-ROM中於Root目錄之下存有CERTIFICATE目錄及BDMV目錄。
BDMV目錄係記錄有以BD-ROM處理之AV內容或管理資訊等資料之目錄,在BDMV目錄之下存有稱為PLAYLIST目錄、CLIPINF目錄、STREAM目錄、BDJO目錄、JAR目錄、及META目錄之六個子目錄,並配置有INDEX.BDMV與MovieObject.bdmv之二種檔案。
STREAM目錄係儲存有欲成所謂的傳輸流(transport stream)本體之檔案之目錄,存有賦予有擴充碼"m2ts"之檔案(000001.m2ts)。
PLAYLIST目錄中,存有賦予有擴充碼"mpls"之檔案(000001.mpls)。
CLIPINF目錄中,存有賦予有擴充碼"clpi"之檔案(000001.clpi)。
BDJO目錄中,存有賦予有擴充碼"bdjo"之檔案(XXXXX.bdjo)。
JAR目錄中,存有賦予有擴充碼"jar"之檔案(YYYYY.jar)。
META目錄中,存有XML檔案(ZZZZZ.xml)。
以下,就該等檔案加以說明。
18.1:AVClip
首先說明賦予有擴充碼“m2ts”之檔案。賦予有擴充碼“m2ts”之檔案係MPEG-TS(TransportStream)形式之數位AV串流之串流檔,可藉由將視訊流、一個以上的聲頻流、對話式圖形流(graphics stream)、及圖形字幕流等予以多工而獲得。視訊流與聲頻流分別係顯示電影之動態影像部分、及電影之語音部分。串流檔中有2D專用者及2D-3D兼用者。2D專用之串流檔為一般的傳輸流形式,而2D-3D兼用之串流檔具有立體視隔行串流檔之檔案形式。
立體視隔行串流檔形式係以隔行形式交互配置有包含基視視訊流之主要傳輸流(主TS)之延伸區(extent)、及包含附屬視視訊流之子傳輸流(子TS)之延伸區者。
18.2:PlayList資訊
賦予有擴充碼“mpls”之檔案係儲存有播放清單(以下亦記為PL)資訊之播放清單資訊檔。「播放清單」係在傳輸流(TS)之時間軸上規定再生區間,並以邏輯性指定該再生區間彼此之再生順序所規定之再生路徑,TS當中具有規定依哪一部分再生何者、以何種順序擴展場景之功能。播放清單資訊係定義該播放清單之「型」。依播放清單資訊所定義之再生路徑即所謂的「多重路徑(multipath)」。多重路徑係包捆有已定義成為主之TS的再生路徑(主路徑)、及已定義成為從之TS的再生路徑(子路徑)者。若在該多重路徑中規定基視視訊流之再生路徑,並在子路徑中規定附屬視視訊流之再生路徑,即可適當地規定用以再生立體視之視訊流之組合。
物件導向程式語言為本的應用程式,可依下令生成再生該播放清單資訊之視框工作播放器實例,使多重路徑之AV再生開始。視框工作播放器實例,係以媒體視框工作播放器類別為基礎而生成於虛擬機器之堆積記憶體上之實際的資料。又,指令為本的程式,亦可藉由發出再生指令(以引數(argument)指定有該播放清單資訊者),開始多重路徑之再生。
18.3:Clip資訊
賦予有擴充碼“clpi”之檔案係分別與串流檔一對一對應之串流資訊檔。串流資訊檔可保證對於串流檔中之傳輸流內之任意來源封包(source packet)的隨機存取、或與其他傳輸流之無間斷再生。藉由透過該串流資訊檔,串流檔係作為「AVClip」而管理。串流資訊檔持有基本入口圖解(entry map)。該基本入口圖解係對應視框期間之呈現時間戳記(presentation time stamp),顯示AVClip中之串流的編碼形式、框率、位元率、及解析度等資訊、或GOP之前頭位置的來源封包編號。因此只要先行於串流檔之存取,將該串流資訊檔先載入記憶體,即可把握欲存取之串流檔中的傳輸流為何者,因而可保障隨機存取之執行。串流資訊檔中有2D串流資訊檔與3D串流資訊檔,3D串流資訊檔包含用以基視之剪輯資訊(剪輯基本資訊),及用以附屬視之剪輯資訊(剪輯附屬資訊)。
剪輯基本資訊含有用以基視之延伸區起始點資訊,而剪輯附屬資訊含有用以附屬視之延伸區起始點資訊。用以基視之延伸區起始點資訊係由複數來源封包編號而構成。各個來源封包編號,係顯示主TS中之延伸區的分割位置上存有第幾項封包。用以附屬視之延伸區起始點資訊亦是由複數來源封包編號而構成,係顯示子TS中之分割位置上存有何種封包。藉由使用該等延伸區起始點資訊,立體視隔行串流檔可分割成主TS與子TS。以上之Clip資訊及PL資訊係分類為“靜態情節”。
18.4:BD-J物件
接下來,將就附有擴充碼BDJO之檔案加以說明。BD-ROM規格中,可藉由在影像再生中執行應用程式,執行動態再生控制、或再生中與使用者之交互作用等影像再生,並可使任意的計算機處理加以執行。BD-ROM中,係使用有Java作為該應用程式平台規格,在BD-ROM規格上所採用之Java平台乃稱為BD-Java或BD-J,其執行應用程式則稱為BD-Java程式或BD-J程式。
附有擴充碼BDJO之檔案為儲存有BD-J物件之檔案。BD-J物件中含有於執行BD-Java應用程式時所使用之各種資訊。資訊中含有與再生標題之結合(association)、與後述JAR檔案之結合、對PlayList資訊之參考值、及應用程式管理表等。
應用程式管理表係依每應用程式單位記錄有執行BD-J應用程式之詳細資訊─即顯示應用程式名稱之文字列、指示對應於應用程式之圖符(icon)所在的圖符定位器(icon locater)等資訊─之資訊。
18.5:JAR檔案
JAR檔案係BD-J程式之程式資訊,乃將此加以歸檔之形式者。BD-J程式係由虛擬機器之堆積區(heap area)(亦稱為工作記憶體)中所載入之一個以上的類別檔案(Java程式之執行時形式)、及程式執行時所使用之各種資料而構成。JAR檔案係含有該等資訊之檔案形式。
18.6:元檔案(metafile)
META目錄中所儲存之元檔案(ZZZZZ.xml)中,儲存有放入磁碟之影像作品相關的各項資訊。元檔案中所儲存之資訊有磁碟之磁碟名、圖像、磁碟之製作主體者名稱資訊、及各標題相關標題名等。
以上為BDMV目錄之說明。
CERTIFICATE目錄之下存有磁碟之路徑證書檔案(app.discroot.cert)。
其中含有在執行BD-J程式時應用程式是否有遭竄改、及執行應用程式之身份確認過程(以下稱為署名檢證)所使用的數位證書之資訊。
以上為關於BD-ROM100之說明。元檔案等一部分的檔案在BD-ROM規格中乃非必需品,因此即便不存有一部分的檔案,BD-ROM100亦可作為影像記錄媒體在BD-ROM規格下再生。
19.BD-ROM再生裝置之內部構成
其次,說明本實施形態之再生裝置200之詳細。
第19圖係顯示再生裝置之內部構成的方塊圖。如本圖所示,再生裝置係由下述元件構成:BD-ROM驅動機1、磁軌緩衝器2、解多工器3、視訊解碼器4、左眼用視訊平面5、右眼用視訊平面6、影像記憶體7、影像解碼器8、左眼用圖形平面9、右眼用圖形平面10、靜態情節記憶體11、動態情節記憶體12、控制部13、HDMV模組14、BD-J模組15、模式管理模組16、調度器(dispatcher)17、AV再生程式館18、圖形解碼器19、平面合成器20、UO探知模組21、轉列引擎22、網路介面23、局部儲存區24、虛擬檔案系統25、聲頻解碼器26、可移媒體27、左眼用背景平面28、右眼用背景平面29、左眼用字幕平面30、及右眼用字幕平面31。在第1實施形態之平面記憶體之層狀模式,係採用有圖形平面-視訊平面之單純模型,但在第3實施形態中,乃採用圖形平面-字幕平面-視訊平面-背景圖形平面之模型作為再生裝置之內部構成。
19.1:BD驅動機1
BD驅動機1係執行BD-ROM之加載/彈出(loading/eject)、及對BD-ROM之存取。
19.2:磁軌緩衝器2
磁軌緩衝器2為FIFO記憶體,係以先進先出的方式儲存從BD-ROM所讀出的ACCESS UNIT。
19.3:解多工器3
解多工器3係透過虛擬檔案系統25,執行已保存於BD-ROM驅動機1中所加載之BD-ROM、局部儲存區24上、或可移媒體27中之傳輸流之解多工。解多工器3之解多工包含將TS封包轉換成PES封包之轉換處理。藉由解多工,可獲取構成GOP之視訊視框、聲頻視框、圖形流、及字幕流。構成GOP之視訊視框乃輸出至視訊解碼器4,而GOP中所多工的聲頻視框係輸出至聲頻解碼器26。同樣地由解多工所得之圖形流係輸出至圖形解碼器19。
19.4:視訊解碼器4
視訊解碼器4係解碼由解多工器3所輸出之視訊視框,並將非壓縮形式之圖片寫入左眼用視訊平面5及右眼用視訊平面6。
19.5-6:左眼用視訊平面5、右眼用視訊平面6
左眼用視訊平面5及右眼用視訊平面6係用以儲存非壓縮形式圖片之記憶體,分別可儲存左眼用視訊圖片與右眼用視訊圖片。該等乃相當於HAVi裝置之HVideoDevice。一旦由BD-J程式發出視訊再生要求命令,則視訊解碼器4可藉由接續的方式重寫左眼用視訊平面5及右眼用視訊平面6,實現立體視視訊流之再生。
19.7:影像記憶體7
影像記憶體7係可從虛擬檔案系統25讀出並儲存由影像解碼器所擴展之圖像影像之緩衝器。又,除經擴展之圖像影像以外,亦可作為由BD-J程式使用之通用影像緩衝器加以利用。
19.8:影像解碼器8
影像解碼器8係從虛擬檔案系統讀出壓縮狀態之圖像影像,並以轉列引擎22可高速進行複製處理或α運算處理之狀態下,將其寫入影像記憶體。具體而言,例如有以ARGB8888形式寫入之構成。
19.9-10:左眼用圖形平面9、右眼用圖形平面10
左眼用圖形平面9及右眼用圖形平面10係用以儲存應使重疊至視訊平面及字幕平面之上之影像的記憶體,相當於HAVi裝置之HGraphicsDevice。藉由該圖形平面,可實現選單顯示等。
19.11:靜態情節記憶體11
靜態情節記憶體11係用以儲存現行PL或現行串流管理資訊之記憶體。現行PL係指可從虛擬檔案系統25讀出之PL當中,成為在其時間點之處理對象者。現行串流管理資訊係指可從虛擬檔案系統25讀出之複數串流管理資訊當中,成為在其時間點之處理對象者。
19.12:動態情節記憶體12
動態情節記憶體12係儲存現行動態情節、與供於HDMV模組14及BD-J模組15之處理之記憶體。現行動態情節係指可從虛擬檔案系統25讀出之複數情節資訊當中,成為在其時間點之執行對象者。
19.13:控制部13
控制部13係由ROM、RAM、及CPU所形成之微電腦系統,ROM中記錄有控制再生裝置之程式,並藉由將ROM內之程式讀入CPU使程式與硬體資源協調作業,而實現HDMV模組14、BD-J模組15、模式管理模組16、調度器17、及AV再生程式館18之功能。
19.14:HDMV模組14
HDMV模組14係DVD-Video虛擬播放器。HDMV(High Definition Movie Mode)係以與DVD具有親和性之指令解釋器形式作業之作業模式。
19.15:BD-J模組15
BD-J模組15係包含Java虛擬機器之中間軟體平台,負責執行BD-J程式。BD-J程式係與再生影像相關並記錄在BD-ROM100之中,且於再生時讀出至動態情節記憶體12後由BD-J模組15加以執行。Java虛擬機器係解析BD-J程式並使CPU加以執行。BD-J模組15之一部分可由硬體實現,亦可由軟體實現。
19.16:模式管理模組16
模式管理模組16會保持從虛擬檔案系統25所讀出之模式管理表,並進行模式管理及分支控制(branch control)。模式管理模組16之模式管理會實施使何項HDMV模組14、或BD-J模組15執行動態情節之分配模組之處理。
19.17:調度器17
調度器17係由從UO探知模組21所接收之使用者之操作(使用者操作於以下亦記為UO),選擇僅適合於現在再生裝置中之模式的UO,並將其傳達至執行其模式之模組內。例如,於HDMV模式之執行中接收到上下左右或活化(activate)之UO時將該等UO輸出至HDMV模式之模組,乃調度器17之處理。
19.18:AV再生程式館18
AV再生程式館18係用以對應來自HDMV模組14或BD-J模組15之呼叫,執行AV再生功能、或播放清單之再生功能的程式館,藉由該程式館,控制部可作用為再生控制引擎。AV再生功能係從以BD-ROM所定義、且依循自DVD播放器及CD播放器之功能群,具有下述處理:再生開始、再生停止、一時停止、一時停止之解除、靜態影像功能之解除、經立即指定再生速度之快轉、經立即指定再生速度之倒帶、語音切換、副影像切換、及角度切換。播放清單再生功能係該AV再生功能當中,依照播放清單資訊執行再生開始或再生停止。
19.19:圖形解碼器19
圖形解碼器19係執行字幕資料之擴展處理,並將經擴展之左眼用字幕影像與右眼用字幕影像分別寫入左眼用字幕平面30與右眼用字幕平面31。
19.20:平面合成器20
平面合成器20係基於後述合成模式,對背景平面、視訊平面、字幕平面、及圖形平面之4種平面執行左眼用與右眼用之合成處理,並將其結果作為影像加以輸出。
19.21:UO探知模組21
UO探知模組21乃接收裝置的視聽者對再生裝置實施有輸入之使用者之操作(UO)。上述情況,例如有可能以如遠端遙控器(remote controller)之遠隔機器而輸入者,亦有可能透過如對機器所設置之按鍵的介面而直接輸入者。
19.22:轉列引擎22
轉列引擎22係對影像記憶體7、左眼用圖形平面9、右眼用圖形平面10、左眼用背景平面28、及右眼用背景平面29(以下,整合該等稱為圖形記憶體)執行繪圖處理。BD-J模組15具有透過轉列引擎22執行伴隨有顏色指定之線或矩形等圖形之繪圖、指定區域之塗滿、及所指定之影像之複製轉貼等繪圖處理之程式館,BD-J程式可藉由連續發出該等繪圖處理之要求,實現對圖形記憶體之各款圖形繪圖處理。
19.23:網路介面23
網路介面23可用於下載網際網路上所公開之BD-ROM追加內容。BD-ROM追加內容意指原始BD-ROM中未具有之內容,例如追加之副語音、字幕、特典影像、或應用程式等。可從BD-J模組15控制網路介面23,並可將網際網路上所公開之追加內容下載至局部儲存區24或可移媒體27。
19.24:局部儲存區24
局部儲存區24係再生裝置中所內藏之硬碟等之磁氣記錄裝置。係以BD-ROM100中所記錄之檔案形式或準據其之形式,記錄用於傳輸流或再生之各種資料。
19.25:虛擬檔案系統25
虛擬檔案系統25係提供對BD-ROM100、局部儲存區24、或可移媒體27中所記錄之檔案之讀/寫機構的檔案系統。
於BD-ROM之再生時所需之檔案存取,通常係對BD-ROM100執行,而虛擬檔案系統25具備有將存於局部儲存區24或可移媒體27中之檔案,以猶如BD-ROM100上所記錄之檔案的方式,虛擬地進行檔案之位址轉換之機構。即,本虛擬檔案系統25可提供將檔案之物理記錄處予以抽像化之機構。
19.26:聲頻解碼器26
聲頻解碼器26係將從解多工器3所輸出之聲頻視框加以解碼,並輸出非壓縮形式之聲頻資料。
19.27:可移媒體27
可移媒體27係從再生裝置中所裝設之外部槽插入之記憶媒體。
19.28-29:背景平面28、29
左眼用背景平面28及右眼用背景平面29係用以儲存背景影像之記憶體,相當於HAVi裝置之HBackgroundDevice。視訊平面將重疊於背景平面上。因而,當視訊佔滿畫面全體時,背景平面將隱藏不見,但在視訊按比率增減(scaling)─即縮小─顯示之狀況下,背景影像將顯示於視訊周圍。圖形平面中可具有豐富的用色,然而另一方面,宜將可在背景平面使用之色數設為受有限制之構成。此時,宜將可傳送至背景平面之影像、及可傳送至圖形平面之影像區分為不同種類之位元映像影像處理。在該構成中,具有可藉由抑制背景平面之色數,削減背景平面用中所需之記憶體量之效果。
19.30-31:左眼用字幕平面30及右眼用字幕平面31
左眼用字幕平面30及右眼用字幕平面31係用以儲存視訊上重疊之字幕影像之記憶體。
19.20.1:平面合成器20之合成模式
接下來,將詳細說明平面合成器20之合成模式。
平面合成器20之基本功能係將左眼用與右眼用之各個4個平面-即,由下依序為背景平面、視訊平面、字幕平面、及圖形平面-加以合成作為影像輸出者。影像輸出可輸出在左眼用與右眼用間相異的影像。藉此,視聽者可藉由觀看左眼與右眼間之相異影像,獲得立體視之效果。
但,用以立體性之視聽,無須在所有的平面中,皆設為左右相異的影像。例如,可使僅視訊平面為左右相異的影像,而顯示於視訊平面後方之背景平面、或重疊顯示於視訊平面上之選單等圖形平面為左右相同的影像亦可。此時,背景平面及圖形對視聽者而言看起來將呈平面,但由於採用此種構成可易於BD-ROM內容之製作,乃有利於成本面。
如此一來,為同時實現降低製作成本及高效能立體視視聽,再生機器之平面合成器20乃支援複數合成模式,而BD-J程式則可在必要時將合成模式予以動態切換。
例如,當顯示有平坦的選單畫面時,圖形平面正在使用左右相同的圖像,然而,一旦從選單遷移到特典之遊戲功能,則即便是在圖形平面中仍需要立體性效果,因此將圖形平面之合成模式加以切換,使可在左眼與右眼顯示相異的圖形即可。同樣地,在背景平面方面,當作為按比率增減顯示之視訊之周邊背景而使用時,亦是使用左右相同的圖像,而當作為遊戲功能之背景使用時,則可將背景平面之合成模式連同加以切換,使成為左右相異的圖像。
如以上,藉由使在平面合成器20中持有複數合成模式,可使在內容製作方面進行各式各樣的選擇(如欲簡單製作單純選單、或欲完成致力於技巧之立體性選單時等),增加製作方面之自由度。
其次,將就在平面合成器20之合成加以說明。
20.平面合成器20之構成元素
第20圖(a)係顯示平面記憶體之層構成、及平面合成器20之構成元素。解多工部105係以下述為構成元素:設置在平面記憶體之層構成之左眼用輸出系統中之加法器51、加法器52、與加法器53,以及設置在平面記憶體之層構成之右眼用輸出系統中之加法器61、加法器62、加法器63、開關64、與開關65。
加法器51係執行左眼用視訊平面之儲存內容、及左眼用背景平面之儲存內容之合成。
加法器52係執行左眼用字幕平面之儲存內容與加法器51之合成結果之合成。
加法器53係執行左眼用圖形平面之儲存內容與加法器52之合成結果之合成。
加法器61係執行左眼用視訊平面之儲存內容與左眼用背景平面(或右眼用背景平面)之儲存內容之合成。
加法器62係執行右眼用字幕平面之儲存內容與加法器61之合成結果之合成。
加法器63係執行左眼用圖形平面(或右眼用圖形平面)之儲存內容與加法器62之合成結果之合成。
開關64會將對加法器61之像素資料之供給源,切換至左眼用背景平面及右眼用背景平面中任一者。當將對加法器61之像素資料之供給源作為左眼用背景平面時,組態會變成1平面構成,而當將像素資料之供給源作為右眼用背景平面時,組態會變成2平面構成。
開關65會將對加法器63之像素資料之供給源,切換成左眼用圖形平面及右眼用圖形平面中任一者。當將對加法器61之像素資料之供給源作為左眼用圖形平面時,組態會變成1平面構成,而當將像素資料之供給源作為右眼用圖形平面時,組態會變成2平面構成。
由於字幕平面亦存有右眼用字幕平面及左眼用字幕平面,因此,照理而言字幕平面之組態亦存有1平面構成及2平面構成,然而,一旦虛擬該字幕平面之1平面構成將使說明變得相當煩瑣,故而以下將固定以2平面構成者進行字幕平面之說明。
21.合成模式之變化
在2D再生模式之輸出系統係固定為第20圖(b)者。相對於此,在3D再生模式中具有右眼用輸出系統及左眼用輸出系統,在左眼用輸出系統中,依照將右眼用平面記憶體、或左眼用平面記憶體作為對加法器之資料供給源之差異,會有第21圖(a)~(d)中顯示之4種變化。亦即,在2D再生模式中,輸出系統並未存有變化,但在3D再生模式中,平面合成器20可藉由實現4種輸出系統之切換,而具有4種合成模式(合成模式1、合成模式2、合成模式3、及合成模式4)。以下,將就各別的模式以第21圖(a)~(d)分別加以說明。
21.1:合成模式1
第21圖(a)係顯示將圖形平面、字幕平面、視訊平面、及背景平面之比率設為2:2:2:2之輸出系統之合成模式(合成模式1)。由於圖形平面、字幕平面、及背景圖形平面之平面數皆為2平面,因此對加法器63之供給源為右眼用圖形平面、而對加法器61之供給源為右眼用背景平面。在合成模式1中,圖形平面係使用左眼用與右眼用兩者。背景平面亦是使用左眼用與右眼用兩者。左眼用影像輸出係由下依序合成左眼用背景平面、左眼用視訊平面、左眼用字幕平面、及左眼用圖形平面,同樣地,右眼用影像輸出亦是由下依序合成右眼用背景平面、右眼用視訊平面、右眼用字幕平面、及右眼用圖形平面。在合成模式1中,圖形平面與背景平面雙方皆可實現立體性呈現。
21.2:合成模式2
第21圖(b)係顯示將圖形平面、字幕平面、視訊平面、及背景平面之比率設為1:2:2:2之輸出系統之合成模式(合成模式2)。由於在圖形平面之平面數為“1”,因此對加法器63之供給源為左眼用圖形平面,而對加法器61之供給源為右眼用背景平面。在合成模式2中,圖形平面係僅使用左眼用,並在左眼用影像輸出與右眼用影像輸出時皆參考左眼用圖形平面。因此,由於對圖形平面乃輸出左右相同的影像,因而就視聽者之兩眼看來將呈平坦狀態。有關背景平面亦與合成模式1同樣,係使用左眼用與右眼用兩者。在合成模式2中,左眼用影像輸出係由下依序合成左眼用背景平面、左眼用視訊平面、左眼用字幕平面、及左眼用圖形平面,而右眼用影像輸出係由下依序合成右眼用背景平面、右眼用視訊平面、右眼用字幕平面、及左眼用圖形平面。所以,背景平面雖可呈現立體性,但就圖形平面而言乃限於平面呈現。
21.3:合成模式3
第21圖(c)係顯示將圖形平面、字幕平面、視訊平面、及背景平面之比率設為2:2:2:1之輸出系統之合成模式(合成模式3)。由於背景平面之平面數為1平面,因此對加法器61之供給源乃左眼用背景平面。在合成模式3中,圖形平面係使用左眼用與右眼用兩者,但背景平面僅使用左眼用,並在左眼用影像輸出及右眼用影像輸出時皆參考左眼用背景平面。因此,因為在背景平面係輸出左右相同的影像,故而就視聽者之兩眼看來將呈平坦狀態。在合成模式3中,左眼用影像輸出係由下依序合成左眼用背景平面、左眼用視訊平面、左眼用字幕平面、及左眼用圖形平面,而右眼用影像輸出係由下依序合成左眼用背景平面、右眼用視訊平面、右眼用字幕平面、及右眼用圖形平面。所以,圖形平面雖可呈現立體性,但就背景平面而言乃限於平面呈現。
21.4:合成模式4
第21圖(d)係顯示將圖形平面、字幕平面、視訊平面、及背景平面之比率設為1:2:2:1之輸出系統之合成模式(合成模式4)。由於圖形平面之平面記憶體數為1平面、且背景平面之平面數為1平面,因此對加法器63之供給源為左眼用圖形平面,而對加法器61之供給源為左眼用背景平面。在合成模式4中,圖形平面及背景平面雙方皆僅使用左眼用。即,左眼用影像輸出係由下依序合成左眼用背景平面、左眼用視訊平面、左眼用字幕平面、及左眼用圖形平面,而右眼用影像輸出係由下依序合成左眼用背景平面、右眼用視訊平面、右眼用字幕平面、及左眼用圖形平面。所以,在合成模式4中,圖形平面與背景平面皆限於平面呈現。
22.圖形繪圖功能之API
接下來,將說明BD-J模組15所持之圖形功能。第22圖係顯示BD-J模組15所支援之圖形繪圖功能之API一例之圖,第23圖係顯示第22圖之圖形繪圖功能API之呼叫碼一例之圖。BD-J模組15將來自BD-J程式之該等API呼叫(即繪圖要求)作為觸發(trigger),使用轉列引擎22執行實際的繪圖處理。
22.1:影像繪圖要求801
影像繪圖要求801係在具有第3實施形態之內部構成之再生裝置中,要求將一張位元映像影像複製到左眼用圖形平面9之意旨者,相當於第1實施形態之Graphics#drawImage。將複製源之繪圖影像與複製目的地之繪圖位置輸入,使成為對象之繪圖影像複製到左眼用圖形平面9所指定之繪圖位置。繪圖影像係存於影像記憶體,藉由轉列引擎22高速地從影像記憶體傳送至左眼用圖形平面9。
22.2:左右影像繪圖要求802
左右影像繪圖要求802係在具有第3實施形態之內部構成之再生裝置中,要求將二張位元映像影像分別同時複製到左眼用圖形平面9與右眼用圖形平面10之意旨者,相當於第1實施形態之StereoGraphics#drawImage。該要求係將複製源之二張繪圖影像與二個繪圖位置輸入,使其中一方之繪圖影像繪圖至左眼用圖形平面9、且使另一方之繪圖影像繪圖至右眼用圖形平面10。各別的繪圖影像係存於影像記憶體,並藉由轉列引擎22高速地從影像記憶體傳送至左眼用圖形平面9與右眼用圖形平面10。
22.3:合成模式切換要求803
合成模式切換要求803係在具有第3實施形態之內部構成之再生裝置中,用以切換平面合成器20之合成模式之API,乃對應於第1實施形態之組態設定要求。不同於第1實施形態之點在於:令輸入解析度、圖形平面之設定、及背景平面之設定。當再生機器對應於複數解析度時,需要有解析度,但在第3實施形態中係絕對作為固定1920×1080而處理者。
在第3實施形態中,由於在平面記憶體存有背景平面,因此在合成模式切換要求中,分別可選擇1平面構成或2平面構成作為圖形平面及背景平面之設定。1平面構成係表示將相同影像輸出至左眼用與右眼用之模式,相當於前述1plane+Offset模式。2平面構成係表示將相異影像分別輸出至左眼用與右眼用之模式,相當於前述3D-LR模式。當在圖形平面設定要求2平面、並在背景平面設定要求2平面時,平面合成器20必需遷移成後述合成模式1。同樣地,基於圖形平面設定與背景平面設定,會一致同意平面合成器20應遷移成何種合成模式。
22.4:背景繪圖要求804
背景繪圖要求804係用以將一張位元映像影像複製到左眼用背景平面28之API。將複製源之繪圖影像輸入,使對象之繪圖影像複製到左眼用背景平面28全體。
22.5:背景繪圖要求805
背景繪圖要求805係用以將二張位元映像影像分別複製到左眼用背景平面28及右眼用背景平面29之API。將複製源之二張繪圖影像輸入,使其中一張繪圖影像複製到左眼用背景平面28、並使另一張繪圖影像複製到右眼用圖形平面29。各個繪圖影像係存於影像記憶體,藉由轉列引擎22高速地從影像記憶體傳送至左眼用背景平面28及右眼用背景平面29全體。
就背景繪圖要求之複製目的地之設定,可設定為背景平面全體,亦可同於圖形平面指定繪圖位置。
24.合成模式切換要求時之處理順序
接下來,將以第24圖加以說明呼叫有合成模式切換要求803時之處理順序。合成模式切換要求803之處理係比較平面合成器20之現在合成模式與所要求之合成模式、並進行遷移者。
首先,當圖形平面之設定要求有2平面、且確定現在圖形平面是否為1平面(合成模式2或合成模式4)(S901),在肯定的情況下,將圖形平面切換成2平面(S902)。有關該處理,將於後詳述。
接著,當圖形平面之設定要求有1平面、且確認現在圖形平面是否為2平面(合成模式1或合成模式3)(S903),在肯定的情況下,將圖形平面切換成1平面(S904)。有關該處理亦於後詳述。
其次,當背景平面之設定要求有2平面、且確認現在背景平面是否為1平面(合成模式3或合成模式4)(S905),在肯定的情況下,將背景平面切換成2平面(S906)。
當背景平面之設定要求有1平面、且確認現在背景平面是否為2平面(合成模式1或合成模式2)(S907),在肯定的情況下,將背景平面切換成1平面(S908)。最後,通知BD-J程式,切換處理已完成(S909)。該通知以作為非同步之事件處理執行為宜。
當將第24圖之流程所示之處理作為同步API裝設時,合成模式切換要求803,在S909之處理完成後會返回BD-J程式並轉移控制。由於BD-J系統有支援多線程,因此在處理合成模式切換要求803期間,BD-J程式之其他線程亦是呈獨立作業,因此若將合成模式切換要求803作為同步方法裝設,即可在完成切換處理之前,封鎖呼叫有合成模式切換要求803之線程。
25.1:從1平面構成到2平面構成之切換
接下來,有關將圖形平面從1平面切換到2平面之S902處理,將以第25圖(a)說明較詳細之處理流程。
首先最初是禁止1平面用之圖形平面繪圖要求-影像繪圖要求801(S1001),且令當以下呼叫有影像繪圖要求801時,如前述忽視該呼叫、或使例外發生。在圖形平面變成1平面之初始狀態中,同前述乃許可影像繪圖要求801之呼叫,並禁止左右影像繪圖要求802之呼叫,但自本步驟起,係禁止影像繪圖要求801及左右影像繪圖要求802雙方之呼叫。
接下來,將左眼用圖形平面9之內容全體複製到右眼用圖形平面10(S1002)。在合成模式切換前之狀態下,作為影像係僅輸出有左眼用圖形平面9之圖像,且於右眼用圖形平面10中儲存有何種圖像乃不確定,例如可能呈全面黑色原貌。然而,若就此將圖形平面切換成2平面,則該全面黑色之右眼用圖形平面10將作為影像而輸出。當BD-J程式呼叫有合成模式切換要求803時,想當然耳,乃指BD-J程式對爾後之右眼用圖形平面10亦期望繪製正確的圖像,然而,一旦在繪圖前有時滯產生,則瞬間僅對右眼用進行全面黑色之輸出,因而產生左右影像之不整合。為避免此種不整合,在本步驟中強制性地將左眼用圖形平面9之內容複製到右眼用圖形平面10,以可保持左右影像輸出之整合。
接著,將平面合成器20之合成模式切換成合成模式1、或合成模式3(S1003)。當現在背景平面為2平面時使遷移為合成模式1,當為1平面時使遷移為合成模式3即可。
最後,解除2平面用之圖形平面繪圖要求─左右影像繪圖要求802─之禁止(S1004),並於以下設為呼叫有左右影像繪圖要求802時可執行複製處理。自本步驟起,係變成禁止影像繪圖要求801之呼叫、且許可左右影像繪圖要求802之呼叫。
如上述,藉由於禁止1平面用之圖形平面繪圖要求後執行S1002、S1003之處理,可防止左眼用與右眼用之不整合。依照採用此種構成,可使即便因BD-J程式之裝設之問題而在合成模式切換要求803之處理途中產生有影像繪圖要求801,亦不會引發不整合。
25.2:從2平面構成到1平面構成之切換
接下來,有關將圖形平面從2平面切換成1平面之S904處理,將以第25圖(b)說明較詳細之處理流程。
首先最初是禁止2平面用之圖形平面繪圖要求─左右影像繪圖要求802(S1101),且令當以下呼叫有左右影像繪圖要求802時,如前述忽視該呼叫、或使例外發生。在圖形平面為2平面之初始狀態中,係禁止影像繪圖要求801之呼叫、且許可左右影像繪圖要求802之呼叫,但自本步驟起,係成為禁止影像繪圖要求801及左右影像繪圖要求802雙方之呼叫。
接著,將平面合成器20之合成模式切換成合成模式2、或合成模式4(S1102)。當現在背景平面為2平面時使遷移為合成模式2,當為1平面時使遷移為合成模式4即可。
接下來,解除1平面用之圖形平面繪圖要求-影像繪圖要求801─之禁止(S1103),且令當以下呼叫有影像繪圖要求801時,執行複製處理。自本步驟起,係變成許可影像繪圖要求801之呼叫,且禁止左右影像繪圖要求802之呼叫。
最後,將重繪圖要求事件通知BD-J程式(S1104)。切換合成模式後立刻有需要重繪圖之可能性,但由於在圖形平面為1平面之合成模式切換後,係成為可進行與習知BD-J規格同樣的圖形處理之狀態,因此為了與習知規格整合,須於本步驟通知重繪圖要求事件。
如以上,可藉由完成合成模式之切換執行S1103之處理,防止左眼用影像與右眼用影像之不整合。
依位元碼應用程式之組態設定要求,可設定背景平面為2平面構成、或為1平面構成。在此種組態切換中,會產生在第1實施形態所述之狀況,亦即:在要求將左眼用背景平面及右眼用背景平面之組態從1平面構成切換成2平面構成之意旨後,對背景平面之Graphics#drawImage之要求會達至java.awt.Graphics。爰此,在接收對背景平面之組態設定要求後、並從1平面構成組態切換到2平面構成時,會執行對背景平面之2D圖形繪圖要求之無效、從左眼用背景平面到右眼用背景平面之複製、右眼用輸出系統之切換、及3D圖形繪圖要求之接受,而從2平面構成組態切換到1平面構成時,則會執行對背景平面之StereoGraphics#drawImage之要求之禁止、右眼用輸出系統之切換、及對背景平面之Graphics#drawImage之接受。藉此,在從1平面構成組態切換到2平面構成後,可解除因2D圖形繪圖要求達至java.awt.Graphics所帶來之左右視覺不一致之產生。因而,對背景平面之組態設定要求後,亦須執行該第25圖(a)、(b)之處理。
因此,在第3實施形態中,係分別以與第25圖(a)及第25圖(b)同樣之處理流程,實現S906(將背景平面切換成2平面)及S908(將背景平面切換成1平面)之處理。
如以上,依據本實施形態,2D圖形繪圖要求無效不僅先於圖形平面之複製,亦先於背景平面之複製,因此從左眼用背景平面像素資料複製到右眼用背景平面後,於左眼用背景平面中不會寫入新的圖形。即便因2D圖形繪圖要求延遲而達至java.awt.Graphics,亦不可能依照其2D圖形繪圖要求顯示背景平面之儲存內容,因而不會產生兩眼視覺之不一致。
(第4實施形態)
本實施形態係有關在第1實施形態中所說明之層狀模式,如何於再生裝置內實施1平面繪圖要求之禁止及其解除、以及2平面繪圖要求之禁止及其解除之改良。
25:對org.havi.ui之改良
用以實現第25圖(a)、(b)之處理,必須使在執行有setConfiguraion呼叫中之第2引數為2平面構成之指定時之處理、以及第3引數為2平面構成之指定時之處理,追加至org.havi.ui中。此種改良將第26圖之流程圖之處理順序追加至org.havi.ui中即可。
26:在setConfiguraion呼叫時之org.havi.ui之處理順序
第26圖係顯示在setConfiguraion呼叫時之org.havi.ui之處理順序的流程圖。本流程圖為相當於平面構成之切換處理之最上位處理─亦即主程序(main routine)─者,作為本流程圖之下位流程圖有第27圖~第30圖之流程圖。以下,將說明在主程序之處理順序。
步驟S901係判定現在圖形平面之組態為1平面構成,而且,在setConfiguraion呼叫時之第2引數─亦即圖形平面之平面數─是否為指定2平面構成者。該判定係較第24圖之步驟S901更詳細者。若該步驟S901為Yes,則在步驟S1000中將以第1引數所指定之解析度之圖形平面確保2平面後,執行步驟S1001~步驟S1004。
步驟S1001~步驟S1004係來自setConfiguraion呼叫對2平面構成之切換順序,與先前實施形態中之第25圖(a)之處理順序相同,附有與第25圖(a)相同之參考記號。具體而言,係禁止對圖形平面之1平面用繪圖要求(步驟S1001)、進行從左眼用圖形平面到右眼用圖形平面之像素資料複製(步驟S1002)、切換平面合成器之合成模式(步驟S1003)、及解除對圖形平面之2平面用繪圖要求之禁止(步驟S1004)。
當步驟S901為No時,執行步驟S903之判定。步驟S903係判定現在圖形平面之組態為2平面構成,而且,在setConfiguraion呼叫時之第2引數─亦即圖形平面之平面數─是否為指定1平面構成者。該判定係較第24圖之步驟S903更詳細者。若該步驟S903為Yes,則在步驟S1100中將以第1引數所指定之解析度之圖形平面確保1平面後,執行步驟S1101~步驟S1104。
步驟S1101~步驟S1104係來自setConfiguraion呼叫對1平面構成之切換順序,與先前實施形態中之第25圖(b)之處理順序相同,附有與第25圖(b)相同之參考記號。具體而言,係禁止對圖形平面之2平面用繪圖要求(步驟S1101)、切換平面合成器之合成模式(步驟S1102)、解除對圖形平面之1平面用繪圖要求之禁止(步驟S1103)、及通知重繪圖要求事件(步驟S1104)。
以上為setConfiguraion對圖形平面之處理順序之說明。接下來,將就對背景平面之處理之詳細加以說明。
步驟S905係判定現在背景平面之組態為1平面構成,而且,在setConfiguraion呼叫時之第2引數─亦即背景平面之平面數─是否為指定2平面構成者。該判定係較第24圖之步驟S905更詳細者。若該步驟S905為Yes,則在步驟S1010中將以第1引數所指定之解析度之背景平面確保2平面後,執行步驟S1011~步驟S1014。步驟S1011~步驟S1014係來自setConfiguraion呼叫對2平面構成之切換順序,乃於背景平面中適用有先前實施形態中之第25圖(a)之處理順序者。具體而言,係禁止對背景平面之1平面用繪圖要求(步驟S1011)、進行從左眼用背景平面到右眼用背景平面之像素資料複製(步驟S1012)、切換平面合成器之合成模式(步驟S1013)、及解除對背景平面之2平面用繪圖要求之禁止(步驟S1004)。
當步驟S905為No時,執行步驟S907。步驟S907係判定現在背景平面之組態為1平面構成,而且,在setConfiguraion呼叫時之第2引數─亦即背景平面之平面數─是否為指定2平面構成者。該判定係較第24圖之步驟S907更詳細者。若該步驟S907為Yes,則在步驟S1110將以第1引數所指定之解析度之背景平面確保1平面後,執行步驟S1111~步驟S1114。步驟S1111~步驟S1114係來自setConfiguraion呼叫對1平面構成之切換順序,乃於背景平面中適用有先前實施形態中之第25圖(a)之處理順序者。具體而言,係禁止對背景平面之2平面用繪圖要求(步驟S1111)、切換平面合成器之合成模式(步驟S1112)、解除對背景平面之1平面用繪圖要求之禁止(步驟S1113)、及通知重繪圖要求事件(步驟S1114)。
27:對java.awt.Graphics之改良
為了實施在第3實施形態之第25圖(a)、(b)之處理,必須從第26圖之步驟S1001中禁止1平面用繪圖要求起、到第26圖之步驟S1103中解除1平面用繪圖要求之禁止為止,全面禁使執行Graphics#drawImage,又,亦須於java.awt.Graphics中添加如使至今所進行之Graphics#drawImage呼叫予以無效之改良。此種改良於java.awt.Graphics中追加第27圖之流程圖之處理順序即可。
第27圖係顯示java.awt.Graphics之處理順序的流程圖。執行有步驟S1~步驟S2所形成之迴路。步驟S1係判定是否有執行java.awt.Graphics之呼叫,若有執行java.awt.Graphics之呼叫,即在步驟S3中依照第1引數及第2引數,執行圖形之繪圖。步驟S2係判定是否有禁止1平面用繪圖要求。若有執行禁止,即從步驟S2移轉至步驟S4。步驟S4係判定儲存器之中是否有存在Graphics#drawImage之呼叫碼。若有存在呼叫碼,即在步驟S5中使Exception返回Graphics#drawImage之呼叫碼之呼出源之線程,並忽視Graphics#drawImage。步驟S6係等待判定是否有解除1平面繪圖要求,若有解除,即返回步驟S1~步驟S2之迴路。藉由java.awt.Graphics執行以上之處理,使從第25圖(a)之步驟S1001中禁止1平面用繪圖要求起、到第25圖(b)之步驟S1103中解除1平面用繪圖要求之禁止為止,java.awt.Graphics皆不會執行Graphics#drawImage。
28:對應用程式管理器之改良點
以下將記述對用以實現第25圖(a)、及第25圖(b)之平面構成之切換的應用程式管理器之改良點。由於StereoGraphics係僅處理StereoGraphics#drawImage之Stereo Graphics專用之圖形繪圖封包,因此作為在移動至第26圖之步驟S1004時啟動StereoGraphics者,必須控制Stereo Graphics之狀態使在移動至第26圖之步驟S1101時結束Stereo Graphics之作業。為實現此種狀態控制,作為Stereo Graphics特有之狀態控制,使應用程式管理器執行第28圖之處理順序即可。
第28圖係顯示應用程式管理器之Stereo Graphics之狀態控制順序的流程圖。步驟S11係等待判定是否有解除2平面繪圖要求之禁止,若有解除,則移至步驟S12載入StereoGraphics並加以啟動。爾後,移動至步驟S13~步驟S14之迴路。步驟S13係使StereoGraphics處理3D圖形者,只要有發生3D圖形之呼叫,則StereoGraphics便需依照該3D圖形之呼叫執行對左眼用圖形平面及右眼用圖形平面之圖形寫入。步驟S14係判定是否有禁止2平面繪圖要求。只要未有所禁止,便重複步驟S13~步驟S14之迴路。若有禁止,則在步驟S15中結束StereoGraphics之作業,並移至步驟S11等候禁止之解除。
以上為應用程式管理器之StereoGraphics之狀態控制的相關說明。藉由從外部如上述地控制StereoGraphics之狀態,可使StereoGraphics侷限作業。
29:對裝置驅動器之改良
為實施第25圖(a)、(b)之處理,必須在第26圖之步驟S1003、及第26圖之步驟S1102中,於要求有合成模式之切換時,使裝置驅動器實現右眼用輸出系統之解放、追加、或對右眼用加法器之資料供給源之切換。此種改良係於裝置驅動器中追加第29圖(a)、(b)之流程圖之處理順序即可。
第29圖(a)係顯示相當於合成模式器之合成模式之切換順序之主程序的處理順序之流程圖。步驟S21係再生模式為3D再生模式或2D再生模式之判定,若為2D再生模式,則在步驟S22解放右眼用輸出系統。若再生模式為3D再生模式,則在步驟S23判定右眼用輸出系統是否有效。若有效,即在步驟S25切換右眼用輸出系統。若無效,即在步驟S24追加右眼用輸出系統,並在步驟S25切換右眼用輸出系統。
有關步驟S25之右眼用輸出系統之切換,將使用第29圖(b)之子程序(subroutine)加以更詳細地說明。
第29圖(b)係顯示右眼用輸出系統之切換順序的流程圖。步驟S26係判定setConfiguraion之第1引數是否為2平面者。若步驟S26為No,則在步驟S27將對右眼用加法器之供給源,設為左眼用圖形平面。若步驟S26為Yes,則在步驟S28中將對右眼用加法器之供給源,設為右眼用圖形平面。步驟S29係判定setConfiguraion之第2引數是否為2平面者。若為No,則在步驟S30將對右眼用加法器之供給源,設為左眼用背景平面。若為Yes,即在步驟S31將對右眼用加法器之供給源,設為右眼用背景平面。
30:具體實現StereoGraphics之處理順序
StereoGraphics之實體係使MPU執行對應於StereoGraphics#drawImage呼叫之繪線的常駐型位元碼應用程式。第30圖係顯示呼叫有StereoGraphics#drawImage方法時之繪線順序的流程圖。
變數Y係在本流程圖之迴路的控制變數,乃在步驟中初始化、並用於步驟S54中之本流程圖之結束條件的成否判定。
將顯示繪圖影像之繪圖對象行之變數Y初始化為「1」(步驟S51)後,移動至步驟S52~步驟S54之迴路。在該迴路中,重複下述處理直到步驟S54判定為Yes:將作為第2引數所指示之繪圖影像之第Y行之RGB值,從左影像平面之(x1,y1+Y-1)起寫到(x2,y1+Y-1)(步驟S52)、並將第4引數之第Y行之RGB值從右影像平面之(x3,y3+Y-1)起寫到(x4,y3+Y-1)(步驟S53)。步驟S54係y1+Y-1為y2、且有否滿足y3+Y-1=y4之條件之判定,當未滿足該條件時,即在步驟S55將變數Y予以增量、並移動至步驟S52。藉由重複該迴路,可使構成Image1之線像素寫入應執行在左影像平面中之繪圖之矩形範圍內,並使構成Image2之線像素寫入應執行在右影像平面中之繪圖之矩形範圍內。
以上為StereoGraphics之複製順序之相關說明。接下來,將說明使用StereoGraphics#drawImage進行GUI繪圖之位元碼應用程式之具體例。作為使用有StereoGraphics#drawImage之GUI繪圖之具體例,有在複數的視框期間,將繪圖影像寫入左眼用圖形平面、及右眼用圖形平面者。以下,將說明使用有StereoGraphics#drawImage之位元碼應用程式之記述例。
31:位元碼應用程式之選單顯示之具體例
第31圖係位元碼應用程式之選單顯示之流程圖。在步驟S41中,將最初應顯示繪圖影像之視框設為”視框t”後,移至步驟S42~步驟S47之迴路。步驟S42~步驟S47係重複:生成應顯示於視框t之左影像之實例、作為影像1(步驟S42)、生成應顯示於視框t之右影像之實例、作為影像2(步驟S43)、等候視框t之起始期之到來(步驟S44)、若起始期到來,即特定應執行左影像平面之繪圖之矩形範圍、及應執行右影像平面之繪圖之矩形範圍(步驟S45)。而且,以引數指定有應執行左影像平面之繪圖之矩形範圍、及應執行右影像平面之繪圖之矩形範圍後,執行StereoGraphics#drawImage方法之呼叫(步驟S46)、接著將應顯示影像之視框設為視框t之處理(步驟S47)者。
如以上,依據本實施形態,藉由對BD-J終端之播放器模型、層狀模式之構成要素之改良,可使再生裝置執行以到目前實施形態中所述之特徵性處理,因而無需對再生裝置之基本構成加諸大幅的變更,將本申請特有之特徵性處理安裝至再生裝置。藉此,可大幅削減再生裝置之開發工時(man-hour),而早日投入再生裝置之產品製作。
(第5實施形態)
本實施形態係以標題選擇時所執行之模式選擇程序,決定再生裝置中之再生模式之實施形態。在此,本說明書之標題係將至少一個作業模式物件設為必須的構成要素。作業模式物件係規定某模式中之標題再生時的再生裝置行為之詳細的作業管理表。而且,該標題中有HDMV標題、與BD-J標題之種類別。
32.1:HDMV標題
「HDMV標題」係應以第3實施形態中所述之HDMV模式再生之標題,乃由影片物件(movie object)及以影片物件內之再生指令所再生之播放清單(播放清單資訊、剪輯資訊、串流檔)而構成。
「影片物件」係在索引表中與HDMV標題之標題編號相對應之作業模式物件,乃藉由將顯示回復(resume)之可否之回復旗號、顯示是否屏蔽(mask)選單呼叫之旗號、以及顯示是否屏蔽標題檢索之旗號,對應於從導航指令列所構成之批次(batch)程式而構成。
32.2:BD-J標題
「BD-J標題」係應以第3實施形態中所述之BD-J模式再生之標題,乃由類別歸檔檔案及BD-J物件而構成。
「類別歸檔檔案」係將位元碼應用程式之類別結構體之檔案(類檔案),與數位證書工作性質規定檔檔案(manifest file)、磁碟署名簽名檔、磁碟署名密碼鍵檔案、及許可要求檔案(permission request file)整合為一所歸檔之檔案。應用程式之載入係可將該類別歸檔檔案整合為一,並於類別載入(classload)時,檢證使用有數位證書、磁碟署名、及磁碟署名密碼鍵之應用程式之正當性。又,由於存有許可要求檔案,因此可將應用程式之作業侷限在賦予有一定權限者。
歸檔於類別歸檔檔案之位元碼應用程式係稱為BD-J應用程式。
32.2.1:BD-J應用程式
BD-J應用程式可藉由履行(implement)Xlet介面,而供於應用程式管理器之狀態控制。該Xlet介面中有:public void initXlet(){},係規定初始狀態中之BD-J應用程式之行為之介面;public void startXlet(){},係規定開始狀態中之BD-J應用程式之行為之介面;public void pauseXlet(){},係規定暫停狀態中之BD-J應用程式之行為之介面;及public void destroyXlet(){},係規定銷毀狀態中之BD-J應用程式之行為之介面,該等初始狀態、開始狀態、暫停狀態、及銷毀狀態之行為係以物件導向程式語言所記述。又,藉由履行public void KeyListener(){}介面,可記述對應於特定主要事件之BD-J應用程式之行為。
藉由履行public void ControllerListner(){}介面,可定義對應於JMF播放器之控制器之狀態變化的BD-J應用程式之行為。在此,BD-J應用程式當中,可使用try文記述模擬例外處理發生之行為。又,BD-J應用程式當中,可使用catch文記述例外處理發生時之行為。
在BD-J應用程式中,於可利用在實現立體視再生之API中,有Java2Micro_Edition(J2ME) Personal Basis Profile(PBP 1.0)、及Globally Executable MHP specification(GEM1.0.2)for package media targets。只要利用該等API,即可藉由使用有下述類別之方法、建構者(constractor)、介面、及事件之結構化程式設計,達成可3D再生之BD-J標題之記述:即,用以網路處理之java.net、用以GUI處理之java.awt、用以言語處理之java.lang、用以對記錄媒體之I/O處理之java.io、公用程式之java.util、用以媒體框架(media framework)之javax.media、及、用以HAVi裝置之org.havi.ui等。
又,藉由使用用以BD-J模式之增設API(稱為BD-J增設),可實現用以到目前為止實施形態中所述之立體視再生之資料結構、以及實現使用有立體視再生中之再生單位之控制。該BD-J增設含有來自java.net、java.awt、java.lang、java.io、java.util、及javax.media類別之方法之繼承法(inherit method),由於係將該等類別之介面設為嵌式介面、超介面,因此在使用有java.net、java.awt、java.lang、java.io、java.util、及javax.media類別之程式設計技法之延長上,可製作以立體視再生為前提之BD-J標題。
例如,用以BD-J模式之增設API,包含再生裝置之狀態設定、及下令狀態取得之設定取得類別。該設定取得類別係由顯示播放器狀態暫存器(PSR)之保持值之恆定場(constant field)、下令取得PSR之保持值之取得方法、及下令設定PSR之保持值之設定方法而構成。
設定取得類別之方法包含java.lang.Object類別之方法之繼承法。又,若方法呼叫時的引數不適當,即丟棄(throw)java.lang類別之事件─java.lang.IlleghalArgumentException事件。由於本類繼承有java.lang.Object之方法或事件,因此程式設計師可藉由java.lang.Object之延長,製作利用有暫存器組合之保持值之程式。以上為類別歸檔檔案之相關說明。
32.2.2:BD-J物件之詳細
接下來,說明BD-J模式之作業模式物件─BD-J物件─之詳細。
「BD-J物件」係規定在BD-J模式之再生裝置行為之詳細。其行為之詳細,如以下:對應之標題變成現行標題時的應用程式之類別載入(1)、對應之標題變成現行標題時的應用訊號(2)、每當由該應用訊號所啟動之應用程式執行GUI處理時的HAVi裝置組態(3)、在該現行標題之播放清單存取(4)、對應之標題變成現行標題時的類別歸檔檔案之快取入/快取出(5)、及、將成為所啟動之應用程式之觸發的事件分配至按鍵(key)之事件分配(6)。
「類別載入」係於平台之堆積區生成類別歸檔檔案中所歸檔之類檔案之實例之處理,「應用訊號」係規定是否使應用程式(類檔案之實例)自動啟動、或、應將應用程式之生存區間設為標題邊界或設為磁碟邊界之控制。標題邊界係於標題結束的同時使應用程式之線程從堆積區消去之管理,磁碟邊界係於磁碟排出的同時使應用程式之線程從堆積區消去之管理。相反地,即使進行磁碟排出亦未將線程從堆積區削除之控制,稱為「磁碟無界(disk unboundary)」。「HAVi裝置組態」係規定每當應用程式執行GUI處理時的圖形平面之解析度或用於文字顯示之字型等者。
「播放清單存取」係所啟動之應用程式可下令再生之播放清單、或標題選擇時應自動再生之播放清單之指定。
「類別歸檔檔案之快取入」係將成為類別載入對象之類別歸檔檔案先讀入快取之處理,「類別歸檔檔案之快取出」係將快取中所存有之類別歸檔檔案從快取削除之處理。「用以應用程式驅動之事件分配」係將應用程式之事件收聽器(event listener)中所登記之事件分配至使用者可操作之按鍵(key)者。
位元碼應用程式當中,將以BD-J物件內之應用程式管理表執行應用訊號者稱為「BD-J應用程式」。將HDMV標題與BD-J標題對比之下,在上述HDMV標題中,用以執行導航指令之指令解釋器、或用以解讀再生播放清單之再生控制引擎等模組乃軟體之作業主體。
相對地,在BD-J標題中,乃用以類別載入之類別載入器或用以應用訊號之應用程式管理器、HAVi裝置、用以Java媒體框架之播放清單再生之再生控制引擎、用以快取入/快取出管理之快取管理器、用以事件處理之事件管理器等軟體群(亦即,與在數位播放之多媒體平台端末之軟體群十分相似之軟體群)為作業主體,因此再生裝置中的軟體構成,在從BD-J標題到HDMV標題之切換、或從HDMV標題到BD-J標題之切換中會大相逕庭。
就切換後之軟體之作業主體而言,再生模式為以實現下述二項處理,而在選擇現行標題時,執行用以選擇最佳的再生模式之程序:是否有成為最適當者之確認、以及最適於切換後之作業模式的再生模式之選擇。
32.2.3:BD-J物件之內部構成
以下,將就BD-J物件加以說明。第32圖係顯示BD-J物件之內部構成一例之圖。如本圖所示,BD-J物件係由「應用程式管理表」、「端末管理表」、「應用程式快取資訊」、「播放清單存取資訊」、及「按鍵重要意義(key interest)表」所構成。
「應用程式管理表」係將對應用程式管理器或類別載入器指示以標題為邊界之應用訊號之控制表,而「端末管理表」係用以實現GUI之HAVi裝置組態、或用於GUI之字型、以及對多媒體家用平台(Multimedia Home Platform;MHP)指示使用者操作之屏蔽之有無之管理表。「應用程式快取資訊」係對快取管理器指示標題選擇時之歸檔檔案之快取入/快取出之控制表,「播放清單存取資訊」係對再生控制引擎(PCE)指示在標題選擇時播放清單之自動再生之指定之控制表。「按鍵重要意義表」係對事件管理器指示按鍵與事件之對應關係之控制表。
引出線bj1係將應用程式管理表之入口予以特寫(close up)顯示。如該引出線所示,應用程式管理表之入口包含「控制碼」、「應用程式型」、「應用程式ID」、及「應用程式描述符」。「控制碼」係在標題中顯示是否應使應用程式自動啟動(AutoStart)、或應等待來自其他應用程式之呼出而啟動(Present)之啟動方法者。「應用程式ID」係使用5位數數值(成為歸檔有應啟動之BD-J應用程式之歸檔檔案之檔案名)顯示欲成對象之應用程式者。引出線bj2係將「應用程式描述符」之內部構成予以特寫顯示。如本引出線所示,「應用程式描述符」於每一個應用程式儲存有:載入應用程式時之「優先度」;「連結資訊(binding information)」,係顯示應用程式是否為標題無界(title unbound)、或是否為磁碟結合者;「言語碼」,係顯示應用程式名稱之文字列與應用程式之言語屬性者;「圖符定位器」,係指出並顯示應用程式所對應之圖符之所在處者;及「應用程式之設定檔值」。對應於3D再生模式之應用程式係設定成該設定檔(profile)值=5。將索引表中之BDMV應用程式資訊之立體視內容存在旗號設定成1,乃以設定該應用程式之設定檔值=5為要件。
引出線bj3係將在端末管理表之組態資訊加以特寫顯示。組態資訊係對再生裝置指示確保圖形平面之資訊,如該引出線bj3所示,端末管理表可任擇設置在HD3D_1920×1080、HD3D_1280×720、HD_1920×1080、HD_1280×720、及QHD_960×540,SD,SD_50HZ_720×576,SD_60HZ_720×480當中。
引出線bj4係將指定在播放清單存取資訊之自動再生播放清單之資訊的內部構成加以特寫顯示。如引出線bj4所示,作為指定自動再生播放清單之資訊,可指定3D播放清單1920×1080、3D播放清單1280×720、2D播放清單1920×1080、2D播放清單1280×720、2D播放清單720×576、或2D播放清單720×480。
當選擇有任一標題時,再生裝置會不待來自應用程式之再生指示便開始由與所選之現行標題相對應的播放清單存取資訊所指定之播放清單之再生,當播放清單再生之結束前,BD-J應用程式執行較先行結束時,仍會持續進行播放清單之再生。
當因上述先行再生使應用程式之類別載入耗費時間而未顯示繪圖影像,而使對話畫面無法順利輸出時,會使播放清單再生之再生影像照舊輸出,因此即便應用程式中之啟動延遲(starting delay)很顯著時,仍舊可使使用者視聽播放清單之再生影像。在應用程式起動延遲期間,可設定在播放有某畫面之狀態下,故可使使用者感到安心。
33.1:在標題切換時之圖形平面設定
第33圖係顯示在標題切換時之平面記憶體之解析度設定之處理順序一例的流程圖。本流程圖係依照步驟S61、步驟S62、步驟S63、及步驟S66之判定結果,選擇性執行步驟S64、步驟S65、及步驟S67之處理。
步驟S61係判定自動再生播放清單存在與否者,步驟S62係判定上一個再生模式是否為3D者。步驟S63係判定所選擇之標題之自動再生播放清單是否為1920×1080之3D播放清單、或為1280×7203D播放清單者。
當未存有自動再生播放清單時,在步驟S66會判定作業模式物件之預設解析度是否為HD3D_1920×1080、或HD3D_1280×720,若為Yes,即在步驟S65將再生模式設定為3D,並依照作業模式物件之預設解析度設定為1920×1080、或1280×720。若為No,則在步驟S67將再生模式設定為2D,並將解析度設定在作業模式物件之預設解析度。
當未存有自動再生播放清單時,在步驟S62判定上一個再生模式是否為2D、或、在步驟S63判定播放清單為3D播放清單、且其解析度為1920×1080、1280×720與否。只要步驟S62、或步驟S63其中一者為No,即在步驟S64將再生模式設定為2D,並將解析度設定在自動再生播放清單之解析度。
當步驟S62判定為Yes、且步驟S63亦判定為Yes時,在步驟S65將再生模式設定為3D,並將解析度依照自動再生播放清單之解析度設定在1920×1080或1280×720。
33.2:再生模式與圖形平面組態之關連性
當立體視再生所對應之3D播放清單選作為再生對象時,再生裝置之模式會從2D再生模式切換成3D再生模式。但,即便再生模式轉換成3D再生模式,圖形平面仍維持1平面構成之狀態。亦即,只要未有呼叫setConfiguraionAPI,要求將圖形平面之組態從1平面構成切換成2平面構成,圖形平面仍維持1平面構成之狀態。
同樣地,在選擇現行標題時,當立體視再生所對應之3D播放清單選作為自動再生播放清單時,再生裝置之模式亦會從2D再生模式切換成3D再生模式。但,即便立體視再生所對應之3D播放清單選作為自動再生播放清單、且再生模式變成3D再生模式,圖形平面仍維持1平面構成之狀態。
然而,在選擇現行標題、且對應於現行標題之BD-J物件之HAVi裝置組態顯示有左眼用圖形平面及右眼用圖形平面之組態時,圖形平面之組態會自動從1平面構成切換成2平面構成。亦即,從1平面構成到2平面構成之組態切換在選擇現行標題時,係對應於現行標題之BD-J物件之HAVi裝置組態顯示有左眼用圖形平面、及右眼用圖形平面之組態、或係以要求有要求2平面構成之setConfiguraion API為要件。
33.3:圖形繪圖要求忽視之必然性
在BD-J物件之HAVi裝置組態中可設定圖形平面為2平面構成或為1平面構成,因此在選擇現行標題時可執行從1平面構成到2平面構成之組態切換、或從1平面構成到2平面構成之組態切換。在此種組態切換中,會發生第1實施形態中所述之狀況,亦即從1平面構成到2平面構成之組態切換後,會發生2D圖形繪圖要求達及java.awt.Graphics之狀況。爰此,在選擇現行標題、從1平面構成組態切換到2平面構成時,乃執行2D圖形繪圖要求之無效、圖形平面複製、右眼用輸出系統之切換、及3D圖形繪圖要求接受,而當從2平面構成組態切換到1平面構成時,則執行3D圖形繪圖要求之禁止、右眼用輸出系統之切換、及2D圖形繪圖要求之接受。藉此,於從1平面構成組態切換到2平面構成後,可解除因2D圖形繪圖要求達及java.awt.Graphics所產生之左右視覺之不一致。
如以上,依據本實施形態,在選擇現行標題時,可基於BD-J物件,使用以HAVi裝置組態所規定之解析度實現立體視再生。
(第6實施形態)
在本實施形態中,將說明在1平面構成之1plane+Offset模式中圖像爆出(pop)之原理。在1plane+Offset模式中,係將在左眼瞳孔入射期間之繪圖影像之寫入位置往右方向移位、且將在右眼瞳孔入射期間之繪圖影像之寫入位置往左方向移位,藉此可使立體視影像看起來較顯示畫面位於更前方。
34:在1plane+Offset模式中使圖像爆出之原理
第34圖係用以說明當平面偏移之記號為正時,圖像會看起來較顯示畫面位於更前方之原理之圖。
在本圖中,以圓圈所示者為顯示畫面上顯示之圖像。首先,在2D再生模式之情況下,由於右眼可見之圖像及左眼可見之圖像皆位在同位置上,因此以兩眼觀看該圖像時的焦點位置會落在顯示畫面上(第34圖(a))。故而,顯示之圖像會落在顯示畫面上。
在左眼瞳孔入射期間,左眼可見之圖像與平面偏移為0之情況相比,係以可見於右側位置的方式予以位移顯示。此時,以快門眼鏡500使右眼無法看見任何事物。另一方面,右眼可見之圖像與平面偏移為0之情況相比,係以可見於左側位置的方式予以位移顯示。此時,以快門眼鏡500使左眼無法看見任何事物(第34圖(b))。
人類係以兩眼聚合焦點、並以於其焦點位置上成像的方式進行識別。因此,若以快門眼鏡500在短時間間隔內將左眼可見圖像之狀態、及右眼可見圖像之狀態加以交互切換,則人類的雙眼會欲使焦點位置聚合在較顯示畫面更前方之位置上,因此,會引起錯覺宛如有圖像形成於較顯示畫面位於更前方之焦點位置上(第34圖(c))。
35:在1plane+Offset模式中,使圖像看起來較顯示畫面更後方之原理
第35圖係用以說明使圖像看起來較顯示畫面位於更後方之原理之圖。在第35圖(a)中,以圓圈所示者係顯示在顯示畫面上之圖像。首先,在2D模式中,右眼可見之影像及左眼可見之影像皆位在同位置上,因此以兩眼觀看該圖像時的焦點位置係落在顯示畫面上(第35圖(a))。故而,顯示之圖像會落在顯示畫面上。
另一方面,在左眼瞳孔入射期間,與平面偏移為0之情況相比,係使左眼可見之影像看起來如位於左側位置。此時,以快門眼鏡500使右眼無法看見任何事物。另一方面,與偏移為0之情況相比,係使右眼可見之影像看起來如位於右側位置,此時,以快門眼鏡500使左眼無法看見任何事物(第35圖(b))。
若以快門眼鏡500在短時間間隔將左眼可見影像之狀態、及右眼可見影像之狀態加以交互切換,則人類的雙眼將欲使焦點位置聚合在較顯示畫面更後方之位置上,因此,會引起錯覺宛如有成像在較顯示畫面位於更後方之位置上(第35圖(c))。
36:1plane+Offset模式中之偏移正負之差異
第36圖係顯示正與負之平面偏移之視覺差異一例之圖。
本圖(a)係顯示將左眼瞳孔入射期間之繪圖影像之寫入位置往右方向移位、及、將右眼瞳孔入射期間之繪圖影像之寫入位置往左方向移位之情況。如第34圖所示,與往右眼瞳孔之射入輸出時的圖形相比,往左眼瞳孔之射入輸出時的圖形會看起來較位於右方位置。亦即,輻輳點(焦點位置)會落在較螢幕更前方之位置,因此圖形亦會看起來位在前方。
本圖(b)係顯示將左眼瞳孔射入期間之繪圖影像之寫入位置往左方向移位、及、將右眼瞳孔射入期間之繪圖影像之寫入位置往右方向移位之情況。如第35圖所示,與往右眼瞳孔之射入輸出時的圖形相比,往左眼瞳孔之射入輸出時的圖形會看起來較位於左方位置。亦即,輻輳點(焦點位置)會落在較螢幕更後方之位置,因此圖形亦看起來位在後方。以上為1平面構成之組態時的立體視圖像之觀看樣態之說明。
36.1:圖形平面中之1plane+Offset模式之實現
圖形平面係由複數線記憶體(line memory)而形成,構成圖形之ARBG形式之像素資料係分別儲存於構成圖形平面之線記憶體之雙字(double word)(32位元)長的記憶元件內。而且,構成圖形之像素資料之畫面上的座標係與例如ROW位址(指示圖形平面中之像素資料之線記憶體)及COLUMN位址(指示其線記憶體中之記憶元件)之組相對應。
在1plane+Offset模式中,使圖形平面中之像素資料之X座標往水平方向偏移,可實現立體視。如上述,構成OSD之像素資料之畫面上的座標係與指示圖形平面中之像素資料之線記憶體之ROW位址、及指示其線記憶體中之記憶元件之COLUMN位址之組相對應,因此若使指示圖形平面中之圖形之各像素資料之記憶元件之COLUMN位址依照相當於水平方向偏移之位址增減,即可使像素資料之座標往左右方向變位。且像素資料之位址位移,可藉由伴隨位址調整之像素資料之複製處理加以實現。在此,當欲將像素資料之X座標依照以水平方向之偏移所指定之像素數X變更時,可預先在複製像素資料時,將指示成為其複製目的地之記憶元件之COLUMN位址,依照相當於像素數X之位址前後調整。若以此種調整為前提執行複製,則像素資料之座標將往左右方向位移。當平面合成器執行層合成時,構成圖形平面之線記憶體與平面合成器內之線記憶體之間,會進行上述像素資料之複製,因此在該複製時進行如上述之位址調整,即可達成圖形平面之左右位移。
作為左右方向之位移量,在1plane+Offset模式中係使用視訊流之存取單元結構中所安裝之偏移序列之偏移。由於偏移序列在每一個GOP之各視框,規定有水平方向之偏移,因此1plane+Offset模式中之像素之爆出程度將與視訊流縝密同步。
如以上,依據本實施形態,可在1平面構成中簡易地實現立體視再生,因此可實現位元碼應用程式之圖形繪圖處理之簡易化。
<備註>
以上,在本申請之申請時間點上係依申請人所知範圍內的最良實施形態加以說明,惟就以下所示之技術的題材,可加諸進一步的改良或變更實施。望留意,係就同各實施形態中所示予以實施、或是否施加該等改良或變更,乃皆屬任意、且皆依實施者之主觀決定。
(可移媒體之種類)
記憶媒體之種類典型上可利用SD卡等快閃媒體,但亦可為USB記憶體、可移硬碟、或其他任意種類之記憶媒體。
(當進行有不可使用之繪圖要求時的錯誤處理)
在第2實施形態中,依所選擇之合成模式,有可使用之繪圖要求、與不可使用之繪圖要求。作為進行有不可使用之繪圖要求時之錯誤處理(error handling),宜如下處理。
首先,影像繪圖要求801係僅對左眼用圖形平面9執行繪圖之API。因此,當在合成模式1與合成模式3中被呼叫時,在合成結果之影像輸出當中,會僅有左眼變成更新過之影像,而右眼則為保留更新前之影像。即,左眼影像與右眼影像相互不同,會有對視聽者賦予不快感之虞,故而必須禁止此種繪圖要求。爰此,僅於合成模式2及合成模式4中呼叫有影像繪圖要求801時,執行對左眼用圖形平面9之複製處理,而於合成模式1或合成模式3中被呼叫時,即忽視該呼叫。在習知的BD-J規格中,相當於影像繪圖要求801之功能係規定為不使例外發生之API,因此藉由採取此種構成,可使不與習知平面視專用再生裝置之規格產生矛盾,而確實防止左眼影像與右眼影像之不整合。
而,亦可設定為雖與習知規格作業不同、但並非忽視該呼叫而是使例外發生之構成。
(在合成模式1、3中應禁止之繪圖處理)
又,在第3實施形態中,雖僅舉例「影像複製」作為對左眼用圖形平面之繪圖要求,但有關存於BD-J之習知規格中之其他繪圖處理(如「矩形塗滿」或「文字列繪圖」等),在合成模式1或合成模式3中亦應當禁止。
(在合成模式1或合成模式3中要求有左右影像繪圖要求802時之處理)
左右影像繪圖要求802係同時繪圖左眼用圖形平面9與右眼用圖形平面10之功能,當在合成模式1或合成模式3中被呼叫時雖皆持有意義,然而當在合成模式2及合成模式4中被呼叫時,僅左眼用繪圖持有意義,因此非常有可能是BD-J程式之錯誤。爰此,僅在合成模式1或合成模式3中呼叫有左右影像繪圖要求802時,對兩圖形平面執行繪圖處理,而當在合成模式2及合成模式4中被呼叫時,則使例外發生。
左右影像繪圖要求802係未存於習知BD-J規格中的全新定義之API,由於即便使例外發生亦不會與習知規格相矛盾,因此在為使確實對開發者通知錯誤方面,以使例外發生之方法為佳,但亦可與影像繪圖要求801相同設定為忽視該呼叫之構成。
(在合成模式3或合成模式4中要求有背景繪圖要求804時之處理)
有關背景繪圖要求804亦同樣地,僅在合成模式3及合成模式4中持有意義,而在合成模式1或合成模式2中被呼叫時,合成結果之影像輸出在左眼與右眼上會相互不同,因此必須加以禁止。在禁止之方法上,可與左右影像繪圖要求802同樣地設為使例外發生者,然亦可設為忽視該呼叫之構成。
有關背景繪圖要求805亦同樣地,僅在合成模式1或合成模式2中持有意義,而在合成模式3及合成模式4中被呼叫時,大有可能是BD-J程式之錯誤,因此宜加以禁止。在禁止之方法上,可與左右影像繪圖要求802同樣地設為使例外發生者,然亦可設為忽視該呼叫之構成。
如以上,尤其是有關影像繪圖要求801及背景繪圖要求804方面,可藉由限制接收繪圖要求之合成模式,使即便在BD-J程式錯誤的合成模式中欲執行繪圖之情況下,亦可防止可能在立體視之BD-ROM再生機器上發生的左眼用影像與右眼用影像不整合之問題。
(在接收繪圖要求後的不整合回避)
截至目前所述之實施形態中,係設為當發出有被禁止之繪圖要求時忽視該要求或使例外發生之構成,但亦可為接收繪圖要求、且以不引起左眼用影像與右眼用影像之不整合的方式進行處理之構成。具體而言,例如,當在合成模式1或合成模式3中呼叫有影像繪圖要求801時,並非僅對左眼用圖形平面9執行繪圖處理,而是可同時對左眼用圖形平面9及右眼用圖形平面10適用同一個繪圖處理,藉此防止左眼用影像與右眼用影像之不整合。又,當在合成模式2或合成模式4中呼叫有左右影像繪圖要求802時,若僅將對繪圖要求中之左眼用圖形平面9之繪圖處理部分予以抽出執行,則即便在圖形平面為1平面的情況下,亦可處理左右影像繪圖要求802。此外,當存在合成模式切換中、且在影像繪圖要求801及左右影像繪圖要求802雙方皆遭禁止之時序上呼叫有該等繪圖要求時,可暫時保留該繪圖要求,並於合成模式切換處理完成之時序上重新執行處理即可。
(合成模式之切換次數)
而,當圖形平面之切換與背景平面之切換雙方皆需要時,一次完成平面合成器20之合成模式切換亦可。例如,在合成模式切換上耗費時間之情況等,宜一次完成合成模式切換。例如,於下思忖有關將圖形平面與背景平面雙方從1平面切換到2平面(亦即,從合成模式4切換到合成模式1)之情況。首先,對圖形平面與背景平面雙方執行S1001之1平面用繪圖要求之禁止(即,禁止影像繪圖要求801及背景繪圖要求804兩者)。接下來,在S1002之複製處理方面,亦對圖形平面與背景平面雙方執行從左眼用平面到右眼用平面之複製。接著,作為S1003之合成模式切換處理,將平面合成器20從合成模式4直接切換到合成模式1。最後,亦對圖形平面與背景平面雙方執行解除S1004之2平面用繪圖要求之禁止,即,解除左右影像繪圖要求802及背景繪圖要求805雙方之禁止即可。
(2D再生模式中之合成模式)
在第3實施形態中,在1平面中之2D再生模式之合成模式中係設為通常僅使用左眼用平面之構成,然而在1平面之合成模式中亦可採用可選擇僅使用左眼用平面、或僅使用右眼用平面之構成。例如,在視訊流持有表示左眼用影像為主、或右眼用影像為主之資訊的情況下,當圖形平面及背景平面為1平面時,必須以符合視訊流之形式,決定僅參考左眼用平面、或僅參考右眼用平面。此時,視訊流會將以左或右為主之狀態保存在再生裝置200內,並在合成模式2及合成模式4中依據上述狀態選擇參考左圖形平面或右圖形平面任一者,同樣地在合成模式3及合成模式4中,亦依據上述狀態選擇參考左背景平面或右背景平面任一者即可。藉由採取此種構成,例如可在視訊流為以右眼用影像為主之狀況下,於將圖形平面從2平面加以合成模式切換成1平面時,使切換前之右眼用圖形平面10之繪圖內容亦可在切換後持續參考,藉此可實現與視訊流更具整合性之合成模式切換。
(從右眼用平面到左眼用平面之複製時序)
在第3實施形態之合成模式2~4中,即便是維持在圖形平面及背景平面通常僅參考左眼用平面之第3實施形態的狀態,亦可在使圖形或背景之合成模式從2平面遷移成1平面時,以僅在視訊流以右眼用影像為主的情況下,將圖形或背景之右眼用平面之內容複製到左眼用平面,即可獲得同樣的效果。
(左眼用影像、及右眼用影像之識別)
在第3實施形態中,視訊流係設為持有表示以左眼用影像為主或以右眼用影像為主之資訊者,亦可將該資訊設為由BD-J程式指定。
(物件導向程式語言之3D播放清單再生順序之記述)
在各實施形態中,物件導向程式語言之3D播放清單再生順序亦可如下記述。
有關欲再生3D播放清單之播放清單檔案00001.mpls時的記述如下。
i) 生成以3D播放清單之播放清單檔案之檔案路徑(bd://1.PLAYLIST:00001)為引數之BDLocator類別之實例。若該BDLocator類別之實例變數為“loc”,則記述為BDLocator loc=newBDlocator(bd://1.PLAYLIST:00001)。
ii) 生成以BDLocator類別之實例變數之變數名為引數之MediaLocator類別之實例。BDLocator類別之實例變數之變數名為“loc”,若將MediaLocator類別之實例變數之變數名設為m1,則記述為:MediaLocator m1=new MediaLocator(loc)。
iii)生成以MediaLocator類別之實例變數之變數名為引數之javax.media.Manager.creatPlayer類別之實例(亦即播放器實例)。若MediaLocator類別之實例變數之變數名為m1、且播放器實例之實例變數之變數名為Player,則記述為Player=Manager.creatPlayer(ml);。
iv)最後,以呼叫JMF播放器實例之成員函數─start(),開始播放清單再生。若播放器實例之實例變數之變數名為Player,則記述為Player.start()。
(立體視對話畫面之記述)
亦可將製作具有二個按鈕(button)構材之立體視對話畫面時的位元碼應用程式,記述為如下(h-1)、(h-2)、(h-3)、(h-4)、…。
(h-1) 將圖形裝置之實例作為引數使用,生成圖形裝置所編制之螢幕場景(screen scene)之實例。具體而言,將Hscreen.getDefaultHscreen().getDefaultHGraphicsDevice()之實例作為引數使用,生成HsceneFactory.getinstance().getFullScreenScene之實例。當將HsceneFactory.getinstance().getFullScreenScene實例之實例變數名設為“hs”時,係記述為:Hscene hs=HsceneFactory.getinstance().getFullScreenScene(Hscreen.getDefaultHscreen().getDefaultHGraphicsDevice());。
(h-2) 將java.awt的Flowlayout()之實例作為引數,呼叫Hscene之setLayout方法。當將Hscene類別實例之實例變數名設為“hs”時,係記述為:hs.setLayout(new FlowLayout());。
(h-3) 將Hscreen類別之實例變數作為引數使用,生成java.awt之MediaTracker類別之實例。當將Hscreen類別實例之實例變數名設為“hs”、且將MediaTracker類別之實例變數設為“mt”時,係記述為:MediaTracker mt=newMediaTracker(hs);。
(h-4) 將左眼用影像檔案及右眼用影像檔案之檔案名作為引數使用,呼叫StereoGraphics#drawImage,藉此製作一般狀態(normal condition)之影像類別之實例、焦點狀態之影像類別之實例、及動作狀態(action condition)之影像類別之實例。
例如,當將按鈕構材之一般狀態之影像類別之實例變數之變數名設為normal、將左眼用影像檔案之檔案名設為“NormalButton1.bmp”、且將右眼用影像檔案之檔案名設為“NormalButton2.bmp”時,係記述為:Image normal=StereoGraphics#drawImage(x1,y1,x2,y2,NormalButton1.bmp,x3,y3,x4,y4,NormalButton2.bmp);。
例如,當將按鈕構材之焦點狀態之影像類別之實例變數之變數名設為focused、將左眼用影像檔案之檔案名設為“FocusedButton1.bmp”、且將右眼用影像檔案之檔案名設為“FocusedButton2.bmp”時,係記述為:Image focused=StereoGraphics#drawImage(x1,y1,x2,y2,FocusedButton1.bmp,x3,y3,x4,y4,FocusedButton2.bmp);。
例如,當將按鈕構材之動作狀態之影像類別之實例變數之變數名設為actioned、將左眼用影像檔案之檔案名設為“actionedButton1.bmp”、且將右眼用影像檔案之檔案名設為“actionedButton2.bmp”時,係記述為:Image actioned=StereoGraphics#drawImage(x1,y1,x2,y2,actionedButton1.bmp,x3,y3,x4,y4,actionedButton2.bmp);。
(h-5) 將狀態影像設為引數、呼叫MediaTracker類別之addImage方法,藉此於MediaTracker類別之實例追加一般狀態之狀態影像、焦點狀態之狀態影像、及動作狀態之狀態影像。
當將MediaTracker類別實例之實例變數名設為mt時,係記述為:mt.addImage(norma1,0);mt.addImage(focused,0);mt.addImage(actioned,0);。
(h-6) 生成java.awt之HGraphicsButton類別之實例。將HGraphicsButton類別實例之實例變數名設為“hgb1,hgb2”、且按鈕構材之狀態為“normal”、“focused”、“actioned”時,係記述為:hgb1=new HGraphicsButton(normal、focused、actioned);hgb2=new HGraphicsButton(normal、focused、actioned);。
(h-7) 使用setLayout類別之成員函數─add(),於setLayout類別之實例中追加HGraphicsButton類別之實例。當將setLayout類別之實例變數之變數名設為“hs”、且將應追加之HGraphicsButton類別之實例之實例名設為“hgb1,hgb2”時,係記述為:hs.add(hgb1);hs.add(hgb1);。
(h-8) 使用setLayout類別之成員函數─setVisible方法,使setLayout類別之實例予以顯現(visualize)。當將setLayout類別之實例變數之變數名設為“hs”時,係記述為:hs.setVisible(true);。
(h-9) 使用HGraphicsButton類別之成員函數─requestFocus方法,使HGraphicsButton類別之實例為焦點狀態。當將HGraphicsButton類別之實例之變數名設為“hgb1”時,係記述為:hgb1.requestFocus();。
(再生裝置200與電視機400之連接)
再生裝置200與電視機400之連接宜透過具有高頻寬傳送功能之數位介面而構成。
具有高頻寬傳送功能之數位介面與家庭劇院系統之其他機器透過介面相連接時,經過協商層(negotiation phase)後,會移轉到資料傳送層,執行資料傳送。
該協商層係把握數位介面電視機之能力(包含解碼能力、再生能力、及顯示頻率),先設定於播放器設定暫存器中,以制定用以往後傳送之傳送方式者,含有相互確認彼此裝置之正當性的相互認證層。經過該協商層,依照電視機中之水平同步期間,以高傳送率將施加有層合成之圖片資料中的一行(line)份之非壓縮明文形式之像素資料傳送至電視機內。另一方面,在電視機中之水平回掃時間、及垂直回掃時間中,將非壓縮明文形式之聲頻資料傳送至與再生裝置相連接的其他裝置(不僅只電視機,還包含擴音器(amp)、及喇叭)。藉此,電視機、擴音器、及喇叭等機器可接收非壓縮明文形式之圖片資料、及非壓縮明文形式之聲頻資料,並可實現再生輸出。又,當另一方對象機器存有解碼能力時,可達成視訊流及聲頻流之直通(pass through)傳送。在直通傳送中,可將視訊流及聲頻流以壓縮加密形式加以傳送。具有此種高頻寬傳送功能之數位介面中,有HDMI或USB。
(積體電路之實施形態)
本發明中,該積體電路為系統LSI,乃再生裝置之硬體構成當中,排除記錄媒體之驅動機部或與外部之連接器等機構性部分,而內藏有相當於邏輯電路或記憶元件之部分(亦即,邏輯電路之中核部分)者。系統LSI係將裸晶(bare chip)裝設在高密度基板上加以封包者。藉由將複數裸晶裝設在高密度基板上加以封包,使複數裸晶持有宛如一個LSI之外形結構者,乃稱為多晶片模組(multichip module),此種構成者包含系統LSI。
在此,若著眼在封包的種類上,則系統LSI中有QFP(四元組平包)、及PGA(針腳柵陣列)之種類。QFP係於封包之四側面裝設有針腳的系統LSI。PGA係於底面全體裝設有多數針腳的系統LSI。
該等針腳持有作為電源供給、接地、或是與其他電路之介面之功能。由於系統LSI中之針腳扮演有此種介面之功能,因此藉由將其他電路連接至系統LSI之該等針腳,可使系統LSI發揮作為再生裝置的中核功能。
第37圖係顯示積體電路架構之圖。如本圖所示,系統LSI之積體電路70之架構係由前端部71、訊號處理部72、後端部73、媒體介面74、記憶體控制器75、及主機微電腦76而構成,乃透過媒體介面74、記憶體控制器75,與再生裝置之驅動機或記憶體及傳送接收部相連接。再生裝置之驅動機之中,有BD-ROM之驅動機、局部儲存區之驅動機、及可移媒體之驅動機等。
前端處理部71係由預置(preprogrammed)DMA母電路(master circuit)或I/O處理器等而構成,乃執行全面性的封包處理。該封包處理中,可適用從立體視隔行串流檔復原ATC序列之處理、解多工部之來源封包拆包器之處理、及PID過濾器之處理。藉由在磁軌緩衝器、各種平面記憶體、及視訊解碼器中之編碼資料緩衝器與解碼資料緩衝器之間,實現已確保於再生裝置之記憶體中之DMA傳送,可實現如上述之串流處理。
訊號處理部72係由訊號處理處理器或SIMD處理器等而構成,乃執行全面性的訊號處理。訊號處理中有視訊解碼器之解碼、或聲頻解碼器之解碼。
後端部73係由加法器及過濾器而構成,乃執行全面性的AV輸出處理。AV輸出處理中有像素處理,藉由該像素處理,可執行用以層合成之圖像重疊、重調大小(resize)、及圖像格式轉換。又,可合併數位/類比轉換等加以執行。
媒體介面74為驅動機與網路之介面。
記憶體控制器75係用以記憶體存取之從屬電路(slave circuit),可依照前端部、訊號處理部、及後端部之要求,實現封包或圖片資料之記憶體之讀寫。藉由透過該記憶體控制器75之記憶體之讀寫,記憶體可發揮作為下述之功能:磁軌緩衝器、或視訊平面、圖形平面與視訊解碼器中之編碼資料緩衝器、解碼資料緩衝器或基本緩衝器、或是圖形解碼器中之編碼資料緩衝器、編制資料緩衝器(composition databuffer)或物件緩衝器。
主機微電腦76係由CPU、ROM、RAM而構成,可對媒體介面、前端部、訊號處理部、及後端部執行全體控制。該全體控制中,有作為控制部、BD-J模組、HDMV模組、及模組管理器之控制。該主機微電腦之CPU具有:指令提取部、解碼器、執行單元、暫存器檔案、及程式計數器。而且,於該主機微電腦之微電腦內的ROM中,連同基本入輸出程式(BIOS)及各種中間軟體(作業系統)記錄有執行到目前為止實施形態中所述之各種處理之程式,作為安裝程式。因而,再生裝置的主要功能可預先安裝在該系統LSI內。
(程式之實施形態)
各實施形態中所示之程式可如以下製作。首先一開始軟體開發者以程式語言記述各流程圖、或用以實現功能性構成要素之來源程式。在該記述時,軟體開發者係依照程式語言之構文,使用類別結構體或變數、配列變數、及外部函數之呼叫,記述各流程圖、或具體實現功能性構成要素之來源程式。
所記述之來源程式可作為檔案賦予至編譯器。編譯器會翻譯該等來源程式,生成目標程式(object program)。
由編譯器所進行之翻譯係由構文解析、最佳化、資源分配、及碼生成等過程而形成。構文解析中,係執行來源程式之字句解析、構文解析、及意味解析,並將來源程式轉換成中間程式。在最佳化中,係對中間程式進行基本程序塊(basic block)化、控制流解析、及資料流解析之作業。在資源分配中,用以圖謀適合於欲為目標處理器之命令集,而將中間程式中之變數,分配至具有欲為目標處理器之處理器的暫存器或記憶體中。在碼生成中,係將中間程式內之各中間命令轉換成程式碼後,取得目標程式。
在此所生成之目標程式,係由使電腦執行各實施形態中所示之流程圖之各步驟、或功能性構成要素的各個順序之一個以上的程式碼而構成。在此,程式碼有各式各樣的種類,如處理器之本機碼、或JAVA位元碼。由程式碼所進行之各步驟之實現中有各種態樣。在可利用外部函數實現各步驟的情況下,呼叫該外部函數之呼叫文即為程式碼。又,可實現一個步驟之程式碼亦有可能歸屬於其他目標程式。在限制有命令種類之RISC處理器中,亦可藉由組合算術運算命令、論理運算命令、或分支命令等,實現流程圖之各步驟。
一旦生成目標程式,則程式設計師即會對該等啟動鏈接器(linker)。鏈接器係將該等目標程式或關連之程式館程式分配到記憶體空間,並將該等結合成一體,生成載入模組。如此所生成之載入模組,係以電腦讀取為前提者,乃使電腦執行各流程圖中所示之處理順序、或功能性構成要素之處理順序者。亦可將該程式作為非暫時性電腦程式而記錄於可電腦讀取之記錄媒體中,提供予使用者。
(記錄媒體之變化)
各實施形態中之記錄媒體,含括全面的光碟、半導體記憶體卡等、及封包媒體。本實施形態之記錄媒體係以記錄有預先所需資料之光碟(例如BD-ROM、DVD-ROM等既有的可讀取光碟)為例加以說明,但無須限定於此,例如,可利用具有寫入光碟功能之端末裝置(例如可將後述的功能安裝至再生裝置中、亦可安裝至與再生裝置不同的裝置中),將含有經由播放或網路所傳送、且於本發明實施中所需要的資料之3D內容,記錄於可寫入光碟(例如BD-RE、DVD-RAM等既有的可寫入光碟)內。即便使該已記錄之光碟適用在本發明之再生裝置中,仍可實施本發明。
(再生裝置之必要構成)
左眼用視訊平面、及右眼用視訊平面並非再生裝置之必要構成,以再生裝置之構成而言,存有左眼用圖形平面、及右眼用圖形平面便足夠。因為,須以圖形平面顯示之繪圖影像中有動態影像者,只要將該繪圖影像寫入圖形平面,即便再生裝置中未存有視訊解碼器或視訊平面,亦可圖謀本申請之課題解決。
(家庭劇院系統之必要構成)
快門眼鏡500並非必要構成要素而為任擇者。因為,電視機400為全景圖像模式(integral imaging method)(光學再生方式),若為可裸眼立體視者,即無須快門眼鏡500。亦可將電視機400與再生裝置200設為一體構成。
(半導體記憶體卡記錄裝置及再生裝置之實施形態)
以下,將對將各實施形態所說明之資料結構記錄於半導體記憶體之記錄裝置、以及再生之再生裝置之實施形態加以說明。
首先,就前提技術而言,將對BD-ROM中所記錄之資料的著作權保護架構作說明。
BD-ROM中所記錄之資料中,從例如著作權之保護、資料秘匿性之提升觀點來看,有時必須視必要將資料之一部分予以加密。
例如,BD-ROM中所記錄之資料中,經加密過之資料例如可為對應於視訊流之資料、對應於聲頻流之資料、或對應於包含該等串流之資料。
以下,將就BD-ROM中所記錄之資料中經加密過之資料之解讀加以說明。
在半導體記憶體卡再生裝置中,預先於再生裝置中記憶有對應於用以解讀BD-ROM內經加密過之資料所需之鑰匙的資料(例如裝置鑰匙)。
另一方面,BD-ROM中記錄有對應於用以解讀經加密過之資料所需之鑰匙的資料(例如對應於上述裝置鑰匙之MKB(Media Key Block;媒體鑰匙塊))、以及將用以解讀經加密過之資料之鑰匙本身予以加密後的資料(例如對應於上述裝置鑰匙及MKB之加密標題鑰匙)。在此,裝置鑰匙、MKB、及加密標題鑰匙乃成對,此外亦與BD-ROM上通常無法複製之區域(稱為BCA之區域)中所寫入之識別符(例如容量ID)相對應。若該組合不正確,即無法進行密碼之解讀。僅有在組合正確時,可導出密碼解讀所需之鑰匙(例如以上述之裝置鑰匙、MKB及容量ID為基準,將加密標題鑰匙予以解碼所得之標題鑰匙),而可使用該密碼解讀所需之鑰匙,將經加密過之資料予以解讀。
當在再生裝置中再生所安裝之BD-ROM時,例如若再生裝置內未具有與BD-ROM內之加密標題鑰匙及MKB成對(或相對應)之裝置鑰匙,即無法再生經加密過之資料。因為,解讀經加密過之資料所需的鑰匙(標題鑰匙),其鑰匙本身係經加密(加密標題鑰匙)而記錄於BD-ROM上,因此,若MKB與裝置鑰匙之組合不正確,即無法導出解讀密碼時所需之鑰匙。
相反地,再生裝置可在加密標題鑰匙、MKB、裝置鑰匙及容量ID之組合正確的情況下,使用如上述密碼解讀所需之鑰匙(以裝置鑰匙、MKB及容量ID為基準將加密標題鑰匙加以解碼所得之標題鑰匙),於解碼器解碼視訊流、且於聲頻解碼器解碼聲頻流所構成。
以上為BD-ROM中所記錄之資料著作權保護之架構,該架構並非限於BD-ROM者,例如亦可實施在可相當於可讀入/寫入的半導體記憶體(例如SD卡等具有可攜性之半導體記憶體卡)的情況下。
以下將說明半導體記憶體卡再生裝置之再生順序。例如,在光碟中係以透過光碟驅動機讀出資料的方式所構成,相對於此,當使用有半導體記憶體卡時,可藉由透過用以讀出半導體記憶體卡內之資料的I/F,讀出資料的方式構成。
較詳細而言,若將半導體記憶體卡插入再生裝置之槽內,則再生裝置與半導體記憶體卡可經由半導體記憶體卡I/F相互電連接。只要構成為可透過半導體記憶體卡I/F讀出記錄在半導體記憶體卡之資料即可。
(作為接收裝置之實施形態)
在各實施形態所說明之再生裝置,亦可作為端末裝置而實現,該端末裝置係可從電子傳送服務之傳輸伺服器接收與本實施形態中所說明之資料相對應的資料(傳輸資料),並予以記錄到半導體記憶體卡者。
該端末裝置可由如各實施形態中所說明之再生裝置可進行上述作業的方式而構成。該端末裝置亦可為不同於本實施形態之再生裝置、在專門進行將傳輸資料記憶到半導體記憶體中之端末裝置進行之形態。在此,將就再生裝置所執行之例加以說明。又,以SD卡為例加以說明作為記錄目的地之半導體記憶體。
當將傳輸資料記錄至SD記憶體卡(已插入再生裝置所配備之槽內)時,首先,對蓄積傳輸資料之傳輸伺服器要求傳送傳輸資料。此時,再生裝置會從SD記憶體卡讀出用以專門識別已挿入之SD記憶體卡的識別資訊(例如各個SD記憶體卡固有的識別編號,較具體而言,如SD記憶體卡之序號等),要求傳送所讀出之識別資訊,且傳送至傳輸伺服器。
該用以專門識別SD記憶體卡之識別資訊,相當於如上述之容量ID。
另一方面,在傳輸伺服器中,傳送之資料中所需的資料(例如視訊流、聲頻流等)係以可使用密碼解讀所需之鑰匙(例如標題鑰匙)解除密碼的方式,予以加密並儲存於伺服器上。
例如,傳輸伺服器持有密鑰(secret key),乃以可對半導體記憶體卡之固有識別編號分別機動式地生成不同的公開鑰匙資訊的方式所構成。
又,傳輸伺服器係以可對在解讀經加密過的資料上所需之鑰匙(標題鑰匙)本身予以加密的方式所構成(亦即以可生成加密標題鑰匙的方式所構成)。
生成之公開鑰匙資訊包含相當於如上述MKB、容量ID及加密標題鑰匙之資訊。例如,若半導體記憶體固有之識別編號、後述之公開鑰匙資訊中所含之公開鑰匙本體、及再生裝置中預先所記錄之裝置鑰匙的組合正確,則經加密過之資料即為可獲取密碼解讀所需之鑰匙(例如裝置鑰匙、MKB、及以半導體記憶體固有之識別編號為基準將加密標題鑰匙予以解碼所得之標題鑰匙),使用該所得之密碼解讀所需之鑰匙(標題鑰匙)解讀經加密過之資料者。
其次,再生裝置係將所接收之公開鑰匙資訊與傳輸資料,記錄於已插入槽之半導體記憶體卡之記錄區內。
接著,將說明解碼並再生半導體記憶體卡之記錄區中所記錄之公開鑰匙資訊、與傳輸資料中所含之資料當中經加密過之資料之方法一例。
所接收之公開鑰匙資訊中,如記錄有公開鑰匙本體(如上述MKB及加密標題鑰匙)、署名資訊、半導體記憶體卡之固有識別編號、以及裝置清單(顯示應予以無效之裝置的相關資訊)。
署名資訊中包含如公開鑰匙資訊之無用數據(hash)。
裝置清單中記載有例如有不適當再生可能性的裝置之相關資訊。此乃用以專門特定如再生裝置中預先所記錄之裝置鑰匙、再生裝置之識別編號、或再生裝置所具備之解碼器之識別編號等有不適當再生可能性的裝置、及裝置中所含之零件或功能(程式)者之資訊。
以下將就半導體記憶體卡之記錄區中所記錄之傳輸資料中、經加密過之資料之再生加以說明。
首先,在將以公開鑰匙本體所加密之資料予以解碼之前,進行可否使解碼鍵本體予以作業之相關檢查。
具體而言,係執行:(1)含於公開鑰匙資訊之半導體記憶體固有的識別資訊、與半導體記憶體卡中預先所記憶之固有識別編號是否一致之檢查;(2)再生裝置內所算出之公開鑰匙資訊之無用數據、與署名資訊所含之無用數據是否一致之檢查;(3)依據含於公開鑰匙資訊之裝置清單中所顯示之資訊、執行再生之再生裝置是否有不適當再生之可能性之檢查(例如,檢查含於公開鑰匙資訊之裝置清單中所顯示之裝置鑰匙、與再生裝置中預先所記憶之裝置鑰匙是否一致)。執行該等檢查之順序,可以任意順序進行。
在上述(1)~(3)之檢查中,若滿足下述任一情況,則再生裝置將控制不執行經加密過之資料之解讀,即:含於公開鑰匙資訊之半導體記憶體固有的識別資訊、與半導體記憶體中預先所記憶之固有識別編號不一致;在再生裝置內所算出之公開鑰匙資訊之無用數據、與署名資訊中所含之無用數據不一致;或,執行再生之再生裝置經判斷為有進行不適當再生之可能性。
又,若含於公開鑰匙資訊之半導體記憶體卡的固有識別資訊、與半導體記憶體卡中預先所記憶之固有識別編號一致,且在再生裝置內所算出之公開鑰匙資訊之無用數據、與署名資訊中所含之無用數據一致,而且,執行再生之再生裝置經判斷為無不適當再生之可能性時,即判斷半導體記憶體固有的識別編號、含於公開鑰匙資訊之公開鑰匙本體、及再生裝置中預先所記錄之裝置鑰匙之組合正確,並使用密碼解讀所需之鑰匙(裝置鑰匙、MKB、及以半導體記憶體固有的識別編號為基準將加密標題鑰匙加以解碼所得之標題鑰匙)解讀經加密過之資料。
例如,當經加密過之資料為視訊流及聲頻流時,視訊解碼器可利用上述密碼解讀所需之鑰匙(將加密標題鑰匙加以解碼所得之標題鑰匙)將視訊流加以解碼(decode),而聲頻解碼器可利用上述密碼解讀所需之鑰匙將聲頻流加以解碼(decode)。
藉由採取此種構成,當在電子傳送中發現有不適當利用之可能性的再生裝置、零件、功能(程式)等時,於裝置清單上顯示、傳送用以識別該等之資訊,即可在如再生裝置側包含已顯示在裝置清單者的情況下,抑制使用有公開鑰匙資訊(公開鑰匙本體)之解碼。因此,即便半導體記憶體固有的識別編號、含於公開鑰匙資訊之公開鑰匙本體、及再生裝置中預先所記錄之裝置鑰匙之組合正確,亦可控制不使進行經加密過之資料之解讀,而可抑制傳輸資料在不適當裝置上的利用。
產業上之可利用性
本發明係有關在再生立體視影像之再生機器中抑止輸出影像之閃爍的技術,尤其可適用在持有平面式影像再生模式及立體式影像再生模式之切換功能之再生裝置。
1...BD-ROM驅動機
2...磁軌緩衝器
3...解多工器
4...視訊解碼器
5...左眼用視訊平面
6...右眼用視訊平面
7...影像記憶體
8...影像解碼器
9...左眼用圖形平面
10...右眼用圖形平面
11...靜態情節記憶體
12...動態情節記憶體
13...控制部
14...HDMV模組
15...BD-J模組
16...模式管理模組
17...調度器
18...AV再生程式館
19...圖形解碼器
20...平面合成器
21...UO探知模組
22...轉列引擎
23...網路介面
24...局部儲存區
25...虛擬檔案系統
26...聲頻解碼器
27...可移媒體
28...左眼用背景平面
29...右眼用背景平面
30...左眼用字幕平面
31...右眼用字幕平面
41-42、51-53、61-63...加法器
43、64、65...開關
70...積體電路
71...架構係由前端部
72...訊號處理部
73...後端部
74...媒體介面
75...記憶體控制器
76...主機微電腦
100...BD-ROM、記憶媒體
101...讀出部
102...視訊解碼器
103...平面記憶體組合
104a、104b...視訊平面
104c、104d...圖形平面
105...平面合成器
106...影像記憶體
107...轉列引擎
110...平台部
111...堆積記憶體
111a...多線程
111b...複數儲存器
112...位元碼解釋器
113...類別載入器
114...應用程式管理器
115、116...繪圖部
200...再生裝置
300...遙控器
400...顯示器
500...快門/偏光眼鏡
801...影像繪圖要求
802...左右影像繪圖要求
803...合成模式切換要求
804、805...背景繪圖要求
bj1~bj4...引出線
cp1、cy1~cy5、dr1、dr2、ig1、ig2、vw1、vw2...箭頭
t0~t5、u1~u3...時間點
aaa...略記有接收第3圖中所示之語音、字幕、特典選擇之選單
bbb...略記有接收第7圖中所示之英語、中文、日語選擇之選單
f、f+1、f+2、f+3...視框
S1~S6、S11~S15、S21~S31、S41~S47、S51~S54、S61~S67、S901~S909、S1001~S1004、S1101~S1104、S1010~S1014、S1110~S1114...步驟
Y...變數
t...視框
1、2...影像、Image
第1圖係顯示由封包媒體之記錄媒體、播放機器之再生裝置、顯示裝置、及眼鏡所構成之家庭劇院系統。
第2圖係顯示再生裝置之內部構成的方塊圖。
第3圖係顯示已儲存於視訊平面104a、104b之圖片資料如何呈現在已配戴好快門眼鏡500之使用者之眼前。
第4圖係顯示繪圖部115之功能性構成的方塊圖。
第5圖(a)-(d)係顯示平面合成器之內部構成之圖。
第6圖(a)-(b)係顯示圖形平面104c、104d之內部構成。
第7圖(a)-(c)係顯示平面間複製之處理內容之圖。
第8圖(a)-(b)係顯示從1平面構成到2平面構成之切換後的圖形更新之圖。
第9圖(a)-(c)係顯示有BD-J模組15所支援之圖形繪圖功能的API一例之圖。
第10圖(a)-(c)係可使用第8圖之應用軟體程式介面而規定之繪圖要求的具體例。
第11圖(a)-(b)係示意性顯示當引數如第9圖所指定時,係藉由Graphics#drawImage及StereoGraphics#drawImage之呼叫執行何種寫入。
第12圖係順著視訊流時間軸顯示有忽視2D圖形繪圖要求、平面間複製、及追加右眼用輸出系統之時間關係的計時圖(timing chart)。
第13(a)-(b)圖係用以對比說明由再生裝置所再生之立體視影像,會因執行或不執行Graphics#drawImage之無效而有何不同之圖。
第14圖(a)-(d)係以連續照片式表記顯示當未執行無效即欲執行模式切換時,如何處理儲存器中的複數碼之圖。
第15圖係顯示因第14圖(c)之寫入而變得可加以再生的立體視影像。
第16圖(a)-(d)係以連續照片式表記顯示當執行無效後欲執行模式切換時,如何處理儲存器中的複數API呼叫碼。
第17圖係顯示因第16圖(d)之寫入而變得可加以再生的立體視影像。
第18圖係顯示BD-ROM100之內部構成之圖。
第19圖係顯示再生裝置之內部構成的方塊圖。
第20圖(a)-(b)係顯示平面記憶體之層(layer)構成、及合成部之構成元素。
第21圖(a)-(d)係顯示以平面合成器20實現4種輸出系統之切換所形成的4個合成模式(合成模式1、合成模式2、合成模式3、與合成模式4)。
第22圖(a)-(e)係顯示有BD-J模組15所支援之圖形繪圖功能之API一例之圖。
第23圖(a)-(e)係顯示第22圖之圖形繪圖功能API之呼叫碼一例之圖。
第24圖係顯示呼叫出合成模式切換要求803時的處理順序之圖。
第25圖(a)-(b)係顯示從1平面切換到2平面之處理、及從2平面切換到1平面之處理順序的流程圖。
第26圖係顯示在setConfiguraionAPI呼叫時的org.havi.ui之處理順序的流程圖。
第27圖係顯示java.awt.Graphics之處理順序的流程圖。
第28圖係顯示應用程式管理器之StereoGraphics狀態控制之順序的流程圖。
第29圖(a)-(b)係顯示平面合成器之合成模式切換、及右眼用輸出系統之切換順序的流程圖。
第30圖係顯示呼叫出StereoGraphics#drawImage方法時的繪線順序的流程圖。
第31圖係位元碼應用程式之選單顯示的流程圖。
第32圖係顯示作業模式物件之內部構成一例之圖。
第33圖係顯示標題選擇時之解析度設定時中的處理順序的流程圖。
第34圖(a)-(c)係用以說明立體視圖像會看起來較顯示畫面更前方之原理之圖。
第35圖(a)-(c)係用以說明立體視圖像會看起來較顯示畫面更後方之原理之圖。
第36圖(a)-(b)係顯示正與負的平面偏移在視覺之差異一例之圖。
第37圖係顯示積體電路之架構之圖。
S1001-S1004...步驟

Claims (12)

  1. 一種再生裝置,其特徵在於具備:平台部,係讓位元碼應用程式作業;第1圖形平面;第2圖形平面;繪圖部,係接收來自前述位元碼應用程式的圖形的繪圖要求而執行前述圖形之繪圖者;及部,係於再生平面影像圖形時,切換為對前述平面影像圖形之繪圖使用前述第1圖形平面之1平面構成,且於再生立體影像圖形時,從對前述立體影像圖形之繪圖使用前述第1圖形平面及前述第2圖形平面之2平面構成中的其中一平面構成切換到另一平面構成;前述圖形之繪圖要求中,有前述平面影像圖形之繪圖要求、及前述立體影像圖形之繪圖要求;當藉由前述切換部從前述1平面構成切換到前述2平面構成時,在使由前述位元碼應用程式所進行之前述平面影像圖形之繪圖要求無效,且將前述第1圖形平面之儲存內容複製到前述第2圖形平面後,前述繪圖部會接受前述立體影像圖形之繪圖要求。
  2. 如申請專利範圍第1項之再生裝置,其中前述第1圖形平面是儲存左眼用圖形資料及右眼用圖形資料中的其中一者,而第2圖形平面則是儲存左眼用圖形資料及右眼用圖形資料中的另一者,前述再生裝置更具備: 解碼器,係將前述記錄媒體中所記錄之立體視視訊流予以解碼者;左眼用視訊平面,係用以儲存以解碼前述立體視視訊流所得之左眼用圖片資料(picture data)者;右眼用視訊平面,係用以儲存以解碼前述立體視視訊流所得之右眼用圖片資料者;及合成部,係執行左眼之輸出系統之合成、及右眼之輸出系統之合成者;前述左眼之輸出系統之合成,係將前述左眼用圖形平面之儲存內容與前述左眼用視訊平面之儲存內容加以合成者,而前述右眼之輸出系統之合成,係將前述左眼用圖形平面及前述右眼用圖形平面之其中一儲存內容,與前述右眼用視訊平面之儲存內容加以合成者;前述合成部在自前述1平面構成切換到2平面構成時,係將前述左眼用圖形平面之儲存內容複製到前述右眼用圖形平面後,開始進行將在前述右眼用輸出系統之前述右眼用圖形平面之儲存內容,合成至前述右眼用視訊平面之儲存內容之處理,前述繪圖部之前述立體影像圖形繪圖之要求之接受,係於合成前述右眼用圖形平面之儲存內容、及前述右眼用視訊平面之儲存內容後進行。
  3. 如申請專利範圍第2項之再生裝置,其中藉由前述切換部從前述2平面構成到前述1平面構成之切換,係由下列 處理而構成:禁止處理,係禁止前述立體影像圖形繪圖之要求者;合成處理,係將前述左眼用圖形平面之儲存內容與前述左眼用視訊平面之儲存內容用於前述合成者;及接受處理,係接受以前述位元碼應用程式所進行之平面影像圖形之繪圖要求者。
  4. 如申請專利範圍第3項之再生裝置,其中自前述1平面構成到前述2平面構成之切換,及,從前述2平面構成到前述1平面構成之切換,係以位元碼應用程式之組態設定要求的發行而進行,作為前述無效之對象的前述平面影像圖形之繪圖要求,係後續於前述組態設定要求的前述平面影像圖形之繪圖要求。
  5. 如申請專利範圍第4項之再生裝置,其中前述組態設定要求係呼叫(call)組態設定API之碼,前述組態設定API之呼叫係可用引數指定使前述左眼用圖形平面及前述右眼用圖形平面為1平面構成、或2平面構成,前述平面影像圖形之繪圖要求係呼叫前述平面影像圖形之繪圖API之碼,前述平面影像圖形之繪圖要求之無效,係使於呼叫前述組態設定API後所進行的前述平面影像圖形之繪圖API之呼叫例外結束來進行。
  6. 如申請專利範圍第5項之再生裝置,其中前述平台部係 將前述位元碼應用程式及前述繪圖部作為多線程(multithread)來處理者,前述平面影像圖形之繪圖要求及組態設定要求,係藉由線程間通訊,將呼叫API之碼從前述位元碼應用程式傳送至圖形繪圖模組而進行,前述平面影像圖形繪圖要求之無效,係在線程間通訊之途中將前述平面影像圖形繪圖之繪圖要求予以消去而進行。
  7. 如申請專利範圍第5項之再生裝置,其中前述平面影像圖形繪圖繪圖API為java.awt.Graphics#drawImage API,且前述組態設定API係在HAVi圖形裝置之HAVi螢幕組態設定API。
  8. 如申請專利範圍第3項之再生裝置,其中前述繪圖部包含同時對前述左眼用圖形平面及前述右眼用圖形平面進行繪圖的立體視再生模式專用之左右平面繪圖模組,前述立體影像圖形繪圖之要求接受,係以啟動前述立體視再生模式專用之左右平面繪圖模組而進行,而前述繪圖部之前述立體影像圖形繪圖之要求禁止,係以使前述立體視再生模式專用之左右平面繪圖模組結束而進行。
  9. 如申請專利範圍第1項之再生裝置,其中於記錄媒體記錄有複數內容(content);前述平台部係於前述複數內容當中之特定內容成為再生對象時,依照與前述再生對象之內容對應之應用 程式管理表,啟動位元碼應用程式而加以執行;前述左眼用圖形平面及前述右眼用圖形平面之組態,係於開始再生前述內容時,依照作業模式物件內之組態資訊而設定。
  10. 如申請專利範圍第9項之再生裝置,其中前述組態資訊包含解析度碼,而前述解析度碼乃顯示縱像素數及橫像素數。
  11. 一種再生方法,係用於電腦之再生方法,該電腦具備讓位元碼應用程式作業之平台部、第1圖形平面、及第2圖形平面;其特徵在於包含:切換步驟,係於再生平面影像圖形時,切換為對前述平面影像圖形之繪圖使用前述第1圖形平面之1平面構成,且於再生立體影像圖形時,從對前述立體影像圖形之繪圖使用前述第1圖形平面及前述第2圖形平面之2平面構成中的其中一平面構成切換到另一平面構成;前述圖形之繪圖要求中,有前述平面影像圖形之繪圖要求及前述立體影像圖形之繪圖要求;當藉由前述切換步驟從前述1平面構成切換到前述2平面構成時,在進行使由前述位元碼應用程式所進行之前述平面影像圖形之繪圖要求無效的第1步驟、以及將前述第1圖形平面之儲存內容複製到前述第2圖形平面之第2步驟後,接受前述立體影像圖形之繪圖要求。
  12. 一種程式,係使電腦作業之再生程式,該電腦具備讓位元碼應用程式作業之平台部、第1圖形平面、及第2圖形 平面,其特徵在於包含:切換步驟,係於再生平面影像圖形時,切換為對前述平面影像圖形之繪圖使用前述第1圖形平面之1平面構成,且於再生立體影像圖形時,從對前述立體影像圖形之繪圖使用前述第1圖形平面及前述第2圖形平面之2平面構成中的其中一平面構成切換到另一平面構成;前述圖形之繪圖要求中,有前述平面影像圖形之繪圖要求、及前述立體影像圖形之繪圖要求;當藉由前述切換步驟從前述1平面構成切換到前述2平面構成時,在進行使由前述位元碼應用程式所進行之前述平面影像圖形之繪圖要求無效的第1步驟、以及將前述第1圖形平面之儲存內容複製到前述第2圖形平面之第2步驟後,接受前述立體影像圖形之繪圖要求。
TW099133517A 2009-10-02 2010-10-01 Reproducing apparatus capable of reproduction of stereoscopic video images, reproduction method, program TWI435592B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009230394 2009-10-02

Publications (2)

Publication Number Publication Date
TW201138427A TW201138427A (en) 2011-11-01
TWI435592B true TWI435592B (zh) 2014-04-21

Family

ID=43825838

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099133517A TWI435592B (zh) 2009-10-02 2010-10-01 Reproducing apparatus capable of reproduction of stereoscopic video images, reproduction method, program

Country Status (7)

Country Link
US (1) US8558871B2 (zh)
EP (1) EP2485497B1 (zh)
JP (2) JP5097297B2 (zh)
KR (1) KR20120091007A (zh)
CN (1) CN102577409B (zh)
TW (1) TWI435592B (zh)
WO (1) WO2011039990A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5155441B2 (ja) * 2009-02-17 2013-03-06 パナソニック株式会社 再生方法、再生装置
JP4875127B2 (ja) * 2009-09-28 2012-02-15 パナソニック株式会社 三次元画像処理装置
WO2012132237A1 (ja) 2011-03-31 2012-10-04 パナソニック株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
WO2012132234A1 (ja) * 2011-03-31 2012-10-04 パナソニック株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
WO2013180325A1 (ko) * 2012-05-31 2013-12-05 (주)재플 Tv 화면 제어 장치 및 이를 포함하는 시스템
US9584573B2 (en) * 2012-08-29 2017-02-28 Ericsson Ab Streaming policy management system and method
RU2012138174A (ru) * 2012-09-06 2014-03-27 Сисвел Текнолоджи С.Р.Л. Способ компоновки формата цифрового стереоскопического видеопотока 3dz tile format
CN103347193B (zh) * 2013-07-23 2015-03-11 深圳市华星光电技术有限公司 快门眼镜、控制快门眼镜的控制系统及方法
US10935788B2 (en) * 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
WO2016080066A1 (ja) * 2014-11-21 2016-05-26 富士フイルム株式会社 時系列データ表示制御装置、その作動方法及びプログラム、並びにシステム
CN106303493B (zh) * 2015-05-27 2018-06-29 深圳超多维光电子有限公司 图像处理方法及装置
US9520002B1 (en) * 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
US11150915B2 (en) * 2019-09-13 2021-10-19 International Business Machines Corporation Deferred bytecode class verification in managed runtime environments
US11403075B2 (en) 2019-11-25 2022-08-02 International Business Machines Corporation Bytecode verification using class relationship caching
CN113268302B (zh) * 2021-05-27 2023-08-11 杭州灵伴科技有限公司 一种头戴式显示设备的显示模式切换方法、装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3109846B2 (ja) 1991-02-20 2000-11-20 ホーチキ株式会社 消火設備の給水圧力制御システム
EP1098244A3 (en) 1999-11-02 2001-06-13 CANAL + Société Anonyme Graphical user interface
US20020154214A1 (en) 2000-11-02 2002-10-24 Laurent Scallie Virtual reality game system using pseudo 3D display driver
US7002618B2 (en) 2001-06-01 2006-02-21 Stereographics Corporation Plano-stereoscopic DVD movie
GB0129992D0 (en) 2001-12-14 2002-02-06 Ocuity Ltd Control of optical switching apparatus
US7319720B2 (en) 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
US6924799B2 (en) 2002-02-28 2005-08-02 Hewlett-Packard Development Company, L.P. Method, node, and network for compositing a three-dimensional stereo image from a non-stereo application
JPWO2003092303A1 (ja) 2002-04-25 2005-09-08 シャープ株式会社 マルチメディア情報生成装置およびマルチメディア情報再生装置
JP2004127255A (ja) * 2002-08-02 2004-04-22 Renesas Technology Corp 情報処理装置
JP4251907B2 (ja) * 2003-04-17 2009-04-08 シャープ株式会社 画像データ作成装置
JP4266774B2 (ja) 2003-10-29 2009-05-20 シャープ株式会社 立体画像表示装置及び立体画像表示方法
JP3746506B2 (ja) 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
JP2005321953A (ja) 2004-05-07 2005-11-17 Hitachi Ltd ストレージ制御装置、その動作プログラム、及びアクセス制御方法
WO2005124779A1 (ja) 2004-06-18 2005-12-29 Matsushita Electric Industrial Co., Ltd. 再生装置、プログラム、再生方法
EP1787470A1 (en) 2004-08-30 2007-05-23 Telecom Italia S.p.A. Method and system for providing interactive services in digital television
JP4790725B2 (ja) 2005-11-02 2011-10-12 パナソニック株式会社 デジタル放送システム、受信装置、出力装置、受信方法、プログラム及び記録媒体
KR101377736B1 (ko) * 2006-10-11 2014-03-24 코닌클리케 필립스 엔.브이. 3차원 그래픽 데이터의 생성
US20080201695A1 (en) 2007-02-16 2008-08-21 Qing Zhou Computer graphics rendering
JP4854582B2 (ja) 2007-04-25 2012-01-18 キヤノン株式会社 画像処理装置、画像処理方法
JP4689639B2 (ja) 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
WO2010064472A1 (ja) * 2008-12-01 2010-06-10 シャープ株式会社 コンテンツ再生装置、再生方法、プログラム及び記録媒体
JP5155441B2 (ja) 2009-02-17 2013-03-06 パナソニック株式会社 再生方法、再生装置
JP4962817B2 (ja) * 2009-04-03 2012-06-27 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US20110012993A1 (en) * 2009-07-14 2011-01-20 Panasonic Corporation Image reproducing apparatus
US20110080462A1 (en) 2009-10-02 2011-04-07 Panasonic Corporation Playback device, integrated circuit, playback method, and program for stereoscopic video playback
JP5454444B2 (ja) * 2010-10-01 2014-03-26 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

Also Published As

Publication number Publication date
US8558871B2 (en) 2013-10-15
CN102577409B (zh) 2014-12-10
EP2485497A4 (en) 2013-01-09
US20120169729A1 (en) 2012-07-05
JP2012257260A (ja) 2012-12-27
WO2011039990A1 (ja) 2011-04-07
CN102577409A (zh) 2012-07-11
KR20120091007A (ko) 2012-08-17
JPWO2011039990A1 (ja) 2013-02-21
TW201138427A (en) 2011-11-01
EP2485497B1 (en) 2014-11-05
JP5097297B2 (ja) 2012-12-12
EP2485497A1 (en) 2012-08-08
JP5457513B2 (ja) 2014-04-02

Similar Documents

Publication Publication Date Title
TWI435592B (zh) Reproducing apparatus capable of reproduction of stereoscopic video images, reproduction method, program
JP5480948B2 (ja) 再生装置、再生方法、プログラム
JP4772163B2 (ja) 立体視再生を行う再生装置、再生方法、プログラム
JP5395117B2 (ja) 立体視再生が可能な再生装置、再生方法、プログラム
US20110080462A1 (en) Playback device, integrated circuit, playback method, and program for stereoscopic video playback
JP5728649B2 (ja) 再生装置、集積回路、再生方法、プログラム
WO2010032403A1 (ja) 映像コンテンツを立体視再生する再生装置、再生方法、および再生プログラム
US8437603B2 (en) Recording medium, reproduction device, integrated circuit, reproduction method, and program
US20100303437A1 (en) Recording medium, playback device, integrated circuit, playback method, and program

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees