TWI446794B - A motion picture coding method, a motion picture coding apparatus, a motion picture recording method, a recording medium, a motion picture reproduction method, a motion picture reproduction apparatus, and a motion picture reproduction system - Google Patents

A motion picture coding method, a motion picture coding apparatus, a motion picture recording method, a recording medium, a motion picture reproduction method, a motion picture reproduction apparatus, and a motion picture reproduction system Download PDF

Info

Publication number
TWI446794B
TWI446794B TW96147969A TW96147969A TWI446794B TW I446794 B TWI446794 B TW I446794B TW 96147969 A TW96147969 A TW 96147969A TW 96147969 A TW96147969 A TW 96147969A TW I446794 B TWI446794 B TW I446794B
Authority
TW
Taiwan
Prior art keywords
management information
motion picture
image
information
unit
Prior art date
Application number
TW96147969A
Other languages
English (en)
Other versions
TW200845761A (en
Inventor
Tadamasa Toma
Hiroshi Yahata
Wataru Ikeda
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of TW200845761A publication Critical patent/TW200845761A/zh
Application granted granted Critical
Publication of TWI446794B publication Critical patent/TWI446794B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

動態影像編碼方法、動態影像編碼裝置、動態影像記錄方法、記錄媒體、動態影像再生方法、動態影像再生裝置及動態影像再生系統 發明領域
本發明係有關一種在依據亮度之閾值而生成前景與背景可分離之編碼流時，可切換閾值而編碼動態影像之動態影像編碼方法、動態影像記錄方法、動態影像再生方法及用以記錄編碼流之記錄媒體等。
 發明背景
以下，就習知技術之DVD-VIDEO磁碟(以下略稱為「DVD」)加以說明。
第1圖係顯示DVD之構造者。如第1圖之下段所示，DVD磁碟上自讀入部至讀出部間設有邏輯位址空間，自邏輯位址空間之始端開始記錄有檔案格式之磁卷資訊，接著並記錄有映像音效等程式資料。
檔案格式係指ISO9660或UDF (universal disc format)，而為以所謂目錄或檔案之單位呈現磁碟上之資料之結構。日常使用之PC(個人電腦)亦藉使用所謂FAT或NTFS之檔案格式，而以所謂目錄或檔案之構造在電腦上呈現記錄於硬碟中之資料，而提昇了優越使用性。
DVD則使用了UDF及ISO9660雙方(亦可將雙方合稱為「UDF-bridge」)，使用UDF或ISO9660之檔案格式驅動器皆可讀取資料。當然，抹寫型之DVD磁碟之DVD-RAM/R/RW亦可藉該等檔案格式而進行物理性的資 料讀寫、刪除。
記錄於DVD之資料可藉UDF-bridge而表達為第1圖左上所示之目錄或檔案。根目錄(圖中之「ROOT」)之下方設有稱為「VIDEO_TS」之目錄，其中記錄有DVD之程式資料。程式資料記錄成複數檔案，主要之檔案如下。
VIDEO_TS. IFO磁碟再生控制資訊檔 VTS_01_0. IFO視訊標題組#1再生控制資訊檔 VTS_01_0. VOB視訊標題組#1串流檔
副檔名則規定有2種，「IFO」係記錄有再生控制資訊之檔案，「VOB」係記錄有AV資料之MPEG串流之檔案。再生控制資訊係DVD所採用之互動性(可配合使用者之操作而使再生動態地變化之技術)之實現所需之資訊、背景資訊等檔名或AV串流之附屬資訊等。又，DVD一般皆將再生控制資訊稱為導覽資訊。
再生控制資訊檔可分為用以管理磁碟整體之「VIDEO_TS. IFO」，以及個別視訊標題組(DVD可將複數檔名，換言之，可將不同影片及不同版本之影片記錄於1片磁碟中)之再生控制資訊之「VTS_01_0. IFO」。在此，檔案主檔名之「01」表示視訊標題組之編號，舉例言之，視訊標題組#2即為「VTS_02_0. IFO」。
第1圖之右上部係DVD之程式層中之DVD導覽空間，亦即前述之再生控制資訊所展開之邏輯構造空間。「VIDEO_TS. IFO」內之資訊係作為VMGI (video manager information)，「VTS_01_0. IFO」或個別存在於其它視訊標 題組之再生控制資訊係作為VTSI (video title set information)，而展開於DVD導覽空間內。
VTSI中記錄有所謂PGC (program chain)之再生順序資訊之PGCI (program chain information)。PGCI係由CELL之集合與稱為指令之一種編程資訊所構成。CELL本身係VOB(video object之略稱，意指MPEG串流)之一部分區間或全部區間之集合，CELL之再生則意指再生前述VOB之CELL所指定之區間。
指令係意DVD之假設機器所處理者，類似於瀏覽器上所執行之JAVA(登錄商標)腳本編程等。然而，JAVA(登錄商標)腳本編程除邏輯演算以外，並執行視窗及瀏覽器之控制(諸如打開新瀏覽器之視窗)，而DVD之指令除邏輯演算以外，僅可執行AV檔名之再生控制，諸如指定欲再生之章節等，而有所不同。
CELL包含記錄於磁碟上之VOB之開始及結束位址(磁碟上之邏輯記錄位址)作為其內部資訊，播放器則使用記錄於CELL之VOB之開始及結束位址資訊而讀出資料，而進行再生。
第2圖係說明內設於AV串流中之導覽資訊之概略圖。DVD之特徵之互動性並非僅藉前述之VIDEO_TS. IFO或VTS_01_0. IFO等所記錄之導覽資訊即可實現，另有若干重要資訊係使用稱為導覽封包(亦稱為navipack或NV_PCK)之專用載波而於VOB內與映像、音效資料等共同經過多工轉換處理。
以下，說明選單以為簡單之互動性例示。選單畫面上出現若干按鍵，各按鍵皆定義有選擇執行該按鍵時之處理。又，選單上已選擇一按鍵(藉色框方式而於選擇按鍵上重疊半透明色，以告知使用者該按鍵已為選定狀態)，使用者則可使用遙控之上下左右鍵，而使選定狀態之按鍵移動至上下左右之任一按鍵。使用搖控之上下左右鍵，即可將色框移動至欲選擇執行之按鍵上，再藉決定(按下決定鍵)而執行對應之指令之程式。一般，對應之檔名或章節之再生係依指令而執行。
第2圖之左上部已顯示NV_PCK內所儲存之控制資訊之概要。
NV_PCK內包含色框顏色資訊與個別按鍵資訊等。色框顏色資訊中記錄有調色盤資訊，而可指定重疊顯示之色框之半透明色。按鍵資訊中則記錄有個別按鍵之位置資訊之矩形領域資訊、自該按鍵朝其它按鍵之移動資訊(個別對應使用者之上下左右鍵操作之移動標的按鍵之指定)、按鍵指令資訊(該按鍵被選定時所執行之指令)。
選單上之色框一如第2圖之中央右上部所示，係作為重疊影像而產生。重疊影像係對按鍵資訊之矩形領域資訊加上調色盤資訊之顏色而成者。該重疊影像係與第2圖之右部所示之背景影像合成而顯示於畫面上。
如上所述，DVD已實現選單功能。又，使用NV_PCK作為導覽資料之一部分而加以內設於串流中，係為與串流同步動態更新選單資訊(舉例言之，僅於影片再生中途5~10 分鐘內顯示選單等)，且使即便同步時間容易出錯之程式亦可執行無礙之故。又，另一更重要理由則係欲於NV_PCK儲存支援特殊再生之資訊，以於DVD再生時之快轉、倒轉等非一般再生時，亦可順暢地解碼AV資料而加以再生等，而提昇使用者之操作性。
第3圖係顯示DVD之串流之VOB者。如圖所示，映像、音效、字幕等資料(第3圖之a段)係依MPEG系統規格(ISO/IEC13818-1)而封包及軟包化(第3圖之b段)，個別多工轉換而形成1條MPEG程式串流(第3圖之c段)。又，一如前述，包含用以實現互動性之按鍵指令之NV_PCK亦已共同經過多工轉換。
MPEG系統之多工轉換之特徴於多工轉換之個別資料係依其解碼次序而形成位元列，但多工轉換之資料間，即，映像、音效、字幕間並非必依再生次序而形成位元列。此則係業經多工轉換之MPEG系統串流之解碼模式(一般稱為system target decoder或STD(第3圖之d段))在多工解除後具有對應個別基礎串流之解碼緩衝部，在解碼時間之前皆暫時儲存資料所導致。舉例言之，DVD-VIDEO所規定之解碼緩衝部可就個別之基礎串流而為不同大小，而對映像與音效、字幕各保有232KB、4KB及52KB之大小。
即，與映像資料共同多工轉換之字幕資料並不必然以同一時間解碼或再生。
另，尚有次世代DVD規格之BD(BLU-RAY DISC)。
DVD係對於標準畫質(standard definition畫質)之映像 以封包傳播(DVD-VIDEO規格)或類比傳播之記錄(DVD VIDEO RECORDING規格)為目的而產生者，但BD則可直接記錄高精度畫質(high definition畫質)之數位傳播(BLU-RAY DISC REWRITABLE規格，以下稱為BD-RE)。
然而，BD-RE規格係以廣泛記錄數位傳播為目的，故並未使特殊再生之支援資訊等最適化。未來，考量將以更高比率進行高精度映像之封包傳播甚於數位傳播(BD-ROM規格)，則非一般再生時亦需要不致對使用者造成困擾之設計。
又，BD之動態影像之編碼方式之一係採用MPEG-4 AVC (advanced video coding)。MPEG-4 AVC係ISO/IEC(國際標準化機構/國際電氣標準會議)之JTC1/SC29/WG11與ITU-T(國際電子通訊聯盟/電子通訊標準化部門)共同制定之高壓縮率之次世代編碼方式。
一般而言，動態影像之編碼係藉減少時間方向及空間方向之冗長性而進行資訊量之壓縮。因此，以時間上之冗長性之減少為目的之畫面間預側編碼可參照前方或後方之畫面而以磁段為單位進行動作之檢出及預測影像之作成，並對所得之預測影像與編碼對象畫面之差分值進行編碼。在此，所謂畫面係表示1畫面之用語，若為連續掃瞄影像則意指圖幀，若為交錯掃瞄影像則意指圖幀或圖場。在此，所謂交錯掃瞄影像係指由時間不同之2個圖場構成單一圖幀而成之影像。交錯掃瞄影像之編碼及解碼處理時，可就1幀進行單幀處理，或視作2個圖場而處理，或者就圖幀內之 各磁段視作圖幀構造或圖場構造而加以處理。
不參照影像而進行畫面內預測編碼者稱為I畫面。又，僅參照1張畫面而進行畫面內預測編碼者稱為P畫面。另，同時參照2張畫面而進行畫面內預測編碼者則稱為B畫面。B畫面可參照2張畫面，而顯示時間則不限前方或後方皆可任意組合。參照影像(參照畫面)可就編碼或解碼之基本單位之磁段個別指定，但業經編碼之位元流中已先記錄之參照畫面為第1參照畫面，之後記錄者則為第2參照畫面，須予區別。然而，該等畫面之編碼及解碼時之條件，則以所參照之畫面業經編碼或解碼為必要。
由欲編碼之影像減去由畫面內預測或畫面間預測所得之預測訊號而得之殘差訊號在經頻率轉換而量子化後，將再經可變長編碼而形成編碼串流輸出。MPEG-4 AVC作為可變長編碼方式而可分為CAVLC(context-adaptive variable length coding：脈絡適應型可變長編碼)與CABAC(context-adaptive binary arithmetic coding：脈絡適應型二元算數編碼)2種，而可以畫面為單位進行切換。在此，脈絡適應型係指可對應周圍狀況而適當地選擇效率較佳之編碼方式之方式。
其次，說明混合有不同之編碼方式(或不同屬性之動態影像)之串流，以及接收上述串流之解碼裝置之解碼處理。在此，將說明二個例子，亦即，混合有可變長編碼方式(CAVLC/CABAC)之第1例，以及混合有進行子母畫面之亮度鍵所控制之透明處理時所使用之亮度之閾值之第2例。
首先，說明混合有不同編碼方式(或不同屬性之動態影像)之串流之第1例，亦即，混合有可變長編碼方式(CAVLC/CABAC)之例。第4圖係顯示在MPEG-4 AVC之串流中構成可隨機讀取之單位之畫面所適用之可變長編碼方式之例者。在此，MPEG-4 AVC雖不包含與MPEG-2影片之GOP (group of pictures)相當之概念，但若以不依存於其它畫面即可解碼之特別畫面單位分割資料，則可構成相當於GOP之可隨機讀取之單位，故稱之為隨機讀取單位(RAU)。如第4圖所示，可變長編碼之方式採用CABAC或CAVLC係以畫面為單位而切換。
其次，由於cabac與cavlc之可變長解碼時之處理不同，故參照第5A~5C圖說明其等個別之可變長解碼處理。第5A圖係用以進行藉CABAC而業經可變長編碼之資料之解碼處理之CABAD(context-adaptive binary arithmetic decoding：脈絡適應型二元算數解碼)，以及藉CAVLC而業經可變長編碼之資料之解碼處理之CAVLD(context-adaptive variable length decoding：脈絡適應型可變長解碼)之影像解碼裝置之功能區圖。
伴隨CABAD之影像解碼處理係進行如下。首先，適用CABAC之編碼資料Vin將輸入串流緩衝區5001。接著，算數解碼部5002則由串流緩衝區讀出編碼資料Vr而進行算數解碼，並將二元資料Bin1輸入二元資料緩衝區5003。二元資料解碼處理部5004則由二元資料緩衝區5003取得二元資料Bin2，並解碼二元資料，再將解碼後之二元資料Din1輸 入像素復原部5005。像素復原部5005則對二元資料Din1進行逆量子化、逆轉換及動態補償等處理而復原像素，並輸出解碼資料Vout。第5B圖係顯示適用CABAC之編碼資料之解碼開始後至像素復原處理之實施為止之動作之流程圖。首先，於步驟5001中，對適用CABAC之編碼資料Vin進行算數解碼，以生成二元資料。其次，於步驟5002中，判定是否齊備1個以上之畫面等預定之資料單位量之二元資料，若已齊備則續行步驟S5003，若未齊備則重複步驟S5001之處理。在此，所以進行二元資料之緩衝，係因於CABAC時各畫面或各巨集塊之二元資料之編碼量可能明顯增大，而伴隨產生之算數解碼之處理負擔亦可能明顯增加，故為實現最差情況下之無中斷再生，必須預先進行一定量之算數解碼處理之故。步驟S5003中，則解碼二元資料，並於步驟S5004中實施像素復原處理。如上所述，CABAD時，由於在步驟S5001及步驟S5002中若未齊備預定之資料單位量之二元資料即不可開始像素復原處理，故解碼開始時將發生延遲。
伴隨CAVLD之像素復原處理則進行如下。首先，適用CAVLC之編碼資料Vin將輸入串流緩衝區5001。接著，CAVLD部5006則進行可變長解碼處理，並朝像素復原部5005輸入VLD解碼資料Din2。像素復原部5005則進行逆量子化、逆轉換及動態補償等而復原像素，並輸出解碼資料Vout。第5C圖係顯示適用CAVLC之編碼資料之解碼開始至像素復原處理之實施為止之動作之流程圖。首先，於步驟 S5005中進行CAVLD，接著，在步驟S5004中實施像素復原處理。如上所述，CAVLD時與CABAD不同，在開始像素復原處理前，無須等待預定之資料單位量之資料齊備，且不需要如二元資料緩衝區5003般之可變長解碼處理之中間緩衝處理。
第6圖係如第4圖之例，亦為顯示串流中途切換可變長編碼之方式之串流之解碼所使用之習知之解碼裝置之動作之流程圖。另，本說明書中，解碼裝置及解碼方法各為動態影像再生裝置及動態影像再生方法之一例。
首先，於步驟S5101中，取得顯示適用於畫面之可變長編碼方式之資訊，再續行至步驟S5102。步驟S5102中，則判斷是否已依解碼次序而就先前之畫面與現時之畫面切換可變長編碼之方式。由於CABAD與CAVLD之可變長解碼處理時之緩衝之管理方法不同，故切換可變長編碼方式時，將進入步驟S5103而進行緩衝管理之切換處理，若未切換可變長編碼之方式則續行至步驟S5104。步驟S5104中則判定可變長編碼方式是否為CAVLC，若是，則續行至步驟S5105而進行CAVLD處理，若為CABAC，則續行至步驟S5106。步驟S5106中則判定是否已依解碼次序而就先前之畫面與現時之畫面切換可變長編碼之方式，若已切換則續行至步驟S5107，而如第5圖之步驟S5001與步驟S5002所示，進行算數解碼至預定之資料單位量之二元資料齊備為止，並解碼二元資料。於步驟S5106中判定並未切換可變長編碼之方式時，則續行至步驟S5108，而進行一般之CABAD處理。 在此，所謂一般之CABAD處理係指不進行由CAVLC切換至CABAC或適用CABAC之串流之解碼開始時所需之二元資料之緩衝之處理。最後，則於步驟S5109中實施像素復原處理。
其次，說明混合有不同編碼方式(或不同屬性之動態影像)之串流之第2例，亦即，混合有進行子母畫面之亮度鍵所控制之透明處理時所使用之亮度之閾值(動態影像之屬性)之例。BD-ROM等套裝軟體媒體中，包含對劇院版映像重疊而表達之隨片解說版(導演之解說映像)等與劇院版不同之映像之程式，上述程式即稱為子母畫面。第7圖係說明子母畫面者。第7a圖顯示影像之顯示平面，平面2則重疊於平面1上而顯示。第7b圖與第7c圖則分別顯示平面1與平面2所顯示之影像，平面2之顯示影像則重疊於平面1之顯示影像上而顯示(第7d圖)。子母畫面之情形下，平面1所顯示者係劇院版映像，平面2所顯示者則為與劇院版不同之映像。在此，若直接重疊平面2所顯示之映像，則將完全覆蓋平面1之影像，故平面2之影像將經過亮度鍵所控制之透明處理。以下，即就亮度鍵所控制之透明處理加以說明。透明處理時，係對應影像內各像素之亮度值而切換是否使該像素透明而顯示。具體而言，係處理如下。
1.亮度值為0以上，且為預定閾值YL以下時，使該像素完全透明(透光率為1)。
2.亮度值超過預定閾值YL時，則使該像素不透明(透光率為0)，而依亮度值所示進行顯示。
第7c圖中，塗黑之領域係亮度值為前述預定閾值YL以下，其它領域若為亮度值超過前述預定閾值YL者，則如第7d圖所示，平面2之影像重疊於平面1上時，塗黑之領域將為透明者，其外之領域則不透明而顯示。亦即，平面2之影像中，僅有亮度超過閾值YL之領域(像素)與平面1之影像重疊而顯示。藉此，平面2即可依據亮度之閾值而分離成前景與背景，並僅有前景與平面1重疊顯示，而實現子母畫面。
【專利文獻1】特開2000-228656號公報
【非專利文獻1】Proposed SMPTE Standard for Television:VC-1 Compressed Video Bitstream Format and Decoding Process, Final Committee Draft Revision 6, 2005.7.13
 發明概要
如上所述，接收混合有不同編碼方式(或不同屬性之動態影像)之串流之解碼裝置必須於解碼處理時進行切換處理，故有處理負擔增大之問題。第8圖係說明習知之多工轉換裝置所產成之實現習知之記錄媒體中亮度鍵所控制之透明處理時之問題者。第8圖顯示有進行亮度鍵所控制之透明處理之映像連續再生之區間，而區間1、區間2、區間3則依序進行再生。在此，由於透光率為1而透明顯示之像素之亮度值之閾值在區間1為20、在區間2為40、在區間3則為30，故切換區間時，必須改變透明顯示之像素之亮度值之閾 值。亮度值之閾值一旦改變，則勢必改變合成平面時之動作，而將發生動作變更所導致之延遲。結果，應不中斷而再生之各區間之切換部分將發生再生中斷之問題。
如上所述，習知之影像編碼方式所產生之串流在再生業經多工轉換之習知之記錄媒體時，將就各再生區間改變亮度鍵之閾值，故伴隨著前述閾值之切換，再生時之亮度值之閾值處理時將發生延遲之問題。
本發明之目的即在提供一種不致增加再生時之處理負擔且可避免發生再生中斷之記錄媒體、動態影像編碼方法、動態影像編碼裝置、動態影像記錄方法、動態影像再生方法、動態影像再生裝置及動態影像再生系統。
本發明係為解決上述問題而作成者。
本發明之動態影像編碼方法可於作為連續再生之對象之區間(連續再生區間)內，預先編碼動態影像而無須切換編碼方式(或動態影像之屬性)，且可預先作成包含顯示上述區間內編碼為固定之旗標資訊之管理資訊。
更具體而言，本發明係對應子母畫面之應用者，即，本發明之動態影像編碼方法係將包含第一動態影像及用以與前述第1動態影像重疊之第2動態影像的映像流編碼者，且前述重疊時僅前述第2動態影像中具有超過預定閾值之亮度之影像領域與前述第1動態影像重疊，前述動態影像編碼方法包含：連續再生區間決定步驟，決定前述映像流中作為部分區間之組合，即，作為連續再生對象之區間的連 續再生區間；編碼步驟，將構成前述連續再生區間之複數部分區間中之前述第1動態影像及第2動態影像編碼，以使前述連續再生區間決定步驟所決定之連續再生區間符合不改變前述閾值之限制；管理資訊作成步驟，作成包含顯示在前述連續再生區間之前述閾值為固定之旗標資訊的管理資訊；及結合步驟，結合業經前述編碼步驟所編碼之前述第1及第2動態影像與前述管理資訊作成步驟所作成之管理資訊並加以輸出。
又，本發明之動態影像編碼裝置係將包含第一動態影像及用以與前述第1動態影像重疊之第2動態影像之映像流編碼者，且前述重疊時僅前述第2動態影像中具有超過預定閾值之亮度之影像領域與前述第1動態影像重疊，前述動態影像編碼裝置包含：連續再生區間決定部，係決定前述映像流中作為部分區間之組合，即，作為連續再生對象之區間之連續再生區間者；編碼部，係將構成前述連續再生區間之複數部分區間中之前述第1動態影像及第2動態影像編碼，以使前述連續再生區間決定部所決定之連續再生區間符合不改變前述閾值之限制者；管理資訊作成部，係作成包含顯示在前述連續再生區間之前述閾值為固定之旗標資訊的管理資訊者；及結合部，係結合業經前述編碼部所編碼之前述第1及第2動態影像與前述管理資訊作成部所作成之管理資訊並加以輸出者。
又，本發明之動態影像記錄方法係將包含第一動態影像及用以與前述第1動態影像重疊之第2動態影像之映像流 編碼，再記錄於記錄媒體中者，且前述重疊時僅前述第2動態影像中具有超過預定閾值之亮度之影像領域與前述第1動態影像重疊，前述動態影像記錄方法包含：連續再生區間決定步驟，決定前述映像流中作為部分區間之組合，即，作為連續再生對象之區間之連續再生區間；編碼步驟，將構成前述連續再生區間之複數部分區間中之前述第1動態影像及第2動態影像編碼，以使前述連續再生區間決定步驟所決定之連續再生區間符合不改變前述閾值之限制；管理資訊作成步驟，作成包含顯示在前述連續再生區間之前述閾值為固定之旗標資訊之管理資訊；及結合步驟，結合業經前述編碼步驟所編碼之前述第1及第2動態影像與前述管理資訊作成步驟所作成之管理資訊，並記錄於記錄媒體中。
又，本發明之記錄媒體記錄有可由電腦讀取之資料，前述資料包括含有第1動態影像及用以與前述第1動態影像重疊之第2動態影像的映像流、以及作為用以管理前述映像流之資訊的管理資訊，且前述重疊時，僅前述第2動態影像中具有超過預定閾值之亮度之影像領域與前述第1動態影像重疊。又，前述映像流中，構成前述連續再生區間之複數之部分區間之前述第1及第2動態影像業經編碼，以使作為部分區間之組合，即，作為連續再生之對象之區間的連續再生區間符合不改變前述閾值之限制，且前述管理資訊包含顯示在前述連續再生區間之前述閾值為固定之旗標資訊。
又，本發明之動態影像再生方法係將包含業經編碼之 第1及第2動態影像之映像流解碼，並將前述第2動態影像重疊於前述第1動態影像上而加以顯示者。前述動態影像再生方法包含：管理資訊處理步驟，取得對應前述映像流之管理資訊，並解釋所取得之管理資訊；解碼步驟，依據前述管理資訊處理步驟之解釋，解碼前述第1及第2動態影像；及顯示步驟，僅將業經解碼之前述第2動態影像中具有超過預定之閾值之亮度之影像領域重疊業經解碼之前述第1動態影像上，並加以顯示。前述管理資訊處理步驟中，判斷前述管理資訊中是否包含顯示前述閾值為固定之旗標資訊，且前述顯示步驟中，在前述管理資訊處理步驟已判斷前述管理資訊含有前述旗標資訊後，使用與先前之部分區間之閾值相同之閾值，進行現時之部分區間的前述重疊顯示。
又，本發明之動態影像再生裝置係將包含業經編碼之第1及第2動態影像之映像流解碼，並將前述第2動態影像重疊於前述第1動態影像上而加以顯示者，前述動態影像再生裝置包含：管理資訊處理部，係取得對應前述映像流之管理資訊，並解釋所取得之管理資訊者；解碼部，係依據前述管理資訊處理部之解釋，解碼前述第1及第2動態影像者；及顯示部，係僅將業經解碼之前述第2動態影像中具有超過預定之閾值之亮度的影像領域重疊於業經解碼之前述第1動態影像上，並加以顯示者。前述管理資訊處理部判斷前述管理資訊中是否包含顯示前述閾值為固定之旗標資訊，且前述顯示部在前述管理資訊處理部已判斷前述管理 資訊包含有前述旗標資訊後，使用與先前之部分區間之閾值相同之閾值，進行現時之部分區間的前述重疊顯示。
又，本發明之動態影像再生系統包含有：申請專利範圍第15項之記錄媒體；及動態影像再生裝置，係讀出前述記錄媒體中所記錄之資料並加以再生者。前述動態影像再生裝置包含：管理資訊處理部，係自前述記錄媒體讀出管理資訊並加以解釋者；解碼部，係依據前述管理資訊處理部之解釋，自前述記錄媒體讀出前述第1及第2動態影像，並加以解碼者；及顯示部，係僅將業經解碼之前述第2動態影像中具有超過預定之閾值之亮度的影像領域重疊於業經解碼之前述第1動態影像上，並加以顯示者。而，前述管理資訊處理部判斷前述管理資訊中是否包含顯示前述閾值為固定之旗標資訊，且前述顯示部在前述管理資訊處理部已判斷前述管理資訊含有前述旗標資訊後，使用與先前之部分區間之閾值相同之閾值，而進行現時之部分區間的前述重疊顯示。
另，本發明不僅可實現為上述之動態影像編碼方法、動態影像編碼裝置、動態影像記錄方法、記錄媒體、動態影像再生方法、動態影像再生裝置及動態影像再生系統，亦可作為可藉電腦執行上述各方法所包含之步驟之程式而實現，或作為記錄有上述程式之DVD等電腦可讀取之記錄媒體而實現，或者以LSI等半導磁卷體電路實現上述各裝置。
如上所述，依據本發明之動態影像編碼方法等，即可於作為連續再生之對象之區間內，編碼動態影像而無須切換編碼方式(或動態影像之屬性)，且可作成包含顯示上述區間內編碼方式為固定之旗標資訊之管理資訊。藉此，接收上述資料構造之動態影像及管理資訊(或由記錄媒體讀出)之再生裝置即無須編碼方式或動態影像之屬性之切換之監視處理，而可減輕處理負擔。
亦即，就子母畫面而言，連續再生區間內之動態影像之編碼資料中，是否使各像素透明顯示之判斷所使用之亮度值之閾值為固定，故可避免因閾值之切換而發生再生之延遲，而可實現無縫之再生。因此，可提昇對動態影像、製圖或靜態影像等重疊動態影像而顯示之套裝軟體媒體、傳播程式等之再生品質。又，由於可減輕用以實現前述程式之再生裝置之處理負擔，故其實用價值甚高。
圖式簡單說明
第1圖係DVD之構造圖。
第2圖係色框之構造圖。
第3a~3d圖係顯示DVD之多工轉換之例者。
第4圖係顯示習知之MPEG-4 AVC串流中適用於畫面單位之可變長編碼方式之例者。
第5A圖係顯示適用CABAC與CAVLC之編碼串流之解碼所使用之解碼裝置之構造之功能區圖。
第5B圖係顯示適用CABAC之編碼串流之解碼動作之流程圖。
第5C圖係顯示適用CAVLC之編碼串流之解碼動作之流程圖。
第6圖係顯示習知之解碼裝置之動作之流程圖。
第7a~7d圖係說明子母畫面之顯示例者。
第8圖係說明亮度鍵之閾值在連續再生區間內切換而導致之問題者。
第9a~9e圖係顯示第1實施例之記錄媒體所儲存之MPEG-4 AVC串流中適用於畫面單位之可變長編碼方式之例者。
第10圖係顯示記錄媒體中顯示可變長編碼方式為固定之單位之旗標資訊之儲存例者。
第11圖係顯示再生記錄媒體之解碼裝置之動作之流程圖。
第12圖係顯示多工裝置之構造之功能區圖。
第13圖係顯示多工裝置之動作之流程圖。
第14圖係顯示第13圖中之S5201之具體例之流程圖。
第15圖係顯示第13圖中之S5202之具體例之流程圖。
第16圖係顯示第13圖中之S5204及S5205之其它具體例之流程圖。
第17圖係顯示第13圖中之S5202之具體例之流程圖。
第18圖係BD之資料階層圖。
第19圖係BD上之邏輯空間之構造圖。
第20圖係BD播放器之概要功能區圖。
第21圖係BD播放器之構造功能區圖。
第22圖係BD之程式空間之說明圖。
第23圖係MPEG串流(VOB)之構造圖。
第24圖係封包之構造圖。
第25圖係說明AV串流與播放器構造之關係者。
第26圖係對磁軌緩衝區之AV資料連續供給模式圖。
第27圖係VOB資訊檔構造圖。
第28圖係時間對映之說明圖。
第29圖係播放清單檔之構造圖。
第30圖係對應播放清單之程式檔之構造圖。
第31圖係BD磁碟整體管理資訊檔之構造圖。
第32圖係記錄全域事件管控器之檔案之構造圖。
第33圖係說明時間事件之例者。
第34圖係說明使用者事件之例者。
第35圖係說明全域事件管控器之例者。
第36圖係假設機器之構造圖。
第37圖係播放器變數表。
第38圖係顯示事件管控器(時間事件)之例者。
第39圖係顯示事件管控器(使用者事件)之例者。
第40a~40b圖係播放器基本處理之流程圖。
第41圖係播放清單再生處理之流程圖。
第42a~42b圖係事件處理之流程圖。
第43圖係字幕處理之流程圖。
第44圖係說明使亮度鍵之閾值在連續再生區間內為固定之例者。
第45a~45b圖係說明無縫再生區間中亮度鍵之值為固定者。
第46a~46b圖係說明保證亮度鍵之閾值為固定之旗標者。
第47a~47g圖係說明本發明之記錄媒體之子母畫面動作者。
第48a~48b圖係說明主視訊與副視訊之多工轉換者。
第49圖係顯示實現本發明第2實施例之子母畫面動作之多工方法之動作之流程圖。
第50圖係說明實現本發明第2實施例之子母畫面動作之多工方法中生成管理資訊之動作之流程圖。
第51圖係顯示本發明第2實施例之多工裝置之構造之功能區圖。
第52圖係顯示子母畫面之背景資訊所包含之顯示屬性資訊之例者。
第53圖係顯示多工裝置5200所生成之管理資訊之資料構造者。
第53a圖係顯示管理資訊之一之播放清單之資料要素者。
第53b圖係顯示無縫連接之再生區間之播放清單之例。
第54圖係顯示進行本發明第2實施例之子母畫面動作之播放器之動作之流程圖。
第55A圖係顯示第3實施例之記錄媒體本體之軟碟之物理格式之例者。
第55B圖係顯示軟碟之正面外觀、截面構造及軟碟者。
第55C圖係顯示用以在軟碟FD上進行上述程式之記錄再生之構造者。
 實施發明之最佳形態
本發明之動態影像編碼方法係於作為連續再生之對象之區間(連續再生區間)內，無須切換編碼方式(或動態影像之屬性)即可預先編碼動態影像，且可預先作成包含顯示前述區間內編碼方式為固定之旗標資訊之管理資訊。
以下，參照附圖說明本發明之實施例。
(第1實施例)
首先，以混合有不同編碼方式(或不同屬性之動態影像)之串流之第1例，即，以混合有可變長編碼方式(CAVLC/CABAC)之例為本發明之第1實施例而加以說明。
本實施例中，係說明BD-ROM等套裝軟體媒體等內解碼動態影像之編碼資料時，可抑制可變長編碼方式切換而導致解碼動作延遲，及有同時進行必要之緩衝管理方法之切換所導致之處理負擔之增加之記錄媒體及其再生裝置。以下，動態影像之編碼方式為MPEG-4 AVC，但亦可為可於串流中途切換可變長編碼方式之其它編碼方式。
本實施例之記錄媒體中儲存之MPEG-4 AVC串流中，可切換可變長編碼方式之單位已受限，且於管理資訊中儲存有顯示切換單位受限或受限之切換單位之資訊。
第9圖係顯示MPEG-4 AVC之串流之可變長編碼方式之 切換單位之限制例者。BD-ROM等套裝軟體媒體中，係藉播放清單等顯示連續再生動態影像之編碼資料之單位(以下稱為「連續再生單位」)，若使連續再生單位之可變長編碼方式固定，則連續再生之區間內，將不發生可變長編碼方式之切換所導致解碼動作之延遲及緩衝管理方法之切換所致處理負擔之增加。因此，本實施例中令連續再生單位之可變長編碼方式為固定。第9a及第9b圖係分別顯示連續再生單位中可變長編碼方式僅限於CAVLC、CABAC之例者。進而，連續再生之片段之連接條件可為無縫之連接及非無縫之連接二種。在此所謂連接，係包含同一片段內之複數區間相連接之情形在內。非無縫之連接時，舉例言之，可能如對開放GOP連接時般發生解碼動作之間斷，故亦容許切換可變長編碼方式，無縫之連接之連續再生單位之可變長編碼方式則亦可為固定。
另，亦可在片段或隨機讀取單位(RAU)等與連續再生單位不同之單位下固定可變長編碼方式。第9c及第9d圖係顯示以片段為單位之固定例，第9e圖係顯示隨機讀取單位單位下之固定例者。
其次，管理資訊中，包含有MPEG-4 AVC之串流中顯示可變長編碼方式之切換已受限之旗標資訊。在此，係以編碼方式之識別資訊作為旗標使用。第10圖係顯示BD-ROM之旗標之儲存例者。BD-ROM中，可由播放清單參照之各片段之編碼方式係儲存於管理資訊內之所謂StreamCodingInfo領域中，故在此顯示編碼方式為MPEG-4 AVC時，則使連續再生單位中可變長編碼方式為固定。另，可變長編碼方式為CABAC或CAVLC亦可另行顯示。
此外，顯示可變長編碼方式之切換單位受限之旗標亦可另行規定而加以儲存，進而，亦可儲存顯示切換單位之資訊。又，該等資訊亦可儲存於MPEG-4 AVC之串流內。舉例言之，顯示隨機讀取單位內之畫面中可變長編碼方式係固定之資訊可儲存於隨機讀取單位之始端畫面之SEI (supplemental enhancement information)或具有Unspecified之形態之NAL (network abstraction layer)單元內。
另，MPEG-4 AVC中，顯示畫面單位之初始化資訊之PPS (picture parameter set)內之Entropy_coding_mode_flag內，顯示有可變長編碼方式為CAVLC或CABAC。
因此，當一定區間內之可變長編碼方式係固定者，則該區間之畫面所參照之全部PPS中，Entropy_coding_mode_flag之圖場值將為固定者。MPEG-4 AVC中，不依解碼次序由存在於一定區間之畫面所參照之PPS亦可儲存於前述一定區間內，但不由區間內之畫面所參照之PPS之Entropy_coding_mode_flag之圖場值則無必要特別加以限制。舉例言之，隨機讀取單位(RAU)內之畫面所參照之PPS雖保證全部存在隨機讀取單位(RAU)內，但不由隨機讀取單位(RAU)內之畫面所參照之PPS亦可存在於隨機讀取單位內。此時，不受參照之PPS不會影響解碼，故Entropy_coding_mode_flag之圖場值亦可不加以限制。然 而，一定區間所包含之PPS之Entropy_coding_mode_flag之圖場值若可專定，則處理較為簡單，故亦可使不受參照之PPS之圖場值亦為固定者。
第11圖係顯示本實施例之記錄媒體之連續再生單位之解碼動作之流程圖。連續再生單位中可變長編碼方式係固定者，故與第6圖之習知之解碼動作不同，無須解碼中途之二元資料之緩衝處理及緩衝管理方法之切換。各步驟之動作則與第6圖所附同一標號之步驟相同，故省略其說明。
進而，新編碼方式則刻正由SMPTE (the society of motion picture and television engineers)制定一種VC-1(非專利文獻1)之規格。VC-1中，定義有顯示巨圖塊(包含16×16像素大小之單位)之編碼方法之各種旗標。旗標則有諸如顯示是否為略過模式巨圖塊、圖場模式/圖幀模式之任一種、是否為直接模式巨圖塊等者。
已放大之編碼工具之一係位元平面編碼。位元平面編碼係使用於顯示顯示上述之巨圖塊之編碼方法之旗標時者。位元平面編碼可將前述該等旗標匯整為1畫面量，再以畫面標頭加以顯示。一般而言，鄰接之巨圖塊之相關較高，故旗標之相關亦較高。故而，藉匯整鄰接之複數之巨圖塊之旗標而加以編碼，即可減少用以呈現旗標之編碼量。
位元平面編碼規定有7種編碼方法。其中之一係藉巨圖塊標頭編碼各旗標之方法，該方法稱為原始模式(RAW MODE)，而為與MPEG-2視訊方式及MPEG-4視覺方式相同之方法。其餘6種方法皆係將1畫面量之旗標滙整而加以編 碼之方法，視如何匯整鄰接之巨圖塊之旗標而加以編碼之不同，而定義成不同之方法。前述6種方法則有諸如匯整左右鄰接之2個巨圖塊之旗標而加以編碼之方法、若朝水平方向排列之一列巨圖塊之旗標全為「0」則以1位元之「0」表示之，若一列之巨圖塊之旗標內出現「1」，則直接編碼各旗標之方法等。
位元平面編碼若使用上述7種中任一方法，則可就各旗標個別獨立以畫面為單位而加以變更。
在此，位元平面編碼時，以僅使用藉巨圖塊標頭編碼各旗標之方法時為模式1，並以僅使用滙整1畫面量之旗標而加以編碼之方法時為模式2，而模式1與模式2之解碼時動作不同，故模式切換時處理負擔將增大，而可能發生延遲。故而，與上述可變長編碼之切換單位之受限情形相同，位元平面編碼亦可限制模式1與模式2之切換單位。舉例言之，連續再生單位或無縫而連接之連續再生單位中，可使模式為固定者。又，亦可於管理資訊中包含顯示位元平面編碼之模式於預定單位中為固定者之旗標資訊。舉例言之，可使用StreamCodingInfo所示之編碼方式作為旗標資訊，當編碼方式顯示為VC-1時，則可使預定單位內位元平面編碼之模式為固定者。
進而，藉巨圖塊標頭編碼各旗標之方法與匯整1畫面量而編碼之方法同時使用時為模式3，則配合可使用VC-1之環境，亦可區別使用模式1與模式3。舉例言之，處理能力較差之終端可使用模式1，處理能力較高之終端則可使用模式 3。上述情形在預定之再生單位固定使用模式1或模式3之任一方較有效。進而，顯示固定為模式1或模式3之任一方之之旗標資訊或顯示固定為任一種模式之資訊可儲存於管理資訊或編碼串流內。另，模式2與模式3亦可區隔而使用。
第12圖係顯示實現本實施例之多工方法之多工裝置5100之構造之功能區圖。多工裝置5100包含有切換單位決定部5101、切換資訊生成部5102、編碼部5103、系統多工部5104、管理資訊作成部5105、結合部5106。以下，則就各部動作加以說明。
切換單位決定部5101可決定受切換可變長編碼方式之單位，並對切換資訊生成部5102及編碼部5103輸入已決定之切換單位unit。切換單位可為預先設定者，或由外部加以設定者。切換資訊生成部5102可依據切換單位unit而生成顯示可切換可變長編碼方式之切換資訊SwInf，並加以輸入至管理資訊作成部5105。編碼部5103則可編碼各片段之資料以符合切換單位unit之限制，並朝系統多工部5104輸入編碼資料Cdatal。系統多工部5104可就編碼資料Cdatal進行系統多工，並朝管理資訊作成部5105輸入串流資訊StrInfl，並朝結合部5106輸入多工資料Mdatal。BD-ROM所使用之系統多工方式稱為資源封包，係採用對MPEG-2之傳輸流附加4位元組之標頭之方式。又，串流資訊StrInfl則包含時間對映等有關多工資料Mdatal之管理資訊生成所需之資訊。管理資訊作成部5105則可生成包含依據串流資訊StrInfl而生成之時間對映及切換資訊SwInf等之管理資訊CtrInfl，再加 以輸入至結合部5106。結合部5106則可結合管理資訊CtrInfl與多工資料Mdatal而構成記錄資料Doutl並加以輸出。
另，藉編輯工具等作成資料時，雖可能以個別裝置進行編碼資料之生成與系統多工或管理資訊之作成，但即便如此，各裝置之動作僅須與多工裝置5100之各部相同即可。
第13圖係顯示本實施例之記錄媒體中儲存之多工資料之作成所需之多工方法之動作之流程圖。本實施例之多工方法包含有決定可切換可變長編碼方式之單位之步驟(S5201)、依據已決定之單位而編碼片段之步驟(S5202)及生成顯示可變長編碼方式之切換單位之旗標資訊之步驟(S5204)，而與習知之多工方法不同。
首先，步驟S5201中，將決定可切換可變長編碼方式之單位。即，決定可以連續再生單位、片段或隨機讀取單位之任一單位進行切換。接著，步驟S5202中，則依據步驟S5201中已決定之切換單位編碼MPEG-4 AVC之片段之資料。步驟S5203中，則判定是否結束了最終片段之編碼，若判定已結束，則續行至步驟S5204，若判定尚未結束，則返回步驟S5202而重複片段之編碼作業。步驟S5204中，則生成顯示可變長編碼之切換單位之旗標資訊，並續行至步驟S5205。步驟S5205中，則作成包含步驟S5204中已生成之旗標資訊之管理資訊，再對管理資訊與片段之資料進行多工轉換而加以輸出。
第14圖係顯示第13圖中之決定可變長編碼方式之切換 單位之步驟(S5201)之具體例之流程圖。該圖中，可切換可變長編碼方式之最小單位係第9c及第9d圖所示之片段。在此，所謂片段係於記錄媒體上作為AV資料之檔案而儲存者，舉例言之，係指儲存有MPEG-4 AVC之一串流或VC-1之一串流之一檔案。又，片段係指在傳輸流上藉TS封包之記號而被特定之串流。
第14圖中，切換單位決定部5101可判定編碼對象之畫面是否為片段之開始畫面(S5201a)，若非開始畫面，亦即係片段中途之畫面時，則決定該片段之編碼不可切換可變長編碼方式(s5201f)。
若未無縫而連接，則切換單位決定部5101可判定開始畫面之片段是否為構成多角度之角度所對應之片段(S5201c)，若是，則開始畫面之片段之編碼將決定為不可切換構成該多角度之角度間之可變長編碼方式(S5201f)。在此，可對各角度無縫而連接之無縫多角度內，各角度之可變長編碼方式將決定為與多角度區間之先前之片段相同之方式。另，不保證可與各角度無縫而連接之非無縫多角度內，若各角度之可變長編碼方式相同，則前述方式亦可與多角度區間之先前之片段不同。
又，切換單位決定部5101在編碼對象之畫面係片段之開始畫面，而並不符合S5201b~S5201c之任一時(NO)，則決定可相對於編碼完成之先前之片段切換開始畫面之片段之可變長編碼方式(S5201e)。
如上所述，第14圖之流程圖中，已於切換單位決定部 5101中決定不切換之片段將決定為(a)藉傳輸流之封包記號而被特定之片段、(b)作為無縫之連接對象之複數片段、(c)構成多角度之各角度所對應之複數片段。另，S5201a~S5201c之判定可依任何順序進行。又，多角度時亦可僅於無縫多角度時決定不切換可變長編碼方式。又，片段亦可藉檔名等與封包記號不同之資訊進行識別。又，第14圖中，雖已就可切換可變長編碼方式之最小單位為第9c及第9d圖所示之片段之情形加以說明，但亦可如第9e圖所示，以RAU為最小單位。此時，可將圖中之「片段」改寫為「RAU」。
第15圖係顯示第13圖中之片段編碼步驟(S5202)之具體例之流程圖。第15圖中，顯示有進行MPEG-4 AVC之編碼之情形。該圖中，編碼部5103可在開始片段之編碼前，判定是否可切換該片段之可變長編碼方式(S5202a)。該判定則依據第14圖之決定。編碼部5103在判定可切換時，可任意決定該片段之可變長編碼方式(S5202b)，若判定不可切換，則依相互無縫而連接之先前或同一多角度之構成成分之其它片段相同之方式決定該片段之可變長編碼方式(S5202c)。進而，編碼部5103可對畫面參數組PPS設定顯示已決定之可變長編碼方式之旗標(S5202d)，並依已決定之可變長編碼方式而編碼前述片段(S5202e)。前述旗標在MPEG-4 AVC上則稱為Entropy_coding_mode_flag。
如上所述，編碼部5103可不對已判定不可切換之連續再生區間之片段切換可變長編碼方式，而藉編碼動態影像 生成編碼資料Cdatal。
第16圖係顯示第13圖中旗標資訊生成步驟(S5204)及管理資訊生成步驟(S5205)之具體例之流程圖。
該圖中，切換資訊生成部5102可判定業經編碼部5103編碼之片段是否為已判定為可切換可變長編碼方式之片段(S5204a)，若是，則生成顯示可變長編碼方式非固定之旗標資訊，並使之與該片段對應而將旗標資訊儲存於記憶體之工作領域(S5204b)，若非，則生成顯示可變長編碼方式為固定之旗標資訊，並使之與該片段對應而將旗標資訊儲存於記憶體之工作領域(S5204c)。進而，切換資訊生成部5102可判定前述片段是否為業經編碼部5103所編碼之最後之片段(S5204d)，若非，則重複進行上述S5204a~S5204c，若是，則以儲存於記憶體之工作領域之旗標資訊為切換資訊SwInf而加以輸出至管理資訊作成部5105。
進而，管理資訊作成部5105可生成包含播放清單之管理資訊(S5205a)，並參照切換資訊SwInf而對播放清單所包含之播放項目附加顯示可變長編碼方式為固定之旗標資訊(S5205b)。另，旗標資訊亦可為顯示為先前之播放項目所參照之再生區間與可變長編碼方式是否相同者。在此，播放清單顯示1個以上之播放項目之再生次序。播放項目係指定應再生之片段之資訊，可指定單一片段之全部或一部分為再生區間。又，上述旗標資訊亦可兼用作為對播放項目附加之其它參數。此時，舉例言之，片段可與上述旗標資訊兼用作為意指無縫而連接之參數(諸如 "connection_condition=5")。其原因則在於第14圖中，決定不可切換之連續再生區間(可變長編碼方式為固定之區間)係(a)藉傳輸流之封包記號而被特定之片段、(b)作為無縫之連接對象之複數片段、(c)構成多角度之各角度所對應之複數片段，而其中(b)係以無縫而連接為前提。又，是否為多角度區間可以所謂"is_multi_angle"之旗標顯示之，故本旗標亦可與顯示可變長編碼方式為固定之旗標兼用。藉此，即可減少管理資訊之資料量。
第17圖係顯示第13圖之片段編碼步驟(S5202)之其它具體例之流程圖。第17圖中，顯示有進行VC-1之編碼之情形。該圖中，編碼部5103可在開始片段之編碼前，判定該片段之可變長編碼方式是否可在原始模式與其外之模式間切換(S5202a)。該判定則依據第14圖之決定。編碼部5103在判定可切換時，可任意決定該片段之位元平面編碼之方式(S5202f)，若判定不可切換，則依先前之片段之相同方式決定該片段之位元平面編碼方式(S5202g)。編碼部5103將判定已決定之位元平面編碼方式是否為原始模式(RAW MODE)或其它方式(S5202h)。編碼部5103若對畫面單位附加顯示模式之資訊，而判定為原始模式(RAW MODE)，則於各巨圖塊內編碼各巨圖塊MB之預定資訊(S5202i)，若判定非原始模式(RAW MODE)，則將各巨圖塊MB之預定資訊匯整於畫面始端而加以設定，並編碼該片段(S5202j)。另，顯示前述模式之資訊可藉VC-1上稱為IMODE之圖場顯示之。
如上所述，編碼部5103可不對已判定為不可切換之連續再生區間之片段切換位元平面編碼之方式，而藉編碼動態影像生成編碼資料Cdatal。
另，上述播放清單不限於使用於光碟，經網路而接收串流時，亦可接收播放清單並加以解析，在決定接收之串流後，乃開始實際接收串流。又，將串流封包為RTP (real-time transport protocol)之封包或TS封包等，再藉IP (internet protocol)網路傳送時，亦可作為再生控制資訊而藉諸如SDP (session description protocol)等，顯示再生區間內可變長編碼方式是否固定。
以下，就儲存有本實施例之動態影像編碼方法所生成之資料之BD-ROM磁碟之資料構造及該磁碟再生所用之播放器之構造加以說明。
(磁碟上之邏輯資料構造) 第18圖係顯示BD-ROM之構造，特別是作為磁碟媒體之BD磁碟104、記錄於磁碟之資料101、102、103之構造者。BD磁碟104所記錄之資料係AV資料103、有關AV資料之管理資訊及AV再生順序等BD管理資訊102、實現互動性之BD再生程式101。本實施例中，為求說明方便，僅就用以再生影片之AV內容之AV程式為主而說明BD磁碟，就其它用途使用時亦當然相同。
第19圖係顯示上述之BD磁碟所記錄之邏輯資料之目錄檔案構造者。BD磁碟具有與其它光碟諸如DVD或CD等相同由內周朝外周形成螺旋狀之記錄領域，內周之讀入與 外周之讀出間設有可記錄邏輯資料之邏輯位址空間。又，讀入之內側設有僅可由稱為BCA (burst cutting area)之驅動器讀出之特別領域。該領域不可為程式所讀出，故可利用於諸如著作權保護技術等方面。
邏輯位址空間內以檔案格式資訊(磁卷)為始端而記錄有映像資料等之程式資料。所謂檔案格式一如習知技術中之說明，係指UDF及ISO9660等，可使用目錄、檔案構造讀出與一般PC相同方式記錄之邏輯資料。
本實施例中，BD磁碟上久目錄、檔案構造於根目錄(ROOT)之下設有BDVIDEO目錄。該目錄係儲存有BD所處理之AV內容及管理資訊等資料(第18圖所說明之101、102、103)之目錄。
BDVIDEO目錄之下記錄有以下7種檔案。
BD. INFO(檔名固定) 「BD管理資訊」之一，係記錄有關於BD磁碟整體之資訊之檔案。BD播放器起始將讀出該檔案。
BD. PROG(檔名固定) 「BD再生程式」之一，係記錄有關於BD磁碟整體之再生控制資訊之檔案。
XXX. PL(「XXX」可變、副檔名「PL」則固定) 「BD管理資訊」之一，係記錄有腳本(再生順序)之播放清單資訊之檔案。各播放清單皆為1個檔案。
XXX. PROG(「XXX」可變，副檔名「PROG」則固定) 「BD再生程式」之一，係記錄有前述播放清單個別之 再生控制資訊之檔案。與播放清單之對應則藉檔案主檔名(「XXX」一致)進行識別。
YYY. VOB(「YYY」可變，副檔名「VOB」則固定) 「AV資料」之一，係記錄有VOB(與習知例已說明之VOB相同)之檔案。各VOB皆為一個檔案。
YYY. VOBI(「YYY」可變，副檔名「VOBI」則固定) 「BD管理資訊」之一，係記錄有作為AV資料之VOB之相關串流管理資訊之檔案。與VOB之對應可藉檔案主檔名(「YYY」一致)而識別。
ZZZ. PNG(「ZZZ」可變，副檔名「PNG」則固定) 「AV資料」之一，係記錄有構成字幕及選單所需之影像資料PNG(藉W3C而標準化之影像格式，讀作「PING」)之檔案。1個PNG影像各為1個檔案。
(播放器之構造) 其次，參照第20及第21圖說明前述之BD磁碟再生所用之播放器之構造。
第20圖係顯示播放器之大略功能構造之功能區圖。
BD磁碟201上之資料可藉光學讀取器202而讀出。讀出之資料則配合各資料種類之不同而傳送至專用之記憶體。BD再生程式(「BD. PROG」或「XXX. PROG」檔案之內容)將傳送至程式記錄記憶體203，BD管理資訊(「BD. INFO」、「XXX. PL」或「YYY. VOBI」)則傳送至管理資訊記錄記憶體204，AV資料(「YYY. VOB」或「ZZZ. PNG」)則傳送至AV記錄記憶體205。
程式記錄記憶體203所記錄之BD再生程式可藉程式處理部206、管理資訊記錄記憶體204所記錄之BD管理資訊則可藉管理資訊處理部207、AV記錄記憶體205所記錄之AV資料則可藉表達處理部208而分別進行處理。
程式處理部206可接收藉管理資訊處理部207而再生之播放清單之資訊及程式執行時間等事件資訊而進行程式之處理。又，程式再生之播放清單亦可動態變更，此時對管理資訊處理部207傳送播放清單之再生命令即可實現。程式處理部206可接收來自使用者之事件即來自遙控鍵之要求，而在具備對應使用者事件之程式時加以執行。
管理資訊處理部207可接收程式處理部206之指示而解析對應之播放清單及播放清單所對應之VOB之管理資訊，並對表達處理部208指示作為對象之AV資料之再生。又，管理資訊處理部207並可自表達處理部208接收基準時刻資訊，並依據時刻資訊對表達處理部208進行AV資料再生之停止指示，且，對程式處理部206生成顯示程式執行時間之事件。
表達處理部208具有分別對應映像、音效、字幕/影像(靜態影像)之解碼器，而可依據來自管理資訊處理部207之指示，進行AV資料之解碼及輸出。映像資料、字幕/影像可於解碼後描繪於個別之專用平面、視訊平面210及影像平面209上，再藉合成處理部211進行映像之合成處理而朝TV等顯示裝置輸出。
如上所述，如第20圖所示，BD播放器係採用第18圖所 示之BD磁碟所記錄之資料構造基礎下之機器構造。
第21圖係前述播放器構造之細節之功能區圖。第21圖中，AV記錄記憶體205可向影像記憶體308與磁軌緩衝區309、程式處理部206可向程式處理器302與UOP管理部303、管理資訊處理部207可向腳本處理器305與表達控制器306、表達處理部208可向時鐘307、多工解訊器310、影像處理器311、視訊處理器312及音效處理器313分別對應/展開。
由BD磁碟201讀出之VOB資料(MPEG串流)可記錄於磁軌緩衝區309，影像資料(PNG)則可記錄於影像記憶體308。多工解訊器310則可依據時鐘307之時刻，而抽出磁軌緩衝區309所記錄之VOB資料，並分別朝視訊處理器312與音效處理器313傳送映像資料及音效資料。視訊處理器312及音效處理器313則分別依MPEG系統規格之規定，由解碼緩衝區與解碼器分別構成。即，由多工解訊器310送入之映像、音效個別之資料將暫時記錄於個別之解碼緩衝區，再依時鐘307而藉個別之解碼器進行解碼處理。
影像記憶體308中記錄之PNG則有以下2種處理方法。
若影像資料係用於字幕者，則藉表達控制器306指示解碼時間。腳本處理器305一旦接收來自時鐘307之時刻資訊，為進行適當之字幕顯示，即須於字幕顯示時刻(開始及結束)對表達控制器306發出字幕之顯示、不顯示之指示。由表達控制器306接收解碼/顯示之指示之影像處理器311則由影像記憶體308抽出對應之PNG資料，加以解碼，再予 以描繪於影像平面314。
其次，若影像資料係用於選單者，則藉程式處理器302指示解碼時間。程式處理器302何時指示影像之解碼則受程式處理器302刻正處理之BD程式之影響，無法一概決定。
影像資料及映像資料一如第20圖之說明般，在分別解碼後，將分別輸出至影像平面314、視訊平面315，並藉合成處理部316合成再輸出。
由BD磁碟201讀出之管理資訊(腳本、AV管理資訊)將儲存於管理資訊記錄記憶體304，但腳本資訊(「BD. INFO」及「XXX. PL」)則將讀入腳本處理器305而進行處理。又，AV管理資訊(「YYY. VOBI」)則將藉表達控制器306所讀出並進行處理。
腳本處理器305可解析播放清單之資訊，並對表達控制器306指示為播放清單所參照之VOB與其再生位置，表達控制器306則可解析作為對象之VOB之管理資訊(「YYY. VOBI」)，再對驅動控制器317發出指示，以讀出作為對象之VOB。
驅動控制器317將依據表達控制器306之指示，移動光學讀取器，而進行作為對象之AV資料之讀出。讀出之AV資料則一如前述，讀出至影像記憶體308或磁軌緩衝區309。
又，腳本處理器305可監視時鐘307之時刻，而於管理資訊所設定之時間朝程式處理器302送出事件。
程式記錄記憶體301中記錄之BD程式(「BD. PROG」或「XXX. PROG」)可藉程式處理器302加以執行處理。程式 處理器302對BD程式之處理係在由腳本處理器305送入事件時或由UOP管理部303送入事件時。UOP管理部303在由使用者藉遙控鍵而送入要求時，將生成對程式處理器302送出之事件。
(程式空間) 第22圖係顯示BD之程式空間者。
BD之程式空間中，播放清單(PLAYLIST)已形成一再生單位。播放清單包含由CELL之連結而由連結之順序決定之再生順序之靜態腳本，以及藉程式記述之動態腳本。若無藉程式形成之動態腳本，則播放清單僅限於依序再生個別CELL，且，將在結束全部CELL時結束播放清單之再生。另，程式可因超過播放清單之再生記述或使用者選擇、播放器之狀態而動態改變再生對象。典型之例子即為選單。若為BD，則選單係定義成藉使用者之選擇而再生之腳本，可藉程式而動態選擇播放清單。
在此所謂之程式，係指依時間事件或使用者事件而執行之事件管控器。
時間事件係依據內設於播放清單中之時刻資訊而生成之事件。第21圖所說明之由腳本處理器305朝程式處理器302送出之事件即是。一旦送出時間事件，則程式處理器302將執行處理已藉ID而形成對應之事件管控器。如前所述，執行之程式可指示其它播放清單之再生，此時，將中止現在再生中之播放清單之再生，而改為指定之播放清單之再生。
使用者事件係藉使用者之遙控鍵操作而生成之事件。使用者事件可大分為2種類型。第一種，藉方向鍵(「上」、「下」、「左」、「右」鍵)或「決定」鍵之操作而生成之選單選擇之事件。選單選擇之事件所對應之事件管控器僅限於播放清單內之有限期間內有效(作為播放清單之資訊而設定有個別事件管控器之有效期間)，遙控之「上」、「下」、「左」、「右」鍵或「決定」鍵按壓時，將檢索有效之事件管控器，若存在有效之事件管控器，則執行處理該事件管控器。其它情形則將忽略選單選擇之事件。
第一種使用者事件係藉「選單」鍵之操作而生成之選單呼叫事件。選單呼叫之事件一旦生成，則稱為全域事件管控器。全域事件管控器不受播放清單之影響，係常保有效之事件管控器。藉使用此功能，可安裝DVD之選單功能(標題再生中呼叫音效、字幕選單等，並於變更音效或字幕後由中斷處執行標題再生之功能等)。
播放清單中構成靜態腳本之單位之CELL係參照VOB(MPEG串流)之全部或一部分之再生區間而成者。CELL係以VOB內之再生區間作為開始、結束時刻之資訊之用。與各VOB成對之VOB管理資訊(VOBI)於內部包含對應資料之再生時刻之記錄位址之圖表資訊之時間對映(time map或TMAP)，而可藉該時間對映由VOB內(即作為對象之檔案「YYY. VOB」內)之讀出開始位址及結束位址導出前述之VOB之再生、結束時刻。另，時間對映之細節則留待後述。
(VOB之詳情) 第23圖係本實施例所使用之MPEG串流(VOB)之構造圖。
如第23圖所示，VOB係由複數之VOBU (video object unit)所構成。VOBU係以MPEG視訊流上所謂之GOP (group of pictures)為基準，作為包含音效資料之多工串流之一再生單位者。VOBU具有1.0秒以下之視訊再生時間，一般皆具有0.5秒程度之再生時間。
VOBU始端之TS封包(MPEG-2 transport stream packet)包含順序標頭、接續其後之GOP標頭與I畫面(intra-coded)，而可由該I畫面開始解碼。又，該VOBU始端之包含I畫面之始端之TS封包之位址(開始位址)與該開始位址至包含I畫面之最後之TS封包為止之位址(結束位址)，以及該I畫面之再生開始時刻(PTS)，皆由時間對映所管理。因此，時間對映之款目(entry)已附加於VOBU始端之各TS封包。
VOBU於內部包含視訊封包(V_PKT)與音訊封包(A_PKT)。各封包皆為188位元組，雖未圖示於第23圖，但各TS封包之前皆附加有與該TS封包相對之解碼器供給開始時刻之ATS (arrival time stamp)。
對各TS封包附加ATS，係因該TS串流之系統比率並非固定比率，而為可變比率。一般使系統比率為固定時，將插入稱為NULL封包之虛設之TS封包，但受限之記錄容量中記錄高畫質須適用可變比率，BD中則作為附有ATS之TS串流而記錄。
第24圖係顯示TS封包之構造者。
如第24圖所示，TS封包係由TS封包標頭、適用圖場、酬載部所構成。TS封包標頭中包含PID (packet identifier)，因此，可識別TS封包包含何種資訊。適用圖場則包含PCR (program clock reference)。PCR係解碼串流之機器之參考時脈(system time clock，稱為STC)之參照值。機器係典型以PCR之時間對系統串流進行多工解訊，並重建視訊串流等各種串流。酬載中則包含PES封包。
PES封包標頭包含DTS (decoding time stamp)與PTS (presentation time stamp)。DTS表示該PES封包中包含之畫面/音頻框之解碼時間，PTS則表示映像音效輸出等之表達時間。視訊資料及音訊資料等基本資料係自所謂PES封包酬載(PES packet payload)之封包(PES packet)之資料儲存領域之始端依序輸入者。PES封包標頭中亦記錄有可識別酬載內儲存之資料係何種串流之ID (stream_id)。
TS串流之詳情已由ISO/IEC13818-1所規定，BD之特徵則在對各TS封包附加ATS。
(VOB之交錯式記錄) 其次，參照第25及第26圖說明VOB檔之交錯式記錄。
第25圖上段係前述之播放器構造圖之一部分。如圖所示，BD磁碟上之資料可經光學讀取器判定為VOB(即MPEG串流)而加以輸入至磁軌緩衝區，若為PNG(即影像資料)則加以輸入至影像記憶體。
磁軌緩衝區係FIFO，已輸入之VOB之資料將依輸入次 序而送至多工解訊器。此時，各TS封包將依前述之ATS而由磁軌緩衝區抽出並經多工解訊器而將資料送至視訊處理器或音效處理器。另，若為影像資料，應描繪之影像係依表達控制器之指定決定。又，描繪時所使用之影像資料係字幕用影像資料時，將同時自影像記憶體加以刪除，但若為選單用之影像資料，則描繪該選單時將仍然留在影像記憶體內。此係因選單之描繪係依頼使用者之操作，而依據使用者之操作重示選單之一部分或置換為不同之影像，而使此時重示之部分之影像資料容易解碼之故。
第25圖下段係顯示BD磁碟上之VOB檔及PNG檔之交錯式記錄者。一般而言，ROM，諸如CD-ROM或DVD-ROM中，作為一連串之連續再生單位之AV資料係連續記錄者。此係因凡採連續記錄方式，驅動器即可依序讀出資料，並加以送至解碼器，若連續資料分離而散置於磁碟上，則將於各連續再生區間之間加入尋軌操作，此間將暫停資料之讀出，而可能造成資料之供給停止。BD亦同，雖宜於連續領域記錄VOB檔，但仍有與諸如字幕資料般記錄於VOB之映像資料同步而再生之資料，而與VOB檔相同，字幕資料亦必須藉某種方法而自BD磁碟讀出。
字幕資料之讀出方法之一，係於VOB之再生開始前一概地讀出字幕用之影像資料(PNG檔)之方法。然而，此時將需要大量之記憶體，而不實用。
因此，本發明將VOB檔分為若干磁段，並使用影像資料與交錯式記錄方式。第25圖下段係說明前述交錯式記錄 者。
適當地將VOB檔與影像資料交錯配置，即無須上述之大量之暫存記憶體，即可在必要之時間將影像資料儲存於影像記憶體中。然而，讀出影像資料時，VOB資料之讀入即當然停止。
第26圖係說明使用可解決上述問題之磁軌緩衝區之VOB資料連續供給模式者。
如以上之說明，VOB資料將暫存於磁軌緩衝區。對磁軌緩衝區之資料輸入率(Va)與來自磁軌緩衝區之資料輸出率(Vb)間若設有差(Va>Vb)，則繼續由BD磁碟進行資料之讀出，磁軌緩衝區之資料存量即不斷增加。
如第26圖之上段所示，VOB之一連續記錄領域係由邏輯位址之"a1"至"a2"為止。"a2"至"a3"間則記錄有影像資料，並係VOB資料之讀出無法進行之區間。
第26圖之下段係顯示磁軌緩衝區之內部者。橫軸表示時間，縱軸表示磁軌緩衝區內部所存之資料量。時刻"t1"表示開始VOB之一連續記錄領域之開始點"a1"之讀出之時刻。該時刻以後，磁軌緩衝區將開始依比率Va-Vb而儲存資料。該比率則無庸明言，係磁軌緩衝區之輸出入比率之差。時刻"t2"則為一連續記錄領域之結束點"a2"之資料之讀入時刻。即，時刻"t1"至"t2"間之比率Va-Vb可使磁軌緩衝區內之資料量增加，時刻"t2"之資料存量B(t2)則可由下式加以求出。
B(t2)=(Va-Vb)×(t2-t1)　　　(式1)
此後，影像資料將延續至BD磁碟上之位址"a3"為止，故對磁軌緩衝區之輸入為0，輸出比率之"-Vb"可使磁軌緩衝區內之資料量減少。此則維持至讀出位置"a3"為止，時刻上則至"t3"為止。
此處之重點在於，若時刻"t3"以前儲存於磁軌緩衝區之資料量為0，則將無可對解碼器供給之VOB資料，而可能使VOB之再生停止。然而，時刻"t3"時磁軌緩衝區中尚存有資料時，則可連續進行VOB之再生而不致停止。
上述條件可以下式表示。
B(t2)≧Vb×(t3-t2)　　　(式2)
即，僅須配置影像資料(非VOB資料)以符合式2即可。
(導覽資料構造) 以下參照第27～第33圖，說明BD之導覽資料(BD管理資訊)構造。
第27圖係顯示VOB管理資訊檔("YYY. VOBI")之內部構造者。
VOB管理資訊包含該VOB之串流屬性資訊(attribute)與時間對映。串流屬性則分為視訊屬性(video)、音訊屬性(audio#0~audio#m)。尤其，音訊流之VOB可同時包含複數之音訊流，故音訊串流數(number)可表示資料圖場之有無。
以下為視訊屬性(video)所具有之圖場與其等個別之可得值。
壓縮方式(coding): MPEG1 MPEG2 MPEG4 MPEG4-AVC (advanced video coding) 解析度(resolution): 1920×1080 1440×1080 1280×720 720×480 720×565 長寬顯示比(aspect): 4:3 16:9 幀頻(framerate): 60 59.94(60/1.001) 50 30 29.97(30/2.001) 25 24 23.976(24/1.001)
以下則為音訊屬性(audio)所具有之圖場與其等個別之可得值。
壓縮方式(coding): AC3 MPEG1 MPEG2 LPCM
通道數(ch): 1~8
語言屬性(language)： 時間對映(TMAP)係包含各VOBU之資訊之圖表，而包含前述VOB所具有之VOBU數(number)與各VOBU資訊(VOBU#1~VOBU#n)。各VOBU資訊係由VOBU始端TS封包(I畫面開始)之位址I_start、該I畫面之結束位址為止之偏移位址(I_end)及該I畫面之再生開始時刻(PTS)所構成。
另，I_end值係偏移值，即，亦可非為I畫面之大小，而為實際之I畫面之結束位址。
第28圖係說明VOBU資訊之詳情者。
一如周知，MPEG視訊流可為記錄高畫質而進行可變位元率壓縮，其再生時間與資料大小間並無單純之相關。反之，音效之壓縮規格之AC3則進行固定位元率之壓縮，故時間與位址之關係可由1次式求得。然而，MPEG視訊資料之各圖幀皆有固定之顯示時間，諸如NTSC之1圖幀設有1/29.97秒之顯示時間，各圖幀之壓縮後之資料大小將隨使用於圖特性及壓縮之之畫面類型(即所謂I/P/B畫面)而大幅改變。因此，MPEG視訊之時間與位址之關係無法藉一次式之形式表示。
當然，可對MPEG視訊資料進行多工轉換之MPEG系統串流(即VOB)亦無法藉一次式之形式表示時間與位址之關係。故而，VOB內之時間與位址之關係之聯結者係時間對映(TMAP)
如上所述，若接收某時刻資訊，則先檢索該時刻屬於何種VOBU(調查各VOBU之PTS)，再跳至於TMAP具有該時刻之前之PTS之VOBU(I_start所指定之位址)，而自VOBU始端之I畫面開始進行解碼，並由該時刻之畫面開始顯示。
以下，參照第29圖說明播放清單資訊("XXX. PL")之內部構造。
播放清單資訊係由圖格清單(celllist)與事件清單(eventlist)所構成。
圖格清單(celllist)係播放清單內之再生圖格順序，圖格將依本清單之記述次序而再生。圖格清單(celllist)之內容係圖格數(number)與各圖格資訊(cell#1~cell#n)。
圖格資訊(cell#)則包含VOB檔名(VOBname)、該VOB內之開始時刻(in)及結束時刻(out)、字幕表(subtitletable)。開始時刻(in)及結束時刻(out)分別以該VOB內之圖幀編號表示，並可使用前述之時間對映而取得再生所需之VOB資料之位址。
字幕表(subtitletable)係包含可與前述VOB同步再生之字幕資訊之圖表。字幕與音效同樣可有多種語言版本，字幕表(subtitletable)係由初始之資訊之語言數(number)與接續其後之各種語言之圖表(language#1~language#k)所構成。
各種語言之圖表(language#)包含語言資訊(lang)、個別顯示之字幕之字幕資訊數(number)、個別顯示之字幕之字幕資訊(speech#1~speech#j)，字幕資訊(speech#)則包含對應之影像資料檔名(name)、字幕顯示開始時刻(in)、字幕顯示結束時刻(out)及字幕之顯示位置(position)。
事件清單(eventlist)係定義有該播放清單內所發生之事件之圖表。事件清單在事件數(number)以外並由個別事件(event#1~event#m)所構成，個別(event#)則包含事件種類(type)、事件之ID(ID)、事件發生時刻(time)、有效期間(duration)。
第30圖係包含個別播放清單之事件管控器(時間事件與選單選擇用之使用者事件)之事件管控器表("XXX. PROG")。
事件管控器表包含已定義之事件管控器/程式數(number)與個別事件管控器/程式(program#1~program#n)。各事件管控器/程式(program#)內之記述則包含事件管控器開始之定義(<event_handler>旗標)以及與前述之事件ID成對之事件管控器之ID(ID)，然後前述程式亦記述於function之後之括弧“{“與”}”之間。前述之"XXX. PL"之事件清單(eventlist)中儲存之事件(event#1~event#m)則可使用"XXX. PROG"之事件管控器之ID (ID)來特定。
以下，參照第31圖說明有關BD磁碟整體之資訊("BD. INFO")之內部構造。
BD磁碟之整體資訊包含標題清單(titlelist)、全域事件 用之事件清單(eventlist)。
標題清單(titlelist)包含磁碟內之標題數(number)、接續其後之各標題資訊(title#1~title#n)。個別標題資訊(title#)則包含標題所含之播放清單之圖表(PLTable)、標題內之章節清單(chapterlist)。播放清單之圖表(PLTable)則包含標題內之播放清單數(number)及播放清單名(name)，即，播放清單之檔名。
章節清單(chapterlist)包含前述標題所含之章節數(number)及個別之章節資訊(chapter#1~chapter#n)，個別章節資訊(chapter#)則包含前述章節所含之圖格之圖表(celltable)，圖格之圖表(celltable)則包含圖格數(number)、個別圖格之款目資訊(cellentry#1~cellentry#k)。圖格之款目資訊(cellentry#1~cellentry#k)則包含含有前述圖格之播放清單名與播放清單內之圖格編號。
事件清單(eventlist)包含全域事件數(number)與個別全域事件之資訊。在此應注意者，係初始定義之全域事件稱為初始事件(firstevent)，其係將BD磁碟插入播放器時，初始呼叫之事件。全域事件用之事件資訊則僅包含事件類型(type)與事件之ID (ID)。
第32圖係全域事件管控器之程式之圖表("BD. PROG")。
本圖表內容與第30圖已說明之事件管控器圖表相同。
(事件發生之機制) 以下，參照第33～第35圖說明事件發生之機制。
第33圖係時間事件之例。
如前所述，時間事件係以播放清單資訊("XXX. PL")之事件清單(eventlist)加以定義者。定義為時間事件之事件，亦即事件類型(type)為"timeevent"時，若事件生成時刻("t1")屆至，具有ID"Ex1"之時間事件即可自腳本處理器送至程式處理器。程式處理器則可搜尋具有事件ID"Ex1"之事件管控器，並執行處理對象之事件管控器。舉例言之，本實施例中，可進行2個按鍵影像之描繪。
第34圖係進行選單操作之使用者事件之例。
一如前述，進行選單操作之使用者事件亦以播放清單資訊("XXX. PL")之事件清單(eventlist)加以定義。定義為使用者事件之事件，即，事件類型(type)為"Userevent"時，若事件生成時刻("t1")屆至，則該使用者事件為陰性。此時，事件本身尚未生成。該事件可於有效期間資訊(duration)所記錄之期間內維持陰性狀態。
如第34圖所示，使用者按壓遙控鍵之「上」、「下」、「左」、「右」鍵或「決定」鍵時，將先藉UOP管理部生成UOP事件，再送至程式處理器。程式處理器則對腳本處理器送入UOP事件，腳本處理器接收UOP事件時即檢索是否存在有效之使用者事件，若存在作為對象之使用者事件，則生成使用者事件，並送入程式處理器。程式處理器則搜尋具有事件ID"Ev1"之事件管控器，並執行處理對象之事件管控器。舉例言之，本實施例中，可開始再生播放清單#2。
生成之使用者事件並不包含使用者所按下之遙控鍵為 何之資訊。已選擇之遙控鍵之資訊係藉UOP事件告知程式處理器，而記錄於假設播放器所包含之暫存器SPRM (8)中。事件管控器之程式則可調查該暫存器之值而執行分支處理。
第35圖係全域事件之例。 如前所述，全域事件係以有關BD磁碟整體之資訊("BD. INFO")之事件清單(eventlist)定義者。定義為全域事件之事件，即，事件類型(type)為"globalevent"時，僅於使用者有發生遙控鍵操作時乃生成事件。
使用者按下”選單”時，將先藉UOP管理部生成UOP事件，再傳送至程式處理器。程式處理器則對腳器送入UOP事件，腳本處理器則生成相符之全域事件，並傳送至程式處理器。程式處理器則搜尋具有事件ID"menu"之事件管控器，再執行處理對象之事件管控器。舉例言之，本實施例中，已開始再生播放清單#3。
本實施例中，雖僅稱”選單”鍵，但亦可如DVD段具有複數之選單鍵。各選單鍵之對應ID則可藉個別定義而形成對應。
(假設播放機器) 以下，參照第36圖說明程式處理器之功能構造。
程式處理器係於內部具有假設播放機器之處理模組。假設播放機器係定義為BD之功能模組，並不需要各BD播放器之安裝。即，可保證在任何BD播放器上皆可執行相同功能。
假設播放機器大致具備2種功能。即，程式設計函數與播放器變數(暫存器)。程式設計函數係以JAVA(登錄商標)script為基礎，而定義以下之功能為BD固有函數者。
連結函數：停止目前之再生，而開始指定之播放清單、圖格、時刻之再生。
Link (PL#,Cell#,time) PL#：播放清單名 Cell#：圖格編號 Time：圖格內之再生開始時刻 PNG描繪函數：於影像平面描繪指定PNG資料 Draw (file,X,Y) File:PNG檔名 X:X座標位置 Y:Y座標位置 影像平面清除函數：清除影像平面之指定領域 Clear (X,Y,W,H) X:X座標位置 Y:Y座標位置 W:X方向寬 H:Y方向寬
播放器變數包含顯示播放器狀態之系統參數(SPRM)與作一般用途使用之一般參數(GPRM)。
第37圖係系統參數(SPRM)之一覽表。
SPRM(0)：語言碼 SPRM(1)：音效流編號 SPRM(2)：字幕流編號 SPRM(3)：角度編號 SPRM(4)：標題編號 SPRM(5)：章節編號 SPRM(6)：程式編號 SPRM(7)：圖格編號 SPRM(8)：選擇鍵資訊 SPRM(9)：導向定時器 SPRM(10)：再生時刻資訊 SPRM(11)：卡拉OK用混合模式 SPRM(12)：家長分級用國家資訊 SPRM(13)：家長分級 SPRM(14)：播放器設定值(視訊) SPRM(15)：播放器設定值(音訊) SPRM(16)：音效流用語言碼 SPRM(17)：音效流用語言碼(擴充) SPRM(18)：字幕流用語言碼 SPRM(19)：字幕流用語言碼(擴充) SPRM(20)：播放器區碼 SPRM(21)：預備 SPRM(22)：預備 SPRM(23)：再生狀態 SPRM(24)：預備 SPRM(25)：預備 SPRM(26)：預備 SPRM(27)：預備 SPRM(28)：預備 SPRM(29)：預備 SPRM(30)：預備 SPRM(31)：預備
另，本實施例中，假設播放器之程式設計函數係以JAVA(登錄商標)script為基礎，但亦可不使用JAVA(登錄商標)script，而使用UNIX(登錄商標)OS等所使用之B-SHELL、erl script等其它程式設計函數，換言之，本發明並不限於使用JAVA(登錄商標)script。
(程式之例) 第38及第39圖係事件管控器之程式之例。
第38圖係具有2個選擇鍵之選單之例。
於圖格(playlist#'.cell#1)始端可使用時間事件而執行第38圖左側之程式。在此，初始係對一般參數之一GPRM(0)設定"1"。GPRM(0)係於該程式中用以識別已選擇之按鍵者。初始之狀態下，選擇配置於左側之按鍵1係設定為初始值。
其次，使用作為描繪函數之DRAW分別就按鍵1、按鍵2進行PNG之描繪。按鍵1係以座標(10,200)為起點(左端)而描繪PNG影像"1black.png"。按鍵2則以座標(330,200)為起點(左端)而描繪PNG影像"2white.png"。
又，本圖格最後使用時間事件執行第38圖右側之程式。在此，係使用LINK函數而指定由該圖格之始端再度再生。
第39圖係選單選擇之使用者事件之事件管控器之例。
「左」鍵、「右」鍵、「決定」鍵之任一遙控鍵受按壓時，分別對應之程式已寫入於事件管控器。使用者按壓遙控鍵時，則如第34圖之說明，將生成使用者事件，並啟動第39圖之事件管控器。本事件管控器可使用可識別選擇按鍵之GPRM(0)之值與可識別已選擇之遙控鍵之SPRM(8)而進行分支處理。
條件1)已選按鍵1，且，選擇鍵為「右」鍵
將GPRM(0)重設為2，並使選擇狀庇下之按鍵改為右鍵2。
分別改寫按鍵1、按鍵2之影像。
條件2)選擇鍵為「決定(OK)」時，已選按鍵1
開始再生播放清單#2。
條件3)選擇鍵為「決定(OK)」時，已選按鍵2
開始再生播放清單#3。
如上所述，即可進行執行處理。
(播放器處理流程)
以下，參照第40~第43圖說明播放器之處理流程。
第40圖係至AV再生為止之基本處理流程。
如第40a圖所示，一旦插入BD磁碟(S101)，則BD播放器將讀入BD.INFO檔並解析之(S102)，再讀入BD.PROG(S103)。BD.INFO及BD.PROG皆暫存於管理資訊 記錄記憶體中，而可藉腳本處理器加以解析。
接著，腳本處理器則依BD.INFO檔內之初始事件(firstevent)資訊，生成初始事件(S104)。生成之初始事件則為程式處理器所接收，而執行處理對應該事件之事件管控器(S105)。
對應初始事件之事件管控器可期待記錄有初始應再生之播放清單資訊。假定，未指示播放清單再生，則如第40b圖所示，播放器將不進行再生，而僅等待接收使用者事件(S201)。BD播放器一旦接收來自使用者之遙控操作，則UOP管理部將對程式處理器送入UOP事件(S202)。
程式處理器則判別UOP事件是否為選單鍵(S203)，若為選單鍵，則對腳本處理器送入UOP事件，腳本處理器則生成使用者事件(S204)。程式處理器則執行處理對應已生成之使用者事件之事件管控器(S205)。
第41圖係PL再生開始至VOB再生開始為止之處理流程。
如前所述，初始事件管控器或全域事件管控器可開始再生播放清單(S301)。腳本處理器則進行播放清單資訊”XXX.PL”之讀入與解析(S302)，以及對應播放清單之程式資訊”XXX.PROG”之讀入(S303)，以作為再生對象之播放清單再生所需之資訊。其次，腳本處理器將依據播放清單中已款目之圖格資訊指示圖格之再生(S304)。圖格再生意指由腳本處理器向表達控制器提出要求，而令表達控制器開始AV再生(S305)。
一旦開始再生AV(S401)，則表達控制器將讀入並解析對應再生圖格之VOB資訊檔(YYY.VOBI)(S402)。表達控制器並將使用時間對映而指定開始再生之VOBU與其位址，並對驅動控制器指示讀出位址，驅動控制器則讀出作為對象之VOB資料(S403)，再朝解碼器送入VOB資料而開始再生(S404)。
VOB再生將持續至該VOB之再生區間結束為止(S405)，一旦結束，即續行次一圖格再生開始步驟S304。若無次一圖格，則停止再生(S406)。
第42圖係AV再生開始後之事件處理流程。
BD播放器係事件驅動型之播放器機型。一旦開始再生播放清單，即分別啟動時間事件類、使用者事件類、字幕顯示類之事件處理過程，且平行地執行事件處理。
S500類之處理(第42a圖)係時間事件類之處理流程。
開始再生播放清單後(S501)，則經確認播放清單再生是否結束之步驟(S502)，再由腳本處理器確認是否已為時間事件發生時刻(S503)。時間事件發生時刻屆至時，腳本處理器則生成時間事件(S504)，再由程式處理器接收時間事件而執行處理事件管控器(S505)。
步驟S503中若未屆至時間事件發生時刻，或，步驟S505中在事件管控器執行處理後，將再度返回步驟S502，而重複進行上述之處理。又，步驟S502中一旦確認播放清單再生已結束，則強制結束時間事件類之處理。
S600類之處理(第42b圖)則係使用者事件類之處理流程。
開始再生播放清單後(S601)，再經播放清單再生結束確認步驟(S602)，而續行UOP接收確認步驟之處理(S603)。若已接收UOP，則UOP管理部將生成UOP事件(S604)，已接收UOP事件之程式處理器則確認UOP事件是否為選單呼叫(S605)，若是，則程式處理器將生成事件於腳本處理器(S607)，程式處理器並將執行處理事件管控器(S608)。
步驟S605中若判斷UOP事件並非選單呼叫，則顯示UOP事件係方向鍵或「決定」鍵之事件。此時，由腳本處理器判斷現在時刻是否在使用者事件有效期間內(S606)，若是，則腳本處理器將生成使用者事件(S607)，程式處理器則執行處理對象之事件管控器(S608)。
步驟S603中若未接收UOP，且步驟S606中現在時刻非於使用者事件有效期間內，或，步驟S608中在事件管控器執行處理後，將再度返回步驟S602，而重複進行上述之處理。又，步驟S602中一旦確認播放清單再生已結束，則強制結束使用者事件類之處理。
第43圖係字幕處理之流程。
開始再生播放清單後(S701)，則經播放清單再生結束確認步驟(S702)，而續行字幕描繪開始時刻確認步驟(S703)。字幕描繪開始時刻屆至時，腳本處理器將對表達控制器指示字幕描繪，表達控制器則對影像處理器指示字幕描繪(S704)。步驟S703中若判斷並非字幕描繪開始時刻， 則確認是否字幕描繪結束時刻(S705)。若判斷為字幕描繪結束時刻，則表達控制器即對影像處理器指示消去字幕，而由影像處理器消去描繪中之字幕(S706)。
字幕描繪步驟S704結束後、字幕消去步驟S706結束後或字幕顯示結束時刻確認步驟S705中，若判斷並非前述時刻，則返回步驟S702，以重複進行上述之處理。又，步驟S702中一旦確認播放清單再生已結束，則強制結束字幕顯示類之處理。
(第2實施例)
其次，就混合有不同編碼方式(或不同屬性之動態影像)之串流之第2例，亦即，混合有子母畫面中藉亮度鍵進行透明處理時所使用之亮度之閾值(動態影像之屬性)之例，作為本發明第2實施例，而加以說明。
本實施例中，將說明BD-ROM等套裝軟體媒體等中，進行再生子母畫面時，可切換顯示是否進行透明處理之亮度值之閾值而消除再生動作之延遲之記錄媒體、多工方法、多工裝置及其再生裝置。
本發明之記錄媒體係於管理資訊中儲存有實施亮度鍵所控制之透明處理之串流內之連續再生單位中，顯示影像時判定是否進行透明處理之亮度值之閾值已受限或顯示已受限之資訊者。
本實施例之記錄媒體、多工方法、多工裝置及其再生裝置之動作與構成要素之基本部分與第1實施例之記錄媒體之資料構造、多工方法或再生裝置相同，故以下僅就本 實施例之特徵部分加以說明。
第44圖係顯示本實施例之記錄媒體中儲存之串流之亮度鍵之閾值之例者。第44圖之例中，由於無縫而連接之各區間之亮度鍵之閾值全部固定為20，故不致因亮度鍵之閾值切換而發生延遲，而可實現無縫之連接。
又，本實施例之記錄媒體中，無縫而連接之再生區間之亮度鍵之相關資訊係儲存於管理資訊中。第45圖係將亮度鍵之相關資訊作為子母畫面之背景資訊之一部分而儲存之例。第45a圖係顯示表示亮度鍵是否有效之旗標資訊Luma_key_valid者。亮度鍵若為有效(Luma_key_valid為1)，則依據亮度鍵之閾值而對影像進行透明處理而加以顯示，若亮度鍵並非有效者(Luma_key_valid為0)，則不予透明處理即加以顯示。如圖所示，無縫而連接之各區間之Luma_key_valid之值係固定者。亦即，無縫而連接之各再生區間之亮度鍵是否有效係固定為一種。第45b圖係顯示適用亮度鍵時，可決定進行透明處理而顯示之亮度值之閾值Luma_key_upper_limit者。舉例言之，若Luma_key_upper_limit為20，則亮度值20以下之像素將透明顯示，亮度值超過20之像素則不透明顯示。如圖所示，無縫而連接之各再生區間之Luma_key_upper_limit值皆相同。在此，Luma_key_upper_limit之資訊在亮度鍵有效時將被參照，故亦可僅於亮度鍵有效時，設定顯示亮度鍵之閾值之資訊。
實施亮度鍵所控制之透明處理之播放器中，若保證亮度鍵之閾值為固定，則無須亮度鍵之閾值處理中之閾值變 更，故宜可預先判定亮度鍵之閾值為固定。第46圖係說明用以保證亮度鍵之閾值為固定之旗標者。第46圖之例中，顯示亮度鍵之閾值為固定之旗標資訊Luma_key_fixed_flag係作為各再生區間之屬性資訊之一部分而儲存者。Luma_key_fixed_flag顯示前述再生區間之亮度鍵之閾值與先前之再生區間之亮度鍵之閾值是否相同。第46a圖係顯示亮度鍵之閾值為固定(Luma_key_fixed_flag為1)之例者。該例中，各再生區間係無縫而連接，並保證該等再生區間之亮度鍵之閾值為固定。第46b圖係未保證亮度鍵之閾值為固定(Luma_key_fixed_flag為0)之例。各再生區間並非無縫之連接對象，各再生區間之亮度鍵之閾值係可變者。另，Luma_key_fixed_flag可對連續再生之區間整體設定，亦可對構成連續再生區間之各再生區間設定。進而，就各再生區間設定時，各再生區間顯示播放項目所指定之再生區間，而亦可將再生區間內之亮度鍵之閾值是否固定之資訊儲存於以播放項目為單位而設定之再生資訊中。在此，亮度鍵之閾值是否固定亦可與顯示現時播放項目與先前之播放項目所指定之再生區間是否無縫而連接之資訊等兼用，而匯整於1旗標內。又，顯示亮度鍵是否適用之資訊亦可同樣進行儲存。
在此，無縫之連接已有與第1實施例相同之種類，但亦可包含可與不同角度之串流無縫而連接之無縫多角度等方式。無縫多角度方式下，各角度之亮度鍵可為有效或非有效，或亮度鍵之閾值皆相同。又，無縫之連接之種類已有 以下複數種類，即，(1)連接之前後之MPEG-2系統規格之STC (system time clock)等參考時脈之值並不連續之情形(類型1之無縫之連接)，以及(2)連接之前後之MPEG-2系統規格之STC (system time clock)等參考時脈之值有連續之情形(類型2之無縫之連接)等種類。因此，若可藉顯示是否為類型1之無縫之連接，或為類型2之無縫之連接與否之資訊，而顯示無縫連接之事實，則藉該等資訊，即可顯示連續之2個再生區間之亮度鍵之閾值為固定。
第47圖係說明子母畫面適用亮度鍵之例者。子母畫面中，稱為主視訊之主映像上將重疊顯示稱為副視訊之副映像。此時，若對副視訊之亮度鍵所控制之透明處理有效，則實施透明處理，若無效，則不實施透明處理。第47a圖係顯示視訊之顯示平面者，如第47b圖與第47c圖所示，平面1係用以顯示主視訊者，平面2係用以顯示副視訊者。如第47d圖所示，將對主視訊重疊顯示副視訊。本例中，第47c圖所示之塗黑部分係藉亮度鍵所控制之透明處理而透明顯示。副視訊雖可切換複數之串流，但第47e、47f、47g圖中，例示有存在2個副視訊之情形，第47e圖中顯示有主視訊之各再生區間之顯示之時間序列，第47f圖中顯示有第1副視訊之各再生區間之顯示時間序列，第47g圖中顯示有第2副視訊之各再生區間之顯示時間序列。舉例言之，第47f圖中區間1-1與區間1-2一旦無縫而連接(圖中(1))，則區間1-1與區間1-2中亮度鍵所控制之透明處理是否有效，以及有效時之亮度鍵之閾值將分別改為相同。又，第1副視訊之區間1-2 至第2副視訊之區間2-3之連接若為無縫之連接(圖中(2))，則區間1-2與區間2-3之亮度鍵之相關資訊亦將相同。進而，為確保各再生區間之連接部分以外之連接(圖中(3))之連續性，亦可使區間1-3與區間2-3之間之亮度鍵之相關資訊相同。
其次，主視訊與副視訊將多工轉換而記錄於傳輸流等中，而第48圖則顯示多工方法。第48a圖係將主視訊與副視訊多工轉換成同一傳輸流之例，第48b圖係將主視訊與副視訊多工轉換至不同傳輸流之例。如上所述，主視訊與副視訊可多工成為同一傳輸流，亦可多工成為不同傳輸流。
第49圖係顯示用以作成本實施例之記錄媒體中儲存之多工資料之多工方法之動作之流程圖。本實施例之多工方法包含有決定是否可切換亮度鍵為有效與否之單位之步驟(S5301)、依據已決定之單位而編碼片段之動態影像之步驟(S5302)、就預定之各再生區間生成有關亮度鍵之旗標資訊之步驟(S5304)及生成包含步驟S5304中已生成之有關亮度鍵之旗標資訊之管理資訊之步驟(S5305)，而與習知之多工方法不同。
亦即，本實施例之多工方法係可編碼包含第1動態影像與用以重疊於第1動態影像上之第2動態影像之映像流之動態影像編碼方法，其可決定映像流中作為部分區間之組合且為連續再生對象之區間之連續再生區間，並可編碼各再生區間之映像流，以使前述連續再生區間內亮度鍵之有效與否固定，或亮度鍵所控制之透明處理所使用之閾值之任 一方或雙方所定義之亮度鍵屬性固定(S5301~S5303)，又，可就單一或複數之各再生區間生成前述亮度鍵屬性(S5304)，且，可作成包含顯示連續再生區間之前述亮度鍵屬性為固定之旗標資訊之管理資訊(S5305)。以下，則詳細說明該等步驟。
首先，步驟S5301中，將決定可切換是否使亮度鍵有效之單位。即，決定可以連續再生單位、片段或隨機讀取單位之任一單位進行切換。接著，步驟S5302中，則依據步驟S5301中已決定之切換單位而編碼片段之資料。另，步驟S5301中，亦可就是否切換亮度鍵之閾值進行判定，並依據判定結果，於步驟S5302中編碼片段之資料。步驟S5303中，則判定是否已結束最終片段之編碼，若是，則續行至步驟S5304，若否，則返回步驟S5302而重複進行片段之編碼。步驟S5304中，則就預定之各再生區間作成有關亮度鍵之屬性資訊，再續行至步驟S5305。預定之再生區間則為播放清單所指定之再生區間，但亦可為片段或隨機讀取單位。步驟S5305中，則作成包含步驟S5304中已生成之屬性資訊之管理資訊，並就管理資訊與片段之資料加以多工轉換並予輸出。在此，亦可於管理資訊中包含連結之2個再生區間是否可以無縫而連接之資訊。無縫而連接之各再生區間之亮度鍵是否有效係屬固定，故步驟S5301中，將決定無縫而連接之各再生區間之亮度鍵是否有效係不可切換者。進而，步驟S5302中，在無縫而連接之各再生區間之亮度鍵為有效時，將使進行亮度鍵之透明處理時之閾值為相同者而進行 編碼。另，步驟S5301中，決定可切換亮度鍵是否有效之單位時之詳細動作，則可適用與第14圖所示之第1實施例之多工方法相同之動作。
第50圖係顯示第49圖中之旗標資訊生成步驟(S5304)及管理資訊生成步驟(S5305)之具體例之流程圖。步驟S5304a中，將判定業經編碼之片段是否為判定為可切換亮度鍵是否有效之片段，若是，則生成顯示亮度鍵是否有效並非固定之旗標資訊，並與該片段形成對應而將旗標資訊儲存於記憶體之工作領域(S5304b)，若否，則生成顯示亮度鍵是否有效為固定之旗標資訊，並與該片段形成對應而將旗標資訊儲存於記憶體之工作領域(S5304c)。在此，旗標資訊包含顯示播放清單所指定之再生區間等預定之各再生區間之亮度鍵是否有效之資訊，以及亮度鍵為有效時之亮度鍵之閾值。步驟S5304d中，將判定前述片段是否為業經編碼之最後片段，若非，則重複進行上述S5304a~S5304c，若是，則續行至步驟S5304e。步驟S5304e中，則生成包含各播放清單之亮度鍵之相關資訊之子母畫面用之背景資訊，並於步驟S5305f中，生成包含子母畫面用之背景資訊、播放清單、隨機讀取所需之資訊等之管理資訊。播放清單則包含顯示連續之2個再生區間是否可無縫而連接，以及無縫而連接之類型之資訊。
另，管理資訊內包含有用以識別副視訊之傳輸流或編碼串流之索引資訊，故亦可僅對藉索引編號而顯示其為副視訊之傳輸流或編碼串流，於管理資訊內包含亮度鍵之相 關資訊。
又，以上雖已說明子母畫面動作之副視訊之亮度鍵所控制之透明處理，但本發明並不僅限於此，若存在複數之顯示平面，則可全面適用於預定之平面之前方顯示之平面之影像之顯示。舉例言之，可於靜態影像或電腦製圖等上重疊顯示靜態影像或動態影像。進而，亦可對顯示於不同顯示平面之複數影像實施亮度鍵所控制之透明處理。
又，亦可對應亮度鍵之閾值等，而以半透明或0與1以外之透光率進行顯示。
子母畫面中，亦可限制與亮度鍵所控制之透明處理不同之再生動作。舉例言之，進行無縫而連接之再生區間之間之高速再生或逆向再生等特殊再生時，亦可使副視訊是否顯示為固定方式。即，特殊再生時，可維持顯示副視訊，或，不予顯示，而固定於其中之一種方式。又，特殊再生時，若顯示副視訊，則可固定亮度鍵之閾值，以使亮度鍵所控制之透明處理與特殊再生形成相關。此時，亦可藉顯示特殊再生時之副視訊之顯示與否之旗標資訊之值為固定，或顯示前述旗標值為固定者之旗標資訊等之旗標資訊，而保證子母畫面之特殊再生時之限制。
另，主視訊與副視訊之編碼方式可為諸如MPEG-4 AVC、MPEG-2視訊、VC-1等。在此，若主視訊採用MPEG-4 AVC，則副視訊可採亦為MPEG-4 AVC之方式等，為減少播放器之應組合，亦可限制主視訊與副視訊之編碼方式之組合。
第51圖係顯示用以實施本實施例之多工方法之多工裝置5200之構造之功能區圖。多工裝置5200係可編碼包含第1動態影像與用以重疊於第1動態影像上之第2動態影像之映像流之動態影像編碼裝置之一例，包含有切換單位決定部5201、切換資訊生成部5202、編碼部5203、系統多工部5204、管理資訊作成部5205、結合部5206。在此，重疊時，第2動態影像中僅有具有超過預定閾值之亮度之影像領域可重疊於第1動態影像上。以下，則就各部動作加以說明。
切換單位決定部5201係可決定映像流中作為部分區間之組合且為連續再生之對象之區間之連續再生區間之處理部，在此，將決定可切換亮度鍵之單位，並朝切換資訊生成部5202及編碼部5203輸入已決定之切換單位Unit2。切換單位則可為預先設定者，或由外部設定者。
切換資訊生成部5202可依據切換單位Unit2而生成顯示播放清單所指定之各再生單位之亮度鍵之屬性資訊之亮度鍵資訊LumaInf2，並加以輸入至管理資訊作成部5205。舉例言之，可生成顯示連續再生區間內之上述閾值為固定之旗標資訊。
另，切換資訊生成部5202可生成用以指定重疊時之各種顯示處理之複數之顯示屬性資訊，但上述複數之顯示屬性資訊之生成時，須使複數之顯示屬性資訊中構成連續再生區間之複數之部分區間中可切換內容之顯示屬性資訊之個數為預定之一定值以下。具體而言，如第52圖所示，切換資訊生成部5202可生成(i)顯示上述閾值，即，適用亮度 鍵時透光率視為1之亮度值之閾值在先前之再生區間與現時之再生區間內是否相同(1)或不同(0)之旗標，或亮度鍵之閾值，(ii)顯示對主視訊影像重疊之副視訊影像之顯示位置在先前之再生區間與現時之再生區間內是否相同(1)或不同(0)之旗標，或顯示位置之座標資訊，以及(iii)顯示對主視訊影像重疊之副視訊影像之縮放(放大率)在先前之再生區間與現時之再生區間內是否相同(1)或不同(0)之旗標，或用以指定縮放方法之資訊等之顯示屬性資訊，作為子母畫面之背景資訊，但生成上述複數之顯示屬性資訊時，應使複數之顯示屬性資訊中可切換之顯示屬性資訊之個數為預定之一定值(諸如2個)以下。藉上述限制，即可保證連續再生區間之可切換數值之顯示屬性資訊之個數控制在一定數量以下，以減輕再生裝置之切換處理所導致之處理負擔。
編碼部5203係可編碼構成連續再生區間之複數之部分區間之第1及第2動態影像之處理部，而可符合切換單位決定部5201已決定之連續再生區間之上述閾值不改變之限制，在此，可編碼各片段之資料而符合切換單位Unit2之限制，並對系統多工部5204輸入編碼資料Cdata2。具體而言，編碼部5203可修正(乘以係數，或加上偏移量)構成第2動態影像之像素之亮度值，以使連續再生區間之第2動態影像中用於重疊之影像領域之亮度超過上述閾值，且使不重疊(實施透明處理)之影像領域之亮度在上述閾值以下。
此外，編碼部5203並不限於切換單位決定部5201已決定之連續再生區間，而亦可就依解碼器模式而無縫連接之 複數之部分區間編碼複數部分區間之第1及第2動態影像，而符合不改變上述閾值之限制。亦即，上述之解碼器模式下，已規定2個部分區間應無縫而連接之情形，故上述2個部分區間宜預先編碼第1及第2動態影像，以符合不改變上述閾值之限制。
系統多工部5204可就編碼資料Cdata2進行系統多工，並對管理資訊作成部5205輸入串流資訊StrInf2，並對結合部5206輸入多工資料Mdata2。BD-ROM中之系統多工方法係採用稱為資源封包，對MPEG-2之傳輸流附加4位元組之標頭之方式。又，串流資訊StrInf2則包含時間對映等用以生成有關多工資料Mdata2之管理資訊之資訊。另，系統多工部5204亦可進行多工轉換，以使構成連續再生區間之複數之部分區間可藉傳輸流之封包記號而被特定。藉此，即可藉封包記號特定上述閾值為固定之片段。
管理資訊作成部5205係可依據來自切換資訊生成部5202之指示，作成包含顯示連續再生區間之上述閾值為固定之旗標資訊及上述顯示屬性資訊之管理資訊之處理部之一例，在此，可生成包含依據串流資訊StrInf2而生成之時間對映及亮度鍵資訊LumaInf2等之管理資訊CtrlInf2，並加以輸入至結合部5206。
結合部5206係可結合已於編碼部5203中編碼之第1及第2動態影像與管理資訊作成部5205所作成之管理資訊而加以輸出之處理部，在此，可結合管理資訊CtrlInf2與多工資料Mdata2而構成記錄資料Dout2，並加以輸出。
具有以上構造之多工裝置5200並可進行第49、50圖所示之流程圖之多工動作，結果則可生成第44~48圖所示之管理資訊及編碼串流。
第53圖係顯示該多工裝置5200所生成之管理資訊之資料構造者。第53a圖係顯示管理資訊之一之播放清單之資料要素者，第53b圖係顯示無縫連接(connection_condition=5)之再生區間之播放清單之例。多工裝置5200則如第53a圖所示，可作成「播放項目」、「次播放項目」及「子母畫面之背景資訊」作為播放清單。在此，如第53b圖所示，「播放項目」顯示主視訊之各再生區間之資訊(片段之再生開始時刻與再生結束時刻等)及再生區間之間之連接條件等，「次播放項目」則顯示副視訊之各再生區間之資訊(片段之再生開始時刻與再生結束時刻等)及再生區間之間之連接條件等，「子母畫面之背景資訊」則顯示再生子母畫面時之副視訊之顯示屬性資訊(亮度鍵、顯示位置、縮放等)。另，對應播放項目及次播放項目之主視訊之片段可藉播放項目之索引編號而形成相關。
如上所述，多工裝置5200可生成顯示上述閾值為固定之旗標資訊，作為構成連續再生區間之複數之部分區間(圖中之「再生區間」)個別所對應之再生資訊(圖中之「背景資訊」)。具體而言，可生成上述旗標資訊作為播放清單所包含之播放項目所對應之再生資訊(圖中之「背景資訊」)。
另，以編輯工具等作成資料時，雖可能以個別裝置進行編碼資料之生成與系統多工或管理資訊之作成，但即便如此，各裝置之動作僅須與多工裝置5200之各部相同即可。
又，該多工裝置5200不僅可適用作為用以生成編碼串流之動態影像編碼裝置，亦可適用作為可對BD等光碟、SD (secure digital)卡等快閃記憶體、或硬碟等記錄媒體記錄編碼串流之動態影像記錄裝置。因此，多工裝置5200所具備之輸出段之結合部5206具有結合已於編碼部5203編碼後之第1及第2動態影像與管理資訊作成部5205所作成之管理資訊並加以記錄於記錄媒體之記錄功能即可。上述之動態影像記錄裝置(或動態影像記錄方法)即可作成本說明書所揭露之記錄媒體。
第54圖係顯示再生本實施例之記錄媒體中儲存之多工資料之播放器(動態影像再生裝置)中，進行再生區間之切換時，實施亮度鍵所控制之透明處理之動作之流程圖。
首先，步驟S5401中，播放器將判定播放項目所指定之現時之再生區間與次一再生區間是否無縫而連接，若是，則續行至步驟S5405，若否，則續行至步驟S5402。具體之判斷例如下，即，播放器可取得對應映像流之管理資訊，並判斷所取得之管理資訊是否包含顯示上述閾值為固定之旗標資訊(S5401)。若是，則判斷現時再生區間與次一再生區間係無縫而連接者(S5401為YES)，若否，則判斷現時再生區間與次一再生區間非無縫而連接者(S5401為NO)。
步驟S5402中，播放器可判定次一再生區間之亮度鍵是否有效，若是，則續行至步驟S5403，若否，則續行至步驟S5406。步驟S5403中，將取得亮度鍵之閾值，步驟S5404 中，則依據步驟S5403中已取得之亮度鍵之關值而對副視訊實施透明處理。
步驟S5405中，播放器可依據與現時之再生區間相同之條件(上述閾值同一)而對副視訊實施透明處理。具體而言，係對副視訊中亮度為上述閾值以下之像素實施完全透明之處理。此時，若現時之再生區間之亮度鍵非為有效者，則不對副視訊實施透明處理。
步驟S5406中，播放器若判定步驟S5404或步驟S5405之輸出結果，或者步驟S5402之亮度鍵並非有效者，則於主視訊上重疊顯示未實施透明處理之副視訊之解碼結果。
另，第54圖已說明之動作可藉再生第1實施例之第20圖及第21圖已說明之BD磁碟之播放器而實現。舉例言之，可於第20圖之表達處理部208進行亮度鍵之透明處理。
又，播放器亦可依據預定之再生順序而決定再生之播放項目之順序。舉例言之，連續再生複數播放項目時，可優先選擇亮度鍵之閾值為一定之播放項目。此時，若由使用者藉遙控動作而要求特定項目之再生，則亦可連續再生亮度鍵之閾值不同之播放項目。進而，本第2實施例之多工方法及多工裝置亦可使依預定之再生順序連續再生之播放項目間之亮度鍵之閾值為一定。在此，1個播放項目係對應1個再生單位。
(第3實施例)
進而，可藉將可實現上述各實施例所示之記錄媒體、其再生方法及記錄方法之程式記錄於軟碟等記錄媒體中， 而以獨立之電腦系統簡易實現上述各實施例所示之處理。
第55A~55C圖係使用軟碟等記錄媒體中所記錄之程式而藉電腦系統實施上述各實施例之再生方法及記錄方法之說明圖。
第55B圖係顯示軟碟之正面外觀、截面構造及軟碟者，第55A圖係顯示作為記錄媒體本體之軟碟之物理格式之例者。軟碟FD內設於外殼F內，該磁碟之表面上形成有同心圓狀之自外周朝內周而形成之複數磁軌Tr，各磁軌皆朝角度方向分割為16個磁區Se。因此，儲存上述程式之軟碟中，在上述軟碟FD上分配之領域，記錄有上述程式。
又，第55C圖係顯示用以對軟碟FD進行上述程式之記錄再生之構造。將可實現再生方法及記錄方法之上述程式記錄於軟碟FD時，係由電腦系統Cs藉軟碟機FDD寫入上述程式。又，於電腦系統內設可藉軟碟內之程式實現再生方法及記錄方法之再生方法及記錄方法時，則藉軟碟機而由軟碟讀出程式，再傳送至電腦系統中。
另，上述說明中，已以軟碟為記錄媒體而說明，但使用光碟亦可同樣進行處理。又，記錄媒體不僅限於此，亦可為IC卡、ROM磁帶等，凡可記錄程式者，皆可為相同之實施。
另，第12、20、21、25、51圖等所示之功能區圖之各功能區可實現為典型之積體電路裝置之LSI。該LSI可單晶片化，亦可複晶片化(諸如記憶體以外之功能區亦可單晶片化)。在此，雖稱LSI，但依積體程度之不同，亦可稱為IC、 系統LSI、特大型LSI、極大型LSI。
積體電路化之方法並不限於LSI，亦可藉專用電路或泛用處理器實現之。亦可利用LSI製造後，可重建可執行程式之FPGA(field programmable gate array)或LSI內部之電路元件之連接及設定之可重組處理器。
進而，因半導體技術之進步或衍生之其它技術，可置換LSI之積體電路化技術一旦出現，當然亦可使用該技術而進行功能區之積體化。生物技術之適用等亦為可能性之一。
又，各功能區中，亦可僅有儲存資料之單元未單晶片化，而如本實施例之記錄媒體般為其它構造。
以上，已就本發明之動態影像編碼方法等，依據實施例加以說明，但本發明並限於該等實施例，同業所構思可對該等實施例進行之變更而實現之其它實施例及實施例中各構要素之任意組合而實現之其它形態等，亦包含於本發明之內。
另，第12、20、21、25、51圖等所示之功能區圖之各功能區及第11、13~17、40~43、49、50、54圖等所示之流程圖中，核心部分亦可藉處理器及程式而實現。
如上所述，上述實施例所示之動態影像編碼方法或動態影像解碼方法可使用於上述之任何機器、系統之上，藉此，即可得到上述實施例所說明之效果。
產業上之利用可能性
本發明之動態影像編碼方法可藉使由管理資訊所顯示之構成連續再生單位之動態影像之編碼資料中，藉亮度值而進行是否使像素透明而顯示之判定時之閾值固定，而實現無縫之再生並避免閾值之切換所導致解碼時之延遲，故適用於可對動態影像、製圖或靜態影像等重疊顯示動態影像之套裝軟體媒體或傳播程式等，舉例言之，其可利用作為動態影像編碼用LSI、攝影機、動態影像錄影機、動態影像記錄功能之電視、電腦程式等。
第1圖係DVD之構造圖。
第2圖係色框之構造圖。
第3a~3d圖係顯示DVD之多工轉換之例者。
第4圖係顯示習知之MPEG-4 AVC串流中適用於畫面單位之可變長編碼方式之例者。
第5A圖係顯示適用CABAC與CAVLC之編碼串流之解碼所使用之解碼裝置之構造之功能區圖。
第5B圖係顯示適用CABAC之編碼串流之解碼動作之流程圖。
第5C圖係顯示適用CAVLC之編碼串流之解碼動作之流程圖。
第6圖係顯示習知之解碼裝置之動作之流程圖。
第7a~7d圖係說明子母畫面之顯示例者。
第8圖係說明亮度鍵之閾值在連續再生區間內切換而導致之問題者。
第9a~9e圖係顯示第1實施例之記錄媒體所儲存之MPEG-4 AVC串流中適用於畫面單位之可變長編碼方式之 例者。
第10圖係顯示記錄媒體中顯示可變長編碼方式為固定之單位之旗標資訊之儲存例者。
第11圖係顯示再生記錄媒體之解碼裝置之動作之流程圖。
第12圖係顯示多工裝置之構造之功能區圖。
第13圖係顯示多工裝置之動作之流程圖。
第14圖係顯示第13圖中之S5201之具體例之流程圖。
第15圖係顯示第13圖中之S5202之具體例之流程圖。
第16圖係顯示第13圖中之S5204及S5205之其它具體例之流程圖。
第17圖係顯示第13圖中之S5202之具體例之流程圖。
第18圖係BD之資料階層圖。
第19圖係BD上之邏輯空間之構造圖。
第20圖係BD播放器之概要功能區圖。
第21圖係BD播放器之構造功能區圖。
第22圖係BD之程式空間之說明圖。
第23圖係MPEG串流(VOB)之構造圖。
第24圖係封包之構造圖。
第25圖係說明AV串流與播放器構造之關係者。
第26圖係對磁軌緩衝區之AV資料連續供給模式圖。
第27圖係VOB資訊檔構造圖。
第28圖係時間對映之說明圖。
第29圖係播放清單檔之構造圖。
第30圖係對應播放清單之程式檔之構造圖。
第31圖係BD磁碟整體管理資訊檔之構造圖。
第32圖係記錄全域事件管控器之檔案之構造圖。
第33圖係說明時間事件之例者。
第34圖係說明使用者事件之例者。
第35圖係說明全域事件管控器之例者。
第36圖係假設機器之構造圖。
第37圖係播放器變數表。
第38圖係顯示事件管控器(時間事件)之例者。
第39圖係顯示事件管控器(使用者事件)之例者。
第40a~40b圖係播放器基本處理之流程圖。
第41圖係播放清單再生處理之流程圖。
第42a~42b圖係事件處理之流程圖。
第43圖係字幕處理之流程圖。
第44圖係說明使亮度鍵之閾值在連續再生區間內為固定之例者。
第45a~45b圖係說明無縫再生區間中亮度鍵之值為固定者。
第46a~46b圖係說明保證亮度鍵之閾值為固定之旗標者。
第47a~47g圖係說明本發明之記錄媒體之子母畫面動作者。
第48a~48b圖係說明主視訊與副視訊之多工轉換者。
第49圖係顯示實現本發明第2實施例之子母畫面動作 之多工方法之動作之流程圖。
第50圖係說明實現本發明第2實施例之子母畫面動作之多工方法中生成管理資訊之動作之流程圖。
第51圖係顯示本發明第2實施例之多工裝置之構造之功能區圖。
第52圖係顯示子母畫面之背景資訊所包含之顯示屬性資訊之例者。
第53圖係顯示多工裝置5200所生成之管理資訊之資料構造者。
第53a圖係顯示管理資訊之一之播放清單之資料要素者。
第53b圖係顯示無縫連接之再生區間之播放清單之例。
第54圖係顯示進行本發明第2實施例之子母畫面動作之播放器之動作之流程圖。
第55A圖係顯示第3實施例之記錄媒體本體之軟碟之物理格式之例者。
第55B圖係顯示軟碟之正面外觀、截面構造及軟碟者。
第55C圖係顯示用以在軟碟FD上進行上述程式之記錄再生之構造者。

Claims (6)

  1. 一種動態影像編碼方法，係將包含第1動態影像及用以與前述第1動態影像重疊之第2動態影像的映像流編碼者，且前述重疊時僅前述第2動態影像中具有超過預定閾值之亮度之影像領域與前述第1動態影像重疊，前述動態影像編碼方法包含：連續再生區間決定步驟，決定前述映像流中作為部分區間之組合，即，作為連續再生對象之區間的連續再生區間；編碼步驟，將構成前述連續再生區間之複數部分區間中之前述第1動態影像及第2動態影像編碼，以使前述連續再生區間決定步驟所決定之連續再生區間符合不改變前述閾值之限制；管理資訊作成步驟，作成包含顯示在前述連續再生區間之前述閾值為固定之旗標資訊的管理資訊；及結合步驟，結合業經前述編碼步驟所編碼之前述第1及第2動態影像與前述管理資訊作成步驟所作成之管理資訊並加以輸出。
  2. 一種動態影像編碼裝置，係將包含第1動態影像及用以與前述第1動態影像重疊之第2動態影像之映像流編碼者，且前述重疊時僅前述第2動態影像中具有超過預定閾值之亮度之影像領域與前述第1動態影像重疊， 前述動態影像編碼裝置包含：連續再生區間決定部，係決定前述映像流中作為部分區間之組合，即，作為連續再生對象之區間之連續再生區間者；編碼部，係將構成前述連續再生區間之複數部分區間中之前述第1動態影像及第2動態影像編碼，以使前述連續再生區間決定部所決定之連續再生區間符合不改變前述閾值之限制者；管理資訊作成部，係作成包含顯示在前述連續再生區間之前述閾值為固定之旗標資訊的管理資訊者；及結合部，係結合業經前述編碼部所編碼之前述第1及第2動態影像與前述管理資訊作成部所作成之管理資訊並加以輸出者。
  3. 一種動態影像記錄方法，係將包含第1動態影像及用以與前述第1動態影像重疊之第2動態影像之映像流編碼，再記錄於記錄媒體中者，且前述重疊時僅前述第2動態影像中具有超過預定閾值之亮度之影像領域與前述第1動態影像重疊，前述動態影像記錄方法包含：連續再生區間決定步驟，決定前述映像流中作為部分區間之組合，即，作為連續再生對象之區間之連續再生區間；編碼步驟，將構成前述連續再生區間之複數部分區間中之前述第1動態影像及第2動態影像編碼，以使前述 連續再生區間決定步驟所決定之連續再生區間符合不改變前述閾值之限制；管理資訊作成步驟，作成包含顯示在前述連續再生區間之前述閾值為固定之旗標資訊之管理資訊；及結合步驟，結合業經前述編碼步驟所編碼之前述第1及第2動態影像與前述管理資訊作成步驟所作成之管理資訊，並記錄於記錄媒體中。
  4. 一種記錄媒體，係記錄有可由電腦讀取之資料者，前述資料包括含有第1動態影像及用以與前述第1動態影像重疊之第2動態影像的映像流、以及作為用以管理前述映像流之資訊的管理資訊，且前述重疊時，僅前述第2動態影像中具有超過預定閾值之亮度之影像領域與前述第1動態影像重疊，又，前述映像流中，構成前述連續再生區間之複數之部分區間之前述第1及第2動態影像業經編碼，以使作為部分區間之組合，即，作為連續再生之對象之區間的連續再生區間符合不改變前述閾值之限制，且前述管理資訊包含顯示在前述連續再生區間之前述閾值為固定之旗標資訊。
  5. 一種動態影像再生方法，係將包含業經編碼之第1及第2動態影像之映像流解碼，並將前述第2動態影像重疊於前述第1動態影像上而加以顯示者，前述動態影像再生方法包含：管理資訊處理步驟，取得對應前述映像流之管理資 訊，並解釋所取得之管理資訊；解碼步驟，依據前述管理資訊處理步驟之解釋，解碼前述第1及第2動態影像；及顯示步驟，僅將業經解碼之前述第2動態影像中具有超過預定之閾值之亮度之影像領域重疊業經解碼之前述第1動態影像上，並加以顯示，而，前述管理資訊處理步驟中，判斷前述管理資訊中是否包含顯示前述閾值為固定之旗標資訊，且前述顯示步驟中，在前述管理資訊處理步驟已判斷前述管理資訊含有前述旗標資訊後，使用與先前之部分區間中之閾值相同之閾值，進行現時之部分區間的前述重疊顯示。
  6. 一種動態影像再生裝置，係將包含業經編碼之第1及第2動態影像之映像流解碼，並將前述第2動態影像重疊於前述第1動態影像上而加以顯示者，前述動態影像再生裝置包含：管理資訊處理部，係取得對應前述映像流之管理資訊，並解釋所取得之管理資訊者；解碼部，係依據前述管理資訊處理部之解釋，解碼前述第1及第2動態影像者；及顯示部，係僅將業經解碼之前述第2動態影像中具有超過預定之閾值之亮度的影像領域重疊於業經解碼之前述第1動態影像上，並加以顯示者，而，前述管理資訊處理部判斷前述管理資訊中是否 包含顯示前述閾值為固定之旗標資訊，且前述顯示部在前述管理資訊處理部已判斷前述管理資訊含有前述旗標資訊後，使用與先前之部分區間中之閾值相同之閾值，進行現時之部分區間的前述重疊顯示。
TW96147969A 2006-12-14 2007-12-14 A motion picture coding method, a motion picture coding apparatus, a motion picture recording method, a recording medium, a motion picture reproduction method, a motion picture reproduction apparatus, and a motion picture reproduction system TWI446794B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006337426 2006-12-14

Publications (2)

Publication Number Publication Date
TW200845761A TW200845761A (en) 2008-11-16
TWI446794B true TWI446794B (zh) 2014-07-21

Family

ID=39511686

Family Applications (2)

Application Number Title Priority Date Filing Date
TW99136494A TW201108747A (en) 2006-12-14 2007-12-14 Moving image coding method, moving image coding device, moving image recording method, recording medium, moving image playback method, moving image playback device, and moving image playback system
TW96147969A TWI446794B (zh) 2006-12-14 2007-12-14 A motion picture coding method, a motion picture coding apparatus, a motion picture recording method, a recording medium, a motion picture reproduction method, a motion picture reproduction apparatus, and a motion picture reproduction system

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW99136494A TW201108747A (en) 2006-12-14 2007-12-14 Moving image coding method, moving image coding device, moving image recording method, recording medium, moving image playback method, moving image playback device, and moving image playback system

Country Status (12)

Country Link
US (4) US8023804B2 (zh)
EP (1) EP2079241B1 (zh)
JP (3) JP4718616B2 (zh)
KR (1) KR101362653B1 (zh)
CN (5) CN101554057B (zh)
AR (1) AR064274A1 (zh)
BR (2) BRPI0719335A2 (zh)
CA (1) CA2671557C (zh)
RU (2) RU2475997C2 (zh)
TW (2) TW201108747A (zh)
WO (1) WO2008072669A1 (zh)
ZA (1) ZA200903806B (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
US7519274B2 (en) 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
JP5200204B2 (ja) 2006-03-14 2013-06-05 ディブエックス リミテッド ライアビリティー カンパニー 高信頼性システムを含む連合型デジタル権限管理機構
AR064274A1 (es) * 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci
WO2009065137A1 (en) 2007-11-16 2009-05-22 Divx, Inc. Hierarchical and reduced index structures for multimedia files
US8997161B2 (en) * 2008-01-02 2015-03-31 Sonic Ip, Inc. Application enhancement tracks
CA2749170C (en) 2009-01-07 2016-06-21 Divx, Inc. Singular, collective and automated creation of a media guide for online content
MX2011000947A (es) 2009-05-19 2011-03-02 Panasonic Corp Medio de grabacion, dispositivo de reproduccion, dispositivo de codificacion, circuito integrado, y dispositivo de salida de reproduccion.
EP2507995A4 (en) 2009-12-04 2014-07-09 Sonic Ip Inc SYSTEMS AND METHODS FOR TRANSPORTING ELEMENTARY BIT TRAIN CRYPTOGRAPHIC MATERIAL
KR101721261B1 (ko) * 2010-08-20 2017-03-30 엘지디스플레이 주식회사 액정표시장치와 그의 데이터전송방법
JP2012060238A (ja) * 2010-09-06 2012-03-22 Sony Corp 動画像処理装置、動画像処理方法およびプログラム
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
KR101678347B1 (ko) * 2011-06-20 2016-11-21 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 또한 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
JP2013038766A (ja) * 2011-07-12 2013-02-21 Sharp Corp 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8818171B2 (en) 2011-08-30 2014-08-26 Kourosh Soroushian Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
US9955195B2 (en) 2011-08-30 2018-04-24 Divx, Llc Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US9049496B2 (en) * 2011-09-01 2015-06-02 Gracenote, Inc. Media source identification
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
PL3614670T3 (pl) * 2011-12-15 2021-08-23 Tagivan Ii Llc Sygnalizowanie znaczników zakodowanych bloków (CBF) jasności-barwy w kodowaniu wideo
US8918908B2 (en) 2012-01-06 2014-12-23 Sonic Ip, Inc. Systems and methods for accessing digital content using electronic tickets and ticket tokens
US9197685B2 (en) * 2012-06-28 2015-11-24 Sonic Ip, Inc. Systems and methods for fast video startup using trick play streams
US9143812B2 (en) 2012-06-29 2015-09-22 Sonic Ip, Inc. Adaptive streaming of multimedia
US10452715B2 (en) 2012-06-30 2019-10-22 Divx, Llc Systems and methods for compressing geotagged video
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
EP2875417B1 (en) 2012-07-18 2020-01-01 Verimatrix, Inc. Systems and methods for rapid content switching to provide a linear tv experience using streaming content distribution
US8997254B2 (en) 2012-09-28 2015-03-31 Sonic Ip, Inc. Systems and methods for fast startup streaming of encrypted multimedia content
US8914836B2 (en) 2012-09-28 2014-12-16 Sonic Ip, Inc. Systems, methods, and computer program products for load adaptive streaming
JP6094126B2 (ja) * 2012-10-01 2017-03-15 富士通株式会社 動画像復号装置
TWI456985B (zh) * 2012-10-17 2014-10-11 Vivotek Inc 多攝影機的整合處理系統及其方法
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9264475B2 (en) 2012-12-31 2016-02-16 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US10397292B2 (en) 2013-03-15 2019-08-27 Divx, Llc Systems, methods, and media for delivery of content
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
US9344517B2 (en) 2013-03-28 2016-05-17 Sonic Ip, Inc. Downloading and adaptive streaming of multimedia content to a device with cache assist
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9247317B2 (en) 2013-05-30 2016-01-26 Sonic Ip, Inc. Content streaming with client device trick play index
US9967305B2 (en) 2013-06-28 2018-05-08 Divx, Llc Systems, methods, and media for streaming media content
CN105379256B (zh) * 2013-07-22 2019-11-12 索尼公司 信息处理装置和方法
US9343112B2 (en) 2013-10-31 2016-05-17 Sonic Ip, Inc. Systems and methods for supplementing content from a server
JP6070524B2 (ja) * 2013-12-04 2017-02-01 ソニー株式会社 表示パネル、駆動方法、および電子機器
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
JP6410495B2 (ja) * 2014-07-07 2018-10-24 ルネサスエレクトロニクス株式会社 画像符号化装置、画像復号装置、および画像通信システム
CN111899770B (zh) * 2014-09-12 2022-07-08 松下电器（美国）知识产权公司 非暂时性计算机可读介质、再现装置以及再现方法
CN104735385B (zh) * 2015-03-31 2018-10-12 小米科技有限责任公司 播放控制方法及装置、电子设备
US20160360205A1 (en) * 2015-06-08 2016-12-08 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform
US10075292B2 (en) 2016-03-30 2018-09-11 Divx, Llc Systems and methods for quick start-up of playback
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
US10498795B2 (en) 2017-02-17 2019-12-03 Divx, Llc Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming
JP7077812B2 (ja) * 2018-06-19 2022-05-31 セイコーエプソン株式会社 画像処理装置および画像処理プログラム
WO2020039593A1 (ja) * 2018-08-24 2020-02-27 オリンパス株式会社 画像記録再生装置及び内視鏡システム
CN117459744A (zh) 2019-07-20 2024-01-26 北京字节跳动网络技术有限公司 调色板模式使用指示的条件相关编解码
TWI784446B (zh) * 2021-03-18 2022-11-21 圓展科技股份有限公司 顯示系統、顯示方法及影像擷取裝置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG74566A1 (en) 1995-08-23 2000-08-22 Sony Corp Encoding/decoding fields of predetermined field polarity apparatus and method
FR2749116B1 (fr) * 1996-05-24 1998-06-19 Thomson Multimedia Sa Camera a effets speciaux
JP3058870B1 (ja) 1999-02-05 2000-07-04 株式会社次世代デジタルテレビジョン放送システム研究所 Ａｆｃ回路
JP2002108325A (ja) * 2000-09-26 2002-04-10 Fuji Film Microdevices Co Ltd 画像処理装置及び画像処理方法
CN1364033A (zh) * 2000-11-28 2002-08-14 国枝博昭 动态图像信息的高性能编码压缩系统
JP4622141B2 (ja) * 2001-04-13 2011-02-02 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びにプログラム
US7187785B2 (en) * 2001-08-28 2007-03-06 Nippon Telegraph And Telephone Corporation Image processing method and apparatus
JP2003111094A (ja) * 2001-10-01 2003-04-11 Megafusion Corp 合成撮影システム、合成画像生成法および画像合成装置
MXPA04007357A (es) 2002-02-01 2004-11-26 Koninkl Philips Electronics Nv Aparato, portador de registro y metodo para registrar una secuencia de senales de datos de video.
JP4240283B2 (ja) * 2002-10-10 2009-03-18 ソニー株式会社 復号装置及び復号方法
JP2004172862A (ja) * 2002-11-19 2004-06-17 Megachips System Solutions Inc 画像合成方法および合成画像配信システム
KR20030051545A (ko) * 2003-06-04 2003-06-25 경민규 동영상 씨디롬 제작장치
JP2005123775A (ja) 2003-10-15 2005-05-12 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体
KR100561404B1 (ko) 2003-10-30 2006-03-16 삼성전자주식회사 재생 모드 정보가 설정된 동영상 재생 장치, 저장 매체 및그 재생방법
CN101790067B (zh) * 2004-02-17 2013-09-11 松下电器产业株式会社 记录方法和再现装置
US7577340B2 (en) * 2004-07-21 2009-08-18 Panasonic Corporation Device and method for recording real-time data
CN101010951B (zh) * 2004-08-31 2010-06-16 松下电器产业株式会社 运动图像编码方法及装置
AR064274A1 (es) * 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci

Also Published As

Publication number Publication date
CN101554057A (zh) 2009-10-07
JPWO2008072669A1 (ja) 2010-04-02
CN101848384A (zh) 2010-09-29
BRPI0722391A2 (pt) 2012-06-12
RU2483467C2 (ru) 2013-05-27
CN101815213B (zh) 2013-01-09
US8526797B2 (en) 2013-09-03
CA2671557A1 (en) 2008-06-19
ZA200903806B (en) 2010-05-26
JP4718616B2 (ja) 2011-07-06
US20100040351A1 (en) 2010-02-18
CA2671557C (en) 2016-01-12
RU2010145129A (ru) 2012-05-10
US20100054710A1 (en) 2010-03-04
CN101815214A (zh) 2010-08-25
JP2011097612A (ja) 2011-05-12
KR20090098802A (ko) 2009-09-17
EP2079241B1 (en) 2012-10-31
EP2079241A1 (en) 2009-07-15
CN101800896A (zh) 2010-08-11
BRPI0719335A2 (pt) 2011-05-10
RU2475997C2 (ru) 2013-02-20
AR064274A1 (es) 2009-03-25
CN101815213A (zh) 2010-08-25
TW200845761A (en) 2008-11-16
JP4841689B2 (ja) 2011-12-21
US7974521B2 (en) 2011-07-05
CN101554057B (zh) 2011-07-20
RU2009120317A (ru) 2010-12-10
KR101362653B1 (ko) 2014-02-13
CN101800896B (zh) 2012-08-29
EP2079241A4 (en) 2011-11-09
JP2011103669A (ja) 2011-05-26
US20100040348A1 (en) 2010-02-18
WO2008072669A1 (ja) 2008-06-19
JP4841688B2 (ja) 2011-12-21
US8023804B2 (en) 2011-09-20
US20110299831A1 (en) 2011-12-08
CN101815214B (zh) 2012-11-21
TW201108747A (en) 2011-03-01

Similar Documents

Publication Publication Date Title
TWI446794B (zh) A motion picture coding method, a motion picture coding apparatus, a motion picture recording method, a recording medium, a motion picture reproduction method, a motion picture reproduction apparatus, and a motion picture reproduction system
KR101138047B1 (ko) 동화상 부호화 방법 및 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees