JP4780617B2 - 画像再生方法及び画像再生装置 - Google Patents

画像再生方法及び画像再生装置 Download PDF

Info

Publication number
JP4780617B2
JP4780617B2 JP2006531983A JP2006531983A JP4780617B2 JP 4780617 B2 JP4780617 B2 JP 4780617B2 JP 2006531983 A JP2006531983 A JP 2006531983A JP 2006531983 A JP2006531983 A JP 2006531983A JP 4780617 B2 JP4780617 B2 JP 4780617B2
Authority
JP
Japan
Prior art keywords
stream
display
frame
decoding
codec
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006531983A
Other languages
English (en)
Other versions
JPWO2006025489A1 (ja
Inventor
孝啓 西
敏志 近藤
雅保 井口
正真 遠間
寿郎 笹井
敏康 杉尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006531983A priority Critical patent/JP4780617B2/ja
Publication of JPWO2006025489A1 publication Critical patent/JPWO2006025489A1/ja
Application granted granted Critical
Publication of JP4780617B2 publication Critical patent/JP4780617B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10685—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control input interface, i.e. the way data enter the buffer, e.g. by informing the sender that the buffer is busy
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/877—Regeneration of colour television signals by assembling picture element blocks in an intermediate memory

Description

本発明は、画像再生方法及び画像再生装置に関するものである。特にコーデック方式が異なる複数の画像符号化ストリームを連結することで得られた連結ストリームのシームレスな再生を可能にしたものに関する。
従来から、異なるシステムストリームを連続してシームレスに、即ちつなぎ目なしに再生する再生装置がある。例えば、特開２００２−２９８５０９号公報（特願２００２−１７２８３号）には、非連続システム時間情報を有するビットストリームをシームレス再生する装置が開示されている。
以下、上記公報記載のストリーム再生装置について簡単に説明する。
図２７は、このストリーム再生装置を説明する図である。
このストリーム再生装置２００は、オーサリング符号化装置により編集されたマルチメディアビットストリームをデコードして再生するものである。ここで、上記オーサリング符号化装置は、ユーザの要望に応じたシナリオに従って、オリジナルマルチメディアデータの符号化及び編集を行うものである。
このストリーム再生装置２００は、記録媒体Ｍに記録されているマルチメディアビットストリームＲｓを、読出制御信号Ｃsrにより読み出すストリーム読出部２０１と、読み出されたマルチメディアビットストリームＲｓを蓄積するストリームバッファ２０２とを有している。ここで、該ストリームバッファ２０２は、蓄積したストリームに含まれる同期情報などの制御データＳtcを出力するものである。
上記ストリーム再生装置２００は、ストリームを指定する制御信号Ｃsdに基づいて、ストリームバッファ２０２から、指定されたストリームＰｓを取得し、取得した指定ストリームＥｓを出力するとともに、該指定ストリームＥｓに関する再生時間情報Ｓtmを出力するシステムデコーダ２０３と、システムデコーダ２０３により取得された指定ストリームＥｓを蓄積するビデオバッファ２０４とを有している。
上記ストリーム再生装置２００は、デコード制御信号Ｃｄに基づいて、ビデオバッファ２０４に対して出力要求信号Ｓrvを出力し、該出力要求信号によりビデオバッファ２０４から出力されたバッファ出力ストリームＢｓをデコードして復号化データＤｄを出力するデコーダ２０５と、該復号化データＤｄを蓄積するフレームバッファ２０６とを有する。
また、上記ストリーム再生装置２００は、その各部を制御する制御部２１０を有している。この制御部２１０は、ユーザ操作により発生した指令信号Ｓopに基づいて、記録媒体Ｍに記録されているマルチメディアビットストリームのうちの所要ストリームが再生されるよう、ストリーム読出部２０１、システムデコーダ２０３、及びデコーダ２０５に、それぞれの制御信号として、読出制御信号Ｃsr、システムデコーダ制御信号Ｃsd、及びデコーダ制御信号Ｃｄを出力するものである。
なお、上記マルチメディアビットストリームには、ビデオ符号化データだけではなく、オーディオ符号化データなどその他の符号化データも含まれている。上記ストリーム再生装置２００は、実際は、オーディオデコーダなどを有しているが、ここでは、説明の簡略化のため、ビデオ符号化ストリームの復号化系統のみ示している。また、制御部２１０による各部の制御についても簡略化して示している。
また、ここでは、上記記録媒体Ｍに記録されているマルチメディアビットストリームは、あるシステムストリーム（ＶＯＢ）と別のシステムストリームが連続再生される場合、システムストリームのつなぎ目においてスムーズな再生が行われるよう、スムーズ再生を示す情報を埋め込んだものである。このスムーズ再生を示す情報は、システムストリームのつなぎ目において、１つのＶＯＢに対応するシステムクロックを、他のＶＯＢに対応するシステムクロックに切り替えることを示すシームレス再生フラグであり、上記制御データＳtcとしてストリームバッファ２０２から制御部２１０に供給される。
そして、上記制御部２１０は、シームレス再生フラグに従って、１つのＶＯＢに対応するシステムストリームと別のＶＯＢに対応するシステムストリームが連続再生される場合、システムデコーダ２０３から出力された再生時間情報Ｓtmに基づいて、システムストリームのつなぎ目では１つのＶＯＢに対応するシステムクロックを、他のＶＯＢに対応するシステムクロックに切り替えるものである。
次に動作について説明する。
上記画像再生装置（ストリーム再生装置）２００では、ユーザ操作による指令信号Ｓopが入力されると、制御部２１０は、記録媒体Ｍに記録されているマルチメディアビットストリームのうちの所要ストリームの再生が行われるよう、ストリーム読出部２０１、システムデコーダ２０３、デコーダ２０５などを制御する。
つまり、ストリーム読出部２０１は、制御部２１０からの読出制御信号Ｃsrに基づいて、記録媒体Ｍに記録されているマルチメディアビットストリームＲｓを読出してストリームバッファ２０２に蓄積する。このとき、ストリームバッファ２０２からは、蓄積したストリームに含まれる同期情報などの制御データＳtcが制御部２１０に出力される。
次に、システムデコーダ２０３は、制御部２１０からの、ストリームを指定する制御信号Ｃsdに基づいて、ストリームバッファ２０２から、指定されたストリームＰｓを取得し、該取得したストリームＥｓをビデオバッファ２０４に出力するとともに、取得した指定ストリームＥｓに関する再生時間情報Ｓtmを制御部２１０に出力する。
そして、デコーダ２０５は、制御部２１０からのデコード制御信号Ｃｄに基づいて、ビデオバッファ２０４に対して出力要求信号Ｓrvを出力し、該出力要求信号Ｓrvに応じてビデオバッファ２０４から出力されたバッファ出力ストリームＢｓをデコードして復号化データＤｄを出力する。該復号化データＤｄはフレームバッファ２０６に蓄積される。フレームバッファ２０６は、復号化データＢｄを適切な表示順序で図示しない表示部に出力する。
ここで、ストリームバッファ２０２からの制御データＳtcに含まれるシームレス再生フラグに従って、１つのＶＯＢに対応するシステムストリームと別のＶＯＢに対応するシステムストリームが連続再生される場合、システムデコーダ２０３から出力された再生時間情報Ｓtmに基づいて、システムストリームのつなぎ目では、デコーダ２０５にて参照されるシステムクロックが、上記１つのＶＯＢに対応するシステムクロックから、他のＶＯＢに対応するシステムクロックに切り替えられる。デコーダ２０５では、異なるＶＯＢのシステムストリームに含まれるビットストリームのシームレス再生が行われる。
図２８は、プレイリストを用いた再生方法（図（ａ））、プレイリストの記述例（図（ｂ））及びアクセス情報の記述例（図（ｃ））を示している。
プレイリストを用いた再生では、図２８（ａ）に示すように、まず、プレイリストＰＬに基づいて、ストリームの再生する部分と再生順序を決定し、次に、プレイリストＰＬに含まれるアクセス情報に基づいて、上記決定した再生部分のアドレス位置を決定し、さらに、決定したアドレス位置から順に、ストリームの再生部分を取得して復号、再生する。
ここで、プレイリスト（第１のデータ）ＰＬはどのストリーム（ファイル名などで指定）ＳＴＲＭのどの部分（再生開始時刻と再生終了時刻などにより示される）を、どのような順序で再生するかを指定する。
アクセス情報（第２のデータ）ＡＩは、プレイリストＰＬにより指定された再生部分のディスク上のアドレス位置を特定するための情報であり、例えば、ランダムアクセス単位の先頭ピクチャ（復号順）のＰＴＳ（Presentation Time Stamp）とアドレス情報との関係を記録したテーブルを含んでいる。
ストリームＳＴＲＭは、符号化データがパケット化されたストリーム（例えば、ＢＤ（Blu-ray Disk）ではＴＳ（Transport Packet）パケット、ＨＤＤＶＤ（High Definition DVD）ではＰＥＳ（Packetized Elementary Stream）パケットによりパケット化される）、あるいは符号化データがパケット化されていない符号化ストリームである。
より詳しくは、プレイリストＰＬでは、各アイテム（プレイリストにより示される個々の再生単位）間の接続条件（シームレス接続可能かどうか、マルチアングルへの切替ポイントであるかどうかなど）を示すことができる。
また、アクセス情報ＡＩとしては、ＰＴＳとアドレスの関係だけでなく、ストリームの符号化方式やフレームレートなどの属性情報を示せる。
プレイリストの例としては、例えば図２８（ｂ）に示されたような、
プレイリスト{
アイテム１：stream1.ts pts.in:0,pts_out:60
アイテム２：stream2.ts pts.in:30,pts_out:60
アイテム１とアイテム２：シームレス接続可
アイテム３：stream3.ts pts.in:60,pts_out:90
アイテム２とアイテム３：シームレス接続不可
}
がある。
これは、stream1.tsの0秒から60秒までの部分、stream2.tsの30秒から60秒までの部分、stream3.tsの60秒から90秒までの部分を順に再生する旨を表わすものである。
また、アクセス情報の例としては、例えば図２８（ｃ）に示されたような、
アクセス情報for stream1.ts{
属性情報{
符号化方式：MPEG-4 AVC
フレームレート：24Hz
…
}
アクセステーブルfor stream1.ts{
pts:0 address:1000
pts:5 address:1500
…
pts:60 address:9000
}
がある。
これは、stream1.ts内のビデオの符号化方式は、MPEG-4 AVCであり、例えば、０秒から再生するには、1000byte目からデータを取得すればよいことを示している。
なお、アクセス情報はストリーム毎に持つものとする。
図２９は、ＢＤ−ＲＥ（Rewritable）対応のプレイリストのフォーマットを説明する図であり、図２９（ａ）は、プレイリストと、該プレイリストが指定する再生部分との対応関係を示し、また、図２９（ｂ）はプレイリストにおける記述内容を、図２９（ｃ）はプレイアイテムにおける記述内容を示している。
図２９中、Ｃ１〜Ｃ３はクリップで、これは、アクセス情報とストリームとのセット、つまりストリームと、これに関連付けられたアクセス情報とをまとめて表すものである。Ｒ１〜Ｒ７はクリップＣ１〜Ｃ３におけるユーザが再生を希望する所望の範囲である。 MPL1〜 MPL4はプレイリスト（Movie Playlist）、PI1〜PI7はプレイアイテム（PlayItem）である。
ここでは、Movie Playlist MPL1はPlayItem PI1およびPlayItem PI3を含み、PlayItem PI1およびPlayItem PI3はクリップＣ１中の範囲Ｒ１およびクリップＣ２中の範囲Ｒ３を指定する。以下、同様に、Movie Playlist MPL2はPlayItem PI2を含み、PlayItem PI2はクリップＣ１中の範囲Ｒ２を指定する。Movie Playlist MPL3はPlayItem PI5およびPlayItem PI7を含み、PlayItem PI5およびPlayItem PI7はクリップＣ２中の範囲Ｒ５およびクリップＣ３中の範囲Ｒ７を指定する。Movie Playlist MPL4はPlayItem PI4およびPlayItem PI6を含み、PlayItem PI4およびPlayItem PI6はクリップＣ２中の範囲Ｒ４およびクリップＣ３中の範囲Ｒ６を指定する。
以下の記述は、プレイリストの書式である（図２９（ｂ）参照）。
PlayList(){
…
number_of_PlayItems
…
for (PlayItem_id＝０；
PlayItem_id<number_of_PlayItems
PlayItem_id++){
PlayItem()
}
…
}
ここで、number_of_PlayItemsはプレイリストを構成するプレイアイテムの個数である。
また、
for（PlayItem_id＝０；
PlayItem_id<number_of_PlayItems
PlayItem_id++){
PlayItem()
の記述部分はプレイアイテムのテーブルである。
また、以下の記述は、プレイアイテムのテーブルに含まれるプレイアイテムの書式である（図２９（ｃ）参照）。
PlayItem(){
…
Clip_Information_file_name
…
…
IN_time
OUT_time
…
}
ここで、Clip_Information_file_nameはアクセス情報が格納されるファイルのファイル名であり、IN_timeは再生開始PTS、OUT_timeは再生終了PTSである。
図３０は、図２９に示すクリップを説明する図であり、図３０（ａ）は、プレイリストと、クリップにおける該プレイリストが指定する再生部分との対応関係を示し、図３０（ｂ）は、アクセス情報内のストリーム属性情報（StreamCondingInfo）の記述内容を示している。
なお、ここでは、プレイリストＭＰＬ11〜ＭＰＬ13は、１以上のアイテムから構成されている。
図３０中、CI11,CI12は、アクセス情報（Clip Information）であり、録画したAVストリームへのランダム・アクセス時に必要なデータである。
また、CAV11,CAV12は、アクセス情報と対応付けられたストリーム（Clip AV stream）であり、録画したAVストリームが格納されている。
従って、例えば、Movie Playlist MPL11中のPlayItem PI11によりClip C1中のClip Information CI1を指定することで、Clip AV stream CAV11の所望の再生範囲Ｒ１１を指定する。
以下は、アクセス情報内のストリーム属性情報（StreamCodingInfo (i,stream_index)）の書式である。
StreamCodingInfo(i,stream_index){
…
stream_coding_type
…
…
}
ここで、stream_coding_typeは符号化方式を示す。
{
…
stream_coding_type
…
…
}内は、アクセス情報（Clip Information）内のストリーム属性情報を記述する。
このように規定されたプレイリストを用いると、例えば、クリップ中の所定の範囲（例えば、図２９中に示す範囲Ｒ１ないしＲ７）を指定して再生を行うことが可能となる。
特開２００２−２９８５０９号公報
ところで、近年、上述のＨＤ ＤＶＤやＢＤなどの大容量記録媒体が提案され、あるいは実用に供されるようになってきている。このような大容量記録媒体は、それぞれの規格において複数のコーデック方式をサポートすることが承認、あるいは承認されつつある。このため、これらの記録媒体には、コーデック方式が相異なる複数のストリームを編集により連結して一つのコンテンツとして記録することが考えられる。
ところが、従来の画像再生装置２００は、コーデック方式が同一である別々のＶＯＢに対応するストリームをシームレス再生するものである。このため、上記のような記録媒体に記録された、コーデックの種類が相異なる複数のストリームを連結したストリームを、シームレス再生することができないという問題がある。
本発明は、上記のような問題点に鑑みてなされたものであり、コーデック方式が異なるストリームを互いに連結したコンテンツをシームレスに再生することができる画像再生方法及び画像再生装置を得ることを目的とする。
本発明に係る画像再生方法は、コーデック方式が異なる複数の符号化ストリームを連結してなる連結ストリームを再生する画像再生方法であって、前記連結ストリームにおける符号化ストリームの連結位置を検知する位置検知ステップと、前記連結ストリームにおけるコーデック方式が異なる個々の符号化ストリームを復号化する復号化ステップと、前記符号化ストリームの復号化により得られた画像データを表示する表示ステップとを含み、前記復号化ステップでは、上記検知した符号化ストリームの連結位置にて、コーデック方式を、復号化の対象となる符号化ストリームに対応したコーデック方式に切り替え、前記表示ステップでは、前記復号化データを、その復号化タイミングを基準として、前記連結ストリームにおける、画像表示を行う際に最も大きな遅延を要する部分の遅延時間以上遅延させて表示する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記復号化ステップでは、前記連結ストリームを１つのストリームバッファに格納し、該ストリームバッファから読み出された連結ストリームを復号化する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記復号化ステップでは、前記ストリームバッファの占有量が所定の値になったとき、前記連結ストリームの復号化を開始する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記復号化ステップでは、前記連結ストリームの復号化により得られた復号化データを１つのフレームバッファに格納する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記フレームバッファに格納されている復号化データを、表示時刻が古いものから順に画像表示する表示ステップをさらに含む、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記表示ステップでは、前記復号化データを、その復号化タイミングを基準として、前記連結ストリームにおける、画像表示を行う際に最も大きな遅延を要する部分の遅延時間以上遅延させて表示する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記表示ステップでは、前記連結ストリームに含まれる個々の符号化ストリームに対応するコーデック方式の種別に応じて、画像表示を行う際の表示遅延時間を決定する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記表示ステップでは、前記連結ストリームにＭＰＥＧ−４ ＡＶＣ方式に対応する符号化ストリームが含まれる場合は、画像表示をＮフレーム以上遅延し、前記連結ストリームにＭＰＥＧ−４ ＡＶＣ方式に対応する符号化ストリームが含まれない場合は、画像表示を１フレーム以上遅延する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記表示ステップでは、画像表示を常にＮフレーム以上遅延する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記連結ストリームを構成する先行ストリームの表示遅延時間を増加する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記連結ストリームを構成する先行ストリームを復号化する期間と該連結ストリームを構成する後続ストリームを復号化する期間とを一部で重複させる、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記連結ストリームを構成する後続ストリームの一部を復号化する動作を他の部分を復号化する動作より高速化する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記連結ストリームを構成する先行ストリームの一部を復号化する動作を他の部分を復号化する動作より高速化する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記連結ストリームを構成する先行ストリームの最終表示フレームの表示を繰り返す、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記連結ストリームを構成する先行ストリームの最終表示フレームと、該先行ストリームに続く後続ストリームの先頭表示フレームとの間で、所定のフレームを表示する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記連結ストリームを構成する先行ストリームと後続ストリームの連結部前後で、該先行ストリームのフレームを表示する期間と該後続ストリームのフレームを表示する期間とが重複する場合、前記表示時間が重なる先行ストリームのフレームと後続ストリームのフレームのいずれかの復号化データを廃棄する、ものである。
本発明に係る画像再生方法は、前記画像再生方法において、前記連結ストリームを構成する先行ストリームと後続ストリームの連結部前後で、該先行ストリームのフレームを表示する期間と該後続ストリームのフレームを表示する期間とが重複する場合、前記先行ストリームを復号化した後、上記後続ストリームの復号化動作を一時停止する、ものである。
本発明に係る画像再生装置は、前記連結ストリームにおける符号化ストリームの連結位置を検知する位置検知手段と、前記連結ストリームにおけるコーデック方式が異なる個々の符号化ストリームを復号化する復号化手段と、前記符号化ストリームの復号化により得られた画像データを表示する表示手段とを備え、前記復号化手段は、前記検知した符号化ストリームの連結位置にて、コーデック方式を、復号化の対象となる符号化ストリームに対応したコーデック方式に切り替え、前記表示手段は、前記復号化データを、その復号化タイミングを基準として、前記連結ストリームにおける、画像表示を行う際に最も大きな遅延を要する部分の遅延時間以上遅延させて表示する、ものである。
本発明に係る画像再生方法によれば、コーデック方式が異なる複数の符号化ストリームを連結してなる連結ストリームを再生する方法において、前記連結ストリームにおける符号化ストリームの連結位置を検知するステップを含み、個々の符号化ストリームを、該検知した画像符号化ストリームの連結位置に応じてコーデック方式を切り替えて復号化するので、コーデック方式の異なる符号化ストリームを連結した連結ストリームの再生をシームレスに行うことが可能となるとともに、上記画像再生方法において、上記復号化データを、その復号化タイミングを基準として、上記連結ストリームにおける、画像表示を行う際に最も大きな遅延を要する部分の遅延時間以上遅延させて表示するので、連結ストリーム内に複数種類のコーデック方式に応じたストリームが含まれる場合でも、途切れなく復号化データを画像表示することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームを１つのストリームバッファに格納するので、ストリームバッファのバッファ容量を有効に利用することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、上記ストリームバッファの占有量が所定の値になったとき、前記連結ストリームの復号化を開始するので、ストリームバッファでのアンダーフローを回避することが可能となる。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームの復号化により得られた復号化データを１つのフレームバッファに格納するので、フレームバッファのバッファ容量を有効に利用することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記フレームバッファに格納されている復号化データを、表示時刻が古いものから順に画像表示するので、後方参照などを用いる予測符号化処理により得られた符号化ストリームの復号化データを正しく画像表示することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームに含まれる個々の符号化ストリームに対応するコーデック方式の種別に応じて、画像表示を行う際の表示遅延時間を決定するので、連結ストリーム内に複数の種類のコーデックに応じたストリームが含まれている場合でも、画像表示の必要以上の遅延を回避しつつ、途切れなく復号化データを画像表示することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームにＭＰＥＧ−４ ＡＶＣ方式に対応する符号化ストリームが含まれる場合は、画像表示をＮフレーム以上遅延し、前記連結ストリームにＭＰＥＧ−４ ＡＶＣ方式に対応する符号化ストリームが含まれない場合は、画像表示を１フレーム以上遅延するので、連結ストリームにＭＰＥＧ−４ ＡＶＣに対応する符号化ストリームが含まれる場合でも、途切れなく復号化データを画像表示することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、画像表示を常にＮフレーム以上遅延するので、連結ストリームにＭＰＥＧ−４ ＡＶＣに対応するストリームが含まれる場合でも、連結ストリームの復号化データを途切れなく画像表示することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームを構成する先行ストリームの表示遅延時間を増加するので、先行ストリームの表示遅延時間が後続ストリームの表示遅延時間よりも少ない場合でも、連結ストリームの復号化データを途切れなく画像表示することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームを構成する先行ストリームを復号化する期間と該連結ストリームを構成する後続ストリームを復号化する期間とを一部で重複させるので、重複させない場合に生じる表示ギャップを埋める復号データが生じ、連結ストリームの復号化データを途切れなく画像表示することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームを構成する後続ストリームの一部を復号化する動作を他の部分を復号化する動作より高速化するので、高速化しない場合に生じる表示ギャップを埋める復号データが生じ、連結ストリームの復号化データを途切れなく画像表示することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームを構成する先行ストリームの一部を復号化する動作を他の部分を復号化する動作より高速化するので、高速化しない場合に生じる表示ギャップを埋める復号データが生じ、連結ストリームの復号化データを途切れなく画像表示することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームを構成する先行ストリームの最終表示フレームの表示を繰り返すので、繰り返し表示により表示ギャップを埋めることができ、連結ストリームの復号化データを途切れなく画像表示することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームを構成する先行ストリームの最終表示フレームと、該先行ストリームに続く後続ストリームの先頭表示フレームとの間で、所定のフレームを表示するので、所定のフレームにより表示ギャップを埋めることができ、連結ストリームの復号化データを途切れなく画像表示することができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームを構成する先行ストリームと後続ストリームとの連結部前後で、該先行ストリームのフレームを表示する期間と該後続ストリームのフレームを表示する期間とが重複する場合、前記表示期間が重なる先行ストリームのフレームと後続ストリームのフレームのいずれかの復号化データを廃棄するので、連結ストリームの復号化データを途切れなく画像表示でき、画像の重複をなくすことができる効果がある。
本発明に係る画像再生方法によれば、前記画像再生方法において、前記連結ストリームを構成する先行ストリームと後続ストリームとの連結部前後で、該先行ストリームのフレームを表示する期間と該後続ストリームのフレームを表示する期間とが重複する場合、前記先行ストリームを復号化した後、上記後続ストリームの復号化動作を一時停止するので、連結ストリームの復号化データを途切れなく画像表示することができる効果がある。
本発明に係る画像再生装置によれば、コーデック方式が異なる複数の符号化ストリームを連結してなる連結ストリームを再生する装置において、前記連結ストリームにおける符号化ストリームの連結位置を検知する位置検知手段と、前記連結ストリームにおけるコーデック方式が異なる個々の符号化ストリームを復号化する復号化手段と、前記符号化ストリームの復号化により得られた画像データを表示する表示手段とを備え、前記復号化手段は、前記検知した符号化ストリームの連結位置にて、コーデック方式を、復号化の対象となる符号化ストリームに対応したコーデック方式に切り替え、前記表示手段は、前記復号化データを、その復号化タイミングを基準として、前記連結ストリームにおける、画像表示を行う際に最も大きな遅延を要する部分の遅延時間以上遅延させて表示するので、コーデック方式の異なる符号化ストリームを連結した連結ストリームをシームレスに再生することが可能となるとともに、上記復号化データを、その復号化タイミングを基準として、上記連結ストリームにおける、画像表示を行う際に最も大きな遅延を要する部分の遅延時間以上遅延させて表示するので、連結ストリーム内に複数種類のコーデック方式に応じたストリームが含まれる場合でも、途切れなく復号化データを画像表示することができる効果がある。
以下、本発明の実施の形態について説明する。
（実施の形態１）
図１は、本発明の実施の形態１による画像再生装置を説明するための図である。
この実施の形態の画像再生装置１００は、コーデック方式が相異なる複数の画像符号化ストリームを互いに連結してなる連結ストリームを再生するものである。
この画像再生装置１００は、記録媒体Ｍに記録されているマルチメディアビットストリームをシステムストリームＳstとして読み出すストリーム読出部１１０と、記録媒体Ｍから読み出されたシステムストリームＳstを蓄積するストリームバッファ１１１と、該ストリームバッファ１１１からシステムストリームＳstを読出し、システムストリームＳstに含まれる補助情報ＣＢbp，ＣＢfp，Ｄcd、並びに符号化ストリームＣstを抽出するシステムデコーダ１０１と、該システムデコーダ１０１からの符号化ストリームＣstを蓄積する１つのストリームバッファ１０２とを有している。ここでは、ＨＤ ＤＶＤやＢＤなどの複数のコーデック方式をサポートした記録媒体からは、種々のコーデック方式に対応したＶＯＢストリームがシステムストリームＳstとして読み出され、システムデコーダ１０１からは、コーデック方式が異なる複数の画像符号化ストリームを連結してなる連結ストリームが符号化ストリームＣstとして出力される。ここでは、例えば、連結ストリームは、MPEG-2方式に対応する画像符号化ストリームと、MPEG-4 AVC（Advanced Video Coding）に対応する画像符号化ストリームとを連結したものとする。但し、上記コーデック方式は、MPEG-2方式やMPEG-4 AVC 方式に限るものではない。
上記画像再生装置１００は、種々のコーデック方式に対応した複数のデコーダ［１］Ｄｄ１〜［Ｎ］Ｄｄｎと、上記ストリームバッファ１０２から出力されたストリームＢｓｔを復号化するデコーダを、各コーデック方式のストリームが、対応するデコーダにより復号化されるよう、上記複数のデコーダから選択するデコーダ選択部と、選択されたデコーダでの復号化により得られた画像データＳｄを蓄積する１つのフレームバッファ１０６と、該フレームバッファ１０６から出力された画像データＢｄを表示する表示部１０７とを備えている。
ここで、上記デコーダＤｄ１は、MPEG-2コーデック方式に対応し、デコーダＤｄ２は、MPEG-4 AVCコーデック方式に対応するものとする。
また、上記デコーダ選択部は、上記複数のデコーダＤｄ１〜Ｄｄｎの前段に設けられ、ストリームバッファ１０２から読み出された各コーデック方式のストリームを、デコーダ入力切替信号Ｓdiに基づいて上記複数のデコーダのいずれかに供給する入力側切替スイッチ１０４と、上記複数のデコーダＤｄ１〜Ｄｄｎの後段に設けられ、デコーダ出力切替信号Ｓdoに基づいていずれかのデコーダ出力を選択して、フレームバッファ１０６に供給する出力側切替スイッチ１０５とを有している。上記入力側切替スイッチ１０４は、１つの入力ノードＮａと複数の出力ノードＮｂ１〜Ｎｂｎとを有し、入力ノードＮａと複数の出力ノードＮｂ１〜Ｎｂｎとの間の接続を、入力側切替制御信号Ｓdiにより切り替えるものである。上記出力側切替スイッチ１０５は、複数の入力ノードＮｃ１〜Ｎｃｎと１つの出力ノードＮｄとを有し、複数の入力ノードＮｃ１〜Ｎｃｎと１つの出力ノードＮｄとの間の接続を、出力側切替制御信号Ｓdoにより切り替えるものである。また、入力側切替スイッチ１０４の出力ノードＮｂ１〜Ｎｂｎにはそれぞれ、上記デコーダＤｄ１〜Ｄｄｎの入力ノードが接続され、出力側切替スイッチ１０５の入力ノードＮｃ１〜Ｎｃｎにはそれぞれ、上記デコーダＤｄ１〜Ｄｄｎの出力ノードが接続されている。
上記画像再生装置１００は、ストリームバッファ１０２のバッファ占有量Ｄboに基づいて復号化開始タイミングを示す情報Ｔdecを出力する復号開始制御部２１と、上記ストリームバッファ１０２と入力側切替スイッチ１０４との間に設けられ、復号化開始タイミング情報Ｔdecに基づいて開閉するスイッチ１０３と、該復号開始タイミング情報Ｔdecに基づいてカウント動作を行い、カウンタ出力ＣＬｃを出力するクロックカウンタ１１と、上記システムデコーダ１０１からのコーデック情報Ｄcd及び上記クロックカウンタ１１の出力ＣＬｃに基づいて、表示タイミングを指示する情報Ｔdisを上記表示部１０７に出力する表示制御部２４とを有している。ここで、開閉スイッチ１０３は、ストリームバッファ１０２の占有量が一定値、例えば最大値となったとき、符号化ストリームの復号化が行われるようオン状態となるものである。また、クロックカウンタ１１は、ストリームのデコーダへの入力が開始されると、カウンタ出力ＣＬｃをリセットするものである。また、表示制御部２４は、連結ストリームに含まれるストリームのコーデック方式に応じて、連結ストリーム全体に対する表示遅延を決定し、該決定した表示遅延に対応する表示タイミング情報Ｔdisを出力するものである。
上記画像再生装置１００は、上記開閉スイッチ１０３からのバッファ出力ストリームＢstに基づいて、上記ストリームバッファ１０２からデコーダに供給されるストリームのバイト数をカウントし、カウント出力Ｂｃを出力するバイトカウンタ１２と、上記システムデコーダ１０１からの、コーデック境界バイト位置を示す情報ＣＢbp及び該バイトカウンタ１２のカウント出力Ｂｃに基づいて、入力側切替制御信号Ｓdiを上記入力側切替スイッチ１０４に出力するストリーム入力制御部２２とを有している。
上記画像再生装置１００は、上記出力側切替スイッチ１０５からの復号化データＳｄに基づいて、フレームバッファ１０６に蓄積される復号化データＳｄのフレーム数をカウントし、カウント出力Ｆｃを出力するフレームカウンタ１３と、上記システムデコーダ１０１からの、コーデック境界フレーム位置を示す情報ＣＢfp及び該フレームカウンタ１３のカウント出力Ｆｃに基づいて、出力側切替制御信号Ｓdoを上記出力側切替スイッチ１０５に出力する画像出力制御部２３とを有している。
図２は、この実施の形態１の画像再生装置１００における表示部１０７を説明する図である。
上記表示部１０７は、入力ノードａ１と出力ノードａ２を有し、表示制御部２４からの表示タイミング情報Ｔdisに基づいて、入力ノードａ１と出力ノードａ２とが接続された導通状態と、入力ノードａ１と出力ノードａ２とが非接続となる非導通状態とが切り替わる開閉スイッチ１０７ａと、該開閉スイッチ１０７ａの出力ノードａ２から出力された復号データを表示するディスプレイ１０７ｂとを有している。
次に動作について説明する。
この画像再生装置１００では、複数のコーデックをサポートしたＨＤ ＤＶＤやＢＤなどの記録媒体ＭからストリームＲｓがストリーム読出部１１０により読み出されてストリームバッファ１１１に入力され、ストリームバッファ１１１でのストリーム蓄積量が一定値になると、ストリームバッファ１１１に蓄積されたストリームＲｓがシステムストリームＳstとして、該バッファ１１１に入力された順に出力される。そして、該システムストリームＳstがシステムデコーダ１０１に入力されると、システムデコーダ１０１は、システムストリームＳstに含まれる、コーデック境界バイト位置情報ＣＢbp，コーデック境界フレーム位置情報ＣＢfp，コーデック情報Ｄcdなどの補助情報、及び符号化ストリームＣstを抽出して出力する。このとき、コーデック境界バイト位置情報ＣＢbpはストリーム入力制御部２２へ、コーデック境界フレーム位置情報ＣＢfpは画像出力制御部２３へ、さらにコーデック情報Ｄcdは表示制御部２４に供給される。また、システムデコーダ１０１から出力された符号化ストリームＣstはストリームバッファ１０２に供給されて蓄積される。
ここで、符号化ストリームＣstは、コーデック方式の異なる複数の画像符号化ストリームを連結した連結ストリームを含むものである。但し、ここでは、説明の簡略化のため、種類の異なるコーデック方式は、MPEG-2方式とMPEG-4 AVC方式の２種類とする。従って、上記符号化ストリームＣstは、コーデックの異なる２つのストリームを含むものとし、１つは、１つの画像シーケンスの画像データをMPEG-2コーデック方式により符号化してなる画像符号化データであり、もう一つは他の画像シーケンスの画像データをMPEG-4 AVCコーデック方式により符号化してなる画像符号化データであるとする。
そして、ストリームバッファ１０２の占有量が一定量、例えば、ストリームバッファ１０２が一杯の状態になると、復号化開始制御部２１は、ストリームバッファ１０２からのバッファ占有量情報Ｄboに基づいて、復号化開始タイミング情報Ｔdecを上記開閉スイッチ１０３及びクロックカウンタ１１に出力する。
すると、開閉スイッチ１０３がオン状態となり、ストリームバッファ１０２に蓄積されている符号化ストリームＢstが読み出される。このとき、バイトカウンタ１２は、ストリームバッファ１０２から読み出された符号化ストリームＢstのバイト数をカウントしており、カウント出力Ｂｃをストリーム入力制御部２２に出力する。
ストリーム入力制御部２２では、カウント出力Ｂｃ及びコーデック境界バイト位置情報ＣＢbpに基づいて、コーデックの異なる２つのストリームの境界位置を検知し、このストリーム境界位置に対応するタイミングで、１つの入力ノードＮａと複数の出力ノードＮｂ１〜Ｎｂｎとの接続を切り替える。
入力側切替スイッチ１０４から出力された、連結ストリームにおける各コーデック方式に対応するストリームは、対応するデコーダにより復号化される。この復号化により得られた復号化データは出力側切替スイッチ１０５に出力される。例えば、上記連結ストリームにおけるコーデック境界位置より前のストリームが、MPEG-2コーデック方式に対応するものであり、上記連結ストリームにおけるコーデック境界位置より後のストリームが、MPEG-4 AVCコーデック方式に対応するものである場合、上記入力側切替スイッチ１０４では、コーデック境界位置に対応するタイミングで、入力ノードＮａと出力ノードＮｂ１との接続が入力ノードＮａと出力ノードＮｂ２との接続に切り替えられる。これにより、デコーダＤｄ１による、MPEG-2コーデック方式のストリームの復号化が完了すると、デコーダＤｄ２によるMPEG-4 AVCコーデック方式のストリームの復号化が開始される。
また、フレームカウンタ１３は、出力側切替スイッチ１０５から出力された復号化データＳｄのフレーム数をカウントしており、カウント出力Ｆｃを画像出力制御部２３に出力する。画像出力制御部２３は、カウント出力Ｆｃ及びコーデック境界フレーム位置情報ＣＢfpに基づいて、コーデックの異なる２つの復号化データのフレーム境界位置を検知し、このフレーム境界位置に対応するタイミングで、複数の入力ノードＮｃ１〜Ｎｃｎと１つの出力ノードＮｄとの接続を切り替える。
例えば、上記連結ストリームにおけるコーデック境界位置より前のストリームが、MPEG-2コーデック方式に対応するものであり、上記連結ストリームにおけるコーデック境界位置より後のストリームが、MPEG-4 AVCコーデック方式に対応するものである場合、上記出力側切替スイッチ１０５では、コーデック境界フレーム位置に対応するタイミングで、入力ノードＮｃ１と出力ノードＮｄとの接続が入力ノードＮｃ２と出力ノードＮｄとの接続に切り替えられる。これにより、出力側切替スイッチ１０５では、デコーダＤｄ１によりMPEG-2コーデック方式のストリームを復号化して得られた復号化データの出力が完了すると、デコーダＤｄ２によりMPEG-4 AVCコーデック方式のストリームを復号化して得られた復号化データの出力が開始される。
そして、出力側切替スイッチ１０５から出力された復号化データＳｄはフレームバッファ１０６に蓄積される。該フレームバッファ１０６は、復号化データＳｄを、各コーデックに対応する表示順に並べ替え、バッファ出力データＢｄとして表示部１０７に出力する。
表示制御部２４は、クロックカウンタ１１のカウント出力ＣＬｃ及びシステムデコーダ１０１からのコーデック情報Ｄcdに基づいて表示タイミングを示す情報Ｔdisを発生しており、上記表示部１０７は、該表示タイミング情報Ｔdisに基づいて、各コーデック方式に対応するストリームの復号化データを、各コーデック方式に対応する表示タイミングで表示する。
具体的には、表示部１０７は、表示タイミング情報Ｔdisが示すタイミングで、上記開閉スイッチ１０７ａが導通状態となり、フレームバッファ１０６に蓄積されている、未表示の復号化済みフレームのデータのうち、表示時刻が最も古いフレームのデータがディスプレイ１０７に出力される。このとき、表示制御部２４は、連結ストリームに含まれる個々のストリームのコーデック方式の種類に応じて、該連結ストリームにおける各フレームの画像を表示するタイミングを一律に、各フレームに対応するストリームの復号化タイミングに対して遅延させる。但し、ここでは、説明の簡略化のため、各フレームの画像を表示するタイミングを遅延させない、つまり表示遅延が０フレームである場合は、１つのフレームの画像表示タイミングは、その１つ後のフレームのストリームを復号化するタイミングと一致するものとする。
図３（ａ）は、表示制御部２４で、各フレームの表示タイミングを何フレーム遅延させるかを決定する処理の一例を示している。
表示制御部２４は、システムデコーダ１０１からのコーデック情報Ｄcdに基づいて、システムデコーダ１０１から抽出された連結ストリームＣstに、MPEG-4 AVCコーデック方式に対応するストリームを含むか否かを判定する（ステップＳ１）。この判定の結果、連結ストリームＣstが、MPEG-4 AVCコーデック方式に対応するストリームを含まないものである場合は、表示制御部２４は、各フレームの表示タイミングの遅延時間を、１フレームに相当する時間に決定する（ステップＳ２）。一方、上記ステップＳ１での判定の結果、連結ストリームＣstが、MPEG-4 AVCコーデック方式に対応するストリームを含むものである場合は、表示制御部２４は、各フレームの表示タイミングの遅延時間を、Ｎフレームに相当する時間に決定する（ステップＳ３）。
以下、図４は、MPEG-2コーデック方式に対応する符号化ストリームＭ２の後に、MPEG-4 AVCコーデック方式に対応する符号化ストリームＭ４が連結されている場合の表示タイミングの遅延について具体的に説明する図である。ここでは、Ｎ＝２の場合、つまりMPEG-4 AVCコーデック方式の符号化ストリームを再生する際に、表示タイミングを２フレーム分だけ遅延させる必要がある場合を示している。
図４（ａ）は、表示遅延時間が１フレーム分である場合、図４（ｂ）は、表示遅延時間がＮ（＝２）フレーム分である場合を示している。
例えば、MPEG-2コーデック方式の符号化ストリームＭ２では、Ｉフレーム、Ｐフレーム、Ｂフレームに対応するストリームを含んでおり、ストリームの復号化順序は、図４（ａ）に示すように、Ｉ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂである。この場合、Ｂフレームは、表示順でその後方に位置するＰフレームを参照して予測符号化処理が施されるものであるため、Ｐフレームのストリームはこれを参照するＢフレームのストリームより先に復号化されることとなり、各フレームの表示タイミングは、１フレーム時間だけ遅れることとなる。
ところが、このMPEG-2コーデック方式のストリームにMPEG-4 AVCコーデック方式のストリームが連結されている場合は、各フレームの表示タイミングを、１フレーム時間だけ遅延させただけでは、図４（a）に点線の丸印で示すように、連結ストリームのコーデック方式がMPEG-2方式からMPEG-4 AVC方式に切り替わる部分で表示が途切れることとなる。
つまり、MPEG-4 AVCコーデック方式の符号化ストリームＭ４では、Ｉフレーム、Ｐフレーム、Ｂフレーム、Ｂｓ（stored B）フレームに対応するストリームを含んでおり、ストリームの復号化順序は、図４（ａ）に示すように、Ｉ、Ｐ、Ｂｓ、Ｂ、Ｂ、Ｐ、Ｂｓ，Ｂ、Ｂ、Ｐ、Ｂｓ、Ｂ、Ｂとなる。ここで、Ｂｓフレームは、他のＢフレームの符号化の際に参照されるフレームである。このため、Ｂｓフレームのストリームはこれを参照するＢフレームのストリームより先に復号化する必要があり、各フレームの表示タイミングは、２フレーム時間だけ遅れることとなる。従って、MPEG-4 AVCコーデック方式のストリームＭ４の復号化データを、MPEG-2コーデック方式に対応した１フレーム時間の遅延で表示しようとすると、コーデック方式の切り替わる部分で再生すべきデータが存在せず、表示が途切れることとなる。
そこで、連結ストリームに、MPEG-4 AVCコーデック方式に対応するストリームが含まれているか否かを判定し、MPEG-4 AVCコーデック方式のストリームが含まれている場合は、図４（b）に示すように、連結ストリームの再生時に各フレームの表示遅延時間を一律に２フレーム時間とすることにより、コーデック方式の切り替わる部分で表示が途切れるのを回避することができる。
また、図５は、MPEG-2コーデック方式に対応する符号化ストリームＭ２の後に、MPEG-4 AVCコーデック方式に対応する符号化ストリームＭ４ａが連結されている場合の表示タイミングの遅延について具体的に説明する図であり、Ｎ＝３の場合、つまりMPEG-4 AVCコーデック方式の符号化ストリームＭ４ａを復号化する際に、MPEG-2コーデック方式に対応したストリームではその表示タイミングを３フレーム分だけ遅延させる必要がある場合を示している。
図５（ａ）は、表示遅延時間が１フレーム分である場合、図５（ｂ）は、表示遅延時間がＮ（＝３）フレーム分である場合を示している。
例えば、MPEG-2コーデック方式の符号化ストリームＭ２では、上記と同様に、Ｉフレーム、Ｐフレーム、Ｂフレームに対応するストリームを含んでおり、ストリームの復号化順序は、図５（ａ）に示すように、Ｉ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂである。この場合、Ｂフレームは、表示順でその後方に位置するＰフレームを参照して予測符号化処理が施されるものであるため、Ｐフレームのストリームはこれを参照するＢフレームのストリームより先に復号化されることとなり、各フレームの表示タイミングは、１フレーム時間だけ遅れることとなる。
ところが、このMPEG-2コーデック方式のストリームＭ２にMPEG-4 AVCコーデック方式のストリームＭ４ａが連結されている場合は、各フレームの表示タイミングを、１フレーム時間だけ遅延させただけでは、図５（a）に点線の丸印で示すように、連結ストリームのコーデック方式がMPEG-2方式からMPEG-4 AVC方式に切り替わる部分で再生すべきデータが存在せず、表示が２フレーム分途切れることとなる。
つまり、MPEG-4 AVCコーデック方式のストリームＭ４ａでは、Ｉフレーム、Ｐフレーム、Ｂフレーム、Ｂｓフレームに対応するストリームを含んでおり、ストリームの復号化順序は、図５（ａ）に示すように、Ｉ、Ｐ、Ｂｓ、Ｂｓ、Ｂ、Ｂ、Ｂ、Ｐ、Ｂｓ、Ｂｓ、Ｂ、Ｂ，Ｂとなる。ここで、Ｂｓフレームは、他のＢフレームの符号化の際に参照されるフレームである。このため、Ｂｓフレームのストリームはこれを参照するＢフレームのストリームより先に復号化する必要があり、各フレームの表示タイミングは、３フレーム時間だけ遅れることとなる。従って、MPEG-4 AVCコーデック方式の符号化ストリームＭ４ａの復号化データを、MPEG-2コーデック方式に対応した１フレーム時間の遅延で表示しようとすると、コーデック方式の切り替わる部分で表示が２フレーム分途切れることとなる。
そこで、連結ストリームに、MPEG-4 AVCコーデック方式に対応するストリームＭ４ａが含まれているか否かを判定し、MPEG-4 AVCコーデック方式の符号化ストリームＭ４ａが含まれている場合は、図５（b）に示すように、連結ストリームの再生時に、表示遅延時間を３フレーム時間とすることにより、コーデック方式の切り替わる部分で表示が途切れるのを回避することができる。
このように、本実施の形態１では、２種類のコーデック方式のいずれかに対応する、画像符号化データであるストリームを複数連結してなる連結ストリームを再生する画像再生装置１００において、上記連結ストリームＣstを蓄積するストリームバッファ１０２と、種々のコーデック方式に対応した複数のデコーダＤｄ１〜Ｄｄｎを備え、ストリームバッファ１０２から出力された連結ストリームＢstにおける各画像符号化ストリームを復号化するデコーダを、該各画像符号化ストリームのコーデック方式に応じて、上記複数のデコーダのうちから選択するので、異なるコーデック方式のストリームを連結したコンテンツのシームレス再生が可能となる効果がある。
また、上記実施の形態１では、上記連結ストリームＣstを１つのバッファストリーム１０２に格納し、個々のストリームを該ストリームバッファ１０２から順次読み出して復号化するので、ストリームバッファ１０２のバッファ容量を有効に利用することができる効果がある。
また、上記実施の形態１では、上記ストリームバッファ１０２の占有量が所定の値になったとき、上記ストリームの復号化を開始するので、ストリームバッファ１０２でのアンダーフローを回避することが可能となる。
また、上記実施の形態１では、上記ストリームの復号化により得られた復号化データを１つのフレームバッファ１０６に格納するので、フレームバッファ１０６のバッファ容量を有効に利用することができる効果がある。
また、上記実施の形態１では、上記フレームバッファ１０６に格納されている復号化データを、表示時刻が古いものから順に表示するので、後方参照などを用いる予測符号化処理が施された画像データを正しく再生することができる効果がある。
また、上記実施の形態１では、上記復号化データを、その復号化タイミングに対して、連結ストリームにおける個々のコーデック方式のストリームのうちで最も大きな遅延を要するストリームの遅延時間以上遅延させて表示するので、連結ストリーム内に複数の種類のコーデック方式に対応したストリームが含まれる場合でも、途切れなく復号化データを再生することができる効果がある。
また、上記実施の形態１では、上記連結ストリームＣstに含まれる各ストリームのコーデック方式の種別に応じて、復号化データを表示する遅延時間を決定するので、連結ストリーム内にコーデック方式の異なる複数のストリームが含まれている場合でも、途切れなく復号化データを再生することができる効果がある。
また、上記実施の形態１では、上記連結ストリームＣstにMPEG-4 AVCコーデック方式のストリームが含まれる場合は、復号化データを表示する際の遅延時間をＮ（N≧2）フレームの表示に要する時間とし、上記連結ストリームＣstにMPEG-4 AVCコーデック方式のストリームが含まれない場合は、復号化データを表示する際の遅延時間を、１以上のフレームの表示に要する時間とするので、連結ストリームにMPEG-4 AVCコーデック方式のストリームが含まれる場合でも、途切れなく復号化データを再生することができる効果がある。
また、上記実施の形態１では、上記復号化データを表示する際の遅延時間を常にＮ（N=2）以上のフレームの表示に要する時間とすることにより、上記連結ストリームにMPEG-4 AVCコーデック方式のストリームが含まれている場合でも、復号化データを表示の途切れを確実に回避しつつ再生することができるという効果が得られる。
なお、上記実施の形態１では、表示制御部２４は、連結ストリームＣstに、MPEG-4 AVCコーデック方式のストリームを含むか否かに応じて、各フレームの表示タイミングの遅延時間を、１フレームに相当する時間、あるいはＮ（N≧2）フレームに相当する時間のいずれかに決定するものとしているが、表示制御部２４で各フレームの表示タイミングの遅延時間を決定する処理はこれに限るものではない。
例えば、図３（ｂ）は、表示制御部２４で、各フレームの表示タイミングを何フレーム遅延させるかを決定する処理の他の例を示している。
この例では、表示制御部２４は、システムデコーダ１０１からのコーデック情報Ｄcdに基づいて、システムデコーダ１０１から抽出された連結ストリームＣstに、MPEG-4 AVCコーデック方式のストリームを含むか否かを判定し（ステップＳ１１）、この判定の結果、連結ストリームＣstが、MPEG-4 AVCコーデック方式のストリームを含まないものである場合は、表示制御部２４は、コーデック情報Ｄcdに基づいて、連結ストリームＣstに、Ｂフレームを用いるコーデック方式のストリームを含むか否かを判定する（ステップＳ１３）。そして、ステップＳ１３での判定の結果、連結ストリームＣstに、Ｂフレームを用いるコーデック方式のストリームを含む場合は、各フレームの表示タイミングの遅延時間を、１フレームに相当する時間に決定する（ステップＳ１４）。一方、上記ステップＳ１３での判定の結果、連結ストリームＣstが、Ｂフレームを用いるコーデック方式のストリームを含まない場合は、各フレームの表示タイミングの遅延時間を、０フレームに相当する時間に決定する、つまり画像表示の際の遅延時間を０とする（ステップＳ１５）。
また、上記ステップＳ１１での判定の結果、連結ストリームＣstが、MPEG-4 AVCコーデック方式のストリームを含むものである場合は、表示制御部２４は、MPEG-4 AVCコーデック方式のストリームを再生する際に、表示タイミングを遅延させる必要がないか（Ｎ＝０）、その必要があるか（Ｎ＝０でない）を判定する（ステップＳ１２）。そして、ステップＳ１２での判定の結果、Ｎ＝０でない場合は、表示制御部２４は、各フレームの表示タイミングの遅延時間を、Ｎフレームに相当する時間に決定し（ステップＳ１６）、Ｎ＝０である場合は、表示制御部２４は、ステップＳ１３〜ステップＳ１５の処理を行って、画像表示における遅延時間を決定する。
（実施の形態２）
図６は、本発明の実施の形態２による画像再生装置を説明するための図である。
この実施の形態２の画像再生装置１００ａは、コーデック方式の異なる２つのストリームを連結してなる連結ストリームにおける先行ストリームの後尾部分と、該連結ストリームにおける後続ストリームの先頭部分とを並行して復号することで、連結されたコーデック方式の異なる２つのストリームを、表示が途切れることなくシームレスに再生することができるものである。
この実施の形態２の画像再生装置１００ａの構成は、基本的には実施の形態１のものと同一であるが、この実施の形態２におけるストリームバッファ１１１Ａ、システムデコーダ１０１Ａ、ストリームバッファ１０２Ａ、ストリーム入力制御部２２Ａ、及び表示制御部２４Ａは、実施の形態１のものとはその動作が異なるものである。
すなわち、上記システムデコーダ前段のストリームバッファ１１１Ａは、実施の形態１のものに比べて大きなバッファ容量を有しており、システムデコーダ１０１Ａからの制御信号Ｃhrにより、蓄積されているシステムストリームＳstをランダムにかつ高速で出力可能なものである。具体的には、上記システムデコーダ１０１Ａからの制御信号Ｃhrに基づいて、コーデック方式の異なる２つのストリームの連結部分前後の数フレーム分のストリームを高速で出力するものである。
ここで、上記制御信号Ｃhrは、コーデック方式の異なる前後のストリームの境界位置を示す情報と、先行ストリームの最終表示フレームと後続ストリームの先頭表示フレームとの間に何フレーム分の表示ギャップがあるかを示す情報とを含んでいる。
上記システムデコーダ１０１Ａは、ストリームバッファ１１１Ａから読み出されたシステムストリームＳstから、補助情報ＣＢbp，ＣＢfp，Ｄcd、並びに符号化ストリームＣstを抽出するとともに、ストリームバッファ１１１Ａに上記制御信号Ｃhrを出力し、先行ストリーム後尾の高速で出力された部分と、後続ストリーム先頭の高速で出力された部分とを多重化して、その後段のストリームバッファ１０２Ａに出力するものである。
ここで、上記システムデコーダ１０１Ａは、先行ストリームのデコード中に後続ストリームをバッファリング可能で、かつ先行ストリームと後続ストリームの両方を同時にデコード可能な構成となっている。このように、上記システムデコーダ１１０Ａでは、ストリームバッファ１０１Ａに蓄積されているストリームの先読みが必要なため、上記システムデコーダ１１０Ａの前段のストリームバッファの容量は、実施の形態１のものと比べて大きめに設定されている。
なお、この場合、オーディオストリームのシステムデコーダ（図示せず）も、その前段側に先読み用ストリームバッファを持つ構成とする。
また、上記システムデコーダ１０１Ａは、先行ストリームの後尾部と後続ストリームの先頭部とをどのように多重化したかを示す多重化情報ＣＢmuをストリーム入力制御部２２Ａに出力するものである。
上記ストリームバッファ１０２Ａは、該システムデコーダ１０１Ａから出力された符号化ストリームＣstを蓄積し、蓄積したストリームを順に出力するものである。ここで、ストリームバッファ１０２Ａは、蓄積したストリームを、該ストリームがバッファ１０２Ａに入力された時のビットレートと一致したビットレートで出力するものである。
上記ストリーム入力制御部２２Ａは、システムデコーダ１０１Ａからのコーデック境界バイト位置情報ＣＢbp及び多重化情報ＣＢmuと、バイトカウンタ１２からのカウント出力Ｂｃとに基づいて、入力側切替制御信号Ｓdiを入力側切替スイッチ１０４に出力するものである。入力側切替スイッチ１０４は、入力側切替制御信号Ｓdiに基づいて、ストリームバッファ１０２Ａからの出力ストリームＢstのMPEG2対応の部分がデコーダ[１]Ｄd1に入力され、該出力ストリームＢstのMPEG-4 AVC 対応の部分がデコーダ[２]Ｄd2に入力されるよう、入力ノードと出力ノードとの接続を切り替える。
また、この実施の形態２では、上記表示制御部２４Ａは、実施の形態１の表示制御部２４のように、連結ストリームに含まれるストリームのコーデック方式に応じて、連結ストリーム全体に対する表示遅延を決定し、該決定した表示遅延に対応する表示タイミング情報Ｔdisを出力するものではなく、各コーデック方式のストリームに応じた表示タイミングを示す表示タイミング情報Ｔdisを出力するものである。
次に動作について説明する。
この実施の形態２の画像再生装置１００ａの動作は、主に、システムデコーダ１０１Ａがその前段のストリームバッファ１１１Ａより、コーデック方式の異なるストリームの連結部前後の数フレーム分をランダムアクセスにより高速で読み出し、先行ストリームの後尾部分と後続ストリームの先頭部分とを並行して復号する点で、実施の形態１のものと異なるので、以下では、主にこの点について説明する。
コーデック方式の異なるストリームを連結してなる連結ストリームがストリーム読出し部１１０Ａにより読み出され、ストリームバッファ１１１Ａに蓄積され、ストリームバッファ１１１Ａのストリーム蓄積量が一定値以上となると、システムデコーダ１０１Ａは、ストリームバッファ１１１Ａから連結ストリームをシステムストリームＳstとして読出し、該システムストリームＳstから、補助情報ＣＢbp，ＣＢfp，Ｄcd、並びに符号化ストリームＣstを抽出する。また、このとき、システムデコーダ１０１Ａは、上記システムストリームのヘッダ部分に含まれる補助情報に基づいて、該連結ストリームにおけるコーデック方式の異なる前後のストリームの境界位置，及び先行ストリームの最終フレームと後続ストリームの先頭フレームとの間の表示ギャップの大きさを判定し、上記ストリーム境界位置を示す情報と上記表示ギャップの大きさを示す情報とを含む制御信号Ｃhrを、ストリームバッファ１１１Ａに出力する。
すると、ストリームバッファ１１１Ａは、上記連結ストリームを入力順に通常速度で出力する処理を、上記表示ギャップの大きさに相当するタイミングで、上記連結ストリームをランダムアクセスにより高速出力する処理に切り替える。この高速出力処理では、上記連結ストリームにおけるストリーム境界前後の数フレーム分がストリームバッファ１１１Ａから高速でシステムデコーダ１０１Ａに出力される。
システムデコーダ１０１Ａでは、このようにストリームバッファ１１１Ａから高速で出力された先行ストリームの後尾部分と後続ストリームの先頭部分とが入力されると、これらコーデック方式の異なるストリームの高速で出力された部分を多重化してストリームバッファ１０２Ａに出力する。
ストリームバッファ１０２Ａでは、システムデコーダ１０１Ａから出力されたストリームＣstを順次蓄積し、ストリームの蓄積量が一定以上になると、蓄積したストリームを、入力順にその入力レートと一致したレートで出力する。つまり、ストリームバッファ１０２Ａに通常レートで入力されたストリームは、通常レートで出力し、高速レートで入力されたストリームは、高速レートで出力する。
そして、ストリームバッファ１０２Ａから出力されたストリームＢstは、ストリーム入力制御部２２Ａにより制御される入力側切替スイッチ１０４を介して、コーデック方式の対応したデコーダに入力される。
各デコーダは、ストリームが入力されると、ストリームのデコーダを開始し、１フレーム分のストリームの復号が完了する度に、復号化データを該デコーダからフレームバッファ１０６に出力する。表示部１０７は、表示制御部２４ａからの表示タイミング情報Ｔdisに基づいて、フレームバッファ１０６に蓄積された復号化データを、表示時刻の早いものから順に表示する。
以下、システムデコーダ１０１Ａに入力されたシステムストリームＳstが、MPEG-2コーデック方式に対応する符号化ストリームＭ２の後に、MPEG-4 AVCコーデック方式に対応する符号化ストリームＭ４が連結されている連結ストリームである場合について、実施の形態２の画像再生装置の動作について具体的に説明する。
該両ストリームの連結部分で生じる表示ギャップの大きさは、１フレーム期間であるので、システムデコーダ１０２Ａは、MPEG-2符号化ストリームＭ２とMPEG-4 AVC符号化ストリームＭ４との連結部分では、その前段のストリームバッファからの高速読出しを行う必要があると判定し、ストリームバッファ１１１Ａは、システムデコーダ１０１Ａからの制御信号Ｃhrにより、MPEG-2符号化ストリームＭ２の最終フレーム部分と、MPEG-4 AVC符号化ストリームＭ４の先頭フレーム部分とをストリームバッファ１１１Ａから高速で読み出し、これら高速で読出した部分を多重化してストリームバッファ１０２Ａに出力する。
図７は、本実施の形態２の画像再生装置に、コーデック方式の異なるストリームを連結してなる連結ストリームが入力された場合のシステムデコーダ１０１Ａの動作を説明する図である。
まず、記録媒体から読み出された連結ストリームのヘッダ情報がシステムデコーダ１０１Ａに入力されると、該システムデコーダ１０１Ａは、該ヘッダ情報である補助情報に基づいて、先行ストリームと後続ストリームとの連結部分での表示ギャップを検知し、この表示ギャップが吸収されるようそれぞれのストリームのフレーム表示時刻を決定する（ステップＳ２１）。
次に、システムデコーダ１０１Ａは、各フレームを通常速度で復号した場合に各フレームの復号完了が各フレームの表示に間に合う復号開始タイミングを各フレームの復号時刻とする（ステップＳ２２）。
続いて、システムデコーダ１０１Ａは、後続ストリームの先頭復号フレームの復号時刻が、先行ストリームの最終復号フレームの復号時刻よりも遅いか否かを判定する（ステップＳ２３）。
この判定の結果、後続ストリームの先頭復号フレームの復号時刻が先行ストリームの最終復号フレームの復号時刻よりも遅いとき、システムデコーダ１０１Ａは、ストリームバッファ１１１Ａに制御信号Ｃhrは送らない。この場合は、連結ストリームの連結部前後で、ストリームバッファ１１１Ａからの読出しは通常の読出し速度で行われ、システムデコーダ１０１Ａは、先行ストリームのストリームバッファ１０２Ａへの入力が完了した後に、後続ストリームのストリームバッファへの入力を行う（ステップＳ２３）。
一方、上記ステップＳ２３での判定の結果、後続ストリームの先頭復号フレームの復号時刻が先行ストリームの最終復号フレームの復号時刻よりも遅くないとき、システムデコーダ１０１Ａは、ストリームバッファ１１１Ａに制御信号Ｃhrを送出する。この場合、連結ストリームの連結部前後でストリームバッファ１１１Ａからの読出しは通常の読出し速度より高速で行われ、システムデコーダ１０１Ａは、先行ストリームの高速で読み出された部分と後続ストリームの高速で読み出された部分とを所定の多重化方法により多重化してその後段のストリームバッファ１０２Ａに入力する（ステップＳ２４）。
図８は、上記先行ストリームと後続ストリームとを多重化する方法を説明する図である。
図８（ａ）は、連結ストリームの連結部前後でストリームの読出しが通常の読出速度で行われ、先行ストリームと後続ストリームの隣接部分は多重化せずに復号順にストリームバッファに入力する場合を示している。また、図８（ｂ）は、連結ストリームの連結部前後でストリームの読出しが高速で行われ、先行ストリームと後続ストリームの隣接部分を多重化してストリームバッファ１０２Ａに入力する場合を示している。
なお、ここでは、説明を簡単にするためにビットレートは固定である場合を示している。また、図中、Ｗ１，Ｗ２はストリームの転送速度を示している。
まず、図８（ｂ）に示すように、MPEG-2コーデック方式のストリームＭ２の復号の途中で、予め後続ストリームであるMPEG-4 AVCコーデック方式のストリームＭ４をデコードする。この場合は、デコーダにデータを並列入力できるように、システムデコーダ１０１Ａはストリームバッファ１１１Ａより２倍速以上での読み出しを行うことで、データの転送速度を上げてシステムデコーダ後段のストリームバッファ１０２Ａにデータを入力する。
即ち、予め後続ストリームをデコードする場合は、ほぼ並列してデータをデコーダに入力できるように先行ストリームの転送速度を上げる（タイミングｔ１）。次に、後続ストリームの１枚目のフレームが所定の復号時刻に復号できるように、先行ストリームと後続ストリームとを多重化する（タイミングｔ２）。後続ストリームの先頭フレームの入力が完了したら、通常の速度でMPEG-4 AVCコーデック方式のストリームＭ４をデコーダに入力する（タイミングｔ３）。
以後、通常の速度でMPEG-4 AVCコーデック方式のストリームＭ４を復号する。MPEG-2コーデック方式のストリームＭ２とMPEG-4 AVCコーデック方式のストリームＭ４との結合部分で、デコーダへのデータ入力を高速に行った分、図８（ｂ）に示す固定レートでデコーダへのデータ入力を行った場合、即ち、多重化を行わない場合に比べ、早くデータ入力が終了する（タイミングｔ４）。
図９はMPEG-2コーデック方式に対応する符号化ストリームＭ２の後に、MPEG-4 AVCコーデック方式に対応する符号化ストリームＭ４が連結されている場合、先行ストリームと後続ストリームの連結部分でシームレス再生が行われる様子を具体的に説明する図である。
MPEG-2符号化ストリームＭ２の後にMPEG-4 AVC符号化ストリームＭ４が連結されている場合、該両ストリームの連結部分を通常速度で読み出すと、図９（ａ）に示すように、該両ストリームの連結部分で１フレーム期間だけ表示が途切れることとなる。
これに対し、本実施の形態２のように、上記２つのストリームの境界の前後１フレーム分を、高速で読み出すことにより、図９（ｂ）に示すように、先行ストリームの最終表示フレームと後続ストリームの先頭表示フレームの２フレームに対する復号処理が、実質的に並行して行われ、該両ストリームの連結部分での１フレームの表示ギャップが吸収されることとなる。
これによりMPEG-2符号化ストリームＭ２にMPEG-4 AVC符号化ストリームＭ４を連結した連結ストリームのコーデック方式の切り替わる部分で表示が途切れるのを回避することができる。
このように、本実施の形態２によれば、先行ストリームがMPEG-2コーデック方式のストリームＭ２であり、後続ストリームがMPEG-4 AVCコーデック方式のストリームＭ４である場合に、後続ストリームの復号化開始を１フレーム分早めるので、MPEG-2コーデック方式のストリームＭ２の再生が終了した後、途切れることなくMPEG-4 AVCコーデック方式のストリームＭ４を再生することができる。また、連結ストリーム全体を通して、再生されたフレームの遅延を１フレーム分に収めることができる。
さらに、この実施の形態２の画像再生装置は、基本的にMPEG-4 AVCコーデック方式のストリームＭ４の読み出しさえ早く実行できれば実現可能であり、デコーダの復号能力は通常の速度のものを用いることが可能である。
なお、上記実施の形態２では、上記画像再生装置１００ａは、上記システムデコーダ前段のストリームバッファを、実施の形態１のものに比べて大きなバッファ容量を有し、かつ先行ストリームのデコード中に後続ストリームをバッファリング可能なものとし、システムデコードを２つのストリームをほぼ同時にデコード可能な構成としたが、上記画像再生装置１００ａは、このようなものに限らず、ストリーム読出部１１０Ａを、記録媒体に対するランダムアクセスによる高速読み出しが可能な構成としてもよい。この場合、システムデコーダ１０１Ａ及びその前段のストリームバッファ１１１Ａは、ストリームをその入力レートに応じたレートで出力するものとする。そして、この場合、ストリーム読出部では、先行ストリームの後尾部分と後続ストリームの先頭部分とを、それぞれ一定バイト毎に切り替えて読み出すことにより、これらの部分を多重化しながら読み出すことができる。
また、上記実施の形態２では、システムデコーダは、先行ストリームと後続ストリームの連結部前後を多重化してストリームバッファに出力するものとしているが、デコーダ[１]Ｄｄ１〜[Ｎ]Ｄｄｎが、１フレームの表示時間に少なくとも２フレーム以上のストリームをデコード可能な処理能力を持つものである場合は、先行ストリームと後続ストリームとの連結部前後を多重化する必要はない。
つまり、システムストリームが、MPEG-2対応のストリームＭ２の後に、MPEG-4 AVC対応のストリームＭ４が連結されているものである場合、該システムストリームをその連結部前後では通常の２倍以上の読出し速度でフレームバッファ１１１Ａから読み出すことにより、デコーダ[１]Ｄｄ１で先行ストリームの最終フレームをデコードし始めてから、デコーダ[２]Ｄｄ２で後続ストリームの先頭フレームをデコードし終わるまでの時間の合計は、１フレーム表示期間内に収まることとなり、デコーダ[１]Ｄｄ１での先行ストリームの最終フレームのデコードと、デコーダ[２]Ｄｄ２での後続ストリームの先頭フレームのデコーダとを並行して行う必要はなく、従って、先行ストリームの最終フレームと、デコーダ[２]Ｄｄ２での後続ストリームの先頭フレームとを多重化しておく必要がない。
（実施の形態３）
図１０は、本発明の実施の形態３による画像再生装置を説明するための図である。
この実施の形態３の画像再生装置１００ｂは、連結されたコーデック方式の異なる２つのストリームのうちの後続ストリームの先頭部分を高速で復号化することで、連結されたコーデック方式の異なる２つのストリームを、表示が途切れることなくシームレスに再生することができるものである。
この実施の形態３の画像再生装置１００ｂは、基本的に実施の形態１の画像再生装置１００と同一の構成を有するものであるが、ストリーム読出部１１０Ｂ、ストリームバッファ１１１Ｂ、システムデコーダ１０１Ｂ、ストリームバッファ１０２Ｂ、及びデコーダDd1B〜DdnBの構成が、実施の形態１のものとは異なっている。
すなわち、上記システムデコーダ前段のストリームバッファ１１１Ｂは、実施の形態１のものに比べて大きなバッファ容量を有しており、システムデコーダ１０１Ｂからの制御信号Ｃhrにより、蓄積されているシステムストリームＳstを高速に出力可能なものである。具体的には、ストリームバッファ１１１Ｂは、上記システムデコーダ１０１Ｂからの高速読出し制御信号Ｃhrに基づいて、連結されたコーデック方式の異なる２つのストリームのうちの後続ストリームの先頭部分を高速で出力するものである。
ここで、上記高速読出し制御信号Ｃhrは、コーデック方式の異なる前後のストリームの境界位置を示す情報と、先行ストリームの最終フレームと後続ストリームの先頭フレームとの間に何フレーム分の表示ギャップがあるかを示す情報とを含んでいる。
上記システムデコーダ１０１Ｂは、ストリームバッファ１１１Ｂから読み出されたシステムストリームＳstから、補助情報ＣＢbp，ＣＢfp，Ｄcd、並びに符号化ストリームＣstを抽出するとともに、ストリームバッファ１１１Ｂに上記高速読出し制御信号Ｃhrを出力し、ストリームバッファ１１１Ｂからのストリームの入力レートに応じて高速に動作するものである。つまり、システムデコーダ１０１Ｂは、後続ストリーム先頭の高速で読み出された部分を高速でストリームバッファ１０２Ｂに出力するものである。
上記システムデコーダ１０１Ｂ後段のストリームバッファ１０２Ｂは、該システムデコーダ１０１Ｂから出力された符号化ストリームＣstを蓄積し、蓄積したストリームを順に出力するものである。また、ストリームバッファ１０２Ｂは、システムデコーダ１０１Ｂからのストリームの入力レートに応じた速度でストリームを出力可能なものであり、後続ストリーム先頭の高速で読み出された部分は高速で出力するものである。
上記デコーダDd1B〜DdnBは、ストリームの入力レートに応じて高速動作するものであり、後続ストリーム先頭の高速で読み出された部分を高速でデコーダするものである。
上記表示制御部２４Ｂは、実施の形態１の表示制御部２４のように、連結ストリームに含まれるストリームのコーデック方式に応じて、連結ストリーム全体に対する表示遅延を決定し、該決定した表示遅延に対応する表示タイミング情報Ｔdisを出力するものではなく、各コーデック方式のストリームに応じた表示タイミングを示す表示タイミング情報Ｔdisを出力するものである。
このように、本実施の形態３では、システムデコーダ１０１Ｂ,ストリームバッファ１０２ＢおよびデコーダDd1B〜DdnBがデータ入力レートに応じて高速に動作するものであり、ストリームの入力レートに応じて、ストリームバッファやデコーダのスループットが変化するものである。
次に動作について説明する。
この実施の形態３の画像再生装置１００ｂは、連結されたコーデック方式の異なる２つのストリームのうちの後続ストリームの先頭部分を高速で読み出して高速で復号する動作以外は実施の形態１のものと同一であるので、以下、主に実施の形態１と異なる動作について説明する。
コーデック方式の異なるストリームを連結してなる連結ストリームがストリーム読出し部１１０Ｂにより読み出され、ストリームバッファ１１１Ｂに蓄積され、ストリームバッファ１１１Ｂのストリーム蓄積量が一定値以上となると、システムデコーダ１０１Ｂは、ストリームバッファ１１１Ｂから連結ストリームをシステムストリームＳstとして読出し、該システムストリームＳstから、補助情報ＣＢbp，ＣＢfp，Ｄcd、並びに符号化ストリームＣstを抽出する。また、このとき、システムデコーダ１０１Ｂは、上記システムストリームのヘッダ部分に含まれる補助情報に基づいて、該連結ストリームにおけるコーデック方式の異なる前後のストリームの境界位置，及び先行ストリームの最終フレームと後続ストリームの先頭フレームとの間の表示ギャップの大きさを判定し、上記ストリーム境界位置を示す情報と上記表示ギャップの大きさを示す情報とを含む高速読出し制御信号Ｃhrを、ストリームバッファ１１１Ｂに出力する。
すると、ストリームバッファ１１１Ｂは、上記連結ストリームを出力するレートを、上記表示ギャップの大きさに相当するタイミングで、通常レートから高速レートに切り替える。この高速読出し処理では、上記連結ストリームにおける後続ストリームの先頭部分が高速で読み出され、システムデコーダ１０１Ｂに出力される。
システムデコーダ１０１Ｂでは、このように高速で読み出された後続ストリームの先頭部分がストリームバッファ１１１Ｂから入力されると、その入力レートに応じたレートで後続ストリームの先頭部分をストリームバッファ１０２Ｂに出力する。
ストリームバッファ１０２Ｂでは、システムデコーダ１０１Ｂから出力されたストリームＣstを順次蓄積し、ストリームの蓄積量が一定以上になると、蓄積したストリームを、入力順にその入力レートと一致したレートで出力する。つまり、ストリームバッファ１０２Ｂに通常のレートで入力されたストリームは、通常レートで出力し、高速入力レートで入力されたストリームは、高速レートで出力する。
そして、ストリームバッファ１０２Ｂから出力されたストリームＢstは、実施の形態１と同様、入力側切替スイッチ１０４を介して、コーデック方式の対応したデコーダDd1B〜DdnBに入力される。
各デコーダDd1B〜DdnBは、ストリームが入力されると、入力されたストリームを入力レートに応じた速度で復号し、復号化データをフレームバッファ１０６に出力する。すると、表示部１０７は、表示制御部２４Ｂからの表示タイミング情報Ｔdisに基づいて、フレームバッファ１０６に蓄積された復号化データを、表示時刻の早いものから順に表示する。
以下、システムデコーダ１０１Ｂに入力されたシステムストリームＳstが、MPEG-2コーデック方式に対応する符号化ストリームＭ２の後に、MPEG-4 AVCコーデック方式に対応する符号化ストリームＭ４が連結されている連結ストリームである場合について、実施の形態３の画像再生装置の動作について具体的に説明する。
この場合、該両ストリームの連結部分で生じる表示ギャップの大きさは、１フレーム期間であるので、システムデコーダ１０１Ｂは、MPEG-2符号化ストリームＭ２とMPEG-4 AVC符号化ストリームＭ４との連結部分では高速読出しを行う必要があると判定する。
図１１は、本実施の形態３の画像再生装置にコーデック方式の異なるストリームを連結してなる連結ストリームが入力された場合のシステムデコーダ１０１Ｂの動作を説明する図である。
まず、記録媒体から読み出された連結ストリームのヘッダ情報がシステムデコーダ１０１Ｂに入力されると、該システムデコーダ１０１Ｂは、該ヘッダ情報である補助情報に基づいて、先行ストリームと後続ストリームとの連結部分での表示ギャップを検知し、この表示ギャップが吸収されるようそれぞれのストリームのフレームの表示タイミングを決定する（ステップＳ３１）。
次に、システムデコーダ１０１Ｂは、各フレームを通常速度で復号した場合に各フレームの復号完了が各フレームの表示に間う復号開始タイミングを各フレームの復号時刻とする（ステップＳ３２）。
続いて、システムデコーダ１０１Ｂは、該連結ストリームの後続ストリームの先頭復号フレームの復号時刻が、該連結ストリームの先行ストリームの最終復号フレームの復号時刻よりも遅いか否かを判定する（ステップＳ３３）。
この判定の結果、後続ストリームの先頭復号フレームの復号時刻が先行ストリームの最終復号フレームの復号時刻よりも遅いとき、システムデコーダ１０１Ｂは、ストリームバッファ１１１Ｂに高速読出し制御信号Ｃhrは送らない。この場合は、後続ストリームの先頭部分は通常レートでストリームバッファ１１１Ｂから出力され、システムデコーダ１０１Ｂは、連結ストリームのストリームバッファ１０２Ｂへの入力は、通常レートで行う（ステップＳ３５）。
一方、上記ステップＳ３３での判定の結果、後続ストリームの先頭復号フレームの復号時刻が先行ストリームの最終復号フレームの復号時刻よりも遅くないとき、システムデコーダ１０１Ｂは、ストリーム読出し部１１０ｂに高速読出し制御信号Ｃhrは送出する。この場合、後続ストリームの先頭部分（所定期間）の出力は通常レートより高速（Ｎ倍の速度）レートで行われ、システムデコーダ１０１Ｂは、後続ストリームの先頭部分を高速レートでストリームバッファ１０２Ｂに入力する（ステップＳ３４）。
図１２（ａ），（ｂ）は、MPEG-2対応のストリームＭ２の後に、MPEG-4 AVC対応のストリームＭ４が連結されている場合に、後続ストリームの先頭部分の高速復号により、これらのストリームの連結部分でシームレス再生が行われる様子を説明する図である。
図１２（a）は、MPEG-2対応のストリームＭ２とMPEG-4 AVC対応のストリームＭ４との連結部前後で、ストリームバッファからのストリームの読出しが通常の読出速度で行われる場合の各フレームの表示タイミングを示している。ここでは、MPEG-2コーデック方式に対応する符号化ストリームＭ２は、各フレームを１フレーム分遅延して表示するもの、MPEG-4 AVCコーデック方式に対応する符号化ストリームＭ４は、各フレームを２フレーム分遅延して表示するものである。
この場合は、MPEG-4 AVCコーデック方式のストリームＭ４の復号化データを、MPEG-2コーデック方式に対応した１フレーム時間の遅延で表示しようとすると、コーデック方式の切り替わる部分で再生すべきデータが存在せず、表示が途切れることとなる。
これに対し、本実施の形態３では、図１２（b）に示すように、連結ストリームの再生時に、MPEG-4 AVC対応のストリームの、図中点線の楕円で示した最初のＩ,Ｐ,Ｂｓ,Ｂフレームに相当する部分を２倍速等の高速で読出して、高速デコードを行うことにより、コーデック方式の切り替わる部分で表示が途切れるのを回避することができる。
このように、本実施の形態３によれば、コーデック方式の異なるストリームを連結してなる連結ストリームにおける後続ストリームの先頭部分を、高速で読み出して高速デコードするようにしたので、後続ストリームにおける表示遅延が先行ストリームにおける表示遅延より大きい場合でも、連結ストリームを、コーデック方式の異なる前後のストリームの境界部分で表示が途切れることなく再生することができる。また、連結ストリーム全体を通して、再生されたフレームの表示遅延を先行ストリームの表示遅延分に収めることができる。
なお、上記実施の形態３では、画像再生装置は、図１２（ｂ）に示すように、連結ストリームの再生時に、後続ストリームであるMPEG-4 AVC対応ストリームの、図中点線の楕円で示した最初のＩ,Ｐ,Ｂｓ,Ｂフレームに相当する部分を２倍速等の高速で読出すとともに、高速デコードを行うことにより、コーデック方式の切り替わる部分で表示が途切れるのを回避するものとしているが、画像再生装置は、図１２（ｃ）に示すように、連結ストリームの再生時に、先行ストリームであるMPEG-2対応ストリームを、図中点線の楕円で示した最後のＢ,Ｐ,Ｂ,Ｂフレームについて２倍速等の高速で読み出して、高速デコードすることにより、連結ストリームにおけるコーデック方式の切り替わる部分で表示が途切れるのを回避するものであってもよい。
また、上記実施の形態３の画像再生装置は、コーデック方式の異なる２つのストリームの連結部前後でストリームを高速で読み出して並行して復号化するものであってもよい。
この場合、先行ストリームのコーデック方式に対応するデコーダと、後続ストリームのコーデック方式に対応するデコーダとを高速に動作させるようにしてもよい。
具体的には、連結ストリームの再生時には、MPEG-4 AVC対応ストリームの最初の２フレーム（Ｉ,Ｐ）とMPEG-2対応ストリームの最後の２フレーム（Ｂ,Ｂ）とをそれぞれ２倍速等の高速で読み出して高速デコードすることとなる。
このように上記実施の形態３で説明した、コーデック方式の異なる前後のストリームをシームレスに再生可能な画像再生装置は、コーデック方式の異なる前後のストリームの一方の読み出しとデコードさえ高速化できれば実現可能なものである。
なお、この実施の形態３では、上記画像再生装置１００ｂは、上記システムデコーダ前段のストリームバッファを、そのバッファ容量を大きめに設定し、ストリームの高速レートでの出力を可能なものとしたが、上記画像再生装置１００ｂは、このようなものに限らず、ストリーム読出部１１０を、記録媒体に対する高速読み出しが可能な構成としてもよい。この場合、システムデコーダ及びその前段及び後段のストリームバッファは、ストリームをその入力レートに応じてレートで出力するものとする。
（実施の形態４）
図１３は、本発明の実施の形態４による画像再生装置を説明するための図である。
この実施の形態４の画像再生装置１００ｃは、連結されたコーデック方式の異なる２つのストリームの連結部では、先行ストリームの最終表示フレームの表示を繰り返すことにより、コーデック方式の異なる２つのストリームを表示の途切れなく再生することができるものである。
以下詳述すると、この実施の形態４の画像再生装置１００ｃは、基本的には実施の形態１の画像再生装置１００と同一の構成を有するものであるが、表示部１０７Ｃ及び表示制御部２４Ｃの構成が実施の形態１のものとは異なっている。
つまり、表示制御部２４Ｃは、実施の形態１の表示制御部２４のように、連結ストリームに含まれるストリームのコーデック方式に応じて、連結ストリーム全体に対する表示遅延を決定し、該決定した表示遅延に対応する表示タイミング情報Ｔdisを出力するものではなく、実施の形態２の表示制御部２４Ａと同様、再生するするストリームのコーデック方式に応じた表示タイミングを示す表示タイミング情報Ｔdisを出力するものである。
上記表示部１０７Ｃは、コーデック方式の異なる２つのストリームの連結部では、シームレス再生が行われるよう、先行ストリームの最終表示フレームの表示を繰り返すものであり、以下詳しく説明する。
図１４は、この実施の形態４の画像再生装置１００ｃにおける表示部１０７Ｃを説明する図であり、図１４（ａ）はブロック構成を示し、図１４（ｂ）は動作フローを示している。
ここで、上記表示部１０７Ｃは、入力ノードａ１と出力ノードａ２を有し、表示制御部２４Ｃからの表示タイミング情報Ｔdisに基づいて、入力ノードａ１と出力ノードａ２が接続された導通状態と、入力ノードａ１と出力ノードａ２が非接続となる非導通状態とが切り替わる開閉スイッチ１０７ａと、第１，第２の２つの入力ノードｃ１，ｃ２と１つの出力ノードｃ３とを有し、選択制御信号Ｃseに基づいて、第１の入力ノードｃ１と出力ノードｃ３とが接続された状態と、第２の入力ノードｃ２と出力ノードｃ３とが接続された状態とが切り替わる選択スイッチ１０７ｃとを有し、上記開閉スイッチ１０７ａの出力ノードａ２と上記選択スイッチ１０７ｃの１つの入力ノードｃ２とが接続されている。
また、上記表示部１０７Ｃは、開閉スイッチ１０７ａの出力ノードａ２と選択スイッチ１０７ｃの第１の入力ノードｃ１との間に接続された表示フレームバッファ１０７ｅと、開閉スイッチ１０７ａの出力に基づいて、該スイッチ１０７ａから各フレームの復号データが出力される間隔が所定の間隔より大きいか否かを判定し、判定結果に応じて上記選択制御信号Ｃseを選択スイッチ１０７ｃに出力する制御部１０７ｄと、上記選択スイッチ１０７ｃの出力ノードｃ３から出力された復号データを表示するディスプレイ１０７ｂとを有している。
次に動作について説明する。
この実施の形態４では、復号化データを表示する動作のみ実施の形態１のものと異なるので、以下、主に表示部１０７Ｃの動作について説明する。
この実施の形態４の画像再生装置１００ｃでは、記憶媒体Ｍからの連結ストリームの読出し及びデコードは実施の形態１と同様に行われ、各フレームの復号化データが順次フレームバッファ１０６に蓄積される。
そして、この実施の形態４では、表示制御部２４Ｃからの表示タイミング情報Ｔdisに基づいて表示部１０７Ｃの開閉スイッチ１０７ａが導通状態となる度に、フレームバッファ１０６内の、未表示フレームの復号化済データが表示時刻の古いものから順に表示部１０７Ｃ内に入力される。通常は、選択スイッチ１０７ｃでは、第２の入力ノードｃ２と出力ノードｃ３とが接続された状態となっており、このため、表示部１０７Ｃに入力された未表示フレームの復号化データは順次ディスプレイ１０７ｂで表示される。
ここで、上記表示タイミング情報Ｔdisは、復号化データのコーデック方式に応じた表示タイミングを示すものであり、コーデック方式の異なるストリームの連結部分を再生するときには、該連結部の前後で、表示部１０７Ｃにその前段のフレームバッファ１０６から復号化データが入力される時間間隔が変化することとなる。
制御部１０７ｄが、この復号化データが入力される時間間隔の変化を検知し、選択スイッチ１０７ｃにこれを制御する選択制御信号Ｃseを出力すると、選択スイッチ１０７ｃでは、第２の入力ノードｃ２と出力ノードｃ３との接続状態から、第１の入力ノードｃ１と出力ノードｃ３とが接続された状態に切り替わり、表示フレームバッファ１０７ｅに保持されている復号化データがディスプレイ１０７ｂに出力され、これが表示される。
図１４（ｂ）は、上記制御部１０７ｄの動作を説明するフローである。
上記制御部１０７ｄは、後続ストリームの先頭表示フレームと、先行ストリームの最終表示フレームの表示間隔が所定間隔を超過しているか否かを判定し（ステップＳ４１）、フレーム表示間隔が所定間隔を超えていると判定したときは、上記選択スイッチ１０７ｃを、その第１入力ノードｃ１が出力ノードｃ３につながるよう制御する（ステップＳ４３）。これによりディスプレイ１０７ｂでは、最近表示したフレームが再度表示されることとなる。
一方、上記制御部１０７ｄは、フレーム表示間隔が所定間隔を超えていないと判定したときは、上記選択スイッチ１０７ｃを、その第２入力ノードｃ２が出力ノードｃ３につながるよう制御する（ステップＳ４２）。これによりディスプレイ１０７ｂでは、表示タイミング情報Ｔdisが示すタイミングで、表示時刻が最も古い未表示のフレームが表示されることとなる。
図１５は、MPEG-2対応ストリームＭ２の後に、MPEG-4 AVC対応ストリームＭ４が連結されている場合に、先行ストリームの最終表示フレームの表示を繰り返すことにより、これらのストリームの連結部分でシームレス再生が行われる様子を説明する図である。
図１５（ａ）は、MPEG-2対応ストリームＭ２とMPEG-4 AVC対応ストリームＭ４との連結部で表示ギャップが発生する場合を示している。
ここでは、MPEG-2対応ストリームＭ２は各フレームを１フレーム分遅延して表示するものであり、MPEG-4 AVC対応ストリームＭ４は各フレームを２フレーム分遅延して表示するものである。
このため、MPEG-4 AVC対応ストリームＭ４の復号化データを、MPEG-2コーデック方式に対応した１フレーム時間の遅延で表示しようとすると、コーデック方式の切り替わる部分で再生すべきデータが表示部前段のフレームバッファ１０６内に存在せず、表示が途切れることとなる。
これに対し、本実施の形態４では、図１５（ｂ）に示すように、MPEG-4 AVC対応ストリーム最終表示フレームであるＰピクチャの表示を繰り返すことにより、連結ストリームにおけるコーデック方式の切り替わる部分で表示が途切れるのを回避することができる。
このように、本実施の形態４によれば、コーデック方式の異なるストリームを連結してなる連結ストリームにおける先行ストリームの最終表示フレームを、該先行ストリームに続く後続ストリームの先頭表示フレームの復号が完了するまで繰り返し表示するので、後続ストリームにおける表示遅延が先行ストリームにおける表示遅延より大きい場合でも、連結ストリームを、コーデック方式の異なる前後のストリームの境界部分で表示が途切れることなく再生することができる。
また、この実施の形態４では、表示部の制御により、コーデック方式の異なる２つの符号化ストリームの連結部分でのシームレスな表示を実現しているので、従来の画像再生装置における表示部以外のハードウエアの増加を招くことがないという効果もある。
（実施の形態５）
図１６は、本発明の実施の形態５による画像再生装置を説明するための図である。
この実施の形態５の画像再生装置１００ｄは、連結されたコーデック方式の異なる２つのストリームの連結部では、先行ストリームの最終表示フレームと後続ストリームの先頭表示フレームとの間に所定のフレームを挿入してこれらのフレームを表示することにより、コーデック方式の異なる２つのストリームを表示の途切れなく再生することができるものである。
以下詳述すると、この実施の形態５の画像再生装置１００ｄは、基本的には実施の形態１の画像再生装置１００と同一の構成を有するものであるが、表示部１０７Ｄ及び表示制御部２４Ｄの構成が実施の形態１のものとは異なっている。
つまり、表示制御部２４Ｄは、実施の形態１の表示制御部２４のように、連結ストリームに含まれるストリームのコーデック方式に応じて、連結ストリーム全体に対する表示遅延を決定し、該決定した表示遅延に対応する表示タイミング情報Ｔdisを出力するものではなく、実施の形態２の表示制御部２４Ａと同様、再生するストリームのコーデック方式に応じた表示タイミングを示す表示タイミング情報Ｔdisを出力するものである。
上記表示部１０７Ｄは、コーデック方式の異なる２つのストリームの連結部では、シームレス再生が行われるよう、先行ストリームの最終表示フレームと後続ストリームの先頭表示フレームとの間に所定のフレームを挿入してこれらのフレームを表示するものであり、以下詳しく説明する。
図１７は、この実施の形態５の画像再生装置１００ｄにおける表示部１０７Ｄを説明する図であり、図１７（ａ）は表示部のブロック構成を示し、図１７（ｂ）は表示部の動作フローを示している。
ここで、上記表示部１０７Ｄは、実施の形態４の表示部１０７Ｃにおける表示バッファ１０７ｅに代わる、所定のフレームの画像データを格納したデータベース１０７ｆを備えたものであり、この表示部１０７Ｄのその他の構成は、実施の形態４の表示部１０７Ｃのものと同一である。
次に動作について説明する。
この実施の形態５では、復号化データを表示する動作のみ実施の形態１のものと異なるので、以下、主に表示部１０７Ｄの動作について説明する。
この実施の形態５の画像再生装置１００ｄでは、記憶媒体Ｍからの連結ストリームの読出し及びデコードは実施の形態１と同様に行われて、各フレームの復号化データが順次フレームバッファ１０６に蓄積される。
そして、この実施の形態５では、表示制御部２４Ｄからの表示タイミング情報Ｔdisに基づいて表示部１０７Ｄの開閉スイッチ１０７ａが導通状態となる度に、フレームバッファ１０６内の、未表示フレームの復号化済データが古いものから順に表示部１０７Ｄ内に入力される。通常は、選択スイッチ１０７Ｄでは、第２の入力ノードｃ２と出力ノードｃ３とが接続された状態となっており、このため、表示部１０７Ｄに入力された未表示フレームの復号化データは順次ディスプレイ１０７ｂで表示される。
ここで、上記表示タイミング情報Ｔdisは、表示する復号化データのコーデック方式に対応した表示タイミングを示すものであり、コーデック方式の異なるストリームの連結部分を再生するときには、該連結部の前後で、表示部１０７Ｄにその前段のフレームバッファ１０６から復号化データが入力される時間間隔が変化することとなる。
制御部１０７ｄは、この復号化データが入力される時間間隔の変化を検知し、選択スイッチにこれを制御する選択制御信号Ｃseを出力すると、選択スイッチ１０７ｃでは、第２の入力ノードｃ２と出力ノードｃ３との接続状態から、第１の入力ノードｃ１と出力ノードｃ３とが接続された状態に切り替わり、データベース１０７ｆに保持されている所定のフレームの画像データがディスプレイ１０７ｂに出力され、これが表示される。
図１７（ｂ）は、上記表示部１０７Ｄ内の制御部１０７ｄの動作を説明するフローである。
上記制御部１０７ｄは、後続ストリームの先頭表示フレームと、先行ストリームの最終表示フレームの表示間隔が所定間隔を超過しているか否かを判定し（ステップＳ５１）、フレーム表示間隔が所定間隔を超えていると判定したときは、上記選択スイッチ１０７ｃを、その第１入力ノードｃ１が出力ノードｃ３につながるよう制御する（ステップＳ５３）。これによりディスプレイ１０７ｂでは、データベース１０７ｆに格納されている所定のフレームが表示されることとなる。
一方、フレーム表示間隔が所定間隔を超えていないと判定したときは、上記選択スイッチ１０７ｃを、その第２入力ノードｃ２が出力ノードｃ３につながるよう制御する（ステップＳ５２）。これによりディスプレイ１０７ｂでは、表示タイミング情報Ｔdisが示すタイミングで、表示時刻が最も古い未表示のフレームが表示されることとなる。
図１８は、MPEG-2対応ストリームＭ２の後に、MPEG-4 AVC対応ストリームＭ４が連結されている場合に、先行ストリームの最終表示フレームと後続ストリームの先頭表示フレームとの間に所定のフレームを挿入してこれらのフレームを表示することにより、コーデック方式の異なる２つのストリームを表示の途切れなく連続再生する様子を説明する図である。
図１８（ａ）は、MPEG-2対応ストリームＭ２とMPEG-4 AVC対応ストリームＭ４との連結部で表示ギャップが発生する場合を示している。ここでは、MPEG-2対応ストリームＭ２は各フレームを１フレーム分遅延して表示するものであり、MPEG-4 AVC対応ストリームＭ４は各フレームを２フレーム分遅延して表示するものである。
このため、MPEG-4 AVC対応ストリームＭ４の復号化データを、MPEG-2コーデック方式に対応した１フレーム時間の遅延で表示しようとすると、コーデック方式の切り替わる部分で再生すべきデータが表示部前段のフレームバッファ１０６内に存在せず、表示が途切れることとなる。
これに対し、本実施の形態５では、図１８（ｂ）に示すように、先行ストリームの最終表示フレームと後続ストリームの先頭表示フレームとの間に所定のフレームを挿入してこれらのフレームを表示することにより、コーデック方式の異なる２つのストリームを表示の途切れなく再生することができる。
例えば、連結ストリームの再生時に、MPEG-2対応ストリームの最終表示Ｐフレームを表示した後でMPEG-4対応ストリームの先頭表示Ｉフレームを表示する前に、所定のフレーム、例えば黒のフレームを表示することで、コーデック方式の切り替わる部分で表示が途切れるのを回避することができる。
ここで、挿入するフレームを黒のフレームとするのは、画面の変化が目立ちにくいからである。もちろん他の色、例えば暗いグレーやいわゆるブルースクリーンでもよい。また、所定の絵柄のフレームや前のフレームであってもよい。
このように、本実施の形態５によれば、コーデック方式の異なるストリームを連結してなる連結ストリームにおける先行ストリームの最終表示フレームと、該先行ストリームに続く後続ストリームの先頭表示フレームとの間に所定のフレームを挿入してこれらのフレームを表示するので、後続ストリームにおける表示遅延が先行ストリームにおける表示遅延より大きい場合でも、連結ストリームを、コーデック方式の異なる前後のストリームの境界部分で表示が途切れることなく再生することができる。
また、上記各実施の形態では、コーデック方式の異なるストリームを連結した連結ストリームは、先行ストリームの最終表示フレームがＰフレームであり、先行ストリームと後続ストリームの連結部で、先行ストリームのコーデック方式に対応したフレーム表示遅延と、後続ストリームのコーデック方式に対応したフレーム表示遅延との差分が、表示ギャップとなるものについて説明したが、上記連結ストリームは、ユーザの編集時の範囲指定により、先行ストリームの最終表示フレームがＩフレームやＰフレームでないものであってもよい。
図１９は、連結ストリームを構成する先行ストリーム及び後続ストリームがそれぞれ、MPEG-2対応ストリームＭ２及びMPEG-4 AVC対応ストリームＭ４であり、先行ストリームの最終表示フレームが、ユーザの編集によりＢフレームとなっている場合を示している。
このようにMPEG-2対応の先行ストリームの最終表示フレームがＢフレームである場合、連結ストリームの連結部での表示ギャップは、図１９（ａ）に示すように、２フレーム分となっており、MPEG-2対応の先行ストリームの最終表示フレームがＰフレームである場合の連結部での表示ギャップである１フレーム分より長くなる。
上記実施の形態５の画像再生装置１００ｄでは、表示部１０７Ｄ内の制御部１０７ｄは、後続ストリームの先頭表示フレームと、先行ストリームの最終表示フレームの表示間隔が所定間隔を超過しているか否かを判定し、このフレーム表示間隔が所定間隔を超えていると判定したときは、図１９（ｂ）に示すように、先行ストリームの最終表示フレームが表示された後、後続ストリームの先頭表示フレームが表示されるまでの間は、データベース１０７ｆに格納されている黒色画像のフレームが表示されるよう上記選択スイッチ１０７ｃを制御するので、図１９（ａ）に示す連結ストリームが入力された場合でも、コーデック方式の異なる前後のストリームをその境界部分で表示が途切れることなく再生することができる。
また、図２０は、連結ストリームを構成する先行ストリーム及び後続ストリームがそれぞれ、MPEG-4 AVC対応ストリームＭ４及びMPEG-2対応ストリームＭ２であり、先行ストリームの最終表示フレームが、ユーザの編集によりＢフレームとなっている場合を示している。
このようにMPEG-4 AVC 対応先行ストリームの最終表示フレームがＢフレームである場合、該先行ストリームの最終表示フレームがＰフレームである場合に連結部で表示フレームの重なりが発生するのとは逆に、前後のストリームの連結部では、図２０（ａ）に示すように、１フレーム分の表示ギャップが生じることとなっている。
上記実施の形態５の画像再生装置１００ｄでは、制御部１０７ｄは、後続ストリームの先頭表示フレームと、先行ストリームの最終表示フレームの表示間隔が所定間隔を超過しているか否かを判定し、このフレーム表示間隔が所定間隔を超えていると判定したときは、図２０（ｂ）に示すように、先行ストリームの最終表示フレームが表示された後、後続ストリームの先頭表示フレームが表示されるまでの間は、データベース１０７ｆに格納されている黒色画像のフレームが表示されるよう上記選択スイッチ１０７ｃを制御するので、図２０（ａ）に示す連結ストリームが入力された場合でも、コーデック方式の異なる前後のストリームの境界部分で表示が途切れることなく再生することができる。
また、図１９及び図２０の説明では、連結ストリームが、先行ストリームの最終表示フレームがＩフレームやＰフレームでないものである場合でも、実施の形態５の画像再生装置では、このような連結ストリームのシームレス再生が可能であることを示したが、このような連結ストリームのシームレス再生は、実施の形態１〜実施の形態４のいずれの画像再生装置であっても可能である。
つまり、実施の形態１の画像再生装置１００では、システムデコーダ１０１にて、先行ストリームのコーデック方式、後続ストリームのコーデック方式、及び先行ストリームの最終表示フレームの符号化タイプを検知して表示制御部２４に出力し、表示制御部２４でこれらのコーデック方式情報に基づいて、連結ストリームの連結部で表示ギャップが発生しないよう表示タイミング情報Ｔdisを表示部１０７に出力することにより、編集された先行ストリームを含む連結ストリームをシームレス再生することができる。
また、実施の形態２の画像再生装置１００ａでは、システムデコーダ１０１Ａがその前段のストリームバッファ１１１Ａから、連結ストリームの連結部で表示ギャップが発生しないタイミングで、連結ストリームの連結部前後の部分をランダムにかつ高速で読み出すことにより、編集された先行ストリームを含む連結ストリームをシームレス再生することができる。
また、実施の形態３の画像再生装置１００ｂでは、システムデコーダ１０１Ｂが、前段のストリームバッファ１１１Ｂから、連結ストリームの連結部で表示ギャップが発生しないタイミングで、連結ストリームの後続ストリームの先頭部分、あるいはその先行ストリームの後尾部分を高速で読出すことにより、編集された先行ストリームを含む連結ストリームをシームレス再生することができる。
また、実施の形態４の画像再生装置１００ｃでは、表示部１０７Ｃ内部の制御部１０７ｄが、後続ストリームの先頭表示フレームと、先行ストリームの最終表示フレームの表示間隔が所定間隔を超過しているか否かを判定し、フレーム表示間隔が所定間隔を超えていると判定したときは、最終表示フレームの次のフレームに対する表示タイミング情報が入力されるまで、フレームバッファ１０７ｅに格納されている画像データがディスプレイ１０７ｂに出力されるよう上記選択スイッチ１０７ｃを制御することにより、編集された先行ストリームを含む連結ストリームをシームレス再生することができる。
（実施の形態６）
図２１は、本発明の実施の形態６による画像再生装置を説明するための図である。
この実施の形態６の画像再生装置１００ｅは、コーデック方式の異なるストリームを連結してなる連結ストリームの再生では、先行ストリームの表示遅延が後続ストリームの表示遅延より大きい場合、先行ストリームと後続ストリームの境界前後で、フレームの表示タイミングが重なってしまうという課題を解決したものである。
この実施の形態６の画像再生装置１００ｅは、基本的には実施の形態１の画像再生装置１００と同一の構成を有するものであるが、表示制御部２４Ｅ及びフレームバッファ１０６Ｅの構成が実施の形態１のものとは異なっている。
つまり、この実施の形態６の表示制御部２４Ｅは、実施の形態１の表示制御部２４のように、連結ストリームに含まれるストリームのコーデック方式に応じて、連結ストリーム全体に対する表示遅延を決定し、該決定した表示遅延に対応する表示タイミング情報Ｔdisを出力するものではなく、各コーデック方式のストリームに応じた表示タイミングを示す表示タイミング情報Ｔdisを出力するものである。
また、この実施の形態６のフレームバッファ１０６Ｅは、各デコーダから復号化データが入力されると、該復号化データをフレーム毎にバッファ領域に書き込むとともに、入力された復号化データの表示時刻と、入力された復号化データを書き込んだバッファ領域のアドレスとを関連付けて管理し、後から入力された復号化データの表示時刻が、先に入力された復号化データの表示時刻と重なる場合は、後から入力された復号化データを、これと表示時刻が等しい先に入力された復号化データが書き込まれているバッファ領域に上書きする構成となっている。
次に動作について説明する。
この実施の形態６の画像再生装置１００ｅでは、記憶媒体Ｍからの連結ストリームの読出し及びデコードは、実施の形態１と同様に行われて、各フレームの復号化データが順次フレームバッファ１０６Ｅに蓄積される。
このときフレームバッファ１０６Ｅでは、デコーダからの復号化データが入力されると、該復号化データがフレーム毎にバッファ領域（図示せず）に書き込まれる。また、フレームバッファ１０６Ｅは、入力された復号化データの表示時刻と、入力された復号化データを書き込んだバッファ領域のアドレスとを関連付けて管理しており、後から入力された復号化データの表示時刻が、先に入力された復号化データの表示時刻と重なる場合は、後から入力された復号化データを、これと表示時刻が等しい先に入力された復号化データが書き込まれているバッファ領域に上書きする。
そして、この実施の形態６では、表示制御部２４Ｅからの表示タイミング情報Ｔdisに基づいて、表示部１０７の開閉スイッチ１０７ａが導通状態となる度に、フレームバッファ１０６Ｅ内の、未表示フレームの復号化データが古いものから順に表示部１０７内に入力され、表示部１０７に入力された未表示フレームの復号化データは順次ディスプレイ１０７ｂで表示される。
図２２（ａ）及び（ｂ）は、MPEG-4 AVC対応ストリームＭ４の後に、MPEG-2対応ストリームＭ２が連結されている場合に、フレームバッファ１０６Ｅでの書込み制御により、これらのストリームの連結部分でシームレス再生が行われる様子を説明する図である。
図２２（ａ）は、MPEG-4 AVC対応ストリームＭ４とMPEG-2対応ストリームＭ２との連結部で、先行ストリームの最終表示フレームの表示タイミングと、後続ストリームの先頭表示フレームの表示タイミングとが重なってしまう場合を示している。ここでは、MPEG-2対応ストリームＭ２は各フレームを１フレーム分遅延して表示するものであり、MPEG-4 AVC対応ストリームＭ４は、各フレームを、２フレーム分遅延して表示するものである。
このため、上記両ストリームの境界部分で、フレームの表示遅延量がMPEG-4 AVCに対応した２フレームからMPEG-2に対応した１フレームに切り替わると、コーデック方式の切り替わる部分の前後のフレームの表示タイミングが重なることとなる。
これに対し、この実施の形態６のフレームバッファ１０６Ｅでは、後続ストリームの先頭表示フレームの復号化データを、先行ストリームの最終表示フレームの復号化データの書き込まれているバッファ領域に上書きすることにより、先行ストリームの最終表示フレームの表示タイミングには、後続ストリームの先頭表示フレームが表示される。
このように、本実施の形態６によれば、連結ストリームにおけるストリーム境界部分で、後続ストリームの復号化データの表示時刻が、先行ストリームの復号化データの表示時刻と重なる場合は、後から入力された復号化データを、これと表示時刻が等しい先に入力された復号化データが書き込まれているバッファ領域に上書きするので、例えば、連結ストリームにおける先行ストリームがMPEG-4 AVC対応ストリームであり、その後続ストリームがMPEG-2対応ストリームであって、先行ストリームの最終表示フレームの表示タイミングと後続ストリームの先頭表示フレームの表示タイミングとが重なってしまう場合に、先行ストリームの最終表示フレームの表示をスキップし、後続ストリームの先頭表示フレームを表示することができ、このような先行ストリームの表示遅延が後続ストリームの表示遅延より大きい場合でもこれらのストリームの連結部分ではシームレスな再生を行うことができる。
なお、上記実施の形態６では、画像再生装置は、先行ストリームの最終表示フレームの表示タイミングと後続ストリームの先頭表示フレームの表示タイミングとが重なってしまう場合に、先行ストリームの最終表示フレームの表示をスキップして後続ストリームの先頭表示フレームを表示するものを示したが、この画像再生装置は、先行ストリームの最終表示フレームの表示タイミングと後続ストリームの先頭表示フレームの表示タイミングとが重なってしまう場合、先頭ストリームの最終表示フレームを表示して、後続ストリームの先頭表示フレームの復号化データを破棄するものでもよい。
つまり、先行ストリームであるMPEG-4対応ストリームＭ４の最終表示フレームＰを表示し、後続ストリームであるMPEG-2対応ストリームＭ２の先頭表示フレームＩを廃棄するようにしてもよい。
また、先行ストリームの最終表示フレームの表示タイミングと後続ストリームの先頭表示フレームの表示タイミングとが重なってしまう場合の対応は、表示タイミングが重なるフレームの一方のデータを破棄するものに限らず、例えば、図２２（ｃ）に示すように、先行ストリームＭ４の復号を終了した後、後続ストリームＭ２の復号を、前後のストリームで表示時間が重複するフレーム分だけ一時的に停止するようにしてもよい。
この場合、先行ストリームと後続ストリームの間でストリームの復号動作を停止する制御は、システムデコーダが行うこととなる。つまり、システムデコーダでは、連結ストリームにおける先行ストリームと後続ストリームのコーデック情報は、連結ストリームのデコード開始直後に判明するため、連結ストリームにおけるコーデック方式の切り替わり部分では、後続ストリームの復号を、前後のストリームで表示時間が重複フレーム分だけ一時停止することができる。
（実施の形態７）
図２３は、本発明の実施の形態７による画像再生装置を説明する図である。
この実施の形態７の画像再生装置１００ｆは、ユーザ操作により、記録媒体に記録されている１つの画像シーケンスあるいはその一部に対応するストリームをつなぎ合わせて再生するためのプレイリストを作成し、作成したプレイリストに従って、異なるストリームを連続して再生するものである。
この実施の形態７の画像再生装置１００ｆは、記録媒体Ｍからマルチメディアストリームを読み出して再生する構成は、基本的には実施の形態１のものと同一であるが、この実施の形態７の画像再生装置１００ｆは、実施の形態１の構成要素に加えて、ユーザインターフェース１３０と、ユーザ操作に基づいてプレイリストを作成し、該作成したプレイリストを保持する編集部１２０とを有している。なお、編集部１２０で作成したプレイリストは、編集部１２０で保持する代わりに、記録媒体Ｍに書き込むようにしてもよい。
ここで、ストリーム読出部１１０Ｆは、システムデコーダ１０１Ｆからの制御信号Ｃraに基づいて、ランダムアクセスによる記録媒体からのデータ読出しが可能なものであり、また、システムデコーダ１０１Ｆは、編集部１２０からの指令信号Ｃsdに基づいて、ストリーム読出部１１０Ｆをランダムアクセスによる読出しが行われるよう制御して、記録媒体Ｍからプレイリスト作成に必要な情報を取得し、この情報をプレイリスト作成用情報Ｄhdとして編集部１２０に出力するものである。さらに、システムデコーダ１０１Ｆの前段に位置するストリームバッファ１１１Ｆは、ストリーム読出部１１０Ｆにより読み出されたストリームＲｓを順次蓄積するもので、このストリームバッファ１１１Ｆに蓄積されたストリームは、システムデコーダ１０１Ｆにより読み出される。
また、上記ユーザインターフェース１３０は、ユーザの操作に応じた種々の操作信号を発生するものであり、例えば、プレイリストの編集を指令するプレイリスト編集指令信号Ｓupは編集部１２０に出力するものである。このユーザインターフェース１３０は、上記実施の形態１〜６では説明の簡略化のため図示していないが、本発明の実施の形態である画像再生装置はすべて、上記ユーザインターフェース１３０に相当する、ユーザ操作により操作信号を本画像再生装置の所要部分に出力するユーザ操作部を有している。
上記編集部１２０は、ユーザインターフェース１３０からのプレイリスト編集指令信号Ｓupに基づいて、システムデコーダ１０１Ｆに上記指令信号Ｃsdを出力するとともに、システムデコーダ１０１Ｆからのプレイリスト作成用情報Ｄhdに基づいてユーザの指定したプレイリストを作成するものである。ここで、この編集部１２０により作成されたプレイリストの情報は、上述したように編集部１２０で保持するようにしてもよいし、符号化ストリームが記録されている記録媒体Ｍに書き込むようにしてもよい。
図２４〜図２６は、この実施の形態７の編集部１２０で作成されるプレイリスト（再生制御データ）を説明する図である。
この実施の形態７の画像再生装置１００ｆで用いられるプレイリストは、図２８〜図３０で説明した、従来の画像再生装置で用いられるプレイリストの記述を拡張したものであり、以下、コーデック方式の異なる複数のストリームを管理するために拡張した記述部分について説明する。
図２４は、プレイリストを用いた再生方法（図（ａ）），プレイリストの記述例（図（ｂ）），及びアクセス情報の記述例（図（ｃ））を示している。
プレイリストを用いた再生では、図２４（ａ）に示すように、まず、プレイリストＰＬに基づいて、ストリームの再生すべき部分と、その再生順序を決定し、次に、プレイリストＰＬから参照されるアクセス情報に基づいて、上記決定した再生部分のアドレス位置を決定し、さらに、決定したアドレス位置から順に、ストリームの再生部分を取得して復号、再生する。
ここで、プレイリストＰＬは、どのストリームＳＴＲＭのどの部分をどのような順序で再生するかを指定するものであり、アクセス情報ＡＩ、つまり、プレイリストＰＬにより指定された再生部分のディスク上のアドレス位置を特定するための情報ＡＩ、を参照する。
例えば、図２４（ｂ）に示すプレイリストの記述例では、プレイリストは、アイテム１〜アイテム３として挙げられた３つのストリームを連続して再生することを示している。
アイテム１は、stream1.tsの0秒から60秒の範囲を再生すべきことを示している。
アイテム２は、stream2.tsの30秒から60秒の範囲を再生すべきことを示し、さらにアイテム１とアイテム２がシームレス接続可能であることを示している。
アイテム３は、stream3.tsの60秒から90秒の範囲を再生すべきことを示し、アイテム２とアイテム３がシームレス接続不可能であることを示している。
そして、この実施の形態７で用いるプレイリストＰＬには拡張部分ＰＬＡ，ＰＬＢ，及びＰＬＣが含まれている。つまり、拡張部分ＰＬＡには、“プレイリスト内のアイテムにおける最大遅延：３フレーム”と記述されており、これは、プレイリストＰＬにて示された複数のアイテムのうちで、表示遅延が最大であるアイテムの遅延時間は３フレーム分であることを意味している。拡張部分ＰＬＢは、アイテム２に関する拡張部分であり、“コーデックが異なり、フレーム遅延も異なる”と記述されており、アイテム１が示すストリームとアイテム２が示すストリームとの境界では、コーデックが切り替わり、かつフレーム表示遅延も切り替わることを示している。拡張部分ＰＬＢは、アイテム３に関する拡張部分であり、“画像サイズは異なるが、フレーム遅延は同一”と記述されており、これは、アイテム２が示すストリームとアイテム３が示すストリームとの境界では、画像サイズが切り替わり、かつフレーム表示遅延も切り替わることを示している。なお、拡張部分の情報としては、コーデックは異なるが、フレーム遅延は同一であるなどのケースについて示してもよい。
ここで、アクセス情報ＡＩは、各ストリーム毎に有しており、例えば、アイテム１のためのアクセス情報ＡＩは、属性情報とアクセステーブルを含んでいる。
例えば、stream1.tsのためのアクセス情報には、図２４（ｃ）に示すように、属性情報として、符号化方式がMPEG-4 AVCであることを示す情報、フレームレートが２４Hzであることを示す情報、及びフレーム遅延が２フレームであることを示す情報が含まれており、このフレーム遅延が２フレームであることを示す情報は、この実施の形態７で用いるプレイリストで追加された拡張部分ＡＩＡである。
さらに、stream1.tsのためのアクセス情報には、ランダムアクセス単位の先頭ピクチャ（復号順）のＰＴＳ（Presentation Time Stamp）とアドレス情報との関係を記録したテーブルが含まれている。
このように、実施の形態７で用いるプレイリストＰＬは、連続再生される各区間の接続ポイントの情報として、異なるコーデックのストリーム同士の接続点、及びフレーム遅延が異なるストリーム同士の接続点を示すものであるが、場合によっては、接続点において推奨する、フェードインやフェードアウトなどの再生方法などの情報を含むものであってもよい。
但し、実施の形態７で用いるプレイリストＰＬは、上述したものに限るものではなく、異なるコーデックのストリーム同士の接続点、及びフレーム遅延が異なるストリーム同士の接続点を示す情報の少なくとも一方を含むものであればよい。
また、実施の形態７で用いるプレイリストＰＬから参照されるアクセス情報は、ストリームの属性情報として、フレーム遅延を示す情報を含むものであるが、この属性情報は、アクセステーブルと同一のデータ単位として記録してもよいし、ファイルを分けるなど異なるデータ単位としてもよい。
次に、上記プレイリストの記録媒体におけるフォーマットの例を説明する。
図２５は、この実施の形態７で用いるＢＤ−ＲＥ（Rewritable）対応のプレイリストのフォーマットを説明する図であり、図２５（ａ）は、プレイリストと、該プレイリストが指定する再生部分との対応関係を示し、図２５（ｂ）は、そのプレイリストにおける記述内容を示し、図２５（ｃ）はプレイアイテムにおける記述内容を示している。
ここで、プレイリストＭＰＬ１〜ＭＰＬ４は、図２９に示す従来のプレイリストと同様、１以上のアイテムから構成されている。
そして、この実施の形態７で用いるプレイリストのプレイアイテムでは、現PlayItemの再生開始PTSを示すIN_timeと、その直前のPlayItemの再生終了PTS を示すOUT_timeにおける接続条件を示すフィールド（connection condition）ＰＩＡが拡張されており、このフィールドでは、コーデックの切り替わり、フレーム遅延の切り替わりなどの情報をあわせて示すことができる。
図２６は、図２５に示すクリップを説明する図であり、図２６（ａ）は、プレイリストと、クリップにおける該プレイリストが指定する再生部分との対応関係を示し、図２６（ｂ）は、アクセス情報内のストリーム属性情報（StreamCondingInfo）の記述内容を示している。なお、アクセス情報が格納されるファイルは、プレイアイテム（PlayItem）におけるファイル名（Clip_Information_file_name）により指定される。
ここで、プレイリストＭＰＬ11〜ＭＰＬ13は、図３０に示す従来のプレイリストと同様、１以上のアイテムから構成されている。
そして、この実施の形態７で用いるプレイリストでは、そのアクセス情報に含まれる属性情報（StreamCondingInfo）内の、例えば、リザーブされたフィールド「reserved」SCAにフレーム遅延を示す情報を記述することができる。
システムデコーダ１０１ｆは、プレイリストにおける、これら新たに追加された情報を参照することにより、同一記録媒体中に複数のコーデック方式によりエンコードされたストリームが混在する場合であっても、クリップ中の所望の範囲の再生が可能となる。
なお、この実施の形態７では、本発明のコーデック方式の異なるストリームのシームレス再生で用いるプレイリストとして、ＢＤに対応のものを示したが、このようなシームレス再生で用いるプレイリストは、ＨＤＤＶＤ、さらにはこれと同様のフォーマットのＤＶＤに対応のプレイリストを、本発明のコーデック方式の異なるストリームのシームレス再生が可能となるよう拡張することができる。
つまり、この実施の形態７の、プレイリストを用いてコーデック方式の異なるストリームを再生する方法は、ＤＶＤのプログラムチェーンにおけるセル（Cell）のように、ストリームへの飛び込み位置をＰＴＳではなく直接アドレスによって指定するフォーマットにおいても同様に適用できる。
ここでは、セルはＢＤにおけるプレイアイテムの役割を持つため、セルにより指定される再生区間同士でフレーム遅延が異なるなどの接続条件をセル内に記述してもよい。
次に動作について説明する。
この実施の形態７の画像再生装置１００ｆでは、ユーザがユーザインターフェース１３０によりプレイリストを作成する操作を行うと、ユーザインターフェース１３０は編集部１２０にプレイリスト作成を指令する指令信号Ｓupを出力する。すると、編集部１２０は、ユーザ操作に応じたプレイリストを作成し、該作成したプレイリストを保持する。
このとき、システムデコーダ１１０Ｆは、編集部１２０からの制御信号Ｃsdに基づいてストリーム読出部１１０Ｆにランダムアクセス制御信号Ｃraを出力し、ストリーム読出部１１０Ｆを、指定されたストリームがランダムアクセスにより記録媒体Ｍから読み出されるよう制御する。このとき、ユーザが表示部１０７に表示された画像を見ながらユーザインターフェースを操作することにより、この操作に対応した操作信号Ｓupが編集処理部１２０に出力され、編集処理部１２０は、該操作信号Ｓupと、システムデコーダからのデコード位置情報Ｄpsとに基づいて、ストリームの再生部分を決定する。
そして編集処理部１２０は、ユーザにより決定されたストリームの再生部分に基づいてプレイリスト作成して保持する。
その後、ユーザインターフェース１３０から、ユーザの操作により、作成したプレイリストに応じた再生を行う指示が入力されると、編集部１２０は、ユーザインターフェース１３０からの操作信号Ｓupに基づいて、システムデコーダ１０１Ｆにプレイリストに応じた再生を指令する制御信号Ｃsdを出力する。すると、ストリーム読出部１１０Ｆは、システムデコーダ１０１Ｆからの制御信号Ｃraに基づいて、プレイリストが示すストリームの再生部分をランダムアクセスにより読み出してストリームバッファ１１１Ｆに出力する。このストリームバッファ１１１Ｆに蓄積されたストリームは、順次システムデコーダ１０１Ｆに出力され、実施の形態１と同様に、コーデック方式の異なるストリームが順次再生されることとなる。
これにより、この実施の形態７の画像再生装置１００ｆでは、プレイリストに従って、コーデック方式の異なるストリームの指定された再生部分が順次表示される。
このとき、システムデコーダ１０１Ｆでは、プレイリスト内の表示遅延に関する情報ＰＬＡに基づいて、表示制御部２４にコーデック情報が出力され、表示制御部２４は、表示部１０７を、プレイリスト内のアイテムにおける最大フレーム遅延に一致した表示遅延量でもって、指定された再生部分の表示が行われるよう制御する。
このように、本実施の形態７によれば、プレイリスト中に、複数のコーデックによりエンコードされたストリームが混在する場合の管理情報を記述できるように、プレイリストの書式を拡張するようにしたので、同一の媒体中に複数のコーデックによりエンコードされたストリームが混在する場合であっても、コーデック方式の異なるストリームの所要部分を連続して再生することが可能となる。
なお、プレイリストに含まれるプレイアイテムの記述中に新たに追加するconnection conditionなどの、コーデック方式の異なるストリームの接続条件を示す情報は、プレイリストと同一の階層に埋め込んでも、プレイリストとは別の階層に埋め込んでもよく、また、同等の機能を記述するものであれば、他の手段であってもよい。
さらに、上記各実施の形態では、連結ストリームとして、MPEG-2方式のストリームとMPEG-4 AVC方式のストリームとを連結したものを示したが、連結ストリームに含まれるストリームは、他のコーデック方式のストリームであってもよい。特にVC-1（Video Codec 1）はMPEG-2方式のストリームと同様、復号の際に最大１フレームの遅延が発生するので、上記各実施の形態において、MPEG-2方式のストリームの代わりにVC-1方式のストリームを使用してもよく、上記各実施の形態と同様の効果を奏する。
また、上記各実施の形態では、連結ストリームは、MPEG-2やMPEG-4 AVC などのコーデック方式の異なるストリームを連結したものとしているが、MPEG-4 AVC方式のストリームは表示フレームの遅延時間が不定であるため、連結ストリームは、MPEG-4 AVC方式のストリームの、表示フレームの遅延時間の異なる部分同士を連結したものであってもよい。
即ち、MPEG-4 AVC方式のストリームは表示フレームの遅延時間が２フレーム以上（Ｎ≧２）に限られるものではなく、Ｎ＝０あるいは１になる場合もある。このため、MPEG-4 AVC方式のストリームの、表示フレームの遅延時間の異なる部分同士を連結した連結ストリームでは、ストリームが切り替わる部分で表示が途切れることがあるが、この表示途切れは上記各実施の方法と同様の方法で解決することが可能である。
また、上記各実施の形態では、記録媒体が光ディスクである場合についてのみ示したが、記録フォーマットが同様であれば、光磁気ディスク、ハードディスク等の各種磁気ディスクや、ＳＤメモリカード等の各種半導体メモリ装置、に適用することも可能である。
本発明の画像再生方法は、コーデック方式が異なる複数のストリームを連結した連結ストリームを、その復号化処理を各ストリームに対応するコーデック方式のものに切り替えて復号化することができるものであり、複数のコーデックをサポートしているＨＤ ＤＶＤやＢＤなどの記録媒体に記録されているストリームの再生を行う上で有用なものである。
図１は、本発明の実施の形態１による画像再生装置１００を説明するための図である。 図２は、上記実施の形態１の画像再生装置１００における表示部を説明するブロック図である。 図３は、上記実施の形態１の画像再生装置１００における画像表示の際の遅延時間を決定する動作の一例（図（ａ））及びその他の例（図（ｂ））を説明する図である。 図４は、上記実施の形態１の画像再生装置１００によるシームレス再生の一例（図（ｂ））を、表示の途切れの発生する再生の例（図（ａ））と対比して説明する図である。 図５は、上記実施の形態１の画像再生装置１００によるシームレス再生の他の例（図（ｂ））を、表示の途切れの発生する再生の例（図（ａ））と対比して説明する図である。 図６は、本発明の実施の形態２の画像再生装置１００ａを説明するための図である。 図７は、上記実施の形態２の画像再生装置１００ａによるシームレス再生動作を説明する図である。 図８は、上記実施の形態２の画像再生装置１００ａでコーデック方式の異なるストリームをその連結部分で多重化した場合（図（ｂ））を、該ストリームの連結部分での多重化を行わない場合（図（ａ））と対比して示す図である。 図９は、上記実施の形態２の画像再生装置１００ａによるシームレス再生の例（図（ｂ））を、表示の途切れの発生する再生の例（図（ａ））と対比して説明する図である。 図１０は、本発明の実施の形態３の画像再生装置１００ｂを説明するための図である。 図１１は、上記実施の形態３の画像再生装置１００ｂによるシームレス再生動作を説明する図である。 図１２は、上記実施の形態３の画像再生装置１００ｂによるシームレス再生の一例（図（ｂ））及び他の例（図（ｃ））を、表示の途切れの発生する再生の例（図（ａ））と対比して説明する図である。 図１３は、本発明の実施の形態４の画像再生装置１００ｃを説明するための図である。 図１４は、上記実施の形態４の画像再生装置１００ｃにおける表示部を説明する図であり、図（ａ）はその構成を示し、図（ｂ）はその動作を示している。 図１５は、上記実施の形態４の画像再生装置１００ｃによるシームレス再生の例（図（ｂ））を、表示の途切れの発生する再生の例（図（ａ））と対比して説明する図である。 図１６は、本発明の実施の形態５の画像再生装置１００ｄを説明するための図である。 図１７は、上記実施の形態５の画像再生装置１００ｄにおける表示部を説明する図であり、図（ａ）はその構成を示し、図（ｂ）はその動作を示している。 図１８は、上記実施の形態５の画像再生装置１００ｄによるシームレス再生の例（図（ｂ））を、表示の途切れの発生する再生の例（図（ａ））と対比して説明する図である。 図１９は、上記実施の形態５の画像再生装置１００ｄに入力される連結ストリームにおけるMPEG-2対応の先行ストリームの最終表示フレームがユーザの編集によりＢフレームとなっている場合（図（ａ））でも、この実施の形態５ではシームレス再生（図（ｂ））が可能であることを説明する図である。 図２０は、上記実施の形態５の画像再生装置１００ｄに入力される連結ストリームにおけるMPEG-4 AVC 対応の先行ストリームの最終表示フレームがユーザの編集によりＢフレームとなっている場合（図（ａ））でも、この実施の形態５ではシームレス再生（図（ｂ））が可能であることを説明する図である。 図２１は、本発明の実施の形態６の画像再生装置１００ｅを説明するための図である。 図２２は、上記実施の形態６の画像再生装置１００ｅによるシームレス再生の一例（図（ｂ））及び他の例（図（ｃ））を、表示タイミングの重なりの発生する再生の例（図（ａ））と対比して説明する図である。 図２３は、本発明の実施の形態７による画像再生装置１００ｆを説明する図である。 図２４は、上記実施の形態７の画像再生装置１００ｆにて用いられるプレイリストを説明する図であり、プレイリストを用いた再生方法（図（ａ））、そのプレイリストの記述例（図（ｂ））、及びアクセス情報における記述内容（図（ｃ））を示している。 図２５は、上記実施の形態７で用いるＢＤ−ＲＥ（Rewritable）対応のプレイリストのフォーマットを説明する図であり、プレイリストと、該プレイリストが指定する再生部分との対応関係（図（ａ））、そのプレイリストにおける記述内容（図（ｂ））、及びプレイアイテムにおける記述内容（図（ｃ））を示している。 図２６は、図２５に示すクリップを説明する図であり、プレイリストと、該プレイリストが指定する再生部分との対応関係（図（ａ））、プレイリストにおける記述内容（図（ｂ））、及びそのプレイリストにおける属性情報に相当するStreamCondingInfoの記述内容（図（ｃ））を示している。 図２７は、従来の画像再生装置２００を説明するための図である。 図２８は、従来の画像再生装置で用いられるプレイリストを説明するための図であり、プレイリストを用いた再生方法（図（ａ））、プレイリストにおける記述内容（図（ｂ））、及びアクセス情報の記述例（図（ｃ））を示している 図２９は、従来の画像再生装置で用いられるＢＤ−ＲＥ（Rewritable）対応のプレイリストのフォーマットを説明する図であり、プレイリストと、該プレイリストが指定する再生部分との対応関係（図（ａ））、プレイリストにおける記述内容（図（ｂ））、及びプレイアイテムにおける記述内容（図（ｃ））を示している。 図３０は、図２９に示すクリップを説明する図であり、プレイリストと、該プレイリストが指定する再生部分との対応関係（図（ａ））、及びそのプレイリストにおける属性情報に相当するStreamCondingInfoの記述内容（図（ｂ））を示している。
符号の説明
１１ クロックカウンタ
１２ バイトカウンタ
１３ フレームカウンタ
２１ 復号開始制御部
２２ ストリーム入力制御部
２３ 画像出力制御部
２４，２４Ｄ 表示制御部
１００，１００ａ〜１００ｆ 画像再生装置
１０１，１０１Ａ〜１０１Ｃ，１０１Ｄ，１０１Ｅ，１０１Ｆ システムデコーダ
１０２，１０２Ａ，１０２Ｂ，１１１ ストリームバッファ
１０３ 開閉スイッチ
１０４ 入力側切替スイッチ
１０５ 出力側切替スイッチ
１０６，１０６Ｅ フレームバッファ
１０７，１０７Ｃ，１０７Ｄ 表示部
１０７ａ 開閉スイッチ
１０７ｂ ディスプレイ
１０７ｃ 選択スイッチ
１０７ｄ 制御部
１０７ｅ フレームバッファ
１０７ｆ データベース
１１０，１１０Ａ，１１０Ｂ ストリーム読出部
１２０ 編集部
１３０ ユーザーインターフェース
ＡＩ アクセス情報
ＡＩＡ アクセス情報に追加する情報
ａ１，ａ２ ノード
Ｂｃ，ＣＬｃ，Ｆｃ カウント出力
Ｂｄ バッファ出力データ
Ｂst バッファ出力ストリーム
Ｃ１，Ｃ２，Ｃ３ クリップ
ＣＢbp コーディック境界バイト位置情報
ＣＢfp コーディック境界フレーム位置情報
Ｃhr 読出制御信号
Ｃsd システムデコーダ制御信号
Ｃse 選択制御信号
Ｃst 符号化ストリーム
ｃ１ 第１の入力ノード
ｃ２ 第２の入力ノード
ｃ３ 出力ノード
Ｄbo バッファ占有量情報
Ｄcd コーディック情報
Ｄd1，Ｄd2，Ｄd3，・・・，Ｄdn，Ｄd1B，Ｄd2B，Ｄd3B，・・・，ＤdnB デコーダ
Ｄrd 読出情報
Ｍ 記録媒体
ＭＰＬ１，ＭＰＬ２，ＭＰＬ３，ＭＰＬ４ ムービープレイリスト
ＰＩ，ＰＩ１，ＰＩ２，ＰＩ３，ＰＩ４，ＰＩ５，ＰＩ６，ＰＩ７ プレイアイテム
ＰＩＡ プレイアイテムに追加する情報
ＰＬ プレイリスト
ＰＬＡ，ＰＬＢ プレイリストに追加する情報
Ｓｄ 復号化データ
Ｓdi 入力側切替制御信号
Ｓdo 出力側切替制御信号
Ｓst システムストリーム
Ｔdec 復号開始タイミング情報
Ｔdis 表示タイミング情報

Claims (17)

  1. コーデック方式が異なる複数の符号化ストリームを連結してなる連結ストリームを再生する画像再生方法であって、
    前記連結ストリームにおける符号化ストリームの連結位置を検知する位置検知ステップと、
    前記連結ストリームにおけるコーデック方式が異なる個々の符号化ストリームを復号化する復号化ステップと、
    前記符号化ストリームの復号化により得られた画像データを表示する表示ステップとを含み、
    前記復号化ステップでは、前記検知した符号化ストリームの連結位置にて、コーデック方式を、復号化の対象となる符号化ストリームに対応したコーデック方式に切り替え、
    前記表示ステップでは、前記復号化データを、その復号化タイミングを基準として、前記連結ストリームにおける、画像表示を行う際に最も大きな遅延を要する部分の遅延時間以上遅延させて表示する、
    ことを特徴とする画像再生方法。
  2. 前記復号化ステップでは、前記連結ストリームを１つのストリームバッファに格納し、該ストリームバッファから読み出された連結ストリームを復号化する、
    ことを特徴とする請求項１記載の画像再生方法。
  3. 前記復号化ステップでは、前記ストリームバッファの占有量が所定の値になったとき、前記連結ストリームの復号化を開始する、
    ことを特徴とする請求項２記載の画像再生方法。
  4. 前記復号化ステップでは、前記連結ストリームの復号化により得られた復号化データを１つのフレームバッファに格納する、
    ことを特徴とする請求項１記載の画像再生方法。
  5. 前記フレームバッファに格納されている復号化データを、表示時刻が古いものから順に画像表示する表示ステップをさらに含む、
    ことを特徴とする請求項４記載の画像再生方法。
  6. 前記表示ステップでは、前記連結ストリームに含まれる個々の符号化ストリームに対応するコーデック方式の種別に応じて画像表示を行う際の表示遅延時間を決定する、
    ことを特徴とする請求項１記載の画像再生方法。
  7. 前記表示ステップでは、前記連結ストリームにMPEG-4 AVC方式に対応する符号化ストリームが含まれる場合は、画像表示をＮフレーム以上遅延し、前記連結ストリームにMPEG-4 AVC方式に対応する符号化ストリームが含まれない場合は、画像表示を１フレーム以上遅延する、
    ことを特徴とする請求項６記載の画像再生方法。
  8. 前記表示ステップでは、画像表示を常にＮフレーム以上遅延する、
    ことを特徴とする請求項１記載の画像再生方法。
  9. 前記連結ストリームを構成する先行ストリームの表示遅延時間を増加する、
    ことを特徴とする請求項１記載の画像再生方法。
  10. 前記連結ストリームを構成する先行ストリームを復号化する期間と該連結ストリームを構成する後続ストリームを復号化する期間とを一部で重複させる、
    ことを特徴とする請求項１記載の画像再生方法。
  11. 前記連結ストリームを構成する後続ストリームの一部を復号化する動作を他の部分を復号化する動作より高速化する、
    ことを特徴とする請求項１記載の画像再生方法。
  12. 前記連結ストリームを構成する先行ストリームの一部を復号化する動作を他の部分を復号化する動作より高速化する、
    ことを特徴とする請求項１記載の画像再生方法。
  13. 前記連結ストリームを構成する先行ストリームの最終表示フレームの表示を繰り返す、
    ことを特徴とする請求項１記載の画像再生方法。
  14. 前記連結ストリームを構成する先行ストリームの最終表示フレームと、該先行ストリームに続く後続ストリームの先頭表示フレームとの間で、所定のフレームを表示する、
    ことを特徴とする請求項１記載の画像再生方法。
  15. 前記連結ストリームを構成する先行ストリームと後続ストリームとの連結部前後で、該先行ストリームのフレームを表示する期間と該後続ストリームのフレームを表示する期間とが重複する場合、
    前記表示期間が重なる先行ストリームのフレームと後続ストリームのフレームのいずれかの復号化データを廃棄する、
    ことを特徴とする請求項１記載の画像再生方法。
  16. 前記連結ストリームを構成する先行ストリームと後続ストリームとの連結部前後で、該先行ストリームのフレームを表示する期間と該後続ストリームのフレームを表示する期間とが重複する場合、
    前記先行ストリームを復号化した後、前記後続ストリームの復号化動作を一時停止する、
    ことを特徴とする請求項１記載の画像再生方法。
  17. コーデック方式が異なる複数の符号化ストリームを連結してなる連結ストリームを再生する画像再生装置であって、
    前記連結ストリームにおける符号化ストリームの連結位置を検知する位置検知手段と、
    前記連結ストリームにおけるコーデック方式が異なる個々の符号化ストリームを復号化する復号化手段と、
    前記符号化ストリームの復号化により得られた画像データを表示する表示手段とを備え、
    前記復号化手段は、前記検知した符号化ストリームの連結位置にて、コーデック方式を、復号化の対象となる符号化ストリームに対応したコーデック方式に切り替え、
    前記表示手段は、前記復号化データを、その復号化タイミングを基準として、前記連結ストリームにおける、画像表示を行う際に最も大きな遅延を要する部分の遅延時間以上遅延させて表示する、
    ことを特徴とする画像再生装置。
JP2006531983A 2004-09-01 2005-09-01 画像再生方法及び画像再生装置 Expired - Fee Related JP4780617B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006531983A JP4780617B2 (ja) 2004-09-01 2005-09-01 画像再生方法及び画像再生装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004254741 2004-09-01
JP2004254741 2004-09-01
JP2006531983A JP4780617B2 (ja) 2004-09-01 2005-09-01 画像再生方法及び画像再生装置
PCT/JP2005/016004 WO2006025489A1 (ja) 2004-09-01 2005-09-01 画像再生方法及び画像再生装置

Publications (2)

Publication Number Publication Date
JPWO2006025489A1 JPWO2006025489A1 (ja) 2008-05-08
JP4780617B2 true JP4780617B2 (ja) 2011-09-28

Family

ID=36000138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006531983A Expired - Fee Related JP4780617B2 (ja) 2004-09-01 2005-09-01 画像再生方法及び画像再生装置

Country Status (4)

Country Link
US (1) US8233781B2 (ja)
JP (1) JP4780617B2 (ja)
CN (1) CN101010952A (ja)
WO (1) WO2006025489A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101215615B1 (ko) * 2006-01-10 2012-12-26 삼성전자주식회사 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치
US20080025408A1 (en) * 2006-07-31 2008-01-31 Sam Liu Video encoding
US7920603B2 (en) * 2006-10-30 2011-04-05 Broadcom Corporation Method and system for switching elementary streams on a decoder with zero delay
JP4763589B2 (ja) * 2006-12-18 2011-08-31 株式会社日立製作所 再生装置、および、その再生方法
JP4398987B2 (ja) 2007-03-19 2010-01-13 株式会社東芝 マルチデコーダ装置及び方法
US8392942B2 (en) * 2008-10-02 2013-03-05 Sony Corporation Multi-coded content substitution
JP4764488B2 (ja) * 2009-03-16 2011-09-07 株式会社東芝 デコード装置およびデコード方法
CN102884788B (zh) * 2010-04-28 2016-06-08 富士通株式会社 动态图像输出装置、动态图像输出方法以及动态图像输出程序
US20130084053A1 (en) * 2011-10-04 2013-04-04 Utc Fire & Security Corporation System to merge multiple recorded video timelines
JP6037630B2 (ja) 2012-03-16 2016-12-07 三菱電機株式会社 再生装置並びに再生装置の制御方法及び制御プログラム
JP5891975B2 (ja) 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
CN104412608B (zh) * 2012-07-10 2018-03-06 索尼公司 图像解码装置、图像解码方法、图像编码装置及图像编码方法
JP5800287B2 (ja) * 2012-10-22 2015-10-28 カシオ計算機株式会社 電子機器、動画再生装置、動画デコード方法、及びプログラム
KR101347827B1 (ko) 2013-07-22 2014-01-10 주식회사 알엠 Ｍｐｅｇ-ｔｓ 신호 처리부의 능동형 오디오 코덱 변경 방법 및 장치
US11483365B2 (en) * 2019-01-31 2022-10-25 British Telecommunications Public Limited Company Methods and apparatus for the encoding of audio and/or video data

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865687A (ja) * 1994-07-22 1996-03-08 Hewlett Packard Co <Hp> 圧縮ビデオ・データの伸張システム
JPH10191257A (ja) * 1996-10-31 1998-07-21 Matsushita Electric Ind Co Ltd ディジタル動画像復号化装置、及びディジタル動画像復号化方法
JP2001078151A (ja) * 1999-06-29 2001-03-23 Matsushita Electric Ind Co Ltd ディジタル復号化方法
JP2002290973A (ja) * 2001-03-28 2002-10-04 Mitsubishi Electric Corp マルチメディア通信装置
JP2002335528A (ja) * 2001-05-08 2002-11-22 Nec Microsystems Ltd 動画像復号化装置及び方法
JP2003204550A (ja) * 2002-01-07 2003-07-18 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
JP2004128774A (ja) * 2002-10-01 2004-04-22 Pioneer Electronic Corp 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2268656B (en) * 1992-07-03 1995-10-18 British Broadcasting Corp Synchronising signal separator
JP3496907B2 (ja) * 1996-05-24 2004-02-16 株式会社日立国際電気 音声・動画像符号化データ検索方法及び検索装置
TW361046B (en) * 1996-10-31 1999-06-11 Matsushita Electric Ind Co Ltd Dynamic picture image decoding apparatus and method of decoding dynamic picture image
MY115908A (en) * 1997-09-17 2003-09-30 Matsushita Electric Ind Co Ltd Video data editing apparatus, optical disc for use as a recording medium of a video data editing apparatus, and computer-readable recording medium storing an editing program
US6104757A (en) * 1998-05-15 2000-08-15 North Carolina State University System and method of error control for interactive low-bit rate video transmission
US6473558B1 (en) * 1998-06-26 2002-10-29 Lsi Logic Corporation System and method for MPEG reverse play through dynamic assignment of anchor frames
CN1555195A (zh) * 1999-06-29 2004-12-15 松下电器产业株式会社 数字解码方法
EP1156674A1 (en) * 2000-05-19 2001-11-21 THOMSON multimedia Method and device for decoding a video data stream in special reproduction modes
JP2002368636A (ja) * 2001-06-07 2002-12-20 Matsushita Electric Ind Co Ltd Ｆｍ多重放送受信装置
US20040125204A1 (en) * 2002-12-27 2004-07-01 Yoshihisa Yamada Moving picture coding apparatus and moving picture decoding apparatus
WO2004036908A1 (ja) * 2002-10-17 2004-04-29 Matsushita Electric Industrial Co., Ltd. データ処理装置
JP2004187051A (ja) * 2002-12-04 2004-07-02 Pioneer Electronic Corp 情報記録媒体、情報再生装置及び方法、並びにコンピュータプログラム
KR100604032B1 (ko) * 2003-01-08 2006-07-24 엘지전자 주식회사 복수 코덱을 지원하는 장치와 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865687A (ja) * 1994-07-22 1996-03-08 Hewlett Packard Co <Hp> 圧縮ビデオ・データの伸張システム
JPH10191257A (ja) * 1996-10-31 1998-07-21 Matsushita Electric Ind Co Ltd ディジタル動画像復号化装置、及びディジタル動画像復号化方法
JP2001078151A (ja) * 1999-06-29 2001-03-23 Matsushita Electric Ind Co Ltd ディジタル復号化方法
JP2002290973A (ja) * 2001-03-28 2002-10-04 Mitsubishi Electric Corp マルチメディア通信装置
JP2002335528A (ja) * 2001-05-08 2002-11-22 Nec Microsystems Ltd 動画像復号化装置及び方法
JP2003204550A (ja) * 2002-01-07 2003-07-18 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
JP2004128774A (ja) * 2002-10-01 2004-04-22 Pioneer Electronic Corp 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造

Also Published As

Publication number Publication date
JPWO2006025489A1 (ja) 2008-05-08
US20070292110A1 (en) 2007-12-20
US8233781B2 (en) 2012-07-31
WO2006025489A1 (ja) 2006-03-09
CN101010952A (zh) 2007-08-01

Similar Documents

Publication Publication Date Title
JP4780617B2 (ja) 画像再生方法及び画像再生装置
KR100637291B1 (ko) 인코딩된 에이/브이 시퀀스의 프레임의 정확한 편집
US8528027B2 (en) Method and apparatus for synchronizing data streams containing audio, video and/or other data
JP4937280B2 (ja) データ記録方法、データ編集方法およびデータ復号方法、並びにその装置、及び記録媒体
US20060110111A1 (en) Editing of real time information on a record carrier
JPWO2005015907A1 (ja) データ処理装置
JP4906344B2 (ja) オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法
KR19980081054A (ko) 부호화 장치 및 방법, 복호장치 및 방법, 편집 방법
JPWO2009060682A1 (ja) 映像情報記録方法及び映像情報再生装置
US20030175011A1 (en) Reproduction apparatus
JP3718498B2 (ja) 動画像記録再生方法
JP2002176623A (ja) ビデオデータの択一的な再生が可能なマルチメディアストリーム生成方法とマルチメディア光ディスクオーサリングシステム
JP4348920B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP4964414B2 (ja) 記録された多重再生経路ビデオデータの再生を管理するためのデータ構造を有する記録媒体とそれによる記録及び再生方法及び装置
JP4322216B2 (ja) データ記録方法
JP2006005955A (ja) 動画像記録再生装置及び記録媒体
JP2006229767A (ja) 多重化ストリームの記録方法及び記録再生方法
MXPA00001917A (en) Frame-accurate editing of encoded a/v sequences

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110613

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20110613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110629

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees