JPWO2010001609A1 - 符号化ストリーム再生装置及び符号化ストリーム再生方法 - Google Patents

符号化ストリーム再生装置及び符号化ストリーム再生方法 Download PDF

Info

Publication number
JPWO2010001609A1
JPWO2010001609A1 JP2010518929A JP2010518929A JPWO2010001609A1 JP WO2010001609 A1 JPWO2010001609 A1 JP WO2010001609A1 JP 2010518929 A JP2010518929 A JP 2010518929A JP 2010518929 A JP2010518929 A JP 2010518929A JP WO2010001609 A1 JPWO2010001609 A1 JP WO2010001609A1
Authority
JP
Japan
Prior art keywords
encoded
picture
stream
unit
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010518929A
Other languages
English (en)
Other versions
JP5258885B2 (ja
Inventor
征永 関
征永 関
津田　賢治郎
賢治郎 津田
重里　達郎
達郎 重里
裕樹 小林
裕樹 小林
増野　貴司
貴司 増野
賀津雄 西郷
賀津雄 西郷
島崎　浩昭
浩昭 島崎
千葉　琢麻
琢麻 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010518929A priority Critical patent/JP5258885B2/ja
Publication of JPWO2010001609A1 publication Critical patent/JPWO2010001609A1/ja
Application granted granted Critical
Publication of JP5258885B2 publication Critical patent/JP5258885B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8045—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10629—Data buffering arrangements, e.g. recording or playback buffers the buffer having a specific structure
    • G11B2020/10657—Cache memories for random data access, e.g. buffers wherein the data output is controlled by a priority parameter other than retention time
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10759—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data content data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B2020/10935—Digital recording or reproducing wherein a time constraint must be met
    • G11B2020/10944—Real-time recording or reproducing, e.g. for ensuring seamless playback of AV data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

大きな処理能力を必要とせずに、複数の符号化ストリームの再生を円滑に切り替える。複数の符号化ストリームの１つを再生する符号化ストリーム再生装置（１００）であって、複数の符号化ストリームの１つを選択する出力選択部（１０９）と、選択された第１符号化ストリームと選択されていない第２符号化ストリームとを読み出すデータ読出し部（１０２）と、第１符号化ストリームに含まれる第１符号化ピクチャを復号化する復号化処理部（１０４）と、第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、第１符号化ストリームから第２符号化ストリームに円滑に表示を切り替えるための第２符号化ピクチャを、第２符号化ストリームから検出する対応データ検出部（１０３）とを備え、復号化処理部（１０４）は、さらに、検出された第２符号化ピクチャ、及び、第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する。

Description

本発明は、符号化ストリーム再生装置及び符号化ストリーム再生方法に関し、特に、比較的低い処理能力で複数の符号化ストリームの再生を円滑に切り替える符号化ストリーム再生装置及び符号化ストリーム再生方法に関する。
近年、デジタル映像処理技術の発展とともに、扱われる画像データは増加の一途を辿っており、画像符号化による画像データの圧縮符号化は必須となっている。代表的な符号化規格には、ＭＰＥＧ−２（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２）やＨ．２６４／ＡＶＣ（Ｈ．２６４／Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などがある。
これらの符号化規格では、所定数のピクチャをグループとして管理して符号化することが多い。ＭＰＥＧ−２におけるピクチャの管理単位であるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造の一例を図７に示す。ＧＯＰは、他のピクチャを参照することなく符号化を行うＩピクチャ、表示順で前方のピクチャを参照して予測符号化を行うＰピクチャ、表示順で双方向のピクチャを参照して予測符号化を行うＢピクチャと呼ばれるピクチャで構成される。
また、ＭＰＥＧ−２やＨ．２６４／ＡＶＣで符号化された画像データを記録するＢＤ−ＲＯＭ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録フォーマットには、マルチアングル機能が用意されている。マルチアングル機能とは、同じ時間に撮影された複数の符号化ストリームのそれぞれを復号化することで得られる複数の映像を切り替えて再生する機能である。
図８は、同じ時間に複数の符号化ストリームが撮影された場合の各符号化ストリームの時間関係を表す図である。図８に示すように、任意のタイミングで再生中の符号化ストリームである第１ストリームから他の符号化ストリームである第２ストリームに切り替える場合について説明する。
この場合、他の符号化ストリームの次の時刻のピクチャを復号化するには、そのピクチャよりも表示順で前方にあるＩピクチャから符号化ストリームの読出しを行い、復号化を始める必要がある。また、Ｈ．２６４／ＡＶＣ規格では、Ｐピクチャ及びＢピクチャの符号化時にＩピクチャを超えて他のピクチャを参照し符号化することが可能である。このため、さらにＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャまで遡って符号化ストリームの読み出しを行い、復号化を行う必要がある。なお、ＩＤＲピクチャとは、自ピクチャよりも前のピクチャを参照して符号化しないと定められたピクチャである。
このように、符号化ストリームを切り替えようとしてから実際に符号化ストリームが切り替わるまでにタイムラグが発生し、シームレスな符号化ストリーム切り替えは実現できない。そこで、複数のストリームの映像を切り替えた際に、瞬時にシームレスな再生を実現するための技術が開示されている（例えば、特許文献１参照）。
以下では、図９を参照しながら、特許文献１に開示されている従来の画像復号化装置の動作の概要を説明する。なお、図９は、同じ時間に撮影されて得られた２つの符号化ストリームが記録されている場合の従来の画像復号化装置４００の機能的な構成を示す機能ブロック図である。例えば、記録媒体４０１には、図８に示すような２つの符号化ストリームが記録されている。
まず、データ読出し部４０２によって記録媒体４０１より読み出された２つの符号化ストリームは、逆多重化部４０３によって第１ストリームと第２ストリームとに分離される。第１ストリームは第１画像復号化部４０４によって、第２ストリームは第２画像復号化部４０５によって復号化され、画像蓄積部４０６に保持される。出力選択部４０８は、操作受付部４０９によって受け付けたユーザーの操作をもとに出力ストリームを選択する。出力切り替え部４０７は、出力選択部４０８によって選択されたストリームを表示部４１０に出力し、表示部４１０がストリームに含まれる映像を表示する。
ユーザーからの出力ストリーム変更の操作を操作受付部４０９が受け付けた場合、出力選択部４０８はその操作情報に基づいて、出力ストリームとして選択するストリームを切り替える。ここで、２つのストリームはともに第１画像復号化部４０４及び第２画像復号化部４０５によって復号化された後、画像蓄積部４０６に保持されているため、出力の切り替えを瞬時に行うことができる。
特開２００６−２１７６３４号公報
しかしながら、上記従来技術では、複数の符号化ストリームの再生を円滑に切り替えるためには大きな処理能力を必要とするという課題があった。具体的には、以下の通りである。
特許文献１で開示されている従来の技術では、複数の符号化ストリームを同時に復号化する必要がある。このため、Ｎ本の符号化ストリームのシームレスな切り替えを実現するためには、１本の符号化ストリームのみの復号化に対応した復号化装置に比べて、Ｎ倍の復号化能力が必要とされる。また、画像を保持するバッファもＮ倍の容量が必要となる。
また、図１０に示すように、撮影時のフレームレートが異なる複数の符号化ストリームがある場合を想定する。図１０は、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で撮影された符号化ストリームと２４０ｆｐｓで撮影された符号化ストリームとが同時に撮影された場合に得られた各符号化ストリームの時間関係を表す図である。
この場合、特許文献１で開示されている従来の技術を用いてシームレスに符号化ストリームの切り替えを実現しようとすると、２つの符号化ストリームの時間関係を合わせるためには２４０ｆｐｓで撮影された符号化ストリームに関しては２４０ｆｐｓで復号化する必要がある。つまり、Ｎ倍速のフレームレートで撮影された符号化ストリームに関してはＮ倍速での復号化が必要である。
以上のように、従来の技術を用いてシームレスに符号化ストリームの切り替えを実現するためには、復号化装置に大きな処理能力が必要とされた。
そこで、本発明は、このような従来の課題を解決するためになされたもので、大きな処理能力を必要とすることなく、複数の符号化ストリームの再生を円滑に切り替える符号化ストリーム再生装置及び符号化ストリーム再生方法を提供することを目的とする。
上記目的を達成するために、本発明に係る符号化ストリーム再生装置は、複数の符号化ストリームの１つを再生する符号化ストリーム再生装置であって、前記複数の符号化ストリームの１つを選択する選択部と、前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する。
これにより、第１符号化ストリームを再生中に、第２符号化ストリームから第２符号化ピクチャを検出し、検出した第２符号化ピクチャ及び第３符号化ピクチャを復号化するので、複数の符号化ストリームの再生を円滑に切り替えることができる。このとき、第２符号化ストリームの全てのピクチャを復号化する訳ではないので、復号化部に大きな処理能力を必要とすることはない。
また、前記符号化ストリーム再生装置は、さらに、前記復号化部によって復号化された復号化ピクチャを蓄積する蓄積部と、前記選択部によって選択された符号化ストリームから生成された復号化ピクチャを前記蓄積部から読み出して出力する出力部とを備え、前記出力部は、前記選択部が前記第２符号化ストリームを選択した時、出力中の第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されて得られた第２復号化ピクチャを出力してもよい。
これにより、符号化ストリームの切り替えを行うときに出力中の第１符号化ピクチャに対応する第２復号化ピクチャを出力するので、円滑に複数の符号化ストリームの再生を切り替えることができる。
また、前記復号化部は、前記選択部が前記第２符号化ストリームを選択した時、前記出力部が出力していた第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されていない場合に、当該第２符号化ピクチャを復号化することで前記第２復号化ピクチャを生成してもよい。
これにより、出力時に目的となる復号化ピクチャが得られていない場合は、復号化してから出力するので、円滑に複数の符号化ストリームの再生を切り替えることができる。
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
これにより、出力中の復号化ピクチャの表示時刻から所定期間内の表示時刻の符号化ピクチャを検出及び復号化するので、より円滑に複数の符号化ストリームの再生を切り替えることができる。
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近い時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
これにより、出力中の復号化ピクチャの直後のピクチャを出力することができるので、シームレスに複数の符号化ストリームの再生を切り替えることができる。
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降、前記第１符号化ストリーム又は前記第２符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
これにより、より円滑に複数の符号化ストリームの再生を切り替えることができる。
また、前記第１符号化ストリームのフレームレートは、前記第２符号化ストリームのフレームレートより低く、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、前記表示時刻から、前記第１符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
これにより、より円滑に複数の符号化ストリームの再生を切り替えることができる。
また、前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャである場合、当該第２符号化ピクチャを復号化してもよい。
これにより、第２符号化ピクチャが参照ピクチャではない場合は第２符号化ピクチャを復号化しないので、復号化部の処理負荷をより低減することができる。
また、前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャではなく、かつ、前記第３符号化ピクチャが復号化されていない場合、当該第３符号化ピクチャを復号化してもよい。
これにより、第２符号化ピクチャが参照ピクチャではない場合は第２符号化ピクチャを復号化せず、第２符号化ピクチャの復号化時に参照される第３符号化ピクチャを復号化するので、第３符号化ピクチャを参照する符号化ピクチャの復号化が必要になった時に、直ちに符号化ピクチャを復号化することができる。
なお、本発明は、符号化ストリーム再生装置として実現できるだけではなく、当該符号化ストリーム再生装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−ＲＯＭ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ−ＲＯＭ）、ＢＤ−ＲＯＭなどの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
また、上記の各符号化ストリーム再生装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
本発明の符号化ストリーム再生装置によれば、大きな処理能力を必要とすることなく、複数の符号化ストリームの再生を円滑に切り替えることができる。
図１は、本実施の形態の符号化ストリームの一例であるＭＰＥＧ２−ＴＳの構成を示す図である。 図２は、本実施の形態の符号化ストリーム再生装置の機能的な構成の一例を示すブロック図である。 図３は、本実施の形態の符号化ストリーム再生装置が再生する複数のストリームの一例を示す図である。 図４は、本実施の形態の符号化ストリーム再生装置が再生する複数のストリームの一例を示す図である。 図５は、本実施の形態の符号化ストリーム装置の再生動作の一例を示すフローチャートである。 図６は、本実施の形態の符号化ストリーム装置の再生動作のうち、再生中でない符号化ストリームの復号化処理の一例を示すフローチャートである。 図７は、ＧＯＰ構造の一例を示す図である。 図８は、同一のフレームレートの２つの符号化ストリームの時間関係を示す図である。 図９は、従来の画像復号化装置の機能的な構成を示すブロック図である。 図１０は、異なるフレームレートの２つの符号化ストリームの時間関係を示す図である。
以下、本発明に係る符号化ストリーム再生装置の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本実施の形態の符号化ストリーム再生装置は、外部又は内部に着脱可能に配置された記録媒体に記録された複数の符号化ストリームの１つを再生する。具体的には、記録媒体から複数の符号化ストリームを読み出し、読み出した符号化ストリームの復号化を行い、復号化により得られた復号化ピクチャをディスプレイなどの外部装置に出力する構成を想定する。
まず、本実施の形態において、符号化ストリーム再生装置が記録媒体から読み出す符号化ストリームについて図面を参照しながら説明する。なお、本実施の形態においては、記録媒体からＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）で多重化された符号化ストリームを読み出す構成で記述するが、ＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）などの多重化方式を利用する構成でも構わない。また、符号化ストリームに含まれる画像データは、Ｈ．２６４／ＡＶＣを用いて符号化されているものとするが、画像データに適用される符号化方式は、例えば、ＭＰＥＧ−２、ＶＣ−１など、どのような符号化方式を用いても構わない。
（ＭＰＥＧ２−ＴＳの構成）
図１は、本実施の形態の符号化ストリームの一例であり、記録媒体に記録されるＭＰＥＧ２−ＴＳの構成を示す図である。図１に示すＭＰＥＧ２−ＴＳは、ＴＳパケット１１と呼ばれる固定長のパケットで構成される。ＴＳパケット１１により、映像や音声のデータが格納されたＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット１２、及び、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）１３と呼ばれる基準クロック情報などが伝送される。
ＰＥＳパケット１２のＰＥＳパケットヘッダ１４には、ＰＥＳパケットペイロード１５に格納された映像や音声の復号化単位であるアクセスユニットの表示及び復号化タイミングをそれぞれ表すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、及び、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）と呼ばれる時刻情報が格納される。
また、映像データの各アクセスユニットには１ピクチャ分の符号化データが含まれている。具体的には、符号化ストリームに含まれるピクチャの画像データと、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）やＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）などの画像復号化に用いられるパラメータと、各ピクチャのタイミング情報などの付加情報を含むＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）などの情報を格納した複数のＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニット１６という単位のデータで、各アクセスユニットは構成される。また、各ＮＡＬユニット１６のヘッダには、そのＮＡＬユニットに他のＮＡＬユニットから参照され得るデータが含まれているか否かを示す情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）が含まれている。
以下、本実施の形態における符号化ストリーム再生装置について図面を参照しながら説明する。
（符号化ストリーム再生装置１００の構成）
図２は、本実施の形態の符号化ストリーム再生装置１００の構成の一例を示すブロック図である。同図の符号化ストリーム再生装置１００は、記録媒体１０１と、データ読出し部１０２と、対応データ検出部１０３と、復号化処理部１０４と、復号画像蓄積部１０５と、出力部１０６と、制御部１０７と、操作受付部１０８と、出力選択部１０９とを備える。
本実施の形態においては、再生するストリームとして選択されている符号化ストリームをＡストリーム、その他の符号化ストリームをＢストリームと記載する。符号化ストリーム再生装置１００の動作当初は、再生するストリームとしてＡストリームが選択されており、その後、ユーザー操作などに基づいて、再生するストリームがＡストリームからＢストリームに変更される。
以下では、図３に示すような６０ｆｐｓのフレームレートを有するＨ．２６４規格で符号化された符号化ストリームがＡストリームとして選択され、２４０ｆｐｓのフレームレートを有するＨ．２６４規格で符号化された符号化ストリームがＢストリームとして選択されている場合について説明する。
記録媒体１０１は、複数の符号化ストリームを蓄積することが可能な記録手段である。記録媒体１０１には、例えば、図３に示すＡストリームとＢストリームとが記録されている。記録媒体１０１に記録されている情報は、主に符号化ストリームであるが、静止画データや音楽データなど、どのようなデータを蓄積する構成にしてもよい。また、記録媒体１０１は、符号化ストリーム再生装置１００が内蔵するメモリなどであってもよく、又は、ＤＶＤ−ＲＡＭ、ＢＤ−ＲＡＭ、ＳＤメモリカードなどの着脱可能な記録媒体であってもよい。
データ読出し部１０２は、出力選択部１０９によって選択された符号化ストリームと、出力選択部１０９によって選択されていない符号化ストリームとを取得する取得部の一例である。具体的には、データ読出し部１０２は、記録媒体１０１に記録された複数の符号化ストリームのうち、再生中の符号化ストリームであるＡストリームと、他の符号化ストリームであるＢストリームとを記録媒体１０１から読み出す。例えば、データ読出し部１０２は、内部バッファ１１０を備え、制御部１０７の制御に基づいて、記録媒体１０１に記録されるＡストリーム及びＢストリームから１ピクチャ分に相当する画像データの読出しを行い、内部バッファ１１０に蓄積する。
内部バッファ１１０は、制御部１０７が画像データの読出しを行う際に利用され、読み出された画像データを一時的に記憶するメモリである。内部バッファ１１０に一時的に記録される情報は、主に符号化された画像データであるが、制御信号などを記録するようにしても構わない。内部バッファ１１０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）、フラッシュメモリ、又は強誘電体メモリなどの記録可能な手段であればどのようなものを用いても構わない。
対応データ検出部１０３は、出力部１０６から出力されているＡストリームに含まれる復号化ピクチャの時刻情報に基づいて、ＡストリームからＢストリームに時間的に滑らかに表示を切り替えるための対応符号化ピクチャをＢストリームから検出する。例えば、対応データ検出部１０３は、出力部１０６から出力されているＡストリームに対応する復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有する符号化ピクチャを、対応符号化ピクチャとしてＢストリームから検出する。
予め定められた期間は、例えば、Ａストリーム又はＢストリームの連続する符号化ピクチャ間を示す期間、すなわち、Ａストリーム又はＢストリームのフレームレートの逆数が示す期間である。図３に示すように、Ａストリーム及びＢストリームのフレームレートが異なっている場合、フレームレートが低いＡストリームの連続するピクチャ間に含まれるピクチャを対応符号化ピクチャとしてＢストリームから検出する。
例えば、図３に示す例では、Ｉピクチャ２０１に対応する対応データが表すピクチャ（対応符号化ピクチャ）は、Ｉピクチャ２０７からＢピクチャ２０４の間に含まれる４枚のピクチャである。あるいは、Ｉピクチャ２０１に対応する対応データが表すピクチャは、同時刻のＩピクチャ２０７であってもよい。
本実施の形態では、より好ましい例として、対応データ検出部１０３は、出力部１０６から出力されているＡストリームに含まれる復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近接する時刻を示す時刻情報を有する符号化ピクチャを、対応符号化ピクチャとして検出する。具体的には、対応データ検出部１０３は、制御部１０７の制御に基づいて、データ読出し部１０２が読み出したＢストリームに含まれる１ピクチャ分に相当する画像データのうち、出力部１０６から出力している復号化ピクチャに対応する画像データが有する表示時刻よりも未来の時刻であって、かつ、最も近接した表示時刻を有する画像データを、対応データとして検出する。
例えば、図３に示す例では、Ｉピクチャ２０１に対応する対応データが表すピクチャ（対応符号化ピクチャ）は、Ｂピクチャ２０２である。Ｂピクチャ２０３に対応する対応データが表すピクチャは、Ｂピクチャ２０４である。Ｂピクチャ２０５に対応する対応データが表すピクチャは、Ｐピクチャ２０６である。
なお、対応データ検出部１０３は、出力部１０６から出力している復号化ピクチャの表示時刻に基づいて対応データを検出する構成に限定するものではなく、復号画像蓄積部１０５に蓄積される復号化ピクチャを用いて検出する構成でもよい。あるいは、対応データ検出部１０３は、記録媒体１０１に記憶されている符号化ストリームから直接検出する構成でもよく、どのような構成を用いても構わない。
復号化処理部１０４は、データ読出し部１０２によって読み出されたＡストリームに含まれる符号化ピクチャを復号化することで復号化ピクチャを生成する。さらに、復号化処理部１０４は、対応データ検出部１０３によって検出された対応符号化ピクチャ、及び、対応符号化ピクチャを復号化する際に参照されるピクチャの少なくとも一方を復号化する。
具体的には、復号化処理部１０４は、制御部１０７の制御に基づいて、ＰＣＲを基に、ＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）を生成し、データ読出し部１０２によって読み出されたＡストリームに含まれる１ピクチャ分に相当する画像データが有するＤＴＳ、又は、対応データ検出部１０３によって検出された対応データが有するＤＴＳと、生成したＳＴＣとが一致するタイミングで、画像データの復号化を行い、復号化した際に得られる復号画像を復号画像蓄積部１０５に出力する。
なお、復号化処理部１０４は、対応データが、他のピクチャを復号化するときに参照される参照ピクチャを示す参照画像データであれば、当該対応データを復号化する。例えば、対応データがＩピクチャ又はＰピクチャを表す場合に、復号化処理部１０４は対応データを復号化する。
一方で、復号化処理部１０４は、対応データを復号化するときに必要な参照ピクチャが復号化されていない場合、当該対応データが参照する符号化ピクチャを示す画像データを復号化する。例えば、対応データが、他のピクチャを復号化するときに参照されない非参照ピクチャを示す非参照画像データであれば、復号化処理部１０４は、当該対応データの復号化時に参照する画像データを復号化する。例えば、対応データがＢピクチャを表す場合に、復号化処理部１０４は、当該Ｂピクチャを復号化するときに参照されるＩピクチャ及びＰピクチャを復号化する。
復号画像蓄積部１０５は、復号化処理部１０４によって生成された復号化ピクチャを蓄積する。また、復号画像蓄積部１０５は、Ｂストリームに含まれる対応符号化ピクチャを復号化する際に参照された参照ピクチャも蓄積する。具体的には、復号画像蓄積部１０５は、制御部１０７の制御に基づいて、復号化処理部１０４から出力される復号化ピクチャを蓄積するメモリである。例えば、復号画像蓄積部１０５は、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、又は強誘電体メモリなどの記録可能な手段であればどのようなものを用いても構わない。このように、再生中のＡストリームの復号化ピクチャだけでなく、再生中でないＢストリームの復号化ピクチャも蓄積しておくことで、ストリームを切り替える際に滑らかに表示を切り替えることができる。
出力部１０６は、復号画像蓄積部１０５から、再生中の符号化ストリームから生成された復号化ピクチャを読み出して外部装置に出力する。また、出力選択部１０９によって、再生中の符号化ストリームと異なる符号化ストリームが選択されたときは、出力部１０６は、出力選択部１０９によって選択された符号化ストリームから生成された復号化ピクチャを、復号画像蓄積部１０５から読み出して出力する。
具体的には、出力部１０６は、制御部１０７の制御に基づいて、復号画像蓄積部１０５に蓄積される復号化ピクチャのうち、出力選択部１０９が選択するＡストリームに対応する復号化ピクチャを読み出し、外部装置に出力する。そして、出力選択部１０９がＢストリームを選択した場合、出力部１０６は、Ｂストリームに対応する復号化ピクチャを復号画像蓄積部１０５から読み出して外部装置に出力する。
なお、出力部１０６は、復号画像蓄積部１０５に出力対象となる復号化ピクチャが蓄積されているか否かを判定する。具体的には、復号化された画像データが有するＰＴＳとＳＴＣとを用いて判定を行う。出力対象となる復号化ピクチャは、出力部１０６が出力中のＡストリームの復号化ピクチャに対応する、Ｂストリームの符号化ピクチャが復号化して得られた復号化ピクチャである。出力対象となる復号化ピクチャが蓄積されていない場合は、出力部１０６は、制御部１０７を介して復号化処理部１０４に出力対象となる復号化ピクチャを生成するように、対応データを復号化させる。
なお、外部装置は、例えば、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、液晶ディスプレイ、有機ＥＬ表示装置など、復号化ピクチャを表示可能な表示手段を備える装置であればどのようなものを利用しても構わない。また、判定する際の情報は、ＰＴＳ及びＳＴＣに限定されるものではなく、出力対象となる画像データ情報と、復号画像蓄積部１０５に蓄積される復号化ピクチャとをマッチング可能な情報であれば、どのようなものを用いても構わない。
制御部１０７は、データ読出し部１０２、対応データ検出部１０３、復号化処理部１０４、復号画像蓄積部１０５、出力部１０６、操作受付部１０８、及び出力選択部１０９の動作を制御することにより、符号化ストリーム再生装置１００全体の動作を制御する。制御部１０７は、半導体素子などで実現可能であり、ハードウェアのみで構成しても構わない。あるいは、ハードウェアとソフトウェアとを組み合わせることにより実現しても構わない。また、複数のデバイスで構成しても構わない。なお、制御部１０７をソフトウェアで実装する場合は、マイクロプロセッサを用いることによって実現可能となる。
操作受付部１０８は、ユーザーからの各種の指示を操作信号として受け付けることが可能である。操作受付部１０８は、受け付けた操作信号を制御部１０７に出力する。また、受け付けた操作信号が、出力部１０６から外部装置に出力する符号化ストリームの切り替え操作に関する操作信号である場合、操作受付部１０８は、当該操作信号を出力選択部１０９に出力する。なお、操作受付部１０８は、例えば、リモコンから送信される操作信号を受信した際に操作信号を検出する構成としてもよい。あるいは、操作受付部１０８は、押圧操作が可能なボタンなどを設け、当該押圧操作がなされた際に操作信号を検出する構成でもよく、どのような構成でも構わない。
出力選択部１０９は、操作受付部１０８から出力される操作信号を検出すると、当該操作信号を基に、出力部１０６から出力する符号化ストリームを選択する選択信号を制御部１０７に出力する。
続いて、本実施の形態の符号化ストリーム再生装置１００が備える対応データ検出部１０３の動作の一例について説明する。具体的には、Ｂストリームの対応データを検出処理の一例について説明する。
符号化ストリームに含まれる１ピクチャ分に相当する画像データの表示時刻に関する時間関係は、画像データが有する表示時刻を表すＰＴＳより判別することができる。図３に示すＩピクチャ２０１に対応する対応データが表す対応符号化ピクチャを検出したい場合、各ストリームの時刻情報が同期しているとすると、Ｉピクチャ２０１に相当する画像データのＰＴＳよりも未来のＰＴＳであって、さらに、最も近いＰＴＳを有する画像データをＢストリームから検出すればよい。すなわち、対応データ検出部１０３は、Ｉピクチャ２０１の対応符号化ピクチャとして、Ｂピクチャ２０２を検出する。
なお、フレームレートが一定であれば、表示順で連続したピクチャのＰＴＳの間隔も一定であるため、過去に読み出した画像データが有するＰＴＳを基に、ストリーム中の各ピクチャのＰＴＳを計算できる。このため、Ｂストリームの過去に読み出した画像データが有するＰＴＳを基に、Ｂストリームの各ピクチャのＰＴＳを予め計算しておくことで、Ｉピクチャ２０１のＰＴＳを読み出した時点で、対応データが有すべきＰＴＳを判定できる。
一方、各ストリームの時刻情報が同期しておらず、ストリームの接続点のみが指定されている場合は、対応データ検出部１０３は、予め各ストリーム間の時刻情報のずれを算出しておく。図４に、各ストリームの時刻情報が同期していない場合の例を示す。
この場合、対応データ検出部１０３は、ストリームの接続点でのＡストリームの表示ピクチャ３０１のＰＴＳからＢストリームの表示ピクチャ３０２のＰＴＳを引いたＰＴＳ＿Ｏｆｆｓｅｔという値を予め算出し、保持しておく。ここで、Ｉピクチャ３１１に対応する対応データが表す対応符号化ピクチャを検出したい場合、Ｉピクチャ３１１に相当する画像データのＰＴＳからＰＴＳ＿Ｏｆｆｓｅｔ値を引いたＰＴＳよりも未来のＰＴＳであって、さらに、最も近いＰＴＳを有する画像データをＢストリームから検出すればよい。すなわち、対応データ検出部１０３は、Ｉピクチャ３１１の対応符号化ピクチャとして、Ｂピクチャ３１２を検出する。
以降、簡単のため各ストリームの時刻情報が同期している場合を想定し説明を行うが、各ストリームの時刻情報が同期していない場合も同様に、上記の方法により各ストリームの画像データの表示時刻に関する時間関係を判別することができる。
なお、複数のアクセスユニットが１つのＰＥＳパケットに多重化されている場合、パケットヘッダのＤＴＳ及びＰＴＳは、ＰＥＳパケット内の１番目のアクセスユニットに対応したものとなる。この場合、ＰＥＳパケット内の２番目以降のアクセスユニットの復号化時刻及び表示時刻は、表示順序を表すパラメータであるＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）値、又は、ＳＥＩ内のＢＰ＿ＳＥＩ（Ｂｕｆｆｅｒｉｎｇ Ｐｅｒｉｏｄ＿ＳＥＩ）及びＰＴ＿ＳＥＩ（Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ＿ＳＥＩ）情報のうち少なくとも１つから算出される。
ＰＯＣ値によりアクセスユニットの復号化時刻及び表示時刻を表す場合、ＰＯＣ値とアクセスユニットの表示時刻との間に一定の関係が成り立ち、ＰＯＣ値より復号化時刻及び表示時刻を算出することができる。また、ＢＰ＿ＳＥＩは、ビデオシーケンスの先頭などの特定のアクセスユニットに含まれ、ＰＴ＿ＳＥＩは、全てのアクセスユニットに含まれる値である。このＰＴ＿ＳＥＩには、直前のＢＰ＿ＳＥＩを含むアクセスユニットからの復号化時刻の差分値、及び各アクセスユニットにおける復号化時刻と表示時刻との差分値が含まれることから、各アクセスユニットの復号化時刻及び表示時刻を算出できる。
続いて、本実施の形態の符号化ストリーム再生装置１００が備える復号化処理部１０４及び制御部１０７の動作の一例について説明する。具体的には、対応データ検出部１０３によって検出された対応データを復号化する際の処理の一例について説明する。
上述のように、復号化処理部１０４は、対応データが参照画像データであるか否か、及び、対応データを復号化する際に参照する画像データが生成されているか否かによって復号化するデータが異なる。
ここで、対応データが参照画像データとなり得るか否かは、対応データが有するデータのうち、ＮＡＬユニットのヘッダに格納されるｎａｌ＿ｒｅｆ＿ｉｄｃというフラグから判定できる。ｎａｌ＿ｒｅｆ＿ｉｄｃが１の場合、対応データは参照画像データと判定される。一方、ｎａｌ＿ｒｅｆ＿ｉｄｃが０の場合、対応データは参照画像データではないと判定される。この判定は、例えば、復号化処理部１０４によって実行される。
例えば、図３において、対応データ検出部１０３が、対応データとしてＢピクチャ２０２を示す画像データを検出した場合において、復号化処理部１０４は、Ｂピクチャ２０２を示す画像データのｎａｌ＿ｒｅｆ＿ｉｄｃから、Ｂピクチャ２０２が他の画像データの復号化に必要ではないと判定した場合、Ｉピクチャ２０７を示す画像データと、Ｐピクチャ２０８を示す画像データとを復号化し、得られる２つの復号化ピクチャを復号画像蓄積部１０５に出力する。
また、対応データ検出部１０３が、対応データとしてＰピクチャ２０６を示す画像データを検出した場合において、復号化処理部１０４は、Ｐピクチャ２０６を示す画像データのｎａｌ＿ｒｅｆ＿ｉｄｃから、Ｐピクチャ２０６が参照画像データであると判定した場合、このＰピクチャ２０６を復号化し、得られる復号化ピクチャを復号画像蓄積部１０５に出力する。
なお、Ｂピクチャ２０２を示す画像データに対し、Ｉピクチャ２０７を示す画像データと、Ｐピクチャ２０８を示す画像データと、Ｂピクチャ２０２を示す画像データとを復号化し、得られる３つの復号化ピクチャを復号画像蓄積部１０５に出力する構成にしても構わない。また、Ｂピクチャ２０２に対応する画像データのみを復号化し、得られる復号化ピクチャを復号画像蓄積部１０５に出力する構成にしても構わない。この場合、Ｂピクチャ２０２に対応する画像データを復号化するため、再生ストリームを切り替える際、さらに切り替えの効率化を図ることが可能となる。
（符号化ストリーム再生装置１００全体の動作）
以下では、上述したように構成された符号化ストリーム再生装置１００の動作について、図面を参照しながら説明する。
図５は、本実施の形態の符号化ストリーム再生装置１００の再生動作の一例を示すフローチャートである。
符号化ストリーム再生装置１００では、ユーザーからＡストリームの再生操作を操作受付部１０８が検出した場合、操作受付部１０８は、制御部１０７にその旨を通知し、ステップＳ１０２に進む（ステップＳ１０１）。
制御部１０７は、操作受付部１０８から通知を受けると、データ読出し部１０２を制御し、データ読出し部１０２は、記録媒体１０１に記録されているＡストリームに含まれる１ピクチャ分に相当する画像データを読み出し、復号化処理部１０４及び対応データ検出部１０３に出力し、ステップＳ１０３及びステップＳ１０４に進む（ステップＳ１０２）。
制御部１０７による制御に基づいて、復号化処理部１０４は、データ読出し部１０２によって読み出された画像データの復号化を行い、復号画像蓄積部１０５に出力し、ステップＳ１０５に進む（ステップＳ１０３）。
また、制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ１０３と並行して、読み出したＡストリームの画像データに対応するＢストリームに含まれる画像データの復号化を行い、得られる復号化ピクチャを復号画像蓄積部１０５に出力し、ステップＳ１０５に進む（ステップＳ１０４）。なお、Ｂストリームに含まれる画像データの復号化処理については、図６を用いて後で詳しく説明する。
なお、制御部１０７は、ステップＳ１０３と、ステップＳ１０４とを並行して処理する動作でも構わないし、ステップＳ１０４を処理した後、ステップＳ１０３を処理する動作でも構わないし、ステップＳ１０３を処理した後、ステップＳ１０４を処理する動作でも構わない。
制御部１０７による制御に基づいて、復号画像蓄積部１０５は、復号化処理部１０４において画像データを復号化した際に得られる復号化ピクチャを蓄積し、ステップＳ１０６に進む（ステップＳ１０５）。
制御部１０７は、出力選択部１０９から符号化ストリームの切り替え操作に関する操作信号が出力されているか否かを判定する（ステップＳ１０６）。符号化ストリームの切り替え操作に関する操作信号が出力されていない場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０７に進み、出力されている場合は（ステップＳ１０６でＮｏ）、ステップＳ１０９に進む。
制御部１０７による制御に基づいて、出力部１０６は、復号画像蓄積部１０５からＡストリームに対応する復号化ピクチャを読み出し、出力し、ステップＳ１０８に進む（ステップＳ１０７）。
制御部１０７は、符号化ストリームの再生動作の終了を判定する（ステップＳ１０８）。終了と判定された場合は（ステップＳ１０８でＹｅｓ）、そのまま動作を終了する。一方、再生動作が継続されると判定された場合は（ステップＳ１０８でＮｏ）、ステップＳ１０２に戻り、同様の動作を繰り返す。なお、再生動作が終了する判定は、制御部１０７において行う構成にしても構わないし、別途判定を行う判定部を符号化ストリーム再生装置１００が備える構成にしても構わない。
一方、符号化ストリームの切り替え操作に関する操作信号を検出した場合（ステップＳ１０６でＮｏ）、制御部１０７による制御に基づいて、出力部１０６は、出力すべき復号化ピクチャが復号画像蓄積部１０５に蓄積されているか否かを判定する（ステップＳ１０９）。出力すべき復号化ピクチャが蓄積されていると判定された場合は（ステップＳ１０９でＹｅｓ）、ステップＳ１０７に進み、蓄積されていないと判定された場合は（ステップＳ１０９でＮｏ）、ステップＳ１１０に進む。なお、この判定は、制御部１０７で行う構成にしても構わないし、別途蓄積されているか否かを判定する判定部を符号化ストリーム再生装置１００が備える構成にしても構わない。
出力すべき復号化ピクチャが蓄積されていないと判定された場合（ステップＳ１０９でＮｏ）、制御部１０７は、復号化処理部１０４を制御し、復号化処理部１０４は、出力部１０６から出力する予定の復号化ピクチャを、復号画像蓄積部１０５が蓄積している復号化ピクチャを基に復号化し、復号画像蓄積部１０５に出力し、ステップＳ１０７に進む（ステップＳ１１０）。
（Ｂストリームを復号化する際の復号化処理部１０４の動作）
次に、復号化処理部１０４がＢストリームに含まれる画像データを復号化する際の動作について図面を参照しながら説明する。なお、ＰＴＳ＿Ａを、データ読出し部１０２が読み出したＡストリームの画像データが有するＰＴＳとし、ＰＴＳ＿Ｂを、データ読出し部１０２が読み出したＢストリームの画像データが有するＰＴＳとする。
図６は、本実施の形態の符号化ストリーム再生装置１００の再生動作のうち、再生中でない符号化ストリームの復号化処理の一例を示すフローチャートである。
まず、制御部１０７による制御に基づいて、対応データ検出部１０３は、ステップＳ１０２においてデータ読出し部１０２が読み出した画像データのＰＴＳ＿Ａを検出し、ステップＳ２０２に進む（ステップＳ２０１）。
次に、制御部１０７による制御に基づいて、データ読出し部１０２は、記録媒体１０１からＢストリームに含まれる画像データを読み出し、ステップＳ２０３に進む（ステップＳ２０２）。
制御部１０７による制御に基づいて、対応データ検出部１０３は、ステップＳ２０１において検出したＰＴＳ＿Ａと、ステップＳ２０２において読み出されたＢストリームに含まれる画像データが有するＰＴＳ＿Ｂとを比較する（ステップＳ２０３）。ＰＴＳ＿ＢがＰＴＳ＿Ａよりも未来のＰＴＳであって、さらに、最も近接したＰＴＳである場合（ステップＳ２０３でＹｅｓ）、対応データ検出部１０３は、ＰＴＳ＿Ｂを有する画像データを対応データとして復号化処理部１０４へ出力し、ステップＳ２０４に進む。そうでない場合は（ステップＳ２０３でＮｏ）、ステップＳ２０２に戻り、データ読出し部１０２はＢストリームに含まれる次の画像データを読み出す。
次に、制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ２０３において出力された対応データのヘッダに有するｎａｌ＿ｒｅｆ＿ｉｄｃを基に、当該画像データが参照画像データであるか否かを判定する（ステップＳ２０４）。当該対応データが参照画像データである場合は（ステップＳ２０４でＹｅｓ）、ステップＳ２０５に進む。参照画像データではない場合は（ステップＳ２０４でＮｏ）、ステップＳ２０７に進む。
当該対応データが参照画像データであると判定された場合（ステップＳ２０４でＹｅｓ）、制御部１０７は、当該対応データが復号化済みであるか否かを判定する（ステップＳ２０５）。復号化済みである場合は（ステップＳ２０５でＹｅｓ）、そのまま動作を終了する。復号化されていない場合は（ステップＳ２０５でＮｏ）、ステップＳ２０６に進む。なお、復号化済みであるか否かの判定は、対応データに含まれるＰＴＳなど、当該画像データが有するヘッダ情報を利用する構成にしても構わない。
制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ２０３において出力された対応データの復号化を行い、動作を終了する（ステップＳ２０６）。
当該対応データが参照画像データではないと判定された場合（ステップＳ２０４でＮｏ）、制御部１０７は、当該対応データに対応する参照画像データが復号化されているか否かを判定する（ステップＳ２０７）。当該対応データに対応する参照画像データが復号化されていると判定された場合（ステップＳ２０７でＹｅｓ）、そのまま動作を終了する。そうではない場合は（ステップＳ２０７でＮｏ）、ステップＳ２０８に進む。
参照画像データが復号化されていないと判定された場合（ステップＳ２０７でＮｏ）、制御部１０７による制御に基づいて、復号化処理部１０４は、当該参照画像データの復号化を行い復号画像蓄積部１０５に出力し、動作を終了する（ステップＳ２０８）。
なお、ステップＳ２０３において、記録媒体１０１から読み出されたＢストリームの画像データが対応データではないと判定され、かつ、当該画像データが参照画像データとなり得る場合、制御部１０７が当該画像の記録媒体１０１における記録位置を記憶する構成としてもよい。これにより、ステップＳ２０８において参照画像を復号化する場合に、直ちに当該参照画像を記録媒体１０１から読み出すことができる。
また、同様にステップＳ２０３において、記録媒体１０１から読み出されたＢストリームの画像データが対応データではないと判定され、かつ、当該画像データが参照画像データとなり得る場合、各画像データの復号順及び表示順に関する情報を、ヘッダ情報から読み出し、あるいは算出し、制御部１０７が記憶する構成としてもよい。これにより、ステップＳ２０６〜ステップＳ２０８において参照画像の検出及び復号化処理を行う際に、当該参照画像の選択を復号順又は表示順の情報を基に実行する場合、制御部１０７に記憶されている各画像データの復号順及び表示順に関する情報を用いることができる。
あるいは、ステップＳ２０２において、記録媒体１０１から読み出されたＢストリームの各画像データのＰＴＳ＿Ｂを、制御部１０７が記憶する構成としてもよい。これにより、既に読み出されたＢストリームの画像データに対応データが含まれる場合に、ステップＳ２０３において直ちに対応データを検出することができる。
以上のように構成される本実施の形態に係る符号化ストリーム再生装置１００は、Ａストリームに含まれる１ピクチャ分に相当する画像データを記録媒体１０１から読み出し、読み出した画像データの表示時刻よりも未来の表示時刻であって、さらに、最も近接する表示時刻を有するＢストリームに含まれる画像データを対応データとして検出する。そして、検出した対応データが参照画像データである場合、復号化して蓄積し、参照画像データではない場合は、当該対応データに対応する参照画像データを復号化し蓄積することが可能となる。
これにより、図３に示す２本の符号化ストリームのシームレスな切り替えを実現する場合、再生中のＡストリームの復号化と並行してＢストリームの復号化を行う必要があるが、Ｂストリームについては全体の約１／３のピクチャのみ（図３の例では、主にＩピクチャとＰピクチャ）を復号化すればよいため、低い処理能力で、シームレスなストリーム切り替えを実現できる。
なお、本実施の形態においては、フレームレートの異なる２つの符号化ストリームを切り替える場合を例に、符号化ストリーム再生装置１００の動作の説明を行ったが、同じフレームレートの符号化ストリームを切り替える場合及び、３つ以上の符号化ストリームを切り替える場合などについても同様の方法により比較的低い処理能力でストリームの切り替えを実現できる。
また、本実施の形態においては、フレームレートが低い符号化ストリームから高い符号化ストリームへ再生を切り替える構成について説明したが、この構成に限定されず、フレームレートの高い符号化ストリームから、低い符号化ストリームへ再生を切り替える構成にしても構わない。この場合、例えば、図３に示すようにＢピクチャ２０２からＢピクチャ２０３へ再生を切り替える際、Ｂピクチャ２０２から直ちにＢピクチャ２０３に再生を切り替える構成にしても構わない。あるいは、Ｐピクチャ２０８まで再生した後、Ｂピクチャ２０３に切り替える構成にしても構わないし、又は、Ｂピクチャ２０２と、Ｐピクチャ２０８との間に存在するピクチャまで再生した後、Ｂピクチャ２０３に再生を切り替える構成にしても構わない。上記の構成により、フレームレートが高い符号化ストリームから再生を切り替える場合であっても、シームレスに符号化ストリームを切り替えることが可能な効果を奏する。
以上のように、本発明の実施の形態に係る符号化ストリーム再生装置は、比較的低い処理能力で、複数の符号化ストリームの再生を円滑に切り替えることができる。
以上、本発明に係る符号化ストリーム再生装置及び符号化ストリーム再生方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、本実施の形態の符号化ストリーム再生装置１００では、記録媒体１０１に記録された複数の符号化ストリームを読み出す構成について説明したが、ネットワークなどの通信回線を介して複数の符号化ストリームを取得してもよい。
なお、本発明に係る符号化ストリーム再生装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、システムＬＳＩ、ＲＡＭ、ＲＯＭ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ネットワークインターフェースなどを備えるとしてもよい。さらに、ＤＶＤ−ＲＡＭ、Ｂｌｕ−ｒａｙディスク、ＳＤメモリカードのような可搬性の記録媒体に対して読出し可能なドライブ装置を備えるとしてもよい。
なお、符号化ストリーム再生装置１００は、デジタルビデオカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、携帯電話機などのような組み込みシステムとしてもよい。
さらに、ＨＤＤ又はＲＯＭなどに、符号化ストリーム再生装置１００を制御するプログラム（以下、符号化プログラムと呼称する）がインストールされており、符号化プログラムが実行されることによって、符号化ストリーム再生装置１００の各機能が実現されるとしてもよい。
なお、符号化プログラムは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。これによって、符号化ストリーム再生装置１００の各機能を他のハードウェアシステムに実現することができる。ここで、コンピュータシステム読み取り可能な記録媒体として、光学記録媒体（例えば、ＣＤ−ＲＯＭなど）、磁気記録媒体（例えば、ハードディスクなど）、光磁気記録媒体（例えば、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｋ）など）、半導体メモリ（例えば、メモリカードなど）などがある。
また、符号化プログラムは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。これによって、符号化ストリーム再生装置の各機能を他のハードウェアシステムに実現することができる。ここで、ネットワークとして、地上放送網、衛星放送網、ＰＬＣ（Ｐｏｗｅｒ Ｌｉｎｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、移動電話網、有線通信網（例えば、ＩＥＥＥ８０２．３など）、無線通信網（例えば、ＩＥＥＥ８０２．１１など）がある。
なお、符号化ストリーム再生装置１００は、フルカスタムＬＳＩ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのようなセミカスタムＬＳＩ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などのようなプログラマブルロジックデバイス、又は、動的に回路構成が書き換え可能なダイナミックリコンフィギュラブルデバイスに形成されるとしてもよい。
さらに、符号化ストリーム再生装置１００の各機能を符号化ストリーム再生用の集積回路に形成する設計データは、ハードウェア記述言語によって記述されたプログラム（以下、ＨＤＬプログラムと称す）としてもよい。さらに、ＨＤＬプログラムを論理合成して得られるゲートレベルのネットリストとしてもよい。また、ゲートレベルのネットリストに、配置情報、プロセス条件などを付加したマクロセル情報としてもよい。また、寸法、タイミングなどが規定されたマスクデータとしてもよい。ここで、ハードウェア記述言語として、ＶＨＤＬ（Ｖｅｒｙ ｈｉｇｈ ｓｐｅｅｄ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ Ｈａｒｄｗａｒｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）、Ｖｅｒｉｌｏｇ−ＨＤＬ、ＳｙｓｔｅｍＣなどがある。
さらに、設計データは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。そして、これらの記録媒体を介して他のハードウェアシステムに読み取られた設計データが、ダウンロードケーブルを介して、プログラマブルロジックデバイスにダウンロードされるとしてもよい。
または、設計データは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。そして、これらのネットワークを介して他のハードウェアシステムに取得された設計データが、ダウンロードケーブルを介して、プログラマブルロジックデバイスにダウンロードされるとしてよい。
または、設計データは、通電時にＦＰＧＡに転送され得るように、シリアルＲＯＭに記録しておくとしてもよい。そして、シリアルＲＯＭに記録された設計データは、通電時に、直接、ＦＰＧＡにダウンロードされるとしてもよい。
または、設計データは、通電時に、マイクロプロセッサによって生成されて、ＦＰＧＡにダウンロードされるとしてもよい。
本発明に係る符号化ストリーム再生装置は、比較的低い処理能力で複数の符号化ストリームの再生を円滑に切り替えることができるという効果を奏し、例えば、フレームレートの異なる複数のストリームを復号化する符号化ストリーム再生装置において有用である。
１１ ＴＳパケット
１２ ＰＥＳパケット
１３ ＰＣＲ
１４ ＰＥＳパケットヘッダ
１５ ＰＥＳパケットペイロード
１６ ＮＡＬユニット
１００ 符号化ストリーム再生装置
１０１、４０１ 記録媒体
１０２、４０２ データ読出し部
１０３ 対応データ検出部
１０４ 復号化処理部
１０５ 復号画像蓄積部
１０６ 出力部
１０７ 制御部
１０８、４０９ 操作受付部
１０９、４０８ 出力選択部
１１０ 内部バッファ
２０１、２０７、３１１ Ｉピクチャ
２０２、２０３、２０４、２０５、３１２ Ｂピクチャ
２０６、２０８ Ｐピクチャ
３０１、３０２ 表示ピクチャ
４００ 画像復号化装置
４０３ 逆多重化部
４０４ 第１画像復号化部
４０５ 第２画像復号化部
４０６ 画像蓄積部
４０７ 出力切り替え部
４１０ 表示部
本発明は、符号化ストリーム再生装置及び符号化ストリーム再生方法に関し、特に、比較的低い処理能力で複数の符号化ストリームの再生を円滑に切り替える符号化ストリーム再生装置及び符号化ストリーム再生方法に関する。
近年、デジタル映像処理技術の発展とともに、扱われる画像データは増加の一途を辿っており、画像符号化による画像データの圧縮符号化は必須となっている。代表的な符号化規格には、ＭＰＥＧ−２（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２）やＨ．２６４／ＡＶＣ（Ｈ．２６４／Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などがある。
これらの符号化規格では、所定数のピクチャをグループとして管理して符号化することが多い。ＭＰＥＧ−２におけるピクチャの管理単位であるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造の一例を図７に示す。ＧＯＰは、他のピクチャを参照することなく符号化を行うＩピクチャ、表示順で前方のピクチャを参照して予測符号化を行うＰピクチャ、表示順で双方向のピクチャを参照して予測符号化を行うＢピクチャと呼ばれるピクチャで構成される。
また、ＭＰＥＧ−２やＨ．２６４／ＡＶＣで符号化された画像データを記録するＢＤ−ＲＯＭ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録フォーマットには、マルチアングル機能が用意されている。マルチアングル機能とは、同じ時間に撮影された複数の符号化ストリームのそれぞれを復号化することで得られる複数の映像を切り替えて再生する機能である。
図８は、同じ時間に複数の符号化ストリームが撮影された場合の各符号化ストリームの時間関係を表す図である。図８に示すように、任意のタイミングで再生中の符号化ストリームである第１ストリームから他の符号化ストリームである第２ストリームに切り替える場合について説明する。
この場合、他の符号化ストリームの次の時刻のピクチャを復号化するには、そのピクチャよりも表示順で前方にあるＩピクチャから符号化ストリームの読出しを行い、復号化を始める必要がある。また、Ｈ．２６４／ＡＶＣ規格では、Ｐピクチャ及びＢピクチャの符号化時にＩピクチャを超えて他のピクチャを参照し符号化することが可能である。このため、さらにＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャまで遡って符号化ストリームの読み出しを行い、復号化を行う必要がある。なお、ＩＤＲピクチャとは、自ピクチャよりも前のピクチャを参照して符号化しないと定められたピクチャである。
このように、符号化ストリームを切り替えようとしてから実際に符号化ストリームが切り替わるまでにタイムラグが発生し、シームレスな符号化ストリーム切り替えは実現できない。そこで、複数のストリームの映像を切り替えた際に、瞬時にシームレスな再生を実現するための技術が開示されている（例えば、特許文献１参照）。
以下では、図９を参照しながら、特許文献１に開示されている従来の画像復号化装置の動作の概要を説明する。なお、図９は、同じ時間に撮影されて得られた２つの符号化ストリームが記録されている場合の従来の画像復号化装置４００の機能的な構成を示す機能ブロック図である。例えば、記録媒体４０１には、図８に示すような２つの符号化ストリームが記録されている。
まず、データ読出し部４０２によって記録媒体４０１より読み出された２つの符号化ストリームは、逆多重化部４０３によって第１ストリームと第２ストリームとに分離される。第１ストリームは第１画像復号化部４０４によって、第２ストリームは第２画像復号化部４０５によって復号化され、画像蓄積部４０６に保持される。出力選択部４０８は、操作受付部４０９によって受け付けたユーザーの操作をもとに出力ストリームを選択する。出力切り替え部４０７は、出力選択部４０８によって選択されたストリームを表示部４１０に出力し、表示部４１０がストリームに含まれる映像を表示する。
ユーザーからの出力ストリーム変更の操作を操作受付部４０９が受け付けた場合、出力選択部４０８はその操作情報に基づいて、出力ストリームとして選択するストリームを切り替える。ここで、２つのストリームはともに第１画像復号化部４０４及び第２画像復号化部４０５によって復号化された後、画像蓄積部４０６に保持されているため、出力の切り替えを瞬時に行うことができる。
特開２００６−２１７６３４号公報
しかしながら、上記従来技術では、複数の符号化ストリームの再生を円滑に切り替えるためには大きな処理能力を必要とするという課題があった。具体的には、以下の通りである。
特許文献１で開示されている従来の技術では、複数の符号化ストリームを同時に復号化する必要がある。このため、Ｎ本の符号化ストリームのシームレスな切り替えを実現するためには、１本の符号化ストリームのみの復号化に対応した復号化装置に比べて、Ｎ倍の復号化能力が必要とされる。また、画像を保持するバッファもＮ倍の容量が必要となる。
また、図１０に示すように、撮影時のフレームレートが異なる複数の符号化ストリームがある場合を想定する。図１０は、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で撮影された符号化ストリームと２４０ｆｐｓで撮影された符号化ストリームとが同時に撮影された場合に得られた各符号化ストリームの時間関係を表す図である。
この場合、特許文献１で開示されている従来の技術を用いてシームレスに符号化ストリームの切り替えを実現しようとすると、２つの符号化ストリームの時間関係を合わせるためには２４０ｆｐｓで撮影された符号化ストリームに関しては２４０ｆｐｓで復号化する必要がある。つまり、Ｎ倍速のフレームレートで撮影された符号化ストリームに関してはＮ倍速での復号化が必要である。
以上のように、従来の技術を用いてシームレスに符号化ストリームの切り替えを実現するためには、復号化装置に大きな処理能力が必要とされた。
そこで、本発明は、このような従来の課題を解決するためになされたもので、大きな処理能力を必要とすることなく、複数の符号化ストリームの再生を円滑に切り替える符号化ストリーム再生装置及び符号化ストリーム再生方法を提供することを目的とする。
上記目的を達成するために、本発明に係る符号化ストリーム再生装置は、複数の符号化ストリームの１つを再生する符号化ストリーム再生装置であって、前記複数の符号化ストリームの１つを選択する選択部と、前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する。
これにより、第１符号化ストリームを再生中に、第２符号化ストリームから第２符号化ピクチャを検出し、検出した第２符号化ピクチャ及び第３符号化ピクチャを復号化するので、複数の符号化ストリームの再生を円滑に切り替えることができる。このとき、第２符号化ストリームの全てのピクチャを復号化する訳ではないので、復号化部に大きな処理能力を必要とすることはない。
また、前記符号化ストリーム再生装置は、さらに、前記復号化部によって復号化された復号化ピクチャを蓄積する蓄積部と、前記選択部によって選択された符号化ストリームから生成された復号化ピクチャを前記蓄積部から読み出して出力する出力部とを備え、前記出力部は、前記選択部が前記第２符号化ストリームを選択した時、出力中の第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されて得られた第２復号化ピクチャを出力してもよい。
これにより、符号化ストリームの切り替えを行うときに出力中の第１符号化ピクチャに対応する第２復号化ピクチャを出力するので、円滑に複数の符号化ストリームの再生を切り替えることができる。
また、前記復号化部は、前記選択部が前記第２符号化ストリームを選択した時、前記出力部が出力していた第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されていない場合に、当該第２符号化ピクチャを復号化することで前記第２復号化ピクチャを生成してもよい。
これにより、出力時に目的となる復号化ピクチャが得られていない場合は、復号化してから出力するので、円滑に複数の符号化ストリームの再生を切り替えることができる。
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
これにより、出力中の復号化ピクチャの表示時刻から所定期間内の表示時刻の符号化ピクチャを検出及び復号化するので、より円滑に複数の符号化ストリームの再生を切り替えることができる。
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近い時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
これにより、出力中の復号化ピクチャの直後のピクチャを出力することができるので、シームレスに複数の符号化ストリームの再生を切り替えることができる。
また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降、前記第１符号化ストリーム又は前記第２符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
これにより、より円滑に複数の符号化ストリームの再生を切り替えることができる。
また、前記第１符号化ストリームのフレームレートは、前記第２符号化ストリームのフレームレートより低く、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、前記表示時刻から、前記第１符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
これにより、より円滑に複数の符号化ストリームの再生を切り替えることができる。
また、前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャである場合、当該第２符号化ピクチャを復号化してもよい。
これにより、第２符号化ピクチャが参照ピクチャではない場合は第２符号化ピクチャを復号化しないので、復号化部の処理負荷をより低減することができる。
また、前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャではなく、かつ、前記第３符号化ピクチャが復号化されていない場合、当該第３符号化ピクチャを復号化してもよい。
これにより、第２符号化ピクチャが参照ピクチャではない場合は第２符号化ピクチャを復号化せず、第２符号化ピクチャの復号化時に参照される第３符号化ピクチャを復号化するので、第３符号化ピクチャを参照する符号化ピクチャの復号化が必要になった時に、直ちに符号化ピクチャを復号化することができる。
なお、本発明は、符号化ストリーム再生装置として実現できるだけではなく、当該符号化ストリーム再生装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−ＲＯＭ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ−ＲＯＭ）、ＢＤ−ＲＯＭなどの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
また、上記の各符号化ストリーム再生装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
本発明の符号化ストリーム再生装置によれば、大きな処理能力を必要とすることなく、複数の符号化ストリームの再生を円滑に切り替えることができる。
図１は、本実施の形態の符号化ストリームの一例であるＭＰＥＧ２−ＴＳの構成を示す図である。 図２は、本実施の形態の符号化ストリーム再生装置の機能的な構成の一例を示すブロック図である。 図３は、本実施の形態の符号化ストリーム再生装置が再生する複数のストリームの一例を示す図である。 図４は、本実施の形態の符号化ストリーム再生装置が再生する複数のストリームの一例を示す図である。 図５は、本実施の形態の符号化ストリーム再生装置の再生動作の一例を示すフローチャートである。 図６は、本実施の形態の符号化ストリーム再生装置の再生動作のうち、再生中でない符号化ストリームの復号化処理の一例を示すフローチャートである。 図７は、ＧＯＰ構造の一例を示す図である。 図８は、同一のフレームレートの２つの符号化ストリームの時間関係を示す図である。 図９は、従来の画像復号化装置の機能的な構成を示すブロック図である。 図１０は、異なるフレームレートの２つの符号化ストリームの時間関係を示す図である。
以下、本発明に係る符号化ストリーム再生装置の実施の形態について、図面を参照しながら説明する。
本実施の形態の符号化ストリーム再生装置は、外部又は内部に着脱可能に配置された記録媒体に記録された複数の符号化ストリームの１つを再生する。具体的には、記録媒体から複数の符号化ストリームを読み出し、読み出した符号化ストリームの復号化を行い、復号化により得られた復号化ピクチャをディスプレイなどの外部装置に出力する構成を想定する。
まず、本実施の形態において、符号化ストリーム再生装置が記録媒体から読み出す符号化ストリームについて図面を参照しながら説明する。なお、本実施の形態においては、記録媒体からＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）で多重化された符号化ストリームを読み出す構成で記述するが、ＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）などの多重化方式を利用する構成でも構わない。また、符号化ストリームに含まれる画像データは、Ｈ．２６４／ＡＶＣを用いて符号化されているものとするが、画像データに適用される符号化方式は、例えば、ＭＰＥＧ−２、ＶＣ−１など、どのような符号化方式を用いても構わない。
（ＭＰＥＧ２−ＴＳの構成）
図１は、本実施の形態の符号化ストリームの一例であり、記録媒体に記録されるＭＰＥＧ２−ＴＳの構成を示す図である。図１に示すＭＰＥＧ２−ＴＳは、ＴＳパケット１１と呼ばれる固定長のパケットで構成される。ＴＳパケット１１により、映像や音声のデータが格納されたＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット１２、及び、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）１３と呼ばれる基準クロック情報などが伝送される。
ＰＥＳパケット１２のＰＥＳパケットヘッダ１４には、ＰＥＳパケットペイロード１５に格納された映像や音声の復号化単位であるアクセスユニットの表示及び復号化タイミングをそれぞれ表すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、及び、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）と呼ばれる時刻情報が格納される。
また、映像データの各アクセスユニットには１ピクチャ分の符号化データが含まれている。具体的には、符号化ストリームに含まれるピクチャの画像データと、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）やＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）などの画像復号化に用いられるパラメータと、各ピクチャのタイミング情報などの付加情報を含むＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）などの情報を格納した複数のＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニット１６という単位のデータで、各アクセスユニットは構成される。また、各ＮＡＬユニット１６のヘッダには、そのＮＡＬユニットに他のＮＡＬユニットから参照され得るデータが含まれているか否かを示す情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）が含まれている。
以下、本実施の形態における符号化ストリーム再生装置について図面を参照しながら説明する。
（符号化ストリーム再生装置１００の構成）
図２は、本実施の形態の符号化ストリーム再生装置１００の構成の一例を示すブロック図である。同図の符号化ストリーム再生装置１００は、記録媒体１０１と、データ読出し部１０２と、対応データ検出部１０３と、復号化処理部１０４と、復号画像蓄積部１０５と、出力部１０６と、制御部１０７と、操作受付部１０８と、出力選択部１０９とを備える。
本実施の形態においては、再生するストリームとして選択されている符号化ストリームをＡストリーム、その他の符号化ストリームをＢストリームと記載する。符号化ストリーム再生装置１００の動作当初は、再生するストリームとしてＡストリームが選択されており、その後、ユーザー操作などに基づいて、再生するストリームがＡストリームからＢストリームに変更される。
以下では、図３に示すような６０ｆｐｓのフレームレートを有するＨ．２６４規格で符号化された符号化ストリームがＡストリームとして選択され、２４０ｆｐｓのフレームレートを有するＨ．２６４規格で符号化された符号化ストリームがＢストリームとして選択されている場合について説明する。
記録媒体１０１は、複数の符号化ストリームを蓄積することが可能な記録手段である。記録媒体１０１には、例えば、図３に示すＡストリームとＢストリームとが記録されている。記録媒体１０１に記録されている情報は、主に符号化ストリームであるが、静止画データや音楽データなど、どのようなデータを蓄積する構成にしてもよい。また、記録媒体１０１は、符号化ストリーム再生装置１００が内蔵するメモリなどであってもよく、又は、ＤＶＤ−ＲＡＭ、ＢＤ−ＲＡＭ、ＳＤメモリカードなどの着脱可能な記録媒体であってもよい。
データ読出し部１０２は、出力選択部１０９によって選択された符号化ストリームと、出力選択部１０９によって選択されていない符号化ストリームとを取得する取得部の一例である。具体的には、データ読出し部１０２は、記録媒体１０１に記録された複数の符号化ストリームのうち、再生中の符号化ストリームであるＡストリームと、他の符号化ストリームであるＢストリームとを記録媒体１０１から読み出す。例えば、データ読出し部１０２は、内部バッファ１１０を備え、制御部１０７の制御に基づいて、記録媒体１０１に記録されるＡストリーム及びＢストリームから１ピクチャ分に相当する画像データの読出しを行い、内部バッファ１１０に蓄積する。
内部バッファ１１０は、制御部１０７が画像データの読出しを行う際に利用され、読み出された画像データを一時的に記憶するメモリである。内部バッファ１１０に一時的に記録される情報は、主に符号化された画像データであるが、制御信号などを記録するようにしても構わない。内部バッファ１１０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）、フラッシュメモリ、又は強誘電体メモリなどの記録可能な手段であればどのようなものを用いても構わない。
対応データ検出部１０３は、出力部１０６から出力されているＡストリームに含まれる復号化ピクチャの時刻情報に基づいて、ＡストリームからＢストリームに時間的に滑らかに表示を切り替えるための対応符号化ピクチャをＢストリームから検出する。例えば、対応データ検出部１０３は、出力部１０６から出力されているＡストリームに対応する復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有する符号化ピクチャを、対応符号化ピクチャとしてＢストリームから検出する。
予め定められた期間は、例えば、Ａストリーム又はＢストリームの連続する符号化ピクチャ間を示す期間、すなわち、Ａストリーム又はＢストリームのフレームレートの逆数が示す期間である。図３に示すように、Ａストリーム及びＢストリームのフレームレートが異なっている場合、フレームレートが低いＡストリームの連続するピクチャ間に含まれるピクチャを対応符号化ピクチャとしてＢストリームから検出する。
例えば、図３に示す例では、Ｉピクチャ２０１に対応する対応データが表すピクチャ（対応符号化ピクチャ）は、Ｉピクチャ２０７からＢピクチャ２０４の間に含まれる４枚のピクチャである。あるいは、Ｉピクチャ２０１に対応する対応データが表すピクチャは、同時刻のＩピクチャ２０７であってもよい。
本実施の形態では、より好ましい例として、対応データ検出部１０３は、出力部１０６から出力されているＡストリームに含まれる復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近接する時刻を示す時刻情報を有する符号化ピクチャを、対応符号化ピクチャとして検出する。具体的には、対応データ検出部１０３は、制御部１０７の制御に基づいて、データ読出し部１０２が読み出したＢストリームに含まれる１ピクチャ分に相当する画像データのうち、出力部１０６から出力している復号化ピクチャに対応する画像データが有する表示時刻よりも未来の時刻であって、かつ、最も近接した表示時刻を有する画像データを、対応データとして検出する。
例えば、図３に示す例では、Ｉピクチャ２０１に対応する対応データが表すピクチャ（対応符号化ピクチャ）は、Ｂピクチャ２０２である。Ｂピクチャ２０３に対応する対応データが表すピクチャは、Ｂピクチャ２０４である。Ｂピクチャ２０５に対応する対応データが表すピクチャは、Ｐピクチャ２０６である。
なお、対応データ検出部１０３は、出力部１０６から出力している復号化ピクチャの表示時刻に基づいて対応データを検出する構成に限定するものではなく、復号画像蓄積部１０５に蓄積される復号化ピクチャを用いて検出する構成でもよい。あるいは、対応データ検出部１０３は、記録媒体１０１に記憶されている符号化ストリームから直接検出する構成でもよく、どのような構成を用いても構わない。
復号化処理部１０４は、データ読出し部１０２によって読み出されたＡストリームに含まれる符号化ピクチャを復号化することで復号化ピクチャを生成する。さらに、復号化処理部１０４は、対応データ検出部１０３によって検出された対応符号化ピクチャ、及び、対応符号化ピクチャを復号化する際に参照されるピクチャの少なくとも一方を復号化する。
具体的には、復号化処理部１０４は、制御部１０７の制御に基づいて、ＰＣＲを基に、ＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）を生成し、データ読出し部１０２によって読み出されたＡストリームに含まれる１ピクチャ分に相当する画像データが有するＤＴＳ、又は、対応データ検出部１０３によって検出された対応データが有するＤＴＳと、生成したＳＴＣとが一致するタイミングで、画像データの復号化を行い、復号化した際に得られる復号画像を復号画像蓄積部１０５に出力する。
なお、復号化処理部１０４は、対応データが、他のピクチャを復号化するときに参照される参照ピクチャを示す参照画像データであれば、当該対応データを復号化する。例えば、対応データがＩピクチャ又はＰピクチャを表す場合に、復号化処理部１０４は対応データを復号化する。
一方で、復号化処理部１０４は、対応データを復号化するときに必要な参照ピクチャが復号化されていない場合、当該対応データが参照する符号化ピクチャを示す画像データを復号化する。例えば、対応データが、他のピクチャを復号化するときに参照されない非参照ピクチャを示す非参照画像データであれば、復号化処理部１０４は、当該対応データの復号化時に参照する画像データを復号化する。例えば、対応データがＢピクチャを表す場合に、復号化処理部１０４は、当該Ｂピクチャを復号化するときに参照されるＩピクチャ及びＰピクチャを復号化する。
復号画像蓄積部１０５は、復号化処理部１０４によって生成された復号化ピクチャを蓄積する。また、復号画像蓄積部１０５は、Ｂストリームに含まれる対応符号化ピクチャを復号化する際に参照された参照ピクチャも蓄積する。具体的には、復号画像蓄積部１０５は、制御部１０７の制御に基づいて、復号化処理部１０４から出力される復号化ピクチャを蓄積するメモリである。例えば、復号画像蓄積部１０５は、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、又は強誘電体メモリなどの記録可能な手段であればどのようなものを用いても構わない。このように、再生中のＡストリームの復号化ピクチャだけでなく、再生中でないＢストリームの復号化ピクチャも蓄積しておくことで、ストリームを切り替える際に滑らかに表示を切り替えることができる。
出力部１０６は、復号画像蓄積部１０５から、再生中の符号化ストリームから生成された復号化ピクチャを読み出して外部装置に出力する。また、出力選択部１０９によって、再生中の符号化ストリームと異なる符号化ストリームが選択されたときは、出力部１０６は、出力選択部１０９によって選択された符号化ストリームから生成された復号化ピクチャを、復号画像蓄積部１０５から読み出して出力する。
具体的には、出力部１０６は、制御部１０７の制御に基づいて、復号画像蓄積部１０５に蓄積される復号化ピクチャのうち、出力選択部１０９が選択するＡストリームに対応する復号化ピクチャを読み出し、外部装置に出力する。そして、出力選択部１０９がＢストリームを選択した場合、出力部１０６は、Ｂストリームに対応する復号化ピクチャを復号画像蓄積部１０５から読み出して外部装置に出力する。
なお、出力部１０６は、復号画像蓄積部１０５に出力対象となる復号化ピクチャが蓄積されているか否かを判定する。具体的には、復号化された画像データが有するＰＴＳとＳＴＣとを用いて判定を行う。出力対象となる復号化ピクチャは、出力部１０６が出力中のＡストリームの復号化ピクチャに対応する、Ｂストリームの符号化ピクチャが復号化して得られた復号化ピクチャである。出力対象となる復号化ピクチャが蓄積されていない場合は、出力部１０６は、制御部１０７を介して復号化処理部１０４に出力対象となる復号化ピクチャを生成するように、対応データを復号化させる。
なお、外部装置は、例えば、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、液晶ディスプレイ、有機ＥＬ表示装置など、復号化ピクチャを表示可能な表示手段を備える装置であればどのようなものを利用しても構わない。また、判定する際の情報は、ＰＴＳ及びＳＴＣに限定されるものではなく、出力対象となる画像データ情報と、復号画像蓄積部１０５に蓄積される復号化ピクチャとをマッチング可能な情報であれば、どのようなものを用いても構わない。
制御部１０７は、データ読出し部１０２、対応データ検出部１０３、復号化処理部１０４、復号画像蓄積部１０５、出力部１０６、操作受付部１０８、及び出力選択部１０９の動作を制御することにより、符号化ストリーム再生装置１００全体の動作を制御する。制御部１０７は、半導体素子などで実現可能であり、ハードウェアのみで構成しても構わない。あるいは、ハードウェアとソフトウェアとを組み合わせることにより実現しても構わない。また、複数のデバイスで構成しても構わない。なお、制御部１０７をソフトウェアで実装する場合は、マイクロプロセッサを用いることによって実現可能となる。
操作受付部１０８は、ユーザーからの各種の指示を操作信号として受け付けることが可能である。操作受付部１０８は、受け付けた操作信号を制御部１０７に出力する。また、受け付けた操作信号が、出力部１０６から外部装置に出力する符号化ストリームの切り替え操作に関する操作信号である場合、操作受付部１０８は、当該操作信号を出力選択部１０９に出力する。なお、操作受付部１０８は、例えば、リモコンから送信される操作信号を受信した際に操作信号を検出する構成としてもよい。あるいは、操作受付部１０８は、押圧操作が可能なボタンなどを設け、当該押圧操作がなされた際に操作信号を検出する構成でもよく、どのような構成でも構わない。
出力選択部１０９は、操作受付部１０８から出力される操作信号を検出すると、当該操作信号を基に、出力部１０６から出力する符号化ストリームを選択する選択信号を制御部１０７に出力する。
続いて、本実施の形態の符号化ストリーム再生装置１００が備える対応データ検出部１０３の動作の一例について説明する。具体的には、Ｂストリームの対応データを検出処理の一例について説明する。
符号化ストリームに含まれる１ピクチャ分に相当する画像データの表示時刻に関する時間関係は、画像データが有する表示時刻を表すＰＴＳより判別することができる。図３に示すＩピクチャ２０１に対応する対応データが表す対応符号化ピクチャを検出したい場合、各ストリームの時刻情報が同期しているとすると、Ｉピクチャ２０１に相当する画像データのＰＴＳよりも未来のＰＴＳであって、さらに、最も近いＰＴＳを有する画像データをＢストリームから検出すればよい。すなわち、対応データ検出部１０３は、Ｉピクチャ２０１の対応符号化ピクチャとして、Ｂピクチャ２０２を検出する。
なお、フレームレートが一定であれば、表示順で連続したピクチャのＰＴＳの間隔も一定であるため、過去に読み出した画像データが有するＰＴＳを基に、ストリーム中の各ピクチャのＰＴＳを計算できる。このため、Ｂストリームの過去に読み出した画像データが有するＰＴＳを基に、Ｂストリームの各ピクチャのＰＴＳを予め計算しておくことで、Ｉピクチャ２０１のＰＴＳを読み出した時点で、対応データが有すべきＰＴＳを判定できる。
一方、各ストリームの時刻情報が同期しておらず、ストリームの接続点のみが指定されている場合は、対応データ検出部１０３は、予め各ストリーム間の時刻情報のずれを算出しておく。図４に、各ストリームの時刻情報が同期していない場合の例を示す。
この場合、対応データ検出部１０３は、ストリームの接続点でのＡストリームの表示ピクチャ３０１のＰＴＳからＢストリームの表示ピクチャ３０２のＰＴＳを引いたＰＴＳ＿Ｏｆｆｓｅｔという値を予め算出し、保持しておく。ここで、Ｉピクチャ３１１に対応する対応データが表す対応符号化ピクチャを検出したい場合、Ｉピクチャ３１１に相当する画像データのＰＴＳからＰＴＳ＿Ｏｆｆｓｅｔ値を引いたＰＴＳよりも未来のＰＴＳであって、さらに、最も近いＰＴＳを有する画像データをＢストリームから検出すればよい。すなわち、対応データ検出部１０３は、Ｉピクチャ３１１の対応符号化ピクチャとして、Ｂピクチャ３１２を検出する。
以降、簡単のため各ストリームの時刻情報が同期している場合を想定し説明を行うが、各ストリームの時刻情報が同期していない場合も同様に、上記の方法により各ストリームの画像データの表示時刻に関する時間関係を判別することができる。
なお、複数のアクセスユニットが１つのＰＥＳパケットに多重化されている場合、パケットヘッダのＤＴＳ及びＰＴＳは、ＰＥＳパケット内の１番目のアクセスユニットに対応したものとなる。この場合、ＰＥＳパケット内の２番目以降のアクセスユニットの復号化時刻及び表示時刻は、表示順序を表すパラメータであるＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）値、又は、ＳＥＩ内のＢＰ＿ＳＥＩ（Ｂｕｆｆｅｒｉｎｇ Ｐｅｒｉｏｄ＿ＳＥＩ）及びＰＴ＿ＳＥＩ（Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ＿ＳＥＩ）情報のうち少なくとも１つから算出される。
ＰＯＣ値によりアクセスユニットの復号化時刻及び表示時刻を表す場合、ＰＯＣ値とアクセスユニットの表示時刻との間に一定の関係が成り立ち、ＰＯＣ値より復号化時刻及び表示時刻を算出することができる。また、ＢＰ＿ＳＥＩは、ビデオシーケンスの先頭などの特定のアクセスユニットに含まれ、ＰＴ＿ＳＥＩは、全てのアクセスユニットに含まれる値である。このＰＴ＿ＳＥＩには、直前のＢＰ＿ＳＥＩを含むアクセスユニットからの復号化時刻の差分値、及び各アクセスユニットにおける復号化時刻と表示時刻との差分値が含まれることから、各アクセスユニットの復号化時刻及び表示時刻を算出できる。
続いて、本実施の形態の符号化ストリーム再生装置１００が備える復号化処理部１０４及び制御部１０７の動作の一例について説明する。具体的には、対応データ検出部１０３によって検出された対応データを復号化する際の処理の一例について説明する。
上述のように、復号化処理部１０４は、対応データが参照画像データであるか否か、及び、対応データを復号化する際に参照する画像データが生成されているか否かによって復号化するデータが異なる。
ここで、対応データが参照画像データとなり得るか否かは、対応データが有するデータのうち、ＮＡＬユニットのヘッダに格納されるｎａｌ＿ｒｅｆ＿ｉｄｃというフラグから判定できる。ｎａｌ＿ｒｅｆ＿ｉｄｃが１の場合、対応データは参照画像データと判定される。一方、ｎａｌ＿ｒｅｆ＿ｉｄｃが０の場合、対応データは参照画像データではないと判定される。この判定は、例えば、復号化処理部１０４によって実行される。
例えば、図３において、対応データ検出部１０３が、対応データとしてＢピクチャ２０２を示す画像データを検出した場合において、復号化処理部１０４は、Ｂピクチャ２０２を示す画像データのｎａｌ＿ｒｅｆ＿ｉｄｃから、Ｂピクチャ２０２が他の画像データの復号化に必要ではないと判定した場合、Ｉピクチャ２０７を示す画像データと、Ｐピクチャ２０８を示す画像データとを復号化し、得られる２つの復号化ピクチャを復号画像蓄積部１０５に出力する。
また、対応データ検出部１０３が、対応データとしてＰピクチャ２０６を示す画像データを検出した場合において、復号化処理部１０４は、Ｐピクチャ２０６を示す画像データのｎａｌ＿ｒｅｆ＿ｉｄｃから、Ｐピクチャ２０６が参照画像データであると判定した場合、このＰピクチャ２０６を復号化し、得られる復号化ピクチャを復号画像蓄積部１０５に出力する。
なお、Ｂピクチャ２０２を示す画像データに対し、Ｉピクチャ２０７を示す画像データと、Ｐピクチャ２０８を示す画像データと、Ｂピクチャ２０２を示す画像データとを復号化し、得られる３つの復号化ピクチャを復号画像蓄積部１０５に出力する構成にしても構わない。また、Ｂピクチャ２０２に対応する画像データのみを復号化し、得られる復号化ピクチャを復号画像蓄積部１０５に出力する構成にしても構わない。この場合、Ｂピクチャ２０２に対応する画像データを復号化するため、再生ストリームを切り替える際、さらに切り替えの効率化を図ることが可能となる。
（符号化ストリーム再生装置１００全体の動作）
以下では、上述したように構成された符号化ストリーム再生装置１００の動作について、図面を参照しながら説明する。
図５は、本実施の形態の符号化ストリーム再生装置１００の再生動作の一例を示すフローチャートである。
符号化ストリーム再生装置１００では、ユーザーからＡストリームの再生操作を操作受付部１０８が検出した場合、操作受付部１０８は、制御部１０７にその旨を通知し、ステップＳ１０２に進む（ステップＳ１０１）。
制御部１０７は、操作受付部１０８から通知を受けると、データ読出し部１０２を制御し、データ読出し部１０２は、記録媒体１０１に記録されているＡストリームに含まれる１ピクチャ分に相当する画像データを読み出し、復号化処理部１０４及び対応データ検出部１０３に出力し、ステップＳ１０３及びステップＳ１０４に進む（ステップＳ１０２）。
制御部１０７による制御に基づいて、復号化処理部１０４は、データ読出し部１０２によって読み出された画像データの復号化を行い、復号画像蓄積部１０５に出力し、ステップＳ１０５に進む（ステップＳ１０３）。
また、制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ１０３と並行して、読み出したＡストリームの画像データに対応するＢストリームに含まれる画像データの復号化を行い、得られる復号化ピクチャを復号画像蓄積部１０５に出力し、ステップＳ１０５に進む（ステップＳ１０４）。なお、Ｂストリームに含まれる画像データの復号化処理については、図６を用いて後で詳しく説明する。
なお、制御部１０７は、ステップＳ１０３と、ステップＳ１０４とを並行して処理する動作でも構わないし、ステップＳ１０４を処理した後、ステップＳ１０３を処理する動作でも構わないし、ステップＳ１０３を処理した後、ステップＳ１０４を処理する動作でも構わない。
制御部１０７による制御に基づいて、復号画像蓄積部１０５は、復号化処理部１０４において画像データを復号化した際に得られる復号化ピクチャを蓄積し、ステップＳ１０６に進む（ステップＳ１０５）。
制御部１０７は、出力選択部１０９から符号化ストリームの切り替え操作に関する操作信号が出力されているか否かを判定する（ステップＳ１０６）。符号化ストリームの切り替え操作に関する操作信号が出力されていない場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０７に進み、出力されている場合は（ステップＳ１０６でＮｏ）、ステップＳ１０９に進む。
制御部１０７による制御に基づいて、出力部１０６は、復号画像蓄積部１０５からＡストリームに対応する復号化ピクチャを読み出し、出力し、ステップＳ１０８に進む（ステップＳ１０７）。
制御部１０７は、符号化ストリームの再生動作の終了を判定する（ステップＳ１０８）。終了と判定された場合は（ステップＳ１０８でＹｅｓ）、そのまま動作を終了する。一方、再生動作が継続されると判定された場合は（ステップＳ１０８でＮｏ）、ステップＳ１０２に戻り、同様の動作を繰り返す。なお、再生動作が終了する判定は、制御部１０７において行う構成にしても構わないし、別途判定を行う判定部を符号化ストリーム再生装置１００が備える構成にしても構わない。
一方、符号化ストリームの切り替え操作に関する操作信号を検出した場合（ステップＳ１０６でＮｏ）、制御部１０７による制御に基づいて、出力部１０６は、出力すべき復号化ピクチャが復号画像蓄積部１０５に蓄積されているか否かを判定する（ステップＳ１０９）。出力すべき復号化ピクチャが蓄積されていると判定された場合は（ステップＳ１０９でＹｅｓ）、ステップＳ１０７に進み、蓄積されていないと判定された場合は（ステップＳ１０９でＮｏ）、ステップＳ１１０に進む。なお、この判定は、制御部１０７で行う構成にしても構わないし、別途蓄積されているか否かを判定する判定部を符号化ストリーム再生装置１００が備える構成にしても構わない。
出力すべき復号化ピクチャが蓄積されていないと判定された場合（ステップＳ１０９でＮｏ）、制御部１０７は、復号化処理部１０４を制御し、復号化処理部１０４は、出力部１０６から出力する予定の復号化ピクチャを、復号画像蓄積部１０５が蓄積している復号化ピクチャを基に復号化し、復号画像蓄積部１０５に出力し、ステップＳ１０７に進む（ステップＳ１１０）。
（Ｂストリームを復号化する際の復号化処理部１０４の動作）
次に、復号化処理部１０４がＢストリームに含まれる画像データを復号化する際の動作について図面を参照しながら説明する。なお、ＰＴＳ＿Ａを、データ読出し部１０２が読み出したＡストリームの画像データが有するＰＴＳとし、ＰＴＳ＿Ｂを、データ読出し部１０２が読み出したＢストリームの画像データが有するＰＴＳとする。
図６は、本実施の形態の符号化ストリーム再生装置１００の再生動作のうち、再生中でない符号化ストリームの復号化処理の一例を示すフローチャートである。
まず、制御部１０７による制御に基づいて、対応データ検出部１０３は、ステップＳ１０２においてデータ読出し部１０２が読み出した画像データのＰＴＳ＿Ａを検出し、ステップＳ２０２に進む（ステップＳ２０１）。
次に、制御部１０７による制御に基づいて、データ読出し部１０２は、記録媒体１０１からＢストリームに含まれる画像データを読み出し、ステップＳ２０３に進む（ステップＳ２０２）。
制御部１０７による制御に基づいて、対応データ検出部１０３は、ステップＳ２０１において検出したＰＴＳ＿Ａと、ステップＳ２０２において読み出されたＢストリームに含まれる画像データが有するＰＴＳ＿Ｂとを比較する（ステップＳ２０３）。ＰＴＳ＿ＢがＰＴＳ＿Ａよりも未来のＰＴＳであって、さらに、最も近接したＰＴＳである場合（ステップＳ２０３でＹｅｓ）、対応データ検出部１０３は、ＰＴＳ＿Ｂを有する画像データを対応データとして復号化処理部１０４へ出力し、ステップＳ２０４に進む。そうでない場合は（ステップＳ２０３でＮｏ）、ステップＳ２０２に戻り、データ読出し部１０２はＢストリームに含まれる次の画像データを読み出す。
次に、制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ２０３において出力された対応データのヘッダに有するｎａｌ＿ｒｅｆ＿ｉｄｃを基に、当該画像データが参照画像データであるか否かを判定する（ステップＳ２０４）。当該対応データが参照画像データである場合は（ステップＳ２０４でＹｅｓ）、ステップＳ２０５に進む。参照画像データではない場合は（ステップＳ２０４でＮｏ）、ステップＳ２０７に進む。
当該対応データが参照画像データであると判定された場合（ステップＳ２０４でＹｅｓ）、制御部１０７は、当該対応データが復号化済みであるか否かを判定する（ステップＳ２０５）。復号化済みである場合は（ステップＳ２０５でＹｅｓ）、そのまま動作を終了する。復号化されていない場合は（ステップＳ２０５でＮｏ）、ステップＳ２０６に進む。なお、復号化済みであるか否かの判定は、対応データに含まれるＰＴＳなど、当該画像データが有するヘッダ情報を利用する構成にしても構わない。
制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ２０３において出力された対応データの復号化を行い、動作を終了する（ステップＳ２０６）。
当該対応データが参照画像データではないと判定された場合（ステップＳ２０４でＮｏ）、制御部１０７は、当該対応データに対応する参照画像データが復号化されているか否かを判定する（ステップＳ２０７）。当該対応データに対応する参照画像データが復号化されていると判定された場合（ステップＳ２０７でＹｅｓ）、そのまま動作を終了する。そうではない場合は（ステップＳ２０７でＮｏ）、ステップＳ２０８に進む。
参照画像データが復号化されていないと判定された場合（ステップＳ２０７でＮｏ）、制御部１０７による制御に基づいて、復号化処理部１０４は、当該参照画像データの復号化を行い復号画像蓄積部１０５に出力し、動作を終了する（ステップＳ２０８）。
なお、ステップＳ２０３において、記録媒体１０１から読み出されたＢストリームの画像データが対応データではないと判定され、かつ、当該画像データが参照画像データとなり得る場合、制御部１０７が当該画像の記録媒体１０１における記録位置を記憶する構成としてもよい。これにより、ステップＳ２０８において参照画像を復号化する場合に、直ちに当該参照画像を記録媒体１０１から読み出すことができる。
また、同様にステップＳ２０３において、記録媒体１０１から読み出されたＢストリームの画像データが対応データではないと判定され、かつ、当該画像データが参照画像データとなり得る場合、各画像データの復号順及び表示順に関する情報を、ヘッダ情報から読み出し、あるいは算出し、制御部１０７が記憶する構成としてもよい。これにより、ステップＳ２０６〜ステップＳ２０８において参照画像の検出及び復号化処理を行う際に、当該参照画像の選択を復号順又は表示順の情報を基に実行する場合、制御部１０７に記憶されている各画像データの復号順及び表示順に関する情報を用いることができる。
あるいは、ステップＳ２０２において、記録媒体１０１から読み出されたＢストリームの各画像データのＰＴＳ＿Ｂを、制御部１０７が記憶する構成としてもよい。これにより、既に読み出されたＢストリームの画像データに対応データが含まれる場合に、ステップＳ２０３において直ちに対応データを検出することができる。
以上のように構成される本実施の形態に係る符号化ストリーム再生装置１００は、Ａストリームに含まれる１ピクチャ分に相当する画像データを記録媒体１０１から読み出し、読み出した画像データの表示時刻よりも未来の表示時刻であって、さらに、最も近接する表示時刻を有するＢストリームに含まれる画像データを対応データとして検出する。そして、検出した対応データが参照画像データである場合、復号化して蓄積し、参照画像データではない場合は、当該対応データに対応する参照画像データを復号化し蓄積することが可能となる。
これにより、図３に示す２本の符号化ストリームのシームレスな切り替えを実現する場合、再生中のＡストリームの復号化と並行してＢストリームの復号化を行う必要があるが、Ｂストリームについては全体の約１／３のピクチャのみ（図３の例では、主にＩピクチャとＰピクチャ）を復号化すればよいため、低い処理能力で、シームレスなストリーム切り替えを実現できる。
なお、本実施の形態においては、フレームレートの異なる２つの符号化ストリームを切り替える場合を例に、符号化ストリーム再生装置１００の動作の説明を行ったが、同じフレームレートの符号化ストリームを切り替える場合及び、３つ以上の符号化ストリームを切り替える場合などについても同様の方法により比較的低い処理能力でストリームの切り替えを実現できる。
また、本実施の形態においては、フレームレートが低い符号化ストリームから高い符号化ストリームへ再生を切り替える構成について説明したが、この構成に限定されず、フレームレートの高い符号化ストリームから、低い符号化ストリームへ再生を切り替える構成にしても構わない。この場合、例えば、図３に示すようにＢピクチャ２０２からＢピクチャ２０３へ再生を切り替える際、Ｂピクチャ２０２から直ちにＢピクチャ２０３に再生を切り替える構成にしても構わない。あるいは、Ｐピクチャ２０８まで再生した後、Ｂピクチャ２０３に切り替える構成にしても構わないし、又は、Ｂピクチャ２０２と、Ｐピクチャ２０８との間に存在するピクチャまで再生した後、Ｂピクチャ２０３に再生を切り替える構成にしても構わない。上記の構成により、フレームレートが高い符号化ストリームから再生を切り替える場合であっても、シームレスに符号化ストリームを切り替えることが可能な効果を奏する。
以上のように、本発明の実施の形態に係る符号化ストリーム再生装置は、比較的低い処理能力で、複数の符号化ストリームの再生を円滑に切り替えることができる。
以上、本発明に係る符号化ストリーム再生装置及び符号化ストリーム再生方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、本実施の形態の符号化ストリーム再生装置１００では、記録媒体１０１に記録された複数の符号化ストリームを読み出す構成について説明したが、ネットワークなどの通信回線を介して複数の符号化ストリームを取得してもよい。
なお、本発明に係る符号化ストリーム再生装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、システムＬＳＩ、ＲＡＭ、ＲＯＭ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ネットワークインターフェースなどを備えるとしてもよい。さらに、ＤＶＤ−ＲＡＭ、Ｂｌｕ−ｒａｙディスク、ＳＤメモリカードのような可搬性の記録媒体に対して読出し可能なドライブ装置を備えるとしてもよい。
なお、符号化ストリーム再生装置１００は、デジタルビデオカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、携帯電話機などのような組み込みシステムとしてもよい。
さらに、ＨＤＤ又はＲＯＭなどに、符号化ストリーム再生装置１００を制御するプログラム（以下、符号化プログラムと呼称する）がインストールされており、符号化プログラムが実行されることによって、符号化ストリーム再生装置１００の各機能が実現されるとしてもよい。
なお、符号化プログラムは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。これによって、符号化ストリーム再生装置１００の各機能を他のハードウェアシステムに実現することができる。ここで、コンピュータシステム読み取り可能な記録媒体として、光学記録媒体（例えば、ＣＤ−ＲＯＭなど）、磁気記録媒体（例えば、ハードディスクなど）、光磁気記録媒体（例えば、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｋ）など）、半導体メモリ（例えば、メモリカードなど）などがある。
また、符号化プログラムは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。これによって、符号化ストリーム再生装置の各機能を他のハードウェアシステムに実現することができる。ここで、ネットワークとして、地上放送網、衛星放送網、ＰＬＣ（Ｐｏｗｅｒ Ｌｉｎｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、移動電話網、有線通信網（例えば、ＩＥＥＥ８０２．３など）、無線通信網（例えば、ＩＥＥＥ８０２．１１など）がある。
なお、符号化ストリーム再生装置１００は、フルカスタムＬＳＩ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのようなセミカスタムＬＳＩ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などのようなプログラマブルロジックデバイス、又は、動的に回路構成が書き換え可能なダイナミックリコンフィギュラブルデバイスに形成されるとしてもよい。
さらに、符号化ストリーム再生装置１００の各機能を符号化ストリーム再生用の集積回路に形成する設計データは、ハードウェア記述言語によって記述されたプログラム（以下、ＨＤＬプログラムと称す）としてもよい。さらに、ＨＤＬプログラムを論理合成して得られるゲートレベルのネットリストとしてもよい。また、ゲートレベルのネットリストに、配置情報、プロセス条件などを付加したマクロセル情報としてもよい。また、寸法、タイミングなどが規定されたマスクデータとしてもよい。ここで、ハードウェア記述言語として、ＶＨＤＬ（Ｖｅｒｙ ｈｉｇｈ ｓｐｅｅｄ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ Ｈａｒｄｗａｒｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）、Ｖｅｒｉｌｏｇ−ＨＤＬ、ＳｙｓｔｅｍＣなどがある。
さらに、設計データは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。そして、これらの記録媒体を介して他のハードウェアシステムに読み取られた設計データが、ダウンロードケーブルを介して、プログラマブルロジックデバイスにダウンロードされるとしてもよい。
または、設計データは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。そして、これらのネットワークを介して他のハードウェアシステムに取得された設計データが、ダウンロードケーブルを介して、プログラマブルロジックデバイスにダウンロードされるとしてもよい。
または、設計データは、通電時にＦＰＧＡに転送され得るように、シリアルＲＯＭに記録しておくとしてもよい。そして、シリアルＲＯＭに記録された設計データは、通電時に、直接、ＦＰＧＡにダウンロードされるとしてもよい。
または、設計データは、通電時に、マイクロプロセッサによって生成されて、ＦＰＧＡにダウンロードされるとしてもよい。
本発明に係る符号化ストリーム再生装置は、比較的低い処理能力で複数の符号化ストリームの再生を円滑に切り替えることができるという効果を奏し、例えば、フレームレートの異なる複数のストリームを復号化する符号化ストリーム再生装置において有用である。
１１ ＴＳパケット
１２ ＰＥＳパケット
１３ ＰＣＲ
１４ ＰＥＳパケットヘッダ
１５ ＰＥＳパケットペイロード
１６ ＮＡＬユニット
１００ 符号化ストリーム再生装置
１０１、４０１ 記録媒体
１０２、４０２ データ読出し部
１０３ 対応データ検出部
１０４ 復号化処理部
１０５ 復号画像蓄積部
１０６ 出力部
１０７ 制御部
１０８、４０９ 操作受付部
１０９、４０８ 出力選択部
１１０ 内部バッファ
２０１、２０７、３１１ Ｉピクチャ
２０２、２０３、２０４、２０５、３１２ Ｂピクチャ
２０６、２０８ Ｐピクチャ
３０１、３０２ 表示ピクチャ
４００ 画像復号化装置
４０３ 逆多重化部
４０４ 第１画像復号化部
４０５ 第２画像復号化部
４０６ 画像蓄積部
４０７ 出力切り替え部
４１０ 表示部

Claims (12)

  1. 複数の符号化ストリームの１つを再生する符号化ストリーム再生装置であって、
    前記複数の符号化ストリームの１つを選択する選択部と、
    前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、
    前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、
    前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、
    前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
    符号化ストリーム再生装置。
  2. 前記符号化ストリーム再生装置は、さらに、
    前記復号化部によって復号化された復号化ピクチャを蓄積する蓄積部と、
    前記選択部によって選択された符号化ストリームから生成された復号化ピクチャを前記蓄積部から読み出して出力する出力部とを備え、
    前記出力部は、前記選択部が前記第２符号化ストリームを選択した時、出力中の第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されて得られた第２復号化ピクチャを出力する
    請求項１記載の符号化ストリーム再生装置。
  3. 前記復号化部は、前記選択部が前記第２符号化ストリームを選択した時、前記出力部が出力していた第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されていない場合に、当該第２符号化ピクチャを復号化することで前記第２復号化ピクチャを生成する
    請求項２記載の符号化ストリーム再生装置。
  4. 前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
    請求項１〜３のいずれか１項に記載の符号化ストリーム再生装置。
  5. 前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近い時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
    請求項４記載の符号化ストリーム再生装置。
  6. 前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降、前記第１符号化ストリーム又は前記第２符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
    請求項４記載の符号化ストリーム再生装置。
  7. 前記第１符号化ストリームのフレームレートは、前記第２符号化ストリームのフレームレートより低く、
    前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、前記表示時刻から、前記第１符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
    請求項６記載の符号化ストリーム再生装置。
  8. 前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャである場合、当該第２符号化ピクチャを復号化する
    請求項１〜７のいずれか１項に記載の符号化ストリーム再生装置。
  9. 前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャではなく、かつ、前記第３符号化ピクチャが復号化されていない場合、当該第３符号化ピクチャを復号化する
    請求項１〜８のいずれか１項に記載の符号化ストリーム再生装置。
  10. 複数の符号化ストリームの１つを再生する符号化ストリーム再生方法であって、
    前記複数の符号化ストリームの１つを選択する選択ステップと、
    前記複数の符号化ストリームのうち、前記選択ステップで選択された符号化ストリームである第１符号化ストリームと、前記選択ステップで選択されていない符号化ストリームである第２符号化ストリームとを取得する取得ステップと、
    前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化ステップと、
    前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出ステップとを含み、
    前記復号化ステップでは、さらに、前記対応データ検出ステップで検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
    符号化ストリーム再生方法。
  11. 請求項１０記載の符号化ストリーム再生方法をコンピュータに実行させるためのプログラム。
  12. 複数の符号化ストリームの１つを再生する符号化ストリーム再生集積回路であって、
    前記複数の符号化ストリームの１つを選択する選択部と、
    前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、
    前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、
    前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、
    前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
    符号化ストリーム再生集積回路。
JP2010518929A 2008-07-04 2009-07-02 符号化ストリーム再生装置及び符号化ストリーム再生方法 Active JP5258885B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010518929A JP5258885B2 (ja) 2008-07-04 2009-07-02 符号化ストリーム再生装置及び符号化ストリーム再生方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008175410 2008-07-04
JP2008175410 2008-07-04
JP2010518929A JP5258885B2 (ja) 2008-07-04 2009-07-02 符号化ストリーム再生装置及び符号化ストリーム再生方法
PCT/JP2009/003069 WO2010001609A1 (ja) 2008-07-04 2009-07-02 符号化ストリーム再生装置及び符号化ストリーム再生方法

Publications (2)

Publication Number Publication Date
JPWO2010001609A1 true JPWO2010001609A1 (ja) 2011-12-15
JP5258885B2 JP5258885B2 (ja) 2013-08-07

Family

ID=41465716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010518929A Active JP5258885B2 (ja) 2008-07-04 2009-07-02 符号化ストリーム再生装置及び符号化ストリーム再生方法

Country Status (3)

Country Link
US (1) US20110116722A1 (ja)
JP (1) JP5258885B2 (ja)
WO (1) WO2010001609A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2498494A1 (en) * 2011-03-11 2012-09-12 Thomson Licensing Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
JP5767982B2 (ja) * 2012-01-26 2015-08-26 カヤバ工業株式会社 ドライブレコーダ
US20130308926A1 (en) * 2012-05-17 2013-11-21 Gangneung-Wonju National University Industry Academy Cooperation Group Recording medium, reproducing device for performing trick play for data of the recording medium, and method thereof
JP5891975B2 (ja) * 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
EP3703379B1 (en) 2013-12-16 2022-06-22 Panasonic Intellectual Property Corporation of America Transmission method, reception method, transmitting device, and receiving device
JP6119891B2 (ja) * 2016-02-25 2017-04-26 富士通株式会社 動画像符号化方法
JP2017228906A (ja) * 2016-06-21 2017-12-28 サイレックス・テクノロジー株式会社 再生装置、再生システム、再生装置の制御方法、及び、再生システムの制御方法
JP6237831B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像復号用コンピュータプログラム
JP6237830B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像復号方法
JP6237829B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像符号化用コンピュータプログラム
CN114902677A (zh) 2019-12-27 2022-08-12 字节跳动有限公司 信令通知视频子图片的语法
CN117395441A (zh) 2020-01-09 2024-01-12 字节跳动有限公司 视频流中的填充数据单元的处理
US11487631B2 (en) 2020-03-26 2022-11-01 International Business Machines Corporation Data refresh in a replication environment

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3791114B2 (ja) * 1997-04-30 2006-06-28 ソニー株式会社 信号再生装置及び方法
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
JP4642171B2 (ja) * 1998-09-24 2011-03-02 ソニー株式会社 画像再生装置および方法、並びに記録媒体
US6414996B1 (en) * 1998-12-08 2002-07-02 Stmicroelectronics, Inc. System, method and apparatus for an instruction driven digital video processor
US6628838B1 (en) * 1999-05-13 2003-09-30 Sony Corporation Picture decoding apparatus, picture decoding method and recording medium for storing the picture decoding method
US6925097B2 (en) * 2000-03-29 2005-08-02 Matsushita Electric Industrial Co., Ltd. Decoder, decoding method, multiplexer, and multiplexing method
JP2001346206A (ja) * 2000-03-29 2001-12-14 Matsushita Electric Ind Co Ltd 復号装置、復号方法、多重化装置及び多重化方法
US7706445B2 (en) * 2001-05-31 2010-04-27 Sanyo Electric Co., Ltd. Image processing employing picture type conversion
JP4028818B2 (ja) * 2003-05-26 2007-12-26 財団法人エヌエイチケイエンジニアリングサービス ストリーム切り替え装置、ストリーム切り替え方法及びストリーム切り替えプログラム、並びに、表示時刻補正装置
KR101110009B1 (ko) * 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
JP4364176B2 (ja) * 2005-06-20 2009-11-11 シャープ株式会社 映像データ再生装置及び映像データ生成装置
JP4301250B2 (ja) * 2006-02-13 2009-07-22 ソニー株式会社 信号再生装置及び方法
JP2009060502A (ja) * 2007-09-03 2009-03-19 Sony Corp 電子機器、出力方法及びプログラム

Also Published As

Publication number Publication date
US20110116722A1 (en) 2011-05-19
WO2010001609A1 (ja) 2010-01-07
JP5258885B2 (ja) 2013-08-07

Similar Documents

Publication Publication Date Title
JP5258885B2 (ja) 符号化ストリーム再生装置及び符号化ストリーム再生方法
KR101215615B1 (ko) 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치
CN1950907B (zh) 运动画面流产生装置，运动画面编码装置，运动画面多路复用装置和运动画面解码装置
CN100551074C (zh) 图像解码方法、图像解码装置和集成电路
US8085851B2 (en) Moving image encoding method and apparatus
TWI323602B (ja)
EP2012322B1 (en) Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program
JP2008547360A (ja) インスタント・リプレイを提供するための方法及びシステム
KR20070049098A (ko) 기록 장치 및 방법, 재생 장치 및 방법, 기록 매체, 및프로그램
KR100770908B1 (ko) 디지털 방송 스트림의 변속 재생 장치 및 방법
JP2007158432A (ja) 映像記録装置
JP2008236180A (ja) 記録装置、映像再生装置、および、その特殊再生方法
JP4763589B2 (ja) 再生装置、および、その再生方法
JP5803814B2 (ja) 記録装置および記録制御方法
JP2013012265A (ja) 再生装置および再生方法
US8401360B2 (en) Apparatus and associated methodology for generating a picture-in-picture display from two video screens
KR100956821B1 (ko) Ｐｖｒ 재생 방법
JP2004180282A (ja) ストリーム情報再生装置、ストリーム情報再生方法、プログラム及びデジタル放送受信機
JP2005322977A (ja) カメラ一体型記録再生装置
JP2009060502A (ja) 電子機器、出力方法及びプログラム
JP2010183591A (ja) 映像音声記録装置
KR20100060416A (ko) 영상저장장치 및 영상저장방법
JP2011139291A (ja) 画像再生制御装置、画像再生制御方法および撮像装置
JP2007259029A (ja) 映像信号記録装置、記録媒体、及び映像信号再生装置
JP2004140679A (ja) 記録媒体とその再生装置及び記録装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130423

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250