JP3975503B2 - 情報再生装置及び再生方法 - Google Patents
情報再生装置及び再生方法 Download PDFInfo
- Publication number
- JP3975503B2 JP3975503B2 JP06687097A JP6687097A JP3975503B2 JP 3975503 B2 JP3975503 B2 JP 3975503B2 JP 06687097 A JP06687097 A JP 06687097A JP 6687097 A JP6687097 A JP 6687097A JP 3975503 B2 JP3975503 B2 JP 3975503B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- video
- information
- vob
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、符号化された映像信号と符号化された副映像信号又は音声信号とにより形成された多重化情報信号を再生する情報再生装置及び再生方法に関する。
【０００２】
【従来の技術】
オーディオ／ビデオ／データを統合的に扱うため、近年では、ＭＰＥＧ（Moving Picture Experts Group）方式による情報圧縮技術（以下、単にこの圧縮技術をＭＰＥＧという。）が広く使われるようになった。特に、このＭＰＥＧでは、ビデオ、オーディオ、データを同期化して多重化するのが重要となる。また、同期をとって再生するのも重要となる。
【０００３】
このＭＰＥＧを用いたシステムとしては、任意の数のビデオ、オーディオ等の個別の符号化ストリームを多重化して１組のプログラムとして１本化されたストリームを構成するＭＰＥＧ１システムと、同様に一つのプログラムを構成したプログラムストリーム（Program Stream：ＰＳ）を用いるのと、トランスポートストリーム（Transport Stream：ＴＳ）と呼ばれる複数のプログラムを用いるＭＰＥＧ２システムがある。
【０００４】
ここで、上記ＭＰＥＧ２システムによって符号化され多重化されて生成されたＰＳが記録された記録媒体から一つのＰＳを再生するだけであればビデオ／オーディオ／データ用の各デコーダを備えた再生装置を用い、一つのＰＳ内での同期のずれを制御して再生を行えばよい。
【０００５】
上記一つのＰＳを形成しているビデオやオーディオ等の各アクセスユニットと呼ばれる復号再生の単位毎には、いつ復号再生すべきかを示すタイムスタンプと呼ばれる時刻管理情報が付加されており、このタイムスタンプに応じてデコーダではデコードの制御を行っている。タイムスタンプには、プレゼンテーションタイムスタンプ（Presentation Time Stamp：ＰＴＳ）と呼ばれる再生出力の時刻管理情報と、デコーディングタイムスタンプ（Decoding Time Stamp：ＤＴＳ）と呼ばれる復号の時刻管理情報がある。実際に、ビデオやオーディオ等のデコーダでは、上記ＰＴＳやＤＴＳを現在のシステムタイムクロック（System Time Clock：ＳＴＣ）と呼ばれる基準時刻情報と比較して、一致したらデコードや表示を開始している。
【０００６】
上記ビデオやオーディオ等のデコーダの前には、上記記録媒体から読み出したＰＳをビデオやオーディオに分離するためのデマルチプレクサが設けられているが、このデマルチプレクサでは、複数のパケットを束ねた各パックのシステムクロックリファレンス（System Clock Reference：ＳＣＲ）と呼ばれるシステム時刻基準参照値を現在の上記ＳＴＣと比較して、上記ＳＴＣが上記ＳＣＲに等しくなったら、該当するパックを上記各デコーダへ転送する。
【０００７】
こうすることにより、このデマルチプレクサは、各デコーダのコードバッファをオーバーフローやアンダーフローさせることなく、上記ビデオやオーディオ等のデータを供給することができ、各デコーダはデコード処理を滞りなく行うことができる。しかし、この方法では、全てのパックで上記ＳＣＲと上記ＳＴＣを比較しなければならないので、回路規模が大きくなる。
【０００８】
そこで、上記ＳＣＲと上記ＳＴＣを比較することなく、デマルチプレクサが各デコーダへ上記ビデオやオーディオ等のデータを供給する方法が本件出願人により既に特願平３−２３０９７５号公報により開示されている。この方法では、上記各デコーダのコードバッファがフル（一杯）になったかどうかの信号をデマルチプレクサに送り、その信号がフルを示さない限り、デマルチプレクサはデータを送るようにすることで、コードバッファをオーバーフローさせることなくデータを供給できる。
【０００９】
この方法によれば、上記ＳＣＲと上記ＳＴＣを比較する回路が不要となるばかりか、オーディオギャップと呼ばれるようなオーディオストリームの不連続点の取り扱いを、簡単な回路構成で、かつより高い品質で行うことを可能とする。
【００１０】
ところで、最近、コンパクトディスクの約７倍にあたる４．７ギガバイト（ＧＢ）を片面１層記録で、また片面２層では８．５ＧＢ、等の大容量記録を可能にした光ディスクがディジタルビデオディスク（ＤＶＤ）という名称で発表され、普及され始めている。
【００１１】
この大容量記録光ディスクでは、上記一つのＰＳを情報信号の一つの再生単位としている。この再生単位をビデオオブジェクト（Video Object：ＶＯＢ）と呼ぶ。すなわち、一つのＰＳにより一つのＶＯＢを形成している。このＶＯＢは複数のセル（Cell）に分割されている。このセルはプログラムチェインインフォメーション（Program Chain Information：ＰＧＣＩ）と呼ばれる再生コントロール情報により、再生順序を制御される。すなわち、ＰＧＣＩには、複数のセルの再生順序等が記されている。
【００１２】
一つのＶＯＢは一つのＰＳであるので、上記大容量記録光ディスクに記録された一つのＶＯＢを再生するだけであれば、同じＶＯＢの中における連続するセルとセルを上記ＰＧＣＩにしたがってシームレスに再生することができる。
【００１３】
【発明が解決しようとする課題】
ところで、上記大容量記録光ディスクには、その大容量記録という長所を生かして、一つの映像の場面に対して、例えばカメラのアングルを変えたような他の複数の映像を記録したり、複数のストーリーを予め収録しておき記録することが可能となり、見る人に場面に応じて好みの映像又はストーリーをいわゆるマルチアングルやマルチストーリー機能により選択させることができるようになった。
【００１４】
この場合、上記ＶＯＢを再生する装置に用いられるビデオやオーディオ等のデコーダには、異なったＶＯＢを切れ目なく、すなわちシームレス（Seamless)にデコードするため、他のＶＯＢへの繋ぎ目での同期のずれを制御する機能が必要とされる。
【００１５】
しかし、先のＶＯＢの最後のセルと、それに続くべき次のＶＯＢの先頭のセルは別のＰＳであるので、シームレスな再生は困難であった。
【００１６】
本発明は、上記実情に鑑みてなされたものであり、情報信号の異なった再生単位間の切れ目の無い再生を簡単な構成で実現する情報再生装置及び方法の提供を目的とする。
【００１７】
【課題を解決するための手段】
本発明に係る情報再生装置は、上記課題を解決するために、所定の再生単位の多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生するときには、分離手段で分離される多重化情報信号の分離出力信号が他の多重化情報信号の分離出力信号に切り替わった時刻から、映像復号手段が切り替わる前の多重化情報信号から分離された映像信号を出力終了する時刻までの期間内は、符号化副映像信号の復号処理を停止する。
【００１８】
また、本発明に係る情報再生方法は、上記課題を解決するために、所定の再生単位の多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生するときには、分離されて出力される多重化情報信号の分離出力信号が他の多重化情報信号の分離出力信号に切り替わった時刻から、切り替わる前の多重化情報信号から分離された映像信号を復号した信号を出力終了する時刻までの期間内は、符号化副映像信号の復号処理を停止する。
【００１９】
また、本発明に係る情報再生装置は、上記課題を解決するために、所定の再生単位の多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生するときには、分離手段で分離される多重化情報信号の分離出力信号が他の多重化情報信号の分離出力信号に切り替わった時刻から、映像復号手段が切り替わる前の多重化情報信号から分離された映像信号を出力終了する時刻までの期間内で、多重化情報信号から分離された符号化音声信号の復号処理を他の多重化情報信号から分離された符号化音声信号の復号処理に切り替える。
【００２１】
【発明の実施の形態】
以下、本発明に係る情報再生装置及び方法の実施の形態について図面を参照しながら説明する。
【００２２】
この実施の形態は、ＭＰＥＧ（Moving Picture Experts Group）２方式による情報圧縮技術（以下、単にこの圧縮技術をＭＰＥＧ２という。）によりオーディオ／ビデオ等の信号が圧縮符号化されて記録されているディジタルビデオディスク（ＤＶＤ）のような大容量光ディスクを再生する大容量光ディスク再生装置（以下、ＤＶＤ再生装置という。）である。特に、ここで用いるＤＶＤは、符号化されたビデオ信号と符号化された副映像信号であるサブピクチャ（Sub Picture：ＳＰ）と符号化されたオーディオ信号とを多重化した状態で記録している。
【００２３】
上記ＤＶＤ再生装置は、図１に示すように、上記ＤＶＤ１からＲＦ信号を再生するピックアップ２と、このピックアップ２により再生されたＲＦ信号が供給されてこのＲＦ信号の２値化処理等をするＲＦ回路３と、ＲＦ回路３からの再生データが供給されエラー訂正等のデコード処理をするデータデコーダ４と、データデコーダ４によりデコード処理がされた再生データを符号化ビデオデータ，符号化ＳＰデータ及び符号化オーディオデータに振り分けるデマルチプレクサ５と、このデマルチプレクサ５からの符号化ビデオデータを一時的に記憶するコードバッファ６と、このコードバッファ６からの符号化ビデオデータを復号化、ここでは伸長するビデオデコーダ７と、デマルチプレクサ５からの符号化ＳＰデータを一時的に記憶するコードバッファ８と、このコードバッファ８からの符号化ＳＰデータを復号化するＳＰデコーダ９と、デマルチプレクサ５からの符号化オーディオデータを一時的に記憶するコードバッファ１０と、コードバッファ１０からの符号化オーディオデータを復号するオーディオデコーダ１１とを備えている。
【００２４】
また、このＤＶＤ再生装置は、復号化されたビデオデータとＳＰデータとをＳＰデコーダ９から受け取り、ＮＴＳＣ信号又はＰＡＬ信号に変換するデジタル／ＮＴＳＣ，ＰＡＬ変換回路（以下、単にＮＴＳＣ変換回路という。）１２と、オーディオデコーダ１１からの復号化されたオーディオデータが供給され、アナログ信号に変換するデジタル／アナログ変換回路（以下、単にＤ／Ａ変換回路という。）１３も備える。
【００２５】
さらに、このＤＶＤ再生装置は、ピックアップ２，ＲＦ回路３，データデコーダ４，デマルチプレクサ５，ビデオデコーダ７，ＳＰデコーダ９，オーディオデコーダ１１，ＮＴＳＣ変換回路１２及びＤ／Ａ変換回路１３を制御するコントローラ１４と、このコントローラ１４とユーザーの操作入力を媒介するユーザインターフェース１５と、コントローラ１４のデータ記憶部となるメモリ１６とを備える。
【００２６】
そして、このコントローラ１５は、ユーザからユーザインターフェース１５を介して、所定の再生単位の上記多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生したいという要求があったときに、上記デマルチプレクサ５の切り替わり時刻から、ビデオデコーダ７がビデオデータを出力する時刻までの時間長さを検出し、この時間長さに応じてＳＰデコーダ９の復号を制御する。
【００２７】
また、コントローラ１４は、ユーザからユーザインターフェース１５を介して、所定の再生単位の上記多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生したいという要求があるときには、デマルチプレクサ５の切り替わり時刻から、ビデオデコーダ７がビデオデータを再生出力する時刻までの時間長さを検出し、この時間長さに応じてオーディオデコーダ１１の復号を制御する。
【００２８】
上記ＤＶＤは、図２に示すように、例えば、映画の１作品等の単位とされるVideo Object Set（以下、ＶＯＢＳという。）単位で記録されている。このＶＯＢＳは、複数のVideo Object（以下、ＶＯＢという。）から構成されている。ＤＶＤでは、例えば、１つの映画を複数のスト−リ−展開で見ることができるマルチスト−リといったフォ−マットを備えており、このような機能はこのＶＯＢごとで異なるスト−リ展開になる。
【００２９】
このＶＯＢは、複数のセル（Ｃｅｌｌ）により構成される。Ｃｅｌｌは、例えば映画における１シ−ン等の単位となる。すなわち、この１シ−ン毎の組み合わせがＶＯＢとなり、この組み合わせの違いにより上記マルチスト−リ機能等を構成する。マルチストーリ機能とは、あらかじめＤＶＤに複数のストーリを記録しておき、視聴者が再生中に表示されるメニューでストーリ展開などを選べる機能である。
【００３０】
セルは、複数のVideo Object Unit（ＶＯＢＵ）により構成されている。ＶＯＢＵは、動画像で０．４から１．２秒の単位であり、ＭＰＥＧ２のフォーマットにおけるGroup of Pictures（以下、ＧＯＰという。）を含んでいる。なお、Ｃｅｌｌは、再生順にＤＶＤ上に記録されていない場合が多く、そのためＣｅｌｌの再生順、記録位置等に関する情報は、ＤＶＤ上のＰＧＣＩ（Program Chain Information）に記録されている。
【００３１】
また、ＶＯＢＵは、制御情報データであるナビゲーションパック（ＮＶ＿ＰＣＫ；以下、ナビパックという。）、音声パック（Ａ＿ＰＣＫ）、副映像パック（ＳＰ＿ＰＣＫ）６及びＭＰＥＧ２方式によって圧縮符号化された映像データからなる映像パック（Ｖ＿ＰＣＫ）より構成される。
【００３２】
ここで、ナビパックは、パックヘッダと、システムヘッダと、ＰＣＩパケット（Presentation Control Information Packet；ＰＣＩ＿ＰＫＴ）と、ＤＳＩパケット（Data Search Information Packet；ＤＳＩ＿ＰＫＴ）とから構成される。
【００３３】
ＰＣＩパケットには、ＰＣＩ General Information（ＰＣＩ＿ＧＩ)と呼ばれる映像データの複数の再生制御情報が含まれる。
【００３４】
また、ＤＳＩパケットには、各データの複数のデータサーチ情報が含まれる。とくに、先のＶＯＢとそれに続くＶＯＢをシームレスに再生する際には、Seamless Playback Information（ＳＭＬ＿ＰＢＩ)が使われる。このＳＭＬ＿ＰＢＩには、ＶＯＢのビデオのスタートの再生時刻を示すVOB_V_S_PTMと、ＶＯＢのビデオのエンドの再生時刻を示すVOB_V_E_PTMがある。
【００３５】
ところで、上記ＤＶＤでは、異なる上記ＶＯＢを再生する際には、フォーマット上、エクステンデットシステムターゲットデコーダ（Extended System Target Decoder：Ｅ−ＳＴＤと略す）と呼ばれるモデルを導入し、シームレス再生を行えるようにしている。
【００３６】
例えば、今、先のＶＯＢをプリシーディング（Preceding）ＶＯＢとし、これに続くべきＶＯＢをサクシーディング（Succeding）ＶＯＢとすると、上記Ｅ−ＳＴＤモデルでは、プリシーディングＶＯＢとサクシーディングＶＯＢとをシームレスに再生し、マルチアングルやマルチストーリーを実現していることになる。
【００３７】
このＥ−ＳＴＤモデルを図３に示す。なお、この図３では、上記図１の各部と同じ構成の各部には同符号を付し説明を省略する。Ｅ−ＳＴＤモデルは、切り替え制御器２０により、上記ＳＣＲによりイニシャルされたＳＴＣ（STC initial valueと記す）と、ＳＴＣオフセット（STC offsetと記す）とを使って、ＳＴＣの値を適宜に切り替えて、ビデオデコーダ７、ＳＰデコーダ９、オーディオデコーダ１１から復号化されたデータを出力させ、上記プリシーディングＶＯＢとサクシーディングＶＯＢとを接続している。
【００３８】
プリシーディングＶＯＢを再生している期間、ビデオデコーダ７、ＳＰデコーダ９、オーディオデコーダ１１では、上記STC initial valueに応じてデコードを行っているが、サクシーディングＶＯＢに切り替わった後には、上記STC initial valueから上記ＳＴＣオフセットを引いた値に従ってデコーダを行う。
【００３９】
ここで、ＳＴＣオフセットとは、上記プリシーディングＶＯＢのエンドの時刻VOB(pre)_V_E_PTMとサクシーディングＶＯＢのスタートの時刻VOB(suc)_V_S_PTMとの差分によって得られる値である。
【００４０】
ここで、図４に示すように、デマルチプレクサ５のプリシーディングＶＯＢからサクシーディングＶＯＢへの切り替えタイミングをＴ１’とし、オーディオの再生出力タイミング（ＰＴＳ）をＴ２、ビデオのデコードタイミング（ＤＴＳ）をＴ３、ビデオの再生出力タイミング（ＰＴＳ）をＴ４とし、プリシーディングＶＯＢからサクシーディングＶＯＢへの切り替わりタイミングを考えると、上記Ｅ−ＳＴＤモデルでは、Ｔ１タイミングからＴ４及びＴ２タイミングを過ぎるまでの期間は、デマルチプレクサ５や各デコーダ７，９及び１１が参照するＳＴＣが異なることになる。また、ＶＯＢの先頭パックのナビパックでは上記ＳＣＲの値は０となる。
【００４１】
デマルチプレクサ５は、Ｔ１’タイミングからサクシーディングＶＯＢのＳＴＣに移っていくが、例えばビデオデコーダ７のコードバッファ６には３ピクチャ位前のデータが入っているので、Ｔ１’タイミングではまだデコードが始まっていない。Ｔ３タイミングになって初めてデコードが始まる。また、ＭＰＥＧ方式では、最初の符号化ピクチャはＩピクチャであり、実際に再生出力がサクシーディングＶＯＢに切り替わるのは上記Ｔ３タイミングから１フレーム分の時間が経過したＴ４タイミングとなる。オーディオのサクシーディングＶＯＢへの切り替わりタイミングもオーディオデコーダ１１のコードバッファ１０により上記Ｔ１’タイミングとは異なるタイミングＴ２となる。ここで、サブピクチャＳＰの切り替えタイミングは、ビデオの切り替わりタイミングＴ４と同じになる。
【００４２】
このため、このＥ−ＳＴＤモデルでは、上述したように異なるＳＴＣがタイミングＴ１’以後次々に検出されることになり、以下のような問題が生じてしまう。
【００４３】
先ず、サブピクチャユニットＳＰの再生時の問題について図５を用いて説明する。
【００４４】
ＶＯＢ中のＳＰユニットのＰＴＳの最小値は、図５に示したVOB_V_S_PTM以上であることがフォーマット上決まっている。また、プリシーディングＶＯＢがサクシーディングＶＯＢとシームレス接続される場合には、プリシーディングＶＯＢ中のＳＰユニットのＰＴＳの最大値はプリシーディングＶＯＢの最後のパックのＳＣＲより小さくなければならないとも規定されている。また、上記ＰＴＳの最大値は、上記Ｔ１’タイミングより小さく、またＳＴＣオフセット以下となる。
【００４５】
ここで、説明の簡略化のため、ＳＴＣがＳＴＣオフセットとなるタイミングをＴ１’タイミングとする。
【００４６】
このＴ１’タイミングより以前にＳＰデコーダ９が検出したＳＰユニットは、プリシーディングＶＯＢの再生中にデコーダされるべきものであり、そのユニットのＰＴＳがＳＴＣに一致したときにデコードを開始すればよい。
【００４７】
また、Ｔ４タイミング以降にＳＰデコーダが検出したユニットは、サクシーディングＶＯＢの再生中にデコードされるべきものであり、ＳＴＣもＴ４タイミングにおいて、サクシーディングの時刻を示すようになっているので、そのユニットのＰＴＳがＳＴＣに一致したときにデコード開始すればよい。
【００４８】
ここで、図５において、Ｔ１’〜Ｔ４期間中にＳＰデコーダが検出したＳＰユニットに関しては、上述した「プリシーディングＶＯＢ中のＳＰユニットのＰＴＳの最大値はＳＴＣオフセットより小さい」という条件より、プリシーディングＶＯＢの最中にデコードするものではなく、サクシーディングＶＯＢの最中にデコードするべきものである。
【００４９】
しかし、このＴ１’〜Ｔ４期間中にもサクシーディングＶＯＢのＳＰユニットは図５に示すようにＳＰデコーダ９に供給されており、そのユニットのＰＴＳがＳＴＣオフセット以上プリシーディングＶＯＢのエンドの時刻VOB(pre)_V_E_PTM以下である場合、Ｔ１’〜Ｔ４期間中にそのユニットのＰＴＳとＳＴＣが一致してしまい、上記Ｅ−ＳＴＤモデル通りに処理すると、本来のタイミングよりもかなり早いタイミングでデコードを行ってしまい、再生出力による表示を行ってしまう。
【００５０】
また、このＥ−ＳＴＤモデルを図６に示すように、各デコーダ７，９及び１１のコードバッファ６，８及び１０がフル（一杯）になったかどうかの信号をデマルチプレクサ５に送り、その信号がフルを示さない限り、デマルチプレクサ５はデータを送るようにするシステムに適用した際には、図５に示すようにＴ１’タイミングより早くサクシーディングＶＯＢがデマルチプレクスされることになり、Ｅ−ＳＴＤモデルにおけるＴ１’タイミングまでにＳＰデコーダが検出したユニットがどちらのＶＯＢで再生すべきか分からなくなってしまう。
【００５１】
また、Ｅ−ＳＴＤモデルでは、オーディオの再生や、オーディオストリームを切り替える場合にも問題が生じる。
【００５２】
オーディオにおけるＶＯＢの境界タイミングであるＴ２タイミングは、情報としてＶＯＢのどこにも書かれていない。このタイミングを検出できない場合、オーディオギャップの処理のタイミングが分からなかったり、ビデオの同期ずれの検出や、ポーズや正方向コマ送り後の通常再生へのＡＶ同期をとった復帰ができなくなる。
【００５３】
特に、リニアオーディオを再生している際に、オーディオギャップがある場合、そのギャップを正しく処理しないと異音が発生する可能性がある。
【００５４】
もし、なんからの方法でＴ２タイミングを検出できたとしても、Ｔ１’〜Ｔ２期間にオーディオストリームの切換をする場合、コードバッファ１０のクリアを行ったり、各オーディオストリームの多重化の自由度による不連続性により、モデル上のＴ２タイミングそのものがなくなってしまう。すると、切り替え後にオーディオとビデオの同期が取れた再生をすることができなくなる。
【００５５】
さらに、ビットレートが低い場合にも上記Ｅ−ＳＴＤモデルには問題が生じる。標準的なモデルの再生装置においては、トラックバッファにデータを取り込む際に上記ＤＳＩを検出したら、上記Ｅ−ＳＴＤ接続の処理に必要な情報VOB(suc)_V_S_PTMや、VOB(pre)_V_E_PTMを取り出し、それらの情報を基にしてＴ１’やＴ４等の処理を行うようになっている。
【００５６】
ビットレートがある程度以上高い場合、それらの情報は１つ保持するだけでよいが、データデコーダ４に内蔵されるトラックバッファや各コードバッファの中にＥ−ＳＴＤ接続点が２つ以上存在する程度以下までビットレートが低い場合が有り得る。この場合、トラックバッファでデータを取り込む際に検出したＤＳＩからそれらの情報をＲＡＭやＦＩＦＯ等に保持しておき、デマルチプレクサ５にそのＶＯＢが到達した時に取り出す等の仕組みが必要となる。トラックバッファには、ＶＯＢがいくつか入ってもよいので、再生装置としては、ＶＯＢが入り得るだけのＲＡＭやＦＩＦＯ等が必要となり、回路規模が大きくなる。
【００５７】
また、ＤＳＩにはオーディオギャップの情報もあり、この情報を保持するためのＲＡＭやＦＩＦＯ等及びそれらの情報を伝達するための仕組みも必要となる。
【００５８】
そこで、上記図１に示した実施の形態となるＤＶＤ再生装置では、以下に説明するような方法で上記Ｅ−ＳＴＤモデルによる問題点を解決している。
【００５９】
先ず、コントローラ１４は、Ｔ１’〜Ｔ４期間に現在のＳＴＣより大きく、VOB(pre)_V_E_PTMより小さなＰＴＳを持つユニットが検出された場合、ＳＰデコーダ９を制御して、図７に示すように、Ｅ−ＳＴＤモデル通りにデコードしないようにする。
【００６０】
具体的には、図８に示すフローチャートのように、ステップＳ１でデマルチプレクサがＶＯＢの中にナビパックを発見したら、ステップＳ２でデータ転送を止めるようにする。また、デマルチプレクサにおいて、上記ＤＳＩの情報をとれるようにし、上記ＰＧＣＩのC_PBITのアドレス情報とNV_PCK_LBN等の情報を用いて、現在のセルの先頭か否か、またセルの先頭ならば直前のセルとの接続がＥ−ＳＴＤ接続かどうかをステップＳ３で判断する。ここで、セルの途中や、セルの先頭であるが直前のセルとの接続が単に同じＶＯＢ内での接続であるならば、ステップＳ４に示すように、すぐにデータ転送を再開するようにする。
【００６１】
また、現在のセルが同じＶＯＢＵのままであることを指定されていたり、セルの先頭であるが直前のセルとの接続がノンシームレス接続であるならば、各デコーダが今まで転送したデータを再生し終わるまでデマルチプレクサは止まっているようにする。
【００６２】
上記ステップＳ３でＹＥＳと判断、すなわち現在のセルがＶＯＢの先頭であり、かつ直前のセルとの接続がＥ−ＳＴＤ接続ならば、ステップＳ５に示すように、データ転送をデマルチプレクサが再開するタイミングであるＴ１’の時刻を上記ＤＳＩから取り出して計算し、ＳＴＣ＝＝Ｔ１’タイミング＝＝ＳＴＣオフセット＝＝VOB(pre)_V_E−VOB(suc)_V_S_PTMになるまで待ち、データ転送を再開するようにする。また、データ転送を再開した際に、ステップＳ６のようにＴ１’−Ｔ４期間情報（フラグ）とＴ１’−Ｔ２期間情報（フラグ）をセットし、suc ＶＯＢ情報（フラグ）もセットする。
【００６３】
このようにすれば、デマルチプレクサ５でＥ−ＳＴＤ接続かどうかの判断、及びその再スタートタイミング等の制御をすることで、データデコーダ４内のトラックバッファからＲＡＭやＦＩＦＯに情報をとっておく必要がなくなり、回路規模を小さくできる。すなわち、低ビットレートのビットストリームを再生する際の問題を解決できる。
【００６４】
また、コントローラ１４は、図９のフローチャートのように、ステップＳ１１でＴ１’−Ｔ４期間情報（フラグ）がセットされ、かつＳＴＣ＝＝VOB(pre)_V_E_PTMになるか否かを判断し、ここでＹＥＳと判断すると、ステップＳ１２に進みＳＴＣ＝＝VOB(suc)_V_S_PTMとして、Ｔ１’−Ｔ４期間情報（フラグ）をリセットする。ＳＰデコーダは、図１０のフローチャートのように、ステップＳ２１でＴ１’−Ｔ４期間情報を用い、Ｔ１’−Ｔ４期間情報がセットされている間はユニットのデコード開始を行わないようにすることで、ステップＳ２２のように本来のタイミング通りにデコード、表示をするようにする。これにより、ＳＰユニットの再生に関して生じる問題を解決できる。
【００６５】
また、図６に示すように、各コードバッファ６，８及び１０がフルかどうかの信号によりデマルチプレクサ５がデータ転送を開始する方法の場合には、図１１に示すように、Ｅ−ＳＴＤ接続の最初だけＥ−ＳＴＤモデル通り、ＳＴＣの値にしたがってデマルチプレクサ５にデマルチプレクスすれば、それ以外のパックをデマルチプレクスしたとしても、これからデコードしようとするＳＰユニットがどちらのＶＯＢで再生すべきか分からなくなることを避けることができる。これにより、デマルチプレクサ５の転送を各コードバッファの容量に基づいて制御するタイプの再生装置の問題を解決できる。
【００６６】
また、オーディオギャップなどの処理を適切なタイミングで行えるようにするには、ＰＴＳが不連続になるＴ２タイミングを認識すればよい。具体的には、ＰＴＳを、デマルチプレクサ５を通して毎回監視し、直前のＰＴＳより今回のＰＴＳが小さくなるタイミングを見極める。そして、ＰＴＳが不連続であるか否かを判断する。なお、各エレメンタリストリーム毎にＶＯＢの先頭のパケットにセットされるPES_extention_flagにより見極めるようにしてもよい。そして、デマルチプレクサに直後に現れる各エレメンタリストリームの先頭を発見したらコントローラ１４や各デコーダ等に知らせるような機能を持たせ、その機能をＥ−ＳＴＤ接続のＶＯＢの先頭を検出したときに動作させるようにする。
【００６７】
また、オーディオに関する問題に対しては、図１２及び図１３に示すフローチャートのように処理を施してもよい。すなわち、ステップＳ３１でストリーム切り替えを行うか否かを判断し、行うとなれば、ステップＳ３２でコードバッファをクリアする。そのことによりＰＴＳの不連続を検出できなくなるところを、デマルチプレクサ５にステップＳ３３でＰＴＳを持つフレームを待たせ、ステップＳ３４でサクシーディングＶＯＢのデータ転送を開始する際にセットするsuc ＶＯＢ情報を検出したら、ステップＳ３５でsuc ＶＯＢフラグと、Ｔ１’−Ｔ２フラグをリセットし、クリアしたコードバッファ内にＰＴＳの不連続点、つまりＴ２タイミングがあったかどうかをオーディオデコーダ１１に分からせることができ、ひいてはＡＶ同期管理やオーディオギャップ等の処理を正しいタイミングで処理できるようになる。
【００６８】
デマルチプレクサ５がsuc ＶＯＢ情報をセットし、オーディオデコーダ１１がこの情報を用いる代わりに、ステップＳ３６でＰＴＳを持つフレームを待たせ、ステップＳ３７でＰＴＳの不連続点を検出したら、Ｔ２タイミングを認識するまではミュートだけして、実際のストリーム切り替えはＴ２タイミングを検出してから行ってもよい。このように、Ｔ１−Ｔ２タイミング期間情報及びsuc ＶＯＢ情報は、オーディオデコーダ１１でＴ２タイミングを認識できたタイミングでリセットできる。
【００６９】
そして、図１３に示すような、ステップＳ３９〜ステップＳ４１で各期間を判断し、ステップＳ４２〜ステップＳ４５でそれぞれのオフセット値を求めれば、ステップＳ４６のようにＡＶ同期ずれ検出、ストリーム切り替え中ならば再スタート、またオーディオギャップ処理等が可能になる。
【００７０】
こういった現在のセルと直前のセルとの接続方法、デマルチプレクサ再スタートタイミングの計算及び制御、各種フラグのセット／リセット等の制御をコントローラ１４を介して行うのではなく、デマルチプレクサ５、ＳＰデコーダ９やオーディオデコーダ１１等の各デコーダで行うようにしてもよい。
【００７１】
なお、Ｔ１’−Ｔ４期間及びＴ１’−Ｔ２期間中にその次のＥ−ＳＴＤのＴ１’タイミングがくることはあり得ない。なぜならば、フォーマット上プリシーディングＶＯＢのビデオ再生時間（VOB_V_E_PTM-VOB_V_S_PTM）は１．５秒以上であり、ＭＰＥＧ２システム及びフォーマットからＴ１’−Ｔ２期間及びＴ１’−Ｔ３期間は１秒以下であり、Ｔ３−Ｔ４期間は３フィールド以下であるからである。
【００７２】
したがって、Ｔ１’−Ｔ４期間及びＴ１’−Ｔ２期間情報のセット及びリセットは１対１である。これらの情報のセット及びリセットが１対１であるので、Ｅ−ＳＴＤ接続を続けて処理することも可能となる。
【００７３】
【発明の効果】
以上、本発明によれば、ＤＶＤのフォーマット上で規定された上記Ｅ−ＳＴＤモデルがシームレス再生時に生じさせる副映像デコード時の問題、オーディオデコード時の問題、ビットレート低下時の問題を解決して、情報信号の異なった再生単位間の切れ目の無い再生を簡単な構成で実現する。
【図面の簡単な説明】
【図１】本発明の実施の形態となるＤＶＤ再生装置のブロック図である。
【図２】ＤＶＤ上の記録フォーマット図である。
【図３】シームレス再生を行う、フォーマット上規定されたＥ−ＳＴＤモデルのブロック図である。
【図４】上記Ｅ−ＳＴＤモデルでシームレス再生を行う場合の各部の切り替わりタイミングを説明するためのタイミングチャートである。
【図５】上記Ｅ−ＳＴＤモデルにおけるサブピクチャＳＰデコーダの動作を説明するための図である。
【図６】上記Ｅ−ＳＴＤモデルにコードバッファの書き込み状態を判断してデマルチプレクスさせる機能を付加した場合のブロック図である。
【図７】上記図３に示したＥ−ＳＴＤモデルに対する解決策を説明するためのタイミングチャートである。
【図８】上記図１に示したＤＶＤ再生装置の動作を説明するための第１のフローグチャートである。
【図９】上記ＤＶＤ再生装置の動作を説明するための第２のフローチャートである。
【図１０】上記ＤＶＤ再生装置の動作を説明するための第３のフローチャートである。
【図１１】上記図６に示したＥ−ＳＴＤモデルに対する解決策を説明するためのタイミングチャートである。
【図１２】上記ＤＶＤ再生装置のオーディオに対する動作を説明するための第１のフローチャートである。
【図１３】上記ＤＶＤ再生装置のオーディオに対する動作を説明するための第２のフローチャートである。
【符号の説明】
１ ディジタルビデオディスク、２ ピックアップ、３ ＲＦ回路、４ データデコーダ、５ デマルチプレクサ、６ ビデオ用コードバッファ、７ ビデオデコーダ、８ ＳＰ用コードバッファ、９ ＳＰデコーダ、１０ オーディオ用コードバッファ、１１ オーディオデコーダ、１４コントローラ
【発明の属する技術分野】
本発明は、符号化された映像信号と符号化された副映像信号又は音声信号とにより形成された多重化情報信号を再生する情報再生装置及び再生方法に関する。
【０００２】
【従来の技術】
オーディオ／ビデオ／データを統合的に扱うため、近年では、ＭＰＥＧ（Moving Picture Experts Group）方式による情報圧縮技術（以下、単にこの圧縮技術をＭＰＥＧという。）が広く使われるようになった。特に、このＭＰＥＧでは、ビデオ、オーディオ、データを同期化して多重化するのが重要となる。また、同期をとって再生するのも重要となる。
【０００３】
このＭＰＥＧを用いたシステムとしては、任意の数のビデオ、オーディオ等の個別の符号化ストリームを多重化して１組のプログラムとして１本化されたストリームを構成するＭＰＥＧ１システムと、同様に一つのプログラムを構成したプログラムストリーム（Program Stream：ＰＳ）を用いるのと、トランスポートストリーム（Transport Stream：ＴＳ）と呼ばれる複数のプログラムを用いるＭＰＥＧ２システムがある。
【０００４】
ここで、上記ＭＰＥＧ２システムによって符号化され多重化されて生成されたＰＳが記録された記録媒体から一つのＰＳを再生するだけであればビデオ／オーディオ／データ用の各デコーダを備えた再生装置を用い、一つのＰＳ内での同期のずれを制御して再生を行えばよい。
【０００５】
上記一つのＰＳを形成しているビデオやオーディオ等の各アクセスユニットと呼ばれる復号再生の単位毎には、いつ復号再生すべきかを示すタイムスタンプと呼ばれる時刻管理情報が付加されており、このタイムスタンプに応じてデコーダではデコードの制御を行っている。タイムスタンプには、プレゼンテーションタイムスタンプ（Presentation Time Stamp：ＰＴＳ）と呼ばれる再生出力の時刻管理情報と、デコーディングタイムスタンプ（Decoding Time Stamp：ＤＴＳ）と呼ばれる復号の時刻管理情報がある。実際に、ビデオやオーディオ等のデコーダでは、上記ＰＴＳやＤＴＳを現在のシステムタイムクロック（System Time Clock：ＳＴＣ）と呼ばれる基準時刻情報と比較して、一致したらデコードや表示を開始している。
【０００６】
上記ビデオやオーディオ等のデコーダの前には、上記記録媒体から読み出したＰＳをビデオやオーディオに分離するためのデマルチプレクサが設けられているが、このデマルチプレクサでは、複数のパケットを束ねた各パックのシステムクロックリファレンス（System Clock Reference：ＳＣＲ）と呼ばれるシステム時刻基準参照値を現在の上記ＳＴＣと比較して、上記ＳＴＣが上記ＳＣＲに等しくなったら、該当するパックを上記各デコーダへ転送する。
【０００７】
こうすることにより、このデマルチプレクサは、各デコーダのコードバッファをオーバーフローやアンダーフローさせることなく、上記ビデオやオーディオ等のデータを供給することができ、各デコーダはデコード処理を滞りなく行うことができる。しかし、この方法では、全てのパックで上記ＳＣＲと上記ＳＴＣを比較しなければならないので、回路規模が大きくなる。
【０００８】
そこで、上記ＳＣＲと上記ＳＴＣを比較することなく、デマルチプレクサが各デコーダへ上記ビデオやオーディオ等のデータを供給する方法が本件出願人により既に特願平３−２３０９７５号公報により開示されている。この方法では、上記各デコーダのコードバッファがフル（一杯）になったかどうかの信号をデマルチプレクサに送り、その信号がフルを示さない限り、デマルチプレクサはデータを送るようにすることで、コードバッファをオーバーフローさせることなくデータを供給できる。
【０００９】
この方法によれば、上記ＳＣＲと上記ＳＴＣを比較する回路が不要となるばかりか、オーディオギャップと呼ばれるようなオーディオストリームの不連続点の取り扱いを、簡単な回路構成で、かつより高い品質で行うことを可能とする。
【００１０】
ところで、最近、コンパクトディスクの約７倍にあたる４．７ギガバイト（ＧＢ）を片面１層記録で、また片面２層では８．５ＧＢ、等の大容量記録を可能にした光ディスクがディジタルビデオディスク（ＤＶＤ）という名称で発表され、普及され始めている。
【００１１】
この大容量記録光ディスクでは、上記一つのＰＳを情報信号の一つの再生単位としている。この再生単位をビデオオブジェクト（Video Object：ＶＯＢ）と呼ぶ。すなわち、一つのＰＳにより一つのＶＯＢを形成している。このＶＯＢは複数のセル（Cell）に分割されている。このセルはプログラムチェインインフォメーション（Program Chain Information：ＰＧＣＩ）と呼ばれる再生コントロール情報により、再生順序を制御される。すなわち、ＰＧＣＩには、複数のセルの再生順序等が記されている。
【００１２】
一つのＶＯＢは一つのＰＳであるので、上記大容量記録光ディスクに記録された一つのＶＯＢを再生するだけであれば、同じＶＯＢの中における連続するセルとセルを上記ＰＧＣＩにしたがってシームレスに再生することができる。
【００１３】
【発明が解決しようとする課題】
ところで、上記大容量記録光ディスクには、その大容量記録という長所を生かして、一つの映像の場面に対して、例えばカメラのアングルを変えたような他の複数の映像を記録したり、複数のストーリーを予め収録しておき記録することが可能となり、見る人に場面に応じて好みの映像又はストーリーをいわゆるマルチアングルやマルチストーリー機能により選択させることができるようになった。
【００１４】
この場合、上記ＶＯＢを再生する装置に用いられるビデオやオーディオ等のデコーダには、異なったＶＯＢを切れ目なく、すなわちシームレス（Seamless)にデコードするため、他のＶＯＢへの繋ぎ目での同期のずれを制御する機能が必要とされる。
【００１５】
しかし、先のＶＯＢの最後のセルと、それに続くべき次のＶＯＢの先頭のセルは別のＰＳであるので、シームレスな再生は困難であった。
【００１６】
本発明は、上記実情に鑑みてなされたものであり、情報信号の異なった再生単位間の切れ目の無い再生を簡単な構成で実現する情報再生装置及び方法の提供を目的とする。
【００１７】
【課題を解決するための手段】
本発明に係る情報再生装置は、上記課題を解決するために、所定の再生単位の多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生するときには、分離手段で分離される多重化情報信号の分離出力信号が他の多重化情報信号の分離出力信号に切り替わった時刻から、映像復号手段が切り替わる前の多重化情報信号から分離された映像信号を出力終了する時刻までの期間内は、符号化副映像信号の復号処理を停止する。
【００１８】
また、本発明に係る情報再生方法は、上記課題を解決するために、所定の再生単位の多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生するときには、分離されて出力される多重化情報信号の分離出力信号が他の多重化情報信号の分離出力信号に切り替わった時刻から、切り替わる前の多重化情報信号から分離された映像信号を復号した信号を出力終了する時刻までの期間内は、符号化副映像信号の復号処理を停止する。
【００１９】
また、本発明に係る情報再生装置は、上記課題を解決するために、所定の再生単位の多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生するときには、分離手段で分離される多重化情報信号の分離出力信号が他の多重化情報信号の分離出力信号に切り替わった時刻から、映像復号手段が切り替わる前の多重化情報信号から分離された映像信号を出力終了する時刻までの期間内で、多重化情報信号から分離された符号化音声信号の復号処理を他の多重化情報信号から分離された符号化音声信号の復号処理に切り替える。
【００２１】
【発明の実施の形態】
以下、本発明に係る情報再生装置及び方法の実施の形態について図面を参照しながら説明する。
【００２２】
この実施の形態は、ＭＰＥＧ（Moving Picture Experts Group）２方式による情報圧縮技術（以下、単にこの圧縮技術をＭＰＥＧ２という。）によりオーディオ／ビデオ等の信号が圧縮符号化されて記録されているディジタルビデオディスク（ＤＶＤ）のような大容量光ディスクを再生する大容量光ディスク再生装置（以下、ＤＶＤ再生装置という。）である。特に、ここで用いるＤＶＤは、符号化されたビデオ信号と符号化された副映像信号であるサブピクチャ（Sub Picture：ＳＰ）と符号化されたオーディオ信号とを多重化した状態で記録している。
【００２３】
上記ＤＶＤ再生装置は、図１に示すように、上記ＤＶＤ１からＲＦ信号を再生するピックアップ２と、このピックアップ２により再生されたＲＦ信号が供給されてこのＲＦ信号の２値化処理等をするＲＦ回路３と、ＲＦ回路３からの再生データが供給されエラー訂正等のデコード処理をするデータデコーダ４と、データデコーダ４によりデコード処理がされた再生データを符号化ビデオデータ，符号化ＳＰデータ及び符号化オーディオデータに振り分けるデマルチプレクサ５と、このデマルチプレクサ５からの符号化ビデオデータを一時的に記憶するコードバッファ６と、このコードバッファ６からの符号化ビデオデータを復号化、ここでは伸長するビデオデコーダ７と、デマルチプレクサ５からの符号化ＳＰデータを一時的に記憶するコードバッファ８と、このコードバッファ８からの符号化ＳＰデータを復号化するＳＰデコーダ９と、デマルチプレクサ５からの符号化オーディオデータを一時的に記憶するコードバッファ１０と、コードバッファ１０からの符号化オーディオデータを復号するオーディオデコーダ１１とを備えている。
【００２４】
また、このＤＶＤ再生装置は、復号化されたビデオデータとＳＰデータとをＳＰデコーダ９から受け取り、ＮＴＳＣ信号又はＰＡＬ信号に変換するデジタル／ＮＴＳＣ，ＰＡＬ変換回路（以下、単にＮＴＳＣ変換回路という。）１２と、オーディオデコーダ１１からの復号化されたオーディオデータが供給され、アナログ信号に変換するデジタル／アナログ変換回路（以下、単にＤ／Ａ変換回路という。）１３も備える。
【００２５】
さらに、このＤＶＤ再生装置は、ピックアップ２，ＲＦ回路３，データデコーダ４，デマルチプレクサ５，ビデオデコーダ７，ＳＰデコーダ９，オーディオデコーダ１１，ＮＴＳＣ変換回路１２及びＤ／Ａ変換回路１３を制御するコントローラ１４と、このコントローラ１４とユーザーの操作入力を媒介するユーザインターフェース１５と、コントローラ１４のデータ記憶部となるメモリ１６とを備える。
【００２６】
そして、このコントローラ１５は、ユーザからユーザインターフェース１５を介して、所定の再生単位の上記多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生したいという要求があったときに、上記デマルチプレクサ５の切り替わり時刻から、ビデオデコーダ７がビデオデータを出力する時刻までの時間長さを検出し、この時間長さに応じてＳＰデコーダ９の復号を制御する。
【００２７】
また、コントローラ１４は、ユーザからユーザインターフェース１５を介して、所定の再生単位の上記多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生したいという要求があるときには、デマルチプレクサ５の切り替わり時刻から、ビデオデコーダ７がビデオデータを再生出力する時刻までの時間長さを検出し、この時間長さに応じてオーディオデコーダ１１の復号を制御する。
【００２８】
上記ＤＶＤは、図２に示すように、例えば、映画の１作品等の単位とされるVideo Object Set（以下、ＶＯＢＳという。）単位で記録されている。このＶＯＢＳは、複数のVideo Object（以下、ＶＯＢという。）から構成されている。ＤＶＤでは、例えば、１つの映画を複数のスト−リ−展開で見ることができるマルチスト−リといったフォ−マットを備えており、このような機能はこのＶＯＢごとで異なるスト−リ展開になる。
【００２９】
このＶＯＢは、複数のセル（Ｃｅｌｌ）により構成される。Ｃｅｌｌは、例えば映画における１シ−ン等の単位となる。すなわち、この１シ−ン毎の組み合わせがＶＯＢとなり、この組み合わせの違いにより上記マルチスト−リ機能等を構成する。マルチストーリ機能とは、あらかじめＤＶＤに複数のストーリを記録しておき、視聴者が再生中に表示されるメニューでストーリ展開などを選べる機能である。
【００３０】
セルは、複数のVideo Object Unit（ＶＯＢＵ）により構成されている。ＶＯＢＵは、動画像で０．４から１．２秒の単位であり、ＭＰＥＧ２のフォーマットにおけるGroup of Pictures（以下、ＧＯＰという。）を含んでいる。なお、Ｃｅｌｌは、再生順にＤＶＤ上に記録されていない場合が多く、そのためＣｅｌｌの再生順、記録位置等に関する情報は、ＤＶＤ上のＰＧＣＩ（Program Chain Information）に記録されている。
【００３１】
また、ＶＯＢＵは、制御情報データであるナビゲーションパック（ＮＶ＿ＰＣＫ；以下、ナビパックという。）、音声パック（Ａ＿ＰＣＫ）、副映像パック（ＳＰ＿ＰＣＫ）６及びＭＰＥＧ２方式によって圧縮符号化された映像データからなる映像パック（Ｖ＿ＰＣＫ）より構成される。
【００３２】
ここで、ナビパックは、パックヘッダと、システムヘッダと、ＰＣＩパケット（Presentation Control Information Packet；ＰＣＩ＿ＰＫＴ）と、ＤＳＩパケット（Data Search Information Packet；ＤＳＩ＿ＰＫＴ）とから構成される。
【００３３】
ＰＣＩパケットには、ＰＣＩ General Information（ＰＣＩ＿ＧＩ)と呼ばれる映像データの複数の再生制御情報が含まれる。
【００３４】
また、ＤＳＩパケットには、各データの複数のデータサーチ情報が含まれる。とくに、先のＶＯＢとそれに続くＶＯＢをシームレスに再生する際には、Seamless Playback Information（ＳＭＬ＿ＰＢＩ)が使われる。このＳＭＬ＿ＰＢＩには、ＶＯＢのビデオのスタートの再生時刻を示すVOB_V_S_PTMと、ＶＯＢのビデオのエンドの再生時刻を示すVOB_V_E_PTMがある。
【００３５】
ところで、上記ＤＶＤでは、異なる上記ＶＯＢを再生する際には、フォーマット上、エクステンデットシステムターゲットデコーダ（Extended System Target Decoder：Ｅ−ＳＴＤと略す）と呼ばれるモデルを導入し、シームレス再生を行えるようにしている。
【００３６】
例えば、今、先のＶＯＢをプリシーディング（Preceding）ＶＯＢとし、これに続くべきＶＯＢをサクシーディング（Succeding）ＶＯＢとすると、上記Ｅ−ＳＴＤモデルでは、プリシーディングＶＯＢとサクシーディングＶＯＢとをシームレスに再生し、マルチアングルやマルチストーリーを実現していることになる。
【００３７】
このＥ−ＳＴＤモデルを図３に示す。なお、この図３では、上記図１の各部と同じ構成の各部には同符号を付し説明を省略する。Ｅ−ＳＴＤモデルは、切り替え制御器２０により、上記ＳＣＲによりイニシャルされたＳＴＣ（STC initial valueと記す）と、ＳＴＣオフセット（STC offsetと記す）とを使って、ＳＴＣの値を適宜に切り替えて、ビデオデコーダ７、ＳＰデコーダ９、オーディオデコーダ１１から復号化されたデータを出力させ、上記プリシーディングＶＯＢとサクシーディングＶＯＢとを接続している。
【００３８】
プリシーディングＶＯＢを再生している期間、ビデオデコーダ７、ＳＰデコーダ９、オーディオデコーダ１１では、上記STC initial valueに応じてデコードを行っているが、サクシーディングＶＯＢに切り替わった後には、上記STC initial valueから上記ＳＴＣオフセットを引いた値に従ってデコーダを行う。
【００３９】
ここで、ＳＴＣオフセットとは、上記プリシーディングＶＯＢのエンドの時刻VOB(pre)_V_E_PTMとサクシーディングＶＯＢのスタートの時刻VOB(suc)_V_S_PTMとの差分によって得られる値である。
【００４０】
ここで、図４に示すように、デマルチプレクサ５のプリシーディングＶＯＢからサクシーディングＶＯＢへの切り替えタイミングをＴ１’とし、オーディオの再生出力タイミング（ＰＴＳ）をＴ２、ビデオのデコードタイミング（ＤＴＳ）をＴ３、ビデオの再生出力タイミング（ＰＴＳ）をＴ４とし、プリシーディングＶＯＢからサクシーディングＶＯＢへの切り替わりタイミングを考えると、上記Ｅ−ＳＴＤモデルでは、Ｔ１タイミングからＴ４及びＴ２タイミングを過ぎるまでの期間は、デマルチプレクサ５や各デコーダ７，９及び１１が参照するＳＴＣが異なることになる。また、ＶＯＢの先頭パックのナビパックでは上記ＳＣＲの値は０となる。
【００４１】
デマルチプレクサ５は、Ｔ１’タイミングからサクシーディングＶＯＢのＳＴＣに移っていくが、例えばビデオデコーダ７のコードバッファ６には３ピクチャ位前のデータが入っているので、Ｔ１’タイミングではまだデコードが始まっていない。Ｔ３タイミングになって初めてデコードが始まる。また、ＭＰＥＧ方式では、最初の符号化ピクチャはＩピクチャであり、実際に再生出力がサクシーディングＶＯＢに切り替わるのは上記Ｔ３タイミングから１フレーム分の時間が経過したＴ４タイミングとなる。オーディオのサクシーディングＶＯＢへの切り替わりタイミングもオーディオデコーダ１１のコードバッファ１０により上記Ｔ１’タイミングとは異なるタイミングＴ２となる。ここで、サブピクチャＳＰの切り替えタイミングは、ビデオの切り替わりタイミングＴ４と同じになる。
【００４２】
このため、このＥ−ＳＴＤモデルでは、上述したように異なるＳＴＣがタイミングＴ１’以後次々に検出されることになり、以下のような問題が生じてしまう。
【００４３】
先ず、サブピクチャユニットＳＰの再生時の問題について図５を用いて説明する。
【００４４】
ＶＯＢ中のＳＰユニットのＰＴＳの最小値は、図５に示したVOB_V_S_PTM以上であることがフォーマット上決まっている。また、プリシーディングＶＯＢがサクシーディングＶＯＢとシームレス接続される場合には、プリシーディングＶＯＢ中のＳＰユニットのＰＴＳの最大値はプリシーディングＶＯＢの最後のパックのＳＣＲより小さくなければならないとも規定されている。また、上記ＰＴＳの最大値は、上記Ｔ１’タイミングより小さく、またＳＴＣオフセット以下となる。
【００４５】
ここで、説明の簡略化のため、ＳＴＣがＳＴＣオフセットとなるタイミングをＴ１’タイミングとする。
【００４６】
このＴ１’タイミングより以前にＳＰデコーダ９が検出したＳＰユニットは、プリシーディングＶＯＢの再生中にデコーダされるべきものであり、そのユニットのＰＴＳがＳＴＣに一致したときにデコードを開始すればよい。
【００４７】
また、Ｔ４タイミング以降にＳＰデコーダが検出したユニットは、サクシーディングＶＯＢの再生中にデコードされるべきものであり、ＳＴＣもＴ４タイミングにおいて、サクシーディングの時刻を示すようになっているので、そのユニットのＰＴＳがＳＴＣに一致したときにデコード開始すればよい。
【００４８】
ここで、図５において、Ｔ１’〜Ｔ４期間中にＳＰデコーダが検出したＳＰユニットに関しては、上述した「プリシーディングＶＯＢ中のＳＰユニットのＰＴＳの最大値はＳＴＣオフセットより小さい」という条件より、プリシーディングＶＯＢの最中にデコードするものではなく、サクシーディングＶＯＢの最中にデコードするべきものである。
【００４９】
しかし、このＴ１’〜Ｔ４期間中にもサクシーディングＶＯＢのＳＰユニットは図５に示すようにＳＰデコーダ９に供給されており、そのユニットのＰＴＳがＳＴＣオフセット以上プリシーディングＶＯＢのエンドの時刻VOB(pre)_V_E_PTM以下である場合、Ｔ１’〜Ｔ４期間中にそのユニットのＰＴＳとＳＴＣが一致してしまい、上記Ｅ−ＳＴＤモデル通りに処理すると、本来のタイミングよりもかなり早いタイミングでデコードを行ってしまい、再生出力による表示を行ってしまう。
【００５０】
また、このＥ−ＳＴＤモデルを図６に示すように、各デコーダ７，９及び１１のコードバッファ６，８及び１０がフル（一杯）になったかどうかの信号をデマルチプレクサ５に送り、その信号がフルを示さない限り、デマルチプレクサ５はデータを送るようにするシステムに適用した際には、図５に示すようにＴ１’タイミングより早くサクシーディングＶＯＢがデマルチプレクスされることになり、Ｅ−ＳＴＤモデルにおけるＴ１’タイミングまでにＳＰデコーダが検出したユニットがどちらのＶＯＢで再生すべきか分からなくなってしまう。
【００５１】
また、Ｅ−ＳＴＤモデルでは、オーディオの再生や、オーディオストリームを切り替える場合にも問題が生じる。
【００５２】
オーディオにおけるＶＯＢの境界タイミングであるＴ２タイミングは、情報としてＶＯＢのどこにも書かれていない。このタイミングを検出できない場合、オーディオギャップの処理のタイミングが分からなかったり、ビデオの同期ずれの検出や、ポーズや正方向コマ送り後の通常再生へのＡＶ同期をとった復帰ができなくなる。
【００５３】
特に、リニアオーディオを再生している際に、オーディオギャップがある場合、そのギャップを正しく処理しないと異音が発生する可能性がある。
【００５４】
もし、なんからの方法でＴ２タイミングを検出できたとしても、Ｔ１’〜Ｔ２期間にオーディオストリームの切換をする場合、コードバッファ１０のクリアを行ったり、各オーディオストリームの多重化の自由度による不連続性により、モデル上のＴ２タイミングそのものがなくなってしまう。すると、切り替え後にオーディオとビデオの同期が取れた再生をすることができなくなる。
【００５５】
さらに、ビットレートが低い場合にも上記Ｅ−ＳＴＤモデルには問題が生じる。標準的なモデルの再生装置においては、トラックバッファにデータを取り込む際に上記ＤＳＩを検出したら、上記Ｅ−ＳＴＤ接続の処理に必要な情報VOB(suc)_V_S_PTMや、VOB(pre)_V_E_PTMを取り出し、それらの情報を基にしてＴ１’やＴ４等の処理を行うようになっている。
【００５６】
ビットレートがある程度以上高い場合、それらの情報は１つ保持するだけでよいが、データデコーダ４に内蔵されるトラックバッファや各コードバッファの中にＥ−ＳＴＤ接続点が２つ以上存在する程度以下までビットレートが低い場合が有り得る。この場合、トラックバッファでデータを取り込む際に検出したＤＳＩからそれらの情報をＲＡＭやＦＩＦＯ等に保持しておき、デマルチプレクサ５にそのＶＯＢが到達した時に取り出す等の仕組みが必要となる。トラックバッファには、ＶＯＢがいくつか入ってもよいので、再生装置としては、ＶＯＢが入り得るだけのＲＡＭやＦＩＦＯ等が必要となり、回路規模が大きくなる。
【００５７】
また、ＤＳＩにはオーディオギャップの情報もあり、この情報を保持するためのＲＡＭやＦＩＦＯ等及びそれらの情報を伝達するための仕組みも必要となる。
【００５８】
そこで、上記図１に示した実施の形態となるＤＶＤ再生装置では、以下に説明するような方法で上記Ｅ−ＳＴＤモデルによる問題点を解決している。
【００５９】
先ず、コントローラ１４は、Ｔ１’〜Ｔ４期間に現在のＳＴＣより大きく、VOB(pre)_V_E_PTMより小さなＰＴＳを持つユニットが検出された場合、ＳＰデコーダ９を制御して、図７に示すように、Ｅ−ＳＴＤモデル通りにデコードしないようにする。
【００６０】
具体的には、図８に示すフローチャートのように、ステップＳ１でデマルチプレクサがＶＯＢの中にナビパックを発見したら、ステップＳ２でデータ転送を止めるようにする。また、デマルチプレクサにおいて、上記ＤＳＩの情報をとれるようにし、上記ＰＧＣＩのC_PBITのアドレス情報とNV_PCK_LBN等の情報を用いて、現在のセルの先頭か否か、またセルの先頭ならば直前のセルとの接続がＥ−ＳＴＤ接続かどうかをステップＳ３で判断する。ここで、セルの途中や、セルの先頭であるが直前のセルとの接続が単に同じＶＯＢ内での接続であるならば、ステップＳ４に示すように、すぐにデータ転送を再開するようにする。
【００６１】
また、現在のセルが同じＶＯＢＵのままであることを指定されていたり、セルの先頭であるが直前のセルとの接続がノンシームレス接続であるならば、各デコーダが今まで転送したデータを再生し終わるまでデマルチプレクサは止まっているようにする。
【００６２】
上記ステップＳ３でＹＥＳと判断、すなわち現在のセルがＶＯＢの先頭であり、かつ直前のセルとの接続がＥ−ＳＴＤ接続ならば、ステップＳ５に示すように、データ転送をデマルチプレクサが再開するタイミングであるＴ１’の時刻を上記ＤＳＩから取り出して計算し、ＳＴＣ＝＝Ｔ１’タイミング＝＝ＳＴＣオフセット＝＝VOB(pre)_V_E−VOB(suc)_V_S_PTMになるまで待ち、データ転送を再開するようにする。また、データ転送を再開した際に、ステップＳ６のようにＴ１’−Ｔ４期間情報（フラグ）とＴ１’−Ｔ２期間情報（フラグ）をセットし、suc ＶＯＢ情報（フラグ）もセットする。
【００６３】
このようにすれば、デマルチプレクサ５でＥ−ＳＴＤ接続かどうかの判断、及びその再スタートタイミング等の制御をすることで、データデコーダ４内のトラックバッファからＲＡＭやＦＩＦＯに情報をとっておく必要がなくなり、回路規模を小さくできる。すなわち、低ビットレートのビットストリームを再生する際の問題を解決できる。
【００６４】
また、コントローラ１４は、図９のフローチャートのように、ステップＳ１１でＴ１’−Ｔ４期間情報（フラグ）がセットされ、かつＳＴＣ＝＝VOB(pre)_V_E_PTMになるか否かを判断し、ここでＹＥＳと判断すると、ステップＳ１２に進みＳＴＣ＝＝VOB(suc)_V_S_PTMとして、Ｔ１’−Ｔ４期間情報（フラグ）をリセットする。ＳＰデコーダは、図１０のフローチャートのように、ステップＳ２１でＴ１’−Ｔ４期間情報を用い、Ｔ１’−Ｔ４期間情報がセットされている間はユニットのデコード開始を行わないようにすることで、ステップＳ２２のように本来のタイミング通りにデコード、表示をするようにする。これにより、ＳＰユニットの再生に関して生じる問題を解決できる。
【００６５】
また、図６に示すように、各コードバッファ６，８及び１０がフルかどうかの信号によりデマルチプレクサ５がデータ転送を開始する方法の場合には、図１１に示すように、Ｅ−ＳＴＤ接続の最初だけＥ−ＳＴＤモデル通り、ＳＴＣの値にしたがってデマルチプレクサ５にデマルチプレクスすれば、それ以外のパックをデマルチプレクスしたとしても、これからデコードしようとするＳＰユニットがどちらのＶＯＢで再生すべきか分からなくなることを避けることができる。これにより、デマルチプレクサ５の転送を各コードバッファの容量に基づいて制御するタイプの再生装置の問題を解決できる。
【００６６】
また、オーディオギャップなどの処理を適切なタイミングで行えるようにするには、ＰＴＳが不連続になるＴ２タイミングを認識すればよい。具体的には、ＰＴＳを、デマルチプレクサ５を通して毎回監視し、直前のＰＴＳより今回のＰＴＳが小さくなるタイミングを見極める。そして、ＰＴＳが不連続であるか否かを判断する。なお、各エレメンタリストリーム毎にＶＯＢの先頭のパケットにセットされるPES_extention_flagにより見極めるようにしてもよい。そして、デマルチプレクサに直後に現れる各エレメンタリストリームの先頭を発見したらコントローラ１４や各デコーダ等に知らせるような機能を持たせ、その機能をＥ−ＳＴＤ接続のＶＯＢの先頭を検出したときに動作させるようにする。
【００６７】
また、オーディオに関する問題に対しては、図１２及び図１３に示すフローチャートのように処理を施してもよい。すなわち、ステップＳ３１でストリーム切り替えを行うか否かを判断し、行うとなれば、ステップＳ３２でコードバッファをクリアする。そのことによりＰＴＳの不連続を検出できなくなるところを、デマルチプレクサ５にステップＳ３３でＰＴＳを持つフレームを待たせ、ステップＳ３４でサクシーディングＶＯＢのデータ転送を開始する際にセットするsuc ＶＯＢ情報を検出したら、ステップＳ３５でsuc ＶＯＢフラグと、Ｔ１’−Ｔ２フラグをリセットし、クリアしたコードバッファ内にＰＴＳの不連続点、つまりＴ２タイミングがあったかどうかをオーディオデコーダ１１に分からせることができ、ひいてはＡＶ同期管理やオーディオギャップ等の処理を正しいタイミングで処理できるようになる。
【００６８】
デマルチプレクサ５がsuc ＶＯＢ情報をセットし、オーディオデコーダ１１がこの情報を用いる代わりに、ステップＳ３６でＰＴＳを持つフレームを待たせ、ステップＳ３７でＰＴＳの不連続点を検出したら、Ｔ２タイミングを認識するまではミュートだけして、実際のストリーム切り替えはＴ２タイミングを検出してから行ってもよい。このように、Ｔ１−Ｔ２タイミング期間情報及びsuc ＶＯＢ情報は、オーディオデコーダ１１でＴ２タイミングを認識できたタイミングでリセットできる。
【００６９】
そして、図１３に示すような、ステップＳ３９〜ステップＳ４１で各期間を判断し、ステップＳ４２〜ステップＳ４５でそれぞれのオフセット値を求めれば、ステップＳ４６のようにＡＶ同期ずれ検出、ストリーム切り替え中ならば再スタート、またオーディオギャップ処理等が可能になる。
【００７０】
こういった現在のセルと直前のセルとの接続方法、デマルチプレクサ再スタートタイミングの計算及び制御、各種フラグのセット／リセット等の制御をコントローラ１４を介して行うのではなく、デマルチプレクサ５、ＳＰデコーダ９やオーディオデコーダ１１等の各デコーダで行うようにしてもよい。
【００７１】
なお、Ｔ１’−Ｔ４期間及びＴ１’−Ｔ２期間中にその次のＥ−ＳＴＤのＴ１’タイミングがくることはあり得ない。なぜならば、フォーマット上プリシーディングＶＯＢのビデオ再生時間（VOB_V_E_PTM-VOB_V_S_PTM）は１．５秒以上であり、ＭＰＥＧ２システム及びフォーマットからＴ１’−Ｔ２期間及びＴ１’−Ｔ３期間は１秒以下であり、Ｔ３−Ｔ４期間は３フィールド以下であるからである。
【００７２】
したがって、Ｔ１’−Ｔ４期間及びＴ１’−Ｔ２期間情報のセット及びリセットは１対１である。これらの情報のセット及びリセットが１対１であるので、Ｅ−ＳＴＤ接続を続けて処理することも可能となる。
【００７３】
【発明の効果】
以上、本発明によれば、ＤＶＤのフォーマット上で規定された上記Ｅ−ＳＴＤモデルがシームレス再生時に生じさせる副映像デコード時の問題、オーディオデコード時の問題、ビットレート低下時の問題を解決して、情報信号の異なった再生単位間の切れ目の無い再生を簡単な構成で実現する。
【図面の簡単な説明】
【図１】本発明の実施の形態となるＤＶＤ再生装置のブロック図である。
【図２】ＤＶＤ上の記録フォーマット図である。
【図３】シームレス再生を行う、フォーマット上規定されたＥ−ＳＴＤモデルのブロック図である。
【図４】上記Ｅ−ＳＴＤモデルでシームレス再生を行う場合の各部の切り替わりタイミングを説明するためのタイミングチャートである。
【図５】上記Ｅ−ＳＴＤモデルにおけるサブピクチャＳＰデコーダの動作を説明するための図である。
【図６】上記Ｅ−ＳＴＤモデルにコードバッファの書き込み状態を判断してデマルチプレクスさせる機能を付加した場合のブロック図である。
【図７】上記図３に示したＥ−ＳＴＤモデルに対する解決策を説明するためのタイミングチャートである。
【図８】上記図１に示したＤＶＤ再生装置の動作を説明するための第１のフローグチャートである。
【図９】上記ＤＶＤ再生装置の動作を説明するための第２のフローチャートである。
【図１０】上記ＤＶＤ再生装置の動作を説明するための第３のフローチャートである。
【図１１】上記図６に示したＥ−ＳＴＤモデルに対する解決策を説明するためのタイミングチャートである。
【図１２】上記ＤＶＤ再生装置のオーディオに対する動作を説明するための第１のフローチャートである。
【図１３】上記ＤＶＤ再生装置のオーディオに対する動作を説明するための第２のフローチャートである。
【符号の説明】
１ ディジタルビデオディスク、２ ピックアップ、３ ＲＦ回路、４ データデコーダ、５ デマルチプレクサ、６ ビデオ用コードバッファ、７ ビデオデコーダ、８ ＳＰ用コードバッファ、９ ＳＰデコーダ、１０ オーディオ用コードバッファ、１１ オーディオデコーダ、１４コントローラ
Claims (3)
- 符号化された映像信号と符号化された副映像信号とにより形成された多重化情報信号を再生する情報再生装置であって、
上記多重化情報信号から上記符号化映像信号と上記符号化副映像信号とを分離する分離手段と、
上記分離手段からの符号化映像信号を一時的に記憶する映像記憶手段と、
上記映像記憶手段からの符号化映像信号を復号化する映像復号手段と、
上記分離手段からの符号化副映像信号を一時的に記憶する副映像記憶手段と、
上記副映像記憶手段からの符号化副映像信号を復号化する副映像復号手段とを備え、
所定の再生単位の上記多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生するときには、上記分離手段で分離される多重化情報信号の分離出力信号が上記他の多重化情報信号の分離出力信号に切り替わった時刻から、上記映像復号手段が上記切り替わる前の多重化情報信号から分離された映像信号を出力終了する時刻までの期間内は、上記符号化副映像信号の復号処理を停止することを特徴とする情報再生装置。 - 上記分離手段は、上記映像記憶手段又は上記副映像記憶手段のいずれかに空き領域が無いときには上記多重化映像信号の分離処理を停止することを特徴とする請求項１記載の情報再生装置。
- 符号化された映像信号と符号化された副映像信号とにより形成された多重化情報信号から、上記符号化映像信号と上記符号化副映像信号とを分離してそれぞれ一時的に記憶してから復号する情報再生方法であって、
所定の再生単位の上記多重化情報信号に、他の多重化情報信号を切れ目無く接続して再生するときには、上記分離されて出力される多重化情報信号の分離出力信号が上記他の多重化情報信号の分離出力信号に切り替わった時刻から、上記切り替わる前の多重化情報信号から分離された映像信号を復号した信号を出力終了する時刻までの期間内は、上記符号化副映像信号の復号処理を停止することを特徴とする情報再生方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06687097A JP3975503B2 (ja) | 1997-03-19 | 1997-03-19 | 情報再生装置及び再生方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06687097A JP3975503B2 (ja) | 1997-03-19 | 1997-03-19 | 情報再生装置及び再生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10262211A JPH10262211A (ja) | 1998-09-29 |
| JP3975503B2 true JP3975503B2 (ja) | 2007-09-12 |
Family
ID=13328342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06687097A Expired - Lifetime JP3975503B2 (ja) | 1997-03-19 | 1997-03-19 | 情報再生装置及び再生方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3975503B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005101836A (ja) | 2003-09-24 | 2005-04-14 | Canon Inc | 記録装置 |
| CN1310498C (zh) * | 2004-07-30 | 2007-04-11 | 联合信源数字音视频技术（北京）有限公司 | 数字视音频解码器 |
-
1997
- 1997-03-19 JP JP06687097A patent/JP3975503B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10262211A (ja) | 1998-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3815458B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR101491684B1 (ko) | 동기화된 스트림 패킹 | |
| WO2005117432A1 (ja) | 番組録画装置および番組録画方法 | |
| JP4536659B2 (ja) | データ処理装置及びデータ処理方法 | |
| US6339675B1 (en) | Synchronization lag control apparatus and method | |
| US7835621B2 (en) | Encoding controlling apparatus and encoding system | |
| JP3861362B2 (ja) | ディジタル信号再生方法及び装置 | |
| JP3975503B2 (ja) | 情報再生装置及び再生方法 | |
| JP3772451B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP3592906B2 (ja) | データ処理同期装置 | |
| JP3890655B2 (ja) | ディジタル信号再生方法及び装置 | |
| JP3814929B2 (ja) | 符号化データ再生方法及び再生装置 | |
| JP3787944B2 (ja) | 記録媒体の再生装置及び記録媒体の再生方法 | |
| JP3555519B2 (ja) | 圧縮画像再生方法及び装置 | |
| JP3823426B2 (ja) | 情報信号処理装置及び方法 | |
| JP4074255B2 (ja) | Ｄｖｄの再生装置および再生方法 | |
| JP4434326B2 (ja) | 映像再生方法及び映像再生装置 | |
| JP3769863B2 (ja) | 情報信号再生装置および方法 | |
| JP3903519B2 (ja) | 映像再生方法及び映像再生装置 | |
| JPH10334589A (ja) | 記録媒体再生装置および方法 | |
| JP3900584B2 (ja) | 映像再生方法及び映像再生装置 | |
| JP2007259029A (ja) | 映像信号記録装置、記録媒体、及び映像信号再生装置 | |
| JP2005004840A (ja) | ディスク再生装置 | |
| JP2005302100A (ja) | 情報再生装置、情報再生方法および情報再生プログラム | |
| JP2007324964A (ja) | 符号化画像記録再生装置及び符号化画像記録再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060919 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070529 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070611 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |