JP4035277B2 - 映像・音声再生装置及び映像・音声再生方法 - Google Patents
映像・音声再生装置及び映像・音声再生方法 Download PDFInfo
- Publication number
- JP4035277B2 JP4035277B2 JP2000163646A JP2000163646A JP4035277B2 JP 4035277 B2 JP4035277 B2 JP 4035277B2 JP 2000163646 A JP2000163646 A JP 2000163646A JP 2000163646 A JP2000163646 A JP 2000163646A JP 4035277 B2 JP4035277 B2 JP 4035277B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio
- output
- decoder
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000000926 separation method Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 15
- 230000000630 rising effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440209—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for formatting on an optical medium, e.g. DVD
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般に映像及び音声の再生方法及び装置に関し、詳しくは映像及び音声の再生において一時停止やスロー再生等の特殊再生を行う映像及び音声の再生方法及び装置に関する。
【０００２】
【従来の技術】
ＤＶＤ（Digital Versatile Disc）等においては、映像及び音声のデータは、ＭＰＥＧあるいは関連する方式（Dolby DigitalやDTS等）で圧縮符号化された後に分割されてパケットとされ、同期のための時刻情報（ＰＴＳ：Presentation Time Stamp）が付与される。各パケットには共通の時刻情報（ＳＣＲ：System Clock Reference）がさらに付与されて、多重化された符号データとして記録される。
【０００３】
図１は、データ符号化及び多重化の様子を示す図面である。
【０００４】
映像は、表示の単位である１フレームあるいは１フィールドで符号化され、音声も１フレーム単位で符号化される。ここで音声の１フレームは映像の１フレームとは一般に長さが異なる。ＰＴＳは、基本的に符号化の単位ごとに付与されるが、１パケット中に複数の音声のフレームが存在する場合には、ＰＴＳは先頭のフレームにのみ付与されることになる。即ち、図１に示される例においては、音声データフレーム１、３、５にはＰＴＳが付加されるが、音声データフレーム２、４、６にはＰＴＳが付加されないことになる。これらのデータは、時刻情報が欠落したデータとなる。
【０００５】
データを再生する場合には、多重化された映像／音声符号を分離して復号化すると同時に、ＳＣＲから基準時間即ちシステムタイムクロックを生成する。このシステムタイムクロックを基準として、複合化された映像データ及び音声データを、各々のデータに付与されたＰＴＳが示す時間に出力する。
【０００６】
通常、映像はＴＶセット等の表示装置に表示されるために、装置の同期タイミングによって出力可能な時刻が制限される。従って例えば、システムタイムクロックを装置の同期タイミングに合わせてカウントして、このカウントがＰＴＳの示す時間となった時刻で、ピクチャの表示を行なう。音声データは、映像フレームとは異なったフレーム期間を有するので、映像データと同一のタイミングで再生されるのではなく、音声データ用のＰＴＳにより時刻を決定して再生を行なう。ＰＴＳの付与されていない音声データフレームに関しては、その前のフレームに続けてギャップなく出力すれば、そのまま映像と同期した状態で再生することか出来る。
【０００７】
【発明が解決しようとする課題】
再生中に、一時停止やスロー再生などの特殊再生を行なうことがある。一時停止の場合には、映像に関しては停止時に対応するピクチャを繰り返し表示し、音声に関しては再生を停止することになる。スロー再生は、短時間の一時停止と再生とを繰り返すことで実現される。
【０００８】
図２は、一時停止と再生再開の様子を示す図である。
【０００９】
図２は、２枚目のビデオピクチャ表示中に、ユーザが停止指示を出した場合を示す。ユーザの停止指示に応じて、現在のビデオピクチャ２を表示し終えると、再びビデオピクチャ２を再生する。停止状態が続く限りは、このビデオピクチャ２を繰り返し再生することになる。また音声フレームに関しては、ユーザが停止指示を出した時点で、３番目の音声フレームである音声フレーム３が再生中である。従って、音声フレーム３の再生を終了した時点で、音声データの再生を中断する。
【００１０】
その後、ユーザの一時停止指示が終了すると、一時停止動作として表示中のビデオピクチャ２の表示が終了するまで待って、次のビデオピクチャ３を再生する。また音声データに関しては、図２（ａ）に示されるように、再生が開始されたビデオピクチャ３の途中から、映像データと同期を取って再開されるのが理想である。このためには、音声データフレーム４にＰＴＳが付加されていれば、そのＰＴＳが示す時刻に音声データフレーム４の再生を開始すればよい。
【００１１】
しかし音声データフレーム４にＰＴＳが付加されていない場合には、音声データフレーム４の再生を開始すべき時刻が不明である。このような場合には、図２（ｅ）に示されるように、ＰＴＳが付与されていない音声データフレーム４を破棄して、それ以降でＰＴＳのある音声データフレーム５を、そのＰＴＳが示す時刻に再生開始すればよい。但しこの場合には、音声データフレーム４に対応する音声が消失して、音無しの再生となってしまう。
【００１２】
別の方法としては、図２（ｆ）に示されるように、ＰＴＳが付与されていない音声データフレーム４を、映像の表示再開と同時に再生開始して、それ以降でＰＴＳのある音声データフレーム５が来た時に、そのＰＴＳに応じて音声再生のタイミングを調整すればよい。但しこの場合には、音声データフレーム４と音声データフレーム５との間でノイズが発生してしまう等の問題がある。
【００１３】
従って、映像及び音声の再生において一時停止後に再生再開する場合に、音声情報を正しいタイミングで再生再開する方式が必要である。
【００１４】
また上記とは別の問題として、映画等をＴＶセットで表示する場合に、特殊再生に関連した問題がある。映画は１秒間２４コマの画像から構成されており、ＴＶは例えばＮＴＳＣ方式では１秒間３０フレームから構成されている。なお各フレームは、２つのフィールドから構成される。映画の映像をＴＶで表示する際には、映画の２４コマをＴＶの１秒間の６０フィールドに割り当てるために、２つのフィールドを割り当てるコマと、３つのフィールドを割り当てるコマとを混在させて、６０フィールドを２４コマに対応させる。
【００１５】
このようにして構成された映像情報を特殊再生する場合、特にスロー再生する場合には、２フィールドを割り当てたフレーム（コマ）と３フィールドを割り当てたフレーム（コマ）とが混在するために、問題が生じる。スロー再生は、短時間の一時停止と再生とを繰り返すことで実現されるが、一時停止時に、実際には３フィールドを割り当てたフレームで停止しているにも関わらず、単純に２フィールドを１フレームとして繰り返し表示するような構成としておくと、時間がずれてくる結果となる。
【００１６】
図３は、２フィールドのフレームと３フィールドのフレームとが混在する場合のスロー再生の様子を示す図である。
【００１７】
図３に示されるように、映像信号は、２つのフィールド１Ｔ及び１Ｂよりなる第１のフレームと、３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレームと、２つのフィールド３Ｂ及び３Ｔよりなる第３のフレームと、３つのフィールド４Ｂ、４Ｔ、４Ｂよりなる第４のフレームと、２つのフィールド５Ｔ及び５Ｂよりなる第５のフレームを含む。
【００１８】
従来の方法で再生する場合には、２つのフィールド１Ｔ及び１Ｂよりなる第１のフレームを表示した後、一時停止と同様にして２つのフィールド１Ｔ及び１Ｂを繰り返す。次に、３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレームを表示した後に、この３つのフィールド２Ｔ、２Ｂ、２Ｔのうちの最初の２つのフィールド２Ｔ及び２Ｂを繰り返す。次に、２つのフィールド３Ｂ及び３Ｔよりなる第３のフレームを表示した後、一時停止と同様にして２つのフィールド３Ｂ及び３Ｔを繰り返す。この時点で、スロー再生時の経過時間は、第１フレーム乃至第３フレームを通常再生で表示する際にかかる時間Ｔに対して、その２倍の時間２Ｔにまで至らずに、時間ＴＳで止まっている。これは当然ながら、３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレームを一時停止して繰り返す際に、単純に１フレームを２フィールドとして扱って、２つのフィールド２Ｔ及び２Ｂを繰り返しただけだからである。
【００１９】
即ち、この場合にユーザは２倍のスロー再生のつもりでも、実際にスロー再生時に経過する時間は２倍の２Ｔではなく、ＴＳであって２倍のスロー再生を実現していないことになる。
【００２０】
このように従来においては、２フィールドのフレームと３フィールドのフレームとが混在する場合であっても、一時停止時には単純に１フレームを２フィールドとして扱って繰り返し表示していたために、実際の再生時間が本来あるべき再生時間とは異なってしまう。
【００２１】
従って、映像及び音声の再生において一時停止する場合に、２フィールドのフレームと３フィールドのフレームとを区別して、フレーム数に応じた停止動作を実現する方式が必要である。
【００２２】
従って、本発明の目的は、映像及び音声の再生において一時停止後に再生再開する場合に、音声情報を正しいタイミングで再生再開する方式を提供することである。
【００２３】
また本発明の別の目的は、映像及び音声の再生において一時停止する場合に、２フィールドのフレームと３フィールドのフレームとを区別して、フレーム数に応じた停止動作を実現する方式を提供することである。
【００２４】
【課題を解決するための手段】
請求項１の発明では、映像・音声再生装置は、第１の時間単位で符号化された映像データを受け取り復号化して出力する映像デコーダと、該第１の時間単位とは異なる第２の時間単位で符号化された音声データを受け取り復号化して出力する音声デコーダと、該映像デコーダの映像出力と該音声デコーダの音声出力とを一時停止するときに該映像データの同期信号に同期して該映像デコーダに供給する映像停止信号の開始から該音声データの区切りを示す最初の信号までの時間間隔を計時し、該映像デコーダの映像出力と該音声デコーダの音声出力とを再開するときに該音声出力の再開を指示する時間を該映像停止信号の終了から該時間間隔分遅らせる同期制御部を含む。
【００２５】
請求項２の発明では、請求項１記載の映像・音声再生装置において、該第２の時間単位で符号化された音声データは、時刻情報が付与される符号化データと時刻情報が付与されない符号化データとが混在する。
【００２６】
請求項３の発明では、請求項２記載の映像・音声再生装置において、該音声デコーダは、該第２の時間単位毎に出力する該音声データの区切りを示す区切り情報を該同期制御部に供給する。
【００２７】
請求項４の発明では、請求項３記載の映像・音声再生装置において、該同期制御部は、該映像デコーダへ映像出力停止を指示してから該音声出力が停止するまでの第１の期間を計時すると共に、該映像デコーダへ映像出力再開を指示すると該第１の期間に等しい第２の期間を計時するカウンタと、該映像デコーダへの映像出力停止の指示と同時に該音声デコーダに音声出力停止を指示すると共に、該カウンタが該第２の期間を計時し終えると該音声デコーダへ音声出力再開を指示する手段を含む。
【００２８】
請求項５の発明では、請求項４記載の映像・音声再生装置において、該カウンタは、該区切り情報によって該音声出力が停止するタイミングを検知する。
【００２９】
請求項６の発明では、請求項１記載の映像・音声再生装置において、映像ストリームをデコードすることにより、該映像データの１フレームあたり何フィールドが含まれているかを示すフィールド数情報を取得し、該フィールド数情報に応じて、該映像デコーダの映像出力停止期間を調整する。
【００３０】
請求項７の発明では、請求項１記載の映像・音声再生装置において、該映像デコーダの映像出力停止期間に繰り返し表示するフィールド数を、該フィールド数情報に応じて通常再生時のフィールド数の整数倍とする。
【００３１】
上記発明においては、映像デコーダの出力停止から音声デコーダの出力停止タイミングまでの時間を計時しておき、映像デコーダへの出力再開タイミングからこの計時した時間間隔と同一の時間間隔だけ経過した後に、音声デコーダを出力再開する。具体的には、映像デコーダ及び音声デコーダへの再生停止を指示してから音声区切り情報が得られるまでの時間を計時しておき、映像デコーダへの再開指示（停止解除）タイミングからこの計時した時間間隔と同一の時間間隔だけ経過した後に、音声デコーダへの停止指示を解除する。このように、再生停止時には、映像出力停止から実際の音声出力停止までの時間を計測しておき、再生再開時には、映像出力再開からこの計測した時間と同一の時間間隔だけ経過した後に音声出力を再開することで、時刻情報の付与されていない音声データに対しても映像出力と音声出力との同期を維持することが可能となる。
【００３２】
また映像デコーダの映像出力停止期間に繰り返し表示するフィールド数を通常再生時のフィールド数と同一とすることで、スロー再生時の経過時間を通常再生時の経過時間の整数倍に設定することが可能になる。
【００３３】
【発明の実施の形態】
以下に、本発明の実施例を、添付の図面を用いて詳細に説明する。
【００３４】
図４は、本発明による音声・映像デコーダの構成を示すブロック図である。
【００３５】
図４の音声・映像デコーダ１０は、同期制御部１１、音声デコーダ１２、映像デコーダ１３、ＳＴＣカウンタ１４を含む。
【００３６】
音声デコーダ１２は、多重符号ストリームから分離された音声ストリームを受け取り、複合化して音声出力として出力する。音声デコーダ１２は更に、音声ストリームから抽出したＰＴＳ（時刻情報）と共に、音声フレームの各々の区切りを示す音声区切り信号を、同期制御部１１に供給する。
【００３７】
映像デコーダ１３は、多重符号ストリームから分離された映像ストリームを受け取り、複合化して映像出力として出力する。映像デコーダ１３は更に、映像ストリームから抽出したＰＴＳ（時刻情報）と共に、表示する映像の有効期間を示す表示期間情報を、同期制御部１１に供給する。
【００３８】
ＳＴＣカウンタ１４は、時間クロック信号を受け取り、これを基にしてシステムタイムクロックＳＴＣをカウントする。システムタイムクロックＳＴＣのカウントは、同期制御部１１からのＳＴＣカウント有効／無効指示によってカウント／停止が制御される。
【００３９】
同期制御部１１は、時間クロック、システムタイムクロックＳＴＣ、ＴＶ同期信号を受け取り、音声デコーダ１２による音声出力及び映像デコーダ１３による映像出力の同期制御を行なう。同期制御部１１は更に、映像・音声再生の一時停止を指示する停止指示信号を受け取り、これに基づいて音声デコーダ１２及び映像デコーダ１３を制御して、映像・音声再生を一時停止させる。
【００４０】
具体的には、ユーザ等からの要求により停止指示信号が発生すると、同期制御部１１は、音声デコーダ１２及び映像デコーダ１３に供給する出力停止／許可信号を同時に停止指示状態にして、音声デコーダ１２及び映像デコーダ１３に再生の一時停止を命令する。同期制御部１１は、映像デコーダ１３からの表示期間情報とＴＶ同期信号とから映像が停止したことを検出すると、ＳＴＣカウンタ１４に対してＳＴＣカウント無効を指示して、システムタイムクロックＳＴＣのカウントを停止させる。
【００４１】
音声デコーダ１２においては、通常、音声フレーム単位で音声を出力している。従って、出力停止／許可信号が停止指示状態になった後、実際に音声出力が停止されるのは、現在再生中の音声フレームが終了した時点である。従って、この実際に音声出力が停止されるタイミングは、停止指示後の最初の音声区切り信号のタイミングに一致する。
【００４２】
本発明の同期制御部１１においては、音声デコーダ１２への出力停止／許可信号を停止指示状態にした後、即ち映像の再生を停止した後、実際の音声出力停止タイミングを示す最初の音声区切り信号までの時間を計測する。具体的には、例えば出力停止／許可信号の立ち上りから区切り信号までの時間クロックをカウントすることで、この時間間隔を計測することが出来る。
【００４３】
ユーザ等からの再開要求により停止指示信号が終了すると、同期制御部１１は、音声デコーダ１２、映像デコーダ１３、及びＳＴＣカウンタ１４への停止指示を解除する。映像はビデオ表示タイミングで表示が可能となるので、映像デコーダ１３に対しては、TV同期信号のタイミングに応じて、出力停止／許可信号の停止指示状態を解除する。ＳＴＣカウンタ１４に対しては、映像デコーダ１３からの表示期間情報とＴＶ同期信号とに基づいたタイミングで、カウント有効指示を供給してカウント停止を解除する。
【００４４】
本発明においては、音声再生を再開するタイミング、即ち同期制御部１１から音声デコーダ１２に供給する停止指示を解除するタイミングが、従来の関連する技術と異なる。従来においては、ＰＴＳの付加された音声フレームが来るまで音声再生を待つか、或いは取り敢えず音声再生を再開してＰＴＳの付加された音声フレームが来た時点でタイミング調整をしていた。本発明においては、上述のように映像デコーダ及び音声デコーダへの再生停止を指示する信号から最初の音声区切り信号までの時間を計測しておき、映像デコーダへの再開指示（停止解除）タイミングからこの計測した時間間隔と同一の時間間隔だけ経過した後に、音声デコーダ１２への停止指示を解除する。
【００４５】
このように、再生停止時には、映像出力停止から実際の音声出力停止までの時間を計測しておき、再生再開時には、映像出力再開からこの計測した時間と同一の時間間隔だけ経過した後に音声出力を再開することで、映像出力と音声出力との同期を維持することが可能となる。
【００４６】
図５は、同期制御部１１において映像出力停止から実際の音声出力停止までの時間を計測する回路の構成を示す回路図である。
【００４７】
図５の回路は、アップダウンカウンタ２１と、立ち上り立ち下がり検出器２２、セット・リセット・フリップフロップ２３、非０検出器２４、及び論理和回路２５を含む。
【００４８】
図６は、図４及び図５の構成の動作を示すタイミング図である。
【００４９】
図６（ｃ）に示されるようにユーザ等から一時停止指示があると、図６（ｂ）に示されるTV同期信号のタイミングで、図６（ｄ）に示されるように同期制御部１１から映像デコーダ１３に対して映像停止指示信号が供給される。なおこの映像停止指示信号が供給されることは、図４において、同期制御部１１から映像デコーダ１３への出力停止／許可信号が、停止指示状態になることに相当する。なお映像停止指示と同時に、図６（ｆ）に示されるように、同期制御部１１から音声デコーダ１２に音声停止指示信号が供給される。
【００５０】
このとき、図５の立ち上り立ち下がり検出器２２は、映像停止指示信号の立ち上がりエッジを検出して、フリップフロップ２３をセットする。これによってアップダウンカウンタ２１のカウントイネーブル入力がイネーブルにされる。またこのとき、ＨＩＧＨである映像停止指示信号がアップダウンカウンタ２１のアップ／ダウン入力に供給されて、アップダウンカウンタ２１はカウントアップをする状態にある。従って、映像停止指示信号の立ち上がりエッジに応答して、アップダウンカウンタ２１が、時間クロックのカウントアップを開始する。このカウントアップの様子は、図６（ｈ）に右上がりのスロープとして示されている。
【００５１】
次に図６（ｅ）に示されるように音声デコーダ１２から区切り信号が同期制御部１１に供給されると、この区切り信号は、図５のフリップフロップ２３のリセット入力に供給される。これによってフリップフロップ２３がリセットされ、アップダウンカウンタ２１のカウントイネーブル入力がディスエーブルされて、アップダウンカウンタ２１のカウントアップが停止する。これによって、映像停止指示から実際の音声出力停止までの時間が、時間クロックのカウントとして、アップダウンカウンタ２１に保持される。
【００５２】
その後、図６（ｃ）に示されるようにユーザ等からの一時停止指示が解除されると、図６（ｂ）に示されるTV同期信号のタイミングで、図６（ｄ）に示されるように映像停止指示信号が終了する。
【００５３】
このとき、図５の立ち上り立ち下がり検出器２２は、映像停止指示信号の立ち下がりエッジを検出して、フリップフロップ２３をセットする。これによってアップダウンカウンタ２１のカウントイネーブル入力がイネーブルにされる。またこのとき、ＬＯＷである映像停止指示信号がアップダウンカウンタ２１のアップ／ダウン入力に供給されて、アップダウンカウンタ２１はカウントダウンをする状態にある。従って、映像停止指示信号の立ち下がりエッジに応答して、アップダウンカウンタ２１が、時間クロックによるカウントダウンを開始する。アップダウンカウンタ２１は、カウントがゼロになると動作を終了する。このカウントダウンの様子は、図６（ｈ）に右下がりのスロープとして示されている。
【００５４】
アップダウンカウンタ２１のカウントがゼロになると、非０検出器２４から論理和回路２５への出力がＨＩＧＨからＬＯＷに変化する。論理和回路２５は、非０検出器２４の出力と映像停止指示信号との論理和（ＯＲ）をとることで、図６（ｆ）に示されるような、音声停止信号を生成する。なお論理和回路２５によるＯＲ演算は、タイミングに多少のずれが存在しても意図された動作を確実に実行するために設けられるものであり、原理的には非０検出器２４の出力がＨＩＧＨかＬＯＷか（アップダウンカウンタ２１の出力が非ゼロかゼロか）に応じて、音声停止指示信号を供給すればよい。
【００５５】
図６（ｆ）に示されるような音声停止信号を、同期制御部１１から音声デコーダ１２に供給することで、実際に音声出力が停止される期間は、図６（ｇ）に示されるような期間となる。図６（ｇ）に示される音声出力停止期間は、図６（ｄ）に示される映像停止指示信号の期間、即ち映像出力停止期間と同一の長さである。従って、音声出力が再開されるときには、映像出力と同期が取れた状態で再生されることになる。
【００５６】
図７は、同期制御部１１において映像停止指示信号を生成する回路の構成を示す回路図である。図７（ａ）及び（ｂ）は各々、映像停止指示信号を生成する回路の部分図であり、（ａ）及び（ｂ）で映像停止指示信号を生成する回路の全体を示す。
【００５７】
図７（ａ）に示す回路部分は、セレクタ３１、ＡＮＤ回路３２、ダウンカウンタ３３、及びゼロ検出回路３４を含む。また図７（ｂ）に示す回路部分は、ＡＮＤ回路３５乃至３７、インバータ３８、ＯＲ回路３９、及びフリップフロップ４０を含む。
【００５８】
図８は、図７の回路の動作を説明するタイミング図である。以下に、図８を用いて図７の回路の動作を説明する。
【００５９】
図７（ａ）のセレクタ３１は、映像ストリームをデコードして得られるフィールド数情報を、映像デコーダ１３から受け取る。このフィールド数情報は、現在表示するフレームが２フィールドから構成されるか或いは３フィールドから構成されるかを示す情報である。セレクタ３１は、フィールド数情報が２フィールドを指示するときには１を選択し、フィールド数情報が３フィールドを指示するときには２を選択する。選択された値は、ダウンカウンタ３３にロードされる。
【００６０】
図８の（ａ）乃至（ｆ）が、フィールド数情報が２フィールドを指示して、ダウンカウンタ３３が１をダウンロードする場合を示し、（ｇ）乃至（ｌ）が、フィールド数情報が３フィールドを指示して、ダウンカウンタ３３が２をダウンロードする場合を示す。各々の場合で、図８（ａ）及び（ｇ）がフィールド数情報を示し、図８（ｃ）及び（ｉ）がカウンタのカウント値を示す。
【００６１】
ダウンカウンタ３３にロードされた値は、システムクロック信号によりダウンカウントされる。ダウンカウンタ３３の出力はゼロ検出回路３４に供給され、カウントがゼロになると、ゼロ検出回路３４の出力である有効情報が、図８（ｄ）或いは（ｊ）に示されるようにＨＩＧＨになる。
【００６２】
この有効情報と表示タイミング信号（図８（ｂ）及び（ｈ））とが、ＡＮＤ回路３２に供給され、ＡＮＤ回路３２の出力はダウンカウンタ３３のロード指示入力に供給される。従って、カウントがゼロになる度に、新しい値がダウンカウンタ３３にロードされる。
【００６３】
またゼロ検出回路３４の出力である有効情報は、図７（ｂ）の回路に供給されて、ユーザ等の指示によるユーザ停止指示信号と合成されて、図８（ｆ）及び（ｌ）に示すような、映像停止指示信号が得られる。
【００６４】
図７及び図８に示されるように、本発明においては、フィールド数情報が指示するフィールド数に応じて選択した値をダウンカウントして、このカウント値がゼロになるタイミングを検出することで、１フレームあたりのフィールド数に応じた時間間隔を計時することが出来る。この時間間隔に基づいて映像停止指示信号を生成するので、映像の一時停止動作時に、フィールド数情報が指示する２或いは３のフィールド数に対応した数だけフィールドを繰り返し表示することが可能になる。
【００６５】
図９は、２フィールドのフレームと３フィールドのフレームとが混在する場合の本発明によるスロー再生の様子を示す図である。
【００６６】
図９のスロー再生動作は、図７の回路で図８の映像停止指示信号を生成して、短期間の一時停止と再生とを繰り返すことでスロー再生を実行した場合を示す。図９に示されるように、映像信号は、２つのフィールド１Ｔ及び１Ｂよりなる第１のフレームと、３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレームと、２つのフィールド３Ｂ及び３Ｔよりなる第３のフレームと、３つのフィールド４Ｂ、４Ｔ、４Ｂよりなる第４のフレームと、２つのフィールド５Ｔ及び５Ｂよりなる第５のフレームを含む。
【００６７】
本発明に従ってスロー再生する場合には、２つのフィールド１Ｔ及び１Ｂよりなる第１のフレームを表示した後、一時停止して２つのフィールド１Ｔ及び１Ｂを繰り返す。次に、３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレームを表示した後に、一時停止して３つのフィールド２Ｔ、２Ｂ、２Ｔを繰り返す。次に、２つのフィールド３Ｂ及び３Ｔよりなる第３のフレームを表示した後、一時停止して２つのフィールド３Ｂ及び３Ｔを繰り返す。この時点で、スロー再生時の経過時間は、第１フレーム乃至第３フレームを通常再生で表示する際にかかる時間Ｔに対して、丁度その２倍の時間２Ｔだけ経過したことになる。
【００６８】
即ち、２倍のスロー再生を意図した場合に、実際にスロー再生時に経過する時間は正確に２倍となる。同様に、３倍のスロー再生を意図した場合には、実際にスロー再生時に経過する時間は正確に３倍となる。
【００６９】
なお上記説明された同期制御部１１、音声デコーダ１２、及び映像デコーダ１３は、回路として構成されてもよいし、ＤＳＰ（Digital Signal Processor）等でソフトウェア的に構成されてもよい。
【００７０】
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
【００７１】
【発明の効果】
上記発明においては、映像デコーダ及び音声デコーダへの再生停止を指示してから音声区切り情報が得られるまでの時間を計時しておき、映像デコーダへの再開指示（停止解除）タイミングからこの計時した時間間隔と同一の時間間隔だけ経過した後に、音声デコーダへの停止指示を解除する。このように、再生停止時には、映像出力停止から実際の音声出力停止までの時間を計測しておき、再生再開時には、映像出力再開からこの計測した時間と同一の時間間隔だけ経過した後に音声出力を再開することで、時刻情報の付与されていない音声データに対しても映像出力と音声出力との同期を維持することが可能となる。
【００７２】
また映像デコーダの映像出力停止期間に繰り返し表示するフィールド数を通常再生時のフィールド数と同一とすることで、スロー再生時の経過時間を通常再生時の経過時間の整数倍に設定することが可能になる。
【図面の簡単な説明】
【図１】データ符号化及び多重化の様子を示す図面である。
【図２】従来の一時停止と再生再開の様子を示す図である。
【図３】２フィールドのフレームと３フィールドのフレームとが混在する場合の従来のスロー再生の様子を示す図である。
【図４】本発明による音声・映像デコーダの構成を示すブロック図である。
【図５】同期制御部において映像出力停止から実際の音声出力停止までの時間を計測する回路の構成を示す回路図である。
【図６】図４及び図５の構成の動作を示すタイミング図である。
【図７】同期制御部において映像停止指示信号を生成する回路の構成を示す回路図である。
【図８】図７の回路の動作を説明するタイミング図である。
【図９】２フィールドのフレームと３フィールドのフレームとが混在する場合の本発明のスロー再生の様子を示す図である。
【符号の説明】
１０ 音声・映像デコーダ
１１ 同期制御部
１２ 音声デコーダ
１３ 映像デコーダ
１４ ＳＴＣカウンタ
【発明の属する技術分野】
本発明は、一般に映像及び音声の再生方法及び装置に関し、詳しくは映像及び音声の再生において一時停止やスロー再生等の特殊再生を行う映像及び音声の再生方法及び装置に関する。
【０００２】
【従来の技術】
ＤＶＤ（Digital Versatile Disc）等においては、映像及び音声のデータは、ＭＰＥＧあるいは関連する方式（Dolby DigitalやDTS等）で圧縮符号化された後に分割されてパケットとされ、同期のための時刻情報（ＰＴＳ：Presentation Time Stamp）が付与される。各パケットには共通の時刻情報（ＳＣＲ：System Clock Reference）がさらに付与されて、多重化された符号データとして記録される。
【０００３】
図１は、データ符号化及び多重化の様子を示す図面である。
【０００４】
映像は、表示の単位である１フレームあるいは１フィールドで符号化され、音声も１フレーム単位で符号化される。ここで音声の１フレームは映像の１フレームとは一般に長さが異なる。ＰＴＳは、基本的に符号化の単位ごとに付与されるが、１パケット中に複数の音声のフレームが存在する場合には、ＰＴＳは先頭のフレームにのみ付与されることになる。即ち、図１に示される例においては、音声データフレーム１、３、５にはＰＴＳが付加されるが、音声データフレーム２、４、６にはＰＴＳが付加されないことになる。これらのデータは、時刻情報が欠落したデータとなる。
【０００５】
データを再生する場合には、多重化された映像／音声符号を分離して復号化すると同時に、ＳＣＲから基準時間即ちシステムタイムクロックを生成する。このシステムタイムクロックを基準として、複合化された映像データ及び音声データを、各々のデータに付与されたＰＴＳが示す時間に出力する。
【０００６】
通常、映像はＴＶセット等の表示装置に表示されるために、装置の同期タイミングによって出力可能な時刻が制限される。従って例えば、システムタイムクロックを装置の同期タイミングに合わせてカウントして、このカウントがＰＴＳの示す時間となった時刻で、ピクチャの表示を行なう。音声データは、映像フレームとは異なったフレーム期間を有するので、映像データと同一のタイミングで再生されるのではなく、音声データ用のＰＴＳにより時刻を決定して再生を行なう。ＰＴＳの付与されていない音声データフレームに関しては、その前のフレームに続けてギャップなく出力すれば、そのまま映像と同期した状態で再生することか出来る。
【０００７】
【発明が解決しようとする課題】
再生中に、一時停止やスロー再生などの特殊再生を行なうことがある。一時停止の場合には、映像に関しては停止時に対応するピクチャを繰り返し表示し、音声に関しては再生を停止することになる。スロー再生は、短時間の一時停止と再生とを繰り返すことで実現される。
【０００８】
図２は、一時停止と再生再開の様子を示す図である。
【０００９】
図２は、２枚目のビデオピクチャ表示中に、ユーザが停止指示を出した場合を示す。ユーザの停止指示に応じて、現在のビデオピクチャ２を表示し終えると、再びビデオピクチャ２を再生する。停止状態が続く限りは、このビデオピクチャ２を繰り返し再生することになる。また音声フレームに関しては、ユーザが停止指示を出した時点で、３番目の音声フレームである音声フレーム３が再生中である。従って、音声フレーム３の再生を終了した時点で、音声データの再生を中断する。
【００１０】
その後、ユーザの一時停止指示が終了すると、一時停止動作として表示中のビデオピクチャ２の表示が終了するまで待って、次のビデオピクチャ３を再生する。また音声データに関しては、図２（ａ）に示されるように、再生が開始されたビデオピクチャ３の途中から、映像データと同期を取って再開されるのが理想である。このためには、音声データフレーム４にＰＴＳが付加されていれば、そのＰＴＳが示す時刻に音声データフレーム４の再生を開始すればよい。
【００１１】
しかし音声データフレーム４にＰＴＳが付加されていない場合には、音声データフレーム４の再生を開始すべき時刻が不明である。このような場合には、図２（ｅ）に示されるように、ＰＴＳが付与されていない音声データフレーム４を破棄して、それ以降でＰＴＳのある音声データフレーム５を、そのＰＴＳが示す時刻に再生開始すればよい。但しこの場合には、音声データフレーム４に対応する音声が消失して、音無しの再生となってしまう。
【００１２】
別の方法としては、図２（ｆ）に示されるように、ＰＴＳが付与されていない音声データフレーム４を、映像の表示再開と同時に再生開始して、それ以降でＰＴＳのある音声データフレーム５が来た時に、そのＰＴＳに応じて音声再生のタイミングを調整すればよい。但しこの場合には、音声データフレーム４と音声データフレーム５との間でノイズが発生してしまう等の問題がある。
【００１３】
従って、映像及び音声の再生において一時停止後に再生再開する場合に、音声情報を正しいタイミングで再生再開する方式が必要である。
【００１４】
また上記とは別の問題として、映画等をＴＶセットで表示する場合に、特殊再生に関連した問題がある。映画は１秒間２４コマの画像から構成されており、ＴＶは例えばＮＴＳＣ方式では１秒間３０フレームから構成されている。なお各フレームは、２つのフィールドから構成される。映画の映像をＴＶで表示する際には、映画の２４コマをＴＶの１秒間の６０フィールドに割り当てるために、２つのフィールドを割り当てるコマと、３つのフィールドを割り当てるコマとを混在させて、６０フィールドを２４コマに対応させる。
【００１５】
このようにして構成された映像情報を特殊再生する場合、特にスロー再生する場合には、２フィールドを割り当てたフレーム（コマ）と３フィールドを割り当てたフレーム（コマ）とが混在するために、問題が生じる。スロー再生は、短時間の一時停止と再生とを繰り返すことで実現されるが、一時停止時に、実際には３フィールドを割り当てたフレームで停止しているにも関わらず、単純に２フィールドを１フレームとして繰り返し表示するような構成としておくと、時間がずれてくる結果となる。
【００１６】
図３は、２フィールドのフレームと３フィールドのフレームとが混在する場合のスロー再生の様子を示す図である。
【００１７】
図３に示されるように、映像信号は、２つのフィールド１Ｔ及び１Ｂよりなる第１のフレームと、３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレームと、２つのフィールド３Ｂ及び３Ｔよりなる第３のフレームと、３つのフィールド４Ｂ、４Ｔ、４Ｂよりなる第４のフレームと、２つのフィールド５Ｔ及び５Ｂよりなる第５のフレームを含む。
【００１８】
従来の方法で再生する場合には、２つのフィールド１Ｔ及び１Ｂよりなる第１のフレームを表示した後、一時停止と同様にして２つのフィールド１Ｔ及び１Ｂを繰り返す。次に、３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレームを表示した後に、この３つのフィールド２Ｔ、２Ｂ、２Ｔのうちの最初の２つのフィールド２Ｔ及び２Ｂを繰り返す。次に、２つのフィールド３Ｂ及び３Ｔよりなる第３のフレームを表示した後、一時停止と同様にして２つのフィールド３Ｂ及び３Ｔを繰り返す。この時点で、スロー再生時の経過時間は、第１フレーム乃至第３フレームを通常再生で表示する際にかかる時間Ｔに対して、その２倍の時間２Ｔにまで至らずに、時間ＴＳで止まっている。これは当然ながら、３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレームを一時停止して繰り返す際に、単純に１フレームを２フィールドとして扱って、２つのフィールド２Ｔ及び２Ｂを繰り返しただけだからである。
【００１９】
即ち、この場合にユーザは２倍のスロー再生のつもりでも、実際にスロー再生時に経過する時間は２倍の２Ｔではなく、ＴＳであって２倍のスロー再生を実現していないことになる。
【００２０】
このように従来においては、２フィールドのフレームと３フィールドのフレームとが混在する場合であっても、一時停止時には単純に１フレームを２フィールドとして扱って繰り返し表示していたために、実際の再生時間が本来あるべき再生時間とは異なってしまう。
【００２１】
従って、映像及び音声の再生において一時停止する場合に、２フィールドのフレームと３フィールドのフレームとを区別して、フレーム数に応じた停止動作を実現する方式が必要である。
【００２２】
従って、本発明の目的は、映像及び音声の再生において一時停止後に再生再開する場合に、音声情報を正しいタイミングで再生再開する方式を提供することである。
【００２３】
また本発明の別の目的は、映像及び音声の再生において一時停止する場合に、２フィールドのフレームと３フィールドのフレームとを区別して、フレーム数に応じた停止動作を実現する方式を提供することである。
【００２４】
【課題を解決するための手段】
請求項１の発明では、映像・音声再生装置は、第１の時間単位で符号化された映像データを受け取り復号化して出力する映像デコーダと、該第１の時間単位とは異なる第２の時間単位で符号化された音声データを受け取り復号化して出力する音声デコーダと、該映像デコーダの映像出力と該音声デコーダの音声出力とを一時停止するときに該映像データの同期信号に同期して該映像デコーダに供給する映像停止信号の開始から該音声データの区切りを示す最初の信号までの時間間隔を計時し、該映像デコーダの映像出力と該音声デコーダの音声出力とを再開するときに該音声出力の再開を指示する時間を該映像停止信号の終了から該時間間隔分遅らせる同期制御部を含む。
【００２５】
請求項２の発明では、請求項１記載の映像・音声再生装置において、該第２の時間単位で符号化された音声データは、時刻情報が付与される符号化データと時刻情報が付与されない符号化データとが混在する。
【００２６】
請求項３の発明では、請求項２記載の映像・音声再生装置において、該音声デコーダは、該第２の時間単位毎に出力する該音声データの区切りを示す区切り情報を該同期制御部に供給する。
【００２７】
請求項４の発明では、請求項３記載の映像・音声再生装置において、該同期制御部は、該映像デコーダへ映像出力停止を指示してから該音声出力が停止するまでの第１の期間を計時すると共に、該映像デコーダへ映像出力再開を指示すると該第１の期間に等しい第２の期間を計時するカウンタと、該映像デコーダへの映像出力停止の指示と同時に該音声デコーダに音声出力停止を指示すると共に、該カウンタが該第２の期間を計時し終えると該音声デコーダへ音声出力再開を指示する手段を含む。
【００２８】
請求項５の発明では、請求項４記載の映像・音声再生装置において、該カウンタは、該区切り情報によって該音声出力が停止するタイミングを検知する。
【００２９】
請求項６の発明では、請求項１記載の映像・音声再生装置において、映像ストリームをデコードすることにより、該映像データの１フレームあたり何フィールドが含まれているかを示すフィールド数情報を取得し、該フィールド数情報に応じて、該映像デコーダの映像出力停止期間を調整する。
【００３０】
請求項７の発明では、請求項１記載の映像・音声再生装置において、該映像デコーダの映像出力停止期間に繰り返し表示するフィールド数を、該フィールド数情報に応じて通常再生時のフィールド数の整数倍とする。
【００３１】
上記発明においては、映像デコーダの出力停止から音声デコーダの出力停止タイミングまでの時間を計時しておき、映像デコーダへの出力再開タイミングからこの計時した時間間隔と同一の時間間隔だけ経過した後に、音声デコーダを出力再開する。具体的には、映像デコーダ及び音声デコーダへの再生停止を指示してから音声区切り情報が得られるまでの時間を計時しておき、映像デコーダへの再開指示（停止解除）タイミングからこの計時した時間間隔と同一の時間間隔だけ経過した後に、音声デコーダへの停止指示を解除する。このように、再生停止時には、映像出力停止から実際の音声出力停止までの時間を計測しておき、再生再開時には、映像出力再開からこの計測した時間と同一の時間間隔だけ経過した後に音声出力を再開することで、時刻情報の付与されていない音声データに対しても映像出力と音声出力との同期を維持することが可能となる。
【００３２】
また映像デコーダの映像出力停止期間に繰り返し表示するフィールド数を通常再生時のフィールド数と同一とすることで、スロー再生時の経過時間を通常再生時の経過時間の整数倍に設定することが可能になる。
【００３３】
【発明の実施の形態】
以下に、本発明の実施例を、添付の図面を用いて詳細に説明する。
【００３４】
図４は、本発明による音声・映像デコーダの構成を示すブロック図である。
【００３５】
図４の音声・映像デコーダ１０は、同期制御部１１、音声デコーダ１２、映像デコーダ１３、ＳＴＣカウンタ１４を含む。
【００３６】
音声デコーダ１２は、多重符号ストリームから分離された音声ストリームを受け取り、複合化して音声出力として出力する。音声デコーダ１２は更に、音声ストリームから抽出したＰＴＳ（時刻情報）と共に、音声フレームの各々の区切りを示す音声区切り信号を、同期制御部１１に供給する。
【００３７】
映像デコーダ１３は、多重符号ストリームから分離された映像ストリームを受け取り、複合化して映像出力として出力する。映像デコーダ１３は更に、映像ストリームから抽出したＰＴＳ（時刻情報）と共に、表示する映像の有効期間を示す表示期間情報を、同期制御部１１に供給する。
【００３８】
ＳＴＣカウンタ１４は、時間クロック信号を受け取り、これを基にしてシステムタイムクロックＳＴＣをカウントする。システムタイムクロックＳＴＣのカウントは、同期制御部１１からのＳＴＣカウント有効／無効指示によってカウント／停止が制御される。
【００３９】
同期制御部１１は、時間クロック、システムタイムクロックＳＴＣ、ＴＶ同期信号を受け取り、音声デコーダ１２による音声出力及び映像デコーダ１３による映像出力の同期制御を行なう。同期制御部１１は更に、映像・音声再生の一時停止を指示する停止指示信号を受け取り、これに基づいて音声デコーダ１２及び映像デコーダ１３を制御して、映像・音声再生を一時停止させる。
【００４０】
具体的には、ユーザ等からの要求により停止指示信号が発生すると、同期制御部１１は、音声デコーダ１２及び映像デコーダ１３に供給する出力停止／許可信号を同時に停止指示状態にして、音声デコーダ１２及び映像デコーダ１３に再生の一時停止を命令する。同期制御部１１は、映像デコーダ１３からの表示期間情報とＴＶ同期信号とから映像が停止したことを検出すると、ＳＴＣカウンタ１４に対してＳＴＣカウント無効を指示して、システムタイムクロックＳＴＣのカウントを停止させる。
【００４１】
音声デコーダ１２においては、通常、音声フレーム単位で音声を出力している。従って、出力停止／許可信号が停止指示状態になった後、実際に音声出力が停止されるのは、現在再生中の音声フレームが終了した時点である。従って、この実際に音声出力が停止されるタイミングは、停止指示後の最初の音声区切り信号のタイミングに一致する。
【００４２】
本発明の同期制御部１１においては、音声デコーダ１２への出力停止／許可信号を停止指示状態にした後、即ち映像の再生を停止した後、実際の音声出力停止タイミングを示す最初の音声区切り信号までの時間を計測する。具体的には、例えば出力停止／許可信号の立ち上りから区切り信号までの時間クロックをカウントすることで、この時間間隔を計測することが出来る。
【００４３】
ユーザ等からの再開要求により停止指示信号が終了すると、同期制御部１１は、音声デコーダ１２、映像デコーダ１３、及びＳＴＣカウンタ１４への停止指示を解除する。映像はビデオ表示タイミングで表示が可能となるので、映像デコーダ１３に対しては、TV同期信号のタイミングに応じて、出力停止／許可信号の停止指示状態を解除する。ＳＴＣカウンタ１４に対しては、映像デコーダ１３からの表示期間情報とＴＶ同期信号とに基づいたタイミングで、カウント有効指示を供給してカウント停止を解除する。
【００４４】
本発明においては、音声再生を再開するタイミング、即ち同期制御部１１から音声デコーダ１２に供給する停止指示を解除するタイミングが、従来の関連する技術と異なる。従来においては、ＰＴＳの付加された音声フレームが来るまで音声再生を待つか、或いは取り敢えず音声再生を再開してＰＴＳの付加された音声フレームが来た時点でタイミング調整をしていた。本発明においては、上述のように映像デコーダ及び音声デコーダへの再生停止を指示する信号から最初の音声区切り信号までの時間を計測しておき、映像デコーダへの再開指示（停止解除）タイミングからこの計測した時間間隔と同一の時間間隔だけ経過した後に、音声デコーダ１２への停止指示を解除する。
【００４５】
このように、再生停止時には、映像出力停止から実際の音声出力停止までの時間を計測しておき、再生再開時には、映像出力再開からこの計測した時間と同一の時間間隔だけ経過した後に音声出力を再開することで、映像出力と音声出力との同期を維持することが可能となる。
【００４６】
図５は、同期制御部１１において映像出力停止から実際の音声出力停止までの時間を計測する回路の構成を示す回路図である。
【００４７】
図５の回路は、アップダウンカウンタ２１と、立ち上り立ち下がり検出器２２、セット・リセット・フリップフロップ２３、非０検出器２４、及び論理和回路２５を含む。
【００４８】
図６は、図４及び図５の構成の動作を示すタイミング図である。
【００４９】
図６（ｃ）に示されるようにユーザ等から一時停止指示があると、図６（ｂ）に示されるTV同期信号のタイミングで、図６（ｄ）に示されるように同期制御部１１から映像デコーダ１３に対して映像停止指示信号が供給される。なおこの映像停止指示信号が供給されることは、図４において、同期制御部１１から映像デコーダ１３への出力停止／許可信号が、停止指示状態になることに相当する。なお映像停止指示と同時に、図６（ｆ）に示されるように、同期制御部１１から音声デコーダ１２に音声停止指示信号が供給される。
【００５０】
このとき、図５の立ち上り立ち下がり検出器２２は、映像停止指示信号の立ち上がりエッジを検出して、フリップフロップ２３をセットする。これによってアップダウンカウンタ２１のカウントイネーブル入力がイネーブルにされる。またこのとき、ＨＩＧＨである映像停止指示信号がアップダウンカウンタ２１のアップ／ダウン入力に供給されて、アップダウンカウンタ２１はカウントアップをする状態にある。従って、映像停止指示信号の立ち上がりエッジに応答して、アップダウンカウンタ２１が、時間クロックのカウントアップを開始する。このカウントアップの様子は、図６（ｈ）に右上がりのスロープとして示されている。
【００５１】
次に図６（ｅ）に示されるように音声デコーダ１２から区切り信号が同期制御部１１に供給されると、この区切り信号は、図５のフリップフロップ２３のリセット入力に供給される。これによってフリップフロップ２３がリセットされ、アップダウンカウンタ２１のカウントイネーブル入力がディスエーブルされて、アップダウンカウンタ２１のカウントアップが停止する。これによって、映像停止指示から実際の音声出力停止までの時間が、時間クロックのカウントとして、アップダウンカウンタ２１に保持される。
【００５２】
その後、図６（ｃ）に示されるようにユーザ等からの一時停止指示が解除されると、図６（ｂ）に示されるTV同期信号のタイミングで、図６（ｄ）に示されるように映像停止指示信号が終了する。
【００５３】
このとき、図５の立ち上り立ち下がり検出器２２は、映像停止指示信号の立ち下がりエッジを検出して、フリップフロップ２３をセットする。これによってアップダウンカウンタ２１のカウントイネーブル入力がイネーブルにされる。またこのとき、ＬＯＷである映像停止指示信号がアップダウンカウンタ２１のアップ／ダウン入力に供給されて、アップダウンカウンタ２１はカウントダウンをする状態にある。従って、映像停止指示信号の立ち下がりエッジに応答して、アップダウンカウンタ２１が、時間クロックによるカウントダウンを開始する。アップダウンカウンタ２１は、カウントがゼロになると動作を終了する。このカウントダウンの様子は、図６（ｈ）に右下がりのスロープとして示されている。
【００５４】
アップダウンカウンタ２１のカウントがゼロになると、非０検出器２４から論理和回路２５への出力がＨＩＧＨからＬＯＷに変化する。論理和回路２５は、非０検出器２４の出力と映像停止指示信号との論理和（ＯＲ）をとることで、図６（ｆ）に示されるような、音声停止信号を生成する。なお論理和回路２５によるＯＲ演算は、タイミングに多少のずれが存在しても意図された動作を確実に実行するために設けられるものであり、原理的には非０検出器２４の出力がＨＩＧＨかＬＯＷか（アップダウンカウンタ２１の出力が非ゼロかゼロか）に応じて、音声停止指示信号を供給すればよい。
【００５５】
図６（ｆ）に示されるような音声停止信号を、同期制御部１１から音声デコーダ１２に供給することで、実際に音声出力が停止される期間は、図６（ｇ）に示されるような期間となる。図６（ｇ）に示される音声出力停止期間は、図６（ｄ）に示される映像停止指示信号の期間、即ち映像出力停止期間と同一の長さである。従って、音声出力が再開されるときには、映像出力と同期が取れた状態で再生されることになる。
【００５６】
図７は、同期制御部１１において映像停止指示信号を生成する回路の構成を示す回路図である。図７（ａ）及び（ｂ）は各々、映像停止指示信号を生成する回路の部分図であり、（ａ）及び（ｂ）で映像停止指示信号を生成する回路の全体を示す。
【００５７】
図７（ａ）に示す回路部分は、セレクタ３１、ＡＮＤ回路３２、ダウンカウンタ３３、及びゼロ検出回路３４を含む。また図７（ｂ）に示す回路部分は、ＡＮＤ回路３５乃至３７、インバータ３８、ＯＲ回路３９、及びフリップフロップ４０を含む。
【００５８】
図８は、図７の回路の動作を説明するタイミング図である。以下に、図８を用いて図７の回路の動作を説明する。
【００５９】
図７（ａ）のセレクタ３１は、映像ストリームをデコードして得られるフィールド数情報を、映像デコーダ１３から受け取る。このフィールド数情報は、現在表示するフレームが２フィールドから構成されるか或いは３フィールドから構成されるかを示す情報である。セレクタ３１は、フィールド数情報が２フィールドを指示するときには１を選択し、フィールド数情報が３フィールドを指示するときには２を選択する。選択された値は、ダウンカウンタ３３にロードされる。
【００６０】
図８の（ａ）乃至（ｆ）が、フィールド数情報が２フィールドを指示して、ダウンカウンタ３３が１をダウンロードする場合を示し、（ｇ）乃至（ｌ）が、フィールド数情報が３フィールドを指示して、ダウンカウンタ３３が２をダウンロードする場合を示す。各々の場合で、図８（ａ）及び（ｇ）がフィールド数情報を示し、図８（ｃ）及び（ｉ）がカウンタのカウント値を示す。
【００６１】
ダウンカウンタ３３にロードされた値は、システムクロック信号によりダウンカウントされる。ダウンカウンタ３３の出力はゼロ検出回路３４に供給され、カウントがゼロになると、ゼロ検出回路３４の出力である有効情報が、図８（ｄ）或いは（ｊ）に示されるようにＨＩＧＨになる。
【００６２】
この有効情報と表示タイミング信号（図８（ｂ）及び（ｈ））とが、ＡＮＤ回路３２に供給され、ＡＮＤ回路３２の出力はダウンカウンタ３３のロード指示入力に供給される。従って、カウントがゼロになる度に、新しい値がダウンカウンタ３３にロードされる。
【００６３】
またゼロ検出回路３４の出力である有効情報は、図７（ｂ）の回路に供給されて、ユーザ等の指示によるユーザ停止指示信号と合成されて、図８（ｆ）及び（ｌ）に示すような、映像停止指示信号が得られる。
【００６４】
図７及び図８に示されるように、本発明においては、フィールド数情報が指示するフィールド数に応じて選択した値をダウンカウントして、このカウント値がゼロになるタイミングを検出することで、１フレームあたりのフィールド数に応じた時間間隔を計時することが出来る。この時間間隔に基づいて映像停止指示信号を生成するので、映像の一時停止動作時に、フィールド数情報が指示する２或いは３のフィールド数に対応した数だけフィールドを繰り返し表示することが可能になる。
【００６５】
図９は、２フィールドのフレームと３フィールドのフレームとが混在する場合の本発明によるスロー再生の様子を示す図である。
【００６６】
図９のスロー再生動作は、図７の回路で図８の映像停止指示信号を生成して、短期間の一時停止と再生とを繰り返すことでスロー再生を実行した場合を示す。図９に示されるように、映像信号は、２つのフィールド１Ｔ及び１Ｂよりなる第１のフレームと、３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレームと、２つのフィールド３Ｂ及び３Ｔよりなる第３のフレームと、３つのフィールド４Ｂ、４Ｔ、４Ｂよりなる第４のフレームと、２つのフィールド５Ｔ及び５Ｂよりなる第５のフレームを含む。
【００６７】
本発明に従ってスロー再生する場合には、２つのフィールド１Ｔ及び１Ｂよりなる第１のフレームを表示した後、一時停止して２つのフィールド１Ｔ及び１Ｂを繰り返す。次に、３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレームを表示した後に、一時停止して３つのフィールド２Ｔ、２Ｂ、２Ｔを繰り返す。次に、２つのフィールド３Ｂ及び３Ｔよりなる第３のフレームを表示した後、一時停止して２つのフィールド３Ｂ及び３Ｔを繰り返す。この時点で、スロー再生時の経過時間は、第１フレーム乃至第３フレームを通常再生で表示する際にかかる時間Ｔに対して、丁度その２倍の時間２Ｔだけ経過したことになる。
【００６８】
即ち、２倍のスロー再生を意図した場合に、実際にスロー再生時に経過する時間は正確に２倍となる。同様に、３倍のスロー再生を意図した場合には、実際にスロー再生時に経過する時間は正確に３倍となる。
【００６９】
なお上記説明された同期制御部１１、音声デコーダ１２、及び映像デコーダ１３は、回路として構成されてもよいし、ＤＳＰ（Digital Signal Processor）等でソフトウェア的に構成されてもよい。
【００７０】
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
【００７１】
【発明の効果】
上記発明においては、映像デコーダ及び音声デコーダへの再生停止を指示してから音声区切り情報が得られるまでの時間を計時しておき、映像デコーダへの再開指示（停止解除）タイミングからこの計時した時間間隔と同一の時間間隔だけ経過した後に、音声デコーダへの停止指示を解除する。このように、再生停止時には、映像出力停止から実際の音声出力停止までの時間を計測しておき、再生再開時には、映像出力再開からこの計測した時間と同一の時間間隔だけ経過した後に音声出力を再開することで、時刻情報の付与されていない音声データに対しても映像出力と音声出力との同期を維持することが可能となる。
【００７２】
また映像デコーダの映像出力停止期間に繰り返し表示するフィールド数を通常再生時のフィールド数と同一とすることで、スロー再生時の経過時間を通常再生時の経過時間の整数倍に設定することが可能になる。
【図面の簡単な説明】
【図１】データ符号化及び多重化の様子を示す図面である。
【図２】従来の一時停止と再生再開の様子を示す図である。
【図３】２フィールドのフレームと３フィールドのフレームとが混在する場合の従来のスロー再生の様子を示す図である。
【図４】本発明による音声・映像デコーダの構成を示すブロック図である。
【図５】同期制御部において映像出力停止から実際の音声出力停止までの時間を計測する回路の構成を示す回路図である。
【図６】図４及び図５の構成の動作を示すタイミング図である。
【図７】同期制御部において映像停止指示信号を生成する回路の構成を示す回路図である。
【図８】図７の回路の動作を説明するタイミング図である。
【図９】２フィールドのフレームと３フィールドのフレームとが混在する場合の本発明のスロー再生の様子を示す図である。
【符号の説明】
１０ 音声・映像デコーダ
１１ 同期制御部
１２ 音声デコーダ
１３ 映像デコーダ
１４ ＳＴＣカウンタ
Claims (10)
- 第１の時間単位で符号化された映像データを受け取り復号化して出力する映像デコーダと、
該第１の時間単位とは異なる第２の時間単位で符号化された音声データを受け取り復号化して出力する音声デコーダと、
該映像デコーダの映像出力と該音声デコーダの音声出力とを一時停止するときに該映像データの同期信号に同期して該映像デコーダに供給する映像停止信号の開始から該音声データの区切りを示す最初の信号までの時間間隔を計時し、該映像デコーダの映像出力と該音声デコーダの音声出力とを再開するときに該音声出力の再開を指示する時間を該映像停止信号の終了から該時間間隔分遅らせる同期制御部
を含むことを特徴とする映像・音声再生装置。 - 該第２の時間単位で符号化された音声データは、時刻情報が付与される符号化データと時刻情報が付与されない符号化データとが混在することを特徴とする請求項１記載の映像・音声再生装置。
- 該音声デコーダは、該第２の時間単位毎に出力する該音声データの区切りを示す区切り情報を該同期制御部に供給することを特徴とする請求項２記載の映像・音声再生装置。
- 該同期制御部は、
該映像デコーダへ映像出力停止を指示してから該音声出力が停止するまでの第１の期間を計時すると共に、該映像デコーダへ映像出力再開の指示に基づいて該第１の期間に等しい第２の期間を計時するカウンタと、
該映像デコーダへの映像出力停止の指示に基づいて該音声デコーダに音声出力停止を指示すると共に、該カウンタが該第２の期間を計時し終えると該音声デコーダへ音声出力再開を指示する手段
を含むことを特徴とする請求項３記載の映像・音声再生装置。 - 該カウンタは、該区切り情報によって該音声出力が停止するタイミングを検知することを特徴とする請求項４記載の映像・音声再生装置。
- 映像ストリームをデコードすることにより、該映像データの１フレームあたり何フィールドが含まれているかを示すフィールド数情報を取得し、該フィールド数情報に応じて、該映像デコーダの映像出力停止期間を調整することを特徴とする請求項１記載の映像・音声再生装置。
- 該映像デコーダの映像出力停止期間に繰り返し表示するフィールド数を、該フィールド数情報に応じて通常再生時のフィールド数の整数倍とすることを特徴とする請求項６記載の映像・音声再生装置。
- 第１の時間単位で符号化された映像データを映像デコーダにより受け取り復号化して出力し、
該第１の時間単位とは異なる第２の時間単位で符号化された音声データを音声デコーダにより受け取り復号化して出力し、
該映像出力と該音声出力とを一時停止するときに該映像データの同期信号に同期して該映像デコーダに供給する映像停止信号の開始から該音声データの区切りを示す最初の信号までの時間間隔を同期制御部により計時し、
該映像デコーダの映像出力と該音声デコーダの音声出力とを再開するときに該音声出力の再開を指示する時間を該映像停止信号の終了から該時間間隔分同期制御部により遅らせる
各段階を含むことを特徴とする映像・音声再生方法。 - 該音声デコーダが受け取る該第２の時間単位で符号化された音声データは、時刻情報が付与される符号化データと時刻情報が付与されない符号化データとが混在することを特徴とする請求項８記載の映像・音声再生方法。
- 第１の時間単位で符号化された映像データを映像デコーダが出力し、前記第１の時間単位とは異なる第２の時間単位で符号化された音声データを音声デコーダが出力する、映像・音声再生方法において、
前記映像データの出力と前記音声データの出力とを一時停止する際に、前記映像データの出力が停止してから前記音声データの出力が停止するまでの期間を、同期制御部が計時する工程と、
前記映像データの出力と前記音声データの出力とを再開する際に、前記映像データの出力が再開してから前記期間だけ遅れて、前記音声データの出力が再開するよう、前記同期制御部が前記音声デコーダを制御することを特徴とする映像・音声再生方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000163646A JP4035277B2 (ja) | 2000-05-31 | 2000-05-31 | 映像・音声再生装置及び映像・音声再生方法 |
| US09/810,497 US7027714B2 (en) | 2000-05-31 | 2001-03-19 | Apparatus for reproduction of video and audio with suspension function |
| EP01302712.3A EP1161095B1 (en) | 2000-05-31 | 2001-03-23 | Apparatus for reproduction of video and audio with suspension function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000163646A JP4035277B2 (ja) | 2000-05-31 | 2000-05-31 | 映像・音声再生装置及び映像・音声再生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001346147A JP2001346147A (ja) | 2001-12-14 |
| JP4035277B2 true JP4035277B2 (ja) | 2008-01-16 |
Family
ID=18667375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000163646A Expired - Lifetime JP4035277B2 (ja) | 2000-05-31 | 2000-05-31 | 映像・音声再生装置及び映像・音声再生方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7027714B2 (ja) |
| EP (1) | EP1161095B1 (ja) |
| JP (1) | JP4035277B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7088398B1 (en) * | 2001-12-24 | 2006-08-08 | Silicon Image, Inc. | Method and apparatus for regenerating a clock for auxiliary data transmitted over a serial link with video data |
| JP3833571B2 (ja) * | 2002-05-28 | 2006-10-11 | 富士通株式会社 | データ復号器およびデータ復号化方法 |
| JP4305065B2 (ja) * | 2003-06-12 | 2009-07-29 | ソニー株式会社 | Ａｖ同期処理装置および方法ならびにａｖ記録装置 |
| TW200531023A (en) * | 2004-03-12 | 2005-09-16 | Ali Corp | Method for rapid video synchronization adjustment |
| JP4613860B2 (ja) * | 2005-04-13 | 2011-01-19 | パナソニック株式会社 | Ｍｐｅｇ符号化ストリーム復号装置 |
| WO2009063572A1 (ja) * | 2007-11-16 | 2009-05-22 | Panasonic Corporation | 携帯端末装置及び映像出力方法 |
| JP2009180972A (ja) * | 2008-01-31 | 2009-08-13 | Panasonic Corp | オーディオレジューム再生装置及びオーディオレジューム再生方法 |
| GB2472992A (en) * | 2009-08-25 | 2011-03-02 | Zarlink Semiconductor Inc | Reduction of clicking sounds in audio data streams |
| US8966062B1 (en) * | 2012-01-31 | 2015-02-24 | Intuit Inc. | Method and system for synchronizing user access to information presented in two or more media formats |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5953485A (en) * | 1992-02-07 | 1999-09-14 | Abecassis; Max | Method and system for maintaining audio during video control |
| JP3255308B2 (ja) | 1992-12-18 | 2002-02-12 | ソニー株式会社 | データ再生装置 |
| US5815634A (en) * | 1994-09-30 | 1998-09-29 | Cirrus Logic, Inc. | Stream synchronization method and apparatus for MPEG playback system |
| JPH08107543A (ja) * | 1994-10-07 | 1996-04-23 | Sony Corp | 文字表示制御装置 |
| US5818634A (en) * | 1996-08-05 | 1998-10-06 | Motorola, Inc. | Dual mode optical Magnifier system |
| JP3491533B2 (ja) | 1998-07-24 | 2004-01-26 | ヤマハ株式会社 | ディジタルオーディオデータの再生方法及び装置 |
| US6654539B1 (en) * | 1998-10-26 | 2003-11-25 | Sony Corporation | Trick playback of digital video data |
-
2000
- 2000-05-31 JP JP2000163646A patent/JP4035277B2/ja not_active Expired - Lifetime
-
2001
- 2001-03-19 US US09/810,497 patent/US7027714B2/en active Active
- 2001-03-23 EP EP01302712.3A patent/EP1161095B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20010048808A1 (en) | 2001-12-06 |
| US7027714B2 (en) | 2006-04-11 |
| EP1161095B1 (en) | 2019-03-06 |
| EP1161095A3 (en) | 2002-07-31 |
| JP2001346147A (ja) | 2001-12-14 |
| EP1161095A2 (en) | 2001-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3094999B2 (ja) | オーディオ・ビデオ同期再生装置 | |
| JP5059301B2 (ja) | 同期再生装置および同期再生方法 | |
| JP2004297577A (ja) | 画像再生装置 | |
| US20060203296A1 (en) | Reproducing apparatus and method, and recording medium | |
| JPH06181564A (ja) | 多重化データ分離装置 | |
| JPH10208453A (ja) | クロックへ同期しているオーディオ・ビジュアルストリームの異なるクロックへ同期しているビデオディスプレイとの同期 | |
| JP4035277B2 (ja) | 映像・音声再生装置及び映像・音声再生方法 | |
| JP4439468B2 (ja) | データ処理装置 | |
| US20080044164A1 (en) | Data Processing Device, Data Processing Method, Program, Program Recording Medium, Data Recording Medium, and Data Structure | |
| US7359621B2 (en) | Recording apparatus | |
| KR20060099687A (ko) | 타임스탬프를 이용한 비디오 동기화 장치 및 방법 | |
| JP3100308B2 (ja) | 画像及び音声情報の再生システム | |
| EP1231791A2 (en) | Method and apparatus for synchronously reproducing audio and video data | |
| JP3833571B2 (ja) | データ復号器およびデータ復号化方法 | |
| WO2004086396A1 (en) | Reproducing apparatus and method, and recording medium | |
| JP3542976B2 (ja) | 圧縮符号化データ再生方法および装置 | |
| JP2008508766A (ja) | トリック再生中およびトリック再生後におけるグラフィックのアクセス性の改善 | |
| JP2008054159A (ja) | 映像音声多重化装置 | |
| JP2007081534A (ja) | 復号再生装置 | |
| JP4373654B2 (ja) | マルチメディア復号再生装置とその同期制御方法 | |
| JP2009218934A (ja) | 映像再生装置及び映像再生方法 | |
| WO2009090865A1 (ja) | 動画像データ復号再生装置及び動画像データ復号装置 | |
| CA2725179A1 (en) | Reproducing apparatus and method, and recording medium | |
| JP2001186529A (ja) | Ｍｐｅｇデコード回路並列駆動システム | |
| JP2008102974A (ja) | 同期再生装置の同期再生方法及び同期再生装置システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041105 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071029 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4035277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |