JP4319548B2 - ビデオ・トリック・モード再生中における音声番組の再生方法および装置 - Google Patents

ビデオ・トリック・モード再生中における音声番組の再生方法および装置 Download PDF

Info

Publication number
JP4319548B2
JP4319548B2 JP2003573868A JP2003573868A JP4319548B2 JP 4319548 B2 JP4319548 B2 JP 4319548B2 JP 2003573868 A JP2003573868 A JP 2003573868A JP 2003573868 A JP2003573868 A JP 2003573868A JP 4319548 B2 JP4319548 B2 JP 4319548B2
Authority
JP
Japan
Prior art keywords
audio
playback
video
mute
trick mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003573868A
Other languages
English (en)
Other versions
JP2005519537A (ja
JP2005519537A5 (ja
Inventor
リン ブレア,ロナルド
リン,シユー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2005519537A publication Critical patent/JP2005519537A/ja
Publication of JP2005519537A5 publication Critical patent/JP2005519537A5/ja
Application granted granted Critical
Publication of JP4319548B2 publication Critical patent/JP4319548B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

本発明は、改良されたトリック・モード再生(playback:プレイバック)に関し、特に、通常モード以外で再生されるビデオ・セグメントに関連する音声番組(音声プログラム)のトリック・モード再生における改良に関する。
DVDのトリック・モードでは、ディスク上の特定の場所を検索するために、或いは通常の速度では見損なわれるクリップ(場面)の細部を見るために、再生を加速または減速する。慣例として、通常の再生速度は1倍(1X)として表される。音声(audio:オーディオ)と映像(video:ビデオ)のトリック・モード(trick mode)再生が可能であり、何れも市販のDVDプレーヤで見ることができる。しかしながら、高速(fast:ファスト)または低速(slow:スロー)で音声を再生する従来の方法には問題がある。現在入手可能な製品に使用されているディジタル信号処理装置(DSP)、特にディジタル音声信号処理装置の進歩は、改良された音声トリック・モードのための、より高性能なリアルタイム処理の可能性を生み出している。
ビデオ・トリック・モードに関する1つの問題は、再生映像セグメントに対応する音声の処理に関する。例えば、表示される映像セグメントを、加速または減速して再生するとき、それに対応して再生される音声セグメントに歪みを生じることがある。一般に、トリック・モードでの再生中、音声セグメントにおける音声サンプルは、比較的高い周波数に移行され、低速トリック・モードの間、比較的低い周波数に移行される。通常の再生速度と比較して、約1.5倍〜3倍の高速トリック・モードでは、人間の会話を比較的高いピッチ(音程)で聞こえる傾向がある。この比較的高いピッチで再生される音声(チップマンク効果)は煩わしく、多くの場合、視聴者には理解できない。逆に、遅い周波数でのトリック・モード再生は、低周波の震え(wobble)を生じ、理解はできるが、聞き苦しい。
ビデオ・トリック・モードの間に、極めて有効な音声再生を得るために、トリック・モードの性質を考察することも必要である。例えば、1.5X(倍)または2X(倍)のトリック・モードの場合、明瞭な音声を生じる種々の技術を利用することは可能であるが、このような技術は、トリック・モードが5X(倍)または10X(倍)での再生となると、不満足な結果を与える。このような高速再生モードで、映像と同期して音声のサウンドトラックを再生しようとすると、非常に高速で言葉を言い表す必要があるので、会話が分からなくなる。DVDトリック・モードに起因する、種々のタイプの音声のアーティファクトが聞きとれないようにするために、従来のDVDプレーヤはしばしば、ビデオ・トリック・モードの間、音声を消去する(消音する)。しかしながら、これは完全に満足のゆく解決法ではない。このようなモードでは、音声に興味が持たれる場合があるからである。従って、従来技術による限界を解決すると共に、ビデオ・トリック・モードの間、DVDプレーヤが音声を望ましく且つ聞き心地よく再生できるならば、有利である。
(発明の概要)
本発明は、高速前進(fast forward:ファスト・フォワード、早送り)ビデオ・トリック・モードでのビデオ・プレゼンテーションの再生の間、音声番組を再生する方法と装置に関する。この方法では、ビデオ・プレゼンテーション用の符号化ディジタル・データ(映像フレームとそれに対応する音声フレームとから成る)を記憶媒体から読み出し、音声フレームの選択されたブロックを周期的に削除し、そして音声再生のために残存するブロックの少なくとも一部を選択する。音声再生用の残存するブロック間を区切るために、連続するブロック間に消音期間が挿入される。このシステムでは、消音期間と音声再生用の残存するブロックに対応する音声再生信号を発生する。理解度を高めるために、ビデオ・トリック・モードの再生速度に関係なく、音声再生用の残存するブロックの再生は、約1X(倍)〜1.5X(倍)の速度で実行することが有利である。消音期間は、音声再生用の選択された連続するブロック間を視聴者が区別可能な充分な長さに選択され、例えば、約100〜500ミリ秒が好適である。消音期間が、これより短いと、連続する音声ブロック間の分離個所を感知することが困難となる。消音期間が、これより長いと、過度に長い無音時間(dead−air time:デッド・エアタイム、沈黙時間)を生じ、このとき視聴者は音声情報を全く受け取っていない。消音期間を挿入するには、音声再生用の残存するブロック(セット)の一部を消音(mute:ミュート)するか、または消音を発生するようにそれぞれ符号化された複数の音声フレームを挿入する。音声フレームの選択されたブロックの周期的削除、音声再生用の残存するブロックの選択、および消音期間の挿入は、ビデオ・トリック・モードの選択された速度に対応する速度で実行される。しかしながら、音声再生用の残存するブロックを再生する時間は、その残存するブロックが本来関連していたビデオ・プレゼンテーションの対応する部分の再生を超えて延長することができる。
記憶媒体は、DVD、磁気ハードディスク、ビデオCD、および半導体メモリ・デバイスから成るグループから選択することができる。符号化されたディジタル・データは、MPEG形式が好ましく、その場合、読出しステップは更に、音声サンプルを得るために、MPEG形式のビット・ストリームを復号化するステップを含んでいる。
本発明は、あらゆるディジタル・データ記憶媒体に記録される、あらゆるタイプのディジタル・ビデオについて、ビデオ・トリック・モードの間、音声番組の正常な再生のために使用することができる。便宜上、本発明は従来のMPEG−1形式またはMPEG−2形式を利用するDVDメディアに関連して説明する。しかしながら、当業者は、本発明がこれに限定されないことを理解するであろう。ディジタル・データの記憶媒体には、相当な量のディジタル・データを、その後の検索および再生のために記憶することのできるあらゆるメディア(媒体)が含まれる。本明細書中で使用される記憶媒体(storage media)には、データを記憶するための光学的、磁気的および電子的手段が含まれるが、これらに限定されない。ディジタル記憶媒体には、光学DVDディスク、光磁気ディスク、磁気ハードディスク、ビデオCD、通常のCD、或いはDRAMまたはシンクロナスDRAM(SDRAM)のような半導体メモリが含まれる。
符号化ディジタル・データをディジタル・データ記憶媒体から読み出すために記憶媒体読取り装置が備えられる。図1は、本発明が実施される、例示的DVDプレーヤのブロック図である。装置100は、記憶されたデータをディジタル記憶媒体から読み出す性能を有する。図1に関して述べると、記憶媒体ディスク102は、書換え可能な(re−writable:リライタブル)DVDである。装置100は機械的組立て構体104、制御部120、および音声/映像(A/V)出力処理部170を含んでいる。異なるセクションへの大多数のブロックの配置は自明であり、幾つかのブロックの配置は、便宜を目的として行われ、装置100の動作を理解するのに決定的なものではない。重要なことに、もしディジタル・データ記憶媒体が半導体装置であったならば、本発明を実行するのに機械的組立て構体104は、必要でないことが認められる。この場合、ディジタル記憶媒体に記憶された符号化ディジタル・データは、制御装置CPU122により直接的にアクセスされ、トラック・バッファ(track buffer)172でバッファ(一時記憶)される。
機械的組立て構体104には、ディスク102を回転させるモータ106、および回転するディスク102上を移動するピックアップ108が含まれる。ピックアップ108に取り付けられる、或いはピックアップ108に関連するレーザは、トラック上に記憶されたデータを照射し、映像/音声番組データを再生する。本発明を理解する目的で、ディスクが記録可能なタイプであるかどうかは関係がない。ピックアップ108に関連するレーザおよびモータ106は、サーボ110で制御される。また、サーボ110は、DVDディスク102上の螺旋状トラックから読み出されるデータを表す入力再生信号を受信するように構成される。この再生(プレイバック)信号は、誤り訂正回路130への入力ともなる。誤り訂正回路130は、制御部120の一部として、或いはA/V出力処理部170の一部として考えられる。
制御部120には、中央制御処理ユニット(CPU)122が含まれる。サーボ110も、制御部120の一部と考えられる。CPU122で実行される従来の動作のために適当なソフトウェアまたはファームウェアをメモリ内に備えることができる。本明細書中で説明される、有利な特徴(advanced features)のためのプログラム・ルーチンをCPU122のために備えることができる。
視聴者が起動できる諸機能のための制御バッファ132は、現在使用できるそれらの機能(即ち、再生(play:プレイ)、逆進(reverse:巻き戻し)、高速前進(fast forwared:高速再生)、低速再生(slow play:スロー再生)、休止(pause:ポーズ)/再生および停止(stop:ストップ))を表示するように構成される。休止(一時停止)機能は、大抵のVCR(ビデオカセット・レコーダ)に見られる休止機能に似ている。この休止機能は、宣伝・広告や予告編(trailer)などのような望まれないセグメント(segment:部分)を再生から除去するために、予め録画されたプレゼンテーションの再生を手動で中断できる性能を有する。有利な特徴(バッファ)136は、他の有利な再生機能(本明細書中で説明するトリック・モードの制御を含む)を実施するために備えられる。再生トリック・モードには、標準的な1倍(1X)の再生速度以外の速度での前進および逆進(巻き戻し)が含まれる。出力処理部170は、誤り訂正ブロック130およびトラック・バッファまたは出力バッファ172を備え、ディスクから読み出されたデータはバッファに記憶され、パケットに組み立てられ、更に処理される。これらのパケットは、条件付きアクセス(限定受信)回路174で処理され、回路174は、デマルチプレクサ176を介して、映像/音声処理用のそれぞれの経路の中へ伝送するパケットを制御する。映像は、デコーダ178で、例えば、MPEG−1形式またはMPEG−2形式から復号化され、標準化テレビジョン(TV)信号形式(ATSC、NTSC、SECAM、またはPALなど)で符号化される。音声は、例えば、MPEG−1形式またはMPEG−2形式から、デコーダ182で復号化され、ディジタル・アナログ(D/A)変換器184でアナログ形式に変換され、音声D/A184は、音声デコーダ182から受信されたディジタル音声を処理して、アナログ出力信号を発生する。
音声デコーダ182は、復号化する前に音声フレームを一時的に記憶するフレーム・バッファを含むことが好ましい。音声デコーダ182の動作は、CPU122で制御される。従って、CPU122は、音声デコーダの動作を制御できるので、音声デコーダは、フレームを選択的に削除し、或るフレームについて音声を消し、音声の無いフレームを挿入し、そして、CPU122が指定する選択されたフレームだけを復号化する。これらの動作は、音声デコーダ182で実行される。しかしながら、理解されるように、本発明は、これに限定されず、音声フレームのこのような処理は、音声デコーダ182の前後に挿入される他の処理要素により処理することができる。最後に、このような処理は、適当なシステム通信バス(例えば、バス181)から供給される通信によりCPUで直接実行することができる。一般に、これに関して必要なものは、音声フレーム・バッファと、以下に詳細に述べる有利な方法に従って再生/削除/消音されるフレームを選択的に除去/変更できる能力である。
図2は、装置100のようなメディア・プレーヤで実行される、本発明の構成を理解するのに役立つフローチャート(流れ図)である。逆進(巻き戻し)トリック・モードにおける音声の再生は、一般に必要ではないので、図2に示すプロセスは、高速前進(早送り)再生に関して説明される。しかしながら、本発明は、これに限定されない。本明細書中で述べる発明的構成は、図2に説明するものと同様な技術を使用して逆進再生トリック・モードにも適用することができる。
図2に関して述べると、このプロセスはステップ200で始まり、装置100は再生モードで動作される。ステップ200で、再生(プレイバック)モードの間、符号化されたディジタル・データは、DVD記憶媒体102から読み出される。ステップ205で、制御装置CPU122は、有利な特徴(バッファ)136からのユーザの入力をモニタすることができる。ステップ210で、CPU122は、トリック・モード(例えば、高速前進再生)が選択されたかどうか確かめる。もしステップ210で、トリック・モードが選択されていなければ、CPU122は、ステップ200の処理に戻り、装置100は、DVD記憶媒体102から、符号化ディジタル・データを読み続ける。トリック・モードが選択されると、CPU122は、トリック・モードでの音声再生のためにステップ212〜224に進む。
CPU122は、ユーザのコマンド(例えば、+2倍(2X))を与えたので、トリック・モードの速度はステップ212で分かる。従って、必要とされる音声削除の総量は、トリック再生速度の逆数と等しく、この場合、1/2となる。即ち、音声データの半分は復号化されないことになる。ステップ214で、CPU122は、削除/再生/消音されるべき音声データ(TVフレームとして定量化される期間を有する)の有利なシーケンス(手順)を選択/計算して、復号化のために必要とされる音声データの量または期間が得られ、この例では、再生データの1/2となる。この比率が計算されると、プロセスは、ステップ215に進み、映像フレームとそれに対応する音声データのフレームとから成る次のセット(一組)の符号化ディジタル・データを読み出す。1フレームは、約1/30秒の期間を有するビデオ・フレームである。サンプリング周波数48kHzを有するディジタル音声システムの場合、TVの1フレーム期間(1/30秒)に約1600の音声サンプルを生じる。しかしながら、本発明はそれに限定されず、本発明の範囲内で他のフレーム周波数を使用することもできる。以下の音声処理ステップは、CPU122により直接実行され、或いはプレーヤ100内に備えられる現存するバッファおよびディジタル音声処理回路を利用して実行することができる。例えば、この目的のために、音声デコーダ182をCPU122の制御の下で使用することができる。
何れにしても、ステップ216で、記憶媒体から読み出された符号化ディジタル・データに対応する音声フレームのブロックは、削除(dropped)/再生(played)/消音(silenced)される音声データのフレーム期間の比率(ステップ214で計算された)に従って選択的に処理される。この選択的処理は、ステップ214で決定された処理のタイプを表示する指標フラグまたはヘッダを添付して行われる。これらの表示フラグ/ヘッダは、選択的処理の間、除去される。従って、ステップ216で、削除するためにフラグを付けられ或いは選択された音声フレームは削除され、そのデータ・ストリームから読み出されず、引き出されない。ステップ218で、残存するセットの音声フレームのうち少なくとも一部は、ステップ214で決定された比率に従って再生および消音するためにフラグを付けられる。更に、ステップ220で、指定され或いはフラグを付けられたフレームのうち選択された一部は消音される。
再生音声は、音声データを消すことにより消音される。例えば、ディジタル/アナログ(D/A)変換に関して、例えば、5フレーム(約166ミリ秒)の映像フレーム期間の間、ディジタル/アナログ変換は禁止され、音声出力は、消音される。このような消音方法は、不要な過渡的歪みの発生を避けるために慎重な実施を要する。或いは、再生用の音声データのうちの選択されたデータを消すことにより、消音を表す音声データは、再生データ・ストリームの中にスイッチされ、必要とされるTVフレーム期間と共に、ステップ214で決定されるような消音期間を生じる。復号化された音声を得るために他の技術を使用することもでき、例えば、必要とされる消音期間はメモリ内に予め記憶され、適宜読み出される。これを行うために、ステップ214に従ってメモリ読出しポインタのリダイレクトの宛先が、バッファされた再生音声ストリームから、記憶された消音期間に変えられる。別の構成では、消音されるべき音声データは「非音声(non−audio)」とマークされ、従って、A/D変換器で無視する。しかしながら、この消音方法は、後続の音声処理段における不要な過渡的音声歪みの発生を避けるために慎重な実施を要する。更に別の構成において、A/D変換器の入力において全てゼロ値にすることにより、消音を得られる。不要な過渡的音声が避けられ、且つ消音期間がステップ214で決定された削除/再生/消音されたフレーム期間の比率と一致するならば、ステップ220で、いかなる消音のオプションも使用することができる。
ステップ220で、選択されたフレームを消音する決定がなされると、選択された音声フレームのブロック内の連続する音声データを消すために、CPUは、消音アルゴリズムを実行する。消音は前述したように、或いは当技術分野で知られているアルゴリズムで達成され、必要に応じてソフトウェアまたはファームウェアで実施することができる。
ステップ222で、トリック・モードの音声再生信号がCPU122で発生される。発生された音声再生信号は、ステップ216の後に残存する音声データのセット(組)から成り、消音された全ての音声フレームを含んでいる。音声デコーダ182は音声フレームのブロックを連結することができる。この音声フレームのブロックの中には、音声/消音を表すデータの残存するセットが入っており、これより、トリック・モードの間、音声再生信号が形成される。
ステップ222の音声再生信号の発生に続き、ステップ224でテストを行い、トリック・モードを終了させてステップ210に戻るか、それともトリック・モード(例えば、高速前進再生速度)を継続して、ステップ215〜222を繰り返すかどうかを決定する。
映像フレームの処理は、TVフレーム・サイズの音声データ・セットの処理と同時に実行することができる。CPU122は、n倍(nX)の速度でトリック・モードの映像再生を実行するようにパケット・ビデオ・デコーダ178を構成することができる。n倍(nX)は、通常の再生速度1倍(1X)に対し選択されたトリック・モード再生速度である。再生速度が通常速度の2倍であれば、n=2である。通常よりも速い速度で映像再生を行うようにパケット・デコーダ178を種々の方法で構成することができる。例えば、パケット・ビデオ・デコーダ178を、復号化された或る映像フレームを削除するように構成することができる。例えば、再生速度を2倍(2X)にするために、映像フレームを一つおきに削除することができる。映像再生速度を変更するために他の方法を使用することもできる。本発明は、通常よりも早い映像再生を実行する特定の方法に限定されない。図2の例示的ステップおよび図2に示すシーケンスは、本発明の範囲を制限するものでないことが、当業者に認識されるべきである。従って、本発明の精神から離脱することなく他のシーケンスのステップも可能である。例えば、ステップ216に先立ち、ステップ218、220および222を実行することもできる。
図3は、本発明の構成によるTVフレーム期間の音声データ・セットの挿入と削除を理解するのに役立つブロック図である。図3は、4つの図(図3のa、図3のb、図3のc、図3のd)を含んでいる。図3のaは、30フレーム毎秒(fps:frame per second)のTVフレーム周波数で8秒間の連続する音声データ・ブロックの境界を示す。連続する各対の境界(例えば、302、304)は、TVの30フレーム(1秒間)の期間を有する音声データのセット(ブロック)の開始と終了を表す。音声データはセット(組)にしてに配置され、各セットは、30フレームの期間を有するデータを含んでおり、セット#1〜セット#8の番号がつけられている。TVのフレーム周波数は、理解を容易にするためのタイムベース(時間基準)として使用され、各セットに配列されたフレームとその番号づけは、本発明を限定するものではなく、単に理解の助けとして与えられている。図3のb、図3のcおよび図3のdで、フレームの境界とセットは、図3のaに示すものと一直線上に整列されている。
図3のbは、2倍(2X)のビデオ・トリック・モードに伴う再生用の音声フレームのシーケンスを例示する。図3のbは、再生/削除/消音されたフレームを得るための1つの可能な構成を示す。例えば、セット#1における最初の連続する25フレームの期間は再生用に保持され、残りの期間である5フレームは、前述した方法の何れかにより消音される。セット#2において、次の期間である30フレーム(先行する5つの消音されたフレームと接触している)は削除される。即ち、セット#2におけるフレームは全て削除される。セット#3における最初の連続する25フレームの期間の間、音声データは再生用に保持され、セット#3の残りの5フレームは消される。次の期間であるセット#4の30フレーム(セット#3の消音された5フレームと接触している)は削除される。セット#5で、最初の25の連続するフレームの音声データは、再生用にマークされ、セット#5の残りの5フレームは消音される。セット#6で、30フレーム(セット#5の5つの無音フレームと接触している)は全て削除される。セット#7における最初の25フレームの期間の間、音声データは再生用にマークされ、残りの5フレーム期間は消音される。セット#8で、全ての音声データは30フレームの期間の間、削除される。トリック・モードでの音声の再生は、残存しているフレーム(再生される音声データおよび消音された音声データから成る)を連結することにより形成される。従って、音声データ・ストリームには、セット#1、セット#3、セット#5、およびセット#7が含まれる。これは、25−5−30シーケンスと呼ばれ、25フレームが保持され、次の連続する5フレームは消音され、次の連続する30フレームは削除される。再生され/消音され/削除されるフレームの比率は5:1:6である。従って、2倍(2X)の映像再生では、25−5−30シーケンスは1倍(1X)の音声再生速度となり、連続する音声データ・ブロック間に166ミリ秒のギャップ(無音期間)を有する。本発明の音声処理シーケンスは、有効再生速度1倍(1X)を有する再生音声信号を生じ、且つコンテンツ(音声内容)の周波数のピッチ(音程)が変化しないので有利である。
2倍(2X)の例において、有効再生速度1倍(1X)を有する再生音声信号は、音声サンプルの50%を削除し、そして残存する音声データを連結することにより形成される。データの連結は、その結果生じる音声信号の明瞭度を妨げる。従って、音声が混合するのを防止するために再生音声のサンプル間に無音/消音期間を挿入することは有利である。隣接する音声ブロック間に充分なギャップ/区切りを備えるために、少なくとも約100ミリ秒の無音(消音)が好ましいことが判明している。これらの無音期間により、視聴者は話し言葉のブロックを別個に区別することができる。これよりも長い消音期間も可能であるが、消音期間が500ミリ秒以上になると一般に消音量が過度になり、視聴者に精神的に不必要な音響疲労を生じる。
図3のbに示す音声セグメントは、本発明により可能な構成の一例である。しかしながら、図3のbの音声期間の再生/消音/削除シーケンス(25−5−30)では、比較的短期間の再生音声から、切り詰められた言葉または無意味な言葉が生じることが判明している。図3のcは、明瞭度の高められた1倍(1X)の音声再生速度をもたらすために、本発明の構成によりフレームのブロックを配列する更なる実施例を示す。有利なことに、図3のcに示す音声シーケンスは、連続する比較的長い再生音声の期間に短い消音期間を挿入して区切ることにより、無意味な言葉の発生を排除する。
図3のcについて、セット#1の30フレームの間に生じる全ての音声データは保持される。セット#2において、最初の25フレーム期間に生じる音声は保持され、残りの連続する5フレームは消音される。セット#3とセット#4の30フレームの間に生じる全ての音声は削除される。セット#5における30フレーム期間内の全ての音声は保持される。セット#6で、最初の25フレーム期間内の音声は保持され、残りの連続する5フレームの期間に存在する音声は消されている。セット#7とセット#8におけるフレームの期間の間に生じる全ての音声は削除される。このようにして、残存しているフレーム(セット#1、セット#2、セット#5、セット#6を含む)を連結することにより、トリック・モードを発生できる。この消音と削除のシーケンスは、55−5−60シーケンスと呼ばれる。この場合、55フレームの音声期間が保持され、次の連続する5フレームに相当する音声は消され、次の連続する60フレーム期間の間の音声は削除される。従って、図3のcの音声処理シーケンス(55−5−60)は、2倍(2X)の映像トリック・モードの間、1倍(1X)の音声再生速度を生じ、前述のように、音声内容のピッチ(音程)は、通常の再生速度で生じるものとほとんど変わらない。
図3のdは、3倍(3X)ビデオ・トリック・モードからの音声再生を容易にするために、本発明の構成により、選択された音声データ・ブロックを配列する更なる実施例を示す。有利なことに、図3のdの構成も、切り詰められた無意味な言葉の発生を除去するのに役立つ。図3のdについて、セット#1の全ての30フレームの間に存在する音声データは、保持される。セット#2において、最初の25フレームの間の音声は保持され、残りの連続する5フレームに生じる音声は消される。セット#3、#4、#5、#6のフレーム期間の間に存在する音声データは削除される。セット#7の全フレームについて音声は保持される。セット#8で、最初の25フレームの間に存在する音声は保持され、残りの連続する5フレーム内に存在する音声は消される。図3のdに示されていないが、次の連続する4セットの各30フレームは削除される。トリック・モードでの音声の再生は、残存している音声データ・セグメント(セット#1、セット#2、セット#7、セット#8に存在するものを含む)を連結することにより形成する。この選択シーケンスは、55−5−120シーケンスと称され、55フレーム期間を有する音声が保持され、次の連続する5フレーム間の音声データは消され、次の連続する120フレームの期間の間、音声データは削除される。注目すべきことに、3倍(3X)映像再生において、この55−5−120シーケンスは、ビデオ・トリック・モードの間、1倍(1X)の音声再生を生じる。この場合、音声内容のピッチ(音程)は、実質的に変更されない。
当業者は、本発明の精神から脱することなく他のシーケンスも可能であることを理解できよう。重要なことに、時間の基準として30フレーム毎秒(fps)の使用は、本発明をいかに実施すべきかを当業者に伝えることを意図するものであって、本発明の範囲を制限するものではない。更に、他のTVフレーム周波数も存在し、例えば、種々のATSC標準では、公称フレーム周波数60fpsが使用され、フレーム周波数25fpsが使用されている国もあり、本発明の構成が等しく利用することができる。
音声フレームの有利な削除と消音は、映像のトリック・モードの間、1倍(1X)の音声再生を生じる。従って、その結果生じる音声はビデオ内容と密接な時間的関係を維持すると共に、最初のリップ・シンク(lip sync:映像と音声の同期)状態と所定の最大量のスリップ・シンク(slipped syncing:同期ずれ)との間を循環する。従って、この有利な構成は、再生速度の音声配信に実質的に正常なピッチを与えると同時に、より高速のトリック再生番組配信と循環的なまたは密接な周期的関係を維持する。この発明的な音声シーケンス制御は、処理能力の制限されているアプリケーションにおいて著しく重要である。
注目すべきことに、本発明は、ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組合せとして実現することができる。本発明による機械で読取り可能な記憶装置が、1つのコンピュータ・システム(例えば、CPU122)における中央集中方式で、或いは相互に接続された数台のコンピュータ・システムに種々異なる要素が分散される分配方式で実現することができる。あらゆるタイプのコンピュータ・システム、或いは本明細書中で説明した方法を実行するように考案された他の装置が受け入れられる。
本発明は図1のCPU122を考慮に入れるが、ハードウェアとソフトウェアの典型的な組合せは汎用のコンピュータ・システムであって、ロードされ実行されるとコンピュータ・システムを制御するコンピュータ・プログラム、および図1に示すのと同様なDVDプレーヤ・システムを備え、本明細書中で説明した方法を実行する。また、本発明は、本明細書中で説明した方法の実行を可能にするあらゆる特徴を備え、且つコンピュータ・システム内にロードされると、これらの方法を実行できるコンピュータ・プログラム内に組み込まれる。
これに関連するコンピュータ・プログラムは、情報処理能力を有するシステムが、直接的に、または(a)アナログ言語、コードまたは表記法への変換、および/または(b)異なる具体的な形式での再生の後に、特定の機能を実行できるようにさせる一組のインストラクション(命令)を、あらゆる言語、コードまたは表記法で表現できることを意味する。
本発明の構成に従い1つ以上の有利な機能を備えることのできるDVD装置のブロック図である。 図1の装置100のようなメディア・プレーヤにおいて実施される、本発明の構成を理解するのに役立つフローチャートである。 本発明の構成に従う、フレームの挿入および削除を理解するのに役立つ例示的ブロック図である。

Claims (20)

  1. ビデオ・トリック・モードでのビデオ・プレゼンテーションの再生の間、音声番組を再生する方法であって、
    映像フレームとそれに対応する音声フレームとから成る、符号化されたディジタル・データを読み出すステップと、
    前記音声フレームの選択されたブロックを周期的に削除するステップと、
    音声再生用の信号を形成するために前記削除するステップ後に残存する少なくとも幾つかのブロックの間に消音期間を挿入するステップと、
    から成る、前記方法。
  2. 1倍〜1.5倍の音声再生速度を維持するために、前記音声フレームのブロックを選択的に削除し、前記削除するステップ後に残存する少なくともいくつかのブロックの間に消音期間を挿入する、請求項1記載の方法。
  3. ビデオ・トリック・モード再生速度に対し1倍の音声再生速度を得るために、前記音声フレームのブロックを選択的に削除し、前記削除するステップ後に残存する少なくともいくつかのブロックの間に消音期間を挿入する、請求項1記載の方法。
  4. 前記挿入するステップが、音声再生のために前記残存するブロックの一部を消音すること、および消音を表すように符号化された複数の音声フレームを挿入することの少なくとも1つにより前記消音期間を選択するステップを含む、請求項1記載の方法。
  5. 前記挿入するステップが、前記消音期間の間、音声再生のために消音に対応する音声再生信号を発生するステップを更に含む、請求項1記載の方法。
  6. 前記挿入するステップが、前記ビデオ・トリック・モードの選択された速度による音声再生のために前記残存するブロックを選択するステップを含む、請求項1記載の方法。
  7. 前記挿入するステップが、所定の長さの前記消音期間を選択するステップを含む、請求項1記載の方法。
  8. 前記挿入するステップで選択された前記消音期間が、少なくとも100ミリ秒の長さを有する、請求項7記載の方法。
  9. 前記読み出すステップの前記記憶媒体が、DVD、磁気光学ディスク、磁気ハードディスク、ビデオCDおよび半導体メモリ・デバイスから成る群から選択される、請求項1記載の方法。
  10. 前記読み出すステップの前記符号化ディジタル・データが、MPEG形式を有し、前記読み出すステップが更に、音声サンプルを得るためにMPEG形式のビット・ストリームを復号化するステップを含む、請求項1記載の方法。
  11. 映像番組のビデオ・トリック・モードでの再生に伴う音声内容を再生する装置であって、
    映像フレームとそれに対応する音声データを表す符号化ディジタル・データを記憶媒体から読み出す記憶媒体読取り装置と、
    周期的に削除される前記対応する音声データのブロックを選択すると共に、音声再生のために残存する前記ブロックの少なくとも一部を選択し、音声再生用の前記残存するブロック間に消音期間を制御可能に挿入する制御プロセッサと、
    から成る、前記音声内容再生装置。
  12. 前記制御プロセッサが、前記ビデオ・トリック・モードの再生速度によらず、1倍〜1.5倍の速度で音声再生用に残存する前記ブロックの一部を選択する、請求項11記載の装置。
  13. 前記制御プロセッサにより挿入された前記消音期間が、音声再生用の前記残存するブロックの少なくとも一部を消音すること、および消音を表す音声データを挿入することの少なくとも1つにより形成される、請求項11記載の装置。
  14. 音声デコーダと音声ディジタル/アナログ変換器とを更に含み、前記消音期間と音声再生用の前記残存するブロックに対応する音声再生信号を発生する、請求項11記載の装置。
  15. 前記制御プロセッサが、前記ビデオ・トリック・モードの選択された速度に従って前記対応する音声データの前記周期的削除を制御する、請求項11記載の装置。
  16. 消音を表す音声データの入っている場所を含む記憶媒体を含む、請求項15記載の装置であって、前記制御プロセッサは、音声再生用の前記残存するブロックと組み合わせるために所定の期間の間、消音を表す音声データの入っている前記記憶媒体の場所の読出しを制御する、前記請求項15記載の装置。
  17. 前記消音期間が、100〜300ミリ秒の長さを有する請求項11記載の装置。
  18. 前記記憶媒体が、DVD、磁気光学ディスク、磁気ハードディスク、ビデオCDおよび半導体メモリ・デバイスから成る群から選択される、請求項11記載の装置。
  19. 前記符号化ディジタル・データが、MPEG形式であり、前記記憶媒体読取り装置が、MPEG形式のビット・ストリーム用のデコーダを備える、請求項11記載の装置。
  20. ビデオ・トリック・モードでのビデオ・プレゼンテーションの再生の間、音声番組を再生する方法であって、
    映像フレームおよびそれと対応する音声データから成る、符号化ディジタル・データを記憶媒体から読み出すステップと、
    前記音声データの選択されたブロックを周期的に削除するステップと、
    音声再生用の残存するブロックの少なくとも一部を選択するステップと、
    音声再生のために前記残存するブロック間に消音を表す音声データを挿入するステップと、
    から成る、前記方法。
JP2003573868A 2002-03-01 2003-02-21 ビデオ・トリック・モード再生中における音声番組の再生方法および装置 Expired - Fee Related JP4319548B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/086,984 US7130528B2 (en) 2002-03-01 2002-03-01 Audio data deletion and silencing during trick mode replay
PCT/US2003/005468 WO2003075563A1 (en) 2002-03-01 2003-02-21 Audio data deletion and silencing during trick mode replay

Publications (3)

Publication Number Publication Date
JP2005519537A JP2005519537A (ja) 2005-06-30
JP2005519537A5 JP2005519537A5 (ja) 2006-04-06
JP4319548B2 true JP4319548B2 (ja) 2009-08-26

Family

ID=27787517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003573868A Expired - Fee Related JP4319548B2 (ja) 2002-03-01 2003-02-21 ビデオ・トリック・モード再生中における音声番組の再生方法および装置

Country Status (11)

Country Link
US (1) US7130528B2 (ja)
EP (1) EP1497984A4 (ja)
JP (1) JP4319548B2 (ja)
KR (1) KR100933618B1 (ja)
CN (1) CN100429941C (ja)
AU (1) AU2003217666A1 (ja)
MX (1) MXPA04008425A (ja)
MY (1) MY138991A (ja)
PL (1) PL372272A1 (ja)
TW (1) TWI240248B (ja)
WO (1) WO2003075563A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0872120A1 (en) 1995-03-07 1998-10-21 Interval Research Corporation System and method for selective recording of information
US6263507B1 (en) 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US7155735B1 (en) * 1999-10-08 2006-12-26 Vulcan Patents Llc System and method for the broadcast dissemination of time-ordered data
US6757682B1 (en) 2000-01-28 2004-06-29 Interval Research Corporation Alerting users to items of current interest
US7844464B2 (en) * 2005-07-22 2010-11-30 Multimodal Technologies, Inc. Content-based audio playback emphasis
JP2006243128A (ja) * 2005-03-01 2006-09-14 Matsushita Electric Ind Co Ltd 再生装置及び再生方法
KR100632509B1 (ko) * 2005-05-16 2006-10-09 엘지전자 주식회사 동영상 재생 단말기의 오디오 비디오 동기화 방법
US20070019931A1 (en) * 2005-07-19 2007-01-25 Texas Instruments Incorporated Systems and methods for re-synchronizing video and audio data
US8295684B2 (en) * 2007-10-08 2012-10-23 Sony Computer Entertainment America Inc. Method and system for scaling content for playback with variable duration
KR101692097B1 (ko) 2010-03-31 2017-01-02 톰슨 라이센싱 비디오 데이터의 트릭 재생
JP5146503B2 (ja) * 2010-09-06 2013-02-20 カシオ計算機株式会社 動画処理装置、動画再生装置、動画処理方法、動画再生方法及びプログラム
EP2617191A1 (en) * 2010-09-17 2013-07-24 Thomson Licensing Method for semantics based trick mode play in video system
US8472783B2 (en) * 2010-11-30 2013-06-25 Echostar Technologies L.L.C. Systems and methods for digital video high accuracy fast forward, rewind and skip
US9942593B2 (en) * 2011-02-10 2018-04-10 Intel Corporation Producing decoded audio at graphics engine of host processing platform
US9054920B2 (en) * 2011-03-31 2015-06-09 Alcatel Lucent Managing data file transmission
EP2568471A1 (en) * 2011-09-12 2013-03-13 Alcatel Lucent A method for playing multimedia content, a related system and related playback module
JP5854208B2 (ja) * 2011-11-28 2016-02-09 日本電気株式会社 多段高速再生のための映像コンテンツ生成方法
CN104113778B (zh) * 2014-08-01 2018-04-03 广州猎豹网络科技有限公司 一种视频流解码方法及装置
CN110164483B (zh) 2014-10-03 2021-03-02 杜比国际公司 渲染音频节目的方法和系统
US9949027B2 (en) * 2016-03-31 2018-04-17 Qualcomm Incorporated Systems and methods for handling silence in audio streams
EP3382706A1 (en) * 2017-03-28 2018-10-03 Advanced Digital Broadcast S.A. System and method for audio/video trick modes
US10726851B2 (en) * 2017-08-31 2020-07-28 Sony Interactive Entertainment Inc. Low latency audio stream acceleration by selectively dropping and blending audio blocks
CN109376266A (zh) * 2018-09-18 2019-02-22 北京小米移动软件有限公司 慢动作视频的处理方法、装置、电子设备和存储介质
EP3878113A1 (en) * 2018-11-09 2021-09-15 L3 Technologies, Inc. Systems and methods for compressing audio data for storage and streaming from an aircraft

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4376874A (en) * 1980-12-15 1983-03-15 Sperry Corporation Real time speech compaction/relay with silence detection
JP2737182B2 (ja) 1988-11-29 1998-04-08 ソニー株式会社 オーディオデータの変速再生方法
US5623344A (en) * 1992-09-01 1997-04-22 Hitachi America, Ltd. Digital video recording device with trick play capability
US5787225A (en) * 1993-03-29 1998-07-28 Matsushita Electric Industrial Co., Ltd. Optical disk apparatus for the reproduction of compressed data
KR960005647B1 (ko) 1993-12-22 1996-04-30 엘지전자주식회사 브이씨알(vcr)의 다이제스트 오디오 스킵장치 및 그의 방법
JP3102541B2 (ja) * 1994-09-26 2000-10-23 日本電信電話株式会社 スキップサーチ方法
JP3548245B2 (ja) * 1994-10-04 2004-07-28 キヤノン株式会社 情報記録再生装置、情報再生装置、及び情報再生方法
JPH08288854A (ja) * 1995-04-09 1996-11-01 Sony Corp 伝送装置及び符号化装置並びに符号化方法
CN1238837C (zh) * 1996-10-15 2006-01-25 松下电器产业株式会社 声音编码方法和编码装置
US5893062A (en) * 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6154603A (en) * 1997-02-18 2000-11-28 Thomson Licensing S.A. Picture decoding for trick mode operation
JP3861362B2 (ja) * 1997-03-19 2006-12-20 ソニー株式会社 ディジタル信号再生方法及び装置
US6356211B1 (en) * 1997-05-13 2002-03-12 Sony Corporation Encoding method and apparatus and recording medium
KR100224099B1 (ko) * 1997-05-30 1999-10-15 윤종용 오디오/비디오 신호의 동기장치 및 방법
WO1998055998A2 (en) * 1997-06-03 1998-12-10 Koninklijke Philips Electronics N.V. Apparatus and method for reproducing a digital audio signal from a record carrier
CA2306081C (en) * 1997-10-15 2003-06-24 Matsushita Electric Industrial Co., Ltd. Information storing disk, reproduction apparatus, and reproduction method
JP2000023105A (ja) 1998-04-30 2000-01-21 Matsushita Electric Ind Co Ltd 再生時間伸縮方法および装置
CN1322376A (zh) 1998-08-07 2001-11-14 株式会社日立制作所 扁平型半导体装置、其制造方法及使用该装置的变换器
US6292454B1 (en) 1998-10-08 2001-09-18 Sony Corporation Apparatus and method for implementing a variable-speed audio data playback system
US6707778B1 (en) * 1999-11-10 2004-03-16 Thomson Licensing S.A. Edit to picture without decoding and re-encoding of MPEG bit stream for recordable DVD
US6678332B1 (en) * 2000-01-04 2004-01-13 Emc Corporation Seamless splicing of encoded MPEG video and audio

Also Published As

Publication number Publication date
MY138991A (en) 2009-08-28
JP2005519537A (ja) 2005-06-30
TW200305856A (en) 2003-11-01
CN1669309A (zh) 2005-09-14
EP1497984A4 (en) 2005-10-12
AU2003217666A1 (en) 2003-09-16
KR100933618B1 (ko) 2009-12-23
TWI240248B (en) 2005-09-21
WO2003075563A1 (en) 2003-09-12
PL372272A1 (en) 2005-07-11
US7130528B2 (en) 2006-10-31
CN100429941C (zh) 2008-10-29
EP1497984A1 (en) 2005-01-19
US20030165321A1 (en) 2003-09-04
MXPA04008425A (es) 2005-06-08
KR20050014793A (ko) 2005-02-07

Similar Documents

Publication Publication Date Title
JP4319548B2 (ja) ビデオ・トリック・モード再生中における音声番組の再生方法および装置
JP2005507218A (ja) 情報ファイルを使用した早送りトリックモード及び巻き戻しトリックモード
US7149412B2 (en) Trick mode audio playback
JP2005519537A5 (ja)
KR100943597B1 (ko) 비디오 트릭 모드동안 게이티드 사일런스 제거
JP4235780B2 (ja) 信号再生方法および信号再生装置
JP2005508586A (ja) シャドー・イントラ・ピクチャの挿入によるビデオ変更方法およびシステム
JP4666175B2 (ja) 記録再生装置および再生装置
JP3986147B2 (ja) 音響信号処理装置及びオーディオ高速再生方法
JP4377079B2 (ja) 信号処理方法及び信号処理装置
JP2004088530A (ja) 動画像音声データ蓄積管理装置及び編集方法
JP2005167426A (ja) 映像再生装置及び映像再生方法
JP4529859B2 (ja) 音声再生装置
JP4164613B2 (ja) 信号再生方法および信号再生装置
JP4425134B2 (ja) デジタルコンテンツ分割装置、デジタルコンテンツ再生装置、及びデジタルコンテンツ分割方法
JP2001128119A (ja) 符号化データ記録再生装置、符号化データ再生装置、及び符号化データ記録媒体
JP2006121570A (ja) 変速再生装置及び変速再生方法
JP2009200567A (ja) 映像記録再生装置
JP2000032396A (ja) 画像圧縮記録媒体再生装置
JP2005032369A (ja) 光ディスク再生装置および再生方法
JP2002063779A (ja) オーディオチャネルid付加方法、これを用いたオーディオチャネル選択方法及びこれに適した光記録再生装置
JPH11250582A (ja) オーディオ変速処理装置
JPH11355724A (ja) 動画音声データ圧縮装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060214

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061121

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20080318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080708

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081001

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090528

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120605

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4319548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120605

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130605

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees