JPH0937204A - 動画像音声データ編集装置 - Google Patents

動画像音声データ編集装置

Info

Publication number
JPH0937204A
JPH0937204A JP7182894A JP18289495A JPH0937204A JP H0937204 A JPH0937204 A JP H0937204A JP 7182894 A JP7182894 A JP 7182894A JP 18289495 A JP18289495 A JP 18289495A JP H0937204 A JPH0937204 A JP H0937204A
Authority
JP
Japan
Prior art keywords
data
compressed
moving image
sound
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7182894A
Other languages
English (en)
Other versions
JP2822940B2 (ja
Inventor
Koji Numata
考司 沼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP7182894A priority Critical patent/JP2822940B2/ja
Publication of JPH0937204A publication Critical patent/JPH0937204A/ja
Application granted granted Critical
Publication of JP2822940B2 publication Critical patent/JP2822940B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 圧縮伸張処理を繰り返すことなく、複数の動
画像音声のシーケンスを連結し、1つの動画像音声のシ
ーケンスに編集する動画像音声データ編集装置を提供す
る。 【解決手段】 入力圧縮動画像音声のシーケンスから圧
縮動画像データと圧縮音声データとを分離して取り出す
手段3と、圧縮動画像データを解析しピクチャの区切り
と動画像データ終了位置を検出する手段6と、圧縮音声
データを解析し音声符号単位の区切りを検出する手段4
と、音声符号単位の無音データ生成手段5と、圧縮動画
像データと圧縮音声データを合成し圧縮された動画像音
声のシーケンスを生成する手段7とを備え、複数の入力
圧縮動画像音声のシーケンスを順に圧縮動画像データと
圧縮音声データとに分離し、複数の圧縮動画像データを
連結すると同時に複数の圧縮音声データを連結し、再度
圧縮動画像データと圧縮音声データとを合成することに
よって長時間の圧縮動画像音声シーケンスを生成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、圧縮符号化された
動画像音声の複数のシーケンスをCD−ROMやハード
ディスクなどの記録媒体から読み取り、編集して、一連
の動画像音声のシーケンスを生成する動画像音声データ
編集装置に関する。
【0002】
【従来の技術】近年、情報処理技術の発展により、動画
像、音声等のデジタル処理が行われるが、デジタル処理
データが膨大になる問題があった。例えば、音声データ
の場合、サンプリング周波数48kHz、16ビットス
テレオ信号の場合、1分間のデータ量は11.52Mバ
イトになる。動画像データではさらに膨大で、ビデオ信
号では1分間で1画素24ビット、フレーム当たり35
2×240画素、毎秒30フレームのデータでは約43
5Mバイトにもなる。
【0003】したがって、このような膨大な情報をその
まま記録あるいは伝送するには、記憶媒体の容量、処理
速度等の観点から極めて問題が多い。そのため、信号が
有する相関性や人間の感覚特性に着目して冗長度の減少
を図り、音質あるいは画質を損なわずに大幅な情報量を
減少削減する帯域圧縮技術が開発され、実用されてい
る。
【0004】帯域圧縮の方法には、予測符号化や変換符
号化等の方法があり、これらの圧縮方法によってデータ
は数分の1から数百分の1の圧縮が可能であり、動画像
音声データは圧縮符号化された形式で保存、蓄積される
のが一般的になっている。
【0005】そこで、圧縮符号化された動画像音声の編
集方法として特願平5−116702号公報に記載され
ている方法がある。これは圧縮符号データのヘッダ部分
を書き換えることによって圧縮符号の編集が行えるもの
である。これは、音声データと画像データが1フレーム
単位で完結している圧縮方式を用いている場合に有効で
ある。しかしながら現在広く使われている動画像音声の
圧縮方式であるMPEG(Moving Pictur
es Expert Group)方式では動画像と音
声は別の符号化方式を採用しており、特に動画像の圧縮
方式は、フレーム間の相関を用いた圧縮方式のため、前
記公報記載の方式は使用できない。
【0006】さらにMPEGのようなフレームの相関を
とり、動画像音声データの最初から最後までが1つのシ
ーケンスとなっている圧縮方式では、動画像音声データ
の編集を行う場合、一度伸張した上で編集し、再度圧縮
を行う必要があった。
【0007】
【発明が解決しようとする課題】したがって、正しい編
集をするためには、原データに戻り、その原データで編
集作業を行い、それから再度圧縮データの作成が必要に
なり、最終の意図する圧縮データが得られるまでの圧縮
の作業量は極めて多大になる。また、その繰り返しの度
に圧縮処理を繰り返すので、MPEGのような非可逆変
換の圧縮方式では圧縮の度に画質及び音質が低下してい
くという問題があった。
【0008】本発明は、圧縮データの編集作業が容易
で、圧縮伸張処理を繰り返すことなく、高速に、しかも
画質、音質の劣化を引き起こすことなく複数の動画像音
声のシーケンスを連結し、1つの動画像音声のシーケン
スに編集する動画像音声データ編集装置の提供を目的と
する。
【0009】
【課題を解決するための手段】本発明は上記の目的を、
操作者による編集する元となる圧縮符号化された複数の
動画像音声データの指定を入力する入力手段と、指定さ
れた複数の動画像音声データを順に処理するための入力
切り換え手段と、入力された圧縮データから動画像と音
声のそれぞれのデータに分離して取り出す動画像音声分
離手段と、分離された圧縮音声データを解析する音声解
析手段と、無音の圧縮音声データを生成する無音データ
生成手段と、分離された圧縮動画像データを解析する動
画像解析手段と、圧縮動画像データと圧縮音声データを
同期をとりながら合成する動画像音声合成手段とを備え
た動画像音声データ編集装置によって達成する。
【0010】以上のように構成する本発明によれば、編
集の元となる動画像音声圧縮データを伸張することな
く、音声データと動画像データに分離、合成するだけで
すみ、編集作業の効率を格段に向上させることが可能と
なる。
【0011】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。
【0012】図1は本発明の動画像音声データ編集装置
の例を示すブロック図であり、MPEGに準拠した場合
についてのものである。
【0013】この動画像音声データ編集装置は、入力手
段1と、入力切り換え手段2と、動画像音声分離手段3
と、音声解析手段4と、無音データ生成手段5と、動画
像解析手段6と、動画像音声合成手段7とから構成され
る。
【0014】図2はMPEGに準拠した圧縮符号化され
た動画像データの構成を示す図である。上の階層がビデ
オ・シーケンスであり、先頭のシーケンス・ヘッダから
最後のシーケンス・終了コードまでがビデオ・シーケン
スであり、1個以上のシーケンス・ヘッダとGOP(G
rpup Of Picture)から構成される。G
OPは下の階層に示すように1個以上のピクチャから構
成され、1つのピクチャが1枚の画像を示している。
【0015】ピクチャの区切りはピクチャ・ヘッダを検
索することによって読みとることができる。
【0016】図3はMPEGに準拠した圧縮符号化され
た音声データの構造を示す図である。上の階層がオーデ
ィオ・シーケンスであり、オーディオ・シーケンスは複
数のAAU(オーディオ復号単位)から構成される。A
AUは下の階層に示すように同期ワード、ビットレー
ト、サンプリング周波数等の情報を含んだAAUヘッダ
と圧縮されたオーディオデータとから構成される。
【0017】図4はMPEGに準拠した圧縮符号化され
た動画像音声データの構成を示す図である。動画像音声
データは複数のパックから構成され、パックは中間の階
層に示すようにパック・ヘッダと1個以上のパケットか
ら構成され、パケットにはビデオ・パケットとオーディ
オ・パケットが存在する。ビデオ・パケットは下の階層
に示すようにパケットヘッダとビデオデータから構成さ
れ、このビデオパケット内のビデオデータのみを取り出
して連続すると図2に示す一連のビデオ・シーケンスが
構成される。オーディオパケットはパケットヘッダとオ
ーディオデータから構成され、オーディオ・パケット内
のオーディオデータのみを取り出して連続すると図3に
示す一連のオーディオシーケンスが構成される。
【0018】図1において、操作者によって本発明の動
画像音声データ編集装置を動作開始させると、入力手段
1はキーボードやマウスなどの入力を待ち受ける。入力
手段1は、操作者のキーボードやマウスから入力される
指示を読みとってそれを解釈し、操作者が指示した連結
する元の圧縮符号化された動画像音声シーケンスのファ
イル及び、連結する順番を入力切り換え手段2に指示す
る。
【0019】入力切り換え手段2は、連結する元の圧縮
符号化された動画像音声シーケンスのファイル及び、連
結する順番が指定されると、指定された順番に圧縮符号
化された動画像音声シーケンスのファイルを読み込ん
で、それらのデータを順次動画像音声分離手段3に送り
込む。
【0020】動画像音声分離手段3では入力切り換え手
段2から受け取った動画像音声シーケンスのデータから
図4に示すパック・ヘッダ及びパケット・ヘッダを検索
し、ビデオパケット内のビデオデータ及びオーディオパ
ケット内のオーディオデータを分離して取り出し、オー
ディオデータは音声解析手段4に転送し、ビデオデータ
は動画像解析手段6に転送する。
【0021】動画像解析手段6ではビデオシーケンス
中、ピクチャの区切りを示すピクチャヘッダ及びビデオ
シーケンスの最後を示すシーケンス終了コードを検索
し、シーケンス終了コードが見つかるまで動画像データ
を動画像音声合成手段7に転送する。また、同時にピク
チャヘッダを参照することにより転送したピクチャ数を
カウントし音声解析手段4に通知する。
【0022】動画像解析手段6の処理の流れをさらに詳
しく図6を用いて説明する。
【0023】動画像データ解析を開始すると、まず、動
画像音声分離手段3から引き取った動画像データからヘ
ッダを検索する(S001)。次に検索されたヘッダが
ピクチャヘッダであった場合、ピクチャカウンタの値を
インクリメントし(S003)、次のヘッダを検索す
る。検索されたヘッダがシーケンス終了コードであった
場合は1つの入力ファイルの処理が終了したことを示す
フラグをたて(S007)、入力ファイルの最終のファ
イルでない場合はシーケンス終了コードを削除して(S
008)動画像音声合成手段7に対して動画像データを
転送する(S009)。検索されたヘッダがピクチャヘ
ッダまたはシーケンス終了コードでない場合は再度次の
ヘッダを検索する。また、ヘッダ検索でヘッダが検索で
きなかった場合、動画像音声分離手段から送られてきた
データを動画像音声合成手段7に転送し(S009)、
次に動画像音声分離手段からデータが送られてくるまで
処理を停止する。
【0024】音声解析手段4では音声の圧縮単位である
AAUの区切りを検索し、AAU単位で動画像音声合成
手段7に音声データを転送する。この際、動画像解析手
段6で処理した動画像の再生時の時間分のAAUを転送
する。
【0025】音声解析手段3の処理の流れをさらに詳し
く図7を用いて説明する。
【0026】音声データの解析を開始すると、まず、動
画像解析手段6から受け取った動画像の処理したピクチ
ャ数とピクチャレートから以下の式により動画像の再生
にかかる時間を計算する(S101)。
【0027】動画像再生時の時間=過去に転送したピク
チャ数÷ピクチャレート また、動画像の再生にかかる時間と同じ時間分の音声デ
ータを処理するため、転送するAAUの数を計算する
(S102)。転送するAAUの時間計算は次のように
行う。
【0028】処理済みの音声再生時の時間=過去に転送
したAAUの数×1AAU内サンプル数÷サンプルレー
ト これから転送するAAUの数=(動画像再生時間−処理
済みの音声再生時間)×サンプルレート÷1AAU内サ
ンプル数 次に上記で求めたAAUの数分のデータを動画像音声合
成手段7に転送するのだが、入力ファイルの音声データ
が既に終了している場合には無音データ生成手段5で生
成した無音の音声データのAAUを動画像音声合成手段
7に転送する(S110)。音声データが終了していな
い場合には動画像音声分離手段3から引き取った音声デ
ータからAAUのヘッダを検索し(S105)、ヘッダ
に書かれているサンプリング周波数、ビットレートから
AAUのサイズを計算して(S106)次のAAUヘッ
ダの位置を確認する(S107)。ヘッダが見つかった
場合は1AAU分のデータを動画像音声合成手段7に転
送する。このS104からS108の処理を必要なAA
Uの数だけ繰り返す。途中でAAUヘッダが検索出来な
くなった場合、次に動画像音声分離手段3から音声デー
タが送られてくるまで処理を停止する。
【0029】また、この時点で動画像解析手段6でシー
ケンス終了コードが検索されていた場合は、1つのファ
イル分の処理を全て終了するとともに動画像音声分離手
段3から送られてきた音声データを全て破棄する。
【0030】また、画像解析手段5でシーケンス終了コ
ードが検索されてなく、音声データが終了した場合、S
110で転送する無音データは、無音データ生成手段4
で生成される。
【0031】無音データ生成手段4は音声解析手段3で
検索したAAUヘッダから取得したサンプリング周波
数、ビットレート等のデータを基に無音の非圧縮データ
(PCMでは全て0のデータ)から音声データを圧縮し
て1AAU分の圧縮データを生成する。
【0032】動画像音声合成手段7は音声解析手段4及
び動画像解析手段6から送られてくる音声データと動画
像データを合成してパケット化、パック化し、最後の入
力ファイルの処理が終了するまで連結ファイルとして出
力する。
【0033】また、最後の入力ファイルの処理が終了し
た場合は出力しているファイルをクローズして処理を終
了する。
【0034】以上の処理を連結順序でファイルを読み込
み、最後のファイルまで続ける。
【0035】以上、説明した本発明による動画像音声デ
ータ編集装置を使用し動画像音声データを連結した場合
の例を図5に示す。
【0036】入力データ1はビデオシーケンスの再生に
かかる時間にくらべオーディオシーケンスの再生にかか
る時間が短い場合のデータであり、入力データ2はビデ
オシーケンスの再生にかかる時間にくらべ、オーディオ
シーケンスの再生にかかる時間が長い場合のデータであ
る。このようなデータを入力としても出力としてはオー
ディオシーケンスの再生にかかる時間と、ビデオシーケ
ンスの再生にかかる時間が同じになり、音声と画像の同
期ずれの発生しない一連の動画像音声のシーケンスが作
成できる。
【0037】
【発明の効果】以上説明したように本発明では圧縮符号
化された動画像及び音声の伸張処理や再圧縮の処理は行
わないので高速に、しかも画質、音質の劣化を引き起こ
すことなく複数の動画像音声のシーケンスを連結し、1
つの動画像音声のシーケンスに編集することが可能とな
る。
【図面の簡単な説明】
【図1】本発明の一実施例の機能ブロック図である。
【図2】MPEGの動画像データの構成を示す図であ
る。
【図3】MPEGの音声データの構成を示す図である。
【図4】MPEGの動画像音声データの構成を示す図で
ある。
【図5】動画像データ、音声データの連結例を示す図で
ある。
【図6】動画像解析手段の流れ図である。
【図7】音声解析手段の流れ図である。
【符号の説明】 1 入力手段 2 入力切り換え手段 3 動画像音声分離手段 4 音声解析手段 5 動画像解析手段 6 無音データ生成手段 7 動画像音声合成手段

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 圧縮符号化された短時間の動画像音声の
    シーケンスを複数シーケンス入力して連結し、圧縮符号
    化された長時間の動画像音声シーケンスを生成する動画
    像音声データ編集装置において、 前記入力された動画像音声のシーケンスから圧縮動画像
    データと圧縮音声データとを分離して取り出す手段と、
    圧縮動画像データを解析し、ピクチャの区切りと動画像
    データ終了位置を検出する手段と、圧縮音声データを解
    析し、音声符号単位の区切りを検出する手段と、音声符
    号単位の無音データ生成手段と、圧縮動画像データと圧
    縮音声データを合成し、動画像音声のシーケンスを生成
    する手段とを備え、 前記入力された複数の動画像音声のシーケンスを順に圧
    縮動画像データと圧縮音声データとに分離し、複数の圧
    縮動画像データを連結すると同時に複数の圧縮音声デー
    タを連結し、再度圧縮動画像データと圧縮音声データと
    を合成することによって長時間の動画像音声シーケンス
    を生成することを特徴とする動画像音声データ編集装
    置。
  2. 【請求項2】 前記入力された動画像音声のシーケンス
    から分離して取り出した圧縮動画像データの再生にかか
    る時間にくらべ、圧縮音声データの再生にかかる時間が
    短い場合、無音の圧縮音声データを生成し、圧縮音声デ
    ータと無音の圧縮音声データを合成することによって、
    圧縮動画像データの再生にかかる時間と圧縮音声データ
    の再生にかかる時間とを同一にしたうえで、圧縮動画像
    データと圧縮音声データとを合成することを特徴とする
    請求項1記載の動画像音声データ編集装置。
  3. 【請求項3】 前記入力された動画像音声のシーケンス
    から分離して取り出した圧縮動画像データの再生にかか
    る時間にくらべ、圧縮音声データの再生にかかる時間が
    長い場合、圧縮動画像データの再生にかかる時間と圧縮
    音声データの再生にかかる時間とが一致する位置の圧縮
    音声データの音声符号単位の区切りで圧縮音声データを
    終了させる手段を備え、圧縮動画像データの再生にかか
    る時間と圧縮音声データの再生にかかる時間とを同一に
    したうえで、圧縮動画像データと圧縮音声データとを合
    成することを特徴とする請求項1記載の動画像音声デー
    タ編集装置。
JP7182894A 1995-07-19 1995-07-19 動画像音声データ編集装置 Expired - Fee Related JP2822940B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7182894A JP2822940B2 (ja) 1995-07-19 1995-07-19 動画像音声データ編集装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7182894A JP2822940B2 (ja) 1995-07-19 1995-07-19 動画像音声データ編集装置

Publications (2)

Publication Number Publication Date
JPH0937204A true JPH0937204A (ja) 1997-02-07
JP2822940B2 JP2822940B2 (ja) 1998-11-11

Family

ID=16126259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7182894A Expired - Fee Related JP2822940B2 (ja) 1995-07-19 1995-07-19 動画像音声データ編集装置

Country Status (1)

Country Link
JP (1) JP2822940B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6339760B1 (en) 1998-04-28 2002-01-15 Hitachi, Ltd. Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data
JP2003005798A (ja) * 2001-06-21 2003-01-08 Sony Corp 記録装置および再生装置
WO2007043256A1 (ja) * 2005-10-12 2007-04-19 Nec Corporation 動画像変換方法、動画像変換装置、動画像変換システムおよびサーバ装置並びにプログラム
US7228055B2 (en) 2002-09-13 2007-06-05 Hitachi, Ltd. Recording apparatus, video camera and computer program
JP2007195208A (ja) * 2001-09-27 2007-08-02 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7664375B2 (en) 2001-05-25 2010-02-16 Panasonic Corporation Information signal edition apparatus, information signal edition method, and information edition program

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6339760B1 (en) 1998-04-28 2002-01-15 Hitachi, Ltd. Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data
US7664375B2 (en) 2001-05-25 2010-02-16 Panasonic Corporation Information signal edition apparatus, information signal edition method, and information edition program
JP2003005798A (ja) * 2001-06-21 2003-01-08 Sony Corp 記録装置および再生装置
JP2007195208A (ja) * 2001-09-27 2007-08-02 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4534168B2 (ja) * 2001-09-27 2010-09-01 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7228055B2 (en) 2002-09-13 2007-06-05 Hitachi, Ltd. Recording apparatus, video camera and computer program
WO2007043256A1 (ja) * 2005-10-12 2007-04-19 Nec Corporation 動画像変換方法、動画像変換装置、動画像変換システムおよびサーバ装置並びにプログラム
EP1814334A1 (en) * 2005-10-12 2007-08-01 NEC Corporation Moving image conversion method, moving image conversion device, moving image conversion system, server device, and program
JPWO2007043256A1 (ja) * 2005-10-12 2009-04-16 日本電気株式会社 動画像変換方法、動画像変換装置、動画像変換システムおよびサーバ装置並びにプログラム
EP1814334A4 (en) * 2005-10-12 2010-04-28 Nec Corp METHOD, DEVICE AND SYSTEM FOR CONVERSION OF MOVEMENT PICTURES, SERVER DEVICE AND PROGRAM
JP4853647B2 (ja) * 2005-10-12 2012-01-11 日本電気株式会社 動画像変換方法、動画像変換装置、動画像変換システムおよびサーバ装置並びにプログラム
US8229000B2 (en) 2005-10-12 2012-07-24 Nec Corporation Moving image conversion method, moving image conversion apparatus, moving image conversion system, and server apparatus, and program

Also Published As

Publication number Publication date
JP2822940B2 (ja) 1998-11-11

Similar Documents

Publication Publication Date Title
JP2822940B2 (ja) 動画像音声データ編集装置
JP4305867B2 (ja) 音声符号化方法及び音声復号方法
JP3791801B2 (ja) 光記録媒体及び音声復号装置
JP3606455B2 (ja) 音声信号伝送方法及び音声復号方法
JP4591606B2 (ja) 音声符号化方法、音声復号方法及び音声信号伝送方法
JP4552208B2 (ja) 音声符号化方法及び音声復号方法
JP4164826B2 (ja) 音声信号伝送方法及び音声復号方法
JP4164833B2 (ja) 音声符号化方法及び音声復号方法
JP4305868B2 (ja) 音声符号化方法及び音声復号方法
JP4200499B2 (ja) 音声符号化方法及び音声復号装置
JP3821384B2 (ja) 光記録媒体及び音声復号装置
JP3821385B2 (ja) 光記録媒体及び音声復号装置
JP3791799B2 (ja) 光記録媒体及び音声復号装置
JP3791798B2 (ja) 音声符号化方法及び音声復号方法
JP3821381B2 (ja) 音声符号化方法及び音声復号方法
JP3791800B2 (ja) 光記録媒体及び音声復号装置
JP3821382B2 (ja) 光記録媒体及び音声復号装置
JP3821383B2 (ja) 光記録媒体及び音声復号装置
JP4200991B2 (ja) 音声符号化方法及び音声復号方法
JP3821386B2 (ja) 光記録媒体及び音声復号装置
JP4587086B2 (ja) 音声符号化方法、音声復号方法及び音声信号伝送方法
JP4196354B2 (ja) 音声符号化方法及び音声復号方法
JP4164831B2 (ja) 音声符号化方法及び音声復号方法
JP4552211B2 (ja) 音声符号化方法及び音声復号方法
JP4591608B2 (ja) 音声符号化方法、音声復号方法及び音声信号伝送方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19980804

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080904

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080904

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090904

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090904

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100904

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110904

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 14

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 14

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 14

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 15

LAPS Cancellation because of no payment of annual fees