JP3802521B2 - 符号化装置、符号化制御方法及び符号化制御プログラム - Google Patents

符号化装置、符号化制御方法及び符号化制御プログラム Download PDF

Info

Publication number
JP3802521B2
JP3802521B2 JP2003310638A JP2003310638A JP3802521B2 JP 3802521 B2 JP3802521 B2 JP 3802521B2 JP 2003310638 A JP2003310638 A JP 2003310638A JP 2003310638 A JP2003310638 A JP 2003310638A JP 3802521 B2 JP3802521 B2 JP 3802521B2
Authority
JP
Japan
Prior art keywords
encoding
processing
frame
video
encoding processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003310638A
Other languages
English (en)
Other versions
JP2005080123A (ja
JP2005080123A5 (ja
Inventor
郁夫 塚越
信司 高田
晃一 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003310638A priority Critical patent/JP3802521B2/ja
Priority to TW93125570A priority patent/TWI249958B/zh
Priority to KR1020067004232A priority patent/KR101121613B1/ko
Priority to PCT/JP2004/013083 priority patent/WO2005025226A1/ja
Priority to US10/569,886 priority patent/US8665966B2/en
Priority to CN200480028220XA priority patent/CN1860792B/zh
Priority to EP04772897A priority patent/EP1662794A4/en
Publication of JP2005080123A publication Critical patent/JP2005080123A/ja
Publication of JP2005080123A5 publication Critical patent/JP2005080123A5/ja
Application granted granted Critical
Publication of JP3802521B2 publication Critical patent/JP3802521B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Description

本発明は、符号化装置、符号化制御方法及び符号化制御プログラムに関し、ソフトウェア符号化を行う符号化装置に適用して好適なものである。
従来、映像信号の圧縮符号化・復号装置においては、専用の映像処理用ハードウェアを用いて符号化処理(エンコーディング)や復号処理(コーディング)を行っていた。これをハードウェアコーデックと呼ぶ(例えば、特許文献1参照)。
これに対して、近年のコンピュータ技術の発達に伴い、汎用のCPU(Central Processing Unit)上で映像処理プログラムを実行することにより、上述した符号化処理や復号処理を行うこと(これをソフトウェアコーデックと呼ぶ)が実用化されている。
かかるソフトウェアコーデックにおいては、上述したハードウェアコーデックとは異なり、映像処理プログラムを変更するだけで、MPEG(Moving Picture Experts Group)1/2/4やJPEG2000等の国際標準化された圧縮符号化方式、あるいはその他の種々の圧縮符号化方法に容易に対応できるという利点がある。また、新たな圧縮符号化方法が開発された場合でも、これに応じて映像処理プログラムを更新するだけで、容易に最新の圧縮符号化方法に対応することができる。
特開2003−61097公報
ソフトウェアエンコーディングにおいては、CPUは映像の符号化処理(映像符号化スレッドないしはプロセス)と音声の符号化処理(音声符号化スレッドないしはプロセス)とを時分割で交互に処理していく。音声はその遅延や欠落がユーザに感知されやすいため、音声符号化スレッドが優先的に処理されることが一般的である。例えば1フレーム期間(1/30秒)の間に、まず1フレーム分の音声を処理し、その後に画像1フレームを処理する。
図8はソフトウェアエンコーディングの処理状態を示し、外部から入力された映像データ及び音声データは、それぞれ一旦映像入力バッファ及び音声入力バッファに格納される。CPUは、まず音声符号化スレッドを実行し、音声入力バッファから1フレーム分の音声データを読み出して圧縮符号化した後出力する。続いてCPUは映像符号化スレッドを実行し、映像入力バッファから映像データを1フレーム読み出して圧縮符号化した後出力する。このようにしてCPUは、映像データ及び音声データを1フレーム期間毎に時分割で順次符号化していく。
ここで、音声の圧縮符号化処理においては、その処理時間があまり変化しないのに対し、映像の圧縮符号化処理においては、符号化しようとする入力映像の複雑度(絵柄や動き等)に応じて、その処理時間が大幅に変化する。
例えば、空や壁面等の、比較的平坦な部分が多く動きの少ない映像では処理時間が短いのに対し、スポーツ中継等の、絵柄が複雑で動きが速く、しかも適度な速度でパンやズームを行うような映像では、処理時間が増大する。この処理時間の増大によって、1フレーム期間内に符号化処理を完了できなくなる場合がある。このような処理遅延をオーバーランと呼ぶ。
すなわち図8において、N番目のフレームが極端に複雑で、1フレーム期間内に符号化が完了しなかったものとする(オーバーランの発生)。この場合CPUは、オーバーランを生じたN番目のフレームに対する符号化処理の完了が、N+1番目のフレームを符号化すべきタイミングにまで食い込んでしまう。尚、ビデオ、オーディオの各符号化スレッドの切換えは、通常、OS(Operating System)によるコンテクスト・スイッチにより行われる。
ここでこのフレーム期間は、本来はN+1番目のフレームを処理すべき期間であるが、オーバーランを生じたフレームを処理したがために、N+1番目のフレームを処理することができない。このためCPUは、当該N+1番目のフレームに対する符号化処理をスキップし、次のN+2番目のフレームから符号化処理を行う。
このように従来のソフトウェアエンコーディングにおいては、画像符号化処理においてオーバーランが発生した場合、次のフレームに対する符号化をスキップするようになされている。しかしながら、このようなフレームスキップが発生すると、表示される映像がコマ送り状態となり、映像の表示品質が損なわれるという問題がある。
かかるオーバーランを回避するためには、複数のCPUを並列動作させたり、CPUの動作クロックを上昇する等が考えられるが、これにより装置全体が複雑化したり、消費電力が上昇してしまうという問題がある。
本発明は以上の点を考慮してなされたもので、簡易な構成で、符号化処理のオーバーランによる映像の表示品質劣化を回避し得る符号化装置、符号化制御方法及び符号化制御プログラムを提案しようとするものである。
かかる課題を解決するため本発明においては、第1の符号化処理方法を実行するための第1のコーデックプログラムと当該第1の符号化処理方法より符号化処理負荷の低い第2の符号化処理方法を実行するための第2のコーデックプログラムとが格納された記憶手段と、記憶手段から読み出された第1のコーデックプログラム又は第2のコーデックプログラムに基づいて、映像をフレーム毎に第1の符号化処理方法又は第2の符号化処理方法で符号化処理すると共に音声をフレーム毎に符号化処理する符号化手段であって、映像に対して音声の符号化を優先しながら、1フレーム期間に音声と映像を交互にそれぞれ処理して符号化処理を行う符号化手段と、映像の符号化処理に要した1フレーム当たりの符号化実処理時間を検出する処理時間検出手段と、第1の符号化処理方法による映像の符号化処理期間としてあらかじめ予想されている符号化予想処理時間と、現フレームの映像を第1の符号化処理方法で符号化処理した際の符号化実処理時間とに基づいて、現フレームの映像の符号化処理の処理遅延時間を算出する遅延算出手段と、符号化予想処理時間と現フレームについての符号化実処理時間とに基づいて算出された当該現フレームの処理遅延時間が所定の閾値以上のとき、第2の符号化処理方法で次フレームを符号化処理するよう符号化手段に指示する符号化負荷制御手段とを符号化装置に設け、符号化手段は、最初に音声の符号化処理を行い、符号化負荷制御手段により第2の符号化処理方法で次フレームを符号化処理するよう指示がされる場合、当該次フレームのフレーム期間内において、現フレームの未符号化部分に対する第1の符号化処理方法による符号化を行い、当該現フレームの未符号化部分に対する符号化処理の完了に続いて、即座に次フレームに対する符号化処理を開始するようにした。
符号化処理の遅延発生に応じて、第1の符号化処理方法より符号化処理負荷の低い第2の符号化処理方法で次のフレームを符号化処理するように制御することにより、当該次のフレームに対する符号化負荷を低減して、オーバーラン発生後のフレームの処理時間を短縮してオーバーランを回復し、オーバーラン発生によるフレームスキップを防止して映像の表示品質劣化を回避することができる。
また本発明においては、連続する複数のフレームについての処理遅延時間の累積値が所定の閾値以上のとき、当該連続する複数のフレームの次のフレームに対して、第2の符号化処理方法よりも符号化処理負荷の低い第3の符号化処理方法で符号化処理するようにした。
オーバーランの値が大きく、1フレームでは当該オーバーランを回復し得なかった場合でも、以降のフレームの符号化処理負荷をさらに低減することで、数フレームの間に確実にオーバーランを回復することができる。
上述のように本発明によれば、映像の符号化に対して音声の符号化を優先しながら、1フレーム期間に音声と映像を交互にそれぞれ処理して符号化処理を行い、現フレームについての符号化遅延が発生した際には、次フレーム期間内において音声の符号化処理を行った後、現フレームの未符号化部分に対する第1の符号化処理方法による符号化を行い、当該現フレームの未符号化部分に対する符号化処理の完了に続いて、即座に次フレームに対し第2の符号化処理方法で符号化処理を開始するようにしたことにより、音声の符号化を優先しつつ、オーバーラン発生後の符号化処理時間を短縮してオーバーランをすみやかに回復し、オーバーラン発生によるフレームスキップを防止して映像の表示品質劣化を回避し得る映像符号化装置、映像符号化制御方法並びに映像符号化制御プログラムを実現することができる。
以下、図面について、本発明の一実施の形態を詳述する。
(1)信号処理装置の全体構成
図1において、1は全体として本発明による符号化装置としての信号処理装置を示し、当該信号処理装置1を統括的に制御するCPU2に対して、ローカルメモリ3、映像入出力部4及びネットワークインターフェース5が接続されている。CPU2とローカルメモリ3の間は、高速のローカルバスで直結されている。
そして信号処理装置1においては、図示しないROMに格納されたコーデックプログラムをCPU2が読み出して実行することにより、映像及び音声信号に対する符号化及び復号をソフトウェアで処理するようになされている。
すなわち信号処理装置1は映像及び音声の符号化時において、外部から入力されたアナログ映像信号及びアナログ音声信号を、信号入出力部4のA/D(Analog/Digital)コンバータ4Aでディジタル変換してディジタル映像データ及びディジタル音声データ(以下、映像データ及び音声データと省略する)を生成し、これを一旦ローカルメモリ3に格納する。
CPU2は、ローカルメモリ3に格納した映像データ及び音声データを順次読み出し、上述したコーデックプログラムに従って、例えばMPEG1/2/4等の国際標準化された圧縮方式、あるいはその他の種々の映像音声圧縮方式で圧縮符号化して符号化映像データ及び符号化音声データを生成する。
そしてCPU2は、この符号化映像データ及び符号化音声データを一旦ローカルメモリ3に格納した後順次読み出し、ネットワークインターフェース5に供給する。ネットワークインターフェース5は、符号化映像データ及び符号化音声データを所定のフォーマットに従ってパケット化(パケッタイズ)し、これを外部の記憶媒体や伝送先の機器に送出する。
一方、信号処理装置1は映像及び音声の復号時において、外部の記憶媒体や伝送元の機器から供給される、パケット化された符号化映像データ及び符号化音声データをネットワークインターフェース5で復元(デパケッタイズ)し、これを一旦ローカルメモリ3に格納する。
符号化手段としてのCPU2は、ローカルメモリ3に格納した圧縮映像データ及び圧縮音声データを順次読み出し、上述したコーデックプログラムに従って復号して映像データ及び音声データを生成する。
そしてCPU2は、この映像データ及び音声データを一旦ローカルメモリ3に格納した後順次読み出し、信号入出力部4に供給する。信号入出力部4のD/A(Digital/Analog)コンバータ4Bは映像データ及び音声データをアナログ変換してアナログ映像信号及びアナログ音声信号を生成し、これらを外部に出力する。
かくして信号処理装置1は、ソフトウェアコーデックによって映像信号及び音声信号に対する符号化処理及び復号処理を実行する。
次に、上述した信号処理装置1におけるソフトウェアコーデックによる映像信号及び音声信号に対する符号化処理及び復号処理を、図2に示すシステムダイアグラムを用いて詳細に説明する。
符号化時において、信号入出力部4のA/Dコンバータ4A(図1)から供給された映像データ及び音声データは、ローカルメモリ3のビデオ入力バッファ3A及びオーディオ入力バッファ3Bにそれぞれ格納される。
図2において、CPU2によって実行されるコーデックプログラムのうちのビデオ入力バッファコントローラ10Aは、ビデオ入力バッファ3Aを常に監視しており、2フレーム分のサイズをもつ当該ビデオ入力バッファ3Aに1フレーム分の映像データが蓄積されると、これに応じて、コーデックプログラムのうちのビデオ符号化スレッド11Aに対してスタートコマンドを送出するとともに、ビデオ入力バッファ3Aから1フレーム分の映像データをビデオ符号化スレッド11Aに転送させる。
ビデオ符号化スレッド11Aは、ビデオ入力バッファコントローラ10Aから供給されるスタートコマンドに応じて、ビデオ入力バッファ3Aから1フレーム分の映像データを読み出し、これを圧縮符号化してローカルメモリ3のビデオストリーム出力バッファ3Cに出力するとともに、ビデオ入力バッファコントローラ10Aに対して終了サインとしてのフィードバックメッセージを返送してスレッドを終了する。
同様に、コーデックプログラムのうちのオーディオ入力バッファコントローラ10Bは、オーディオ入力バッファ3Bを常に監視しており、当該オーディオ入力バッファ3Bに1フレーム分の音声データが蓄積されると、これに応じてコーデックプログラムのうちのオーディオ符号化スレッド11Bにスタートコマンドを送出するとともに、オーディオ入力バッファ3Bから1フレーム分の音声データをオーディオ符号化スレッド11Bに転送させる。
オーディオ符号化スレッド11Bは、オーディオ入力バッファコントローラ10Bから供給されるスタートコマンドに応じて、オーディオ入力バッファ3Bから1フレーム分の音声データを読み出し、これを圧縮符号化してローカルメモリ3のオーディオストリーム出力バッファ3Dに出力するとともに、オーディオ入力バッファコントローラ10Bに対して終了サインとしてのフィードバックメッセージを返送してスレッドを終了する。
ここで、オーディオ符号化スレッド11Bはビデオ符号化スレッド11Aよりも優先して処理される。
そして、ネットワークインターフェース5のパケッタイザ5Aは、ビデオストリーム出力バッファ3C及びオーディオストリーム出力バッファ3Dから符号化映像データ及び符号化音声データを読み出してパケット化し出力する。
一方、復号時において、ネットワークインターフェース5のデパケッタイザ5Bは、外部から供給されるパケットから符号化映像データ及び符号化音声データを復元して、ローカルメモリ3のビデオストリーム入力バッファ3E及びオーディオストリーム入力バッファ3Fに格納する。
CPU2によって実行されるコーデックプログラムのうちのビデオストリーム入力バッファコントローラ10Cは、ビデオストリーム入力バッファ3Eを常に監視しており、当該ビデオストリーム入力バッファ3Eに1アクセスユニット分の符号化映像データが蓄積されると、これに応じて、CPU2によって実行されるコーデックプログラムのうちのビデオ復号スレッド12Aに対してスタートコマンドを送出するとともに、ビデオストリーム入力バッファ3Eから1アクセスユニット分の符号化映像データをビデオ復号スレッド12Aに転送させる。
ビデオ復号スレッド12Aは、ビデオストリーム入力バッファコントローラ10Cから供給されるスタートコマンドに応じて、ビデオストリーム入力バッファ3Eから1アクセスユニット分の符号化映像データを読み出し、これを復号してローカルメモリ3のビデオ出力バッファ3Gに出力するとともに、ビデオストリーム入力バッファコントローラ10Cに対して終了サインとしてのフィードバックメッセージを返送してスレッドを終了する。
同様に、コーデックプログラムのうちのオーディオストリーム入力バッファコントローラ10Dはオーディオストリーム入力バッファ3Fを常に監視しており、当該オーディオストリーム入力バッファ3Fに1アクセスユニット分の符号化音声データが蓄積されると、これに応じて、コーデックプログラムのうちのオーディオ復号スレッド12Bに対してスタートコマンドを送出するとともに、オーディオストリーム入力バッファ3Fから1アクセスユニット分の符号化音声データをオーディオ復号スレッド12Bに転送させる。
オーディオ復号スレッド12Bは、オーディオストリーム入力バッファコントローラ10Dから供給されるスタートコマンドに応じて、オーディオストリーム入力バッファ3Fから1アクセスユニット分の符号化音声データを読み出し、これを復号してローカルメモリ3のオーディオ出力バッファ3Hに出力するとともに、オーディオストリーム入力バッファコントローラ10Dに対して終了サインとしてのフィードバックメッセージを返送してスレッドを終了する。
(2)本発明によるオーバーランリカバリ
上述したようにこの信号処理装置1では、符号化時において、オーディオ符号化スレッドを優先しながら、1フレーム期間にオーディオ符号化スレッド及びビデオ符号化スレッドを交互にそれぞれ1フレーム分実行して符号化処理を行うようになされている。
これに加えてこの信号処理装置1では、映像符号化処理において符号化遅延(オーバーラン)が発生した場合、スレッド実行順序の変更や映像符号化処理の負荷を低減することにより、符号化スキップを行うことなくオーバーランを回復(以下、これをオーバーランリカバリと呼ぶ)するようになされている。
すなわち処理時間検出手段としてのCPU2は、映像符号化スレッドの開始タイミング及び終了タイミングにおける時間情報をシステムタイムクロック(図示せず)から取得し、この開始タイミング及び終了タイミングの時間差から1フレーム当たりの符号化実処理時間を算出する。さらに遅延算出手段としてのCPU2は、この符号化実処理時間からあらかじめ予想されている符号化予想処理時間を減算した処理遅延時間を算出する。
そして符号化負荷制御手段としてのCPU2は、この処理遅延時間が「0」より大きい場合、オーバーランが発生しているものとしてオーバーランリカバリを実行する。
次に、このオーバーランリカバリの処理例を、図3に示すタイミングチャートを用いて説明する。図3において、N番目のフレームが極端に複雑で、1フレーム期間内に符号化が完了しなかったものとする(オーバーランの発生)。この場合CPU2は従来と同様に、オーバーランを生じたN番目のフレームに対する符号化処理を中断し、次のフレーム期間において、まずN+1番目のフレームに対応する音声データを符号化した後、オーバーランが生じたN番目のフレームの映像データの符号化を再開することにより、当該N番目のフレームの符号化を完了する。
再開したN番目のフレームの符号化完了に続いてCPU2は、即座にN+1番目のフレームに対する符号化処理を開始する。このとき符号化負荷制御手段としてのCPU2は、このN+1番目のフレームに対して、通常の符号化処理よりも処理負荷の低い符号化処理方法を適用する。この、通常よりも負荷の低い符号化処理方法をリカバリエンコーディングモード1と呼ぶ。これに対して通常の符号化処理方法をノーマルエンコーディングと呼ぶ。図4及び図5に、ノーマルエンコーディング及びリカバリエンコーディングモード1の処理ダイヤグラムを示す。
このリカバリエンコーディングモード1においてCPU2は、予測符号化における動きベクトルの捜索範囲をノーマルエンコーディングよりも狭めることによって動きベクトル探索の処理サイクルを削減して処理負荷を低減し、これにより1フレーム当たりの符号化処理時間を短縮する。
このようにリカバリエンコーディングモード1を適用して符号化処理時間を短縮した結果、1フレーム期間内に当該N+1番目のフレームの符号化処理が完了した場合(図示せず)、CPU2は次のN+2番目以降のフレームに対し、ノーマルエンコーディングを適用して処理を行う。
これに対して図3に示すように、リカバリエンコーディングモード1を適用して処理時間短縮を図ったものの、N+1番目のフレームが1フレーム期間内で符号化が完了しなかった(オーバーランを回復できなかった)場合、CPU2は、当該N+1番目のフレームに対する符号化を一旦中断し、次のフレーム期間において、まずN+1番目のフレームに対応する音声データを符号化した後、N+1番目のフレームの映像データの符号化を再開する。
そして、再開したN+1番目のフレームの符号化完了に続いてCPU2は、次のN+2番目のフレームに対する符号化処理を開始する。このとき符号化負荷制御手段としてのCPU2は、このN+2番目のフレームに対して、リカバリエンコーディングモード1よりもさらに処理負荷の低い符号化処理方法を適用する。この符号化処理方法をリカバリエンコーディングモード2と呼ぶ。
このリカバリエンコーディングモード2においてCPU2は、図6に示す処理ダイヤグラムのように、逆量子化〜逆変換符号化〜動き補償によるフレームの再生の一連の戻り処理系を停止する。この戻り処理系は、次のフレームを予測するために参照フレームをフレームメモリ上に再構築する処理である。CPU2はリカバリエンコーディングモード2において、この戻り処理系を停止することにより、モード1に比べてさらに符号化処理時間を短縮する。
かくしてCPU2は図3に示すように、リカバリエンコーディングモード1を適用してもオーバーランを回復できなかった場合、次のフレームに対してさらに処理負荷の低いモード2を適用することにより、オーバーランの発生から3フレーム期間以内で確実にオーバーランを回復するようになされている。
ここで、オーバーランリカバリのためにリカバリエンコーディングモード2を適用した場合、フレームメモリには動き予測用の参照フレームが記録されない状態となり、これにより次のフレームはこの参照フレームを用いた動き予測を行うことができなくなる。
このためCPU2はリカバリエンコーディングモード2を適用した場合、その次のフレームを、動き予測を行わないIピクチャ(イントラ符号化ピクチャ)として符号化するとともに、このフレームを起点としてGOP(Group Of Picture)を再構築する。
次に、上述したコーデックプログラムにおけるオーバーランリカバリの処理手順を、図7に示すフローチャートを用いて説明する。信号処理装置1のCPU2は、ルーチンRT1の開始ステップから入って次のステップSP1へ移る。
ステップSP1においてCPU2は、一つ前の映像フレームに対する符号化スレッド終了タイミングと、現在の映像フレームに対する符号化スレッド開始タイミングをOS(Operating System)あるいはハードウェアから直接取得し、それぞれ記憶する。そしてCPU2は、既に記憶してある、一つ前のフレームの開始時刻と終了時刻との差分をとることで、一つ前のフレームの符号化に要した処理遅延時間TNを算出し、当該TNをオーバーラン累積処理時間に加算し、SP2に移る。ここで、累積処理遅延時間は処理開始時においては「0」に」設定されている。
ステップSP2においてCPU2は、算出した累積処理遅延時間とオーバーランカウンタの値から、オーバーラン発生の有無を判定する。
ステップSP2において、累積処理遅延時間をオーバーランカウンタ値で割った値がシステム起動時にビデオ符号化スレッドとして与えられる目標時間TGT(TarGet Time)よりも小さい場合、このことはオーバーランが発生していないことを表しており、このときCPU2はステップSP3に移り、このフレームをノーマルエンコードで符号化するとともに、累積処理遅延時間を「0」にリセット、同時にオーバーランカウンタを「1」にリセットしてステップSP1に戻る。
これに対してステップSP2において、累積処理遅延時間をオーバーランカウンタ値で割った値がシステム起動時にビデオ符号化スレッドとして与えられる目標時間TGT(TarGet Time)よりも大きい場合、このことはオーバーランが発生していることを表しており、このときCPU2はステップSP4に移り、オーバーランの発生フレーム数をカウントするためのオーバーランカウンタの値に「1」を加算して、次のステップSP5に移る。
ステップSP5においてCPU2は、オーバーランカウンタのカウント値に基づいて、オーバーランしたフレーム数を判定する。
ステップSP5において、オーバーランしたフレーム数が1回であると判定した場合、CPU2はステップSP6に移り、次のフレームにリカバリエンコードモード1を適用して符号化を実行し、ステップSP1に戻る。
これに対してステップSP5において、オーバーランしたフレーム数が1回ではないと判定した場合、CPU2はステップSP7に移り、次のフレームにリカバリエンコードモード2を適用して符号化を実行し、さらに、その次のフレームに対してIピクチャでの符号化を指定するとともにGOPを再構築してステップSP1に戻る。
(3)動作及び効果
以上の構成において、この信号処理装置1は、オーディオ符号化スレッドを優先しながら、1フレーム期間にオーディオ符号化スレッド及びビデオ符号化スレッドを交互にそれぞれ1フレーム分ずつ実行して映像及び音声を符号化していく。
そして信号処理装置1は、ビデオ符号化スレッドにおいてオーバーランが発生したことを検出すると、これに応じて、当該オーバーランが発生したフレームに続いて、即座に次のフレームを符号化開始する。このとき信号処理装置1は、次のフレームに対して処理負荷の軽いリカバリエンコーディングモード1を適用することにより、1フレーム当たりの符号化処理時間を短縮してオーバーランを回復しようとする。
さらに信号処理装置1は、次のフレームにリカバリエンコーディングモード1を適用したにもかかわらずオーバーランを回復できなかった場合、さらにその次のフレームに対して、より一層処理負荷の軽いリカバリエンコーディングモード2を適用することにより、オーバーランによるフレームスキップを起こすことなく、オーバーラン発生から有限フレーム期間内(例えば、3フレーム期間以内)で確実にオーバーランを回復することができる。
また信号処理装置1は、このようにしてオーバーランによるフレームスキップを回避することができるため、CPU2や周辺装置の処理能力や動作クロック等を低減することができ、システム全体の構成や消費電力を低減することができる。
以上の構成によれば、信号処理装置1は、オーバーランの発生に応じて以降のフレームに対する符号化処理負荷を低減することにより、フレームスキップによる映像の表示品質劣化を回避することができる。
(4)他の実施の形態
なお上述の実施の形態においては、オーバーランの発生に応じて、まず動きベクトルの探索範囲を狭めたリカバリエンコーディングモード1を適用し、これによってもオーバーランから回復できない場合、次のフレームに対してさらに処理負荷の軽いモード2を適用することにより、オーバーラン発生から3フレーム期間以内でオーバーランを回復し得るようにしたが、この回復期間は3フレーム期間に限らない。また、モード1を複数回連続して適用したり、あるいはオーバーラン発生直後からモード2を適用するなど、様々なパターンを用いてオーバーラン発生以降の映像符号化処理負荷を低減することができる。
また上述の実施の形態においては、動きベクトルの探索範囲を狭めたモード1と、フレーム間予測のための参照フレーム再構築処理を省いたモード2の2種類のリカバリエンコーディングを用いるようにしたが、本発明はこれに限らず、この他種々の処理負荷を低減した符号化処理を組み合わせて用いても良い。
さらに上述の実施の形態においては、映像及び音声に対する符号化及び復号の両機能を有する信号処理装置に本発明を適用した場合について述べたが、本発明はこれに限らず、符号化機能のみ、あるいは復号化機能のみを有する信号符号化装置に適用してもよい。
本発明の符号化装置、符号化制御方法及び符号化制御プログラムは、例えばデジタル化されたコンテンツあるいはアナログ映像信号をデジタル化した後に圧縮符号化してインターネットを介した動画のリアルタイム配信または受信、家庭内あるいは限定されたネットワーク環境でのリアルタイム配信そして受信、タイムシフティング(PVR:Personal Video Recording)などの録画再生装置等の用途に適用することができる。
本発明による信号処理装置の全体構成を示すブロック図である。 信号処理装置のシステムダイアグラムを示すブロック図である。 本発明によるオーバーランリカバリの説明に供するタイミングチャートである。 ノーマルエンコーディングの処理ダイヤグラムを示すブロック図である。 リカバリエンコーディングモード1の処理ダイヤグラムを示すブロック図である。 リカバリエンコーディングモード2の処理ダイヤグラムを示すブロック図である。 本発明によるオーバーランリカバリ処理手順を示すフローチャートである。 オーバーランによるフレームスキップの説明に供するタイミングチャートである。
符号の説明
1……信号処理装置、2……CPU、3……ローカルメモリ、4……信号入出力部、5……ネットワークインターフェース、11A……ビデオ符号化スレッド、11B……オーディオ符号化スレッド、12A……ビデオ復号スレッド、12B……オーディオ復号スレッド。

Claims (6)

  1. 第1の符号化処理方法を実行するための第1のコーデックプログラムと当該第1の符号化処理方法より符号化処理負荷の低い第2の符号化処理方法を実行するための第2のコーデックプログラムとが格納された記憶手段と、
    上記記憶手段から読み出された上記第1のコーデックプログラム又は上記第2のコーデックプログラムに基づいて、映像をフレーム毎に上記第1の符号化処理方法又は上記第2の符号化処理方法で符号化処理すると共に音声をフレーム毎に符号化処理する符号化手段であって、映像の符号化に対して音声の符号化を優先しながら、1フレーム期間に音声と映像を交互にそれぞれ処理して符号化処理を行う符号化手段と、
    上記映像の符号化処理に要した1フレーム当たりの符号化実処理時間を検出する処理時間検出手段と、
    上記第1の符号化処理方法による上記映像の符号化処理期間としてあらかじめ予想されている符号化予想処理時間と、現フレームの映像を上記第1の符号化処理方法で符号化処理した際の符号化実処理時間とに基づいて、上記現フレームの映像の符号化処理の処理遅延時間を算出する遅延算出手段と、
    上記符号化予想処理時間と上記現フレームについての上記符号化実処理時間とに基づいて算出された当該現フレームの上記処理遅延時間が所定の閾値以上のとき、上記第2の符号化処理方法で次フレームを符号化処理するよう上記符号化手段に指示する符号化負荷制御手段とを具え、
    上記符号化手段は、最初に音声の符号化処理を行い、上記符号化負荷制御手段により上記第2の符号化処理方法で次フレームを符号化処理するよう指示がされる場合、当該次フレームのフレーム期間内において、上記現フレームの未符号化部分に対する上記第1の符号化処理方法による符号化を行い、当該現フレームの未符号化部分に対する符号化処理の完了に続いて、即座に上記次フレームに対する符号化処理を開始する
    ことを特徴とする符号化装置。
  2. 上記次フレームを上記第2の符号化処理方法で符号化した際の符号化実処理時間と上記符号化予想処理時間とに基づいて算出された当該次フレームについての処理遅延時間と、上記現フレームについての上記処理遅延時間の平均が上記閾値未満のとき、
    上記符号化負荷制御手段は、上記次フレームのさらに次のフレームを、上記第1の符号化処理方法で符号化処理するよう上記符号化手段に指示する
    ことを特徴とする請求項1に記載の符号化装置。
  3. 上記記憶手段は、上記第1及び第2の符号化処理方法より符号化処理負荷の低い第3の符号化処理方法を実行するための第3のコーデックプログラムを格納し、
    上記次フレームを上記第2の符号化処理方法で符号化した際の符号化実処理時間と上記符号化予想処理時間とに基づいて算出された当該次フレームについての処理遅延時間と、上記現フレームについての上記処理遅延時間の平均が上記閾値以上のとき、
    上記符号化負荷制御手段は、上記次フレームのさらに次のフレームを、上記記憶手段から読み出された上記第3のコーデックプログラムに基づいて上記第3の符号化処理方法で符号化処理するよう上記符号化手段に指示する
    ことを特徴とする請求項1に記載の符号化装置。
  4. 上記遅延算出手段は、上記符号化予想処理時間を上記符号化実処理時間から減算することにより、上記処理遅延時間を算出する
    ことを特徴とする請求項1に記載の符号化装置。
  5. 第1の符号化処理方法を実行するための第1のコーデックプログラム又は当該第1の符号化処理方法より符号化処理負荷の低い第2の符号化処理方法を実行するための第2のコーデックプログラムに基づいて、映像の符号化に対して音声の符号化を優先しながら1フレーム期間に音声と映像を交互にそれぞれ処理して、映像をフレーム毎に上記第1又は第2の符号化処理方法で符号化処理する符号化ステップと、
    上記映像の符号化処理に要した1フレーム当たりの符号化実処理時間を検出する処理時間検出ステップと、
    上記第1の符号化処理方法による上記映像の符号化処理期間としてあらかじめ予想されている符号化予想処理時間と、現フレームの映像を上記第1の符号化処理方法で符号化処理した際の符号化実処理時間とに基づいて、上記現フレームの映像の符号化処理の処理遅延時間を算出する遅延算出ステップと、
    上記符号化予想処理時間と上記現フレームについての上記符号化実処理時間とに基づいて算出された当該現フレームの上記処理遅延時間が所定の閾値以上のとき、次フレームのフレーム期間内において、音声の符号化処理を行った後、上記現フレームの未符号化部分に対する上記第1の符号化処理方法による符号化を行い、当該現フレームの未符号化部分に対する符号化処理の完了に続いて、即座に当該次フレームに対する上記第2の符号化処理方法による符号化処理を開始させる符号化負荷制御ステップと
    を具えることを特徴とする符号化制御方法。
  6. 符号化装置に、
    第1の符号化処理方法を実行するための第1のコーデックプログラム又は当該第1の符号化処理方法より符号化処理負荷の低い第2の符号化処理方法を実行するための第2のコーデックプログラムに基づいて、映像の符号化に対して音声の符号化を優先しながら1フレーム期間に音声と映像を交互にそれぞれ処理して、映像をフレーム毎に上記第1又は第2の符号化処理方法で符号化処理する符号化ステップと、
    上記映像の符号化処理に要した1フレーム当たりの符号化実処理時間を検出する処理時間検出ステップと、
    上記第1の符号化処理方法による上記映像の符号化処理期間としてあらかじめ予想されている符号化予想処理時間と、現フレームの映像を上記第1の符号化処理方法で符号化処理した際の符号化実処理時間とに基づいて、上記現フレームの映像の符号化処理の処理遅延時間を算出する遅延算出ステップと、
    上記符号化予想処理時間と上記現フレームについての上記符号化実処理時間とに基づいて算出された当該現フレームの上記処理遅延時間が所定の閾値以上のとき、次フレームのフレーム期間内において、音声の符号化処理を行った後、上記現フレームの未符号化部分に対する上記第1の符号化処理方法による符号化を行い、当該現フレームの未符号化部分に対する符号化処理の完了に続いて、即座に当該次フレームに対する上記第2の符号化処理方法による符号化処理を開始させる符号化負荷制御ステップと
    を実行させる符号化制御プログラム。
JP2003310638A 2003-09-02 2003-09-02 符号化装置、符号化制御方法及び符号化制御プログラム Expired - Fee Related JP3802521B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2003310638A JP3802521B2 (ja) 2003-09-02 2003-09-02 符号化装置、符号化制御方法及び符号化制御プログラム
TW93125570A TWI249958B (en) 2003-09-02 2004-08-26 Video encoding device, video encoding control method, and computer readable storage medium storing video encoding control program
PCT/JP2004/013083 WO2005025226A1 (ja) 2003-09-02 2004-09-02 映像符号化装置、映像符号化制御方法及び映像符号化制御プログラム
US10/569,886 US8665966B2 (en) 2003-09-02 2004-09-02 Video coding apparatus, method of controlling video coding and program of controlling video coding
KR1020067004232A KR101121613B1 (ko) 2003-09-02 2004-09-02 영상 부호화 장치, 영상 부호화 제어 방법 및 영상 부호화 제어 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체
CN200480028220XA CN1860792B (zh) 2003-09-02 2004-09-02 视频编码设备、控制视频编码方法
EP04772897A EP1662794A4 (en) 2003-09-02 2004-09-02 VIDEO CODING DEVICE, VIDEO CODE CONTROL METHOD AND VIDEO CODING CONTROL PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003310638A JP3802521B2 (ja) 2003-09-02 2003-09-02 符号化装置、符号化制御方法及び符号化制御プログラム

Publications (3)

Publication Number Publication Date
JP2005080123A JP2005080123A (ja) 2005-03-24
JP2005080123A5 JP2005080123A5 (ja) 2005-08-04
JP3802521B2 true JP3802521B2 (ja) 2006-07-26

Family

ID=34269653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003310638A Expired - Fee Related JP3802521B2 (ja) 2003-09-02 2003-09-02 符号化装置、符号化制御方法及び符号化制御プログラム

Country Status (7)

Country Link
US (1) US8665966B2 (ja)
EP (1) EP1662794A4 (ja)
JP (1) JP3802521B2 (ja)
KR (1) KR101121613B1 (ja)
CN (1) CN1860792B (ja)
TW (1) TWI249958B (ja)
WO (1) WO2005025226A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711923B2 (en) * 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
JP4623650B2 (ja) * 2005-09-06 2011-02-02 パナソニック株式会社 動画像符号化装置,動画像符号化方法
CN100466736C (zh) * 2005-12-30 2009-03-04 杭州华三通信技术有限公司 运动图像编码控制方法及编码装置
JP2007195117A (ja) * 2006-01-23 2007-08-02 Toshiba Corp 動画像復号装置
JP2007251553A (ja) * 2006-03-15 2007-09-27 Matsushita Electric Ind Co Ltd リアルタイム処理装置及びその方法
JP2008092107A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 情報処理装置及び音声/映像データ再生方法
CN100463525C (zh) * 2006-12-11 2009-02-18 浙江大学 计算复杂度可动态调整的视频编码方法和装置
JP2008216472A (ja) * 2007-03-01 2008-09-18 Matsushita Electric Ind Co Ltd 音声復号化装置及び音声復号化システム
EP2143668A1 (de) 2008-07-09 2010-01-13 Interrroll Holding AG Rollenbahn mit Profilschiene
CN101394554B (zh) * 2008-09-28 2010-06-09 湖北科创高新网络视频股份有限公司 一种自适应跳帧方法和装置
JP5652066B2 (ja) * 2010-09-03 2015-01-14 ヤマハ株式会社 動画圧縮制御装置、動画記録装置及び動画記録再生装置
CA2911756C (en) * 2013-05-09 2023-06-27 Sunnybrook Research Institute Systems and methods for providing visual feedback of touch panel input during magnetic resonance imaging
CN103402086B (zh) * 2013-07-22 2017-02-15 华为技术有限公司 一种用于视频编码系统的性能控制方法及编码器
US9397683B2 (en) * 2014-08-05 2016-07-19 Intel Corporation Reduced digital audio sampling rates in digital audio processing chain
CN105898371A (zh) * 2015-12-07 2016-08-24 乐视云计算有限公司 实时转码的实时控制方法及装置
JP6724581B2 (ja) * 2016-06-15 2020-07-15 富士通株式会社 画像符号化装置、方法、及びプログラム
CN112040235B (zh) * 2020-11-04 2021-03-16 北京金山云网络技术有限公司 视频资源的编码方法和装置,视频资源的解码方法和装置
CN113038139B (zh) * 2021-03-25 2023-05-12 贵州电网有限责任公司 一种应用于机巡图片上传的图像压缩方法
CN113613071B (zh) * 2021-07-30 2023-10-20 上海商汤临港智能科技有限公司 一种图像处理方法、装置、计算机设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2016641C (en) * 1989-05-12 1995-07-11 Toshiyuki Tanoi Adaptive interframe prediction coded video communications system
US5818969A (en) * 1995-05-12 1998-10-06 Intel Corporation Intelligent start for motion estimation search
JPH10200900A (ja) 1997-01-10 1998-07-31 Nippon Telegr & Teleph Corp <Ntt> 符号化映像の高画質メディア同期再生方法及び装置
JP3588970B2 (ja) * 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
JPH1118083A (ja) * 1997-06-25 1999-01-22 Sony Corp ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
JP3407287B2 (ja) * 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
JP3185763B2 (ja) 1998-07-13 2001-07-11 日本電気株式会社 動画像符号化装置
JP3184175B2 (ja) 1999-03-05 2001-07-09 日本電気アイシーマイコンシステム株式会社 復号化装置
US6876703B2 (en) 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
JP2001346216A (ja) 2000-06-06 2001-12-14 Toshiba Corp 動画像圧縮方法および情報処理装置
JP2001352471A (ja) * 2000-06-07 2001-12-21 Toshiba Corp ビデオカメラ装置
EP1267464B1 (de) 2001-06-11 2005-08-24 ABB Schweiz AG Isolator für ein elektrisches Verschienungssystem sowie ein Isolatorsystem mit solchen Isolatoren
JP2003061097A (ja) 2001-08-09 2003-02-28 Sony Corp 画像符号化装置および方法、記録媒体、並びにプログラム
JP4151374B2 (ja) 2002-03-29 2008-09-17 セイコーエプソン株式会社 動画像符号化装置および動画像符号化方法
US20050024486A1 (en) 2003-07-31 2005-02-03 Viresh Ratnakar Video codec system with real-time complexity adaptation

Also Published As

Publication number Publication date
US20070014355A1 (en) 2007-01-18
US8665966B2 (en) 2014-03-04
CN1860792A (zh) 2006-11-08
EP1662794A1 (en) 2006-05-31
JP2005080123A (ja) 2005-03-24
CN1860792B (zh) 2010-05-12
TW200515820A (en) 2005-05-01
KR101121613B1 (ko) 2012-04-16
KR20060131725A (ko) 2006-12-20
EP1662794A4 (en) 2012-07-25
WO2005025226A1 (ja) 2005-03-17
TWI249958B (en) 2006-02-21

Similar Documents

Publication Publication Date Title
JP3802521B2 (ja) 符号化装置、符号化制御方法及び符号化制御プログラム
KR100562116B1 (ko) 처리 효율을 높인 영상음성 처리장치
US8320448B2 (en) Encoder with multiple re-entry and exit points
JP4519082B2 (ja) 情報処理方法、動画サムネイル表示方法、復号化装置、および情報処理装置
JPWO2007032123A1 (ja) マルチストリーム復号装置
JPH05268590A (ja) 動画像符号化復号化回路
JP2658832B2 (ja) 動画像復号制御装置
US7613819B2 (en) Image reproduction apparatus, control method thereof, program and storage medium
US7751687B2 (en) Data processing apparatus, data processing method, data processing system, program, and storage medium
JP3410669B2 (ja) 映像音声処理装置
WO2010134238A1 (ja) 映像記録装置
JP4433319B2 (ja) 信号再生装置
KR100726695B1 (ko) 디지털 신호 처리 장치 및 방법과 제공 매체
JP2009100206A (ja) 画像符号化データ復号化装置
JPH1174799A (ja) 可変長符号化データの処理方法及びバッファ制御装置
JP2011182169A (ja) 符号化装置および方法
JP2005080004A (ja) 動画像符号化装置
JP2001320653A (ja) 画像復号装置及び画像復号方法
JP2011015358A (ja) 映像復号化装置及び映像復号化方法
JPH1175171A (ja) マルチメディアデータ符号化多重化方法、マルチメディアデータ符号化多重化装置、およびマルチメディアデータ符号化多重化プログラム記録媒体
JP4461303B2 (ja) 動画復号化装置および動画復号化方法
JP4979355B2 (ja) 画像符号化装置および画像符号化方法
JP2006340238A (ja) 符号化装置及びその制御方法及びプログラム及び記憶媒体
JP2005080122A (ja) 画像復号化装置
JP2002034040A (ja) 動画像符号化装置におけるフレームメモリ管理方法及びフレームメモリ管理装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051014

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060427

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees