JPH07107461A - 映像符号化装置 - Google Patents
映像符号化装置Info
- Publication number
- JPH07107461A JPH07107461A JP24302793A JP24302793A JPH07107461A JP H07107461 A JPH07107461 A JP H07107461A JP 24302793 A JP24302793 A JP 24302793A JP 24302793 A JP24302793 A JP 24302793A JP H07107461 A JPH07107461 A JP H07107461A
- Authority
- JP
- Japan
- Prior art keywords
- video
- encoding
- decoding
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【目的】 一方の端末から受信した符号化映像情報を、
他方の端末へ送信する映像符号化装置において、復号時
の符号化パラメータを再符号化する時に参照すること
で、再符号化による品質劣化の抑制を図る。 【構成】 受信した符号化映像情報を復号して映像情報
を復元する映像復号部１３と、該映像復号部１３による
映像情報を再度符号化する映像符号化部１７と、前記映
像復号部１３で復号する際の単位符号化領域毎の符号化
パラメータを監視して履歴情報を記憶しておく符号化パ
ラメータ管理部１５と、該符号化パラメータ管理部１５
で記憶された履歴情報を参照して前記映像符号化部１７
での再符号化パラメータを制御する再符号化制御部１６
とを備えており、再符号化による映像品質の劣化を低減
する。
他方の端末へ送信する映像符号化装置において、復号時
の符号化パラメータを再符号化する時に参照すること
で、再符号化による品質劣化の抑制を図る。 【構成】 受信した符号化映像情報を復号して映像情報
を復元する映像復号部１３と、該映像復号部１３による
映像情報を再度符号化する映像符号化部１７と、前記映
像復号部１３で復号する際の単位符号化領域毎の符号化
パラメータを監視して履歴情報を記憶しておく符号化パ
ラメータ管理部１５と、該符号化パラメータ管理部１５
で記憶された履歴情報を参照して前記映像符号化部１７
での再符号化パラメータを制御する再符号化制御部１６
とを備えており、再符号化による映像品質の劣化を低減
する。
Description
【０００１】
【産業上の利用分野】本発明は、映像（動画像）信号に
含まれる情報量を削減して符号化するための映像符号化
装置に関し、より詳細には、一方の端末と他方の端末と
の間に設置され、両端末間での映像通信を中継するため
の映像符号化装置に関する。
含まれる情報量を削減して符号化するための映像符号化
装置に関し、より詳細には、一方の端末と他方の端末と
の間に設置され、両端末間での映像通信を中継するため
の映像符号化装置に関する。
【０００２】
【従来の技術】近年、高速ディジタル信号処理及びその
ためのＬＳＩ技術の発展や画像処理技術の進歩によっ
て、画像情報の有効な活用が期待されている。特に、通
信の分野では、ＩＳＤＮ（Integrated Services Digita
l Network：サービス統合ディジタル網）に代表される
ディジタルネットワークの整備や普及により、テレビ電
話やテレビ会議サービス等の映像通信サービスが既に実
用化されている。更に、サービスの高度化を目指して、
三地点以上の端末間で通信を行える多地点間テレビ会議
サービスや電子メールやデータベースを利用した映像分
配等のセンタ装置等に一旦情報を蓄積する非実時間型の
映像通信サービスの実現が検討されている。
ためのＬＳＩ技術の発展や画像処理技術の進歩によっ
て、画像情報の有効な活用が期待されている。特に、通
信の分野では、ＩＳＤＮ（Integrated Services Digita
l Network：サービス統合ディジタル網）に代表される
ディジタルネットワークの整備や普及により、テレビ電
話やテレビ会議サービス等の映像通信サービスが既に実
用化されている。更に、サービスの高度化を目指して、
三地点以上の端末間で通信を行える多地点間テレビ会議
サービスや電子メールやデータベースを利用した映像分
配等のセンタ装置等に一旦情報を蓄積する非実時間型の
映像通信サービスの実現が検討されている。
【０００３】図５（ａ）,（ｂ）は、映像通信サービス
（非実時間サービス）の通信形態の例を示す図で、図５
（ａ）は多地点間テレビ会議サービス、図５（ｂ）は映
像分配（データベース）サービスを各々示している。図
中、２１ａ〜２１ｃはテレビ会議端末、２２は多地点会
議制御ユニット（ＭＣＵ）、２３ａ〜２３ｃはテレビ会
議端末、２４ａ〜２４ｃは映像通信端末、２５は映像分
配センタ装置、２６はデータベースである。
（非実時間サービス）の通信形態の例を示す図で、図５
（ａ）は多地点間テレビ会議サービス、図５（ｂ）は映
像分配（データベース）サービスを各々示している。図
中、２１ａ〜２１ｃはテレビ会議端末、２２は多地点会
議制御ユニット（ＭＣＵ）、２３ａ〜２３ｃはテレビ会
議端末、２４ａ〜２４ｃは映像通信端末、２５は映像分
配センタ装置、２６はデータベースである。
【０００４】一般に、映像情報に含まれる情報量は非常
に多いため、映像信号をそのまま扱うことは現実的では
ない。しかし、映像信号にはその情報量に多くの冗長性
が含まれているため、この冗長度を取り除くことによっ
て、情報量を削減することが可能である。そこで、映像
情報を効率的に取り扱うためには、映像の（圧縮）符号
化技術が非常に重要である。代表的な映像符号化方式と
して、ITU-T勧告 H.261に規定された方式が、映像通信
では広く用いられている。
に多いため、映像信号をそのまま扱うことは現実的では
ない。しかし、映像信号にはその情報量に多くの冗長性
が含まれているため、この冗長度を取り除くことによっ
て、情報量を削減することが可能である。そこで、映像
情報を効率的に取り扱うためには、映像の（圧縮）符号
化技術が非常に重要である。代表的な映像符号化方式と
して、ITU-T勧告 H.261に規定された方式が、映像通信
では広く用いられている。
【０００５】映像通信端末としては、その端末が扱うこ
とのできる映像の解像度（映像フォーマット），フレー
ムレート，伝送速度などに応じて様々な種別の端末が存
在する。しかしながら、テレビ電話やテレビ会議のよう
な一対一の通信の場合には、異なる種別の端末であって
も、通信開始時にネゴシエーション手順等を利用するこ
とによって、端末間で共通する通信モードを決定して映
像通信を行うことができる。ところが、図５（ａ）に示
すような多地点間テレビ会議サービスでは、一対一通信
と同様な手順に従うと、すべての会議参加端末同士の通
信を保証するには、各端末がそれらの中で最低の能力の
端末に合わせた通信モードで通信を行わなければなら
ず、サービス性が低下する。また、図５（ｂ）に示すよ
うな映像分配サービスにおいては、データベースなどの
センタへ映像情報を送信する端末が、後にその映像情報
をどのような種別の端末が受信するかを予め知ることが
できないため、送信した端末と異なる種別の端末では映
像情報を受信できない場合が起こり得る。
とのできる映像の解像度（映像フォーマット），フレー
ムレート，伝送速度などに応じて様々な種別の端末が存
在する。しかしながら、テレビ電話やテレビ会議のよう
な一対一の通信の場合には、異なる種別の端末であって
も、通信開始時にネゴシエーション手順等を利用するこ
とによって、端末間で共通する通信モードを決定して映
像通信を行うことができる。ところが、図５（ａ）に示
すような多地点間テレビ会議サービスでは、一対一通信
と同様な手順に従うと、すべての会議参加端末同士の通
信を保証するには、各端末がそれらの中で最低の能力の
端末に合わせた通信モードで通信を行わなければなら
ず、サービス性が低下する。また、図５（ｂ）に示すよ
うな映像分配サービスにおいては、データベースなどの
センタへ映像情報を送信する端末が、後にその映像情報
をどのような種別の端末が受信するかを予め知ることが
できないため、送信した端末と異なる種別の端末では映
像情報を受信できない場合が起こり得る。
【０００６】従って、これらの問題を解決し、様々な種
別の端末間での相互接続性を保証するには、図５（ａ）
における多地点間テレビ会議サービスで、各端末２１ａ
〜２１ｃ，２３ａ〜２３ｃとの通信を中継する多地点会
議制御ユニット（ＭＣＵ）２２や、図５（ｂ）における
映像分配サービスの映像分配センタ装置２５などで、各
端末２４ａ〜２４ｃが受信できるような映像情報への変
換機能を提供する必要がある。しかし、前述のように、
映像通信において伝送される映像情報は符号化されてい
るため、符号化映像信号を直接変換することは簡単では
ない。そこで、前記多地点会議制御ユニット２２や前記
映像分配センタ装置２５では、端末から受信した符号化
映像情報を一旦復号して映像情報を復元してから、映像
フォーマットの変換等の必要な変換を施し、端末が受信
可能なモードで再度符号化して送出している。
別の端末間での相互接続性を保証するには、図５（ａ）
における多地点間テレビ会議サービスで、各端末２１ａ
〜２１ｃ，２３ａ〜２３ｃとの通信を中継する多地点会
議制御ユニット（ＭＣＵ）２２や、図５（ｂ）における
映像分配サービスの映像分配センタ装置２５などで、各
端末２４ａ〜２４ｃが受信できるような映像情報への変
換機能を提供する必要がある。しかし、前述のように、
映像通信において伝送される映像情報は符号化されてい
るため、符号化映像信号を直接変換することは簡単では
ない。そこで、前記多地点会議制御ユニット２２や前記
映像分配センタ装置２５では、端末から受信した符号化
映像情報を一旦復号して映像情報を復元してから、映像
フォーマットの変換等の必要な変換を施し、端末が受信
可能なモードで再度符号化して送出している。
【０００７】図６は、多地点会議制御ユニット（ＭＣ
Ｕ）や映像分配センタ装置として利用される再符号化の
機能を備えた従来の映像符号化装置の構成図で、図中、
３１は回線制御部、３２は伝送復号部、３３は映像復号
部、３４は映像フォーマット変換部、３５は映像符号化
部、３６は伝送符号化部、３７は回線制御部である。
Ｕ）や映像分配センタ装置として利用される再符号化の
機能を備えた従来の映像符号化装置の構成図で、図中、
３１は回線制御部、３２は伝送復号部、３３は映像復号
部、３４は映像フォーマット変換部、３５は映像符号化
部、３６は伝送符号化部、３７は回線制御部である。
【０００８】回線制御部３１では、映像符号化装置が接
続されている通信網によって規定された手順に従って回
線接続制御を行い、端末との伝送路を確立すると共に、
端末から送信されてくる情報信号の受信処理を行い、伝
送復号部３２へ送る。前記端末から受信した情報信号
は、符号化音声信号と符号化映像信号及びその他のデー
タ信号などが多重化されており、また、伝送誤りから情
報信号を保護するための誤り訂正符号化などが施されて
いる。そのため、伝送復号部３２では、多重化された情
報信号の分離や誤り訂正復号処理などを行い、符号化映
像信号が取り出されて映像復号部３３へ送られる。
続されている通信網によって規定された手順に従って回
線接続制御を行い、端末との伝送路を確立すると共に、
端末から送信されてくる情報信号の受信処理を行い、伝
送復号部３２へ送る。前記端末から受信した情報信号
は、符号化音声信号と符号化映像信号及びその他のデー
タ信号などが多重化されており、また、伝送誤りから情
報信号を保護するための誤り訂正符号化などが施されて
いる。そのため、伝送復号部３２では、多重化された情
報信号の分離や誤り訂正復号処理などを行い、符号化映
像信号が取り出されて映像復号部３３へ送られる。
【０００９】該映像復号部３３では、符号化映像信号を
復号して端末から送られた映像信号を復元する。該映像
復号部３３で復号された映像信号は、映像フォーマット
の変換などの映像処理が必要な場合には、映像フォーマ
ット変換部３４へ送られて適当な変換処理が行われた
後、映像符号化部３５へ送られる。また、前記映像信号
の変換処理が不要な場合には、前記映像復号部３３から
直接映像符号化部３５へ送られる。該映像符号化部３５
では、受信端末の能力に合わせて、映像信号を適当に符
号化して符号化映像信号を出力する。
復号して端末から送られた映像信号を復元する。該映像
復号部３３で復号された映像信号は、映像フォーマット
の変換などの映像処理が必要な場合には、映像フォーマ
ット変換部３４へ送られて適当な変換処理が行われた
後、映像符号化部３５へ送られる。また、前記映像信号
の変換処理が不要な場合には、前記映像復号部３３から
直接映像符号化部３５へ送られる。該映像符号化部３５
では、受信端末の能力に合わせて、映像信号を適当に符
号化して符号化映像信号を出力する。
【００１０】伝送符号化部３６では、前記伝送復号部３
２とは逆の処理、すなわち、前記映像符号化部３５から
出力された符号化映像信号に対して誤り訂正符号化処理
及び符号化音声信号やその他の信号との多重化処理など
を行って回線制御部３７へ送る。該回線制御部３７で
は、前記回線制御部３１と同様に通信網との回線接続制
御を行い、端末との伝送路を確立して前記伝送符号化部
３６からの情報信号を相手受信端末へ送出する。
２とは逆の処理、すなわち、前記映像符号化部３５から
出力された符号化映像信号に対して誤り訂正符号化処理
及び符号化音声信号やその他の信号との多重化処理など
を行って回線制御部３７へ送る。該回線制御部３７で
は、前記回線制御部３１と同様に通信網との回線接続制
御を行い、端末との伝送路を確立して前記伝送符号化部
３６からの情報信号を相手受信端末へ送出する。
【００１１】
【発明が解決しようとする課題】しかしながら、前述の
ように、従来の映像符号化装置では、受信した符号化映
像信号を一旦復号して映像信号を復元した後、該映像信
号に対して再度符号化処理が行われるが、符号化処理に
おける情報量の削減によって、符号化後の符号化映像品
質は符号化前の映像品質に比較して劣化してしまうた
め、映像符号化装置から出力される符号化映像品質は、
受信した符号化映像品質に再符号化による品質劣化が更
に加わることにより、一層劣化してしまうという問題点
があった。
ように、従来の映像符号化装置では、受信した符号化映
像信号を一旦復号して映像信号を復元した後、該映像信
号に対して再度符号化処理が行われるが、符号化処理に
おける情報量の削減によって、符号化後の符号化映像品
質は符号化前の映像品質に比較して劣化してしまうた
め、映像符号化装置から出力される符号化映像品質は、
受信した符号化映像品質に再符号化による品質劣化が更
に加わることにより、一層劣化してしまうという問題点
があった。
【００１２】本発明は、このような実情に鑑みてなされ
たもので、符号化映像信号を復号する際に、符号化パラ
メータを監視して記憶しておき、復元された映像信号を
再度符号化する時に、前記記憶された符号化パラメータ
を参照して符号化制御を行うことによって、再符号化に
よる映像品質の劣化を低減することができる映像符号化
装置を提供することを目的とするものである。
たもので、符号化映像信号を復号する際に、符号化パラ
メータを監視して記憶しておき、復元された映像信号を
再度符号化する時に、前記記憶された符号化パラメータ
を参照して符号化制御を行うことによって、再符号化に
よる映像品質の劣化を低減することができる映像符号化
装置を提供することを目的とするものである。
【００１３】
【課題を解決するための手段】本発明は、上記目的を達
成するために、通信回線を介して端末との接続処理を行
う第１の回線制御手段と、前記端末から受信した情報よ
り符号化映像情報を取り出す伝送復号手段と、該伝送復
号手段により取り出された該符号化映像情報を復号して
映像を復元する映像復号手段と、該映像復号手段により
復元された映像を再度符号化する映像符号化手段と、該
映像符号化手段による符号化映像情報を伝送に適した情
報形式に変換する伝送符号化手段と、該伝送符号化手段
により変換された情報を通信回線を介して別の端末へ送
信するための第２の回線制御手段とを備え、一方の端末
から受信した符号化映像情報を別の端末へ送信する映像
符号化装置において、前記映像復号手段で復号する際の
量子化ステップサイズ等の符号化パラメータを監視して
記憶しておく符号化パラメータ管理手段と、該符号化パ
ラメータ管理手段により記憶された符号化パラメータを
参照して前記映像符号化手段での再符号化パラメータを
制御する再符号化制御手段とを設け、前記符号化パラメ
ータ管理手段では、復号時に単位符号化領域毎の前記符
号化パラメータの履歴情報を記憶しておき、前記再符号
化制御手段では、前記符号化パラメータ管理手段に記憶
されている履歴情報を参照して、前記映像符号化手段に
対する符号化パラメータを決定して指示することを特徴
としたものである。
成するために、通信回線を介して端末との接続処理を行
う第１の回線制御手段と、前記端末から受信した情報よ
り符号化映像情報を取り出す伝送復号手段と、該伝送復
号手段により取り出された該符号化映像情報を復号して
映像を復元する映像復号手段と、該映像復号手段により
復元された映像を再度符号化する映像符号化手段と、該
映像符号化手段による符号化映像情報を伝送に適した情
報形式に変換する伝送符号化手段と、該伝送符号化手段
により変換された情報を通信回線を介して別の端末へ送
信するための第２の回線制御手段とを備え、一方の端末
から受信した符号化映像情報を別の端末へ送信する映像
符号化装置において、前記映像復号手段で復号する際の
量子化ステップサイズ等の符号化パラメータを監視して
記憶しておく符号化パラメータ管理手段と、該符号化パ
ラメータ管理手段により記憶された符号化パラメータを
参照して前記映像符号化手段での再符号化パラメータを
制御する再符号化制御手段とを設け、前記符号化パラメ
ータ管理手段では、復号時に単位符号化領域毎の前記符
号化パラメータの履歴情報を記憶しておき、前記再符号
化制御手段では、前記符号化パラメータ管理手段に記憶
されている履歴情報を参照して、前記映像符号化手段に
対する符号化パラメータを決定して指示することを特徴
としたものである。
【００１４】
【作用】映像復号手段は、符号化映像信号を復号して映
像信号を復元すると共に、復号時の動きベクトルや量子
化ステップサイズ等の符号化パラメータを単位符号化領
域毎に出力する。符号化パラメータ管理手段は、前記符
号化パラメータの履歴情報を記憶しておく。再符号化制
御手段では、前記符号化パラメータ管理手段に記憶され
ている情報を参照して、映像符号化手段における符号化
パラメータを決定して指示する。映像符号化手段は、前
記再符号化制御手段から指示された符号化パラメータに
従って、映像信号を再度符号化することによって、再符
号化による映像品質の劣化を低減する。
像信号を復元すると共に、復号時の動きベクトルや量子
化ステップサイズ等の符号化パラメータを単位符号化領
域毎に出力する。符号化パラメータ管理手段は、前記符
号化パラメータの履歴情報を記憶しておく。再符号化制
御手段では、前記符号化パラメータ管理手段に記憶され
ている情報を参照して、映像符号化手段における符号化
パラメータを決定して指示する。映像符号化手段は、前
記再符号化制御手段から指示された符号化パラメータに
従って、映像信号を再度符号化することによって、再符
号化による映像品質の劣化を低減する。
【００１５】
【実施例】実施例について、図面を参照して以下に説明
する。図１は、本発明による映像符号化装置の一実施例
を説明するための構成図で、図中、１１は回線制御部、
１２は伝送復号部、１３は映像復号部、１４は映像フォ
ーマット変換部、１５は符号化パラメータ管理部、１６
は再符号化制御部、１７は映像符号化部、１８は伝送符
号化部、１９は回線制御部である。
する。図１は、本発明による映像符号化装置の一実施例
を説明するための構成図で、図中、１１は回線制御部、
１２は伝送復号部、１３は映像復号部、１４は映像フォ
ーマット変換部、１５は符号化パラメータ管理部、１６
は再符号化制御部、１７は映像符号化部、１８は伝送符
号化部、１９は回線制御部である。
【００１６】回線制御部１１は外部の通信回線に接続さ
れ、端末との通信接続処理を行う。伝送復号部１２は前
記回線制御部１１に接続され、受信した情報から符号化
映像情報を取り出す。映像復号部１３は前記伝送復号部
１２に接続され、符号化映像情報を復号して映像を復元
する。映像フォーマット変換部１４は前記映像復号部１
３に接続され、映像フォーマットの変換などの映像処理
を行う。符号化パラメータ管理部１５は前記映像復号部
１３に接続され、復号する際の符号化パラメータを記憶
する。
れ、端末との通信接続処理を行う。伝送復号部１２は前
記回線制御部１１に接続され、受信した情報から符号化
映像情報を取り出す。映像復号部１３は前記伝送復号部
１２に接続され、符号化映像情報を復号して映像を復元
する。映像フォーマット変換部１４は前記映像復号部１
３に接続され、映像フォーマットの変換などの映像処理
を行う。符号化パラメータ管理部１５は前記映像復号部
１３に接続され、復号する際の符号化パラメータを記憶
する。
【００１７】再符号化制御部１６は前記符号化パラメー
タ管理部１５に接続され、該記憶された符号化パラメー
タを参照して再符号化パラメータを制御する。映像符号
化部１７は前記再符号化制御部１６と映像フォーマット
変換部１４と映像復号部１３とに接続され、映像信号を
再度符号化する。伝送符号化部１８は前記映像符号化部
１７に接続され、符号化映像情報を伝送に適した情報形
式に変換する。回線制御部１９は前記伝送符号化部１８
と外部の通信回線に接続され、端末との通信接続処理を
行う。
タ管理部１５に接続され、該記憶された符号化パラメー
タを参照して再符号化パラメータを制御する。映像符号
化部１７は前記再符号化制御部１６と映像フォーマット
変換部１４と映像復号部１３とに接続され、映像信号を
再度符号化する。伝送符号化部１８は前記映像符号化部
１７に接続され、符号化映像情報を伝送に適した情報形
式に変換する。回線制御部１９は前記伝送符号化部１８
と外部の通信回線に接続され、端末との通信接続処理を
行う。
【００１８】図２及び図３は、本発明による映像符号化
装置の動作を説明するためのフローチャートである。以
下、各ステップに従って順に説明する。まず、映像符号
化装置は、回線制御部１１において、通信網によって規
定された手順に従って、映像情報を送信しようとする映
像通信端末との間で回線接続を行う（step1）。端末と
の伝送路が確立されると、回線制御部１１はネゴシエー
ション手順を実行して送信映像通信端末の種別及び能力
を確認し（step2）、通信モードを決定して通信を開始
する（step3）。映像通信が開始されると、回線制御部
１１は端末から送信されてくる情報信号の受信処理を行
い（step4）、伝送復号部１２へ送る。該伝送復号部１
２では、受信した映像や音声等の情報が多重されている
信号から符号化映像信号を分離し（step5）、誤り訂正
復号処理を行って符号化映像信号を取り出す（step
6）。
装置の動作を説明するためのフローチャートである。以
下、各ステップに従って順に説明する。まず、映像符号
化装置は、回線制御部１１において、通信網によって規
定された手順に従って、映像情報を送信しようとする映
像通信端末との間で回線接続を行う（step1）。端末と
の伝送路が確立されると、回線制御部１１はネゴシエー
ション手順を実行して送信映像通信端末の種別及び能力
を確認し（step2）、通信モードを決定して通信を開始
する（step3）。映像通信が開始されると、回線制御部
１１は端末から送信されてくる情報信号の受信処理を行
い（step4）、伝送復号部１２へ送る。該伝送復号部１
２では、受信した映像や音声等の情報が多重されている
信号から符号化映像信号を分離し（step5）、誤り訂正
復号処理を行って符号化映像信号を取り出す（step
6）。
【００１９】これと並行して、回線制御部１９において
は、前記回線制御部１１と同様にして、通信網によって
規定された手順に従って、受信映像通信端末との間で回
線接続を行う（step7）。端末との伝送路が確立される
と、回線制御部１９はネゴシエーション手順を実行して
受信映像通信端末の種別及び能力を確認し（step8）、
通信モードを決定して通信を開始する（step9）。
は、前記回線制御部１１と同様にして、通信網によって
規定された手順に従って、受信映像通信端末との間で回
線接続を行う（step7）。端末との伝送路が確立される
と、回線制御部１９はネゴシエーション手順を実行して
受信映像通信端末の種別及び能力を確認し（step8）、
通信モードを決定して通信を開始する（step9）。
【００２０】通信端末からの通信モードに従った情報信
号を受信端末が受信可能な場合には（step10）、前記伝
送復号部１２から出力された符号化映像信号は、そのま
ま伝送符号化部１８へ送られる。該伝送符号化部１８で
は、伝送復号部１２での処理とは逆に、符号化映像信号
に対して誤り訂正符号化（step11）、及び符号化音声信
号，その他との多重化処理などが行われ（step12）、回
線制御部１９へ送られる。該回線制御部１９からは、多
重化された情報信号が通信回線を通して受信映像通信端
末へ送信される（step13）。
号を受信端末が受信可能な場合には（step10）、前記伝
送復号部１２から出力された符号化映像信号は、そのま
ま伝送符号化部１８へ送られる。該伝送符号化部１８で
は、伝送復号部１２での処理とは逆に、符号化映像信号
に対して誤り訂正符号化（step11）、及び符号化音声信
号，その他との多重化処理などが行われ（step12）、回
線制御部１９へ送られる。該回線制御部１９からは、多
重化された情報信号が通信回線を通して受信映像通信端
末へ送信される（step13）。
【００２１】一方、送信端末と受信端末の種別が異な
り、送信端末からの符号化映像信号を受信端末が受信で
きない場合には、再符号化の処理が行われる（step1
0）。伝送復号部１２からの符号化映像信号は、映像復
号部１３へ送られて復号処理が行われ、端末から送信さ
れた映像信号が復元される（step14）。この時、復号の
際に得られた符号化パラメータは、符号化パラメータ管
理部１５へ送られて、単位符号化領域毎に記憶される
（step18）。更に、復号された映像信号を受信端末が取
り扱えるような映像フォーマットへ変換するなどの映像
処理が必要な場合には（step15）、映像信号は映像フォ
ーマット変換部１４において、適当な変換処理が施され
た後（step16）、映像符号化部１７へ送られる（step1
7）。映像信号の変換処理が不要な場合には（step1
5）、前記映像復号部１３からの映像信号は、直接映像
符号化部１７へ送られる（step17）。
り、送信端末からの符号化映像信号を受信端末が受信で
きない場合には、再符号化の処理が行われる（step1
0）。伝送復号部１２からの符号化映像信号は、映像復
号部１３へ送られて復号処理が行われ、端末から送信さ
れた映像信号が復元される（step14）。この時、復号の
際に得られた符号化パラメータは、符号化パラメータ管
理部１５へ送られて、単位符号化領域毎に記憶される
（step18）。更に、復号された映像信号を受信端末が取
り扱えるような映像フォーマットへ変換するなどの映像
処理が必要な場合には（step15）、映像信号は映像フォ
ーマット変換部１４において、適当な変換処理が施され
た後（step16）、映像符号化部１７へ送られる（step1
7）。映像信号の変換処理が不要な場合には（step1
5）、前記映像復号部１３からの映像信号は、直接映像
符号化部１７へ送られる（step17）。
【００２２】再符号化制御部１６では、前記符号化パラ
メータ管理部１５に記憶された符号化パラメータを、対
応する単位符号化領域毎に読み出して（step19）、該符
号化パラメータを参照することによって映像符号化部１
７での再符号化パラメータを決定する（step20）。映像
符号化部１７では、再符号化制御部１６から指示された
再符号化パラメータに従って、映像信号を適当に符号化
して（step17）、符号化映像信号が出力される。符号化
映像信号は、伝送符号化部１８での誤り訂正符号化（st
ep11），多重化処理を受けた後（step12）、回線制御部
１９を介して受信映像通信端末へ送信される（step1
3）。
メータ管理部１５に記憶された符号化パラメータを、対
応する単位符号化領域毎に読み出して（step19）、該符
号化パラメータを参照することによって映像符号化部１
７での再符号化パラメータを決定する（step20）。映像
符号化部１７では、再符号化制御部１６から指示された
再符号化パラメータに従って、映像信号を適当に符号化
して（step17）、符号化映像信号が出力される。符号化
映像信号は、伝送符号化部１８での誤り訂正符号化（st
ep11），多重化処理を受けた後（step12）、回線制御部
１９を介して受信映像通信端末へ送信される（step1
3）。
【００２３】図４は、本発明による映像符号化装置にお
ける主要部の動作例を示すフローチャートである。以
下、各ステップに従って順に説明する。なお、主要部の
動作とは、映像復号部１３と符号化パラメータ管理部１
５と再符号化制御部１６と映像符号化部１７とにおける
再符号化の動作を意味している。
ける主要部の動作例を示すフローチャートである。以
下、各ステップに従って順に説明する。なお、主要部の
動作とは、映像復号部１３と符号化パラメータ管理部１
５と再符号化制御部１６と映像符号化部１７とにおける
再符号化の動作を意味している。
【００２４】符号化映像信号には、動き補償フレーム間
予測符号化における映像フレーム間での動きを表す動き
ベクトルや、情報量を削減（圧縮）する量子化の段階で
の量子化ステップサイズ（量子化幅）等の、復号のため
に必要な符号化時に使用されたパラメータが、符号化さ
れた映像自体の情報と共に含まれている（step1）。ま
た、これらの符号化パラメータは、符号化の際に、予め
定められた大きさの矩形領域で表される単位領域毎に決
定される（step2）。映像復号部１３では、符号化映像
信号に含まれている符号化パラメータを復号して参照し
ながら（step3）、映像情報自体の復号を進める（step4
〜7）。この時の符号化パラメータは、符号化パラメー
タ管理部１５において、対応する単位符号化領域毎に記
憶される（step8）。再符号化制御部１６は、現在の符
号化対象となっている単位符号化領域と同一位置の符号
化パラメータを符号化パラメータ管理部１５から読み出
す（step9,10）。
予測符号化における映像フレーム間での動きを表す動き
ベクトルや、情報量を削減（圧縮）する量子化の段階で
の量子化ステップサイズ（量子化幅）等の、復号のため
に必要な符号化時に使用されたパラメータが、符号化さ
れた映像自体の情報と共に含まれている（step1）。ま
た、これらの符号化パラメータは、符号化の際に、予め
定められた大きさの矩形領域で表される単位領域毎に決
定される（step2）。映像復号部１３では、符号化映像
信号に含まれている符号化パラメータを復号して参照し
ながら（step3）、映像情報自体の復号を進める（step4
〜7）。この時の符号化パラメータは、符号化パラメー
タ管理部１５において、対応する単位符号化領域毎に記
憶される（step8）。再符号化制御部１６は、現在の符
号化対象となっている単位符号化領域と同一位置の符号
化パラメータを符号化パラメータ管理部１５から読み出
す（step9,10）。
【００２５】符号化パラメータのうち、動きベクトルの
情報については、再符号化の時に受信した符号化映像信
号と同一のものを使用した方が、符号化効率が良いた
め、そのまま映像符号化部１７での符号化パラメータと
して指示される（step11）。また、量子化ステップサイ
ズについては、再符号化された後の符号化映像信号の情
報量を、受信した符号化映像信号の情報量とは変化させ
る必要があるため、映像復号部１３で得られた量子化ス
テップサイズと同一の値を映像符号化部１７で用いるこ
とはできない。そこで、目的とする再符号化後の情報量
に応じて、量子化ステップサイズが修正されて（step1
2）、映像符号化部１７に指示される（step13）。
情報については、再符号化の時に受信した符号化映像信
号と同一のものを使用した方が、符号化効率が良いた
め、そのまま映像符号化部１７での符号化パラメータと
して指示される（step11）。また、量子化ステップサイ
ズについては、再符号化された後の符号化映像信号の情
報量を、受信した符号化映像信号の情報量とは変化させ
る必要があるため、映像復号部１３で得られた量子化ス
テップサイズと同一の値を映像符号化部１７で用いるこ
とはできない。そこで、目的とする再符号化後の情報量
に応じて、量子化ステップサイズが修正されて（step1
2）、映像符号化部１７に指示される（step13）。
【００２６】この時、符号化パラメータ管理部１５に記
憶されている単位符号化領域毎の量子化ステップサイズ
の配分の関係はそのまま保持して、映像フレーム全体に
渡って一定の割合で量子化ステップサイズを変化させる
ことにより、符号化による映像品質の劣化を最低限に抑
えることができる。映像符号化部１７では、これらの再
符号化制御部１６で決定されて指示された符号化対象と
なっている単位符号化領域毎の符号化パラメータを使っ
て、映像信号を符号化して符号化映像信号を出力する。
憶されている単位符号化領域毎の量子化ステップサイズ
の配分の関係はそのまま保持して、映像フレーム全体に
渡って一定の割合で量子化ステップサイズを変化させる
ことにより、符号化による映像品質の劣化を最低限に抑
えることができる。映像符号化部１７では、これらの再
符号化制御部１６で決定されて指示された符号化対象と
なっている単位符号化領域毎の符号化パラメータを使っ
て、映像信号を符号化して符号化映像信号を出力する。
【００２７】
【発明の効果】以上の説明から明らかなように、本発明
によると、映像信号を再度符号化する際に、復号時に得
られた符号化パラメータを記憶しておき、該記憶された
符号化パラメータを参照して符号化制御を行うことによ
って、再符号化による映像品質の劣化を低減することが
できるため、多地点間テレビ会議システムや映像分配サ
ービス等において、より良い符号化映像品質を得ること
ができる。また、本発明の適用を図ることによって、映
像通信システムに様々な種別の映像通信端末を収容する
ことが可能となり、システムのサービス範囲の拡大が期
待できる。
によると、映像信号を再度符号化する際に、復号時に得
られた符号化パラメータを記憶しておき、該記憶された
符号化パラメータを参照して符号化制御を行うことによ
って、再符号化による映像品質の劣化を低減することが
できるため、多地点間テレビ会議システムや映像分配サ
ービス等において、より良い符号化映像品質を得ること
ができる。また、本発明の適用を図ることによって、映
像通信システムに様々な種別の映像通信端末を収容する
ことが可能となり、システムのサービス範囲の拡大が期
待できる。
【図１】本発明による映像符号化装置の一実施例を説明
するための構成図である。
するための構成図である。
【図２】本発明による映像符号化装置の動作を説明する
ためのフローチャート（その１）である。
ためのフローチャート（その１）である。
【図３】本発明による映像符号化装置の動作を説明する
ためのフローチャート（その２）である。
ためのフローチャート（その２）である。
【図４】本発明による映像符号化装置における主要部の
動作例を示すフローチャートである。
動作例を示すフローチャートである。
【図５】従来の映像通信サービスの通信形態の例を示す
図である。
図である。
【図６】従来の映像符号化装置の構成図である。
１１…回線制御部、１２…伝送復号部、１３…映像復号
部、１４…映像フォーマット変換部、１５…符号化パラ
メータ管理部、１６…再符号化制御部、１７…映像符号
化部、１８…伝送符号化部、１９…回線制御部。
部、１４…映像フォーマット変換部、１５…符号化パラ
メータ管理部、１６…再符号化制御部、１７…映像符号
化部、１８…伝送符号化部、１９…回線制御部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中野 博隆 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (72)発明者 中村 修 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内
Claims (1)
- 【請求項１】 通信回線を介して端末との接続処理を行
う第１の回線制御手段と、前記端末から受信した情報よ
り符号化映像情報を取り出す伝送復号手段と、該伝送復
号手段により取り出された該符号化映像情報を復号して
映像を復元する映像復号手段と、該映像復号手段により
復元された映像を再度符号化する映像符号化手段と、該
映像符号化手段による符号化映像情報を伝送に適した情
報形式に変換する伝送符号化手段と、該伝送符号化手段
により変換された情報を通信回線を介して別の端末へ送
信するための第２の回線制御手段とを備え、一方の端末
から受信した符号化映像情報を別の端末へ送信する映像
符号化装置において、前記映像復号手段で復号する際の
量子化ステップサイズ等の符号化パラメータを監視して
記憶しておく符号化パラメータ管理手段と、該符号化パ
ラメータ管理手段により記憶された符号化パラメータを
参照して前記映像符号化手段での再符号化パラメータを
制御する再符号化制御手段とを設け、前記符号化パラメ
ータ管理手段では、復号時に単位符号化領域毎の前記符
号化パラメータの履歴情報を記憶しておき、前記再符号
化制御手段では、前記符号化パラメータ管理手段に記憶
されている履歴情報を参照して、前記映像符号化手段に
対する符号化パラメータを決定して指示することを特徴
とする映像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24302793A JP3081425B2 (ja) | 1993-09-29 | 1993-09-29 | 映像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24302793A JP3081425B2 (ja) | 1993-09-29 | 1993-09-29 | 映像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07107461A true JPH07107461A (ja) | 1995-04-21 |
| JP3081425B2 JP3081425B2 (ja) | 2000-08-28 |
Family
ID=17097784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24302793A Expired - Lifetime JP3081425B2 (ja) | 1993-09-29 | 1993-09-29 | 映像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3081425B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08265372A (ja) * | 1995-03-20 | 1996-10-11 | Nec Corp | テレビ会議システムおよびテレビ会議システム用ルータ装置 |
| US6671454B1 (en) | 1998-11-19 | 2003-12-30 | Nec Corporation | Program information providing apparatus and record/playback control apparatus |
| WO2005086492A1 (ja) * | 2004-03-03 | 2005-09-15 | Sony Corporation | データ処理装置およびその方法と符号化装置 |
| WO2005094077A1 (ja) * | 2004-03-25 | 2005-10-06 | Nec Corporation | 多地点会議システムおよび多地点会議装置 |
| US6959041B2 (en) | 1999-12-03 | 2005-10-25 | Nec Corporation | Picture encoding system conversion device and encoding rate conversion device |
| US7236526B1 (en) | 1999-02-09 | 2007-06-26 | Sony Corporation | Coding system and its method, coding device and its method, decoding device and its method, recording device and its method, and reproducing device and its method |
| WO2008069160A1 (ja) * | 2006-12-06 | 2008-06-12 | Nec Corporation | Ｐｔｔサーバ、ｐｔｔ通信システム、ｐｔｔ通信方法、及びプログラム |
| JP2008521293A (ja) * | 2004-11-15 | 2008-06-19 | スミス マイクロ ソフトウエア，インコーポレイテッド | 既圧縮ファイルのロスレス圧縮システムおよび方法 |
| US7469007B2 (en) | 1998-03-10 | 2008-12-23 | Sony Corporation | Transcoding system using encoding history information |
| US7606124B2 (en) | 2003-05-14 | 2009-10-20 | Sony Corporation | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program |
| US7630442B2 (en) | 1999-02-22 | 2009-12-08 | Mitsubishi Denki Kabushiki Kaisha | Packet generating method, video decoding method, media multiplexer, media demultiplexer, multimedia communication system and bit stream converter |
| USRE43021E1 (en) | 1994-03-29 | 2011-12-13 | Sony Corporation | Picture signal transmitting method and apparatus |
| US8170118B2 (en) | 1999-12-03 | 2012-05-01 | Sony Corporation | Information processing apparatus, information processing method and recording medium |
| JP2013543306A (ja) * | 2010-09-20 | 2013-11-28 | ヴィディオ・インコーポレーテッド | 多地点会議の制御および管理用のシステムおよび方法 |
| JP2020096353A (ja) * | 2018-11-30 | 2020-06-18 | 株式会社リコー | 中継装置、通信システム、通信方法、及びプログラム |
-
1993
- 1993-09-29 JP JP24302793A patent/JP3081425B2/ja not_active Expired - Lifetime
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE43021E1 (en) | 1994-03-29 | 2011-12-13 | Sony Corporation | Picture signal transmitting method and apparatus |
| USRE43043E1 (en) | 1994-03-29 | 2011-12-27 | Sony Corporation | Picture signal transmitting method and apparatus |
| USRE43111E1 (en) | 1994-03-29 | 2012-01-17 | Sony Corporation | Picture signal transmitting method and apparatus |
| USRE43238E1 (en) | 1994-03-29 | 2012-03-13 | Sony Corporation | Picture signal transmitting method and apparatus |
| JPH08265372A (ja) * | 1995-03-20 | 1996-10-11 | Nec Corp | テレビ会議システムおよびテレビ会議システム用ルータ装置 |
| US7469007B2 (en) | 1998-03-10 | 2008-12-23 | Sony Corporation | Transcoding system using encoding history information |
| US8938000B2 (en) | 1998-03-10 | 2015-01-20 | Sony Corporation | Transcoding system using encoding history information |
| US8934536B2 (en) | 1998-03-10 | 2015-01-13 | Sony Corporation | Transcoding system using encoding history information |
| US8638849B2 (en) | 1998-03-10 | 2014-01-28 | Sony Corporation | Transcoding system using encoding history information |
| US8948251B2 (en) | 1998-03-10 | 2015-02-03 | Sony Corporation | Transcoding system using encoding history information |
| US8687690B2 (en) | 1998-03-10 | 2014-04-01 | Sony Corporation | Transcoding system using encoding history information |
| US8982946B2 (en) | 1998-03-10 | 2015-03-17 | Sony Corporation | Transcoding system using encoding history information |
| US6671454B1 (en) | 1998-11-19 | 2003-12-30 | Nec Corporation | Program information providing apparatus and record/playback control apparatus |
| US7236526B1 (en) | 1999-02-09 | 2007-06-26 | Sony Corporation | Coding system and its method, coding device and its method, decoding device and its method, recording device and its method, and reproducing device and its method |
| US7680187B2 (en) | 1999-02-09 | 2010-03-16 | Sony Corporation | Coding system and method, encoding device and method, decoding device and method, recording device and method, and reproducing device and method |
| US8681868B2 (en) | 1999-02-09 | 2014-03-25 | Sony Corporation | Coding system and method, encoding device and method, decoding device and method, recording device and method, and reproducing device and method |
| US7630442B2 (en) | 1999-02-22 | 2009-12-08 | Mitsubishi Denki Kabushiki Kaisha | Packet generating method, video decoding method, media multiplexer, media demultiplexer, multimedia communication system and bit stream converter |
| US7809065B2 (en) | 1999-12-03 | 2010-10-05 | Nec Corporation | Picture encoding system conversion device and encoding rate conversion device |
| US8170118B2 (en) | 1999-12-03 | 2012-05-01 | Sony Corporation | Information processing apparatus, information processing method and recording medium |
| US6959041B2 (en) | 1999-12-03 | 2005-10-25 | Nec Corporation | Picture encoding system conversion device and encoding rate conversion device |
| US7859956B2 (en) | 2003-05-14 | 2010-12-28 | Sony Corporation | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program |
| US7606124B2 (en) | 2003-05-14 | 2009-10-20 | Sony Corporation | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program |
| US7933459B2 (en) | 2004-03-03 | 2011-04-26 | Sony Corporation | Data processing apparatus, the method and coding apparatus |
| WO2005086492A1 (ja) * | 2004-03-03 | 2005-09-15 | Sony Corporation | データ処理装置およびその方法と符号化装置 |
| US7667729B2 (en) | 2004-03-25 | 2010-02-23 | Nec Corporation | Multi-point conference system and multi-point conference device |
| WO2005094077A1 (ja) * | 2004-03-25 | 2005-10-06 | Nec Corporation | 多地点会議システムおよび多地点会議装置 |
| JP2012054939A (ja) * | 2004-11-15 | 2012-03-15 | Smith Micro Software Inc | 既圧縮ファイルのロスレス圧縮システムおよび方法 |
| JP2012054940A (ja) * | 2004-11-15 | 2012-03-15 | Smith Micro Software Inc | 既圧縮ファイルのロスレス圧縮システムおよび方法 |
| JP2008521293A (ja) * | 2004-11-15 | 2008-06-19 | スミス マイクロ ソフトウエア，インコーポレイテッド | 既圧縮ファイルのロスレス圧縮システムおよび方法 |
| US8369881B2 (en) | 2006-12-06 | 2013-02-05 | Nec Corporation | PTT server, PTT communication system, PTT communication method, and program |
| JPWO2008069160A1 (ja) * | 2006-12-06 | 2010-03-18 | 日本電気株式会社 | Ｐｔｔサーバ、ｐｔｔ通信システム、ｐｔｔ通信方法、及びプログラム |
| WO2008069160A1 (ja) * | 2006-12-06 | 2008-06-12 | Nec Corporation | Ｐｔｔサーバ、ｐｔｔ通信システム、ｐｔｔ通信方法、及びプログラム |
| JP2013543306A (ja) * | 2010-09-20 | 2013-11-28 | ヴィディオ・インコーポレーテッド | 多地点会議の制御および管理用のシステムおよび方法 |
| JP2020096353A (ja) * | 2018-11-30 | 2020-06-18 | 株式会社リコー | 中継装置、通信システム、通信方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3081425B2 (ja) | 2000-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4808161B2 (ja) | 動画像通信エラー処理の方法とその装置 | |
| JP3081425B2 (ja) | 映像符号化装置 | |
| EP0553215B1 (en) | Signal coding | |
| EP1497990B1 (en) | Method and device for indicating quantizer parameters in a video coding system | |
| EP0661885A1 (en) | Image processing method and apparatus for converting between data coded in different formats | |
| WO2011038694A1 (zh) | 视频数据传输处理、发送处理方法、装置和网络系统 | |
| CA2173881A1 (en) | Method and apparatus for matching compressed video signals to a communications channel | |
| US6028965A (en) | Method and apparatus for intelligent codec system | |
| WO2012000263A1 (zh) | 一种片段头信息中量化参数的编解码方法和装置 | |
| JP2000059790A (ja) | 動画像符号列変換装置及びその方法 | |
| JP2011029868A (ja) | 端末装置、遠隔会議システム、端末装置の制御方法、端末装置の制御プログラム、及び端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| KR100511034B1 (ko) | 화상전송장치및화상전송방법 | |
| EP0763948B1 (en) | Video data storing device | |
| JP2001025013A (ja) | 送受信方法及びその装置 | |
| JP2536187B2 (ja) | 動画像パケット符号化・復号化方式 | |
| JPH10126856A (ja) | 携帯テレビ電話装置 | |
| JP4029525B2 (ja) | 動画像符号化装置 | |
| JP3183301B2 (ja) | フレーム間差分信号変化検出通信方法 | |
| JP2003116133A (ja) | 動画像圧縮符号化伝送品質制御方式および方法 | |
| JPH11252546A (ja) | 伝送速度変換装置 | |
| JP2659226B2 (ja) | 可変レート画像階層符号化装置 | |
| JP3359143B2 (ja) | 画像処理装置及び方法 | |
| US20110158322A1 (en) | SERVER APPARATUS, COMMUNICATION SYSTEM, AND COMMUNICATION METHOD, AND pROGRAM | |
| JP3024380B2 (ja) | 画像符号化制御方式 | |
| JP2000078582A (ja) | 画像符号化データ送信装置，画像符号化データ送信方法およびそのプログラム記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 13 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |