JP3209210B2 - 動画像圧縮方法、動画像圧縮装置及び動画像圧縮プログラムを記憶した記憶媒体 - Google Patents
動画像圧縮方法、動画像圧縮装置及び動画像圧縮プログラムを記憶した記憶媒体Info
- Publication number
- JP3209210B2 JP3209210B2 JP3353099A JP3353099A JP3209210B2 JP 3209210 B2 JP3209210 B2 JP 3209210B2 JP 3353099 A JP3353099 A JP 3353099A JP 3353099 A JP3353099 A JP 3353099A JP 3209210 B2 JP3209210 B2 JP 3209210B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- compression
- supplied
- frames
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
法、動画像圧縮装置及び動画像圧縮プログラムを記憶し
た記憶媒体に係り、詳しくは、リアルタイムで供給され
る動画像を複数個のフレームから構成される画像集合体
に分割して圧縮符号化する動画像圧縮方法、動画像圧縮
装置及び動画像圧縮プログラムを記憶した記憶媒体に関
する。
符号化する動画像圧縮装置としては、従来から、例え
ば、特開平7−177514号公報や、特開平8−30
7878号公報、あるいは特開平8−336138号公
報に開示されたものがあった。まず、特開平7−177
514号公報に開示された動画像圧縮装置は、動画像を
圧縮符号化する際にフレームを間引いて受信側へ送信
し、受信側における伸張処理によって圧縮符号化時に間
引かれたフレームを内挿して動画像を再生するものであ
り、隣接フレームから求めた動きベクトルから動きを曲
線に近似し、隣接フレーム間の距離の比から内挿すべき
補間フレームを再構成する。以下、この装置を第1の従
来例の動画像圧縮装置と呼ぶ。このような構成によれ
ば、回転運動や放物運動等の曲線的な運動が含まれた動
画像を送信した場合でも、送信側で間引かれたフレーム
を受信側で正確に再生することができる。
示された動画像圧縮装置は、フレーム内符号化モード
と、動き補償予測によるフレーム間符号化モードとを使
用してフレームを圧縮符号化する装置であり、フレーム
内符号化モードで圧縮符号化すべきと指定されたフレー
ムを、当該フレームの発生符号見積量と過去のフレーム
の発生符号見積量との差が動きが少ないシーンであると
検出される程度に多く、しかも、当該フレームがシーン
チェンジのフレームでない場合には、フレーム間符号化
モードで圧縮符号化する。以下、この装置を第2の従来
例の動画像圧縮装置と呼ぶ。このような構成によれば、
動画像中に静止画像が続く場合でも高画質の画像を圧縮
符号化することができる。
開示された動画像圧縮装置は、動画像を複数個のフレー
ムから構成される画像集合体GOP(Group Of Picture
s)に分割して圧縮符号化する装置であり、各フレーム
に付加された時間を示すタイムコードの中からドロップ
フレームを示すタイムコードを予測・検出し、その結果
に基づいて、画像集合体GOPを構成するフレーム数を
決定する。ここで、画像集合体GOPとは、早送り、巻
き戻し、途中からの再生、逆転再生等のトリック・モー
ドを可能とするために考え出された複数のフレームから
なる集合体をいう。日本や米国が採用するテレビジョン
放送の伝送方式であるNTSC(National Television
System Committee)方式では、1秒当たりのフレーム数
は、最大29.97フレームであるので、画像集合体G
OPも1秒当たり約30フレームからなる。このよう
に、画像集合体GOPを構成するフレーム数が半端であ
るため、放送番組のように、正分、正秒でフレームを編
集する場合、そのまま編集すると動画像が部分的に不連
続になってしまう。そこで、その不都合を防止するため
に、フレームを間引く必要があり、その間引かれたフレ
ームをドロップフレームという。各フレームには、時:
分:秒:フレームの4つの数字からなるタイムコードが
付加されているので、タイムコードの中にドロップフレ
ームを示すタイムコードがあるか否かを予測・検出し、
その結果、ドロップフレームがある場合には、画像集合
体GOPを構成するフレーム数を変更するのである。以
下、この装置を第3の従来例の動画像圧縮装置と呼ぶ。
このような構成によれば、タイムコードの正分、正秒を
画像集合体GOPの境界に合わせることが可能になるた
め、圧縮符号化の結果得られる信号(ビットストリー
ム)を作製した後に編集することが容易となる。
方法は、従来から利用対象や動画像を伝送する伝送路の
性質等に応じて各種提案されているが、CD−ROMや
DAT(Digital AudioTape)、あるいはハード・ディ
スク等の記録媒体を利用対象とする動画像圧縮方法とし
ては、MPEG(Moving Picture Expert Group)1や
その発展型のMPEG2等の蓄積用動画像圧縮方法があ
り、ISO(国際標準化機構;International Organiza
tion for Standerdization)において国際標準化されて
いる。上記した第2及び第3の従来例の動画像圧縮装置
もMPEG規格に対応している。このMPEG規格にお
いては、入力される1秒当たりのフレームの数(以下、
フレーム・レートと呼ぶ)が決められている。
いる場合において、上記した第1及び第3の従来例のよ
うに意図的にフレームを間引くのではなく、動画像圧縮
装置に入力されるフレームの一部がドロップ等の何らか
の原因で欠落することにより、フレーム・レートが変動
した場合には、そのまま圧縮符号化すると、受信側や再
生装置側において、上記フレーム・レートの変動に起因
して遅延等の時間情報のズレが発生してしまうという問
題があった。この問題は、ソフト・ウェアにより構成さ
れた動画像圧縮装置においても、ビデオ・カメラ等のよ
うなリアルタイムで連続して順次動画像を供給する供給
源からの動画像を取り込みながらリアルタイムでその動
画像を圧縮符号化する場合には、CPU(中央処理装
置)の処理速度自体が遅かったり、CPUが各種の処理
を並行して行うために負荷が重いため、動画像を取り込
む速度が遅くなったり、一定の速度で動画像を取り込め
なくなったりすれば、同様に発生する。
縮装置においては、送信側において意図的に間引いたフ
レームを受信側で補間することは可能であるが、送信側
で意図的でなく欠落したフレームについては、何も対策
が施されていないので、フレーム・レートの変動に対処
することが困難であるという欠点がある。一方、上記し
た第2の従来例の動画像圧縮装置においても、圧縮符号
化する前にフレームが欠落した場合については、何も対
策が施されていないので、フレーム・レートの変動に対
処することが困難であるという欠点がある。
された動画像圧縮装置においては、CPUの負荷が重い
ため、動画像を取り込む速度が遅くなった場合には、フ
レームを圧縮符号化する時間がかかり、動画像をリアル
タイムで圧縮符号化することが困難になるという問題が
あった。この点、上記した第3の従来例の動画像圧縮装
置においては、タイムコードの正分、正秒を画像集合体
GOPの境界に合わせるために、圧縮符号化する前に意
図的に間引いたフレーム(ドロップフレーム)がある場
合に画像集合体GOPを構成するフレーム数を変更して
いるが、間引かなかったフレームについては通常通り圧
縮符号化するため、発生符号量を削減したり、圧縮符号
化時間を短縮することができないという欠点がある。
もので、フレーム・レートの変動に起因して再生時に発
生する遅延等の時間情報のズレを防止できると共に、発
生符号量を削減したり、圧縮符号化時間を短縮すること
ができる動画像圧縮方法、動画像圧縮装置及び動画像圧
縮プログラムを記憶した記憶媒体を提供することを目的
としている。
に、請求項1記載の発明は、リアルタイムで供給される
動画像を複数個のフレームから構成される画像集合体に
分割して圧縮符号化する動画像圧縮方法に係り、上記画
像集合体を構成するために必要な個数のフレームが供給
されなかった場合には、供給されなかったフレームを当
該フレームが供給されるべき時間より前に供給されたフ
レームで補間して上記画像集合体を構成する第1の処理
と、補間された画像集合体を構成する各フレームについ
て圧縮符号化する第2の処理とからなることを特徴とし
ている。
載の動画像圧縮方法に係り、上記第2の処理では、補間
されたフレームについては、当該フレームが供給される
べき時間より前に供給されたフレームと同一であること
を示す情報だけを圧縮符号化することを特徴としてい
る。
ムで供給される動画像を複数のタイプの複数個のフレー
ムから構成される画像集合体に分割して圧縮符号化する
動画像圧縮方法に係り、上記画像集合体を構成すべき先
頭のフレームが供給された場合には、先に圧縮符号化し
た画像集合体を構成する各フレームの所定時間に供給さ
れた個数に基づいて、現在圧縮符号化すべき画像集合体
を構成するフレームの個数と各タイプによる構成形態と
を決定する第1の処理と、上記フレームの個数と上記各
タイプによる構成形態とが決定された新たな画像集合体
を構成するために必要な個数のフレームが供給されなか
った場合には、供給されなかったフレームを当該フレー
ムが供給されるべき時間より前に供給されたフレームで
補間して上記新たな画像集合体を構成する第2の処理
と、補間された新たな画像集合体を構成する各フレーム
について圧縮符号化する第3の処理とからなることを特
徴としている。
画像圧縮方法に係り、上記タイプは、当該フレーム内に
おける情報だけを用いて圧縮符号化することにより圧縮
符号化されたフレームが得られる第1のタイプと、過去
のフレームを参照して圧縮符号化することにより圧縮符
号化されたフレームが得られる第2のタイプと、過去及
び未来のフレームを参照して圧縮符号化することにより
圧縮符号化されたフレームが得られる第3のタイプとか
らなり、上記第1の処理では、上記第2の処理において
補間されるべきフレームが上記第3のタイプとなるよう
に、上記フレームの個数と上記各タイプによる構成形態
とを決定することを特徴としている。
は4記載の動画像圧縮方法に係り、上記第3の処理で
は、補間されたフレームについては、当該フレームが供
給されるべき時間より前に供給されたフレームと同一で
あることを示す情報だけを圧縮符号化することを特徴と
している。
ムで供給される動画像を複数個のフレームから構成され
る画像集合体に分割して圧縮符号化する動画像圧縮装置
に係り、上記画像集合体を構成するために必要な個数の
フレームが供給されたか否かを判定する判定手段と、該
判定手段の判定結果に応じて、供給されなかったフレー
ムを当該フレームが供給されるべき時間より前に供給さ
れたフレームで補間して上記画像集合体を構成する補間
手段と、補間された画像集合体を構成する各フレームに
ついて圧縮符号化する圧縮符号化手段とを備えてなるこ
とを特徴としている。
載の動画像圧縮装置に係り、上記圧縮符号化手段は、補
間されたフレームについては、当該フレームが供給され
るべき時間より前に供給されたフレームと同一であるこ
とを示す情報だけを圧縮符号化することを特徴としてい
る。
ムで供給される動画像を複数のタイプの複数個のフレー
ムから構成される画像集合体に分割して圧縮符号化する
動画像圧縮装置に係り、上記画像集合体を構成すべき先
頭のフレームが供給されたか否かを判定する第1の判定
手段と、該第1の判定手段の判定結果に応じて、先に圧
縮符号化した画像集合体を構成する各フレームの所定時
間に供給された個数に基づいて、現在圧縮符号化すべき
画像集合体を構成するフレームの個数と各タイプによる
構成形態とを決定する決定手段と、上記フレームの個数
と上記各タイプによる構成形態とが決定された新たな画
像集合体を構成するために必要な個数のフレームが供給
されたか否かを判定する第2の判定手段と、該第2の判
定手段の判定結果に応じて、供給されなかったフレーム
を当該フレームが供給されるべき時間より前に供給され
たフレームで補間して上記新たな画像集合体を構成する
補間手段と、補間された新たな画像集合体を構成する各
フレームについて圧縮符号化する圧縮符号化手段とから
なることを特徴としている。
載の動画像圧縮装置に係り、上記タイプは、当該フレー
ム内における情報だけを用いて圧縮符号化することによ
り圧縮符号化されたフレームが得られる第1のタイプ
と、過去のフレームを参照して圧縮符号化することによ
り圧縮符号化されたフレームが得られる第2のタイプ
と、過去及び未来のフレームを参照して圧縮符号化する
ことにより圧縮符号化されたフレームが得られる第3の
タイプとからなり、上記決定手段は、上記補間手段によ
り補間されるべきフレームが上記第3のタイプとなるよ
うに、上記フレームの個数と上記各タイプによる構成形
態とを決定することを特徴としている。
又は9記載の動画像圧縮装置に係り、上記画像集合体を
構成する各フレームの所定時間に供給された個数に対応
して、現在圧縮符号化すべき画像集合体を構成するフレ
ームの個数と各タイプによる構成形態が予め記憶された
テーブルを備え、上記決定手段は、上記テーブルを参照
して、上記フレームの個数と上記各タイプによる構成形
態とを決定することを特徴としている。
乃至10のいずれか1に記載の動画像圧縮装置に係り、
上記圧縮符号化手段は、補間されたフレームについて
は、当該フレームが供給されるべき時間より前に供給さ
れたフレームと同一であることを示す情報だけを圧縮符
号化することを特徴としている。
体は、コンピュータに請求項1乃至11のいずれか1つ
に記載の機能を実現させるための動画像圧縮プログラム
が記憶されていることを特徴としている。
変動に起因して再生時に発生する遅延等の時間情報のズ
レを防止することができる。また、発生符号量を削減し
たり、圧縮符号化時間を短縮することができる。
の実施の形態について説明する。説明は、実施例を用い
て具体的に行う。 A.第1の実施例 まず、第1の実施例について説明する。図1は、この発
明の第1の実施例である動画像圧縮装置の電気的構成を
示すブロック図である。この例の動画像圧縮装置は、画
像入力手段1と、フレーム番号付与手段2と、記憶手段
3と、フレーム数判定手段4と、符号化モード判定手段
5と、動き検索手段6と、周波数変換手段7と、量子化
手段8と、逆量子化手段9と、逆周波数変換手段10
と、動き補償手段11と、可変長符号化手段12と、記
憶手段13とから概略構成されている。
らなり、リアルタイムで連続して順次動画像を供給する
ビデオ・カメラ等の供給源(図示略)から供給されたア
ナログのビデオ信号を1フレーム毎で取り込んで、デジ
タルのフレーム・データFDにA/D変換して出力す
る。フレーム番号付与手段2は、タイマ等の時間情報取
得手段を有し、画像入力手段1から供給されたフレーム
・データFDの絶対時間情報又は処理を開始した先頭の
フレーム・データFDからの相対時間情報を取得し、い
ずれか一方の時間情報と、この動画像圧縮装置に設定さ
れたフレーム・レートとに基づいて、各フレーム・デー
タFDにフレーム番号FNを付与する。また、フレーム
番号付与手段2は、画像入力手段1から供給されたフレ
ーム・データFDを、それらに付与したフレーム番号F
Nと共に記憶手段3に記憶する。記憶手段3は、RAM
等の半導体メモリやフロッピー・ディスク、ハード・デ
ィスク等から構成されている。
与手段2から供給されたフレーム番号FNに基づいて、
所定のフレーム数のフレーム・データFDが供給された
か、あるいは、所定のフレーム番号FN以上のフレーム
番号FNが供給されたか否かを判定する。符号化モード
判定手段5は、フレーム数判定手段4の判定結果に基づ
いて、圧縮符号化処理をするために必要なフレーム・デ
ータFDが何らかの原因で欠落している場合には、現在
のフレーム・データFDPに代えて、それに付与されて
いるフレーム番号FNPの前のフレーム番号FNBが付
与されたフレーム・データFDBを補間する前処理を行
う。また、符号化モード判定手段5は、前処理が終了し
た所定のフレーム数のフレーム・データFDについて、
それらのタイプとフレーム番号FNとに基づいて、符号
化モードを判定する。
って復元され、参照フレーム・データRFDとして記憶
手段3に記憶されている前のフレーム番号FNBが付与
されたフレーム・データFDBと、現在のフレーム・デ
ータFDPとの相関性を求め、相関性の高いブロックと
の差分データを周波数変換手段7へ供給する。周波数変
換手段7は、動き検索手段6から供給された差分データ
を周波数変換して量子化手段8へ供給する。量子化手段
8は、周波数変換手段7から供給された周波数変換デー
タを量子化して、逆量子化手段9及び可変長符号化手段
12へ供給する。逆量子化手段9は、次のフレーム・デ
ータFDNを圧縮符号化する際に用いる参照フレーム・
データRFDを作製するために、量子化手段8の出力デ
ータを逆量子化する。逆周波数変換手段10は、逆量子
化手段9の出力データの周波数成分を画素成分に逆周波
数変換する。
出力データに基づいて、参照フレーム・データRFD
(ローカル・デコード・データ)を作製して記憶手段3
へ記憶する。また、可変長符号化手段12は、通常は量
子化手段8の出力データに基づいて、符号化モード判定
手段5から供給されたフレーム・データFDを圧縮符号
化すると共に、符号化モード判定手段5が圧縮符号化す
べきフレーム・データFDが参照フレーム・データRF
Dと同一であると判定した場合には、同一のフレーム・
データFDであることを示すヘッダ情報だけを生成し
て、圧縮符号化データ又はヘッダ情報をハード・ディス
クや光ディスク等からなる記憶手段13に記憶する。
ついて説明する。この実施例においては、上記したNT
SC方式を採用したビデオ・カメラから供給されたビデ
オ信号を画像入力手段1により処理してフレーム・デー
タFDを得た後、そのフレーム・データFDを上記した
MPEG1方式により圧縮符号化する。また、この動画
像圧縮装置に設定されたフレーム・レートは、30fp
s(frames per second)とする。
レーム構成の一例を示す。MPEG1方式においては、
フレーム・データFDのタイプにはI(Intra)タイ
プ、P(Predictive)タイプ、B(Bidirectionally pr
edictive)タイプがある。また、画像集合体GOPは、
1個のIタイプのフレーム・データFD(以下、フレー
ム・データIFDと呼ぶ)と、複数組の複数個連続する
Bタイプのフレーム・データFD(以下、フレーム・デ
ータBFDと呼ぶ)と、隣接する組のフレーム・データ
BFDの間に介挿された複数個のPタイプのフレーム・
データFD(以下、フレーム・データPFDとから構成
されている。この実施例においては、画像集合体GOP
は、1個のフレーム・データIFDと、2個連続するフ
レーム・データBFDが3組、すなわち、6個のフレー
ム・データBFDと、2個のフレーム・データPFDと
から構成されるものとする。
・データRFDを用いることなく、1個のフレーム・デ
ータFD内で閉じた情報を用いて圧縮符号化することに
より得られる(上記したフレーム内符号化モード)。ま
た、フレーム・データPFDは、図3に1点鎖線で示す
ように、過去のフレーム・データIFD又はフレーム・
データPFDを参照フレーム・データRFDとして用い
て圧縮符号化することにより得られる(上記した動き補
償予測による順方向フレーム間符号化モード)。さら
に、フレーム・データBFDは、図3に1点鎖線と実線
で示すように、過去及び未来のフレーム・データIFD
又はフレーム・データPFDを参照フレーム・データR
FDとして用いて圧縮符号化することにより得られる
(上記した動き補償予測による双方向フレーム間符号化
モード)。フレーム・データBFD自体は、参照フレー
ム・データRFDとして用いられることはない。以上説
明したように、MPEG1方式においては、フレーム・
データBFDを作製するためには、過去及び未来のフレ
ーム・データIFD又はフレーム・データPFDが参照
フレーム・データRFDとして必要となるので、1個の
組で連続するフレーム・データBFDの個数により、画
像集合体GOPを構成するのに最低限必要なフレーム数
が決定されるのである。
に、フレーム・データFDの一群が供給された場合の動
画像圧縮装置の動作について、図2に示すフローチャー
トを参照して、説明する。図4において、実線で描いた
平行四辺形は実際に画像入力手段1から供給されたフレ
ーム・データFDの時間軸上の位置を示し、破線で描い
た平行四辺形は、欠落してしまったフレーム・データF
Dの時間軸上の位置を示す。まず、フレーム番号付与手
段2は、画像入力手段1から供給されたフレーム・デー
タFDの絶対時間情報又は相対時間情報を取得(ステッ
プSA1)し、いずれか一方の時間情報と、この動画像
圧縮装置に設定されたフレーム・レート(今の場合、3
0fps)とに基づいて、各フレーム・データFDにフ
レーム番号FNを付与する(ステップSA2)。図4の
例では、それぞれ相対時間33ms、67ms、133
ms、233ms、300msにフレーム・データFD
が供給されているので、それぞれに付与されるフレーム
番号FNは、1(=(30/1000)×33)、2
(=(30/1000)×67)、4(=(30/10
00)×133)、7(=(30/1000)×23
3)、9(=(30/1000)×300)となる。こ
こで、「=」は、両辺が略等しい場合をも意味する。そ
して、フレーム番号付与手段2は、画像入力手段1から
供給されたフレーム・データFDを、それらに付与した
フレーム番号FNと共に記憶手段3に記憶する(ステッ
プSA2)。
憶手段3から順次読み出したフレーム番号FNに基づい
て、画像集合体GOPを構成するために必要な所定のフ
レーム数のフレーム・データFDが供給されたか否かを
判定する(ステップSA3)。今の場合、相対時間33
msから相対時間300msまでの間に、画像集合体G
OPを構成するためには、フレーム番号FNとして1〜
9が付与された9個のフレーム・データFDが供給され
なければならないのに、フレーム番号FNが1、2、
4、7、9だけが供給されている。すなわち、供給され
るべき9個のフレーム番号FNのうち、5個だけフレー
ム番号FNが供給されている。したがって、フレーム数
判定手段4は、所定のフレーム数(今の場合、9個)の
フレーム・データFDが供給されていないと判定する。
数のフレーム・データFDが供給されていないと判定し
た場合には、さらに、画像集合体GOPを構成するため
に必要な所定のフレーム番号FN以上のフレーム番号F
Nが供給されたか否かを判定する(ステップSA4)。
フレーム数判定手段4がこの判断を行うのは、以下に示
す理由による。すなわち、所定のフレーム数のフレーム
・データFDが供給されていないと判定された場合であ
っても、アナログのビデオ信号を1フレーム毎で取り込
む時に、フレームがドロップ等により欠落した場合に
は、一定のフレーム・レートでフレーム・データFDが
供給されないことがある。そこで、画像集合体GOPを
構成するために必要なフレーム数のフレーム・データF
Dがすべて供給されている訳ではないが、画像集合体G
OPを構成するために必要なフレーム番号FNが付与さ
れたフレーム・データFDは既に供給されている場合も
あり得るので、画像集合体GOPを構成するために必要
なフレーム・データFDに付与された所定のフレーム番
号FN以上のフレーム番号FNが供給されたか否かを判
定するのである。今の場合、図4に示すように、画像集
合体GOPを構成するために必要なフレーム番号FNと
して9が付与されたフレーム・データFDが供給されて
いるので、フレーム数判定手段4は、所定のフレーム番
号FN以上のフレーム番号FNが供給されたと判定す
る。一方、所定のフレーム番号FN以上のフレーム番号
FNがまだ供給されていない場合には、フレーム数判定
手段4は、次にフレーム番号FNが供給するまで待機す
る。
ム数判定手段4が、画像集合体GOPを構成するために
必要な、所定のフレーム数のフレーム・データFDが供
給されていると判定するか、あるいは、所定のフレーム
番号FN以上のフレーム番号FNが供給されたと判定し
た場合には、まず、フレーム・データFDの供給された
順にフレーム番号FNが連続しているか否かを判定する
(ステップSA5)。今の場合、フレーム番号FNが
1、2、4、7、9だけが供給されているので、符号化
モード判定手段5は、フレーム番号FNが連続していな
いと判定する。フレーム番号FNが連続していない場合
には、符号化モード判定手段5は、欠落している現在の
フレーム番号FNPが付与されたフレーム・データFD
Pの記憶手段3におけるアドレスを直前のフレーム番号
FNBが付与されたフレーム・データFDBの記憶手段
3におけるアドレスと同一にする(ステップSA6)。
今の場合、図5に示すように、フレーム番号FNとして
3が付与されたフレーム・データFDの記憶手段3にお
けるアドレスを、フレーム番号FNとして2が付与され
たフレーム・データFDの記憶手段3におけるアドレス
と同一にする。
判定したか、あるいは、アドレス変更処理を行った後、
符号化モード判定手段5は、画像集合体GOPを構成す
るために必要な複数個のフレーム・データFDのフレー
ム間隔が一定しているか否か判定する(ステップSA
7)。今の場合、フレーム番号FNとして2が付与され
たフレーム・データFDをフレーム番号FNとして3が
付与されたフレーム・データFDへコピーしただけであ
り、フレーム番号FNとして5、6、8がそれぞれ付与
された3個のフレーム・データFDがまだ欠落している
ので、符号化モード判定手段5は、フレーム間隔が一定
していないと判定する。
場合には、符号化モード判定手段5は、フレーム間隔が
一定していると判定するまで、上記したフレーム番号F
Nの連続性判定処理(ステップSA5)とアドレス変更
処理(ステップSA6)とを繰り返す。今の場合、図5
に示すように、フレーム番号FNとして5及び6がそれ
ぞれ付与されたフレーム・データFDの記憶手段3にお
けるアドレスを、フレーム番号FNとして4が付与され
たフレーム・データFDの記憶手段3におけるアドレス
と同一にすると共に、フレーム番号FNとして8が付与
されたフレーム・データFDの記憶手段3におけるアド
レスを、フレーム番号FNとして7が付与されたフレー
ム・データFDの記憶手段3におけるアドレスと同一に
する。
した場合には、符号化モード判定手段5は、前処理が終
了した所定のフレーム数のフレーム・データFDについ
て、それらのタイプとフレーム番号FNとに基づいて、
符号化モードを判定する(ステップSA8)。今の場
合、画像集合体GOPは、図3に示すように、1個のフ
レーム・データIFDと、6個のフレーム・データBF
Dと、2個のフレーム・データPFDとから構成されて
いる。したがって、符号化モード判定手段5は、フレー
ム番号FNとして1が付与されたフレーム・データFD
は、Iタイプであるので、その符号化モードをフレーム
内符号化モードと判定し、フレーム番号FNとして2、
3、5、6、8、9がそれぞれ付与されたフレーム・デ
ータFDは、Bタイプであるので、その符号化モードを
動き補償予測によるフレーム間符号化モードと判定し、
フレーム番号FNとして4、7がそれぞれ付与されたフ
レーム・データFDは、Pタイプであるので、その符号
化モードを動き補償予測によるフレーム間符号化モード
と判定する。なお、MPEG1方式においては、実際に
は、圧縮符号化処理する前のフレーム番号FNの順番
と、圧縮符号化処理により作製された画像集合体GOP
における各フレーム・データFDの順番は一致しない。
しかし、圧縮符号化処理自体はこの発明の特徴ではない
ので、この実施例においては、説明を簡単にするため、
圧縮符号化処理する前のフレーム番号FNの順番と、圧
縮符号化処理により作製された画像集合体GOPにおけ
る各フレーム・データFDの順番を一致させて説明す
る。
号化すべき各フレーム・データFDについて、記憶手段
3に記憶されている参照フレーム・データRFDと同一
であるか否かを判定する。そして、符号化モード判定手
段5は、フレーム・データFDと参照フレーム・データ
RFDとが異なると判定した場合には、以下に示す通常
の圧縮符号化処理を動き検索手段6以下の各手段に指示
し、フレーム・データFDと参照フレーム・データRF
Dとが同一であると判定した場合には、同一のフレーム
・データFDであることを示すヘッダ情報だけの生成を
可変長符号化手段12に指示する(ステップSA9)。
りフレーム・データFDと参照フレーム・データRFD
とが異なると判定された場合には、動き検索手段6は、
参照フレーム・データRFDである前のフレーム番号F
NBが付与されたフレーム・データFDBと、現在のフ
レーム・データFDPとの相関性を求め、相関性の高い
ブロックとの差分データを周波数変換手段7へ供給す
る。これにより、周波数変換手段7は、この差分データ
を周波数変換するので、量子化手段8は、周波数変換デ
ータを量子化し、逆量子化手段9は、参照フレーム・デ
ータRFDを作製するために、量子化手段8の出力デー
タを逆量子化する。したがって、逆周波数変換手段10
は、逆量子化手段9の出力データの周波数成分を画素成
分に逆周波数変換し、動き補償手段11は、逆周波数変
換10の出力データに基づいて、参照フレーム・データ
RFDを作製して記憶手段3へ記憶する。一方、可変長
符号化手段12は、量子化手段8の出力データを圧縮符
号化して記憶手段13に記憶する。これに対し、符号化
モード判定手段5によりフレーム・データFDと参照フ
レーム・データRFDとが同一であると判定された場合
には、符号化モード判定手段5の指示に基づいて、可変
長符号化手段12は、同一のフレーム・データFDであ
ることを示すヘッダ情報だけを生成して記憶手段13に
記憶する(ステップSA10)。
2、4、7、9がそれぞれ付与されたフレーム・データ
FDについては、画像入力手段1から供給されたもので
あるので、符号化モード判定手段5により参照フレーム
・データRFDと異なると判定され、それぞれの符号化
モードに従って通常の圧縮符号化処理が施される。これ
に対し、フレーム番号FNとして3、5、6、8がそれ
ぞれ付与されたフレーム・データFDについては、いず
れも前のフレーム・データFDからコピーされたもので
あるので、符号化モード判定手段5により参照フレーム
・データRFDと同一である判定され、通常の圧縮符号
化処理は実行されず、可変長符号化手段12において、
同一のフレーム・データFDであることを示すヘッダ情
報、すなわち、差分データが0であることを示すヘッダ
情報だけが生成されて記憶手段13に記憶される。次
に、フレーム番号付与手段2は、画像入力手段1から供
給されたすべてのフレーム・データFDについて圧縮符
号化処理が終了したか否かを判定する(ステップSA1
1)。画像入力手段1から供給されたすべてのフレーム
・データFDについて圧縮符号化処理が終了したと判定
した場合には、フレーム番号付与手段2は、一連の処理
を終了する。これに対し、画像入力手段1から供給され
たすべてのフレーム・データFDについて圧縮符号化処
理が終了していないと判定した場合には、フレーム番号
付与手段2は、すべてのフレーム・データFDについて
圧縮符号化処理が終了したと判定するまで、上記したフ
レーム・データFDの時間情報取得処理(ステップSA
1)とフレーム番号付与処理(ステップSA2)とを繰
り返した後、一連の処理を終了する。
のフレーム・データBFDの符号の一例を示し、図7に
同フレーム・データBFDの符号の階層構造の一例を示
す。図6において、符号の右端に示す""(H)は、""の
中の数字が16進数であることを表している。同様
に、""(D)は、""の中の数字が10進数であることを
示している。フレーム・データBFDの符号は、図7に
示すように、ピクチャ層、スライス層、マクロブロック
(MB)層の3層の階層構造からなっている。ピクチャ
層において、PSC(Picture Start Code)はピクチャ
層の開始を表すコードであり、PCT(Picture Coding
Type)はフレーム・データFDのタイプを表し、"01
1"はBタイプであることを意味している。スライス層
において、SSC(Slice Start Code)はスライス層の
開始を表すコードである。
おいて16×16画素のブロック(マクロブロック)単
位で表される。マクロブロック層において、MBAI
(Macroblock Address Increment)は前のマクロブロッ
クからのアドレスの増加分を示しており、先頭は"1"で
ある。MBTYPE(Macroblock Type)はマクロブロ
ックの形式を示しており、右側に示すように、MBP
(Macroblock Pattern)が"0"であるということは、先
頭のマクロブロックには圧縮符号化するデータがないこ
とを表している。MBESC(Macroblock Escape)は
33個のマクロブロックに圧縮符号化するデータがない
ことを表している。図6においては、MBESCが2個
示されているので、合計66個のマクロブロックに圧縮
符号化するデータがないことを意味している。次のMB
AIが"13"(D)であるということは、さらに12個
のマクロブロックに圧縮符号化するデータがないことを
表している。そして、先頭のマクロブロックと同様、M
BPが"0"であるということは、当該マクロブロックに
は圧縮符号化するデータがないことを表している。図6
に示すフレーム・データBFDは、80(=1+66+
12+1)個のマクロブロックから構成されているが、
上記したように、これらすべてのマクロブロックには圧
縮符号化するデータがないこと、すなわち、差分データ
が0であることが分かる。この場合、差分データが0で
ある場合のフレーム・データBFDの符号量は、図6に
示すビット長の合計、すなわち、157ビットとなる。
なお、図6及び図7に示されたその他の記号の意味につ
いては、「最新MPEG教科書」(アスキー出版局刊、
p.110〜124)を参照されたい。
ーム・レートが変動する場合でも、欠落したフレーム・
データFDを補間した後、圧縮符号化しているので、フ
レーム・レートの変動に起因して再生時に発生する遅延
等の時間情報のズレを防止することができる。また、こ
の例の構成によれば、欠落したフレーム・データFD
は、その直前のフレーム・データFDBをコピーするこ
とにより補間するので、フレーム・データBFDを圧縮
符号化する時間が不要となり、その分時間が短縮できる
と共に、差分データが0である場合のフレーム・データ
BFDの符号量は、上記したように、157ビットで済
むので、発生符号量も削減することができる。これによ
り、高速でフレーム・データFDを圧縮符号化できると
共に、発生符号量を削減した分だけ他のフレーム・デー
タFDに発生符号量を割り当てることができるので、高
画質な圧縮符号化を実現することができる。
明の第2の実施例である動画像圧縮装置の電気的構成を
示すブロック図である。この図において、図1の各部に
対応する部分には同一の符号を付け、その説明を省略す
る。この図に示す動画像圧縮装置においては、画像入力
手段1とフレーム番号付与手段2との間に、GOP構成
変更手段21が新たに設けられている。GOP構成変更
手段21は、内部に図9に示すGOP構成テーブル22
を有しており、画像入力手段1から供給された現在のフ
レーム・データFDPがこれから作製すべき画像集合体
GOPの先頭のフレーム・データFDTであった場合に
は、フレーム番号付与手段2が取得した直前の画像集合
体GOPを構成する複数個のフレーム・データFDの絶
対時間情報又は相対時間情報から得られた実測フレーム
・レートと、この動画像圧縮装置に現在設定されている
設定フレーム・レートとに基づいて、GOP構成テーブ
ル22を参照して、これから作製すべき画像集合体GO
Pの構成を変更する。
にフレーム・データFDの一群が供給された場合の動画
像圧縮装置の動作について、図10に示すフローチャー
トを参照して、説明する。図11において、実線で描い
た平行四辺形は実際に画像入力手段1から供給されたフ
レーム・データFDの時間軸上の位置を示し、破線で描
いた平行四辺形は欠落してしまったフレーム・データF
Dの時間軸上の位置を示す。また、図11において、イ
ンデックスとは、画像集合体GOPを構成する各フレー
ム・データFDにそのフレーム番号FNやタイプと無関
係に先頭から順に付与される番号をいう。また、この実
施例では、実測フレーム・レートは15fpsであり、
設定フレーム・レートは30fpsであったとする。さ
らに、設定フレーム・レートが30fpsである場合の
GOP構成は、図11に示すように、IBBBPBBB
P……であったとする。
力手段1から供給された現在のフレーム・データFDP
がこれから作製すべき画像集合体GOPの先頭のフレー
ム・データFDTであるか否かを判定する(ステップS
B1)。フレーム・データFDPをフレーム・データF
DTであると判定しなかった場合には、GOP構成変更
手段21は、何もせず、当該フレーム・データFDPを
フレーム番号付与手段2へ供給する。これに対し、フレ
ーム・データFDPをフレーム・データFDTと判定し
た場合には、GOP構成変更手段21は、フレーム番号
付与手段2に直前の画像集合体GOPの実測フレーム・
レートを要求し、取得する(ステップSB2)。今の場
合、実測フレーム・レートとして15fpsを取得す
る。次に、GOP構成変更手段21は、実測フレーム・
レートと設定フレーム・レートとに基づいて、GOP構
成テーブル22を参照して、これから作製すべき画像集
合体GOPの構成を変更した後、当該フレーム・データ
FDPをフレーム番号付与手段2へ供給する(ステップ
SB3)。
理(ステップSB1〜SB3)を行うのは、以下に示す
理由による。すなわち、上記した第1の実施例と同様
に、GOP構成変更手段21を設けずに、欠落したフレ
ーム・データFDとして直前のフレーム・データFDB
を単にコピーして補間すると共に、補間されたフレーム
・データFDのフレーム番号FNをコピー元のフレーム
・データFDBのフレーム番号FNBと同一とすると、
図11に示す補間前のフレーム・データFDの一群は、
図12に示すようになる。このように、画像集合体GO
Pの構成を変更しない場合には、インデックス3のフレ
ーム・データFDは、Bタイプであるが、参照フレーム
・データRFDである、インデックス1のフレームデー
タ・IFDとインデックス5のフレーム・データPFD
のどちらとも同一の情報で構成されないことになる。圧
縮効率や圧縮処理速度を考慮すると、フレーム・データ
BFDは、参照フレームRFDと同一の情報を使用して
差分データが0であることを示すヘッダ情報だけを生成
するほうが良い。そこで、この実施例においては、実測
フレーム・レートに応じて、欠落したフレーム・データ
BFDが直前のフレーム・データFDBと同一の情報を
有するように適応的に画像集合体GOPの構成を変更す
ることにより、圧縮効率及び圧縮処理速度を向上させる
のである。
ps、設定フレーム・レートが30fpsであるから、
GOP構成変更手段21は、GOP構成テーブル22を
参照して、これから作製すべき画像集合体GOPの構成
を、IBBBPBBBP……からIBPBP……へ変更
する。
更手段21から供給されたフレーム・データFDの絶対
時間情報又は相対時間情報を取得(ステップSB4)
し、いずれか一方の時間情報と、この動画像圧縮装置に
設定されたフレーム・レート(今の場合、30fps)
とに基づいて、各フレーム・データFDにフレーム番号
FNを付与する(ステップSB5)。図11の例では、
それぞれ相対時間33ms、100ms、167ms、
233msにフレーム・データFDが供給されているの
で、それぞれに付与されるフレーム番号FNは、1(=
(30/1000)×33)、3(=(30/100
0)×100)、5(=(30/1000)×16
7)、7(=(30/1000)×233)となる。こ
こで、「=」は両辺が略等しい場合をも意味する。そし
て、フレーム番号付与手段2は、GOP構成変更手段2
1から供給されたフレーム・データFDを、それらに付
与したフレーム番号FNと共に記憶手段3に記憶する
(ステップSB5)。
憶手段3から順次読み出したフレーム番号FNに基づい
て、GOP構成変更手段2によってその構成が変更され
た画像集合体GOPを構成するのに必要な所定のフレー
ム数のフレーム・データFDが供給されたか否かを判定
する(ステップSB6)。今の場合、相対時間33ms
から相対時間233msまでの間に、画像集合体GOP
を構成するためには、フレーム番号FNとして1〜7が
付与された7個のフレーム・データFDが供給されなけ
ればならないのに、フレーム番号FNが1、3、5、7
だけが供給されている。すなわち、供給されるべき7個
のフレーム番号FNのうち、4個だけフレーム番号FN
が供給されている。したがって、フレーム数判定手段4
は、所定のフレーム数(今の場合、7個)のフレーム・
データFDが供給されていないと判定する。
数のフレーム・データFDが供給されていないと判定し
た場合には、さらに、GOP構成変更手段2によってそ
の構成が変更された画像集合体GOPを構成するのに必
要な所定のフレーム番号FN以上のフレーム番号FNが
供給されたか否かを判定する(ステップSB7)。今の
場合、図11に示すように、画像集合体GOPを構成す
るために必要なフレーム番号FNとして7が付与された
フレーム・データFDが供給されているので、フレーム
数判定手段4は、所定のフレーム番号FN以上のフレー
ム番号FNが供給されたと判定する。一方、所定のフレ
ーム番号FN以上のフレーム番号FNがまだ供給されて
いない場合には、フレーム数判定手段4は、次にフレー
ム番号FNが供給するまで待機する。
ム数判定手段4が、画像集合体GOPを構成するために
必要な、所定のフレーム数のフレーム・データFDが供
給されていると判定するか、あるいは、所定のフレーム
番号FN以上のフレーム番号FNが供給されたと判定し
た場合には、まず、フレーム・データFDの供給された
順にフレーム番号FNが連続しているか否かを判定する
(ステップSB8)。今の場合、フレーム番号FNが
1、3、5、7だけが供給されているので、符号化モー
ド判定手段5は、フレーム番号FNが連続していないと
判定する。フレーム番号FNが連続していない場合に
は、符号化モード判定手段5は、欠落している現在のフ
レーム番号FNPが付与されたフレーム・データFDP
の記憶手段3におけるアドレスを直前のフレーム番号F
NBが付与されたフレーム・データFDBの記憶手段3
におけるアドレスと同一にする(ステップSB9)。今
の場合、図13に示すように、フレーム番号FNとして
2が付与されたフレーム・データFDの記憶手段3にお
けるアドレスを、フレーム番号FNとして1が付与され
たフレーム・データFDの記憶手段3におけるアドレス
と同一にする。
判定したか、あるいは、アドレス変更処理を行った後、
符号化モード判定手段5は、画像集合体GOPを構成す
るために必要な複数個のフレーム・データFDのフレー
ム間隔が一定しているか否か判定する(ステップSB1
0)。今の場合、フレーム番号FNとして1が付与され
たフレーム・データFDをフレーム番号FNとして2が
付与されたフレーム・データFDへコピーしただけであ
り、フレーム番号FNとして4、6がそれぞれ付与され
た2個のフレーム・データFDがまだ欠落しているの
で、符号化モード判定手段5は、フレーム間隔が一定し
ていないと判定する。
場合には、符号化モード判定手段5は、フレーム間隔が
一定していると判定するまで、上記したフレーム番号F
Nの連続性判定処理(ステップSB5)とアドレス変更
処理(ステップSB6)とを繰り返す。今の場合、図1
3に示すように、フレーム番号FNとして4が付与され
たフレーム・データFDの記憶手段3におけるアドレス
を、フレーム番号FNとして3が付与されたフレーム・
データFDの記憶手段3におけるアドレスと同一にする
と共に、フレーム番号FNとして6が付与されたフレー
ム・データFDの記憶手段3におけるアドレスを、フレ
ーム番号FNとして5が付与されたフレーム・データF
Dの記憶手段3におけるアドレスと同一にする。これに
より、フレーム番号FNとして2、4、6がそれぞれ付
与されたフレーム・データFDは、いずれも、参照フレ
ームRFDとすべき直前のフレーム・データFDBと同
一となる。
した場合には、符号化モード判定手段5は、前処理が終
了した所定のフレーム数のフレーム・データFDについ
て、それらのタイプとフレーム番号FNとに基づいて、
符号化モードを判定する(ステップSB11)。今の場
合、画像集合体GOPの構成は、GOP構成変更手段2
によって、1個のフレーム・データIFDと、3個のフ
レーム・データBFDと、3個のフレーム・データPF
Dとの構成に変更されている。したがって、符号化モー
ド判定手段5は、フレーム番号FNとして1が付与され
たフレーム・データFDは、Iタイプであるので、その
符号化モードをフレーム内符号化モードと判定し、フレ
ーム番号FNとして2、4、6がそれぞれ付与されたフ
レーム・データFDは、Bタイプであるので、その符号
化モードを動き補償予測によるフレーム間符号化モード
と判定し、フレーム番号FNとして3、5、7がそれぞ
れ付与されたフレーム・データFDは、Pタイプである
ので、その符号化モードを動き補償予測によるフレーム
間符号化モードと判定する。
号化すべき各フレーム・データFDについて、記憶手段
3に記憶されている参照フレーム・データRFDと同一
であるか否かを判定する。そして、符号化モード判定手
段5は、フレーム・データFDと参照フレーム・データ
RFDとが異なると判定した場合には、通常の圧縮符号
化処理(ステップSB13)を動き検索手段6以下の各
手段に指示し、フレーム・データFDと参照フレーム・
データRFDとが同一であると判定した場合には、同一
のフレーム・データFDであることを示すヘッダ情報だ
けの生成を可変長符号化手段12に指示する(ステップ
SB12)。
報生成処理(ステップSB13)については、上記した
第1の実施例における通常の圧縮符号化処理及びヘッダ
情報生成処理(ステップSA10)と略同様であるの
で、その説明を省略する。今の場合、フレーム番号FN
として1、3、5、7がそれぞれ付与されたフレーム・
データFDについては、画像入力手段1から供給された
ものであるので、符号化モード判定手段5により参照フ
レーム・データRFDと異なると判定され、それぞれの
符号化モードに従って通常の圧縮符号化処理が施され
る。これに対し、フレーム番号FNとして2、4、6が
それぞれ付与されたフレーム・データFDについては、
いずれも前のフレーム・データFDからコピーされたも
のであるので、符号化モード判定手段5により参照フレ
ーム・データRFDと同一である判定され、通常の圧縮
符号化処理は実行されず、可変長符号化手段12におい
て、同一のフレーム・データFDであることを示すヘッ
ダ情報、すなわち、差分データが0であることを示すヘ
ッダ情報だけが生成されて記憶手段13に記憶される。
次に、フレーム番号付与手段2は、画像入力手段1から
供給されたすべてのフレーム・データFDについて圧縮
符号化処理が終了したか否かを判定する(ステップSB
14)。画像入力手段1から供給されたすべてのフレー
ム・データFDについて圧縮符号化処理が終了したと判
定した場合には、フレーム番号付与手段2は、一連の処
理を終了する。これに対し、画像入力手段1から供給さ
れたすべてのフレーム・データFDについて圧縮符号化
処理が終了していないと判定した場合には、フレーム番
号付与手段2は、すべてのフレーム・データFDについ
て圧縮符号化処理が終了したと判定するまで、上記した
フレーム・データFDの時間情報取得処理(ステップS
B4)とフレーム番号付与処理(ステップSB5)とを
繰り返した後、一連の処理を終了する。
フレーム・レートと設定フレーム・レートとに基づい
て、画像集合体GOPの構成を動的に変更しているの
で、上記した第1の実施例による効果に加えて、圧縮効
率及び圧縮処理速度が向上するという効果も得られる。
詳述してきたが、具体的な構成はこの実施例に限られる
ものではなく、この発明の要旨を逸脱しない範囲の設計
の変更等があってもこの発明に含まれる。例えば、上述
の各実施例においては、圧縮符号化データを記憶手段1
3に記憶する例を示したが、これに限定されず、例え
ば、伝送路を介して外部に伝送しても良い。また、上述
の各実施例においては、NTSC方式を採用したビデオ
・カメラから供給されたビデオ信号を画像入力手段1に
より処理してフレーム・データFDを得た後、そのフレ
ーム・データFDをMPEG1方式により圧縮符号化す
る例を示したが、これに限定されない。この発明は、P
AL方式等の他のテレビジョン方式を採用したビデオ・
カメラ等の撮影手段から供給されたビデオ信号から得ら
れたフレーム・データFDの圧縮符号化にも適用するこ
とができると共に、MPEG2方式等の他の圧縮符号化
方式にも適用することができるのはいうまでもない。さ
らに、この発明は、フィールド・データ単位での圧縮符
号化にも適用することができる。
段をハードウェアで構成した例を示したが、これに限定
されない。すなわち、上記動画像圧縮装置を、CPU
(中央処理装置)と、ROMやRAM等の内部記憶装置
と、FDD(フロッピー・ディスク・ドライバ)、HD
D(ハード・ディスク・ドライバ)、CD−ROMドラ
イバ等の外部記憶装置と、出力手段と、入力手段とを有
するコンピュータによって構成し、上記フレーム番号付
与手段2、フレーム数判定手段4、符号化モード判定手
段5、動き検索手段6、周波数変換手段7、量子化手段
8、逆量子化手段9、逆周波数変換手段10、動き補償
手段11、可変長符号化手段12、GOP構成変更手段
21がCPUによって構成され、これらの機能が動画像
圧縮プログラムとして、ROM等の半導体メモリや、F
D、HDやCD−ROM等の記憶媒体に記憶されている
と構成しても良い。この場合、上記内部記憶装置、ある
いは外部記憶装置が記憶手段3,13、GOP構成テー
ブル22となり、動画像圧縮プログラムは、記憶媒体か
らCPUに読み込まれ、CPUの動作を制御する。CP
Uは、動画像圧縮プログラムが起動されると、上記フレ
ーム番号付与手段2、フレーム数判定手段4、符号化モ
ード判定手段5、動き検索手段6、周波数変換手段7、
量子化手段8、逆量子化手段9、逆周波数変換手段1
0、動き補償手段11、可変長符号化手段12、GOP
構成変更手段21として機能し、動画像圧縮プログラム
の制御により、上記した処理を実行するのである。
等のようなリアルタイムで連続して順次動画像を供給す
る供給源からの動画像を取り込みながらリアルタイムで
その動画像を圧縮符号化する場合において、CPUの処
理速度自体が遅かったり、CPUが各種の処理を並行し
て行うために負荷が重く、動画像を取り込む速度が遅く
なったり、一定の速度で動画像を取り込めなくなってフ
レーム・レートが変動した場合であっても、フレーム・
レートの変動に起因して再生時に発生する遅延等の時間
情報のズレを防止することができる。また、CPUの負
荷が重いため、動画像を取り込む速度が遅くなった場合
でも、発生符号量を削減して圧縮効率を向上させたり、
圧縮処理速度を速くして圧縮符号化時間を短縮すること
ができる。したがって、動画像をリアルタイムで圧縮符
号化することができる。
よれば、フレーム・レートが変動する場合でも、欠落し
たフレームを補間した後、圧縮符号化しているので、フ
レーム・レートの変動に起因して再生時に発生する遅延
等の時間情報のズレを防止することができる。また、こ
の発明の構成によれば、欠落したフレームは、その直前
のフレームをコピーすることにより補間するので、当該
フレームを圧縮符号化する時間が不要となり、その分時
間が短縮できると共に、同一のフレームであることを示
す情報の符号量は少なくて済むので、発生符号量も削減
することができる。これにより、高速でフレームを圧縮
符号化できると共に、発生符号量を削減した分だけ他の
フレームに発生符号量を割り当てることができるので、
高画質な圧縮符号化を実現することができる。さらに、
この発明の別の構成によれば、実測フレーム・レートに
基づいて、画像集合体の構成を動的に変更しているの
で、発生符号量を削減して、圧縮効率を向上させたり、
圧縮処理速度を速くして、圧縮符号化時間を短縮するこ
とができる。
の電気的構成を示すブロック図である。
示す図である。
BFDの符号の一例を示す図である。
一例を示す図である。
の電気的構成を示すブロック図である。
る。
定手段) 4 フレーム数判定手段(判定手段、第2の判定
手段) 5 符号化モード判定手段(補間手段) 6 動き検索手段(圧縮符号化手段) 7 周波数変換手段(圧縮符号化手段) 8 量子化手段(圧縮符号化手段) 9 逆量子化手段(圧縮符号化手段) 10 逆周波数変換手段(圧縮符号化手段) 11 動き補償手段(圧縮符号化手段) 12 可変長符号化手段(圧縮符号化手段) 21 GOP構成変更手段(第1の判定手段、決定
手段) 22 GOP構成テーブル(テーブル)
Claims (12)
- 【請求項1】 リアルタイムで供給される動画像を複数
個のフレームから構成される画像集合体に分割して圧縮
符号化する動画像圧縮方法において、 前記画像集合体を構成するために必要な個数のフレーム
が供給されなかった場合には、供給されなかったフレー
ムを当該フレームが供給されるべき時間より前に供給さ
れたフレームで補間して前記画像集合体を構成する第1
の処理と、 補間された画像集合体を構成する各フレームについて圧
縮符号化する第2の処理とからなることを特徴とする動
画像圧縮方法。 - 【請求項2】 前記第2の処理では、補間されたフレー
ムについては、当該フレームが供給されるべき時間より
前に供給されたフレームと同一であることを示す情報だ
けを圧縮符号化することを特徴とする請求項1記載の動
画像圧縮方法。 - 【請求項3】 リアルタイムで供給される動画像を複数
のタイプの複数個のフレームから構成される画像集合体
に分割して圧縮符号化する動画像圧縮方法において、 前記画像集合体を構成すべき先頭のフレームが供給され
た場合には、先に圧縮符号化した画像集合体を構成する
各フレームの所定時間に供給された個数に基づいて、現
在圧縮符号化すべき画像集合体を構成するフレームの個
数と各タイプによる構成形態とを決定する第1の処理
と、 前記フレームの個数と前記各タイプによる構成形態とが
決定された新たな画像集合体を構成するために必要な個
数のフレームが供給されなかった場合には、供給されな
かったフレームを当該フレームが供給されるべき時間よ
り前に供給されたフレームで補間して前記新たな画像集
合体を構成する第2の処理と、 補間された新たな画像集合体を構成する各フレームにつ
いて圧縮符号化する第3の処理とからなることを特徴と
する動画像圧縮方法。 - 【請求項4】 前記タイプは、当該フレーム内における
情報だけを用いて圧縮符号化することにより圧縮符号化
されたフレームが得られる第1のタイプと、過去のフレ
ームを参照して圧縮符号化することにより圧縮符号化さ
れたフレームが得られる第2のタイプと、過去及び未来
のフレームを参照して圧縮符号化することにより圧縮符
号化されたフレームが得られる第3のタイプとからな
り、 前記第1の処理では、前記第2の処理において補間され
るべきフレームが前記第3のタイプとなるように、前記
フレームの個数と前記各タイプによる構成形態とを決定
することを特徴とする請求項3記載の動画像圧縮方法。 - 【請求項5】 前記第3の処理では、補間されたフレー
ムについては、当該フレームが供給されるべき時間より
前に供給されたフレームと同一であることを示す情報だ
けを圧縮符号化することを特徴とする請求項3又は4記
載の動画像圧縮方法。 - 【請求項6】 リアルタイムで供給される動画像を複数
個のフレームから構成される画像集合体に分割して圧縮
符号化する動画像圧縮装置において、 前記画像集合体を構成するために必要な個数のフレーム
が供給されたか否かを判定する判定手段と、 該判定手段の判定結果に応じて、供給されなかったフレ
ームを当該フレームが供給されるべき時間より前に供給
されたフレームで補間して前記画像集合体を構成する補
間手段と、 補間された画像集合体を構成する各フレームについて圧
縮符号化する圧縮符号化手段とを備えてなることを特徴
とする動画像圧縮装置。 - 【請求項7】 前記圧縮符号化手段は、補間されたフレ
ームについては、当該フレームが供給されるべき時間よ
り前に供給されたフレームと同一であることを示す情報
だけを圧縮符号化することを特徴とする請求項6記載の
動画像圧縮装置。 - 【請求項8】 リアルタイムで供給される動画像を複数
のタイプの複数個のフレームから構成される画像集合体
に分割して圧縮符号化する動画像圧縮装置において、 前記画像集合体を構成すべき先頭のフレームが供給され
たか否かを判定する第1の判定手段と、 該第1の判定手段の判定結果に応じて、先に圧縮符号化
した画像集合体を構成する各フレームの所定時間に供給
された個数に基づいて、現在圧縮符号化すべき画像集合
体を構成するフレームの個数と各タイプによる構成形態
とを決定する決定手段と、 前記フレームの個数と前記各タイプによる構成形態とが
決定された新たな画像集合体を構成するために必要な個
数のフレームが供給されたか否かを判定する第2の判定
手段と、 該第2の判定手段の判定結果に応じて、供給されなかっ
たフレームを当該フレームが供給されるべき時間より前
に供給されたフレームで補間して前記新たな画像集合体
を構成する補間手段と、 補間された新たな画像集合体を構成する各フレームにつ
いて圧縮符号化する圧縮符号化手段とからなることを特
徴とする動画像圧縮装置。 - 【請求項9】 前記タイプは、当該フレーム内における
情報だけを用いて圧縮符号化することにより圧縮符号化
されたフレームが得られる第1のタイプと、過去のフレ
ームを参照して圧縮符号化することにより圧縮符号化さ
れたフレームが得られる第2のタイプと、過去及び未来
のフレームを参照して圧縮符号化することにより圧縮符
号化されたフレームが得られる第3のタイプとからな
り、 前記決定手段は、前記補間手段により補間されるべきフ
レームが前記第3のタイプとなるように、前記フレーム
の個数と前記各タイプによる構成形態とを決定すること
を特徴とする請求項8記載の動画像圧縮装置。 - 【請求項10】 前記画像集合体を構成する各フレーム
の所定時間に供給された個数に対応して、現在圧縮符号
化すべき画像集合体を構成するフレームの個数と各タイ
プによる構成形態が予め記憶されたテーブルを備え、 前記決定手段は、前記テーブルを参照して、前記フレー
ムの個数と前記各タイプによる構成形態とを決定するこ
とを特徴とする請求項8又は9記載の動画像圧縮装置。 - 【請求項11】 前記圧縮符号化手段は、補間されたフ
レームについては、当該フレームが供給されるべき時間
より前に供給されたフレームと同一であることを示す情
報だけを圧縮符号化することを特徴とする請求項8乃至
10のいずれか1に記載の動画像圧縮装置。 - 【請求項12】 コンピュータに請求項1乃至11のい
ずれか1に記載の機能を実現させるための動画像圧縮プ
ログラムを記憶した記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3353099A JP3209210B2 (ja) | 1999-02-10 | 1999-02-10 | 動画像圧縮方法、動画像圧縮装置及び動画像圧縮プログラムを記憶した記憶媒体 |
US09/501,939 US6600835B1 (en) | 1999-02-10 | 2000-02-10 | Moving-picture compressing technique |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3353099A JP3209210B2 (ja) | 1999-02-10 | 1999-02-10 | 動画像圧縮方法、動画像圧縮装置及び動画像圧縮プログラムを記憶した記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000232652A JP2000232652A (ja) | 2000-08-22 |
JP3209210B2 true JP3209210B2 (ja) | 2001-09-17 |
Family
ID=12389112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3353099A Expired - Fee Related JP3209210B2 (ja) | 1999-02-10 | 1999-02-10 | 動画像圧縮方法、動画像圧縮装置及び動画像圧縮プログラムを記憶した記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6600835B1 (ja) |
JP (1) | JP3209210B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6414796B1 (en) | 1998-06-03 | 2002-07-02 | Nippon Sheet Glass Co., Ltd. | Head-up display device and laminated glass for head-up display device |
US9067386B2 (en) | 2006-05-12 | 2015-06-30 | Sekisui Chemical Co., Ltd. | Interlayer film for laminated glass and laminated glass |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3721867B2 (ja) * | 1999-07-07 | 2005-11-30 | 日本電気株式会社 | 映像表示装置及び表示方法 |
US6952212B2 (en) * | 2000-03-24 | 2005-10-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Frame decimation for structure from motion |
US7065288B1 (en) * | 2000-06-21 | 2006-06-20 | Sony Corporation | System and method of patching missing digital video packets communicated in an IEEE 1394 compliant implementation |
JP2002218474A (ja) * | 2001-01-24 | 2002-08-02 | Mitsubishi Electric Corp | 画像データ符号化装置 |
KR100783397B1 (ko) * | 2001-04-20 | 2007-12-10 | 엘지전자 주식회사 | 디지털 비디오 코딩시 b프레임 배치 방법 |
US7958532B2 (en) | 2001-06-18 | 2011-06-07 | At&T Intellectual Property Ii, L.P. | Method of transmitting layered video-coded information |
US7412004B2 (en) * | 2001-06-29 | 2008-08-12 | Agere Systems Inc. | Method and apparatus for controlling buffer overflow in a communication system |
US20090282444A1 (en) * | 2001-12-04 | 2009-11-12 | Vixs Systems, Inc. | System and method for managing the presentation of video |
US7106798B1 (en) * | 2002-05-23 | 2006-09-12 | Microsoft Corporation | Smooth scanning presenter |
WO2005065030A2 (en) * | 2004-01-08 | 2005-07-21 | Videocodes, Inc. | Video compression device and a method for compressing video |
WO2007071076A1 (en) * | 2005-12-23 | 2007-06-28 | Swissqual License Ag | Non-intrusive determination of an objective mean opinion score of a video sequence |
WO2007132647A1 (ja) * | 2006-05-12 | 2007-11-22 | Panasonic Corporation | 動画像復号化装置 |
BRPI0721967A2 (pt) | 2007-08-31 | 2014-03-18 | Fujitsu Ltd | Dispositivo de produção de sinal e método de produção de sinal |
JP4958832B2 (ja) * | 2008-04-02 | 2012-06-20 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
JP4958831B2 (ja) * | 2008-04-02 | 2012-06-20 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
JP5199955B2 (ja) * | 2009-06-16 | 2013-05-15 | キヤノン株式会社 | 画像復号装置及びその制御方法 |
JP5199956B2 (ja) * | 2009-06-16 | 2013-05-15 | キヤノン株式会社 | 画像復号装置及びその制御方法 |
KR20110083981A (ko) * | 2010-01-15 | 2011-07-21 | 삼성전자주식회사 | 클라이언트 장치 및 그 제어방법, 이를 포함하는 영상 서비스 시스템 |
WO2015195463A1 (en) * | 2014-06-18 | 2015-12-23 | Arris Enterprises, Inc. | Trick-play streams for adaptive bitrate streaming |
US10931968B2 (en) | 2017-07-31 | 2021-02-23 | Nokia Technologies Oy | Method and apparatus for encoding or decoding video content including regions having looping videos of different loop lengths |
US11315606B1 (en) * | 2019-09-25 | 2022-04-26 | Amazon Technologies, Inc. | Timecode generation and assignment |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0750839A (ja) | 1993-08-06 | 1995-02-21 | Matsushita Electric Ind Co Ltd | 動画像の符号化方法 |
US5568165A (en) * | 1993-10-22 | 1996-10-22 | Auravision Corporation | Video processing technique using multi-buffer video memory |
JPH07177514A (ja) | 1993-12-17 | 1995-07-14 | Casio Comput Co Ltd | 動画像圧縮装置 |
US5453792A (en) * | 1994-03-18 | 1995-09-26 | Prime Image, Inc. | Double video standards converter |
JP2882294B2 (ja) | 1994-11-14 | 1999-04-12 | 松下電器産業株式会社 | 映像信号符号化装置 |
GB9424809D0 (en) * | 1994-12-08 | 1995-02-08 | Philips Electronics Uk Ltd | Variable display rate image coding |
JPH08242452A (ja) | 1995-03-02 | 1996-09-17 | Matsushita Electric Ind Co Ltd | 映像信号圧縮符号化装置 |
JP3661711B2 (ja) | 1995-04-27 | 2005-06-22 | ソニー株式会社 | 画像符号化方法および装置 |
JP2824028B2 (ja) | 1995-06-08 | 1998-11-11 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 動画像圧縮装置 |
JPH10136380A (ja) | 1996-10-31 | 1998-05-22 | Matsushita Electric Ind Co Ltd | 動画像符号化装置、および方法 |
JPH10257499A (ja) | 1997-03-17 | 1998-09-25 | Matsushita Electric Ind Co Ltd | 動画像符号化装置および方法 |
JP4462643B2 (ja) | 1997-04-25 | 2010-05-12 | ソニー株式会社 | 画像符号化方法及び画像符号化装置 |
JP3957816B2 (ja) * | 1997-06-05 | 2007-08-15 | 富士通株式会社 | フレーム間補間画像処理装置 |
-
1999
- 1999-02-10 JP JP3353099A patent/JP3209210B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-10 US US09/501,939 patent/US6600835B1/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6414796B1 (en) | 1998-06-03 | 2002-07-02 | Nippon Sheet Glass Co., Ltd. | Head-up display device and laminated glass for head-up display device |
US9067386B2 (en) | 2006-05-12 | 2015-06-30 | Sekisui Chemical Co., Ltd. | Interlayer film for laminated glass and laminated glass |
US9427932B2 (en) | 2006-05-12 | 2016-08-30 | Sekisui Chemical Co., Ltd. | Interlayer film for laminated glass and laminated glass |
Also Published As
Publication number | Publication date |
---|---|
US6600835B1 (en) | 2003-07-29 |
JP2000232652A (ja) | 2000-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3209210B2 (ja) | 動画像圧縮方法、動画像圧縮装置及び動画像圧縮プログラムを記憶した記憶媒体 | |
JP3268306B2 (ja) | 画像符号化方法 | |
KR100252108B1 (ko) | Mpeg 압축부호화 및 복호화기를 채용한 디지털 기록 재생장치 및 그 방법 | |
JP3358620B2 (ja) | 画像符号化方法及び画像符号化装置 | |
KR19990072968A (ko) | 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법 | |
JPH11262018A (ja) | 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体 | |
JP3911035B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
JP3900534B2 (ja) | 動画像の符号化装置および符号化方法 | |
JP3257052B2 (ja) | 画像信号の高能率符号化装置及びその方法 | |
KR100323235B1 (ko) | 저 복잡도의 동영상 인코더 장치 및 방법 | |
JP4200541B2 (ja) | データ変換装置及び方法、信号記録再生装置、並びに再生装置及び方法 | |
JP3703088B2 (ja) | 拡張画像符号化装置及び拡張画像復号化装置 | |
JP4320509B2 (ja) | 映像再符号化装置および方法 | |
JPH11289515A (ja) | 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 | |
JP3381630B2 (ja) | データ生成方法 | |
JP2000004440A (ja) | 動画像復号化方法および動画像復号化装置 | |
JP2003169348A (ja) | カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 | |
JP4765961B2 (ja) | デジタル動画像記録装置 | |
JP3384910B2 (ja) | 撮像装置および画像再生装置 | |
JP2002218470A (ja) | 画像符号化データのレート変換方法、及び画像符号化レート変換装置 | |
JP3461280B2 (ja) | 動画像編集装置および動画像編集方法 | |
JP3572819B2 (ja) | ディジタル画像圧縮符号化装置 | |
JP3381727B2 (ja) | データ再生装置 | |
JPH08265759A (ja) | 圧縮信号切換装置 | |
JP2004328796A (ja) | ディジタル画像情報処理装置及びディジタル画像情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070713 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080713 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090713 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 11 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 11 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 11 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 12 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |