JPH10257499A - 動画像符号化装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 復号化時に好適な再生を可能とするように、
復号化処理におけるメモリ使用量およびメモリアクセス
を削減するような符号化データを生成する動画像符号化
装置および方法を提供すること。 【解決手段】 ディジタル化されて入力された動画像に
おける各フレーム画像を符号化する入力フレーム符号化
手段と、前記入力フレーム符号化手段が符号化したデー
タに、1つまたは複数のフレーム画像に相当する符号化
データを付加して最終的な符号化データを生成する動画
像符号化手段とを備え、前記動画像符号化手段が付加す
る符号化データを復号化したフレーム画像は、その他の
フレーム画像の復号化に際して参照されないことを特徴
とする動画像符号化装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は複数のフレーム画像
からなる動画像を符号化する動画像符号化装置および方
法に関わり、特に符号化データに、入力されたフレーム
画像よりも多くのフレーム画像を含む動画像符号化装置
および方法に関する。

【０００２】

【従来の技術】近年のコンピュータならびにVLSI等の半
導体デバイスの高速化、低価格化に伴い、静止画像もし
くは動画像をリアルタイムでディジタル化してコンピュ
ータに取り込み信号処理を施すといったことが、実現可
能な状況となってきている。

【０００３】例えば、最近では、動画像圧縮の国際標準
であるMPEG方式を用いて動画像をリアルタイムで符号化
するパソコン用拡張カードなども普及しつつある。

【０００４】しかしながら、パソコン等のパーソナル用
途の機器においては、機器の価格を低く押さえるため
に、動画像の符号化処理を実施する場合に、完全な処理
を行うのではなく、圧縮率等を犠牲にするなどして全体
の処理量を削減し、機器に必要なメモリ等の部品を削減
するなどといったことがなされている。

【０００５】その一例として、たとえばMPEG方式で動画
像を符号化する場合に、MPEG方式で必要な30フレーム/
秒といったフレームレートの画像を入力とするのではな
く、10フレーム/秒などといった、30フレーム/秒よりも
低いフレームレートの画像を入力とすることで、符号化
処理を少ない処理量で実現するとともに、入力フレーム
を符号化したデータの間に直前とまったく同じ画像を表
す符号を、たとえば入力フレーム1つあたりに2つ挿入す
るなどして、結果として30フレーム/秒の画像が含まれ
た符号化データを生成するなどといったことがあげられ
る。

【０００６】図５に、毎秒10フレームのフレームレート
で入力された動画像を、毎秒30フレームの動画像とし
て、MPEG方式で符号化する従来の動画像符号化装置の構
成例を示す。

【０００７】図５において、501は、入力されたフレー
ム画像をMPEG方式におけるIフレームとして符号化する
入力フレーム符号化手段である。502は、復号化した場
合に直前の画像とまったく同じ画像を表すように、MPEG
方式におけるPフレームとして符号化された、1つのフレ
ーム画像に相当するPフレーム符号化データである。503
は、入力フレーム符号化手段501から出力されたIフレー
ムとしての符号化データと、Pフレーム符号化データ502
とから最終的な符号化データを生成する動画像符号化手
段である。

【０００８】以上のように構成された動画像符号化装置
の動作を図５を参照しながら以下に説明する。

【０００９】図５において、501は、毎秒10フレームの
フレームレートで入力された動画像の各フレームを、MP
EG方式におけるIフレームとして符号化する。503は、入
力フレーム符号化手段501から出力されたIフレームとし
ての符号化データ1つに対して、2つのPフレーム符号化
データ502を逐次、交互に組み合わせて、最終的に毎秒3
0フレームの画像に相当するデータを含むMPEG符号化デ
ータを生成する。

【００１０】

【発明が解決しようとする課題】しかしながら、上記し
た動画像符号化装置により生成された符号化データを復
号化装置を用いて復号化しようとした場合に不具合が発
生する。

【００１１】図６に、上記した従来の動画像符号化装置
により生成されたMPEG符号化データを復号化して再生す
る動画像復号化装置の構成例を示す。また、図７、図８
に前記した動画像復号化装置が、上記した従来の動画像
符号化装置により生成されたMPEG符号化データを復号し
て再生する場合のフローチャートを示す。

【００１２】図６において、601は、入力されたMPEG符
号化データを復号化する復号化手段である。602、603お
よび604は、復号化手段601が入力された符号化データを
復号化したフレーム画像を格納するメモリである。605
は復号化したフレーム画像を表示するモニタである。

【００１３】以上のように構成された動画像復号化装置
の動作を図６、図７、図８を参照しながら以下に説明す
る。

【００１４】動画像復号化装置は、図７における(a)、
(b)、(c)で示すように、以下の(Iフレーム処理)、(Pフ
レーム処理1)、(Pフレーム処理2)を実行する。

【００１５】(Iフレーム処理): 動画像復号化装置は、I
フレームとして符号化された符号化データを復号化して
(ステップ1)、再生画像(I)を生成し(ステップ2)、モニ
タ605に表示するとともに(ステップ3)、再生画像(I)を
メモリ602に格納する(ステップ4)。

【００１６】(Pフレーム処理1): 動画像復号化装置は、
Pフレームとして符号化された符号化データを復号化し
(ステップ1)、メモリ602に格納されている再生画像(I)
を参照して(ステップ2)、再生画像(P1)を生成し(ステッ
プ3)、モニタ605に表示するとともに(ステップ4)、再生
画像(P1)をメモリ603に格納する(ステップ5)。

【００１７】(Pフレーム処理2): 動画像復号化装置は、
Pフレームとして符号化された符号化データを復号化し
(ステップ1)、メモリ603に格納されている再生画像(P1)
を参照して(ステップ2)、再生画像(P2)を生成し(ステッ
プ3)、モニタ605に表示するとともに(ステップ4)、再生
画像(P2)をメモリ604に格納する(ステップ5)。

【００１８】動画像復号化装置は、図８で示すように、
(Iフレーム処理)、(Pフレーム処理1)、(Pフレーム処理
2)を最後のフレームの処理が完了するまで、繰り返し実
行することで入力されたMPEG符号化データを復号化して
再生する。

【００１９】上記したように、従来の動画像符号化装置
によりIフレームおよびPフレームとして生成されたMPEG
符号化データを復号化して再生する場合には、すべての
フレームの再生画像が他のフレームの再生時に参照され
る可能性があるため、すべての再生画像をメモリに格納
する必要がある。その結果、復号化時に多くのメモリを
必要とするだけでなく、メモリへのデータ格納に伴い、
処理のボトルネックになりやすいメモリへのアクセスが
頻繁に発生し、画像を再生する場合に、音の途切れ、再
生画像の乱れ等が発生する場合がある。

【００２０】すなわち、上記した問題点を解決する動画
像符号化装置として、符号化データを再生する場合に、
メモリの使用量およびメモリへのアクセスが共に少なく
てすむような符号化データを生成するものが考えられ
る。

【００２１】そこで、本発明は上記した問題点を解決す
るために、符号化データを復号化する場合に、他のフレ
ーム画像の復号化時に参照されないフレーム画像は、他
のフレーム画像再生時までメモリに格納しておく必要が
ないこと、また、その結果メモリへのアクセスも削減で
きることに着目し、入力された動画像のフレームレート
よりも高いフレームレートで符号化データを生成する場
合に、フレーム画像を増やすために新たに付加するフレ
ーム画像の符号化データを、他のフレーム画像の再生時
に参照されない符号化データとすることで、復号化処理
におけるメモリ使用量およびメモリアクセスを削減する
符号化データを生成する動画像符号化装置および方法を
提供することを目的とする。

【００２２】

【課題を解決するための手段】この課題を解決するため
に、本発明は、ディジタル化されて入力された動画像に
おける各フレーム画像を符号化する入力フレーム符号化
手段と、前記入力フレーム符号化手段が符号化したデー
タに、1つまたは複数のフレーム画像に相当する符号化
データを付加して最終的な符号化データを生成する動画
像符号化手段とを備え、前記動画像符号化手段が付加す
る符号化データを復号化したフレーム画像は、その他の
フレーム画像の復号化に際して参照されないことを特徴
とする。

【００２３】以上の方法により、入力された動画像に付
加する新たなフレーム画像に相当する符号化データを、
他のフレーム画像の復号化時には参照されない符号化デ
ータとすることで、復号化時における再生画像のメモリ
への格納および参照処理を削減し、復号化処理における
メモリ使用量およびメモリアクセスを削減することで、
画像を復号化して再生する場合に好適な再生が可能とな
る。

【００２４】

【発明の実施の形態】以下、本発明に係る動画像符号化
装置について図面を用いて詳細に説明する。

【００２５】(実施の形態) (全体の構成および機能)図１は、毎秒10フレームのフレ
ームレートで入力された動画像を、毎秒30フレームの動
画像として、MPEG方式で符号化する本発明の動画像符号
化装置の構成を示すブロック図である。

【００２６】図１において、101は、ディジタル化され
て入力されたフレーム画像をMPEG方式におけるIフレー
ムとして符号化する入力フレーム符号化手段である。10
2は、復号化した場合に直前の画像とまったく同じ画像
を意味するように、MPEG方式におけるBフレームとして
符号化された、1つのフレーム画像に相当するBフレーム
符号化データである。103は、入力フレーム符号化手段1
01から出力されたIフレームとしての符号化データと、B
フレーム符号化データ102とから最終的な符号化データ
を生成する動画像符号化手段である。

【００２７】以上のように構成された動画像符号化装置
の動作を以下に説明する。 (動作)図１において、101は、毎秒10フレームのフレー
ムレートで入力された動画像の各フレームを、MPEG方式
におけるIフレームとして符号化する。103は、入力フレ
ーム符号化手段101から出力されたIフレームとしての符
号化データ1つに対して、2つのBフレーム符号化データ1
02を逐次、交互に組み合わせて、最終的に毎秒30フレー
ムの画像に相当するデータを含むMPEG符号化データを生
成する。ただし、Bフレームの復号化には、前後のIフレ
ームが必要となる可能性があることから、最終的な符号
化データのはじめには、Iフレームが2つ連続するように
符号化データを組み合わせるものする。

【００２８】(効果)以下に、上記した本発明に係る動画
像符号化装置において生成された符号化データを復号化
した場合の効果について、動画像復号化装置の構成およ
び動作とともに説明する。

【００２９】(動画像復号化装置の構成および機能)図２
は、上記した従来の動画像符号化装置により生成された
MPEG符号化データを復号化して再生する動画像復号化装
置の構成を示すブロック図である。また、図３、図４
は、以下で示す動画像復号化装置が本発明に係る動画像
符号化装置が生成したMPEG符号化データを復号化して再
生する場合のフローチャートである。

【００３０】図２において、201は、入力されたMPEG符
号化データを復号化する復号化手段である。202、203
は、復号化手段201が入力された符号化データを復号化
する際に、復号化したフレーム画像を格納するメモリで
ある。204は復号化したフレーム画像を表示するモニタ
である。

【００３１】(動作)以上のように構成された動画像復号
化装置の動作を図２、図３、図４を参照しながら以下に
説明する。

【００３２】動画像復号化装置は、図３における(a)、
(b)、(c)、(d)、(e)で示すように、以下の(Iフレーム処
理1)、(Iフレーム処理20)、(Iフレーム処理21)、(Bフレ
ーム処理1)、(Bフレーム処理2)を実行する。

【００３３】(Iフレーム処理1): 動画像復号化装置は、
Iフレームとして符号化された符号化データを復号化し
て(ステップ1)、再生画像(I1)を生成し(ステップ2)、再
生画像(I1)をメモリ202に格納する(ステップ3)。

【００３４】(Iフレーム処理20): 動画像復号化装置
は、メモリ202に格納された再生画像(I1)をモニタ204に
表示した後(ステップ1)、Iフレームとして符号化された
符号化データを復号化して(ステップ2)、再生画像(I2)
を生成し(ステップ3)、再生画像(I2)をメモリ203に格納
する(ステップ4)。

【００３５】(Iフレーム処理21): 動画像復号化装置
は、メモリ203に格納された再生画像(I2)をモニタ204に
表示した後(ステップ1)、Iフレームとして符号化された
符号化データを復号化して(ステップ2)、再生画像(I1)
を生成し(ステップ3)、再生画像(I1)をメモリ202に格納
する(ステップ4)。

【００３６】(Bフレーム処理1): 動画像復号化装置は、
Bフレームとして符号化された符号化データを復号化し
(ステップ1)、メモリ202に格納されている再生画像(I1)
を参照して(ステップ2)、再生画像(B)を生成し(ステッ
プ3)、モニタ204に表示する(ステップ4)。

【００３７】(Bフレーム処理2): 動画像復号化装置は、
Bフレームとして符号化された符号化データを復号化し
(ステップ1)、メモリ203に格納されている再生画像(I2)
を参照して(ステップ2)、再生画像(B)を生成し(ステッ
プ3)、モニタ204に表示する(ステップ4)。

【００３８】動画像復号化装置は、図４で示すように、
はじめに、(Iフレーム処理1)を実行した後、(Bフレーム
処理1)を2回と(Iフレーム処理20)を1回、もしくは、(B
フレーム処理2)を2回と(Iフレーム処理21)を1回、を最
後のフレームの処理が完了するまで繰り返す。

【００３９】上記したように、本発明の動画像符号化装
置によりIフレームおよびBフレームとして生成されたMP
EG符号化データを復号化して再生する場合には、Iフレ
ームとして符号化された画像の再生画像のみが、他の画
像の再生時に参照されるだけであり、Bフレームとして
符号化された画像の再生画像は、他の画像の再生時には
参照されない。その結果Bフレームとして符号化された
画像の再生画像を他の画像の再生に利用するべくメモリ
に格納する必要がなく、本実施の形態においては、従来
例で示したように、Pフレームとして符号化されたデー
タを復号化する場合には、再生画像を格納するために3
フレーム分のメモリを必要としていたのが、2フレーム
分のメモリでよいこととなる。また、従来すべての再生
画像をメモリに格納していたのに比べ、3フレームに1回
の割合でメモリに再生画像を格納すればよいことから、
メモリへのアクセスも削減できる。即ち、本発明の動画
像符号化装置により生成されたMPEG符号化データを復号
化する場合、復号化時のメモリ使用量が減るだけでなく
復号化のための処理量も削減されるため、画像を復号化
して再生する場合に好適な再生が可能となる。

【００４０】なお、本発明は、上記した実施の形態に限
定されるものではない。即ち、たとえば、本実施の形態
においては、符号化方式としてMPEG符号化方式を用いた
が、符号化方式はこれに限られるものではない。

【００４１】また、本発明は、プログラムによって実現
され、このプログラムはフロッピディスク等の記録媒体
に記録して実施することや、あるいはネットワークやデ
ータ通信等に接続して他のコンピュータシステムからの
プログラムによって実施することも可能である。

【００４２】

【発明の効果】以上述べたことから明らかなように、本
発明に係る動画像符号化装置および方法は、入力された
動画像に付加する新たなフレーム画像に相当する符号化
データを、他のフレーム画像の復号化時には参照されな
い符号化データとすることで、復号化時における再生画
像のメモリへの格納および参照処理を削減し、復号化処
理におけるメモリ使用量およびメモリアクセスを削減す
ることで、画像を復号化して再生する場合に好適な符号
化データの再生が可能となる。

【図面の簡単な説明】

【図１】本発明に係る実施の形態の動画像符号化装置の
構成図

【図２】本発明に係る実施の形態の動画像復号化装置の
構成図

【図３】本発明に係る実施の形態の動画像復号化装置の
動作を説明するフローチャート

【図４】本発明に係る実施の形態の動画像復号化装置の
動作を説明するフローチャート

【図５】従来の動画像符号化装置の構成図

【図６】従来の動画像復号化装置の構成図

【図７】従来の動画像復号化装置の動作を説明するフロ
ーチャート

【図８】従来の動画像復号化装置の動作を説明するフロ
ーチャート

【符号の説明】

１０１ 入力フレーム符号化手段 １０２ Ｂフレーム符号化データ １０３ 動画像符号化手段 ２０１ 復号化手段 ２０２ メモリ ２０３ メモリ ２０４ モニタ ５０１ 入力フレーム符号化手段 ５０２ Ｐフレーム符号化データ ５０３ 動画像符号化手段 ６０１ 復号化手段 ６０２ メモリ ６０３ メモリ ６０４ メモリ ６０５ モニタ

Claims (2)

【特許請求の範囲】
1. 【請求項１】ディジタル化されて入力された動画像にお
   ける各フレーム画像を符号化する入力フレーム符号化手
   段と、前記入力フレーム符号化手段が符号化したデータ
   に、１つまたは複数のフレーム画像に相当する符号化デ
   ータを付加して最終的な符号化データを生成する動画像
   符号化手段とを備え、前記動画像符号化手段が付加する
   符号化データを復号化したフレーム画像は、その他のフ
   レーム画像の復号化に際して参照されないことを特徴と
   する動画像符号化装置。
2. 【請求項２】ディジタル化されて入力された動画像にお
   ける各フレーム画像を符号化する入力フレーム符号化ス
   テップと、前記入力フレーム符号化ステップが符号化し
   たデータに、１つまたは複数のフレーム画像に相当する
   符号化データを付加して最終的な符号化データを生成す
   る動画像符号化ステップとを備え、前記動画像符号化ス
   テップが付加する符号化データを復号化したフレーム画
   像は、その他のフレーム画像の復号化に際して参照され
   ないことを特徴とする動画像符号化方法。