JP2824028B2 - 動画像圧縮装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタル動画像を圧
縮する動画像圧縮装置に関するものである。

【０００２】

【従来の技術】ＭＰＥＧ（Moving Picture Experts Gro
up）１，ＭＰＥＧ２による動画像圧縮では、画像を小さ
なブロック（マクロブロック＝１６画素×１６画素の矩
形）に分割し、時間的に前後の画像の中から、圧縮しよ
うとするマクロブロックに似た領域（参照画像領域）を
抽出し、参照画像領域との空間的な距離、方位（動きベ
クトル）と、参照画像領域と圧縮しようとする領域の差
分情報を計算し、これらの情報を、ＤＣＴ、可変長符号
化を用いて圧縮している。このように動きベクトルと差
分情報だけを圧縮した方が、原画像そのものを圧縮する
よりも、はるかに効率良く圧縮できる。

【０００３】差分情報によって圧縮されたピクチャー
は、参照するピクチャーがないと復元できないため、周
期的に、他の画像を参照しないピクチャーを設ける必要
がある。この画像をＩ（Intra ）ピクチャーと呼ぶ。Ｉ
ピクチャーを参照画像として、次の画像を圧縮し、さら
に、すでに圧縮された画像を参照画像として次の画像を
圧縮していく。参照画像を用いて圧縮するピクチャーの
中には、時間的に前方のピクチャーのみを参照画像とす
るＰ（Predictive）ピクチャーと、時間的に前後のピク
チャーを参照画像とするＢ（Bidirectionally-Predicti
ve）ピクチャーがある。Ｐピクチャーは、Ｉピクチャー
と同様に、他の画像の参照画像となりうる。Ｉピクチャ
ーは、Ｐ，Ｂピクチャーよりも、多くの情報量を必要と
する。１枚以上のＩピクチャーと、このＩピクチャーを
参照画像として圧縮されたＰ，Ｂピクチャーの集合体を
ＧＯＰ（Group of Picture）と呼ぶ。

【０００４】図７（ａ）に、ＧＯＰの一例を示す。この
図では、入力画像は１０フレーム周期でＩピクチャーと
して圧縮され、その間の９フレームがＰピクチャーとし
て圧縮され、Ｂピクチャーは存在していない例である。
図中のＮはＧＯＰの長さ、ＭはＩまたはＰピクチャーの
周期である。

【０００５】この例では、まず、フレーム０がＩピクチ
ャーとして、他の画像を参照しないで圧縮され、次に、
フレーム１がＰピクチャーとして、前方のフレーム０を
参照して圧縮される。以降のＰピクチャーが、順次、前
のフレームを参照画像として圧縮される。この構成の場
合、１ＧＯＰは１０枚のフレームより構成されている。

【０００６】図７（ｂ）に、ＧＯＰの他の例を示す。こ
の図では、入力画像は１０フレーム周期でＩピクチャー
として圧縮され、その間の１フレームおきにＰピクチャ
ーとして圧縮され、残りの５フレームがＢピクチャーと
して圧縮されている。

【０００７】この例では、まず、フレーム１がＩピクチ
ャーとして、他の画像を参照しないで圧縮され、次に、
フレーム０がＢピクチャーとして、後方のフレーム１を
参照して圧縮される。次に、フレーム３がＰピクチャー
として、前方のフレーム１を参照して圧縮され、フレー
ム２がＢピクチャーとして、前後のフレーム１，３を参
照画像として、圧縮される。

【０００８】図７（ｃ）に、ＧＯＰの他の例を示す。こ
の図では、入力画像は６フレーム周期でＩピクチャーと
して圧縮され、その間の２フレームおきにＰピクチャー
として圧縮され、残りの４フレームがＢピクチャーとし
て圧縮されている。

【０００９】この例では、まず、フレーム２がＩピクチ
ャーとして、他の画像を参照しないで圧縮され、次に、
フレーム０，１がＢピクチャーとして、後方のフレーム
２を参照して圧縮される。次に、フレーム５がＰピクチ
ャーとして、前方のフレーム２を参照して圧縮され、フ
レーム３，４がＢピクチャーとして、前後のフレーム
２，５を参照画像として、圧縮される。

【００１０】ＧＯＰの長さは、任意に定めることが可能
である。ＧＯＰの長さが短い程、Ｉピクチャーの割合が
増加し、圧縮効率が低下する。しかし、Ｉピクチャーが
多い程、圧縮の結果得られる信号（ビットストリーム）
の途中から再生画像を得ることが出来る点が増加する。
そのため、ＧＯＰの長さは、ビットストリームの用途に
よって決定されるのが一般的である。例えば、テレビ会
議に用いる場合は、圧縮の結果得られるビットストリー
ムは極力少ない方がよく、また、ビットストリームがと
ぎれても、受信側から送信側へ再送要求を出すことが可
能であることから、Ｉピクチャーの周期は長くても良
い。一方、ビットストリームを用いてテレビジョン放送
を行う場合、視聴者がチャンネルを切り換えた結果、ビ
ットストリームの途中から受信を始める場合でも、比較
的短い時間で再生画像を出力する必要があるため、Ｉピ
クチャーの間隔は短い方が良い。

【００１１】このように、ＧＯＰの長さは用途によって
設定されていたため、ビットストリームの途中でＧＯＰ
の長さを変える必要性は存在していなかった。そのた
め、従来のＭＰＥＧエンコーダでは、ＧＯＰの長さは圧
縮開始時に設定された値のままで、ビットストリームの
最後まで変更されることはなかった。

【００１２】

【発明が解決しようとする課題】現時点では、ＭＰＥＧ
２規格による画像圧縮を行うエンコーダは高価であり、
持ち運びも不便である。そのため、ＭＰＥＧ２規格をテ
レビジョン放送に用いる場合、放送局から一般家庭に放
送する直前で動画像圧縮して送出する可能性が高い。こ
のような使用方法では、放送局に最低１台のエンコーダ
があれば良い。放送素材やコマーシャル素材などは、非
圧縮のまま、保存または伝送されることになる。非圧縮
の素材を、所定の順序に編集（一本化）してから、ＭＰ
ＥＧ２圧縮することになる。

【００１３】しかし、技術革新によりＭＰＥＧ２エンコ
ーダが安価で軽量になると、放送素材やコマーシャル素
材も、ＭＰＥＧ２圧縮されて伝送または保存されると予
想される。このような用途では、予めＭＰＥＧ２圧縮さ
れたビットストリーム同士を放送局で編集し、一般家庭
に送出する。

【００１４】ＭＰＥＧ２圧縮されたビットストリームを
編集のためにカットする場合、上記で説明したＧＯＰの
途中で切って編集することは難しいため、ＧＯＰ単位で
編集することになる。図７（ａ），（ｂ）で示した例で
は、１０フレーム毎に、カット可能な点が存在し、図７
（ｃ）で示した例では、６フレーム毎に、カット可能な
点が存在する。

【００１５】放送に用いられるビデオ素材には、各フレ
ームに、タイムコードと呼ばれる時間を示す番号が付加
されている。ビデオ素材を編集する場合は、このタイム
コードを参照して編集点を決定する。タイムコードは、
時：分：秒：フレームの４つの数字からなる。

【００１６】日本、米国などでテレビジョン放送に用い
られているＮＴＳＣ信号は、１秒間に、２９．９７枚の
画像を伝送する。この値はおおよそ３０であるため、フ
レーム番号は、０から２９の値で表現されるが、３０か
らは０．１％ずれているため、部分的に不連続になる。

【００１７】具体的には、毎時０分、１０分、２０分、
３０分、４０分、５０分を除く各正分（分単位で区切り
の良い値、すなわち、秒、フレームの値が、００秒００
フレーム）の開始から、２フレームずつ（００フレーム
と０１フレーム）、タイムコードを間引いている。間引
いたタイムコードのフレームを、ドロップフレームと称
する。このように、０．１％のフレームを間引くことに
より実時間と、タイムコードの時間のずれが蓄積される
ことを防止している。

【００１８】このように、ＮＴＳＣ信号の１秒間のフレ
ーム数は整数ではないため、従来方法のように、ビデオ
信号を等フレーム間隔に分割してＧＯＰを構成すると、
ＧＯＰ先頭フレームと正分の関係は、僅かずつずれてい
くことになる。例えば、００分００秒００フレームで最
初のＧＯＰを開始し、１０フレームずつＧＯＰで分割し
ていくと、０１分００秒０２フレーム、０２分００秒０
４フレーム、０３分００秒０６フレーム、０４分００秒
０８フレームが、それぞれＧＯＰ先頭となる。このよう
に、最初に正分、正秒がＧＯＰ先頭となるように圧縮を
開始しても、徐々にずれていくという欠点を持ってい
た。

【００１９】放送局では、決められたタイムスケジュー
ルに従って、ビデオ信号を編集して一般家庭に送出する
が、タイムスケジュールは、正分または正秒単位で決定
されていることが多い。そのため、ビットストリームを
編集して送出信号を作成する場合でも、正分、正秒単位
で編集できなければならない。従来のＧＯＰ構成では、
最初に、ＧＯＰ先頭が正分、正秒となるように圧縮を開
始しても、徐々にずれていってしまうため、編集希望点
がＧＯＰ先頭となる保証はない。そのため、編集作業に
支障をきたすことが予想される。

【００２０】本発明は、上記従来の問題点を解決するた
めになされたもので、タイムコード正分，正秒を画像集
合体の境界に合わせることが可能な動画像圧縮装置を提
供することを目的とする。

【００２１】

【課題を解決するための手段】本発明にかかる動画像圧
縮装置は、動画像を所定のフレームの画像集合体に分割
して圧縮する動画像圧縮装置において、前記各フレーム
のタイムコードが入力されるタイムコード入力手段、ま
たはタイムコードを発生するタイムコード生成手段と、
前記タイムコード中のドロップフレームを予測、検出す
るドロップフレーム予測、検出手段と、ドロップフレー
ム予測、検出手段の結果を元に前記画像集合体の画像数
を決定する画像集合体決定手段を有するものである。

【００２２】

【作用】ＭＰＥＧ２規格では、ビットストリームの途中
でＧＯＰの長さを変えることは可能である。タイムコー
ド中のドロップフレームの存在をドロップフレーム予
測、検出手段で検知して、ドロップフレームがある場合
にはＧＯＰの長さを変えて動画像圧縮する。

【００２３】このように動画像圧縮することにより、全
ての正分、正秒をＧＯＰ先頭とするようなビットストリ
ームを作成することが可能となる。

【００２４】

【実施例】図１は、本発明の一実施例である動画像圧縮
装置の構成を示すブロック図である。図１を用いて、本
実施例の構成ならびに動作を説明する。

【００２５】図１において、１は画像信号入力端子、１
０１はタイムコード入力端子、１０３はドロップフレー
ム予測、検出手段、１０４はＧＯＰ構成決定手段、２は
エンコード手段、３はビットストリーム出力端子であ
る。

【００２６】本実施例の動画像圧縮装置では、画像信号
入力端子１から入力された動画像信号と、タイムコード
入力端子１０１から入力されたタイムコードを、所定の
規格に基づいて圧縮し、ビットストリーム出力端子３よ
り出力する機能を有する。

【００２７】画像信号入力端子１から入力された動画像
信号は、タイムコード入力端子１０１から入力されるタ
イムコードと同期しており、このタイムコードはドロッ
プフレームを含んでいる。タイムコードは、ドロップフ
レーム予測、検出手段１０３にて、これから圧縮しよう
とするＧＯＰ中にタイムコードの不連続があるかを判断
し、この結果をもとに、ＧＯＰ構成決定手段１０４に
て、ＧＯＰの長さ、および、各フレームをＩ，Ｐ，Ｂピ
クチャーのいずれの画像として圧縮されるかが決定さ
れ、圧縮手段であるエンコード手段２にて、このＧＯＰ
長、ピクチャータイプで圧縮される。

【００２８】ドロップフレーム予測、検出手段１０３の
動作、および、ＧＯＰ構成決定手段１０４の動作を、図
２を用いて説明する。

【００２９】図２は、ＧＯＰの長さ、および、構成の決
定方法を示すフローチャートである。図２中、Ａ１０１
で囲まれた領域は、図１中のドロップフレーム予測、検
出手段１０３での判定を示すフローチャートであり、Ａ
１０２で囲まれた領域は、図１中のＧＯＰ構成決定手段
１０４での判定を示すフローチャートであり、（Ｓ１）
〜（Ｓ１２）は各ステップを示す。領域Ａ１０１のフロ
ーでＧＯＰの長さを決定し、その結果を受けて、図２中
の領域Ａ１０２のフローでＧＯＰ構造を決定する。

【００３０】ドロップフレームを含まない場合のＧＯＰ
長をＮとし、ＩまたはＰピクチャーの周期をＭとする。
図７中のＮ、Ｍに相当する。まず、ＧＯＰ長Ｎを決定す
る。そのために、入力されるタイムコードを用いて、こ
れから圧縮しようとするＮフレーム中に、ドロップフレ
ームを含むか否か判定する（Ｓ１）。含んでいないなれ
ば、ＧＯＰ長をＮとする。ＧＯＰ長をＮとするために、
領域Ａ１０２で使用するフレームカウンタｎの初期値を
０にする（Ｓ３）。ステップ（Ｓ１）でドロップフレー
ムを含んでいるならば、さらに、これから圧縮しようと
うするＮ−１フレーム中に、ドロップフレームを含むか
否か判定する（Ｓ２）。ドロップフレームを含む場合
は、ＧＯＰ長をＮ−２とし、フレームカウンタｎの初期
値を２にする（Ｓ４）。ステップ（Ｓ２）で含んでいな
いならば、ＧＯＰ長をＮ−１とし、フレームカウンタｎ
の初期値を１にする（Ｓ５）。

【００３１】図３は、Ｎ＝６の場合を例にとり、領域Ａ
１０１のフローでの判定基準と判定結果の関係を、ＧＯ
Ｐ境界でのタイムコードの値によって示した図である。

【００３２】図３（ａ）は、圧縮しようとするフレーム
から、Ｎフレームの間に、ドロップフレームが存在しな
い例である。この場合は、ＧＯＰ長をＮにしても、ドロ
ップフレームがＧＯＰ中に存在することがない。そのた
め、ドロップフレーム直後に来る正分のフレーム（図３
（ａ）では、０：０１：００：０２）は、ＧＯＰ先頭フ
レームとなる。この状態は、図２中のステップ（Ｓ３）
に相当する。

【００３３】図３（ｂ）は、エンコードしようとするフ
レームから、Ｎフレームの間に、ドロップフレームが存
在する例である。この場合は、ＧＯＰ長をＮ−１にする
ことにより、ドロップフレームがＧＯＰ中に存在しない
ようにエンコードすることが出来る。この時、ドロップ
フレーム直後に来る正分のフレーム（図３（ｂ）では、
０：０１：００：０２）は、ＧＯＰ先頭のフレームとな
る。この状態は、図２中のステップ（Ｓ５）に相当す
る。

【００３４】図３（ｃ）は、エンコードしようとするフ
レームから、Ｎ−１フレームの間に、ドロップフレーム
が存在する例である。この場合は、ＧＯＰ長をＮ−２に
することにより、ドロップフレームがＧＯＰ中に存在し
ないようにエンコードすることが出来る。この時、ドロ
ップフレーム直後に来る正分のフレーム（図３（ｃ）で
は、０：０１：００：０２）は、ＧＯＰ先頭のフレーム
となる。この状態は、図２中のステップ（Ｓ４）に相当
する。

【００３５】以上のようにして、図１中のドロップフレ
ーム予測・検出手段１０３でドロップフレームの存在が
予測され、その結果、決定されたＧＯＰ長に従って、図
１中ＧＯＰ構成決定手段１０４で、各フレームにＩ，
Ｐ，Ｂピクチャーを割り当てる。

【００３６】図２の領域Ａ１０２では、フレームカウン
タｎの値をもとに、ピクチャータイプを決定する（Ｓ
６）。

【００３７】まず、ｎをＭで割った余りを判定すること
により、Ｂピクチャーにすべきか否かを決定する。ｎを
Ｍで割った余りが（Ｍ−１）に等しくないならば、Ｂピ
クチャーとする（Ｓ８）。ステップ（Ｓ６）中、％で表
した演算子は、左項を右項で割った余りを算出する２項
演算子である。Ｂピクチャーでない場合は、Ｉピクチャ
ーまたはＰピクチャーとして圧縮するが、ＧＯＰの中
で、Ｂピクチャーでない最初のフレームはＩピクチャー
として圧縮し、以降のＢピクチャーでないフレームはＰ
ピクチャーとして圧縮する（Ｓ７，Ｓ９，Ｓ１０）。

【００３８】このようにピクチャータイプを決定した
後、フレームカウンタｎを１だけ増加させる（Ｓ１
１）。フレームカウンタが、ＧＯＰ長Ｎと等しくなった
場合は（Ｓ１２）、次ＧＯＰの処理を開始するために、
ステップ（Ｓ１）の状態に遷移する。それ以外は、次の
ピクチャーのピクチャータイプを決定する処理に移るた
めに、ステップ（Ｓ６）に遷移する。

【００３９】このようにして決定されたピクチャータイ
プに従って、図１中のエンコード２において圧縮され、
ビットストリーム出力端子３より出力される。

【００４０】図４は、本実施例によりエンコードされた
動画像と、従来方法によりエンコードされた動画像のＧ
ＯＰ構成の一例を示した図である。

【００４１】本図において、２０１は、入力画像のタイ
ムコード例であり、時：分：秒：フレームを表してい
る。２１１は、本実施例によってエンコードされた場合
のＧＯＰ分割例であり、２１２，２１３，２１４は、そ
れぞれＧＯＰである。一方、２２１は、従来方法によっ
てエンコードされた場合のＧＯＰ分割例であり、２２
２，２２３，２２４は、それぞれＧＯＰである。

【００４２】この例では、１ＧＯＰが１０フレームから
なり（Ｎ＝１０）、０時００分５９秒２０フレームでＧ
ＯＰが開始する場合の、ＧＯＰ開始フレームと正分の関
係を示している。

【００４３】最初のＧＯＰでは、Ｎフレーム期間内にド
ロップフレームが存在しないため、本実施例でも従来方
法と同様に、１０フレームでＧＯＰを構成する。次の正
分（０時０１分００秒０２フレーム）では、本実施例、
従来例とも、ＧＯＰ先頭が正分となっている。

【００４４】次のＧＯＰでは、０フレーム目にドロップ
フレームが存在するため、本実施例では８フレームでＧ
ＯＰを構成する。一方、従来方法では、ＧＯＰ内フレー
ム数は一定であるため、１０フレームでＧＯＰを構成す
る。その結果、本実施例では０時０１分００秒１０フレ
ームから次のＧＯＰが開始するのに対し、従来方法で
は、０時０１分００秒１２フレームから次のＧＯＰが開
始することになり、従来方法では、ＧＯＰ開始フレーム
番号が、Ｎで割り切れない値となる。このずれは、その
まま保持されていくので、次の正分である０時０２分０
０秒０２フレームでは、本実施例では、ＧＯＰ先頭が正
分となっているのに対し、従来方法では、ＧＯＰ先頭と
正分が一致していない。以下の正分では、さらにずれが
拡大する。

【００４５】図６（ａ）は、図４と同一の条件でエンコ
ードした場合の、各正分がＧＯＰ内の何番目のフレーム
に相当するかを示した図である。本実施例では、正分で
はＧＯＰ内のフレーム番号が０（つまり、フレーム先
頭）となっているの対して、従来方法では、ＧＯＰ内フ
レーム番号は、徐々にずれていく。

【００４６】図４、図６（ａ）では、ＧＯＰ中のフレー
ム数が１０である場合（Ｎ＝１０）を例に説明したが、
本方式によれば、ドロップフレームを含まないとした場
合の１分間のフレーム数をＮで割り切ることができるよ
うな値であれば、他のＮの値であっても、全てのタイム
コード正分をＧＯＰ境界に一致させることが可能であ
る。ＮＴＳＣ画像の場合は、次の条件を満たすＧＯＰ長
Ｎであれば良い。

【００４７】（１８００％Ｎ）＝０ ％：左項を右項で割った余りを算出する２項演算子 具体的には、図６（ｂ）に示した３６通りのＮ値に対し
て、全てのタイムコード正分をＧＯＰ境界に一致させる
ことが可能である。

【００４８】図５は、本発明の他の実施例である動画像
圧縮装置の構成を示すブロック図である。

【００４９】本実施例では、外部からタイムコードの供
給を受けるのではなく、タイムコード生成手段１０２で
タイムコードを発生し、入力動画像とともにエンコード
する構成とした例である。この例では、タイムコード生
成手段１０２にて、図２の領域Ａ１０１で表したフロー
と同等の処理を行うことにより、第１の実施例と同等の
ＧＯＰ長制御を行うことが可能であり、同等の効果を得
ることが出来る。

【００５０】以上の実施例では、画像集合体として、Ｍ
ＰＥＧ規格の「ＧＯＰ」を想定し、タイムコード正分、
正秒がＧＯＰ境界に一致するようにエンコードする例を
説明したが、画像集合体としてＭＰＥＧ２規格で定めら
れた「シーケンス」を想定し、シーケンス境界がタイム
コード正分、正秒に一致するようにエンコードすること
も可能である。

【００５１】

【発明の効果】以上のように、本発明は、動画像を所定
のフレームの画像集合体に分割して圧縮する動画像圧縮
装置において、前記各フレームのタイムコードが入力さ
れるタイムコード入力手段（１０１）、またはタイムコ
ードを発生するタイムコード生成手段（１０２）と、前
記タイムコード中のドロップフレームを予測、検出する
ドロップフレーム予測、検出手段（１０３）と、ドロッ
プフレーム予測、検出手段（１０３）の結果を元に前記
画像集合体の画像数を決定する画像集合体決定手段（１
０４）を有するので、タイムコード正分、正秒を画像集
合体境界合わせることが可能であるため、ビットストリ
ームを作成したあとで編集することが容易となる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】本発明におけるＧＯＰの長さ、および構成の決
定方法を示すフローチャートである。

【図３】ＧＯＰ長Ｎが６の場合の図２のフローチャート
での判定基準と判定結果の関係を、ＧＯＰ境界でのタイ
ムコードの値によって示した図である。

【図４】本発明の実施例によりエンコードされた動画像
と、従来方法によりエンコードされた動画像のＧＯＰ構
成の一例を示した図である。

【図５】本発明の他の実施例の構成を示すブロック図で
ある。

【図６】図４と同一の条件でエンコードした場合の各正
分がＧＯＰ内の何番目に相当するかを示した図と、３６
通りのＮ値に対してタイコード正分をＧＯＰ境界に一致
させることが可能なことを示す図である。

【図７】ＧＯＰの各種の構成例を示す図である。

【符号の説明】

１ 画像信号入力端子 ２ エンコード手段 ３ ビットストリーム出力端子 １０１ タイムコード入力端子 １０２ タイムコード生成手段 １０３ ドロップフレーム予測、検出手段 １０４ ＧＯＰ構成決定手段

フロントページの続き (72)発明者 坂口 俊文 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 綿谷 由純 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 7/24 - 7/68

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 動画像を所定のフレームの画像集合体に
   分割して圧縮する動画像圧縮装置において、前記各フレ
   ームのタイムコードが入力されるタイムコード入力手段
   （１０１）、またはタイムコードを発生するタイムコー
   ド生成手段（１０２）と、前記タイムコード中のドロッ
   プフレームを予測、検出するドロップフレーム予測、検
   出手段（１０３）と、ドロップフレーム予測、検出手段
   （１０３）の結果を元に前記画像集合体の画像数を決定
   する画像集合体決定手段（１０４）とを有することを特
   徴とする動画像圧縮装置。