JP3428549B2 - 動画像圧縮装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一定の時間毎に固
定アドレスのメモリに格納される入力画像をリアルタイ
ムに圧縮する動画像圧縮装置に関し、特にアプリケーシ
ョンが画像圧縮方式の詳細を知らなくても、ＣＰＵ負荷
を減らしてリアルタイムに圧縮することができる動画像
圧縮装置に関するものである。

【０００２】

【従来の技術】従来、画像をデジタル化して、ＣＤ−Ｒ
ＯＭやハードディスクなどの記録媒体に記録する場合、
そのデータ量は巨大なものとなるため、通常は圧縮符号
化して記録される。この圧縮符号化方法には、各種の圧
縮符号化方式があり、特に、画像の空間周波数が低周波
に集中する性質を利用して圧縮を行うＤＣＴをベースと
した符号化方式が、比較的多く使用されている。これは
ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃ Ｅｘ
ｐｅｒｔ Ｇｒｏｕｐ）や、ＭＰＥＧ（Ｍｏｖｉｎｇ
Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）１また
はＭＰＥＧ２などの国際標準の符号化方式として採用さ
れている。

【０００３】以下に、リアルタイムで動画像をＭＰＥＧ
圧縮する場合の圧縮動作について説明する。図１１は従
来の動画像圧縮装置の構成を示すブロック図である。図
１１の動画像圧縮装置は、ＴＶ信号等をデジタルデータ
の原画像に変換するためのキャプチャ部１１と、キャプ
チャ部１１によってキャプチャされた入力画像データを
ＭＰＥＧで圧縮可能な色信号の形式（ＹＵＶ形式）に変
換するＹＵＶ変換部１２と、入力された画像サイズと圧
縮する画像サイズが異なるときに画像サイズを変換する
サイズ変換部１３と、前／後フレームと現フレームの画
像の動きをブロック（ＭＰＥＧでは１６画素×１６画
素）の領域毎に検索する動き検索部１４と、ブロックの
画像を空間周波数に変換するＤＣＴ部１５と、周波数変
換されたＤＣＴデータの量子化を行う量子化部１６と、
量子化データを元に戻す逆量子化を行う逆量子化部１９
と、周波数変換されたＤＣＴデータを元に戻す逆周波数
変換を行う逆ＤＣＴ部１８と、ブロック単位で画像の動
きを補償して新たな参照フレームを生成する動き補償部
１７と、量子化データを可変長符号化する可変長符号化
を行う可変長符号化部２０とから構成されている。

【０００４】動画像圧縮装置は、図１１に示すようにキ
ャプチャ部１１でキャプチャした原画像をＹＵＶ変換部
１２でＹＵＶデータに変換して、サイズ変換部１３で圧
縮する画像サイズに変換して、各ピクチャ種別に応じた
圧縮を行う。

【０００５】Ｉピクチャの場合は、ＹＵＶデータをブロ
ックに分割して各ブロック毎にＤＣＴ部１５により空間
周波数に変換して量子化部１６により量子化して可変長
符号化部２０により可変長符号化して圧縮符号を出力す
る。また、量子化したブロックを逆量子化部１９で逆量
子化して逆ＤＣＴ部１８で逆周波数変換して参照フレー
ムを作成する。

【０００６】Ｐピクチャの場合は、ＹＵＶデータをブロ
ックに分割して各ブロック毎に動き検索部１４で参照フ
レームとして格納されている前フレームのブロックの中
で相関が最も高いブロックを求めて、相関が最も高い前
フレームのブロックとの差分をＤＣＴ部１５により空間
周波数に変換して量子化部１６により量子化して可変長
符号化部２０により可変長符号化して圧縮符号を出力す
る。また、量子化したブロックを逆量子化部１９で逆量
子化して逆ＤＣＴ部１８で逆周波数変換して動き補償部
１７で動き補償したブロックと加算して参照フレームを
作成する。

【０００７】Ｂピクチャの場合は、ＹＵＶデータをブロ
ックに分割して各ブロック毎に動き検索部１４で参照フ
レームとして格納されている前／後フレームのブロック
の中で相関が最も高いブロックを求めて、相関が最も高
い前／後フレームのブロックとの差分をＤＣＴ部１５に
より空間周波数に変換して量子化部１６により量子化し
て可変長符号化部２０により可変長符号化して圧縮符号
を出力する。Ｂピクチャの場合は、参照フレームは作成
する必要がない。

【０００８】このようなリアルタイム圧縮を行う例とし
て、特開平９−１１６８９１号公報に開示された動画像
圧縮伸長装置がある。この動画像圧縮伸長装置は、圧縮
と伸張の両方の手段を持つことでリアルタイムに圧縮と
伸張を行い、双方向で通信している。また、特開平１１
−１７７９８９号公報では、ビデオの特性情報をリアル
タイムに分析して制御パラメータを動的に変えて圧縮す
るエンコーダが提案されている。

【０００９】さらに、リアルタイムにＭＰＥＧ圧縮する
ために圧縮が間に合わなかった場合の処理を行う例とし
て、特願平１０−１９７５００号の技術がある。この方
法は、実際に圧縮できるフレームレートに合わせてフレ
ーム構成を変えてＢピクチャを差分の無いフレームと見
なして圧縮することで、圧縮が遅れないようにしてい
る。

【００１０】

【発明が解決しようとする課題】しかしながら、ＭＰＥ
Ｇ圧縮ではＢピクチャで後方向予測を行うために複数フ
レームの画像を残さなければならないが、通常は固定ア
ドレスにキャプチャした画像データが格納されるので、
キャプチャした画像データが上書きされないように別の
メモリ領域にコピーする必要があり、ＣＰＵ負荷が増え
るという問題点があった。また、Ｂピクチャの連続数以
上の画像データを格納できるメモリ領域を用意して、順
次キャプチャした画像データを格納するために前回の圧
縮が終了して新たな画像データを格納できる領域を探す
必要があるが、その処理を行うのに手間がかかるという
問題点があった。

【００１１】また、前述のいずれの従来技術において
も、ＭＰＥＧ圧縮機能を持たない他のアプリケーション
にＭＰＥＧ圧縮機能を組み込むことはほとんど考慮され
ていない。このため、ＭＰＥＧ圧縮機能を他のアプリケ
ーションに組み込むことが困難であるという問題点があ
った。本発明は、上記課題を解決するためになされたも
ので、ＣＰＵ負荷を減らすことができ、圧縮機能をアプ
リケーションに組み込むことが容易な動画像圧縮装置を
提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明の動画像圧縮装置
は、入力画像データがＲ（赤）Ｇ（緑）Ｂ（青）形式の
場合に、この入力画像データをＹ（輝度）Ｕ（Ｒ−Ｙの
色差）Ｖ（Ｂ−Ｙの色差）形式の画像データに変換する
ＹＵＶ変換部と、前記入力画像データの画像サイズと圧
縮する画像サイズとが異なる場合に画像サイズを変換す
る第１のサイズ変換部と、前記入力画像データがＩピク
チャの場合に周波数を変換する第１のＤＣＴ部とを備え
た第１の圧縮制御手段（３３）と、この第１の圧縮制御
手段によって処理された画像データを複数フレーム分格
納するための領域を備えたバッファ（３４）と、前記第
１の圧縮制御手段によって処理され前記バッファに格納
された処理済みの画像データにサイズ変換が必要な場合
に画像サイズを変換する第２のサイズ変換部と、前記処
理済みの画像データがＰピクチャの場合に前フレームと
の差分データを計算し、前記処理済みの画像データがＢ
ピクチャの場合に前後フレームとの差分データを計算す
る動き検索部と、前記処理済みの画像データがＩピクチ
ャで、かつ前記周波数変換が済んでいない場合に周波数
を変換し、前記処理済みの画像データがＰピクチャある
いはＢピクチャの場合に前記差分データを周波数変換す
る第２のＤＣＴ部と、この第２のＤＣＴ部によって周波
数変換されたデータを量子化する量子化部と、この量子
化部から出力された量子化データを可変長符号化する可
変長符号化部とを少なくとも備えた第２の圧縮制御手段
（３５）とを有し、前記第１の圧縮制御手段は、前記入
力画像データを受け取るときに圧縮処理の一部を行い、
前記第２の圧縮制御手段は、前記第１の圧縮制御手段で
処理済みの画像データを圧縮し、前記第１の圧縮制御手
段と第２の圧縮制御手段は、並列的に処理を実行するも
のである。このように、並列的に処理を実行する第１の
圧縮制御手段と第２の圧縮制御手段とを設けることによ
り、アプリケーションが動画像圧縮方式の詳細を知るこ
となしに、キャプチャした画像データを動画像圧縮装置
に渡すだけで動画像を圧縮するシステムを構築すること
ができる。また、ＲＧＢ形式の入力画像データをＹＵＶ
形式の画像データに変換することにより、データ容量を
減らすことができる。また、第１の圧縮制御手段が入力
画像データを受け取るときに圧縮処理の一部の処理を行
うことにより、画像デ ータをコピーする処理を減らすこ
とができる。

【００１３】

【００１４】また、本発明の動画像圧縮装置の１構成例
として、第２の圧縮制御手段は、圧縮処理が遅れている
場合、入力画像データあるいは第１の圧縮制御手段によ
って処理された画像データを使わずに、Ｂピクチャを差
分の無いフレームと見なして圧縮するものである。この
ように、Ｂピクチャを差分の無いフレームと見なして圧
縮することにより、圧縮処理が遅れないようにすること
ができる。また、本発明の動画像圧縮装置の１構成例と
して、第２の圧縮制御手段は、バッファが空いていない
ときに、圧縮処理が遅れていると判断するものである。
また、本発明の動画像圧縮装置の１構成例として、第２
の圧縮制御手段は、第１の圧縮制御手段が受け取った入
力画像データの数に対してバッファの領域数が不十分で
ある場合、圧縮処理が遅れていると判断するものであ
る。

【００１５】

【発明の実施の形態】［実施の形態の１］以下、ＭＰＥ
Ｇ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ
Ｇｒｏｕｐ）圧縮方式の場合について、本発明の実施の
形態を図を参照して詳細に説明する。図１はＭＰＥＧビ
デオに準拠した符号フォーマットを示す構成図である。

【００１６】ビデオデータは、１個以上のビデオシーケ
ンスＶＳＣから構成されていて、ビデオシーケンスエン
ドコードＶＳＥで終了する。各ビデオシーケンスＶＳＣ
は、ビデオシーケンスヘッダＶＳＨと、１個以上のＧＯ
Ｐ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）とから構成さ
れる。

【００１７】各ＧＯＰは、１個以上のピクチャから構成
され、１つのピクチャが１枚の画像を示している。各ピ
クチャの先頭には、ピクチャ種別等の情報を含んだピク
チャヘッダが配置される。ピクチャには、フレーム内符
号のみから構成されるＩピクチャと、前方向のみのフレ
ーム間符号から構成されるＰピクチャと、前後の双方向
のフレーム間符号から構成されるＢピクチャの３種類が
ある。

【００１８】ピクチャは、任意の領域に分割された複数
のスライスから構成される。各スライスは、左から右
へ、または上から下への順序で並んだ複数のマクロブロ
ックから構成される。

【００１９】マクロブロックには、大別してフレーム内
符号であるイントラブロックと前方向や双方向のフレー
ム間符号であるインターブロックの２種類がある。Ｉピ
クチャはイントラブロックのみで構成されるが、Ｐピク
チャやＢピクチャはインターブロックのみでなくイント
ラブロックも含む場合がある。

【００２０】各マクロブロックは、１６×１６ドットの
ブロックをさらに８×８ドットのブロックに分割した輝
度成分Ｙ１，Ｙ２，Ｙ３，Ｙ４と、輝度成分に一致する
領域の８×８ドットのブロックの色差成分Ｃｂ，Ｃｒの
６個のブロックから構成される。この８×８ドットのブ
ロックが符号化の最小単位となる。

【００２１】図２は本発明の第１の実施の形態となる動
画像圧縮装置の構成を示すブロック図である。本実施の
形態の動画像圧縮装置は、ＴＶ信号等をデジタルデータ
の原画像に変換するためのキャプチャ部３１と、キャプ
チャ部３１によってキャプチャされた画像データを後述
する第１の圧縮制御部に渡すキャプチャ圧縮アプリケー
ション３２と、キャプチャ圧縮アプリケーション３２か
ら画像データを受け取り、圧縮処理の一部を行う第１の
圧縮制御部３３と、第１の圧縮制御部３３によって圧縮
処理の一部がなされたデータを複数フレーム分格納する
バッファ３４と、バッファ３４に格納されたデータに対
して圧縮処理を実行する第２の圧縮制御部３５とから構
成されている。

【００２２】第１の圧縮制御部３３は、全体の制御を行
う制御部３３ａと、キャプチャ部３１によってキャプチ
ャされた入力画像データをＭＰＥＧで圧縮可能な色信号
の形式（ＹＵＶ形式）に変換するＹＵＶ変換部３６ａ
と、入力画像データの画像サイズと圧縮する画像サイズ
が異なるときに画像サイズを変換するサイズ変換部３７
ａと、ブロック（ＭＰＥＧでは１６画素×１６画素）毎
の入力画像を空間周波数に変換するＤＣＴ（Ｄｉｓｃｒ
ｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部３９ａ
とから構成されている。

【００２３】バッファ３４は、複数の領域３４−１，３
４−２，３４−３・・・・から構成されている。第２の
圧縮制御部３５は、バッファ３４に格納されたデータの
画像サイズと圧縮する画像サイズが異なるときに画像サ
イズを変換するサイズ変換部３７ｂと、前／後フレーム
と現フレームの画像の動きをブロックの領域毎に検索す
る動き検索部３８ｂと、ブロックの画像を空間周波数に
変換するＤＣＴ部３９ｂと、周波数変換されたＤＣＴデ
ータの量子化を行う量子化部４０ｂと、量子化データを
元に戻す逆量子化を行う逆量子化部４３ｂと、周波数変
換されたＤＣＴデータを元に戻す逆周波数変換を行う逆
ＤＣＴ部４２ｂと、ブロック単位で画像の動きを補償し
て新たな参照フレームを生成する動き補償部４１ｂと、
量子化データを可変長符号化する可変長符号化部４４ｂ
とから構成されている。

【００２４】図２の動画像圧縮装置では、キャプチャ部
３１でキャプチャした原画像をキャプチャ圧縮アプリケ
ーション３２が第１の圧縮制御部３３に渡して、第１の
圧縮制御部３３が圧縮処理の一部を実行してバッファ３
４に格納し、第２の圧縮制御部３５がバッファ３４に格
納されたデータに対して圧縮処理を実行して、キャプチ
ャ圧縮アプリケーション３２が第２の圧縮制御部３５か
ら出力された圧縮符号を圧縮ファイルに書き込む。

【００２５】第１の圧縮制御部３３内のＹＵＶ変換部３
６ａは、キャプチャ部３１によってキャプチャされた画
像データがＲ（赤）Ｇ（緑）Ｂ（青）データの場合、こ
のＲＧＢ画像データをＹ（輝度）Ｕ（Ｒ−Ｙの色差）Ｖ
（Ｂ−Ｙの色差）データに変換する。

【００２６】第１の圧縮制御部３３内のサイズ変換部３
７ａは、キャプチャ部３１によってキャプチャされた画
像データの画像サイズと圧縮する画像サイズが異なる場
合、ＹＵＶデータを圧縮する画像サイズに変換する。

【００２７】第１の圧縮制御部３３内のＤＣＴ部３９ａ
は、圧縮するフレームがＩピクチャの場合、このフレー
ムを周波数変換する。第１の圧縮制御部３３によって処
理されたデータは、制御部３３ａによってバッファ３４
の空いている領域に格納される。

【００２８】第２の圧縮制御部３５は、各ピクチャ種別
に応じた圧縮を実行する。Ｉピクチャの場合、第２の圧
縮制御部３５内の制御部３５ｂは、圧縮すべきデータを
バッファ３４から取りだして、サイズ変換が必要であれ
ば、データをサイズ変換部３７ｂに渡す。サイズ変換部
３７ｂは、データを圧縮する画像サイズに変換する。

【００２９】さらに、制御部３５ｂは、バッファ３４に
格納された圧縮すべき画像データあるいはサイズ変換部
３７ｂによってサイズ変換された画像データが周波数変
換（ＤＣＴ）済みでない場合、このデータをＤＣＴ部３
９ｂに出力する。ＤＣＴ部３９ｂは、入力されたＹＵＶ
データを周波数変換する。

【００３０】量子化部４０ｂは周波数変換済みのＤＣＴ
データを量子化し、可変長符号化部４４ｂは量子化デー
タを可変長符号化して、圧縮符号を出力する。一方、逆
量子化部４３ｂは、量子化されたブロックを逆量子化
し、逆ＤＣＴ部４２ｂは逆量子化データを逆周波数変換
して参照フレームを作成する。

【００３１】Ｐピクチャの場合、第２の圧縮制御部３５
内の制御部３５ｂは、圧縮すべきデータをバッファ３４
から取りだして、サイズ変換が必要であれば、データを
サイズ変換部３７ｂに渡す。サイズ変換部３７ｂは、デ
ータを圧縮する画像サイズに変換する。

【００３２】動き検索部３８ｂは、バッファ３４に格納
された圧縮すべき画像データあるいはサイズ変換部３７
ｂによってサイズ変換された画像データの各ブロック毎
に参照フレームとして格納されている前フレームのブロ
ックの中で相関が最も高いブロックを求めて、相関が最
も高い前フレームのブロックとの差分データを計算す
る。

【００３３】ＤＣＴ部３９ｂは差分データを空間周波数
に変換し、量子化部４０ｂは周波数変換済みのＤＣＴデ
ータを量子化する。可変長符号化部４４ｂは、量子化デ
ータを可変長符号化して、圧縮符号を出力する。

【００３４】一方、逆量子化部４３ｂは、量子化された
ブロックを逆量子化し、逆ＤＣＴ部４２ｂは逆量子化デ
ータを逆周波数変換する。動き補償部４１ｂは、動き補
償した前フレームのマクロブロックに逆ＤＣＴ部４２ｂ
から出力された差分データを加算して参照フレームを作
成する。

【００３５】Ｂピクチャの場合、第２の圧縮制御部３５
内の制御部３５ｂは、圧縮すべきデータをバッファ３４
から取りだして、サイズ変換が必要であれば、データを
サイズ変換部３７ｂに渡す。サイズ変換部３７ｂは、デ
ータを圧縮する画像サイズに変換する。

【００３６】動き検索部３８ｂは、バッファ３４に格納
された圧縮すべき画像データあるいはサイズ変換部３７
ｂによってサイズ変換された画像データの各ブロック毎
に参照フレームとして格納されている前／後フレームの
ブロックの中で相関が最も高いブロックを求めて、相関
が最も高い前／後フレームのブロックとの差分データを
計算する。

【００３７】ＤＣＴ部３９ｂは差分データを空間周波数
に変換し量子化部４０ｂは、周波数変換済みのＤＣＴデ
ータを量子化する。可変長符号化部４４ｂは、量子化デ
ータを可変長符号化して、圧縮符号を出力する。Ｂピク
チャの場合は参照フレームを作成する必要がない。

【００３８】次に、図３〜図１０の処理手順を説明する
図を参照して本実施の形態の全体の動作について詳細に
説明する。図３はキャプチャ圧縮のフローチャート図で
ある。最初に、キャプチャ圧縮アプリケーション３２
は、キャプチャ部３１にキャプチャデータがあるかどう
かを判断して（ステップＳ１）、キャプチャデータがな
い場合にはステップＳ１に戻る。

【００３９】キャプチャ部３１にキャプチャデータがあ
る場合、キャプチャ圧縮アプリケーション３２は、この
キャプチャデータを第１の圧縮制御部３３に渡す（ステ
ップＳ２）。第１の圧縮制御部３３は、後述する処理を
実行する。次いで、キャプチャ圧縮アプリケーション３
２は、第１の圧縮制御部３３に処理された圧縮符号があ
るかどうかを判断して（ステップＳ３）、圧縮符号がな
い場合はステップＳ５に進む。

【００４０】キャプチャ圧縮アプリケーション３２は、
第１の圧縮制御部３３に圧縮符号がある場合、この圧縮
符号を圧縮ファイルに書き込む（ステップＳ４）。第１
の圧縮制御部３３に処理された圧縮符号がない場合、あ
るいはステップＳ４の終了後、キャプチャ圧縮アプリケ
ーション３２は、キャプチャ終了かどうかを判断して
（ステップＳ５）、キャプチャ終了でない場合はステッ
プＳ１に戻り、キャプチャ終了の場合はキャプチャ圧縮
の処理を終了する。

【００４１】図４は第１の圧縮制御部３３の動作を示す
フローチャート図、図５は第２の圧縮制御部３５の動作
を示すフローチャート図である。第１の圧縮制御部３３
の動作と第２の圧縮制御部３５の動作は、並列的に実行
される。

【００４２】まず、第１の圧縮制御部３３の制御部３３
ａは、バッファ３４が空いているかどうか判断して（ス
テップＳ１１）、バッファ３４が空いていない場合に
は、第２の圧縮制御部３５に処理をスキップすることを
通知する（ステップＳ１２）。バッファ３４が空いてい
る場合、第１の圧縮制御部３３の制御部３３ａは、後述
する入力画像の前処理を実行する（ステップＳ１３）。

【００４３】続いて、制御部３３ａは、入力カウンタを
１加算して（ステップＳ１４）、第２の圧縮制御部３５
に入力データを受け取ったことを通知する（ステップＳ
１５）。一方、第２の圧縮制御部３５の制御部３５ｂ
は、第１の圧縮制御部３３からの通知があったかどうか
を判断して（ステップＳ２１）、通知がない場合にはス
テップＳ２１に戻る。

【００４４】第２の圧縮制御部３５の制御部３５ｂは、
第１の圧縮制御部３３からの通知があった場合、スキッ
プするかどうかを判断する（ステップＳ２２）。第１の
圧縮制御部３３からスキップの通知があった場合、制御
部３５ｂは、後述するスキップ処理を実行する（ステッ
プＳ２３）。

【００４５】そして、制御部３５ｂは、キャプチャ終了
かどうかを判断して（ステップＳ２４）、キャプチャ終
了でない場合はステップＳ２１に戻り、キャプチャ終了
の場合は処理を終了する。

【００４６】ステップＳ２２においてスキップしない場
合、制御部３５ｂは、後述する画像圧縮を実行する（ス
テップＳ２５）。そして、制御部３５ｂは、入力カウン
タを１減算して（ステップＳ２６）、キャプチャ終了か
どうかを判断し（ステップＳ２７）、キャプチャ終了で
ない場合はステップＳ２１に戻り、キャプチャ終了の場
合は処理を終了する。

【００４７】図６は前述した入力画像の前処理（ステッ
プＳ１３）のフローチャート図である。第１の圧縮制御
部３３内の制御部３３ａは、キャプチャ部３１によって
キャプチャされた入力画像データがＲＧＢデータかどう
かを判断する（ステップＳ５１）。

【００４８】入力画像データがＲＧＢデータである場
合、制御部３３ａは、入力画像データを第１の圧縮制御
部３３内のＹＵＶ変換部３６ａに出力する。ＹＵＶ変換
部３６ａは、入力画像データをＹＵＶデータに変換して
制御部３３ａに渡す。制御部３３ａは、このＹＵＶデー
タをバッファ３４の空いている領域に格納する（ステッ
プＳ５２）。

【００４９】また、制御部３３ａは、キャプチャ部３１
によってキャプチャされた入力画像データがＲＧＢデー
タでなく、ＹＵＶデータである場合、入力画像データの
画像サイズと圧縮する画像サイズが異なるかどうかを判
断する（ステップＳ５３）。

【００５０】画像サイズが異なる場合、制御部３３ａ
は、入力画像データ（ＹＵＶデータ）を第１の圧縮制御
部３３内のサイズ変換部３７ａに出力する。サイズ変換
部３７ａは、ＹＵＶデータのサイズを変換して制御部３
３ａに渡す。制御部３３ａは、サイズ変換後のＹＵＶデ
ータをバッファ３４の空いている領域に格納する（ステ
ップＳ５４）。また、ＭＰＥＧ圧縮では画像サイズは１
６の倍数である必要があるので、入力画像データの幅や
高さが１６の倍数ではない場合は１６の倍数となるよう
に拡大又は縮小する。

【００５１】制御部３３ａは、サイズ変換しない場合、
圧縮するフレームがＩピクチャであるかどうかを調べる
（ステップＳ５５）。Ｉピクチャである場合、制御部３
３ａは、入力画像データ（ＹＵＶデータ）を第１の圧縮
制御部３３内のＤＣＴ部３９ａに出力する。ＤＣＴ部３
９ａは、ＹＵＶデータを周波数変換して制御部３３ａに
渡す。制御部３３ａは、周波数変換後のＹＵＶデータを
バッファ３４の空いている領域に格納する（ステップＳ
５６）。

【００５２】また、制御部３３ａは、圧縮するフレーム
がＩピクチャでない場合、入力画像データ（ＹＵＶデー
タ）を周波数変換することなく、そのままバッファ３４
の空いている領域にコピーする（ステップＳ５７）。

【００５３】図７は前述した画像圧縮（ステップＳ２
５）のフローチャート図である。第２の圧縮制御部３５
内の制御部３５ｂは、バッファ３４に格納された圧縮す
べきデータが前述の前処理（ステップＳ１３）でサイズ
変換済みであるかどうかと、サイズ変換の必要がないか
どうかを判断する（ステップＳ６１）。

【００５４】サイズ変換済みである場合、あるいはサイ
ズ変換の必要がない場合、制御部３５ｂは、サイズ変換
を実行しない。また、制御部３５ｂは、バッファ３４に
格納された圧縮すべきデータをサイズ変換する必要があ
る場合、バッファ３４から現在圧縮すべきデータを取り
出して、このデータを第２の圧縮制御部３５内のサイズ
変換部３７ｂに出力する。サイズ変換部３７ｂは、入力
データのサイズを変換して制御部３５ｂに渡す（ステッ
プＳ６２）。

【００５５】次に、第２の圧縮制御部３５内の制御部３
５ｂは、バッファ３４に格納された圧縮すべきデータあ
るいはサイズ変換部３７ｂによってサイズ変換されたデ
ータのピクチャの種別を判断して（ステップＳ６３）、
各ピクチャ毎に圧縮を実行する。

【００５６】Ｉピクチャの場合、制御部３５ｂは、デー
タが前述の前処理（ステップＳ１３）で周波数変換（Ｄ
ＣＴ）済みかどうかを判断して（ステップＳ６４）、周
波数変換済みの場合には、周波数変換済みのＤＣＴデー
タを第２の圧縮制御部３５内の量子化部４０ｂに出力す
る。

【００５７】また、データが周波数変換済みでない場
合、制御部３５ｂは、データを第２の圧縮制御部３５内
のＤＣＴ部３９ｂに出力する。ＤＣＴ部３９ｂは、制御
部３５ｂから入力されたＹＵＶデータを周波数変換して
量子化部４０ｂに渡す（ステップＳ６５）。

【００５８】次に、量子化部４０ｂは、制御部３５ｂあ
るいはＤＣＴ部３９ｂから入力された周波数変換済みの
ＤＣＴデータを量子化して、第２の圧縮制御部３５内の
可変長符号化部４４ｂと逆量子化部４３ｂに渡す（ステ
ップＳ６６）。可変長符号化部４４ｂは、量子化部４０
ｂから出力された量子化データを可変長符号化する（ス
テップＳ６７）。可変長符号化部４４ｂから出力された
圧縮符号は、制御部３５ｂを介してキャプチャ圧縮アプ
リケーション３２に渡される。

【００５９】一方、逆量子化部４３ｂは、量子化部４０
ｂから出力された量子化データを逆量子化して、第２の
圧縮制御部３５内の逆ＤＣＴ部４２ｂに渡す（ステップ
Ｓ６８）。逆ＤＣＴ部４２ｂは、逆量子化部４３ｂから
出力された逆量子化データを逆周波数変換して参照フレ
ームを作成する（ステップＳ６９）。

【００６０】そして、制御部３５ｂは、今回の処理対象
となったデータが格納されていた、バッファ３４の領域
を解放して、新規のデータが格納できるようにする（ス
テップＳ８１）。

【００６１】Ｐピクチャの場合、第２の圧縮制御部３５
内の動き検索部３８ｂは、バッファ３４に格納された圧
縮すべきデータあるいはサイズ変換部３７ｂによってサ
イズ変換されたデータと参照フレームとの間でマクロブ
ロックの動きを検索して、前フレームとの差分を計算
し、計算した差分データを第２の圧縮制御部３５内のＤ
ＣＴ部３９ｂに出力する（ステップＳ７０）。

【００６２】ＤＣＴ部３９ｂは、動き検索部３８ｂから
入力された差分データを周波数変換して量子化部４０ｂ
に渡す（ステップＳ７１）。量子化部４０ｂは、ＤＣＴ
部３９ｂから入力された周波数変換済みのＤＣＴデータ
を量子化して、第２の圧縮制御部３５内の可変長符号化
部４４ｂと逆量子化部４３ｂに渡す（ステップＳ７
２）。

【００６３】次に、可変長符号化部４４ｂは、量子化部
４０ｂから出力された量子化データを可変長符号化する
（ステップＳ７３）。可変長符号化部４４ｂから出力さ
れた圧縮符号は、制御部３５ｂを介してキャプチャ圧縮
アプリケーション３２に渡される。一方、逆量子化部４
３ｂは、量子化部４０ｂから出力された量子化データを
逆量子化して、第２の圧縮制御部３５内の逆ＤＣＴ部４
２ｂに渡す（ステップＳ７４）。

【００６４】逆ＤＣＴ部４２ｂは、逆量子化部４３ｂか
ら出力された逆量子化データを逆周波数変換して、第２
の圧縮制御部３５内の動き補償部４１ｂに渡す（ステッ
プＳ７５）。動き補償部４１ｂは、前フレームのマクロ
ブロックに逆ＤＣＴ部４２ｂから出力された差分データ
を加算して参照フレームを作成し、この参照フレームを
動き検索部３８ｂに渡す（ステップＳ７６）。

【００６５】そして、制御部３５ｂは、今回の処理対象
となったデータが格納されていた、バッファ３４の領域
を解放して、新規のデータが格納できるようにする（ス
テップＳ８１）。

【００６６】Ｂピクチャの場合、第２の圧縮制御部３５
内の動き検索部３８ｂは、バッファ３４に格納された圧
縮すべきデータあるいはサイズ変換部３７ｂによってサ
イズ変換されたデータと参照フレームとの間でマクロブ
ロックの動きを検索して、前／後フレームとの差分を計
算し、計算した差分データを第２の圧縮制御部３５内の
ＤＣＴ部３９ｂに出力する（ステップＳ７７）。

【００６７】ＤＣＴ部３９ｂは、動き検索部３８ｂから
入力された差分データを周波数変換して量子化部４０ｂ
に渡す（ステップＳ７８）。量子化部４０ｂは、ＤＣＴ
部３９ｂから入力された周波数変換済みのＤＣＴデータ
を量子化して、第２の圧縮制御部３５内の可変長符号化
部４４ｂに渡す（ステップＳ７９）。

【００６８】可変長符号化部４４ｂは、量子化部４０ｂ
から出力された量子化データを可変長符号化する（ステ
ップＳ８０）。可変長符号化部４４ｂから出力された圧
縮符号は、制御部３５ｂを介してキャプチャ圧縮アプリ
ケーション３２に渡される。そして、制御部３５ｂは、
今回の処理対象となったデータが格納されていた、バッ
ファ３４の領域を解放して、新規のデータが格納できる
ようにする（ステップＳ８１）。

【００６９】図８は前述したスキップ処理（ステップＳ
２３）のフローチャート図である。第２の圧縮制御部３
５内の制御部３５ｂは、圧縮すべきフレームがＢピクチ
ャであるかどうかを判断して（ステップＳ９１）、Ｂピ
クチャでない場合、前回処理したデータを現在処理する
データと見なして図７で説明した画像圧縮を行う（ステ
ップＳ９２）。

【００７０】圧縮すべきフレームがＢピクチャである場
合、制御部３５ｂは、前フレームと同一であることを示
す符号を圧縮すべきフレームに挿入する（ステップＳ９
３）。単に前フレームと同一であることを示す符号を挿
入するだけで、実際に圧縮を行わないので、圧縮の動作
を速くできる。

【００７１】以上のように、本発明では、キャプチャ圧
縮アプリケーション３２が直接圧縮処理に関与しなくて
もよいように、第１の圧縮制御部３３と第２の圧縮制御
部３５が画像圧縮処理を集約して処理する。

【００７２】従来、ＭＰＥＧビデオに圧縮する場合は、
両方向予測を行うので複数フレームの画像を残さなけれ
ばならないが、固定アドレスにキャプチャした画像デー
タが格納されるので、画像データが上書きされないよう
に別のメモリ領域にコピーする必要があり、ＣＰＵ負荷
が増える。これに対し、本発明では、第１の圧縮制御部
３３で圧縮処理の一部の処理を行うことにより、画像デ
ータをコピーする処理を省くので、ＣＰＵ負荷を減らす
ことができる。

【００７３】［実施の形態の２］図９は本発明の第２の
実施の形態となる第１の圧縮制御部の動作を説明するた
めのフローチャート図、図１０は本発明の第２の実施の
形態となる第２の圧縮制御部の動作を説明するためのフ
ローチャート図である。本実施の形態においても、動画
像圧縮装置としての構成は実施の形態の１と同様である
ので、実施の形態の１と同一の符号を用いて説明する。
実施の形態の１と同様に、第１の圧縮制御部３３の動作
と第２の圧縮制御部３５の動作は、並列的に実行され
る。

【００７４】まず、第１の圧縮制御部３３の制御部３３
ａは、図６で説明した入力画像の前処理を実行する（ス
テップＳ３１）。続いて、制御部３３ａは、入力カウン
タを１加算して（ステップＳ３２）、第２の圧縮制御部
３５に入力データを受け取ったことを通知する（ステッ
プＳ３３）。

【００７５】一方、第２の圧縮制御部３５の制御部３５
ｂは、第１の圧縮制御部３３からの通知があったかどう
かを判断して（ステップＳ４１）、通知がない場合には
ステップＳ４１に戻る。

【００７６】制御部３５ｂは、第１の圧縮制御部３３か
らの通知があった場合、入力カウンタの値がバッファ３
４の領域数に定数α（αは１．０未満の任意の小数であ
り、装置毎に最適な値に設定される）を掛けた値より大
きいかどうかを判断する（ステップＳ４２）。

【００７７】制御部３５ｂは、入力カウンタの値＞バッ
ファ３４の領域数×αが成立する場合、第１の圧縮制御
手段３３が受け取った入力画像データの数に対してバッ
ファ３４の領域数が不十分であると判断して、図８で説
明したスキップ処理を実行する（ステップＳ４３）。そ
して、制御部３５ｂは、キャプチャ終了かどうかを判断
して（ステップＳ４４）、キャプチャ終了でない場合は
ステップＳ４１に戻り、キャプチャ終了の場合は処理を
終了する。

【００７８】入力カウンタの値＞バッファ３４の領域数
×αが不成立の場合、制御部３５ｂは、図７で説明した
画像圧縮を実行する（ステップＳ４５）。そして、制御
部３５ｂは、入力カウンタを１減算して（ステップＳ４
６）、キャプチャ終了かどうかを判断し（ステップＳ４
７）、キャプチャ終了でない場合はステップＳ４１に戻
り、キャプチャ終了の場合は処理を終了する。

【００７９】なお、本実施の形態では、入力カウンタの
値とバッファ数とを比較してスキップするかどうかを判
断しているが、圧縮に要する時間と圧縮したフレーム数
から判断してもよい。その場合は、以下の式が成り立つ
ときにスキップする。 圧縮時間×画像符号のフレームレート×β＞圧縮したフレーム数 ・・・（１） 式（１）において、βは１．０以上の任意の小数であ
り、装置毎に最適な値に設定される。また、以下の計算
例のように定期的に圧縮に要する時間と圧縮したフレー
ム数及び入力カウンタの値とバッファ３４の領域数から
スキップするフレーム数を決めてもよい。 Ｓｋｉｐ２＝（Ｒａｔｅ−（Ｆｒａｍｅ−Ｓｋｉｐ１）／Ｔｉｍｅ）×γ１ ＋（Ｉｎｐｕｔ／Ｂｕｆｆｅｒ）×γ２ ・・・（２） ここで、計算結果が小数となる場合は、切り捨て、切り
上げ又は四捨五入を行い、整数とする。Ｒａｔｅはビデ
オ符号のヘッダに記述される本来処理すべき圧縮フレー
ムレート、Ｆｒａｍｅは平均圧縮フレームレートを求め
るためのフレーム数（例えば１ＧＯＰのフレーム数）、
Ｓｋｉｐ１はＦｒａｍｅの数のフレームを圧縮する間に
スキップしたフレーム数、ＴｉｍｅはＦｒａｍｅの数の
フレームを圧縮するのにかかった時間、Ｉｎｐｕｔは現
在の入力カウンタ値、Ｂｕｆｆｅｒはバッファ３４の領
域数、γ１，γ２は１．０以上の任意の小数であり、装
置毎に最適な値に設定される。Ｓｋｉｐ２は次回のＦｒ
ａｍｅの数のフレームを圧縮するときにスキップするフ
レーム数である。こうして、Ｓｋｉｐ２の数だけ均等に
スキップするようにする。

【００８０】また、音声も同時に圧縮している場合は、
音声符号のサイズから判断してもよい。その場合は以下
の式が成り立つ時にスキップする。 圧縮時間＝音声符号のサイズ／音声符号のビットレート 圧縮時間×画像符号のフレームレート×γ＞圧縮したフレーム数 ・・・（３） 式（３）において、γは１．０以上の任意の小数であ
り、装置毎に最適な値に設定される。

【００８１】

【発明の効果】本発明によれば、並列的に処理を実行す
る第１の圧縮制御手段と第２の圧縮制御手段とを設ける
ことにより、動画像圧縮装置に処理を集約してアプリケ
ーションが直接圧縮処理に関与しなくてもよいように構
成したので、アプリケーションが動画像圧縮方式の詳細
を知ることなしに、キャプチャした画像データを動画像
圧縮装置に渡すだけで動画像を圧縮するシステムを構築
することができる。その結果、圧縮機能をアプリケーシ
ョンに組み込むことが容易となる。

【００８２】また、ＲＧＢ形式にキャプチャされた入力
画像データをＹＵＶ形式の画像データに変換するＹＵＶ
変換手段を設けることにより、ＲＧＢ形式のままでコピ
ーする場合よりもデータ容量を減らすことができるの
で、必要なメモリ容量を減らすことができる。

【００８３】また、第１の圧縮制御手段が入力画像デー
タを受け取るときに圧縮処理の一部の処理を行うことに
より、画像データをコピーする処理を減らすことがで
き、ＣＰＵの負荷を減らすことができる。

【００８４】また、入力画像データあるいは第１の圧縮
制御手段によって処理された画像データを使わずに、Ｂ
ピクチャを差分の無いフレームと見なして、実際に圧縮
しないで、前フレームと差分が０であることを示す符号
を挿入することにより、圧縮処理が遅れないようにする
ことができる。

【図面の簡単な説明】

【図１】 ＭＰＥＧビデオに準拠した符号フォーマット
を示す構成図である。

【図２】 本発明の第１の実施の形態となる動画像圧縮
装置の構成を示すブロック図である。

【図３】 図２の動画像圧縮装置によるキャプチャ圧縮
の動作を示すフローチャート図である。

【図４】 図２の第１の圧縮制御部の動作を説明するた
めのフローチャート図である。

【図５】 図２の第２の圧縮制御部の動作を説明するた
めのフローチャート図である。

【図６】 図２の第１の圧縮制御部による入力画像の前
処理のフローチャート図である。

【図７】 図２の第２の圧縮制御部による画像圧縮のフ
ローチャート図である。

【図８】 図２の第２の圧縮制御部によるスキップ処理
のフローチャート図である。

【図９】 本発明の第２の実施の形態となる第１の圧縮
制御部の動作を説明するためのフローチャート図であ
る。

【図１０】 本発明の第２の実施の形態となる第２の圧
縮制御部の動作を説明するためのフローチャート図であ
る。

【図１１】 従来の動画像圧縮装置の構成を示すブロッ
ク図である。

【符号の説明】 ３１…キャプチャ部、３２…キャプチャ圧縮アプリケー
ション、３３…第１の圧縮制御部、３４…バッファ、３
５…第２の圧縮制御部、３３ａ…制御部、３６ａ…ＹＵ
Ｖ変換部、３７ａ…サイズ変換部、３９ａ…ＤＣＴ部、
３５ｂ…制御部、３７ｂ…サイズ変換部、３８ｂ…動き
検索部、３９ｂ…ＤＣＴ部、４０ｂ…量子化部、４１ｂ
…動き補償部、４２ｂ…逆ＤＣＴ部、４３ｂ…逆量子化
部、４４ｂ…可変長符号化部。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 11/00 - 11/22 H04N 7/00 - 7/68 H04N 1/41 - 1/419

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 入力画像データがＲ（赤）Ｇ（緑）Ｂ
   （青）形式の場合に、この入力画像データをＹ（輝度）
   Ｕ（Ｒ−Ｙの色差）Ｖ（Ｂ−Ｙの色差）形式の画像デー
   タに変換するＹＵＶ変換部と、前記入力画像データの画
   像サイズと圧縮する画像サイズとが異なる場合に画像サ
   イズを変換する第１のサイズ変換部と、前記入力画像デ
   ータがＩピクチャの場合に周波数を変換する第１のＤＣ
   Ｔ部とを備えた第１の圧縮制御手段と、この第１の圧縮制御手段によって処理された画像データ
   を複数フレーム分格納するための領域を備えたバッファ
   と、 前記第１の圧縮制御手段によって処理され前記バッファ
   に格納された処理済みの画像データにサイズ変換が必要
   な場合に画像サイズを変換する第２のサイズ変換部と、
   前記処理済みの画像データがＰピクチャの場合に前フレ
   ームとの差分データを計算し、前記処理済みの画像デー
   タがＢピクチャの場合に前後フレームとの差分データを
   計算する動き検索部と、前記処理済みの画像データがＩ
   ピクチャで、かつ前記周波数変換が済んでいない場合に
   周波数を変換し、前記処理済みの画像データがＰピクチ
   ャあるいはＢピクチャの場合に前記差分データを周波数
   変換する第２のＤＣＴ部と、この第２のＤＣＴ部によっ
   て周波数変換されたデータを量子化する量子化部と、こ
   の量子化部から出力された量子化データを可変長符号化
   する可変長符号化部とを少なくとも備えた 第２の圧縮制
   御手段とを有し、前記第１の圧縮制御手段は、前記入力画像データを受け
   取るときに圧縮処理の一部を行い、前記第２の圧縮制御
   手段は、前記第１の圧縮制御手段で処理済みの画像デー
   タを圧縮し、 前記第１の圧縮制御手段と第２の圧縮制御
   手段は、並列的に処理を実行することを特徴とする動画
   像圧縮装置。
2. 【請求項２】 請求項１記載の動画像圧縮装置におい
   て、前記第２の圧縮制御手段は、圧縮処理が遅れている場
   合、前記入力画像データあるいは前記第１の圧縮制御手
   段によって処理された画像データを使わずに、Ｂピクチ
   ャを差分の無いフレームと見なして圧縮する ことを特徴
   とする動画像圧縮装置。
3. 【請求項３】 請求項２記載の動画像圧縮装置におい
   て、前記第２の圧縮制御手段は、前記バッファが空いていな
   いときに、前記圧縮処理が遅れていると判断する ことを
   特徴とする動画像圧縮装置。
4. 【請求項４】 請求項２記載の動画像圧縮装置におい
   て、前記第２の圧縮制御手段は、前記第１の圧縮制御手段が
   受け取った入力画像データの数に対して前記バッファの
   領域数が不十分である場合、前記圧縮処理が遅れている
   と判断する ことを特徴とする動画像圧縮装置。