JP4255455B2 - 画像データ圧縮装置 - Google Patents

Description

本発明は、圧縮対象となる画像データを圧縮する画像データ圧縮装置に関し、特に、圧縮対象となる画像データを効果的に圧縮する画像データ圧縮装置に関する。

近年のネットワーク技術の発達により、画像データをネットワークで伝送するようになった。画像データをネットワークで伝送する場合には、画像圧縮技術により画像データの伝送データ量の削減が行われる。ここで、１つのネットワーク上に複数の画像データ圧縮装置を接続することで、同時に複数の画像圧縮データを伝送することが可能である。画像圧縮方式には、例えば、ＭＰＥＧ（Moving Picture Experts Group）方式等の動きを重視する動画像圧縮方式と、例えば、ＪＰＥＧ（Joint Photographic Experts Group）方式等の１枚毎の画質を重視する静止画像圧縮方式がある。

一般的に、動画像圧縮方式は、前後の画像フレームの相関を利用して圧縮効率を上げるため圧縮率が高いという特徴があるが、１枚毎の画像を取り出して扱う用途では画質が劣化するという欠点がある。反対に、静止画像圧縮方式は、画像フレーム１枚ごとを単位として圧縮するため、１枚の画質が良い代わりに圧縮率は動画像圧縮方式に劣る。そのため、動画像圧縮方式は、ライブ映像などの画像データの垂れ流し（ストリーミングという）で使用され、静止画像圧縮方式は、１枚の画質を重視する記録用途で使用されることが多い。

なお、従来、高精細画像データ（非圧縮）と圧縮動画像データを同時に伝送可能した遠隔画像監視システムが知られている（例えば、特許文献１参照。）。
特開２００３−２１９４０２号公報

ここで、例えば、防犯等を目的とする監視システムにおいて画像データ圧縮装置を使用する場合、通常は１台の画像データ圧縮装置が動画像圧縮方式で圧縮した画像データをライブ映像として伝送しており、監視している画像が重要な画像の場合だけ、即ち、例えば侵入者を発見した瞬間の画像などについては、画像圧縮方式を切換えて静止画像圧縮方式で圧縮する。このように静止画像圧縮方式で圧縮した画像は、画像データ圧縮装置内、もしくはネットワーク上の記録装置に記録して、後から証拠写真のように画像を見直す必要がある用途で使用する。このとき、１台の画像データ圧縮装置で動画像圧縮方式でライブ映像を伝送しつつ、同時に静止画像圧縮方式で記録することが出来るのが望ましい。

また、近年は、圧縮方式の変更などの処理の変更が容易なことから、圧縮処理はＣＰＵ（Central Processing Unit）などのプロセッサを使用したソフトウェア処理で実行するようになってきている。

本発明は、このような従来の事情に鑑み為されたもので、圧縮対象となる画像データを効果的に圧縮することができる画像データ圧縮装置を提供することを目的とする。

上記目的を達成するため、本発明に係る画像データ圧縮装置は、入力される画像データに対して圧縮処理を行う画像データ圧縮装置であって、入力される画像データを取り込み、該取り込んだ時刻を取得する処理を、前記圧縮処理より優先的に実行する制御手段を備える。

ここで、入力される画像データとしては、種々なものが用いられてもよく、例えば、装置の外部から入力される画像データが用いられてもよく、或いは、装置の内部から入力される画像データが用いられてもよい。

また、上記目的を達成するため、本発明に係る画像データ圧縮装置は、入力される画像データに対して静止画像圧縮処理と、動画像圧縮処理を並行して行う画像データ圧縮装置であって、画像データを取り込み、該取り込んだ時刻を取得する処理を、前記圧縮処理より優先的に実行する制御手段を備え、前記動画像圧縮処理では、前記取り込んだ時刻に基づいて圧縮画像データに時刻情報を付加する。

以上説明したように、本発明に係る画像データ圧縮装置によると、入力される画像データに対して圧縮処理を行う構成において、入力される画像データを取り込み、該取り込んだ時刻を取得する処理を、圧縮処理より優先的に実行するにしたため、正確な取り込み時刻を用いて圧縮対象となる画像データを効果的に圧縮することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
動画像圧縮方式は、画像データ復号装置において復号画像を表示するタイミングを管理するため、圧縮データに時刻情報を付加する。この時刻情報に基づいて、画像データ復号装置では、前回表示した画像データに対し、何フレーム後に次の画像データを表示すべきかを管理している。よって、圧縮データが画像データ復号装置に到着する時刻にジッタを生じても、画像データ復号装置は、表示タイミングを調整することができ、画像データを画像データ圧縮装置で取り込んだタイミングと同等な表示タイミングを得ることができる。

このような時刻情報は、１フレームの画像データ毎に独立して処理を行っている静止画像圧縮方式では付加されないのが一般的である。そのため、静止画像圧縮処理を行った画像データを定期的に復号して表示する動画像的な扱いをする場合は、画像データ復号装置に到着する静止画像圧縮データの到着タイミングを管理し、画像データを取り込んだタイミングと同等なタイミングで到着するようにしなければならない。そのため、以下に示す実施例では、それぞれの圧縮処理に優先度を付け、圧縮処理の遅れが許されない静止画像圧縮処理を優先的に実行する（優先度を高くする）。

本発明の第１実施例を説明する。
ネットワークを用いた画像データ圧縮装置の例として、図１には、本発明の一実施例に係る静止画像圧縮方式による圧縮データと、動画像圧縮方式による圧縮データを同時に出力可能な画像データ圧縮装置の構成例を示してある。

図１に示される画像データ圧縮装置１は、フレームメモリ１０と、静止画像圧縮処理部１２ａと動画像圧縮処理部１２ｂを内蔵した圧縮処理制御部１２と、圧縮データ出力部１５から構成される。

フレームメモリ１０は、撮像装置等の外部の装置から定期的に入力される画像データである外部画像データ入力９を取り込み、読み出し側の圧縮処理制御部１２から出力要求があるまで内部メモリに画像データを保持しておく。なお、外部の装置からアナログの画像信号が入力される場合には、画像データ圧縮装置１は、Ａ／Ｄ変換部（不図示）を備える構成を用いることができる。ここで、内部メモリに画像データを保持する理由は、動画像圧縮処理は、入力する画像の複雑さにより処理時間が変動し、複雑な画像であれば、画像データ入力間隔より長い処理時間が必要な場合があるためである。なお、フレームメモリ１０の記憶容量は、入力された画像データと同等のデータ量を１フレームとし、これが保持するのに必要なフレーム数だけ必要となる。

圧縮処理制御部１２は、例えば、１つのプロセッサによるソフトウェア処理で実行される。そのため、静止画像圧縮処理部１２ａと動画像圧縮処理部１２ｂによる処理を同時に処理することはできず、どちらか一方を処理してから、他方を処理することになる。画像圧縮処理は、入力する画像の複雑さにより処理時間が増減する。ただし、通常は、１フレーム分の画像データの圧縮処理は、１フレーム分の画像データの入力間隔より短い時間で処理が終わる。一時的に圧縮処理時間が増大した場合は、フレームメモリ１０で随時入力される画像データをバッファリングして画像データを保持しておき、圧縮処理時間が通常の画像データの入力間隔より短くなった時に、バッファリングした複数の画像データの圧縮処理を行うことで、画像データの圧縮処理が抜けないように（フレーム抜けがないように）する。

圧縮処理制御部１２は、フレームメモリ１０から出力される画像データである画像データ入力１１を静止画像圧縮処理部１２ａと動画像圧縮処理部１２ｂへ同時に入力し、画像圧縮処理を行う。静止画像圧縮処理部１２ａが出力した静止画像圧縮データ１３と、動画像圧縮処理部１２ｂが出力した動画像圧縮データ１４は、圧縮データ出力部１５へ出力する。動作については後述する。

圧縮データ出力部１５は、入力された静止画像圧縮データ１３と動画像圧縮データ１４を多重し、圧縮データ出力１６として外部のネットワークへ出力する。２つの圧縮データの多重方法は、例えば、一般的なネットワークであれば、圧縮データを一定サイズのパケットに分割し、出力する時間をずらすことによる時間多重を用いるが、他の種々な方法が用いられてもよい。

次に、圧縮処理制御部１２の動作の一例を図２に示すフローチャートを用いて説明する。
圧縮処理制御部１２は、最初に圧縮完了フラグ初期化処理により静止画像圧縮完了フラグと動画像圧縮完了フラグをセット（１に設定）する（ステップＳ２ａ）。次に、優先度が高い静止画像圧縮処理を実行し（ステップＳ２ｂ）、静止画像圧縮完了フラグ判断処理を実行する（ステップＳ２ｃ）。静止画像圧縮完了フラグ判断処理では、静止画像圧縮処理を実行した結果、静止画像圧縮完了フラグの状態をチェックし、フラグがセットされていれば（ステップＳ２ｃでＹｅｓ）、次に、動画像圧縮処理を実行する（ステップＳ２ｄ）。また、フラグがクリアされていれば（ステップＳ２ｃでＮｏ）、静止画像圧縮処理（ステップＳ２ｂ）へ移行する。動画像圧縮処理（ステップＳ２ｄ）の後も同様に静止画像圧縮処理（ステップＳ２ｂ）へ移行する。なお、静止画像圧縮処理（ステップＳ２ｂ）と動画像圧縮処理（ステップＳ２ｄ）の詳細な処理手順については後述する。

ここで、通常は静止画像圧縮完了フラグがクリアされており、静止画像圧縮処理（ステップＳ２ｂ）が繰り返し実行される。静止画像圧縮処理（ステップＳ２ｂ）により１フレームの画像データを圧縮し終えると、静止画像圧縮完了フラグがセットされるので、静止画像圧縮完了フラグ判断処理（ステップＳ２ｃ）により、動画像圧縮処理（ステップＳ２ｄ）が実行されるようになる。なお、静止画像圧縮完了フラグのセットは、静止画像圧縮処理（ステップＳ２ｂ）の中で行われる。

次に、上記した静止画像圧縮処理（ステップＳ２ｂ）の手順の一例を図３に示すフローチャートを用いて説明する。
まず、静止画像圧縮完了フラグ判断処理で、静止画像圧縮完了フラグがセットされているか否かを判断する（ステップＳ３ａ）。静止画像圧縮完了フラグがセットされている場合（ステップＳ３ａでＹｅｓ）は、画像データ取り込み判断処理を実行する（ステップＳ３ｆ）。画像データ取り込み判断処理（ステップＳ３ｆ）は、まだ取り込んでいない画像データがあるか否かをチェックする。取り込んでいない画像データがあれば（ステップＳ３ｆでＹｅｓ）、静止画像圧縮完了フラグクリア処理で静止画像圧縮完了フラグをクリアし（ステップＳ３ｇ）、画像データ入力処理で画像データの取り込みと画像サイズ変更などの画像変換処理を行う（ステップＳ３ｈ）。なお、画像データ取り込み判断処理（ステップＳ３ｆ）で、画像データの取り込みが完了している場合（ステップＳ３ｆでＮｏ）は、そのまま処理を終了する。

次に、静止画像圧縮完了フラグ判断処理（ステップＳ３ａ）で、静止画像圧縮完了フラグがクリアされている場合（ステップＳ３ａでＮｏ）は、静止画像圧縮処理を実行する（ステップＳ３ｂ）。ここで、静止画像圧縮処理（ステップＳ３ｂ）は、１フレームの画像データの圧縮処理をより細分化し、所定の処理単位で分けたものである。所定の処理単位としては、例えば、画像データの数画素単位や、画像データの数バイト単位や、数秒単位等、種々な単位を用いることが可能である。また、この静止画像圧縮処理（ステップＳ３ｂ）は、入力された１フレームの画像データの最後までを継続して処理するため、１つの処理単位が実行し終わり、再度、静止画像圧縮処理（ステップＳ３ｂ）を実行した場合、前回の圧縮処理の続きから処理が行われる。

次に、圧縮完了判断処理で、静止画像圧縮処理（ステップＳ３ｂ）が１フレームの画像データを圧縮し終えたか否かを判断する（ステップＳ３ｃ）。圧縮し終えていたならば（ステップＳ３ｃでＹｅｓ）、圧縮データ出力処理で圧縮データを出力し（ステップＳ３ｄ）、静止画像圧縮完了フラグセット処理で静止画像圧縮完了フラグをセットする（ステップＳ３ｅ）。また、１フレームの画像データの圧縮処理の途中であれば（ステップＳ３ｃでＮｏ）、そのまま処理を終了する。

次に、上記した動画像圧縮処理（ステップＳ２ｄ）の手順の一例を図４に示すフローチャートを用いて説明する。
動画像圧縮処理（ステップＳ２ｄ）の手順は、前述した静止画像圧縮処理（ステップＳ２ｂ）とほぼ同様である。

まず、動画像圧縮完了フラグ判断処理で、動画像圧縮完了フラグがセットされているか否かを判断する（ステップＳ４ａ）。動画像圧縮完了フラグがセットされている場合（ステップＳ４ａでＹｅｓ）は、画像データ取り込み判断処理を実行する（ステップＳ４ｆ）。画像データ取り込み判断処理（ステップＳ４ｆ）は、まだ取り込んでいない画像データがあるか否かをチェックする。取り込んでいない画像データがあれば（ステップＳ４ｆでＹｅｓ）、動画像圧縮完了フラグクリア処理で動画像圧縮完了フラグをクリアし（ステップＳ４ｇ）、画像データ入力処理で画像データの取り込みと、取り込み時刻の取得と、画像サイズ変更などの画像変換処理を行う（ステップＳ４ｈ）。なお、この画像データ入力処理（ステップＳ４ｈ）では、後述する動画像圧縮処理（ステップＳ４ｂ）で圧縮データに時刻情報を付加するため、画像データを取り込んだ時刻を取得する点が、図３に示した画像データ入力処理（ステップＳ３ｈ）とは異なる点である。

画像データ取り込み判断処理（ステップＳ４ｆ）で、画像データの取り込みが完了している場合（ステップＳ４ｆでＮｏ）は、そのまま処理を終了する。
次に、動画像圧縮完了フラグ判断処理（ステップＳ４ａ）で、静止画像圧縮完了フラグがクリアされている場合（ステップＳ４ａでＮｏ）は、１処理単位の動画像圧縮処理を実行する（ステップＳ４ｂ）。なお、ここでの１処理単位は、静止画像圧縮処理（ステップＳ３ｂ）と同様、種々な単位を用いることが可能である。また、この動画像圧縮処理においては、前述したステップＳ４ｈで取得した画像取り込み時刻に基づいて、圧縮データに時刻情報を付加する処理が行われる。

次に、圧縮完了判断処理で、動画像圧縮処理（ステップＳ４ｂ）が１フレームの画像データを圧縮し終えたか否かを判断する（ステップＳ４ｃ）。圧縮し終えていたならば（ステップＳ４ｃでＹｅｓ）、圧縮データ出力処理で圧縮データを出力し（ステップＳ４ｄ）、動画像圧縮完了フラグセット処理で動画像圧縮完了フラグをセットする（ステップＳ４ｅ）。また、１フレームの画像データの圧縮処理の途中であれば（ステップＳ４ｃでＮｏ）、そのまま処理を終了する。

以上の静止画像圧縮処理（ステップＳ２ｂ）と動画像圧縮処理（ステップＳ２ｄ）の２つの圧縮処理の終了条件は、圧縮完了フラグがセットされている場合か、或いは、１処理単位の画像圧縮処理が終わった場合か、或いは、１フレームの画像データを圧縮し終えた場合である。

次に、静止画像圧縮処理（ステップＳ２ｂ）と動画像圧縮処理（ステップＳ２ｄ）の動作について、図５に示すタイムチャートを用いて説明する。
図５において、丸で囲んだ数字は、画像データが入力されるタイミングを示す。画像データは周期的に外部（例えば、撮像装置）から入力されたものをフレームメモリ１０で保持する。また、図５において、静止画像及び動画像の画像圧縮処理タイミングに付けた数字は画像データの入力タイミングに対応し、その数字の画像データを圧縮することを示す。

図５に示すように、画像データが入力されると、静止画像圧縮処理（ステップＳ２ｂ）と動画像圧縮処理（ステップＳ２ｄ）のうち優先度が高い方に処理が移行する。ここでは、静止画像圧縮データのフレーム抜けを防止するために静止画像圧縮処理（ステップＳ２ｂ）の優先度が高いとする。優先度が高い静止画像圧縮処理は先に実行され、圧縮完了フラグをクリアし、画像データを取り込む。そして、１フレームの画像データの処理が終わるまで、静止画像圧縮処理（ステップＳ２ｂ）が実行される。その後、静止画像圧縮処理（ステップＳ２ｂ）の処理が１フレーム分終わると、次に優先度が高い動画像圧縮処理（ステップＳ２ｄ）が実行される。まず、動画像圧縮完了フラグをクリアし、画像データを取り込む。そして、１フレームの画像データの処理が終わるまで、動画像圧縮処理（ステップＳ２ｂ）が実行される。

ここで、実行中に次の画像データが入力されると、動画像圧縮処理（ステップＳ２ｂ）は動画像圧縮処理完了フラグをクリアしたまま処理を終了する。次の画像データが入力されることで、静止画像圧縮処理（ステップＳ２ｂ）と動画像圧縮処理（ステップＳ２ｄ）のうち優先度の高い方に処理が移行する。この場合は、静止画像圧縮処理（ステップＳ２ｂ）の優先度が高いため、静止画像圧縮処理（ステップＳ２ｂ）は２フレーム目の画像データの圧縮処理を始める。静止画像圧縮処理（ステップＳ２ｂ）が終了すると、次に、動画像圧縮処理（ステップＳ２ｄ）が前回中断した処理の続きから実行される。

このように、画像データが入力される毎に静止画像圧縮処理（ステップＳ２ｂ）を優先しつつ、次の画像データが入力されるまでの残り時間を使い、動画像圧縮処理（ステップＳ２ｄ）を実行する。

以上の動作により、優先度が高い圧縮処理、本実施例では静止画像圧縮処理（ステップＳ２ｂ）の動作を優先し、画像データの入力タイミングに同期して圧縮処理を行う。そして、処理の空き時間を使い、他の圧縮処理、本実施例では動画像圧縮処理（ステップＳ２ｄ）を実行することが可能になる。

ところで、前述したように動画像圧縮方式は、画像データ復号装置が復号画像を表示するタイミングを管理するため、圧縮データに時刻情報を付加している。この時刻情報は、画像データを取り込んだ時刻と一致する必要がある。時刻は画像データ圧縮装置が持つ時計、もしくはそれに準ずるカウンタ値を用いる。カウンタ値とは、例えば、画像データ入力タイミングを元にカウントアップすることで、例えば、ＮＴＳＣ信号を用いる場合であれば、約３３ミリ秒の精度で時刻を刻むことができる。この時刻を取り出す処理は、ソフトウェア処理で行い、動画像圧縮処理中の画像データ入力処理（ステップＳ４ｈ）で行う。

しかし、図１に示すように、動画像圧縮処理部１２ｂの前段にはフレームメモリ１０があるため、外部から画像データを入力したタイミングから、動画像圧縮処理（ステップＳ２ｄ）内の画像データ入力処理（ステップＳ４ｈ）で時刻を取り出すまでの時間は、バッファで画像データを保持する時間により変動する。変動の原因は前述したように、動画像圧縮処理（ステップＳ４ｂ）の処理時間が変動するためである。このことから、第１実施例では、正確な画像取り込み時刻が取得できないという問題が発生する。

また、第１実施例では、外部より入力された画像データをそのままフレームメモリに格納するので、圧縮処理で必要な画像サイズが入力画像データより小さいサイズであっても、元の画像データサイズのデータ量が格納できる量のフレームメモリが必要になり、メモリ効率が良くない問題がある。

本発明の第２実施例を説明する。
図６には、複数の種類の圧縮データを出力する画像データ圧縮装置の構成例を示してある。

図６に示される画像データ圧縮装置６は、画像前処理部６１ａとフレームメモリ６１ｄとフレームメモリ６１ｅと静止画像圧縮処理部６１ｆと動画像圧縮処理部６１ｇを内蔵した圧縮処理制御部６１と、圧縮データ出力部１５から構成される。

画像前処理部６１ａは、外部から定期的に入力される画像データである外部画像データ入力９を取り込み、取り込んだ画像データに対して画像サイズ変更などの画像変換処理を行い、静止画像圧縮用のフレームメモリ６１ｄと動画像圧縮用のフレームメモリ６１ｅへ画像データ入力６１ｂ、６１ｃとして出力する。また、画像を取り込んだ時刻を取得し、画像データ入力６１ｃと併せてフレームメモリ６１ｅへ出力する。

フレームメモリ６１ｄは、画像前処理部６１ａが出力した画像データ入力６１ｂを取り込み、読み出し側の静止画像圧縮処理部６１ｆから出力要求があるまで内部メモリに画像データを格納する。フレームメモリ６１ｄは、画像データのサイズに合わせ、小さい画像サイズの場合は、図１に示した画像データ圧縮装置１のフレームメモリ１０より少ないメモリ量で構成することができる。

フレームメモリ６１ｅも同様に、画像前処理部６１ａが出力した画像データ入力６１ｃを取り込み、読み出し側の動画像圧縮処理部６１ｇから出力要求があるまで内部メモリに画像データを格納する。また、画像前処理部６１ａが出力した時刻情報を、例えば、対応するフレームの画像データと一組にして格納する。

ここで、フレームメモリをフレームメモリ６１ｄとフレームメモリ６１ｅの２つに分けることで、２つの画像圧縮処理部が要求する画像サイズが異なる場合でも、画像サイズに合わせたメモリ量で構成することができ、メモリ効率を向上させることができる。

圧縮処理制御部６１は、図１に示した圧縮処理制御部１２と同様にソフトウェア処理で実行される。そのため、１つのプロセッサの場合は画像前処理部６１ａと静止画像圧縮処理部６１ｆと動画像圧縮処理部６１ｇによる処理を同時に処理することはできず、いずれか１つを処理してから、残りを処理することになる。画像圧縮処理は入力する画像の複雑さにより、処理時間が増減し、一時的に圧縮処理時間が増大した場合は、フレームメモリ６１ｄやフレームメモリ６１ｅで画像データをバッファリングし、圧縮処理時間が通常の画像データ入力間隔より短くなった時に、バッファリングした複数の画像データの処理を行う。

圧縮データ出力部１５は、図１で説明したものと同様に、入力された静止画像圧縮データ６２と動画像圧縮データ６３を多重し、圧縮データ出力６として外部のネットワークへ出力する。

次に、圧縮処理制御部６１の動作の一例を図７に示すフローチャートを用いて説明する。
圧縮処理制御部６１は、最初に圧縮完了フラグ初期化処理により静止画像圧縮完了フラグと動画像圧縮完了フラグをセットする（ステップＳ７ａ）。次に、最も優先度が高い画像前処理を実行する（ステップＳ７ｂ）。画像前処理（ステップＳ７ｂ）は、画像データを取り込み、取り込んだ画像データに対して画像サイズ変更などの画像変換処理を行い、フレームメモリ６１ｄとフレームメモリ６１ｅへ出力する。また、画像データを取り込んだときの時刻情報をフレームメモリ６１ｅへ出力する。

次に、静止画像圧縮処理を実行し（ステップＳ７ｃ）、静止画像圧縮完了フラグ判断処理を実行する（ステップＳ７ｄ）。静止画像圧縮完了フラグ判断処理では、静止画像圧縮処理（ステップＳ７ｃ）を実行した結果、静止画像圧縮完了フラグの状態をチェックし、フラグがセットされていれば（ステップＳ７ｄでＹｅｓ）、次に、動画像圧縮処理を実行する（ステップＳ７ｅ）。フラグがクリアされていれば（ステップＳ７ｄでＮｏ）、画像前処理（ステップＳ７ｂ）へ移行する。動画像圧縮処理（ステップＳ７ｅ）の後も同様に画像前処理（ステップＳ７ｂ）へ移行する。なお、画像前処理（ステップＳ７ｂ）と静止画像圧縮処理（ステップＳ７ｃ）と動画像圧縮処理（ステップＳ７ｅ）の詳細な処理手順については後述する。

ここで、通常は静止画像圧縮完了フラグがクリアされており、画像前処理の後は、まず、静止画像圧縮処理（ステップＳ７ｃ）が実行される。静止画像圧縮処理（ステップＳ７ｃ）により１フレームの画像データを圧縮し終えると、静止画像圧縮完了フラグがセットされるので、静止画像圧縮完了フラグ判断処理（ステップＳ７ｄ）により、動画像圧縮処理（ステップＳ７ｅ）が実行されるようになる。なお、静止画像圧縮完了フラグのセットは、静止画像圧縮処理（ステップＳ７ｃ）の中で行われる。

次に、上記した画像前処理（ステップＳ７ｂ）の手順の一例を図８に示すフローチャートを用いて説明する。
まず、画像データ取り込み判断処理で、まだ取り込んでいない画像データがあるか否かをチェックする（ステップＳ８ａ）。まだ取り込んでいない画像データがあれば（ステップＳ８ａでＹｅｓ）、静止画像圧縮完了フラグ判断処理で、静止画像圧縮完了フラグがセットされているか否かを判断する（ステップＳ８ｂ）。静止画像圧縮完了フラグがクリアされていれば（ステップＳ８ｂでＮｏ）、そのまま処理はステップＳ８ｄに移行する。静止画像圧縮完了フラグがセットされていれば（ステップＳ８ｂでＹｅｓ）、静止画像圧縮完了フラグクリア処理で静止画像圧縮完了フラグをクリアする（ステップＳ８ｃ）。次に、静止画像データ入力処理で画像データの取り込みを行い、取り込んだ画像データに対して画像サイズ変更などの画像変換処理を実行後、画像データをフレームメモリ６１ｄへ出力する（ステップＳ８ｄ）。

次に、動画像圧縮完了フラグ判断処理で、動画像圧縮完了フラグがセットされているか否かを判断する（ステップＳ８ｅ）。動画像圧縮完了フラグがクリアされていれば（ステップＳ８ｅでＮｏ）、そのまま処理はステップＳ８ｇに移行する。動画像圧縮完了フラグがセットされていれば（ステップＳ８ｅでＹｅｓ）、動画像圧縮完了フラグクリア処理で動画像圧縮完了フラグをクリアする（ステップＳ８ｆ）。次に、動画像データ入力処理で画像データの取り込みと、取り込み時刻の取得を行い、取り込んだ画像データに対して画像サイズ変更などの画像変換処理を実行後、取得した取り込み時刻と共にフレームメモリ６１ｅへ出力する（ステップＳ８ｇ）。

画像データ取り込み判断処理（ステップＳ８ａ）で、取り込んでいない画像データがなければ（ステップＳ８ａでＮｏ）、そのまま処理を終了する。
次に、上記した静止画像圧縮処理（ステップＳ７ｃ）の手順の一例を図９に示すフローチャートを用いて説明する。

まず、静止画像圧縮完了フラグ判断処理で、静止画像圧縮完了フラグがセットされているか否かを判断する（ステップＳ９ａ）。静止画像圧縮完了フラグがクリアされている場合（ステップＳ９ａでＮｏ）は、静止画像圧縮処理を実行する（ステップＳ９ｂ）。

ここで、静止画像圧縮処理（ステップＳ９ｂ）は、１フレームの画像データの圧縮処理をより細分化し、所定の処理単位で分けたものである。所定の処理単位としては、例えば、画像データの数画素単位や、画像データの数バイト単位や、数秒単位等、種々な単位を用いることが可能である。また、この静止画像圧縮処理（ステップＳ９ｂ）は、入力された１フレームの画像データの最後までを継続して処理するため、１つの処理単位が実行し終わり、再度、静止画像圧縮処理（ステップＳ９ｂ）を実行した場合は、前回の圧縮処理の続きから処理が行われる。

次に、圧縮完了判断処理で、静止画像圧縮処理（ステップＳ９ｂ）が１フレームの画像データを圧縮し終えたか否かを判断する（ステップＳ９ｃ）。圧縮し終えていたならば（ステップＳ９ｃでＹｅｓ）、圧縮データ出力処理で圧縮データを出力し（ステップＳ９ｄ）、静止画像圧縮完了フラグセット処理で静止画像圧縮完了フラグをセットする（ステップＳ９ｅ）。また、１フレームの画像データの圧縮処理の途中であれば（ステップＳ９ｃでＮｏ）、そのまま処理を終了する。

また、静止画像圧縮完了フラグ判断処理（ステップＳ９ａ）で、静止画像圧縮完了フラグがセットされている場合（ステップＳ９ａでＹｅｓ）は、既に取り込んだ画像データの圧縮処理が完了したと判断し、そのまま処理を終了する。

次に、上記した動画像圧縮処理（ステップＳ７ｅ）の手順の一例を図１０に示すフローチャートを用いて説明する。
動画像圧縮処理（ステップＳ７ｅ）の手順は、前述した静止画像圧縮処理（ステップＳ７ｃ）とほぼ同様である。

まず、動画像圧縮完了フラグ判断処理で、動画像圧縮完了フラグがセットされているか否かを判断する（ステップＳ１０ａ）。静止画像圧縮完了フラグがクリアされている場合（ステップＳ１０ａでＮｏ）は、１処理単位の動画像圧縮処理を実行する（ステップＳ１０ｂ）。なお、ここでの１処理単位は、静止画像圧縮処理（ステップＳ７ｃ）と同様、種々な単位を用いることが可能である。また、この動画像圧縮処理では、前述した画像前処理（ステップＳ７ｂ）のステップＳ８ｇにおいて取得した画像取り込み時刻に基づいて、圧縮データに時刻情報を付加する処理が行われる。具体的には、例えば、圧縮方式としてＭＰＥＧ−４を用いる場合であれば、画像取り込み時刻に基づいて各ＶＯＰヘッダの後にデコーダ側での表示タイミングを示すカウント値を挿入する。

次に、圧縮完了判断処理で、動画像圧縮処理（ステップＳ１０ｂ）が１フレームの画像データを圧縮し終えたか否かを判断する（ステップＳ１０ｃ）。圧縮し終えていたならば（ステップＳ１０ｃでＹｅｓ）、圧縮データ出力処理で圧縮データを出力し（ステップＳ１０ｄ）、動画像圧縮完了フラグセット処理で動画像圧縮完了フラグをセットする（ステップＳ１０ｅ）。また、１フレームの画像データの圧縮処理の途中であれば（ステップＳ１０ｃでＮｏ）、そのまま処理を終了する。

また、動画像圧縮完了フラグ判断処理（ステップＳ１０ａ）で、動画像圧縮完了フラグがセットされている場合（ステップＳ１０ａでＹｅｓ）は、そのまま処理を終了する。
以上の静止画像圧縮処理（ステップＳ７ｃ）と動画像圧縮処理（ステップＳ７ｅ）の２つの圧縮処理の終了条件は、圧縮完了フラグがセットされている場合か、或いは、１処理単位の画像圧縮処理が終わった場合か、或いは、１フレームの画像データを圧縮し終えた場合である。

次に、画像前処理（ステップＳ７ｂ）と静止画像圧縮処理（ステップＳ７ｃ）と動画像圧縮処理（ステップＳ７ｅ）の動作について、図１１に示すタイムチャートを用いて説明する。

図１１において、丸で囲んだ数字は、画像データが入力されるタイミングを示す。画像データは周期的に外部から入力される。また、図１１において、画像前処理タイミング、及び、静止画像及び動画像の画像圧縮処理タイミングに付けた数字は画像データの入力タイミングに対応し、その数字の画像データを処理することを示す。

図１１に示すように、画像データが入力されると、優先度が最も高い画像前処理（ステップＳ７ｂ）に処理が移行し、圧縮処理が１フレームの画像データを処理中でも、画像データの取り込みを行い、フレームメモリへ画像データと画像を取り込んだときの時刻情報を出力する。このとき、圧縮完了フラグがセットされている場合は、圧縮完了フラグをクリアし、新たな画像データの圧縮処理を始められるようにする。

次に、静止画像圧縮処理（ステップＳ７ｃ）と動画像圧縮処理（ステップＳ７ｅ）のうち優先度が高い静止画像圧縮処理（ステップＳ７ｃ）を実行する。静止画像圧縮処理（ステップＳ７ｃ）の圧縮処理が例えば、１フレーム分完了し、静止画像圧縮完了フラグがセットされていれば、動画像圧縮処理（ステップＳ７ｅ）を実行する。

このように、圧縮処理により画像データを処理中でも画像データが入力される毎に画像前処理（ステップＳ７ｂ）により画像データを取り込み、取り込み時刻を取得し、画像データと時刻情報を一組にしてフレームメモリへ出力することで、圧縮処理にかかる時間が増大しても、正確な画像取り込み時刻を取得することができる。

また、フレームメモリに画像データを格納するのは、画像前処理（ステップＳ７ｂ）の後であるので、画像変換処理で画像サイズを小さく変更した場合は、より少ないメモリ量でフレームメモリを構成することが可能になる。

以上のように、本実施例の画像データ圧縮装置６では、複数の圧縮処理部を有する圧縮処理制御部６１と圧縮データ出力部１５からなり、圧縮処理毎に優先度を付け優先度が高い圧縮処理部から実行する構成において、画像データを取り込む画像前処理部６１ａを他の圧縮処理部とは独立させ、画像データが入力されると優先的に画像前処理部６１ａによる処理を実行することで、定期的に画像データを取り込みことができる。また、画像前処理部６１ａで画像を取り込んだ時刻を取得し、後段のフレームメモリ６１ｅに画像データと時刻情報を一組で格納し、画像圧縮処理で使用する時刻情報をフレームメモリ６１ｅに格納された画像データと一組で取り出すことで、画像データと同期した時刻情報を用いて圧縮処理を行うことができる。

また、本実施例の画像データ圧縮装置６では、画像前処理部６１ａの後段に、各々の圧縮処理部と対応するフレームメモリ６１ｄ、６１ｅを独立して設けることで、画像データのサイズに合わせたメモリ量でフレームメモリを構成し、フレームメモリ量を効率的に用いることができる。

また、本実施例の画像データ圧縮装置６では、画像圧縮処理部内の画像データ入力処理を、画像前処理部６１ａとして独立させ、フレームメモリ６１ｄ、６１ｅを画像前処理部６１ａと画像圧縮処理部６１ｆ、６１ｇとの間に置く。さらに、画像前処理部６１ａは優先度を高くし、外部から画像データが入力されると、他の処理を中断して優先的に実行する。時刻は画像前処理部６１ａの画像データ入力処理で取り出すことで、他の圧縮処理を実行中でも、外部から入力された画像データと、その画像を取り込んだ時刻を得ることができ、時刻情報は画像データを一組でフレームメモリに格納することで、圧縮処理時間が増大しても、画像圧縮処理時に正確な画像取り込み時刻を得ることが可能になる。

なお、上記した実施例では、静止画像圧縮処理と動画像圧縮処理を有する画像データ圧縮装置についてを示したが、他の構成例として、異なる圧縮方式の静止画像圧縮処理を２つ組み合わせた構成や、動画像圧縮処理を２つ組み合わせた構成が用いられてもよい。

さらに、１つの画像データ圧縮装置が持つ圧縮処理は２つである必要がなく、１つでもよく、また、３つ以上の画像データ圧縮処理を有する場合には、それぞれに優先度と画像圧縮完了フラグを持つ構成が用いられてもよい。また、複数の撮像装置からの画像データが画像データ圧縮装置に入力されるような構成が用いられてもよい。

また、上記した実施例では、動画像圧縮処理に比べて静止画像圧縮処理を優先する構成を示したが、他の構成例として、静止画像圧縮処理に比べて動画像圧縮処理を優先するような構成が用いられてもよい。

また、圧縮処理は画像圧縮処理である必要はなく、音声圧縮処理など、他の種類のデータ処理を行ってもかまわない。特に音声圧縮データの場合、ジッタの影響で受信側の復号化装置に音声圧縮データが到着するのが遅れた場合、再生音声信号にノイズが混じる。人間は画像データのフレーム抜けやノイズに比べ、音声の雑音には敏感であるため、画像圧縮データのジッタに比べ、音声圧縮データのジッタは発生しないようにする必要がある。このため、音声圧縮処理と画像圧縮処理を同時に実行する場合、音声圧縮方式の優先度を上げ、音声圧縮データにジッタが発生しないようにする。

即ち、１つの画像圧縮処理を静止画像圧縮処理とし、もう一つを動画像圧縮処理とし、さらに音声圧縮処理を同時に実行するようにし、音声の優先度をもっとも高く設定し、次に静止画像圧縮処理の優先度を高く設定することで、音声圧縮データのジッタを抑え、次に静止画像圧縮処理のジッタを抑えることができる。

ここで、本発明に係る画像データ圧縮装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。例えば、画像データ圧縮装置という独立した構成の装置として構成されてもよいし、画像伝送装置（Ｗｅｂエンコーダ）やＷｅｂカメラ等が備える機能の１つとして構成されてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。

また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。応用例として、監視目的以外にも、例えば、幼稚園の運動会や、野球等のスポーツを視聴する目的などのシステムとして実現することも可能である。

また、本発明に係る画像データ圧縮装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。

また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の一実施例に係る画像データ圧縮装置の構成例を示す図である。 本発明の一実施例に係る圧縮処理制御部の動作の一例を示す図である。 本発明の一実施例に係る静止画像圧縮処理の手順の一例を示す図である。 本発明の一実施例に係る動画像圧縮処理の手順の一例を示す図である。 本発明の一実施例に係る複数の圧縮処理の動作の一例を説明するための図である。 本発明の一実施例に係る画像データ圧縮装置の構成例を示す図である。 本発明の一実施例に係る圧縮処理制御部の動作の一例を示す図である。 本発明の一実施例に係る画像前処理の手順の一例を示す図である。 本発明の一実施例に係る静止画像圧縮処理の手順の一例を示す図である。 本発明の一実施例に係る動画像圧縮処理の手順の一例を示す図である。 本発明の一実施例に係る画像前処理と複数の圧縮処理の動作の一例を説明するための図である。

符号の説明

１：画像データ圧縮装置、６：画像データ圧縮装置、９：外部画像データ入力、１０：フレームメモリ、１１：画像データ入力、１２：圧縮処理制御部、１２ａ：静止画像圧縮処理部、１２ｂ：動画像圧縮処理部、１３：静止画像圧縮データ、１４：動画像圧縮データ、１５：圧縮データ出力部、１６：圧縮データ出力、６１：圧縮処理制御部、６１ａ：画像前処理部、６１ｂ：画像データ入力、６１ｃ；画像データ入力、６１ｄ：フレームメモリ、６１ｅ：フレームメモリ、６１ｆ：静止画像圧縮処理部、６１ｇ：動画像圧縮処理部、６２：静止画像圧縮データ、６３：動画像圧縮データ。

Claims (1)

1. 入力される画像データに対して静止画像圧縮処理と、動画像圧縮処理を並行して行う画像データ圧縮装置であって、
   前記画像データを取り込み、該画像データを取り込んだ時刻を取得し、前記取り込んだ画像データに対して画像変換処理を実行し、前記画像データと前記時刻情報をフレームメモリに出力する処理を最優先に実行し、
   前記画像データを所定の静止画像圧縮方式で圧縮する静止画像圧縮処理を２番目に優先的に実行し、
   前記画像データを所定の動画像圧縮方式で圧縮し、該圧縮データに前記時刻情報を付加する動画像圧縮処理を３番目に優先的に実行する制御手段と、
   前記静止画像圧縮データと前記動画像圧縮データとを多重し、ネットワークへ出力する圧縮データ出力手段と、
   を備え、前記最優先される処理は、画像データが入力される度に、前記動画像圧縮処理または前記静止画像圧縮処理を中断して処理されることを特徴とする画像データ圧縮装置。