JP5296765B2 - Ｊｐｅｇ圧縮装置 - Google Patents

Description

本発明はＪＰＥＧデータを圧縮するＪＰＥＧ圧縮装置に係り、特にＪＰＥＧ規格で画像圧縮した動画像を一定のビットレートに収まるようにして、規定のフレームレートで送信することができるＪＰＥＧ圧縮装置に関する。

カラー静止画像を圧縮伸張する標準方式としてＪＰＥＧ（Joint Picture Expert Group）があり、動画像を構成する連続する複数の画像フレームにおいて、直前の画像フレームのデータサイズから現在の画像フレームの圧縮率を決定して圧縮した動画像のビットレートが一定の値に収まるよう構成されたＪＰＥＧ圧縮装置が知られている（例えば、特許文献１参照）。

特開２００７−６０４９８号公報

上記特許文献１に記載されたＪＰＥＧ圧縮装置は、直前の画像フレームと現在の画像フレームの画像のデータサイズがほとんど変わらないという前提に基づき、伝送するデータ量が一定になるよう制御している、そのため、直前の画像フレームでＪＰＥＧデータサイズが減少した場合は、次の画像フレームでは量子化テーブルを高画質なものに切り替えてデータ量を増加させる制御が行われた。

しかしながら、インターホンの玄関子機カメラや監視カメラ等に多く採用されている３０フレーム／秒程度のフレームレートの場合、訪問者や不審者がカメラにフレームインしたりフレームアウトすると、映像が大幅に変わってＪＰＥＧデータサイズが大きく変化する状況が発生する。

この状況を図面を参照して具体的に説明すると、図４は画面内で移動物体が停止した場合の映像状態の変移を示し、図４（ａ）は移動物体が画面に入る前の画像、図４（ｂ）は移動物体は画面中央付近で移動中の画像、図４（ｃ）は移動物体が撮画面内で停止した画像を示している。また図６は、この図４の変移におけるＪＰＥＧデータサイズの遷移を示している。
この様に人物などの物体が横からカメラにフレームインし、移動して来てカメラの正面付近で停止するような状況が発生した場合、移動物体が画面に入る前は図６のＭ１に示すようなデータサイズであったものが、移動物体のフレームインにより移動中は映像がブレて単調な映像になるために図６のＭ２に示すデータサイズまで大幅に減少する。よって、データサイズを大きくする制御するため量子化テーブルは高画質に切り替わる。

その後、停止した場合は映像のブレが無くなり映像が複雑になるため、図６のＭ３に示すデータサイズまで大幅に増大する。このとき量子化テーブルは高画質に切り替わっているためデータサイズが伝送帯域を大幅に超えてしまう。
こうして、移動物体がフレームインして停止すると、映像が間引きされて人物の移動中の映像で一瞬停止する状態がモニタに表示されるといった結果になる。

また、図５は比較的複雑な背景の前で移動物体が画面内を横切った場合の映像状態の変移を示し、図５（ａ）は移動物体が画面に入ってきた直後の画像、図５（ｂ）は移動物体が画面内で移動中の画像、図５（ｃ）は移動物体が停止せず画面から外れていった直後の画像を示している。また図７は、この図５の変移におけるＪＰＥＧデータサイズの遷移を示している。
この様にカメラの前を人物等の移動物体が横切ってフレームアウトするような状況でも、最初は図７のＭ４に示すＪＰＥＧデータサイズが、物体が横切りブレた映像が画面全体に撮像される状態では図７のＭ５に示すようにＪＰＥＧデータサイズは大幅に減少する。その後、物体が画面から全て外れると元の複雑な背景が表示される為、図７のＭ６に示すように一気にＪＰＥＧデータサイズが増大する。この結果、上記移動物体が停止する場合と同様に、ＪＰＥＧデータサイズが伝送帯域を超えてしまう状況が発生する。
どちらの状態も発生頻度が高く、この問題を従来方式で解決しようとすると、量子化テーブル全体を画質が低下する方向に移行させるしかなかった。

また、上記従来方式では画像フレーム全体のＪＰＥＧデータサイズから判断している為、映像の一部分が変動することによる部分的なＪＰＥＧデータサイズの増大が発生しても、フレーム全体としてのＪＰＥＧデータサイズの変動が少なければ量子化テーブルを切り替えなかった。しかし、フレーム全体でＪＰＥＧデータサイズが伝送帯域を超えていなくても、映像の複雑な部分の圧縮の際に瞬間的に伝送帯域を超えることは頻繁に発生するため、やはり映像の乱れが発生していた。これに対応するには、ＪＰＥＧ圧縮側にＪＰＥＧデータをフレーム単位で格納するフレームバッファを設けなければならなかった。

そこで、本発明はこのような問題点に鑑み、映像が変動して画像データサイズが急激に増大してもＪＰＥＧデータサイズは伝送帯域を超え難く、映像の間引きによる瞬間的な停止の頻度を減少させることができるＪＰＥＧ圧縮装置を提供すること、更に画像フレームを分割したブロック単位でＪＰＥＧデータサイズの変動を判断することで、ＪＰＥＧ圧縮側にフレームバッファを持たなくても、瞬間的なＪＰＥＧデータの増加により伝送帯域を超える事を防止できるＪＰＥＧ圧縮装置を提供することを目的としている。

上記課題を解決する為に、請求項１の発明は、映像データをＪＰＥＧデータから成る動画像データに変換して出力するＪＰＥＧ圧縮装置であって、過去の連続するＭ個（Ｍは整数）の画像フレームにおけるＪＰＥＧデータサイズの移動平均を演算する移動平均演算部と、動画像のＮ−１番目（Ｎは整数）の画像フレームとＮ番目の画像フレームのＪＰＥＧデータサイズを比較して、ＪＰＥＧデータサイズが所定の変化量を超えた減少が発生したら移動物体が存在すると判断する移動物体識別部と、Ｎ−１番目の画像フレームのＪＰＥＧデータサイズ、移動平均演算部、移動物体識別部の情報を基に、Ｎ＋１番目の画像フレームの圧縮率を設定する圧縮率設定部と、設定された圧縮率からＮ＋１番目の画像フレームのＪＰＥＧ圧縮に使用する量子化テーブルを生成する量子化テーブル生成部と、量子化テーブル生成部で生成された量子化テーブルを基に、画像フレームのＪＰＥＧ圧縮を実施して映像データをＪＰＥＧ符号化するＪＰＥＧ符号化部と、ＪＰＥＧ符号化部が出力するＪＰＥＧデータのデータサイズが所定のサイズを超えたら、その画像フレームを消去して間引いたフレームを送出するデータ伝送部とを有し、圧縮率設定部は、移動物体識別部が移動物体が存在すると判断したら、圧縮率を設定された最大値に設定し、ＪＰＥＧ符号化部が出力するＪＰＥＧデータを低画質に移行させることを特徴とする。
この発明は、物体の移動を撮像した時の映像のブレによりＪＰＥＧデータが大幅に減少する事を利用しており、物体の移動時にはＪＰＥＧデータサイズが減少するため従来は量子化テーブルを高画質側に切り替えたが、この発明では反対に最も低画質なテーブルに切り替えて、後に物体が停止するなどして複雑な映像になってもＪＰＥＧデータサイズが伝送帯域を超えないように移行させて準備動作する。
この結果、一時的に画質は低下するが、物体が移動してブレた映像が表示している状況では映像の詳細はあまり識別できない為、画質低下の影響はほとんどないし、急激に映像が変動して画像フレームのデータサイズが増大しても、ＪＰＥＧデータサイズは伝送帯域を超え難く、映像の間引きによる瞬間的な停止の頻度が減少する。そしてデータサイズの大きな変動のない平常時は、データサイズに適した画質のＪＰＥＧデータに符号化されて伝送される。

請求項２の発明は、請求項１に記載の構成において、ＪＰＥＧ符号化部は、入力された画像フレームを所定の画素数のブロック単位で順次符号化すると共に、符号化したブロック毎にＪＰＥＧデータサイズをカウントして出力する一方、ＪＰＥＧデータサイズを所定値と比較するブロック判定部を有し、ＪＰＥＧデータサイズが所定値を超えるブロックがあった場合、ブロック判定部は圧縮率設定部に圧縮率を上げる指示を出し、ＪＰＥＧ符号化部でのデータ圧縮を１段階上げて低画質に移行させることを特徴とする。
この構成によれば、符号化するブロック毎にＪＰＥＧデータサイズをカウントし、ブロック毎に量子化テーブルの切替判定をする。よって、画像フレーム全体でのＪＰＥＧデータサイズに変動がほとんど無くても、画像フレームの一部分でＪＰＥＧデータの急激な増大があったらそれを検出して量子化テーブルを速やかに低画質側に切り替える。この結果、ＪＰＥＧデータが瞬間的に伝送帯域を超える事を防ぐことができ、ＪＰＥＧ圧縮側にフレームバッファを持たなくても良好に映像を伝送することが可能となる。

本発明によれば、急激に映像が変動してＪＰＥＧデータサイズが増大しても伝送帯域を超え難くでき、映像の間引きによる瞬間的な停止の頻度を減少させることができる。同時にＪＰＥＧ圧縮による画質の低下も最小限に抑制できる。
また、画像フレームを複数に分割したブロック単位でも判断することで、ＪＰＥＧデータサイズ全体で大きな変動が無くても、瞬間的なＪＰＥＧデータが伝送帯域の容量を超えてデータ送り先で映像が乱れる事態を防止することができ、ＪＰＥＧ圧縮側にフレームバッファを持たなくても良好に映像を伝送できる。

ＪＰＥＧ圧縮装置を備えたインターホン装置の構成図である。 本発明に係るＪＰＥＧ圧縮装置の一例を示すブロック図である。 映像データの流れを示すフローチャートである。 移動物体による映像状態変移図である。 移動物体による映像状態変移図である。 図４の映像状態変移におけるＪＰＥＧデータサイズの遷移図である。 図５の映像状態変移におけるＪＰＥＧデータサイズの遷移図である。 １フレームの画像データ構成である。

以下、本発明を具体化した実施の形態を、図面に基づいて詳細に説明する。図１はインターホン装置を示し、図２はこの要部ブロック図を示している。本発明に係るＪＰＥＧ圧縮装置は、一例としてインターホン装置の玄関子機に組み込まれている。
図１において、１は玄関に設置される玄関子機、２は居室に設置される居室親機であり、伝送路Ｌ１により両者は接続されている。玄関子機１は来訪者が居住者を呼び出すための呼出ボタン１１と、来訪者を撮像するためのカメラ１２と、通話するためのマイク１３及びスピーカ１４とを備えている。居室親機２は、呼び出しに応答するための通話ボタン２１と、通話するためのマイク２２及びスピーカ２３と、映像を表示するモニタ２４とを備えている。

図２は、カメラ１２が撮像した映像をモニタ２４に表示するまでの映像データ処理に関わるブロックを表している。玄関子機１のブロック図はＪＰＥＧ圧縮装置４のブロック図となっている。この図２に示すように、ＪＰＥＧ圧縮装置４は、カメラ１２が撮像して出力する映像データを符号化（圧縮）するＪＰＥＧ符号化部４１と、移動平均を演算する移動平均演算部４２と、ＪＰＥＧ圧縮データのカウント値（データサイズ）を基に移動物体を識別する移動物体識別部４３と、画像フレーム（以下、単に「フレーム」と称する）を構成する個々の画像ブロックにおいてデータサイズを監視するブロック判定部４４と、ＪＰＥＧ符号化部４１での圧縮率を決定する圧縮率判定部４５と、決定された圧縮率に応じた量子化テーブルを生成する量子化テーブル生成部４６と、居室親機２へ映像データを送信するデータ伝送部４７とを備えている。
また居室親機２は、伝送されてきた映像データを受信するデータ伝送部５０と、ＪＰＥＧデータをデコードするＪＰＥＧ復号部とを有し、復号した動画像データによりモニタ２４に映像が表示される。

ＪＰＥＧ符号化部４１では、量子化テーブル生成部４６から送出された量子化テーブルを使用し、カメラ１２から出力された動画像データを符号化して出力する。具体的に、カメラ１２から出力された映像データは連続する画像データから成る動画像データであり、図８に示すように多数の画像ブロックに分割されてＪＰＥＧ符号化が行われる。
図８は１フレーム分の画像データの構成を示しており、この図８に示すようにフレームはＭＣＵ（例えば８×８ピクセル）単位のブロックで分割されて符号化される。
そして、ＭＣＵ単位でＪＰＥＧデータのカウント値を順次出力し、１フレームのＪＰＥＧ符号化が終了したら、圧縮した映像データであるフレームデータをデータ伝送部４７へ出力する。

移動平均演算部４２は、ＪＰＥＧ符号化部４１からカウント値を入手し、予め決められたＭ個（例えば４個）毎にフレームのＪＰＥＧデータサイズの平均値を計算し、その結果を圧縮率判定部４５へ送る。

移動物体識別部４３は、ＪＰＥＧ符号化部４１からカウント値を入手し、直前（Ｎ−１番目）のフレームと現在（Ｎ番目）のフレームのＪＰＥＧデータサイズを比較する。比較した結果、一定値以上のデータサイズの減少があった場合は映像に何らかの移動物体が撮像されていると判定し、圧縮率判定部４５に対してその旨信号を出力する。これは、上記図５や図６に示したような移動物体が撮像された後に発生する急激なＪＰＥＧデータサイズの増加に対処するために行われる。

ブロック判定部４４は、ＪＰＥＧ符号化部４１においてＪＰＥＧ符号化の際に出力されるブロック単位のカウント値を受けてデータサイズを判定する。具体的に、入手したカウント値からＪＰＥＧデータサイズをあらかじめ決められた閾値と比較し、設定された閾値以上であれば圧縮率判定部４５に対して、現在のＪＰＥＧ圧縮処理が終わるのを待って１段階画質を下げる量子化テーブルをＪＰＥＧ符号化部４１へ送るよう指示を出す。これは、フレーム全体のＪＰＥＧデータサイズでは伝送帯域内に入っていて伝送に問題無くても、映像がフレーム内において局所的に複雑になり瞬間的に伝送帯域を超える場合を防ぐことを目的としている。

圧縮率判定部４５は、ＪＰＥＧ符号化部４１が出力する直前（Ｎ−１番目）のフレームのカウント値を受けて、閾値以上であったら画質を１段階下げた量子化テーブルを生成するよう量子化テーブル４６へ信号を出す。また、移動平均演算部４２が計算した平均値をあらかじめ決められた閾値と比較し、閾値以上であれば１段階画質を下げた量子化テーブルをＪＰＥＧ符号化部４１へ送る。尚、移動平均演算部４２は、演算した平均値が閾値に満たない場合は画質を変更する信号は出力しない。
また、移動物体識別部４３において移動体の存在が識別されたら、最も画質を下げた（圧縮率を最大にした）量子化テーブルを生成する指令を量子化テーブル生成部４６へ出す。
更に、ブロック判定部４４が出力する信号を受けて量子化テーブル生成部４６に対して画質を１段階下げる信号を出す。

データ伝送部４７は、ＪＰＥＧ符号化部４１から伝送されたフレームのデータサイズが予め設定した閾値以下であれば、伝送路Ｌ１を介して居室親機２へ伝送する。閾値を超えていたらフレームデータを破棄する。

このように構成されたＪＰＥＧ圧縮装置４は以下のように映像データを処理する。図３はカメラが撮像してから居室親機２へ伝送するまでのフローを示し、この図３に基づいて説明する。カメラ１２が撮像した映像データ（動画像データ）はＪＰＥＧ符号化部４１に出力される（Ｓ１）。映像データが入力されたＪＰＥＧ符号化部４１は、初回の圧縮においては量子化テーブル生成部４６から初期設定で決められた最も低い画質の量子化テーブルデータを受領してＪＰＥＧ圧縮処理を行う（Ｓ２）。

圧縮はブロック単位で行われ、圧縮した結果であるＪＰＥＧデータのカウント値がその都度出力される（Ｓ３）。このＪＰＥＧデータのカウント値は、移動平均演算部４２、移動物体識別部４３、ブロック判定部４４、圧縮率判定部４５へ同時に送られる。そして、２回目以降の圧縮処理に際しては、量子化テーブル生成部４６から直前のＪＰＥＧデータを基に生成された量子化テーブルを使用してＪＰＥＧ圧縮処理を実施する。
こうして１フレームの画像データを圧縮して得たＪＰＥＧデータは、データ伝送部４７へ出力される（Ｓ４）。

データ伝送部４７へ出力されたＪＰＥＧデータは、データ伝送部４７において画像フレームのデータ量が所定の閾値以下であるか判断され（Ｓ５）、以下であれば伝送路Ｌ１を介して居室親機２へ伝送する（Ｓ６）。超えている場合はフレームデータを破棄する（Ｓ７）。居室親機２はデータ伝送部５０でＪＰＥＧデータを受け取り、ＪＰＥＧ復号部５１にて映像データに復号化されてモニター２４に表示される。

一方、移動平均演算部４２では、入手したカウント値が決められたフレーム数に達すると、それまでのフレームのＪＰＥＧデータサイズの平均値が計算され、その結果が圧縮率判定部４５へ送られ、圧縮率判定部４５において予め決められた閾値と平均値が比較される。
この比較により、閾値以下であれば１段階画質を上げる量子化テーブルを生成するよう量子化テーブル生成部４６へ信号が出される。こうして次のＮ＋１番目のフレームからはその量子化テーブルで圧縮が行われる。尚、一度量子化テーブルを切り替えたなら、画質を上げる方向へはもう一度決められたフレーム数の移動平均が計算されるまで判定をしない。この処理によって現在の画質に合わせて量子化テーブルを最適化でき、最初に最低画質で圧縮する事で最初の圧縮で伝送帯域をオーバーするＪＰＥＧサイズになる事を防いでいる。また、閾値を超えていたら量子化テーブルの変更指示は出さない。

また、圧縮率判定部４５は、ＪＰＥＧ符号化部４１からカウント値を受け取ると、そのデータサイズが予め決められた所定値より大きければ画質を１段階下げる指示を出す。具体的に、直前（Ｎ−１番目）のフレームのＪＰＥＧデータサイズと閾値とを比較し、直前のデータサイズが閾値以上であれば１段階画質を下げた量子化テーブルを生成するよう量子化テーブル生成部４６へ信号を出す。ＪＰＥＧ符号化部４１は量子化テーブル生成部４６から受け取った量子化テーブルを使用して次の（Ｎ＋１番目）のフレームからはその量子化テーブルで圧縮を実施する。尚、直前のデータサイズが閾値に満たない場合は、量子化テーブルを変更しない。このＪＰＥＧデータサイズを減らす（画質を下げる）方向の操作は、１フレームの圧縮が終わる度に判定して実施される。

移動物体識別部４３では、ＪＰＥＧ符号化部４１から送信されるカウント値を基に、直前（Ｎ−１番目）のフレームと現在（Ｎ番目）のフレームのＪＰＥＧデータサイズの比較を行い、一定以上大きいサイズの減少があった場合は映像に何らかの移動物体が存在すると判断し、移動物体が存在すると判断したら圧縮率判定部４５に通知する。
この通知を受けた圧縮率判定部４５は、設定されている量子化テーブルの中で最も画質を下げた量子化テーブルを量子化テーブル生成部４６に生成させる。ＪＰＥＧ符号化部４１は量子化テーブル生成部４６から生成された量子化テーブルを使用して次の（Ｎ＋１番目の）フレームからはその量子化テーブルで符号化する。

ブロック判定部４４では、ＪＰＥＧ符号化部４１が出力する直前（Ｎ−１番目）のフレームの中のカウント値を受けたらデータサイズを判断し、閾値を超えるブロックが存在する場合は、画質を下げるよう圧縮率判定部４５に指示を出す。上述したように、ＭＣＵ単位でデータサイズが判断され、閾値以上であれば圧縮率判定部４５に対して、Ｎ番目（現在）のＪＰＥＧ圧縮処理が終わるのを待ち、次（Ｎ＋１番目）のフレームから１段階画質を下げる量子化テーブルをＪＰＥＧ符号化部４１へ送るよう指示を出す。
こうしてＪＰＥＧ符号化部４１は、次のＮ＋１番目のフレームの符号化処理を実施する。

このように、移動物体が撮像されたら量子化テーブルを最も低画質なものに切り替えて、後に物体が停止するなどして複雑な映像になってもＪＰＥＧデータサイズが伝送帯域を超えないよう準備動作するため、急激に映像が変動してフレームのデータサイズが増大しても、ＪＰＥＧデータサイズは伝送帯域を超え難く、映像の間引きによる瞬間的な停止の頻度を減少させることができる。また、量子化テーブルを最も低画質なものに変更することで一時的に画質は低下するが、物体が移動してブレた映像が表示されている状況では映像の詳細はあまり識別できない為、画質低下の影響はほとんどない。
また、符号化するブロック毎にＪＰＥＧデータサイズをカウントし、ブロック毎に量子化テーブルの切替判定をするので、画像フレーム全体でのＪＰＥＧデータサイズに変動がほとんど無くても、画像フレームの一部分でＪＰＥＧデータの急激な増大があった場合を検出して量子化テーブルを速やかに低画質側に切り替える。この結果、ＪＰＥＧデータが瞬間的に伝送帯域を超える事を防ぐことができ、ＪＰＥＧエンコード側にフレームバッファを持たなくても良好に映像を伝送することが可能となる。

尚、上記実施形態では、８×８ピクセルの単位でブロックが構成されているが、フレームを構成する個々のブロックの大きさはこの画素数に限定するものでなく、例えばこのブロックの倍数のピクセル数で構成しても良い。

上記実施形態ではインターホン装置に適用した構成を説明したが、本発明のＪＰＥＧ圧縮装置４は、カメラの撮像映像を通信路或いは伝送路を介して伝送し、モニタ等に表示させる構成の映像関連装置において、映像を停止させることなく表示させるのに好適である。

１・・玄関子機、２・・居室親機、４・・ＪＰＥＧ圧縮装置、１２・・カメラ、４１・・ＪＰＥＧ符号化部、４２・・移動平均演算部、４３・・移動物体識別部、４４・・ブロック判定部、４５・・圧縮率判定部、４６・・量子化テーブル生成部、４７・・データ伝送部。

Claims (2)

1. 映像データをＪＰＥＧデータから成る動画像データに変換して出力するＪＰＥＧ圧縮装置であって、
   過去の連続するＭ個（Ｍは整数）の画像フレームにおけるＪＰＥＧデータサイズの移動平均を演算する移動平均演算部と、
   動画像のＮ−１番目（Ｎは整数）の画像フレームとＮ番目の画像フレームのＪＰＥＧデータサイズを比較して、ＪＰＥＧデータサイズが所定の変化量を超えた減少が発生したら移動物体が存在すると判断する移動物体識別部と、
   前記Ｎ−１番目の画像フレームのＪＰＥＧデータサイズ、前記移動平均演算部、前記移動物体識別部の情報を基に、Ｎ＋１番目の画像フレームの圧縮率を設定する圧縮率設定部と、
   設定された圧縮率からＮ＋１番目の画像フレームのＪＰＥＧ圧縮に使用する量子化テーブルを生成する量子化テーブル生成部と、
   前記量子化テーブル生成部で生成された量子化テーブルを基に、画像フレームのＪＰＥＧ圧縮を実施して前記映像データをＪＰＥＧ符号化するＪＰＥＧ符号化部と、
   前記ＪＰＥＧ符号化部が出力するＪＰＥＧデータのデータサイズが所定のサイズを超えたら、その画像フレームを消去して間引いたフレームを送出するデータ伝送部と、を有し、
   前記圧縮率設定部は、前記移動物体識別部が移動物体が存在すると判断したら、圧縮率を設定された最大値に設定し、前記ＪＰＥＧ符号化部が出力するＪＰＥＧデータを低画質に移行させることを特徴とするＪＰＥＧ圧縮装置。
2. 前記ＪＰＥＧ符号化部は、入力された画像フレームを所定の画素数のブロック単位で順次符号化すると共に、符号化したブロック毎にＪＰＥＧデータサイズをカウントして出力する一方、
   前記ＪＰＥＧデータサイズを所定値と比較するブロック判定部を有し、
   ＪＰＥＧデータサイズが所定値を超えるブロックがあった場合、前記ブロック判定部は前記圧縮率設定部に圧縮率を上げる指示を出し、ＪＰＥＧ符号化部でのデータ圧縮を１段階上げて低画質に移行させることを特徴とする請求項１記載のＪＰＥＧ圧縮装置。

Images