JP3659157B2

JP3659157B2 - 映像内容に重み付けをする画像圧縮方式

Info

Publication number: JP3659157B2
Application number: JP2000316229A
Authority: JP
Inventors: 延浩小川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2000-10-17
Filing date: 2000-10-17
Publication date: 2005-06-15
Anticipated expiration: 2020-10-17
Also published as: US20020044693A1; JP2002125233A; US6870960B2

Description

【０００１】
【発明の属する技術分野】
本発明は、人物などの重要な範囲を常に精細に伝送できるようにしテレビ会議システムやテレビ電話システムに適した映像内容に重み付けをする画像圧縮方式に関する。
【０００２】
【従来の技術】
図６は、従来の画像圧縮方式の動作ブロック図を示す。
【０００３】
入力映像は、画面分割回路１によりＮ×Mに分割され、フレームメモリ２に記録されると同時に、動き予測回路３にも入力する。フレームメモリ２では、１フレーム遅延された後、動き予測回路３に入力する。動き予測回路３は、画面分割回路１から入力したフレームの各ブロックについてフレームメモリ２から得た前フレームと同じ位置のブロックおよびその周辺のブロックと比較し、フレーム間の位置の変化を検出し動きベクトルとする。
【０００４】
フレーム間予測回路４は、動き予測回路３から得た動きベクトルの値から、前フレームにおける動く前のブロック位置を検出してその値との差分データを検出し、動きベクトルの値と合わせて画像データを作る。直交変換回路５は、ブロック毎に差分データを離散コサイン変換する。
【０００５】
符号化回路７では、量子化された値および動きベクトルの値が可変長符号化され送信バッファ回路８に蓄積される。その後、蓄積されたデータは転送レートに合わせて一定の速度でネットワークに送出される。ここで、送信バッファ回路８に蓄積されたデータ量はバッファ蓄積量検出回路９で検出され、量子化ステップ幅算出回路１０に送出される。そこでバッファ蓄積量に応じた量子化ステップ幅が計算される。その量子化ステップサイズは量子化回路６に渡され、量子化の際に使用される。
【０００６】
図７は、従来の他の画像圧縮方式の動作ブロック図を示す（特開平６−３０４０２公報参照）。
【０００７】
図７で図６の番号と同じ番号の回路は、同様な機能を持つ。動き予測回路３で検出した各ブロックの動きベクトル値は動きベクトル値メモリ１１に記憶される。ブロックグループ化部１２は各ブロックの動きベクトル値に基づきグループ化する。
【０００８】
グループ化は互いに共通な方向のベクトル値を持つブロックと、それに囲まれた位置のブロックとを１つのグループとする。関数選択部１３は送信バッファ蓄積量に対し量子化ステップ幅関数が複数個設定されており、例えば図８に示すように、ｇ１（Ｘ）、ｇ２（Ｘ）、ｇ３（Ｘ）の関数を有している。
【０００９】
関数ｇ１（Ｘ）は送信バッファ蓄積量に対し量子化ステップ幅は小さく対応づけられており、精細に量子化する場合である。関数ｇ２（Ｘ）は送信バッファ蓄積量に対し量子化ステップ幅は中程度幅に対応付けされており、比較的低い精細度で量子化する場合である。関数ｇ３（Ｘ）は送信バッファ蓄積量に対し量子化ステップ幅は中程度幅に対応付けされており、比較的粗い精細度で量子化する場合である。
【００１０】
ここで、人物の顔部分は共通の方向の動きを持っており、グループ化されるブロック群は多くのブロックから構成される。また、人物の手の部分や背景の人物も共通の方向の動きを持っているが、画面に占める面積は小さいことから、グループ化されるブロック群は少ないブロックから構成される。さらに動いている部分のうち細かな物体によってグループ化されるブロック群は極めて少ないブロックから構成される。そして静止物は動いていないグループに分けられる。
【００１１】
量子化ステップ幅算出回路１４は、各ブロック部分を選択した関数ｇ１（Ｘ）、ｇ２（Ｘ）、ｇ３（Ｘ）のいずれかに基づいて量子化ステップ幅を算出し、そのステップ幅データを量子化回路６に送出する。送信バッファ回路８から回線へは、一画面中で人物の顔の部分は精細に、手の部分などは低い精細度で、非常に動きの少ない部分及び静止画部分は粗い精細度でデータが送られることとなる。
【００１２】
【発明が解決しようとする課題】
しかしながら、従来の画像圧縮方式には、次のような問題があった。
【００１３】
図６に示す従来の画像圧縮方式では、画像を分割して量子化し伝送するものであり、また、図７に示す従来の画像圧縮方式では、画面を分割して人物の顔の部分は詳細に伝送することができるが複雑な方式であり、さらに、映像に動きのない場合には部分的に詳細に伝送できないという問題があった。
【００１４】
本発明は、上記に鑑みてなされたものであって、簡単な処理を追加するだけで人物などの重要な範囲を常に精細に伝送できるようにしテレビ会議システムやテレビ電話システムに適した映像内容に重み付けをする画像圧縮方式を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の第１の映像内容に重み付けをする画像圧縮方式は、フレームを複数に分割したブロック毎に動きベクトルを検出し、前記動きベクトルに基づき共通の動きをするブロックをグループ化し、グループ化したブロック数が多いほど小さくなるように前記グループごとに重み付け係数を算出し、算出した係数が小さいほど小さくなるように量子化幅を算出し、この量子化幅で画像を量子化した後に符号化し、前記動きベクトルが検出されないときには、前記各ブロックの輝度と色差のＤＣ成分により前記ブロックをグループ化し、前記ブロックの中心点がフレームの中心点に近いグループほど小さくなるように前記グループごとに重み付け係数を算出し、算出した係数が小さいほど小さくなるように量子化幅を算出し、この量子化幅で画像を量子化した後に符号化することとした。
【００１６】
本発明の第２の映像内容に重み付けをする画像圧縮方式は、フレームを複数に分割したブロック毎に動きベクトルを検出し、前記動きベクトルに基づき共通の動きをするブロックをグループ化し、グループ化したブロック数が多いほど小さくなるように前記グループごとに重み付け係数を算出し、さらに、前記各ブロックのＤＣ成分により前記ブロックをグループ化し、前記ブロックの中心点がフレームの中心点に近いグループほど小さくなるように前記グループごとに重み付け係数を算出し、前記動きベクトルによるグループの前記重み付け係数と前記ＤＣ成分によるグループの前記重み付け係数との積を計算し、この計算した積が小さいほど小さくなるように量子化幅を算出し、この量子化幅で画像を量子化した後に符号化するようにしている。
【００２０】
本発明の第１と第２の映像内容に重み付けをする画像圧縮方式において、前記動きベクトルは、一つ前のフレームとブロックごとに比較し検出するようにしている。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００２２】
図１は、本発明に関わる第１実施例の映像内容に重み付けをする画像圧縮方式の動作ブロック図を示す。
【００２３】
図１で図６の番号と同じ番号の回路は、同様な機能を持つ。図１に示すように、画面分割回路１で１フレームを複数ブロックに分割し、動き予測回路３で現在のフレームと、フレームメモリ２に蓄えられている一つ前のフレームとをブロック毎に比較し、ブロック毎の動きベクトル値を検出する。フレーム間予測回路４では、差の値が最小になったブロックデータとの差分を算出し、直交変換回路５で離散コサイン変換した後量子化する。
【００２４】
一方、ブロック毎の動きベクトルを動きベクトル値メモリ１１に記憶し、動きベクトルによるブロックグループ化１２で共通の動きをするブロックをグループ化する。また、動きベクトルが検出されない場合は、直交変換回路５で計算された各ブロックの輝度と色差のＤＣ成分をＤＣ成分メモリ１５に記憶する。
【００２５】
ＤＣ成分によるブロックグループ化１６は、ＤＣ成分メモリ１５からＤＣ成分の値を受け取り、近い値を持つブロックをグループ化する。そして、重み付け係数算出回路１７で、そのグループ毎に係数を選択する。
【００２６】
量子化ステップ幅算出回路１８では、重み付け係数算出回路１７から受け取った重み付け係数と、バッファ蓄積量検出回路９から受け取ったバッファ蓄積量を用いて各ブロックの量子化ステップ幅を算出する。この量子化ステップ幅に従って、量子化回路６と符号化回路７でそれぞれ量子化と符号化を行い、送信バッファ回路８を通じてネットワークに送出する。
【００２７】
次に、図１、２、３、４を参照して第１実施例を説明する。動きベクトルによるブロックグループ化部１２は図７のときと同様にして各ブロックのベクトル値に基づきグループ化が行われる。直交変換回路５で算出された各ブロックの輝度、色差のＤＣ成分がメモリ１５に記憶される。
【００２８】
ＤＣ成分によるブロックグループ化部１４は、ＤＣ成分を量子化するなどしてからその値を比較し、近い輝度、色差を持つブロックをグループ化する。近い輝度、色差でグループ化することで、顔、髪、服、背景といった同じような色と明るさを持ったかたまりをグループ化することができる。重み付け係数算出回路１７は、動きベクトルが検出されて、動きベクトルによるブロックグループ化部１２でグループ化が行えた場合は、そこでグループ化されたグループと図２を用いて重み付け係数を計算する。
【００２９】
また、フレーム内で動きベクトルが検出されずブロックグループ化部１２でグループ化が行えなかった場合は、ＤＣ成分によるブロックグループ化部１６でグループ化されたグループを図３により重み付け係数を計算する。図３では、画面中心に位置するグループほど重み付け係数が小さくなるようになっている。これは、画面中央に位置する映像ほど重要である可能性が高いためである。
【００３０】
量子化ステップ幅算出回路１８では、まず図４の関数ｆ（ｘ）を用いて送信バッファ蓄積量に応じた量子化ステップ幅を計算する。次に、その量子化ステップ幅に重み付け係数算出回路１７で算出したブロック毎の重み付け係数を乗じて各ブロックの量子化ステップ幅とし、量子化回路６に送出する。
【００３１】
以上述べたごとく、第１実施例では、画像評価に重要な人物部分などを量子化ステップサイズを小さく、それほど重要でない背景部分などを大きくなるように選択することにより、ＴＶ会議システムやＴＶ電話システムに適した高画質の伝送を行うことができる。さらに、映像に動きのない場合においても画面を分割して人物部分などの重要部分を高画質で伝送することができる。
【００３２】
図５は、本発明に関わる第２実施例の映像内容に重み付けをする画像圧縮方式の動作ブロック図を示す。
【００３３】
図５に示すように、この第２実施例は、重み付け係数メモリ１９と重み付け係数再算出回路２０が図１に加わったものである。図１では、重み付け係数算出回路１７で算出した係数を量子化ステップ幅算出回路１８に送出していたが、図５では重み付け係数算出回路１７で算出した重み付け係数を係数メモリ１９に一旦蓄える。
【００３４】
この係数メモリには過去Ｎフレーム分の重み付け係数算出回路１７が算出した係数がブロック毎に蓄えられている。重み付け係数再算出回路２０では、重み付け係数メモリ１９から各ブロックに対して過去Ｎフレーム分の重み付け係数を受け取る。そして、数１に示す式を用いて新たな重み付け係数を算出する。この重み付け係数を量子化ステップ幅算出回路１８に送出する。
【００３５】
【数１】
u=0.5u(t)+0.25u(t-d)+0.15u(t-2d)+0.1u(t-3d)
数１はｎ＝４の場合の式であり、ｕは量子化ステップ幅算出回路に送出する係数、ｕ（ｔ）は係数算出回路が計算した時間ｔの係数、ｄはフレームの間隔である。
【００３６】
以上述べたごとく、第２実施例では、過去のＮフレームの係数を用いることで、誤ったグループ化をした場合にも間違いの影響を少なくすることができる。
【００３７】
次に、本発明に関わる第３実施例の映像内容に重み付けをする画像圧縮方式に付き説明する。
【００３８】
図１の実施例では、動きベクトルが検出された場合は動きベクトルによるブロックグループ化１２でグループ化したグループを用いて重み付け係数算出回路で重み付け係数を算出し、動きベクトルが検出されない場合はＤＣ成分によるブロックグループ化１６でグループ化したグループを用いて重み付け係数算出回路で重み付け係数を算出するという方式であった。
【００３９】
この第３実施例は、毎回両方のグループを用いて重み付け係数を２つ算出し、その積を量子化ステップ幅算出回路１８に渡すものである。
【００４０】
従って、この方式を用いると、背景の一部しか動きがなかった場合など、動きベクトルだけでは重要部分の抽出が難しい場合にも、ＤＣ成分を用いた抽出方法で補うことができる。
【００４１】
【発明の効果】
本発明の映像内容に重み付けをする画像圧縮方式は、フレームを複数に分割したブロック毎に動きベクトルを検出し、前記動きベクトルによりブロックをグループ化し、前記グループごとに重み付け係数を算出し、前記動きベクトルが検出されないときには、前記各ブロックの輝度と色差のＤＣ成分により前記ブロックをグループ化し、前記グループごとに重み付け係数を算出し、映像中の重要部分を抽出することとしたため、画像評価に重要な人物部分などを量子化ステップサイズを小さく、それほど重要でない背景部分などを大きくなるように選択することにより、ＴＶ会議システムやＴＶ電話システムに適した高画質の伝送を行うことができる。さらに、映像に動きのない場合においても画面を分割して人物部分などの重要部分を高画質で伝送することができる。
【００４２】
また、前記動きベクトルは、一つ前のフレームとブロックごとに比較し検出することとしたため、的確に検出することができる。
【００４３】
また、前記動きベクトルによるグループの前記重み付け係数の算出は、前記グループ化したブロック数に応じて行うこととしたため、的確に算出することができる。
【００４４】
また、前記ＤＣ成分によるグループの前記重み付け係数の算出は、前記ブロックの中心点とフレームの中心点との距離に応じて行うことこととしたため、的確に算出することができる。
【００４５】
また、前記重み付け係数は、さらに、過去の複数の前記重み付け係数により再算出することとしたため、過去のＮフレームの係数を用いることで、誤ったグループ化をした場合にも間違いの影響を少なくすることができる。
【００４６】
さらに、本発明の映像内容に重み付けをする画像圧縮方式は、フレームを複数に分割したブロック毎に動きベクトルを検出し、前記動きベクトルによりブロックをグループ化し、前記グループごとに重み付け係数を算出し、さらに、前記各ブロックのＤＣ成分により前記ブロックをグループ化し、前記グループごとに重み付け係数を算出し、前記動きベクトルによるグループの前記重み付け係数と前記ＤＣ成分によるグループの前記重み付け係数との積を計算し、映像中の重要部分を抽出することとしたため、背景の一部しか動きがなかった場合など、動きベクトルだけでは重要部分の抽出が難しい場合にも、ＤＣ成分を用いた抽出方法で補うことができる。
【図面の簡単な説明】
【図１】本発明に関わる第１実施例の映像内容に重み付けをする画像圧縮方式の動作ブロック図を示す。
【図２】ブロック数により重み付け係数を計算するときのグラフを示す。
【図３】ブロックの中心点と画面の中心点の距離により重み付け係数を計算するときのグラフを示す。
【図４】関数ｆ（ｘ）を用いて送信バッファ蓄積量に応じた量子化ステップ幅を計算するするときのグラフを示す。
【図５】本発明に関わる第２実施例の映像内容に重み付けをする画像圧縮方式の動作ブロック図を示す。
【図６】従来の画像圧縮方式の動作ブロック図を示す。
【図７】従来の他の画像圧縮方式の動作ブロック図を示す。
【図８】関数選択部に設定された量子化ステップ幅関数の例を示す図である。
【符号の説明】
１画面分割回路
２フレームメモリ
３動き予測回路
４フレーム間予測回路
５直交変換回路
６量子化回路
７符号化回路
８送信バッファ回路
９バッファ蓄積量検出回路
１０量子化ステップ幅算出回路
１１動きベクトル値メモリ
１２ブロックグループ化部
１３関数選択部
１４量子化ステップ幅算出回路
１５ＤＣ成分メモリ
１６ブロックグループ化
１７重み付け係数算出回路
１８量子化ステップ幅算出回路
１９重み付け係数メモリ
２０重み付け係数再算出回路

Claims

フレームを複数に分割したブロック毎に動きベクトルを検出し、前記動きベクトルに基づき共通の動きをするブロックをグループ化し、グループ化したブロック数が多いほど小さくなるように前記グループごとに重み付け係数を算出し、算出した係数が小さいほど小さくなるように量子化幅を算出し、この量子化幅で画像を量子化した後に符号化し、前記動きベクトルが検出されないときには、前記各ブロックの輝度と色差のＤＣ成分により前記ブロックをグループ化し、前記ブロックの中心点がフレームの中心点に近いグループほど小さくなるように前記グループごとに重み付け係数を算出し、算出した係数が小さいほど小さくなるように量子化幅を算出し、この量子化幅で画像を量子化した後に符号化することを特徴とする映像内容に重み付けをする画像圧縮方式。
フレームを複数に分割したブロック毎に動きベクトルを検出し、前記動きベクトルに基づき共通の動きをするブロックをグループ化し、グループ化したブロック数が多いほど小さくなるように前記グループごとに重み付け係数を算出し、さらに、前記各ブロックのＤＣ成分により前記ブロックをグループ化し、前記ブロックの中心点がフレームの中心点に近いグループほど小さくなるように前記グループごとに重み付け係数を算出し、前記動きベクトルによるグループの前記重み付け係数と前記ＤＣ成分によるグループの前記重み付け係数との積を計算し、この計算した積が小さいほど小さくなるように量子化幅を算出し、この量子化幅で画像を量子化した後に符号化することを特徴とする映像内容に重み付けをする画像圧縮方式。
前記動きベクトルは、一つ前のフレームとブロックごとに比較し検出することを特徴とする請求項１又は２に記載の映像内容に重み付けをする画像圧縮方式。