JP3792623B2 - 映像データ圧縮装置、その方法及びそのプログラム - Google Patents
映像データ圧縮装置、その方法及びそのプログラム Download PDFInfo
- Publication number
- JP3792623B2 JP3792623B2 JP2002224068A JP2002224068A JP3792623B2 JP 3792623 B2 JP3792623 B2 JP 3792623B2 JP 2002224068 A JP2002224068 A JP 2002224068A JP 2002224068 A JP2002224068 A JP 2002224068A JP 3792623 B2 JP3792623 B2 JP 3792623B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- video data
- gradation
- background
- color difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像データの圧縮技術に関し、より詳細には、映像データ内の注目領域の画質劣化を軽減して映像データを圧縮する映像データ圧縮装置、その方法及びそのプログラムに関する。
【０００２】
【従来の技術】
現在、携帯端末やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）のような情報端末に対して、映像データを配信するサービスが普及し始めている。この場合、高精細な映像データを配信しようとしても、映像データを配信するための伝送路の帯域に制限があるため、映像データは、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ４）等により帯域を圧縮して配信されている。
【０００３】
従来、この映像データの圧縮技術に関しては、例えば、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）にように、動き補償フレーム間予測（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）と、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）とを組み合わせた技術が一般的に用いられている。
【０００４】
すなわち、ＭＰＥＧ−２等による映像データの圧縮は、まず、動き補償フレーム間予測によって、映像データの映像フレーム間の予測誤差を１６×１６画素（マクロブロック）単位に生成し、その予測誤差を離散コサイン変換することで、周波数成分の振幅を示すＤＣＴ係数を生成する。そして、高周波成分に対する人の視覚感度が弱いことを利用して、高周波成分のＤＣＴ係数の桁数を多く削減することで、映像データの圧縮を行っている。
【０００５】
【発明が解決しようとする課題】
しかし、前記従来の技術において、ＭＰＥＧ−２等の映像データの圧縮は、動き補償フレーム間予測における動きベクトルの大きさや、マクロブロックの周波数成分に依存して情報量の削減を行っており、映像データの内容を考慮したものではなかった。
【０００６】
このため、携帯端末やＰＤＡのような小型の携帯端末に高精細な映像データを配信しようとすると、帯域圧縮によって多くの情報量が削減され、その映像データを配信された携帯端末で表示する表示映像は、画面全体に画質が劣化した映像となってしまう。すなわち、携帯端末で表示される表示映像は、その映像内における注目すべき被写体等が映された注目領域が、それ以外の領域である背景領域と同程度に画質劣化してしまうという問題があった。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、映像データを圧縮したときに、その映像データにおける注目すべき被写体等が映された注目領域の画質劣化を、それ以外の領域である背景領域よりも軽減させるとともに、映像データの圧縮率を高めることを可能にした映像データ圧縮装置、その方法及びそのプログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像データ圧縮装置は、入力された映像データについて、各画素の階調を色差成分及び輝度成分毎に個別に削減することで、前記映像データの圧縮を行う映像データ圧縮装置であって、動きベクトルに基づいて、前記映像データを、映像フレーム毎に被写体が存在する注目領域とそれ以外の背景領域とに分割する領域分割制御手段と、この領域分割制御手段によって分割された前記注目領域及び前記背景領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する階調削減制御手段と、を備え、前記階調削減制御手段が、前記背景領域の色差成分、前記背景領域の輝度成分、前記注目領域の色差成分、前記注目領域の輝度成分の順に優先的に階調を削減する構成とした。
【０００９】
かかる構成によれば、映像データ圧縮装置は、領域分割制御手段によって、映像データを映像フレーム毎に注目領域とその注目領域以外の背景領域とに分割する。このとき、注目領域が動きのある領域である場合は、その注目領域の動きベクトルを求めることで、注目領域と背景領域とを識別して、領域の分割を行う。また、注目領域が背景領域と比較して、色等の特徴によって識別が可能な場合は、その色等の特徴によって閾値処理を行うことで領域を分割することとしてもよい。
【００１０】
そして、映像データ圧縮装置は、階調削減制御手段によって、領域分割制御手段で分割された領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する。例えば、映像データを削減することで映像データの圧縮を行う場合、背景領域の階調を注目領域の階調よりも多く削減することで、注目領域の画質の劣化を背景領域の画質の劣化に比べて抑えるように作用する。このとき、注目領域及び背景領域毎に色差成分に割り当てられている階調を、輝度成分に割り当てられている階調よりも多く削減することで、映像データの画質の劣化を抑えたままで圧縮効率を高めることが可能になる。
【００１１】
また、請求項２に記載の映像データ圧縮装置は、請求項１に記載の映像データ圧縮装置において、前記領域分割制御手段は、前記映像データの連続した映像フレーム間で特定の大きさのブロック毎に動きベクトルを算出する動きベクトル算出手段と、この動きベクトル算出手段によって算出された動きベクトルに基づいて、前記映像フレーム内における前記ブロックが、前記注目領域に含まれるブロックか、それ以外の前記背景領域に含まれるブロックかを識別する領域識別手段と、を備える構成とした。
【００１２】
かかる構成によれば、映像データ圧縮装置は、動きベクトル算出手段によって、映像データの連続した映像フレーム間で特定の大きさのブロック毎に動きベクトルを算出する。例えば、このブロックは、ＭＰＥＧ−２等の動き補償予測に使用されるマクロブロックとする。そして、領域識別手段によって、動きベクトル算出手段で算出した動きベクトルの大きさに基づいて、映像フレーム内におけるブロック（マクロブロック）が、動きのある注目領域に含まれるブロックか、それ以外の背景領域に含まれるブロックかを識別する。これによって、映像フレームをブロック（マクロブロック）単位で注目領域と背景領域とに分割し、注目領域と背景領域との映像データを独立して加工（削減）することが可能になる。
【００１３】
さらに、請求項３に記載の映像データ圧縮装置は、請求項２に記載に映像データ圧縮装置において、前記領域分割制御手段が、前記領域識別手段で識別された前記注目領域と前記背景領域とが隣接する領域において、前記注目領域のブロックと前記背景領域のブロックとの相関に基づいて、前記背景領域のブロックを前記注目領域のブロックとして拡張させる領域拡張手段を備える構成とした。
【００１４】
かかる構成によれば、映像データ圧縮装置は、領域拡張手段によって、注目領域と背景領域とが隣接する領域において、隣接するブロック（マクロブロック）の相関、例えば、輝度や色等の特徴量で類似性のある背景領域のブロックを注目領域のブロックとする。これによって、動きベクトルの検出では注目領域と認識されない動きの少ない領域を注目領域として拡張することが可能になる。
【００１９】
また、請求項４に記載の映像データ圧縮方法は、入力された映像データについて、各画素の階調を色差成分及び輝度成分毎に個別に削減することで、前記映像データの圧縮を行う映像データ圧縮方法であって、動きベクトルに基づいて、前記映像データを、映像フレーム毎に被写体が存在する注目領域とそれ以外の背景領域とに分割する領域分割ステップと、この領域分割ステップで分割された前記注目領域及び前記背景領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する階調削減ステップとを含み、前記階調削減ステップが、前記背景領域の色差成分、前記背景領域の輝度成分、前記注目領域の色差成分、前記注目領域の輝度成分の順に優先的に階調を削減することを特徴とする。
【００２０】
この方法によれば、映像データ圧縮方法は、領域分割ステップによって、映像データを映像フレーム毎に注目領域とその注目領域以外の背景領域とに分割する。このとき、注目領域が動きのある領域である場合は、その注目領域の動きベクトルを求めることで、注目領域と背景領域とを識別して、領域の分割を行う。また、注目領域が背景領域と比較して、色等の特徴によって識別が可能な場合は、その色等の特徴によって閾値処理を行うことで領域を分割することとしてもよい。
【００２１】
そして、映像データ圧縮方法は、階調削減ステップによって、領域分割ステップで分割された領域毎において、各画素の階調を色差成分及び輝度成分毎に個別に削減する。このとき、背景領域の階調を注目領域の階調よりも多く削減することで、注目領域の画質劣化を背景領域の画質の劣化に比べて抑えるように作用する。
【００２２】
さらに、請求項５に記載の映像データ圧縮プログラムは、入力された映像データについて、各画素の階調を色差成分及び輝度成分毎に個別に削減して、前記映像データの圧縮を行うために、コンピュータを、動きベクトルに基づいて、前記映像データを、映像フレーム毎に被写体が存在する注目領域とそれ以外の背景領域とに分割する領域分割制御手段、この領域分割制御手段によって分割された前記注目領域及び前記背景領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する階調削減制御手段として機能させ、前記階調削減制御手段が、前記背景領域の色差成分、前記背景領域の輝度成分、前記注目領域の色差成分、前記注目領域の輝度成分の順に優先的に階調を削減することを特徴とする。
【００２３】
かかる構成によれば、映像データ圧縮プログラムは、領域分割制御手段によって、映像データを映像フレーム毎に注目領域とその注目領域以外の背景領域とに分割し、階調削減制御手段によって、領域分割制御手段で分割された領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する。このとき、背景領域の階調を注目領域の階調よりも多く削減することで、注目領域の画質の劣化を背景領域の画質の劣化に比べて抑えるように作用する。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（映像データ圧縮装置の構成：第一の実施の形態）
図１は、本発明における第一の実施の形態である映像データ圧縮装置１の構成を示したブロック図である。図１に示した映像データ圧縮装置１は、入力された映像データを、動きのある注目領域とそれ以外の領域である背景領域とに分割し、その分割された領域毎に画素値を表現するための階調を削減することで、映像データを圧縮して出力するものであり、領域分割制御手段１０と階調削減制御手段２０とを備える構成とした。
【００２５】
なお、ここで注目領域とは、図７に示したような映像フレームＦ上に登場する人物等の動きのある領域（注目領域ＦＧ）を指し、背景領域は注目領域ＦＧ以外の領域（背景領域ＢＧ）を指す。なお、注目領域ＦＧは図７に示すように映像フレームＦ上に複数存在していてもよい。
【００２６】
領域分割制御手段１０は、入力された映像データを、映像フレーム単位で動きのある注目領域か、あるいは、それ以外の背景領域かを、特定の大きさのブロック毎に判定することで領域の分割を行うものである。ここでは、この領域分割制御手段１０は、動きベクトル算出部１１と、グローバルベクトル算出部１２と、領域識別部１３とを備えるものとした。
【００２７】
また、階調削減制御手段２０は、入力された映像データの注目領域及び背景領域の画素値を表現するための階調を、個別に削減するものである。この階調削減制御手段２０は、階調設定部２１と、階調削減部２２とを備えるものとした。
なお、ここで特定の大きさのブロックは、ＭＰＥＧ−２等の動き補償予測に使用されるマクロブロック（１６×１６画素）とする。
【００２８】
動きベクトル算出部（動きベクトル算出手段）１１は、連続して入力される映像データの映像フレームから、動きベクトルを算出するものである。ここでは、動きベクトル算出部１１を映像遅延部１１ａと動きベクトル検出部１１ｂとで構成した。
【００２９】
映像遅延部１１ａは、入力された映像データ（入力映像データ）を映像フレーム単位で遅延させるものである。この映像遅延部１１ａで１映像フレーム分遅延された映像データ（遅延映像データ）は、動きベクトル検出部１１ｂへ出力される。
【００３０】
動きベクトル検出部１１ｂは、入力された映像データ（入力映像データ）と、映像遅延部１１ａで遅延された遅延映像データとに基づいて、映像フレームのマクロブロック単位で動きベクトルを検出するものである。この動きベクトル検出部１１ｂで検出した動きベクトルは、グローバルベクトル算出部１２及び領域識別部１３へ出力される。なお、この動きベクトルは、入力映像データの映像フレームと、遅延映像データの映像フレームとの間、すなわち隣接映像フレーム間で、マクロブロック毎にブロックマッチング法によって求められる。
【００３１】
グローバルベクトル算出部１２は、動きベクトル検出部１１ｂから入力されたマクロブロック毎の動きベクトルに基づいて、その複数の動きベクトルの中で、最も多く検出された動きベクトルをグローバルベクトルとして算出するものである。このグローバルベクトル算出部１２で算出されたグローバルベクトルは、領域識別部１３へ出力される。なお、ここで算出されたグローバルベクトルは、入力された映像データの中で、最も領域の大きい背景領域の動きベクトルとみなすことができる。
【００３２】
領域識別部（領域識別手段）１３は、動きベクトル検出部１１ｂで検出されたマクロブロック毎の動きベクトルと、グローバルベクトル算出部１２で算出されたグローバルベクトルとに基づいて、マクロブロックが動きのある注目領域に含まれるものか、それ以外の領域である背景領域に含まれるものかを識別するものである。この領域識別部１３で識別されたマクロブロック毎の領域（注目領域又は背景領域）は、マクロブロックの座標とともに領域情報として階調削減制御手段２０の階調設定部２１へ出力される。
【００３３】
ここでは、グローバルベクトルとは異なる動きをする映像（マクロブロック）を注目領域とみなす。例えば、各マクロブロックの動きベクトルとグローバルベクトルとを比較して、両ベクトルの差が予め設定した値（例えば、映像フレーム当たり４画素）以上の場合に、そのマクロブロックが注目領域に含まれるものと判断する。
【００３４】
階調設定部２１は、領域分割制御手段１０の領域識別部１３で識別された注目領域及び背景領域の各マクロブロック毎に階調の削減量を設定し、マクロブロックの座標とともに削減情報として階調削減部２２へ出力するものである。ここでは、映像（映像データ）を伝送するための伝送路のＣ／Ｎ（Ｃａｒｒｉｅｒ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）情報や映像を蓄積するネットワークサーバのバッファ占有情報等に基づいて、予め映像データの削減量（映像削減量）を求めておき、キーボード等の入力手段（図示せず）から、その映像削減量を階調設定部２１に入力するものとする。そして、階調設定部２１では、その映像削減量に基づいて、背景領域の階調が注目領域の階調よりも低くなるように各領域の階調削減量を設定する。
【００３５】
ここで、図３及び図４を参照して、階調設定部２１における注目領域及び背景領域の階調削減量の設定方法について説明する。ここでは、映像データをＹＣ（輝度／色差）映像信号とし、その階調が８ビットで表現されているものとする。図３は、ＹＣ（輝度／色差）映像信号の例として、ＭＰＥＧ−２におけるマクロブロックの構成を示したものである。図４は、階調を削減する削除内容の優先順位を示したものである。
【００３６】
図３に示したように、ＭＰＥＧ−２では、マクロブロックは１６×１６画素のＹ（輝度）映像信号と、８×８画素のＣ（色差）映像信号（Ｃr映像信号及びＣb映像信号）で構成されている。ここで階調を削減するとは、各画素を示すビット数そのものを削減して、その画素が表現できるレベルを少なくすることである。例えば、８ビットで２５６階調の映像を表現可能な元の画素Ｂ１から３ビット削減することで、削減後の画素Ｂ２は５ビットで３２階調までしか表現することができない。
【００３７】
そして、図４に示したように、階調設定部２１（図１）は優先順位（１）〜（８）の順番で、階調削減量を各マクロブロックに設定する。
優先順位（１）では、背景領域のＣ（色差）映像信号の階調を削減するように設定し、優先順位（２）では、背景領域のＹ（輝度）映像信号の階調を削減するように設定する。そして、優先順位（３）では、注目領域のＣ（色差）映像信号の階調を削減するように設定し、優先順位（４）では、注目領域のＹ（輝度）映像信号の階調を削減するように設定する。なお、ここまでの削減では、階調が最小で５ビットになるまで削減できるものとする。
【００３８】
ここで、Ｃ（色差）映像信号の削減をＹ（輝度）映像信号の削減よりも優先したのは、人間の視覚が輝度成分に比べて色差成分の感度が低いという特徴を有しているからである。また、ここで最小階調を５ビットとしたのは、階調８ビットの原画映像に対して階調を４ビット以下に削減すると画質が著しく劣化することが報告されていることによる（参考文献：大塚 他，“時間・空間・階調解像度とＴＶ画質”，電子情報通信学会画像工学研究会，ＩＥ８７−１１４，ｐｐ．１７−２４，１９８７）。
【００３９】
そして、さらに階調の削減を要する場合は、優先順位（５）として、背景領域のＣ（色差）映像信号の階調を５ビット未満（最小０ビットまで）に削減し、優先順位（６）として、注目領域のＣ（色差）映像信号の階調を５ビット未満（最小０ビットまで）に削減する。また、優先順位（７）では、背景領域のＹ（輝度）映像信号の階調を５ビット未満（最小０ビットまで）に削減し、優先順位（８）では、注目領域のＹ（輝度）映像信号の階調を５ビット未満（最小０ビットまで）に削減する。
なお、優先順位（６）及び優先順位（７）はその優先順位を逆にすることとしてもよい。また、映像フレーム内に注目領域が存在しない場合は、優先順位（３）、（４）、（６）及び（８）は、考慮しないものとする
【００４０】
また、優先順位（１）〜（４）において、最小階調を５ビットとしたが、処理対象映像の解像度に依存して変更することとしてもよい。例えば、ハイビジョン方式やＮＴＳＣ方式の放送映像の場合は最小階調を６ビットとし、ＳＩＦ（水平３５２×垂直２４０画素）やＱＳＩＦ（水平１７６×垂直１２０画素）の場合は最小階調を５ビットとする。
図１に戻って説明を続ける。
【００４１】
階調削減部２２は、階調設定部２１で設定されたマクロブロック毎の階調の削除量（削減情報）に基づいて、各マクロブロックの階調を削減するものである。この階調削減部２２で階調を削減された映像データは、圧縮を行った映像データとして出力される（出力映像データ）。例えば、映像データの画素が８ビットで構成されており、階調設定部２１から通知される削減情報において、あるマクロブロックの階調の削減量が２ビットであった場合、階調削減部２２は、そのマクロブロックの階調を６（８マイナス２）ビットとする。これによって、映像データの情報量を圧縮することができる。
【００４２】
以上、一実施形態に基づいて、映像データ圧縮装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、領域分割制御手段１０で行う注目領域の抽出は、動きベクトルを用いる以外にも、注目領域と背景領域の色の特徴量が異なる場合は、特定の階調値を閾値として注目領域を抽出することも可能である。この閾値による注目領域の抽出では、注目領域の被写体は動いている必要はない。
【００４３】
また、映像データ圧縮装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して映像データ圧縮プログラムとして動作させることも可能である。
【００４４】
（映像データ圧縮装置１の動作）
次に、図１及び図５を参照して、映像データ圧縮装置１の動作について説明する。図５は、映像データ圧縮装置１の動作を示すフローチャートである。
［領域分割ステップ］
まず、映像データ圧縮装置１は、映像遅延部１１ａによって、入力された映像データ（入力映像データ）を１映像フレーム分遅延させる（ステップＳ１）。そして、動きベクトル検出部１１ｂによって、入力映像データの映像フレームと映像遅延部１１ａで遅延された１映像フレーム前の映像フレームとの間（隣接映像フレーム間）で、マクロブロック毎にブロックマッチングを行うことで動きベクトルを検出する（ステップＳ２）。
【００４５】
この動きベクトル検出部１１ｂで検出された動きベクトルに基づいて、グローバルベクトル算出部１２が、複数の動きベクトルの中で、最も多く検出された動きベクトルをグローバルベクトルとして算出する（ステップＳ３）。このグローバルベクトルは背景領域の動きベクトルとみなすことができる。
【００４６】
そして、映像データ圧縮装置１は、領域識別部１３によって、ステップＳ２で検出したマクロブロックの動きベクトルと、ステップＳ３で算出したグローバルベクトルとを比較して、両ベクトルの差が予め設定した値（例えば、映像フレーム当たり４画素）以上であるマクロブロックを注目領域に含まれるものとして識別する。これによって、映像フレームを注目領域と背景領域とに分割する（ステップＳ４）。
【００４７】
［階調削減ステップ］
そして、映像データ圧縮装置１は、階調設定部２１によって、キーボード等の入力手段（図示せず）から入力された映像データの削減量（映像削減量）に基づいて、背景領域の階調が注目領域の階調よりも低くなるように各領域のマクロブロックの階調削減量を設定する（ステップＳ５）。このとき、階調削減量は特定の優先順位（図３参照）に基づいて、設定するものとする。
【００４８】
そして、映像データ圧縮装置１は、ステップＳ５で階調削減量を設定されたマクロブロックは、階調削減部２２によって、その設定された階調削減量分の階調を削減し（ステップＳ６）、そのマクロブロック毎に階調を削減した映像フレームを時系列に圧縮映像データ（出力映像データ）として出力する（ステップＳ７）。そして、映像データ（入力映像データ）の入力が終了したかどうかを判定し（ステップＳ８）、終了した場合（Ｙｅｓ）は、動作を終了する。一方、まだ映像データが入力される場合（ステップＳ８でＮｏ）は、ステップＳ１へ戻って動作を継続する。
【００４９】
以上の各ステップによって、映像データ圧縮装置１は、入力映像データ内の注目領域と背景領域とを識別して、各々の領域の階調を独立して削減することが可能になる。そして、映像データ圧縮装置１で削減し圧縮された映像データは、注目領域の画質の劣化を背景領域よりも軽減した映像データとなる。
【００５０】
（映像データ圧縮装置の構成：第二の実施の形態）
次に、図２を参照して、本発明における第二の実施の形態である映像データ圧縮装置１Ｂについて説明する。図２は、映像データ圧縮装置１Ｂの構成を示したブロック図である。図２に示した映像データ圧縮装置１Ｂは、入力された映像データを、動きのある注目領域とそれ以外の領域である背景領域とに分割し、その分割された領域毎に画素値を表現するための階調を削減することで、映像データを圧縮して出力するものである。
【００５１】
映像データ圧縮装置１Ｂは、映像データ圧縮装置１（図１）のグローバルベクトル算出部１２の代わりにカメラデータベクトル算出部１４を付加し、さらに領域拡張部１５を追加して構成した。この追加したカメラデータベクトル算出部１４及び領域拡張部１５の構成、並びに領域識別部１３Ｂの機能以外は、図１に示した映像データ圧縮装置１と同一のものであるので、同一の符号を付し、説明は省略する。
【００５２】
カメラデータベクトル算出部１４は、映像データ（入力映像データ）を撮影したときの撮影カメラ（図示せず）のパン、チルト、ズーム等のカメラデータに基づいて、入力映像データの映像フレームに動きのある注目領域が存在しないと仮定したときのマクロブロックの動きベクトル（背景動きベクトル）を算出するものである。なお、このカメラデータは、入力映像データに連動して時系列に入力されるデータである。このカメラデータベクトル算出部１４で算出された背景動きベクトルは、領域識別部１３Ｂに出力される。
【００５３】
このカメラデータベクトル算出部１４におけるカメラデータを用いた動きベクトルの算出は、例えば、「鄭文濤等，“A High-Pricision Camera Operation Parameter Measurement System and Its Application to Image Motion Inferring”，IEEE Transactions on Broadcasting，Vol.47，No.1，p.46-55，March 2001」で開示されている技術を用いることができる。
【００５４】
すなわち、カメラデータベクトル算出部１４では、カメラの動き（パン、チルト、ズーム等）によって、映像フレーム内のあるマクロブロックが当該映像フレームのどこに移動するかを算出し、そのマクロブロックの移動方向及び移動量を背景動きベクトルとする。例えば、カメラを画面の右方向にパンすると、背景として映っている領域は左方向に移動したように見える。この移動した領域は映像フレーム内では動きを持っているが、実際には背景領域となるものである。このように、カメラデータベクトル算出部１４は、カメラの動きによる背景の動きベクトルを算出する。
【００５５】
領域識別部１３Ｂは、動きベクトル検出部１１ｂで検出されたマクロブロック毎の動きベクトルと、カメラデータベクトル算出部１４で算出された背景動きベクトルとに基づいて、マクロブロックが動きのある注目領域に含まれるものか、それ以外の領域である背景領域に含まれるものかを識別するものである。この領域識別部１３Ｂで識別されたマクロブロック毎の領域（注目領域又は背景領域）は、マクロブロックの座標とともに領域情報として領域拡張部１５へ出力される。
【００５６】
この領域識別部１３Ｂでは、動きベクトル検出部１１ｂで検出されたマクロブロック毎の動きベクトルとカメラデータベクトル算出部１４で算出された背景動きベクトルとを比較することで、背景動きベクトル以外の動きをするマクロブロックを注目領域に含まれるマクロブロックであると判断する。
【００５７】
領域拡張部（領域拡張手段）１５は、領域識別部１３Ｂから出力される領域情報に基づいて、注目領域と背景領域とが隣接する領域で、その両領域のマクロブロックの相関を調べ、予め設定した相関値よりも高い場合に、その背景領域のマクロブロックを注目領域のマクロブロックとみなして、注目領域の拡張を行うものである。例えば、各マクロブロックの輝度、色等の特徴量を比較することで相関を調べる。この領域拡張部１５で注目領域の拡張を行った領域情報は、階調削減制御手段２０の階調設定部２１へ出力される。
【００５８】
以上、映像データ圧縮装置１Ｂの構成について説明したが、映像データ圧縮装置１Ｂは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して映像データ圧縮プログラムとして動作させることも可能である。
【００５９】
（映像データ圧縮装置１Ｂの動作）
次に、図２及び図６を参照して、映像データ圧縮装置１Ｂの動作について説明する。図６は、映像データ圧縮装置１Ｂの動作を示すフローチャートである。
まず、映像データ圧縮装置１Ｂは、映像遅延部１１ａによって、入力された映像データ（入力映像データ）を１映像フレーム分遅延させる（ステップＳ１０）。そして、動きベクトル検出部１１ｂによって、入力映像データの映像フレームと映像遅延部１１ａで遅延された１映像フレーム前の映像フレームとの間（隣接映像フレーム間）で、マクロブロック毎にブロックマッチングを行うことで動きベクトルを検出する（ステップＳ１１）。
【００６０】
そして、映像データ圧縮装置１Ｂは、カメラデータベクトル算出部１４によって、映像データ（入力映像データ）を撮影したときの撮影カメラ（図示せず）のパン、チルト、ズーム等のカメラデータに基づいて、背景領域が映像フレーム内で移動する動きベクトル（背景動きベクトル）を算出する（ステップＳ１２）。
【００６１】
次に、映像データ圧縮装置１Ｂは、領域識別部１３Ｂによって、ステップＳ１１で検出したマクロブロックの動きベクトルと、ステップＳ１２で算出した背景動きベクトルとを比較して、背景動きベクトルとは異なる動きベクトルを持つマクロブロックを注目領域に含まれるマクロブロックとして識別する。これによって、映像フレームを注目領域と背景領域とに分割する（ステップＳ１３）。
【００６２】
さらに、映像データ圧縮装置１Ｂは、領域拡張部１５によって、注目領域と背景領域とが隣接する領域で、その両領域のマクロブロックの相関を調べ、予め設定した相関値よりも高い場合に、その背景領域のマクロブロックを注目領域のマクロブロックとみなして、注目領域の拡張を行う（ステップＳ１４）。
なお、これ以降の動作は、図５の階調削除ステップ（ステップＳ５以降）と同様であるので説明は省略する。
【００６３】
以上の各ステップによって、映像データ圧縮装置１Ｂは、移動カメラ等のようなカメラを動作させて被写体を撮影した映像データに対して、その入力映像データ内の注目領域と背景領域とを識別して、各々の領域の階調を独立して削減することが可能になる。そして、映像データ圧縮装置１Ｂで階調を削減し圧縮された映像データは、注目領域の画質の劣化を背景領域よりも軽減した映像データとなる。
【００６４】
【発明の効果】
以上説明したとおり、本発明に係る映像データ圧縮装置、その方法及びそのプログラムでは、以下に示す優れた効果を奏する。
【００６５】
【発明の効果】
請求項１、請求項４又は請求項５に記載の発明によれば、入力映像データから注目領域を抽出して、注目領域とそれ以外の領域である背景領域とを識別して、各々の領域の階調を個別に削減することが可能になる。これによって、注目領域の階調よりも背景領域の階調を低くすることで、注目領域の画質の劣化を軽減し、映像データの圧縮率を高めることができる。
また、本発明によれば、注目領域の階調よりも背景領域の階調を低くし、圧縮データに占める注目領域の比率を高めることで、注目領域の画質の劣化が軽減することができる。
さらに、本発明によれば、人間の視覚が輝度成分に比べて色差成分の感度が低いため、注目領域及び背景領域毎に、輝度成分に割り当てる階調よりも色差成分に割り当てる階調を低くすることで、画質の劣化を抑えることができる。
【００６６】
例えば、携帯端末等の小さい画面では、映像全体を鑑賞することよりも映像データに含まれる情報を得ることが重要であるため、その情報を含んだ注目領域の画質の劣化を軽減することは、映像データを配信するサービスにおいて有効である。
【００６７】
請求項２に記載の発明によれば、動きのある領域をブロック単位で注目領域として認識することが可能になる。これによって、注目領域とそれ以外の領域である背景領域との階調を個別にブロック単位で容易に削減することができる。
【００６８】
請求項３に記載の発明によれば、動きベクトルによって、背景領域であると認識された領域であっても、色等の特徴量によって注目領域として判定することが可能になる。これによって、例えば、人間が動いているにも関わらず、洋服の端等で動きが少ない領域を注目領域として認識することが可能になる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る映像データ圧縮装置の全体構成を示すブロック図である。
【図２】本発明の第二の実施の形態に係る映像データ圧縮装置の全体構成を示すブロック図である。
【図３】マクロブロックの構成例を説明するための説明図である。
【図４】階調設定部において階調を削減する階調削減内容とその優先順位を説明するための説明図である。
【図５】本発明の第一の実施の形態に係る映像データ圧縮装置の動作を示すフローチャートである。
【図６】本発明の第二の実施の形態に係る映像データ圧縮装置の動作を示すフローチャートである。
【図７】注目領域及び背景領域の一例を説明するための説明図である。
【符号の説明】
１、１Ｂ……映像データ圧縮装置
１０、１０Ｂ……領域分割制御手段
１１……動きベクトル算出部（動きベクトル算出手段）
１１ａ……映像遅延部
１１ｂ……動きベクトル検出部
１２……グローバルベクトル算出部
１３、１３Ｂ……領域識別部（領域識別手段）
１４……カメラデータベクトル算出部
１５……領域拡張部（領域拡張手段）
２０……階調削減制御手段
２１……階調設定部
２２……階調削減部
【発明の属する技術分野】
本発明は、映像データの圧縮技術に関し、より詳細には、映像データ内の注目領域の画質劣化を軽減して映像データを圧縮する映像データ圧縮装置、その方法及びそのプログラムに関する。
【０００２】
【従来の技術】
現在、携帯端末やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）のような情報端末に対して、映像データを配信するサービスが普及し始めている。この場合、高精細な映像データを配信しようとしても、映像データを配信するための伝送路の帯域に制限があるため、映像データは、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ４）等により帯域を圧縮して配信されている。
【０００３】
従来、この映像データの圧縮技術に関しては、例えば、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）にように、動き補償フレーム間予測（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）と、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）とを組み合わせた技術が一般的に用いられている。
【０００４】
すなわち、ＭＰＥＧ−２等による映像データの圧縮は、まず、動き補償フレーム間予測によって、映像データの映像フレーム間の予測誤差を１６×１６画素（マクロブロック）単位に生成し、その予測誤差を離散コサイン変換することで、周波数成分の振幅を示すＤＣＴ係数を生成する。そして、高周波成分に対する人の視覚感度が弱いことを利用して、高周波成分のＤＣＴ係数の桁数を多く削減することで、映像データの圧縮を行っている。
【０００５】
【発明が解決しようとする課題】
しかし、前記従来の技術において、ＭＰＥＧ−２等の映像データの圧縮は、動き補償フレーム間予測における動きベクトルの大きさや、マクロブロックの周波数成分に依存して情報量の削減を行っており、映像データの内容を考慮したものではなかった。
【０００６】
このため、携帯端末やＰＤＡのような小型の携帯端末に高精細な映像データを配信しようとすると、帯域圧縮によって多くの情報量が削減され、その映像データを配信された携帯端末で表示する表示映像は、画面全体に画質が劣化した映像となってしまう。すなわち、携帯端末で表示される表示映像は、その映像内における注目すべき被写体等が映された注目領域が、それ以外の領域である背景領域と同程度に画質劣化してしまうという問題があった。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、映像データを圧縮したときに、その映像データにおける注目すべき被写体等が映された注目領域の画質劣化を、それ以外の領域である背景領域よりも軽減させるとともに、映像データの圧縮率を高めることを可能にした映像データ圧縮装置、その方法及びそのプログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像データ圧縮装置は、入力された映像データについて、各画素の階調を色差成分及び輝度成分毎に個別に削減することで、前記映像データの圧縮を行う映像データ圧縮装置であって、動きベクトルに基づいて、前記映像データを、映像フレーム毎に被写体が存在する注目領域とそれ以外の背景領域とに分割する領域分割制御手段と、この領域分割制御手段によって分割された前記注目領域及び前記背景領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する階調削減制御手段と、を備え、前記階調削減制御手段が、前記背景領域の色差成分、前記背景領域の輝度成分、前記注目領域の色差成分、前記注目領域の輝度成分の順に優先的に階調を削減する構成とした。
【０００９】
かかる構成によれば、映像データ圧縮装置は、領域分割制御手段によって、映像データを映像フレーム毎に注目領域とその注目領域以外の背景領域とに分割する。このとき、注目領域が動きのある領域である場合は、その注目領域の動きベクトルを求めることで、注目領域と背景領域とを識別して、領域の分割を行う。また、注目領域が背景領域と比較して、色等の特徴によって識別が可能な場合は、その色等の特徴によって閾値処理を行うことで領域を分割することとしてもよい。
【００１０】
そして、映像データ圧縮装置は、階調削減制御手段によって、領域分割制御手段で分割された領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する。例えば、映像データを削減することで映像データの圧縮を行う場合、背景領域の階調を注目領域の階調よりも多く削減することで、注目領域の画質の劣化を背景領域の画質の劣化に比べて抑えるように作用する。このとき、注目領域及び背景領域毎に色差成分に割り当てられている階調を、輝度成分に割り当てられている階調よりも多く削減することで、映像データの画質の劣化を抑えたままで圧縮効率を高めることが可能になる。
【００１１】
また、請求項２に記載の映像データ圧縮装置は、請求項１に記載の映像データ圧縮装置において、前記領域分割制御手段は、前記映像データの連続した映像フレーム間で特定の大きさのブロック毎に動きベクトルを算出する動きベクトル算出手段と、この動きベクトル算出手段によって算出された動きベクトルに基づいて、前記映像フレーム内における前記ブロックが、前記注目領域に含まれるブロックか、それ以外の前記背景領域に含まれるブロックかを識別する領域識別手段と、を備える構成とした。
【００１２】
かかる構成によれば、映像データ圧縮装置は、動きベクトル算出手段によって、映像データの連続した映像フレーム間で特定の大きさのブロック毎に動きベクトルを算出する。例えば、このブロックは、ＭＰＥＧ−２等の動き補償予測に使用されるマクロブロックとする。そして、領域識別手段によって、動きベクトル算出手段で算出した動きベクトルの大きさに基づいて、映像フレーム内におけるブロック（マクロブロック）が、動きのある注目領域に含まれるブロックか、それ以外の背景領域に含まれるブロックかを識別する。これによって、映像フレームをブロック（マクロブロック）単位で注目領域と背景領域とに分割し、注目領域と背景領域との映像データを独立して加工（削減）することが可能になる。
【００１３】
さらに、請求項３に記載の映像データ圧縮装置は、請求項２に記載に映像データ圧縮装置において、前記領域分割制御手段が、前記領域識別手段で識別された前記注目領域と前記背景領域とが隣接する領域において、前記注目領域のブロックと前記背景領域のブロックとの相関に基づいて、前記背景領域のブロックを前記注目領域のブロックとして拡張させる領域拡張手段を備える構成とした。
【００１４】
かかる構成によれば、映像データ圧縮装置は、領域拡張手段によって、注目領域と背景領域とが隣接する領域において、隣接するブロック（マクロブロック）の相関、例えば、輝度や色等の特徴量で類似性のある背景領域のブロックを注目領域のブロックとする。これによって、動きベクトルの検出では注目領域と認識されない動きの少ない領域を注目領域として拡張することが可能になる。
【００１９】
また、請求項４に記載の映像データ圧縮方法は、入力された映像データについて、各画素の階調を色差成分及び輝度成分毎に個別に削減することで、前記映像データの圧縮を行う映像データ圧縮方法であって、動きベクトルに基づいて、前記映像データを、映像フレーム毎に被写体が存在する注目領域とそれ以外の背景領域とに分割する領域分割ステップと、この領域分割ステップで分割された前記注目領域及び前記背景領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する階調削減ステップとを含み、前記階調削減ステップが、前記背景領域の色差成分、前記背景領域の輝度成分、前記注目領域の色差成分、前記注目領域の輝度成分の順に優先的に階調を削減することを特徴とする。
【００２０】
この方法によれば、映像データ圧縮方法は、領域分割ステップによって、映像データを映像フレーム毎に注目領域とその注目領域以外の背景領域とに分割する。このとき、注目領域が動きのある領域である場合は、その注目領域の動きベクトルを求めることで、注目領域と背景領域とを識別して、領域の分割を行う。また、注目領域が背景領域と比較して、色等の特徴によって識別が可能な場合は、その色等の特徴によって閾値処理を行うことで領域を分割することとしてもよい。
【００２１】
そして、映像データ圧縮方法は、階調削減ステップによって、領域分割ステップで分割された領域毎において、各画素の階調を色差成分及び輝度成分毎に個別に削減する。このとき、背景領域の階調を注目領域の階調よりも多く削減することで、注目領域の画質劣化を背景領域の画質の劣化に比べて抑えるように作用する。
【００２２】
さらに、請求項５に記載の映像データ圧縮プログラムは、入力された映像データについて、各画素の階調を色差成分及び輝度成分毎に個別に削減して、前記映像データの圧縮を行うために、コンピュータを、動きベクトルに基づいて、前記映像データを、映像フレーム毎に被写体が存在する注目領域とそれ以外の背景領域とに分割する領域分割制御手段、この領域分割制御手段によって分割された前記注目領域及び前記背景領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する階調削減制御手段として機能させ、前記階調削減制御手段が、前記背景領域の色差成分、前記背景領域の輝度成分、前記注目領域の色差成分、前記注目領域の輝度成分の順に優先的に階調を削減することを特徴とする。
【００２３】
かかる構成によれば、映像データ圧縮プログラムは、領域分割制御手段によって、映像データを映像フレーム毎に注目領域とその注目領域以外の背景領域とに分割し、階調削減制御手段によって、領域分割制御手段で分割された領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する。このとき、背景領域の階調を注目領域の階調よりも多く削減することで、注目領域の画質の劣化を背景領域の画質の劣化に比べて抑えるように作用する。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（映像データ圧縮装置の構成：第一の実施の形態）
図１は、本発明における第一の実施の形態である映像データ圧縮装置１の構成を示したブロック図である。図１に示した映像データ圧縮装置１は、入力された映像データを、動きのある注目領域とそれ以外の領域である背景領域とに分割し、その分割された領域毎に画素値を表現するための階調を削減することで、映像データを圧縮して出力するものであり、領域分割制御手段１０と階調削減制御手段２０とを備える構成とした。
【００２５】
なお、ここで注目領域とは、図７に示したような映像フレームＦ上に登場する人物等の動きのある領域（注目領域ＦＧ）を指し、背景領域は注目領域ＦＧ以外の領域（背景領域ＢＧ）を指す。なお、注目領域ＦＧは図７に示すように映像フレームＦ上に複数存在していてもよい。
【００２６】
領域分割制御手段１０は、入力された映像データを、映像フレーム単位で動きのある注目領域か、あるいは、それ以外の背景領域かを、特定の大きさのブロック毎に判定することで領域の分割を行うものである。ここでは、この領域分割制御手段１０は、動きベクトル算出部１１と、グローバルベクトル算出部１２と、領域識別部１３とを備えるものとした。
【００２７】
また、階調削減制御手段２０は、入力された映像データの注目領域及び背景領域の画素値を表現するための階調を、個別に削減するものである。この階調削減制御手段２０は、階調設定部２１と、階調削減部２２とを備えるものとした。
なお、ここで特定の大きさのブロックは、ＭＰＥＧ−２等の動き補償予測に使用されるマクロブロック（１６×１６画素）とする。
【００２８】
動きベクトル算出部（動きベクトル算出手段）１１は、連続して入力される映像データの映像フレームから、動きベクトルを算出するものである。ここでは、動きベクトル算出部１１を映像遅延部１１ａと動きベクトル検出部１１ｂとで構成した。
【００２９】
映像遅延部１１ａは、入力された映像データ（入力映像データ）を映像フレーム単位で遅延させるものである。この映像遅延部１１ａで１映像フレーム分遅延された映像データ（遅延映像データ）は、動きベクトル検出部１１ｂへ出力される。
【００３０】
動きベクトル検出部１１ｂは、入力された映像データ（入力映像データ）と、映像遅延部１１ａで遅延された遅延映像データとに基づいて、映像フレームのマクロブロック単位で動きベクトルを検出するものである。この動きベクトル検出部１１ｂで検出した動きベクトルは、グローバルベクトル算出部１２及び領域識別部１３へ出力される。なお、この動きベクトルは、入力映像データの映像フレームと、遅延映像データの映像フレームとの間、すなわち隣接映像フレーム間で、マクロブロック毎にブロックマッチング法によって求められる。
【００３１】
グローバルベクトル算出部１２は、動きベクトル検出部１１ｂから入力されたマクロブロック毎の動きベクトルに基づいて、その複数の動きベクトルの中で、最も多く検出された動きベクトルをグローバルベクトルとして算出するものである。このグローバルベクトル算出部１２で算出されたグローバルベクトルは、領域識別部１３へ出力される。なお、ここで算出されたグローバルベクトルは、入力された映像データの中で、最も領域の大きい背景領域の動きベクトルとみなすことができる。
【００３２】
領域識別部（領域識別手段）１３は、動きベクトル検出部１１ｂで検出されたマクロブロック毎の動きベクトルと、グローバルベクトル算出部１２で算出されたグローバルベクトルとに基づいて、マクロブロックが動きのある注目領域に含まれるものか、それ以外の領域である背景領域に含まれるものかを識別するものである。この領域識別部１３で識別されたマクロブロック毎の領域（注目領域又は背景領域）は、マクロブロックの座標とともに領域情報として階調削減制御手段２０の階調設定部２１へ出力される。
【００３３】
ここでは、グローバルベクトルとは異なる動きをする映像（マクロブロック）を注目領域とみなす。例えば、各マクロブロックの動きベクトルとグローバルベクトルとを比較して、両ベクトルの差が予め設定した値（例えば、映像フレーム当たり４画素）以上の場合に、そのマクロブロックが注目領域に含まれるものと判断する。
【００３４】
階調設定部２１は、領域分割制御手段１０の領域識別部１３で識別された注目領域及び背景領域の各マクロブロック毎に階調の削減量を設定し、マクロブロックの座標とともに削減情報として階調削減部２２へ出力するものである。ここでは、映像（映像データ）を伝送するための伝送路のＣ／Ｎ（Ｃａｒｒｉｅｒ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）情報や映像を蓄積するネットワークサーバのバッファ占有情報等に基づいて、予め映像データの削減量（映像削減量）を求めておき、キーボード等の入力手段（図示せず）から、その映像削減量を階調設定部２１に入力するものとする。そして、階調設定部２１では、その映像削減量に基づいて、背景領域の階調が注目領域の階調よりも低くなるように各領域の階調削減量を設定する。
【００３５】
ここで、図３及び図４を参照して、階調設定部２１における注目領域及び背景領域の階調削減量の設定方法について説明する。ここでは、映像データをＹＣ（輝度／色差）映像信号とし、その階調が８ビットで表現されているものとする。図３は、ＹＣ（輝度／色差）映像信号の例として、ＭＰＥＧ−２におけるマクロブロックの構成を示したものである。図４は、階調を削減する削除内容の優先順位を示したものである。
【００３６】
図３に示したように、ＭＰＥＧ−２では、マクロブロックは１６×１６画素のＹ（輝度）映像信号と、８×８画素のＣ（色差）映像信号（Ｃr映像信号及びＣb映像信号）で構成されている。ここで階調を削減するとは、各画素を示すビット数そのものを削減して、その画素が表現できるレベルを少なくすることである。例えば、８ビットで２５６階調の映像を表現可能な元の画素Ｂ１から３ビット削減することで、削減後の画素Ｂ２は５ビットで３２階調までしか表現することができない。
【００３７】
そして、図４に示したように、階調設定部２１（図１）は優先順位（１）〜（８）の順番で、階調削減量を各マクロブロックに設定する。
優先順位（１）では、背景領域のＣ（色差）映像信号の階調を削減するように設定し、優先順位（２）では、背景領域のＹ（輝度）映像信号の階調を削減するように設定する。そして、優先順位（３）では、注目領域のＣ（色差）映像信号の階調を削減するように設定し、優先順位（４）では、注目領域のＹ（輝度）映像信号の階調を削減するように設定する。なお、ここまでの削減では、階調が最小で５ビットになるまで削減できるものとする。
【００３８】
ここで、Ｃ（色差）映像信号の削減をＹ（輝度）映像信号の削減よりも優先したのは、人間の視覚が輝度成分に比べて色差成分の感度が低いという特徴を有しているからである。また、ここで最小階調を５ビットとしたのは、階調８ビットの原画映像に対して階調を４ビット以下に削減すると画質が著しく劣化することが報告されていることによる（参考文献：大塚 他，“時間・空間・階調解像度とＴＶ画質”，電子情報通信学会画像工学研究会，ＩＥ８７−１１４，ｐｐ．１７−２４，１９８７）。
【００３９】
そして、さらに階調の削減を要する場合は、優先順位（５）として、背景領域のＣ（色差）映像信号の階調を５ビット未満（最小０ビットまで）に削減し、優先順位（６）として、注目領域のＣ（色差）映像信号の階調を５ビット未満（最小０ビットまで）に削減する。また、優先順位（７）では、背景領域のＹ（輝度）映像信号の階調を５ビット未満（最小０ビットまで）に削減し、優先順位（８）では、注目領域のＹ（輝度）映像信号の階調を５ビット未満（最小０ビットまで）に削減する。
なお、優先順位（６）及び優先順位（７）はその優先順位を逆にすることとしてもよい。また、映像フレーム内に注目領域が存在しない場合は、優先順位（３）、（４）、（６）及び（８）は、考慮しないものとする
【００４０】
また、優先順位（１）〜（４）において、最小階調を５ビットとしたが、処理対象映像の解像度に依存して変更することとしてもよい。例えば、ハイビジョン方式やＮＴＳＣ方式の放送映像の場合は最小階調を６ビットとし、ＳＩＦ（水平３５２×垂直２４０画素）やＱＳＩＦ（水平１７６×垂直１２０画素）の場合は最小階調を５ビットとする。
図１に戻って説明を続ける。
【００４１】
階調削減部２２は、階調設定部２１で設定されたマクロブロック毎の階調の削除量（削減情報）に基づいて、各マクロブロックの階調を削減するものである。この階調削減部２２で階調を削減された映像データは、圧縮を行った映像データとして出力される（出力映像データ）。例えば、映像データの画素が８ビットで構成されており、階調設定部２１から通知される削減情報において、あるマクロブロックの階調の削減量が２ビットであった場合、階調削減部２２は、そのマクロブロックの階調を６（８マイナス２）ビットとする。これによって、映像データの情報量を圧縮することができる。
【００４２】
以上、一実施形態に基づいて、映像データ圧縮装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、領域分割制御手段１０で行う注目領域の抽出は、動きベクトルを用いる以外にも、注目領域と背景領域の色の特徴量が異なる場合は、特定の階調値を閾値として注目領域を抽出することも可能である。この閾値による注目領域の抽出では、注目領域の被写体は動いている必要はない。
【００４３】
また、映像データ圧縮装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して映像データ圧縮プログラムとして動作させることも可能である。
【００４４】
（映像データ圧縮装置１の動作）
次に、図１及び図５を参照して、映像データ圧縮装置１の動作について説明する。図５は、映像データ圧縮装置１の動作を示すフローチャートである。
［領域分割ステップ］
まず、映像データ圧縮装置１は、映像遅延部１１ａによって、入力された映像データ（入力映像データ）を１映像フレーム分遅延させる（ステップＳ１）。そして、動きベクトル検出部１１ｂによって、入力映像データの映像フレームと映像遅延部１１ａで遅延された１映像フレーム前の映像フレームとの間（隣接映像フレーム間）で、マクロブロック毎にブロックマッチングを行うことで動きベクトルを検出する（ステップＳ２）。
【００４５】
この動きベクトル検出部１１ｂで検出された動きベクトルに基づいて、グローバルベクトル算出部１２が、複数の動きベクトルの中で、最も多く検出された動きベクトルをグローバルベクトルとして算出する（ステップＳ３）。このグローバルベクトルは背景領域の動きベクトルとみなすことができる。
【００４６】
そして、映像データ圧縮装置１は、領域識別部１３によって、ステップＳ２で検出したマクロブロックの動きベクトルと、ステップＳ３で算出したグローバルベクトルとを比較して、両ベクトルの差が予め設定した値（例えば、映像フレーム当たり４画素）以上であるマクロブロックを注目領域に含まれるものとして識別する。これによって、映像フレームを注目領域と背景領域とに分割する（ステップＳ４）。
【００４７】
［階調削減ステップ］
そして、映像データ圧縮装置１は、階調設定部２１によって、キーボード等の入力手段（図示せず）から入力された映像データの削減量（映像削減量）に基づいて、背景領域の階調が注目領域の階調よりも低くなるように各領域のマクロブロックの階調削減量を設定する（ステップＳ５）。このとき、階調削減量は特定の優先順位（図３参照）に基づいて、設定するものとする。
【００４８】
そして、映像データ圧縮装置１は、ステップＳ５で階調削減量を設定されたマクロブロックは、階調削減部２２によって、その設定された階調削減量分の階調を削減し（ステップＳ６）、そのマクロブロック毎に階調を削減した映像フレームを時系列に圧縮映像データ（出力映像データ）として出力する（ステップＳ７）。そして、映像データ（入力映像データ）の入力が終了したかどうかを判定し（ステップＳ８）、終了した場合（Ｙｅｓ）は、動作を終了する。一方、まだ映像データが入力される場合（ステップＳ８でＮｏ）は、ステップＳ１へ戻って動作を継続する。
【００４９】
以上の各ステップによって、映像データ圧縮装置１は、入力映像データ内の注目領域と背景領域とを識別して、各々の領域の階調を独立して削減することが可能になる。そして、映像データ圧縮装置１で削減し圧縮された映像データは、注目領域の画質の劣化を背景領域よりも軽減した映像データとなる。
【００５０】
（映像データ圧縮装置の構成：第二の実施の形態）
次に、図２を参照して、本発明における第二の実施の形態である映像データ圧縮装置１Ｂについて説明する。図２は、映像データ圧縮装置１Ｂの構成を示したブロック図である。図２に示した映像データ圧縮装置１Ｂは、入力された映像データを、動きのある注目領域とそれ以外の領域である背景領域とに分割し、その分割された領域毎に画素値を表現するための階調を削減することで、映像データを圧縮して出力するものである。
【００５１】
映像データ圧縮装置１Ｂは、映像データ圧縮装置１（図１）のグローバルベクトル算出部１２の代わりにカメラデータベクトル算出部１４を付加し、さらに領域拡張部１５を追加して構成した。この追加したカメラデータベクトル算出部１４及び領域拡張部１５の構成、並びに領域識別部１３Ｂの機能以外は、図１に示した映像データ圧縮装置１と同一のものであるので、同一の符号を付し、説明は省略する。
【００５２】
カメラデータベクトル算出部１４は、映像データ（入力映像データ）を撮影したときの撮影カメラ（図示せず）のパン、チルト、ズーム等のカメラデータに基づいて、入力映像データの映像フレームに動きのある注目領域が存在しないと仮定したときのマクロブロックの動きベクトル（背景動きベクトル）を算出するものである。なお、このカメラデータは、入力映像データに連動して時系列に入力されるデータである。このカメラデータベクトル算出部１４で算出された背景動きベクトルは、領域識別部１３Ｂに出力される。
【００５３】
このカメラデータベクトル算出部１４におけるカメラデータを用いた動きベクトルの算出は、例えば、「鄭文濤等，“A High-Pricision Camera Operation Parameter Measurement System and Its Application to Image Motion Inferring”，IEEE Transactions on Broadcasting，Vol.47，No.1，p.46-55，March 2001」で開示されている技術を用いることができる。
【００５４】
すなわち、カメラデータベクトル算出部１４では、カメラの動き（パン、チルト、ズーム等）によって、映像フレーム内のあるマクロブロックが当該映像フレームのどこに移動するかを算出し、そのマクロブロックの移動方向及び移動量を背景動きベクトルとする。例えば、カメラを画面の右方向にパンすると、背景として映っている領域は左方向に移動したように見える。この移動した領域は映像フレーム内では動きを持っているが、実際には背景領域となるものである。このように、カメラデータベクトル算出部１４は、カメラの動きによる背景の動きベクトルを算出する。
【００５５】
領域識別部１３Ｂは、動きベクトル検出部１１ｂで検出されたマクロブロック毎の動きベクトルと、カメラデータベクトル算出部１４で算出された背景動きベクトルとに基づいて、マクロブロックが動きのある注目領域に含まれるものか、それ以外の領域である背景領域に含まれるものかを識別するものである。この領域識別部１３Ｂで識別されたマクロブロック毎の領域（注目領域又は背景領域）は、マクロブロックの座標とともに領域情報として領域拡張部１５へ出力される。
【００５６】
この領域識別部１３Ｂでは、動きベクトル検出部１１ｂで検出されたマクロブロック毎の動きベクトルとカメラデータベクトル算出部１４で算出された背景動きベクトルとを比較することで、背景動きベクトル以外の動きをするマクロブロックを注目領域に含まれるマクロブロックであると判断する。
【００５７】
領域拡張部（領域拡張手段）１５は、領域識別部１３Ｂから出力される領域情報に基づいて、注目領域と背景領域とが隣接する領域で、その両領域のマクロブロックの相関を調べ、予め設定した相関値よりも高い場合に、その背景領域のマクロブロックを注目領域のマクロブロックとみなして、注目領域の拡張を行うものである。例えば、各マクロブロックの輝度、色等の特徴量を比較することで相関を調べる。この領域拡張部１５で注目領域の拡張を行った領域情報は、階調削減制御手段２０の階調設定部２１へ出力される。
【００５８】
以上、映像データ圧縮装置１Ｂの構成について説明したが、映像データ圧縮装置１Ｂは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して映像データ圧縮プログラムとして動作させることも可能である。
【００５９】
（映像データ圧縮装置１Ｂの動作）
次に、図２及び図６を参照して、映像データ圧縮装置１Ｂの動作について説明する。図６は、映像データ圧縮装置１Ｂの動作を示すフローチャートである。
まず、映像データ圧縮装置１Ｂは、映像遅延部１１ａによって、入力された映像データ（入力映像データ）を１映像フレーム分遅延させる（ステップＳ１０）。そして、動きベクトル検出部１１ｂによって、入力映像データの映像フレームと映像遅延部１１ａで遅延された１映像フレーム前の映像フレームとの間（隣接映像フレーム間）で、マクロブロック毎にブロックマッチングを行うことで動きベクトルを検出する（ステップＳ１１）。
【００６０】
そして、映像データ圧縮装置１Ｂは、カメラデータベクトル算出部１４によって、映像データ（入力映像データ）を撮影したときの撮影カメラ（図示せず）のパン、チルト、ズーム等のカメラデータに基づいて、背景領域が映像フレーム内で移動する動きベクトル（背景動きベクトル）を算出する（ステップＳ１２）。
【００６１】
次に、映像データ圧縮装置１Ｂは、領域識別部１３Ｂによって、ステップＳ１１で検出したマクロブロックの動きベクトルと、ステップＳ１２で算出した背景動きベクトルとを比較して、背景動きベクトルとは異なる動きベクトルを持つマクロブロックを注目領域に含まれるマクロブロックとして識別する。これによって、映像フレームを注目領域と背景領域とに分割する（ステップＳ１３）。
【００６２】
さらに、映像データ圧縮装置１Ｂは、領域拡張部１５によって、注目領域と背景領域とが隣接する領域で、その両領域のマクロブロックの相関を調べ、予め設定した相関値よりも高い場合に、その背景領域のマクロブロックを注目領域のマクロブロックとみなして、注目領域の拡張を行う（ステップＳ１４）。
なお、これ以降の動作は、図５の階調削除ステップ（ステップＳ５以降）と同様であるので説明は省略する。
【００６３】
以上の各ステップによって、映像データ圧縮装置１Ｂは、移動カメラ等のようなカメラを動作させて被写体を撮影した映像データに対して、その入力映像データ内の注目領域と背景領域とを識別して、各々の領域の階調を独立して削減することが可能になる。そして、映像データ圧縮装置１Ｂで階調を削減し圧縮された映像データは、注目領域の画質の劣化を背景領域よりも軽減した映像データとなる。
【００６４】
【発明の効果】
以上説明したとおり、本発明に係る映像データ圧縮装置、その方法及びそのプログラムでは、以下に示す優れた効果を奏する。
【００６５】
【発明の効果】
請求項１、請求項４又は請求項５に記載の発明によれば、入力映像データから注目領域を抽出して、注目領域とそれ以外の領域である背景領域とを識別して、各々の領域の階調を個別に削減することが可能になる。これによって、注目領域の階調よりも背景領域の階調を低くすることで、注目領域の画質の劣化を軽減し、映像データの圧縮率を高めることができる。
また、本発明によれば、注目領域の階調よりも背景領域の階調を低くし、圧縮データに占める注目領域の比率を高めることで、注目領域の画質の劣化が軽減することができる。
さらに、本発明によれば、人間の視覚が輝度成分に比べて色差成分の感度が低いため、注目領域及び背景領域毎に、輝度成分に割り当てる階調よりも色差成分に割り当てる階調を低くすることで、画質の劣化を抑えることができる。
【００６６】
例えば、携帯端末等の小さい画面では、映像全体を鑑賞することよりも映像データに含まれる情報を得ることが重要であるため、その情報を含んだ注目領域の画質の劣化を軽減することは、映像データを配信するサービスにおいて有効である。
【００６７】
請求項２に記載の発明によれば、動きのある領域をブロック単位で注目領域として認識することが可能になる。これによって、注目領域とそれ以外の領域である背景領域との階調を個別にブロック単位で容易に削減することができる。
【００６８】
請求項３に記載の発明によれば、動きベクトルによって、背景領域であると認識された領域であっても、色等の特徴量によって注目領域として判定することが可能になる。これによって、例えば、人間が動いているにも関わらず、洋服の端等で動きが少ない領域を注目領域として認識することが可能になる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る映像データ圧縮装置の全体構成を示すブロック図である。
【図２】本発明の第二の実施の形態に係る映像データ圧縮装置の全体構成を示すブロック図である。
【図３】マクロブロックの構成例を説明するための説明図である。
【図４】階調設定部において階調を削減する階調削減内容とその優先順位を説明するための説明図である。
【図５】本発明の第一の実施の形態に係る映像データ圧縮装置の動作を示すフローチャートである。
【図６】本発明の第二の実施の形態に係る映像データ圧縮装置の動作を示すフローチャートである。
【図７】注目領域及び背景領域の一例を説明するための説明図である。
【符号の説明】
１、１Ｂ……映像データ圧縮装置
１０、１０Ｂ……領域分割制御手段
１１……動きベクトル算出部（動きベクトル算出手段）
１１ａ……映像遅延部
１１ｂ……動きベクトル検出部
１２……グローバルベクトル算出部
１３、１３Ｂ……領域識別部（領域識別手段）
１４……カメラデータベクトル算出部
１５……領域拡張部（領域拡張手段）
２０……階調削減制御手段
２１……階調設定部
２２……階調削減部
Claims (5)
- 入力された映像データについて、各画素の階調を色差成分及び輝度成分毎に個別に削減することで、前記映像データの圧縮を行う映像データ圧縮装置であって、
動きベクトルに基づいて、前記映像データを、映像フレーム毎に被写体が存在する注目領域とそれ以外の背景領域とに分割する領域分割制御手段と、
この領域分割制御手段によって分割された前記注目領域及び前記背景領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する階調削減制御手段と、を備え、
前記階調削減制御手段が、前記背景領域の色差成分、前記背景領域の輝度成分、前記注目領域の色差成分、前記注目領域の輝度成分の順に優先的に階調を削減することを特徴とする映像データ圧縮装置。 - 前記領域分割制御手段は、
前記映像データの連続した映像フレーム間で特定の大きさのブロック毎に動きベクトルを算出する動きベクトル算出手段と、
この動きベクトル算出手段によって算出された動きベクトルに基づいて、前記映像フレーム内における前記ブロックが、前記注目領域に含まれるブロックか、それ以外の前記背景領域に含まれるブロックかを識別する領域識別手段と、
を備えていることを特徴とする請求項１に記載の映像データ圧縮装置。 - 前記領域分割制御手段は、
前記領域識別手段で識別された前記注目領域と前記背景領域とが隣接する領域において、前記注目領域のブロックと前記背景領域のブロックとの相関に基づいて、前記背景領域のブロックを前記注目領域のブロックとして拡張させる領域拡張手段、
を備えていることを特徴とする請求項２に記載の映像データ圧縮装置。 - 入力された映像データについて、各画素の階調を色差成分及び輝度成分毎に個別に削減することで、前記映像データの圧縮を行う映像データ圧縮方法であって、
動きベクトルに基づいて、前記映像データを、映像フレーム毎に被写体が存在する注目領域とそれ以外の背景領域とに分割する領域分割ステップと、
この領域分割ステップで分割された前記注目領域及び前記背景領域において、各画素の階調を色差成分及び輝度成分毎に個別に削減する階調削減ステップとを含み、
前記階調削減ステップが、前記背景領域の色差成分、前記背景領域の輝度成分、前記注目領域の色差成分、前記注目領域の輝度成分の順に優先的に階調を削減することを特徴とする映像データ圧縮方法。 - 入力された映像データについて、各画素の階調を色差成分及び輝度成分毎に個別に削減して、前記映像データの圧縮を行うために、コンピュータを、
動きベクトルに基づいて、前記映像データを、映像フレーム毎に被写体が存在する注目領域とそれ以外の背景領域とに分割する領域分割制御手段、
この領域分割制御手段によって分割された前記注目領域及び前記背景領域において、前記各画素の階調を色差成分及び輝度成分毎に個別に削減する階調削減制御手段として機能させ、
前記階調削減制御手段が、前記背景領域の色差成分、前記背景領域の輝度成分、前記注目領域の色差成分、前記注目領域の輝度成分の順に優先的に階調を削減することを特徴とする映像データ圧縮プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002224068A JP3792623B2 (ja) | 2002-07-31 | 2002-07-31 | 映像データ圧縮装置、その方法及びそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002224068A JP3792623B2 (ja) | 2002-07-31 | 2002-07-31 | 映像データ圧縮装置、その方法及びそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004064702A JP2004064702A (ja) | 2004-02-26 |
| JP3792623B2 true JP3792623B2 (ja) | 2006-07-05 |
Family
ID=31943662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002224068A Expired - Fee Related JP3792623B2 (ja) | 2002-07-31 | 2002-07-31 | 映像データ圧縮装置、その方法及びそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3792623B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006319643A (ja) * | 2005-05-12 | 2006-11-24 | Fuji Photo Film Co Ltd | 動画通信システム |
-
2002
- 2002-07-31 JP JP2002224068A patent/JP3792623B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004064702A (ja) | 2004-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8718143B2 (en) | Optical flow based motion vector estimation systems and methods | |
| US9247250B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| US8750372B2 (en) | Treating video information | |
| JP4369090B2 (ja) | ビデオ情報を符号化し復号化する方法、動き補償ビデオ符号器及び対応する復号器 | |
| KR100960742B1 (ko) | 이전에 생성된 움직임 벡터 및 적응 공간적 필터링을 이용한 디지털 비디오용 노이즈 감소 프리-프로세서 | |
| EP1241893A2 (en) | Reference frame prediction and block mode prediction for fast motion searching in advanced video coding | |
| US20060171457A1 (en) | Rate control for digital video compression processing | |
| JP6729170B2 (ja) | 画像処理システム及び画像復号装置 | |
| JPH08512189A (ja) | ビデオシーケンスにおける移動を予測する方法 | |
| US20030123747A1 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
| JP2006197557A (ja) | 画像符号化装置、画像符号化方法及びそのプログラム | |
| US9241095B2 (en) | Method and system for adaptive temporal interpolation filtering for motion compensation | |
| US20120008685A1 (en) | Image coding device and image coding method | |
| US20110129012A1 (en) | Video Data Compression | |
| US20100322313A1 (en) | System and method for estimating sum of absolute differences | |
| JP2011528825A (ja) | フレーム全体を平滑化し、保存ディテールをオーバーレイすることによって圧縮映像信号の品質を向上させるシステムおよび方法 | |
| JP3792623B2 (ja) | 映像データ圧縮装置、その方法及びそのプログラム | |
| US8767831B2 (en) | Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream | |
| JPH1141609A (ja) | 信号処理装置 | |
| US6040875A (en) | Method to compensate for a fade in a digital video input sequence | |
| EP3754983A1 (en) | Early intra coding decision | |
| CN100531397C (zh) | 用于设置数字视频的运动矢量的方法 | |
| US8848793B2 (en) | Method and system for video compression with integrated picture rate up-conversion | |
| JP3478836B2 (ja) | デジタル画像シーケンスの符号化方法および符号化装置 | |
| Zhu et al. | Optimal Mode Decision Method for Interframe Prediction in H. 264/AVC. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060405 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |