JP3604266B2

JP3604266B2 - ビデオ信号用デジタルフィルタの動的制御装置

Info

Publication number: JP3604266B2
Application number: JP33700697A
Authority: JP
Inventors: 修斉藤; 守小田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-12-08
Filing date: 1997-12-08
Publication date: 2004-12-22
Anticipated expiration: 2017-12-08
Also published as: JPH11177845A

Description

【０００１】
【発明の属する技術分野】
この発明は、ビデオ信号をＡ／Ｄ変換して得られたデジタルデータを解像度変換するフォーマット変換装置におけるビデオ信号用デジタルフィルタの動的制御装置に関し、とくに、画像内の領域毎に、その領域の特性に合わせたフィルタ係数を動的に変化してフィルタリングを行うデジタルフィルタの動的制御装置に関するものである。
【０００２】
【従来の技術】
従来から、画像伝送装置においては、カメラを用いて取り込まれた映像信号をＡ／Ｄ変換して得られたＣＣＩＲ６０１フォーマットなどのデジタル映像データをＣＩＦ（共通中間フォーマット）やＱＣＩＦ，ＳＩＦ（ソース入力フォーマット）やＱＳＩＦなどの必要なフォーマット方式に従って変換し、その上で画像圧縮を行った後、通信回線を通じて相手側へと伝送するようになっている。
そして、その際に必要とされる他のフォーマット方式への変換、すなわち、水平及び垂直方向のドット数及びライン数が異なる他のフォーマット方式への変換にあたっては、特開平４−２２９７８９号公報（ＣＩＦ変換方式）や特開平４−１８５０８７号公報（走査線数変換制御方式）、特開平７−２２２１１７号公報（イメージフォーマット変換装置）などで開示されているように、フレームメモリやラインメモリなどに格納された映像データのフレーム周波数変換やライン変換、画素変換などを、画素の単純間引きや、全画面同一のフィルタ係数によるフィルタリングにより行うのが一般的とされている。
図１４，図１５，図１６はこのような従来の技術を説明するのものであって、図１４は、従来の画像符号化までの処理を行う装置をブロックで示しており、かつ図１５，図１６は、従来のＣＩＦ変換部を示している。
図１４において、１４０１はＡ／Ｄ変換部、１４０２はＣＩＦ変換部、１４０３は符号化部をそれぞれ示している。また、図１５，図１６において、１５０１はＡ／Ｄ変換部、１５０２は垂直カウンタ、１５０３は水平カウンタ、１５０４はＹの水平係数、１５０５はＹの水平フィルタ、１５０６はＹのｎラインメモリ、１５０７はＹの垂直係数、１５０８はＹの垂直フィルタ、１５０９はＣｂの水平係数、１５１０はＣｂの水平フィルタ、１５１１はＣｂのｎラインメモリ、１５１２はＣｂの垂直係数、１５１３はＣｂの垂直フィルタ、１５１４はＣｒの水平係数、１５１５はＣｒの水平フィルタ、１５１６はＣｒのｎラインメモリ、１５１７はＣｒの垂直係数、１５１８はＣｒの垂直フィルタを示している。
【０００３】
しかしながら、実際にＣＩＦ／ＱＣＩＦの画像を得る場合、一般的にはＣＣＩＲ６０１フォーマット（水平７２０×垂直４８０画素）からＣＩＦ（水平３５２×垂直２８８画素）、若しくはＱＣＩＦ（水平１７６×垂直１４４画素）等への変換という様に、高解像度な画像データから低解像度の画像データヘの変換を行うため、画質の劣化が問題とされてきた。
また、画質劣化を避けるため、乗算器によるローパスのデジタルフィルタを設け、全画面同一のフィルタ係数によるフィルタリングを行い、単純間引きによる高周波成分の増加を防ぐ手法もあったが、画像全体にわたり同一係数のフィルタリングを行うため、画像の重要部分である特定領域（例えば、顔領域等）が必要以上にぼやけてしまうという不具合があった。
【０００４】
【発明が解決しようとする課題】
本発明は、このような実情に鑑みてなされたもので、画像内に各領域に適合したフィルタリングが行えるようにし、特に、大抵の画像フォーマット変換装置は、その後段に、画像の特定領域である顔領域抽出部、動き抽出部を持っている点に着目し、画像フォーマット変換時に、顔領域抽出部、動き抽出部から得た情報により、画像内の領域毎に動的にフィルタの係数を変えることにより、それぞれの領域に最適な変換のフィルタリングを行えるようにしたものである。
【０００５】
【課題を解決するための手段】
請求項１の発明は、ビデオ信号の解像度変換を行うフォーマット変換装置におけるデジタルフィルタの動的制御装置であって、フォーマット変換時に用いるデジタルフィルタの係数を登録する係数対応テーブルを複数個備え、一方、フレーム毎の画像を複数の領域に分割する手段を備え、分割された各領域のデジタルデータＹ，Ｃｒ，Ｃｂそれぞれに異なる前記係数対応テーブルをそれぞれ指定して適用させることができる手段を備えたデジタルフィルタの動的制御装置である。
【０００６】
請求項２の発明は、請求項１に記載されたデジタルフィルタの動的制御装置であって、画像の特定領域を抽出する手段、及び、該特定領域を抽出する手段からの抽出情報に基づき、画像中の特定領域とその他の領域とで異なる前記係数対応テーブルを適用させる手段、を更に備えているデジタルフィルタの動的制御装置である。
【０００７】
請求項３の発明は、請求項１又は２に記載されたデジタルフィルタの動的制御装置であって、画像の特定領域の動きを抽出する手段、及び、該特定領域の動きを抽出する手段からの前記特定領域の動きに関する抽出情報に基づき、前記特定領域の動きに追従して、前記特定領域に他の領域と異なる予め定めた前記係数対応テーブルを適用させる手段、を更に備えているデジタルフィルタの動的制御装置である。
【０００８】
請求項４の発明は、請求項１，２又は３のいずれかに記載されたデジタルフィルタの動的制御装置であって、前記特定領域の動きを抽出する手段の抽出情報に基づき、動きベクトル量が大きい領域と、動きベクトル量が小さい領域とで異なる前記係数対応テーブルを適用させる手段、を更に備えているデジタルフィルタの動的制御装置である。
【０００９】
【発明の実施の形態】
以下、本発明の実施例を添付図面を参考にして詳細に説明する。
尚、実施例では画像フォーマット変換の１つの場合として、原画像ＩＴＵ−Ｒ６０１フォーマット画像（Ｙ：Ｃｂ：Ｃｒ＝４：２：２、解像度：Ｙ＝７２０×４８０ドット）から変換画像ＣＩＦフォーマット画像（Ｙ：Ｃｂ：Ｃｒ＝４：１：１、解像度：Ｙ＝３５２×２８８）への変換について説明するが、原画像はＳＩＦやＶＧＡフォーマット等でもよく、また、変換画像もＱＣＩＦやＳｕｂＱＣＩＦ，ＳＩＦ等でもよく、特に限定するものではない。
【００１０】
請求項１の発明の実施例について、図１，図２，図３，図８を用いて説明する。
まず、図１は、画像の入力から画像の符号化までの処理を行う装置をブロックで示したものであって、図中、１０１はＡ／Ｄ変換部、１０２はＣＩＦ変換部、１０３は符号化部、１０４は係数対応テーブル作成部、１０５は全体システム制御部を示している。
この構成において、外部より入力されたアナログビデオ信号は、Ａ／Ｄ変換部１０１によりＩＴＵ−Ｒ６０１フォーマットのデジタルデータＹ，Ｃｂ，Ｃｒに変換され、ＣＩＦ変換部１０２に入力される。ＣＩＦ変換部１０２では、ＩＴＵ−Ｒ６０１フォーマットからフォーマット変換され、ＣＩＦフォーマットのＹ，Ｃｂ，Ｃｒデータが生成される。この際ＣＩＦ変換部１０２では、変換時のデジタルフィルタの係数を、係数対応テーブルを参照して選択する。ここで係数対応テーブルは、係数対応テーブル作成部１０４により画像内の分割領域に対応した係数番号を書き込むことにより作成されるが、どの領域にどの係数を適用するかは全体システム制御部１０５が決定する。
こうしてＣＩＦフォーマットにフォーマット変換されたＣＩＦデータは符号化部１０３に入力され、符号化データが生成される。
【００１１】
次に、図１のＣＩＦ変換部１０２の動作を、ＣＩＦ変換部のブロック図である図２及び図３を参考にしてに説明する。
図２中、１０１はＡ／Ｄ変換部、２０２は垂直カウンタ、２０３は水平カウンタ、２０４はＹの水平方向の係数対応テーブル制御部、２０５はＹの水平方向の係数対応テーブル、２０６はＹの水平係数、２０７はＹの水平フィルタ、２０８はＹのｎラインメモリ、２０９はＹの垂直方向の係数対応テーブル制御部、２１０はＹの垂直方向の係数対応テーブル、２１１はＹの垂直係数、２１２はＹの垂直フィルタ、２１３はＣｂの水平方向の係数対応テーブル制御部、２１４はＣｂの水平方向の係数対応テーブル、２１５はＣｂの水平係数、２１６はＣｂの水平フィルタ、２１７はＣｂのｎラインメモリ、２１８はＣｂの垂直方向の係数対応テーブル制御部、２１９はＣｂの重直方向の係数対応テーブル、２２０はＣｂの垂直係数、２２１はＣｂの垂直フィルタ、２２２はＣｒの水平方向の係数対応テーブル制御部、２２３はＣｒの水平方向の係数対応テーブル、２２４はＣｒの水平係数、２２５はＣｒの水平フィルタ、２２６はＣｒのｎラインメモリ、２２７はＣｒの垂直方向の係数対応テーブル制御部、２２８はＣｒの垂直方向の係数対応テーブル、２２９はＣｒの垂直係数、２３０はＣｒの垂直フィルタをそれぞれ示している。
【００１２】
図２，図３において、Ａ／Ｄ変換部１０１は、サンプリングクロックをもとにＡ／Ｄ変換する。このサンプリングクロックは、ＩＴＵ−Ｒ６０１フォーマットの場合、１３．５ＭＨｚとなり、また、この時、同時に水平同期信号と垂直同期信号を出力する。
垂直カウンタ２０２は垂直同期信号の同期数をカウントすることにより、現在サンプリング中の垂直方向のライン数を垂直アドレスとして出力し、かつ、水平カウンタ２０３はサンプリングクロックをカウントすることにより、現在サンプリング中の水平方向のドット数を水平アドレスとして出力する。このようにして生成された垂直アドレスは、Ｙのｎラインメモリ２０８，Ｙの垂直方向の係数対応テーブル制御部２０９，Ｙの垂直係数２１１，Ｙの垂直フィルタ２１２，Ｃｂのｎラインメモリ２１７，Ｃｂの垂直方向の係数対応テーブル制御部２１８，Ｃｂの垂直係数２２０，Ｃｂの垂直フィルタ２２１，Ｃｒのｎラインメモリ２２６，Ｃｒの垂直方向の係数対応テーブル制御部２２７，Ｃｒの垂直係数２２９，Ｃｒの垂直フィルタ２３０に送られる。
【００１３】
他方、水平アドレスは、Ｙの水平係数対応テーブル制御部２０４，Ｙの水平係数２０６，Ｙの水平フィルタ２０７，Ｙのｎラインメモリ２０８，Ｙの垂直方向の係数対応テーブル制御部２０９，Ｙの垂直係数２１１，Ｙの垂直フィルタ２１２，Ｃｂの水平方向の係数対応テーブル制御部２１３，Ｃｂの水平係数２１５，Ｃｂの水平フィルタ２１６，Ｃｂのｎラインメモリ２１７，Ｃｂの垂直方向の係数対応テーブル制御部２１８，Ｃｂの垂直係数２２０，Ｃｂの垂直フィルタ２２１，Ｃｒの水平方向の係数対応テーブル制御部２２２，Ｃｒの水平係数２２４，Ｃｒの水平フィルタ２２５，Ｃｒのｎラインメモリ２２６，Ｃｒの垂直方向の係数対応テーブル制御部２２７，Ｃｒの垂直係数２２９，Ｃｒの垂直フィルタ２３０に送られる。
【００１４】
Ｙの係数対応テーブル制御部２０４では、予め、画面領域分割のフォーマットを決めておく。その分割数は、想定するシステムにより自由に設定することができ、ここでは、後段の符号化部１０３で行う動き補償の最低ブロック単位がＭＢ（マクロブロック：１６×１６ドット）であることから、これを基本として説明する。
ＣＩＦ１画面は、水平方向２２個のＭＢ（３５２÷１６＝２２）、垂直方向１８個（２８８÷１６＝１８）のＭＢに分割されているので、ＩＴＵ−Ｒ６０１フォーマットの画像を、水平２２個、垂直１８個に領域分割する。即ち、１領域あたり水平３２ドット（（７２０−１６）÷２２＝３２）、垂直３０ドット（４８０÷１６＝３０）の大きさの領域に分割する（通常、ＣＩＦ画像を生成する場合には、ＩＴＵ−Ｒ６０１画像フォーマット７２０×４８０ドットのうち左右８ドットずつを削除し、水平方向を７０４ドットとしてフォーマット変換を行う）。
【００１５】
図８は、原画像の領域を分割した状態を示しており、図中、８０１は全体画像、８０２は人間が被写体として取り込まれた領域、８０３は分割された領域のブロックを示している。図示のように、原画像の領域は水平方向１１×垂直方向９の、計９９個の領域に分割されている。つまり、被写体８０２を含む全体画像８０１は、ブロック８０３に分割されている。全体画像８０１がＩＴＵ−Ｒ６０１フォーマットである場合には、全体画像は７２０×４８０ドットの構成であり、従って、分割されたブロック８０３は、それぞれの大きさが、６４×６０ドットの大きさとなる。
この様にして定められた画面分割方法を基に、係数対応テーブル制御部２０４では、最終的に、現在入力されている画像データが含まれるマクロブロックをブロック番号として係数対応テーブル２０５に出力する。これは、垂直カウンタ２０２、水平カウンタ２０３のカウンタ値と、係数対応テーブル制御部２０４で決められた画面分割フォーマットを比較器で比較することにより求めることができる。
【００１６】
一方、係数対応テーブルは、図１０に示すように、各マクロブロック１００１にどの係数対応テーブル番号１００２が対応するかが記述されている。係数対応テーブルには、Ｙ水平係数２０６，Ｙ垂直係数２１１，Ｃｂ水平係数２１５，Ｃｂの垂直係数２２０，Ｃｒの水平係数２２４，Ｃｒの垂直係数２２９が用意されている。
デジタルフィルタに適用するための係数を登録する従来の係数対応テーブルは、図１７の表に示すように、１システムにつき１種だけ用意されていたが、本発明では、図１３の表（Ａ）、表（Ｂ）、表（Ｃ）に示すように、特性の違う係数対応テーブルを数種類用意し、例えば図１０に示す係数対応テーブル番号１００２によって各マクロブロック１００１毎にＹ水平，Ｙ垂直，Ｃｂ水平，Ｃｂ垂直，Ｃｒ水平，Ｃｒ垂直それぞれに対応して管理するようになっている。従って、係数対応テーブルに記述されるべき情報は、係数対応テーブル番号のみが記述されていればよいから、番号に１ｂｉｔの符号が割り当てられていれば、係数対応テーブルを２種類持つことができ、１ｂｙｔｅの符号が割り当てられていれば、２５６種類の係数対応テーブルを持つことができる。こうして、マクロブロックに対応した、例えば、Ｙの係数対応テーブルが、Ｙ水平フィルタ２０７に送られる。
【００１７】
Ｙ水平フィルタ２０７では、Ａ／Ｄ変換部１０１より出力された画像データが、逐次、Ｙ水平係数２０６から送られる係数によりフィルタリングされる。
このように水平方向に対してフィルタリングされた画像データは、次に、Ｙのｎラインメモリ２０８に送られる、このｎラインメモリ２０８は、後段で垂直方向のフィルタリングを行う為のバッファで、ｎは、用意した係数のタップ数だけ用意する。つまり、例えば、タップ数が７であれば、ある１ドットを決定する為に前後７点を用いるため、ｎは７となる。
本発明では、係数対応テーブルによりタップ数に自由度を設けているため、設けるべきラインメモリは、係数対応テーブルの中で最大のタップ数の値（ｎ）が採用される。Ｙのｎラインメモリ２０８に格納された画像データは、次のＹ垂直フィルタ２１２で、垂直方向のフィルタリングが行われる。この時、水平のフィルタリング同様、垂直カウンタ２０２と水平カウンタ２０３の値から、垂直の係数対応テーブル制御部２０９が現在のマクロブロック番号を垂直の係数対応テーブル２１０に送り、マクロブロック番号に対応した係数番号がＹ垂直係数２１１に送られ、Ｙの垂直係数がＹ垂直フィルタ２１２に送られる。このようにして、ＹのＣＩＦ画像が得られる。
【００１８】
ＹのＣＩＦ画像生成と同様な方法により、Ｃｂの水平の係数対応テーブル制御部２１３，Ｃｂの水平の係数対応テーブル２１４，Ｃｂ水平係数２１５，Ｃｂ水平フィルタ２１６，Ｃｂのｎラインメモリ２１７，Ｃｂの垂直の係数対応テーブル制御部２１８，Ｃｂの垂直の係数対応テーブル２１９，Ｃｂ垂直係数２２０，Ｃｂ垂直フィルタ２２１からＣｂのＣＩＦ画像が得られる。但し、ＣＩＦ画像はＹ：Ｃｂ：Ｃｒ＝４：１：１であるため、水平、垂直の係数値やラインフィルタのライン数はＹとは違うものになる。
また、ＣｂのＣＩＦ画像生成と同様な方法により、Ｃｒの水平の係数対応テーブル制御部２２２，Ｃｒの水平の係数対応テーブル２２３，Ｃｒ水平係数２２４，Ｃｒ水平フィルタ２２５，Ｃｒのｎラインメモリ２２６，Ｃｒの垂直の係数対応テーブル制御部２２７，Ｃｒの垂直の係数対応テーブル２２８，Ｃｒ垂直係数２２９，Ｃｒ垂直フィルタ２３０からＣｒのＣＩＦ画像が得られる。
この様にして得られたＣＩＦのＹ，Ｃｂ，Ｃｒの各画像データは、ＣＩＦ変換部１０２から符号化部１０３に送られ符号化される（図１）。
【００１９】
図１において、全体システム制御部１０５は画像データに対してどのようなフィルタリングを行うのかを決定し、係数対応テーブル作成部１０４を介して、各マクロブロック毎に適用すべきそれぞれの係数を登録している係数対応テーブルを指定するためのテーブル、即ち、ＣＩＦ変換部１０２内のＹの水平の係数対応テーブル２０５，Ｙの垂直の係数対応テーブル２１０，Ｃｂの水平の係数対応テーブル２１４，Ｃｂの垂直の係数対応テーブル２１９，Ｃｒの水平の係数対応テーブル２２３，Ｃｒの垂直の係数対応テーブル２２８、をそれぞれ作成する。
以上の構成により、全体システム制御部１０５は、ほとんど負荷を受けることなく、画像の領域毎にフィルタの係数を変えることが可能となる。
【００２０】
次に、請求項２の発明の実施例について、図２，図３，図４，図７，図９，図１０を用いて説明する。
まず、画像入力から画像符号化までの処理を行う装置をブロックで示した図４を参照する。
図４において、４０１はＡ／Ｄ変換部、４０２はＣＩＦ変換部、４０３は符号化部、４０４は係数対応テーブル作成部を示す。
この実施例においても、第１の実施例に関連して図１で説明したのと同様に、外部より入力されたアナログビデオ信号は、Ａ／Ｄ変換部４０１によりＩＴＵ−Ｒ６０１フォーマットのデジタルデータＹ，Ｃｂ，Ｃｒに変換され、ＣＩＦ変換部４０２に入力される。ＣＩＦ変換部４０２では、ＩＴＵ−Ｒ６０１フォーマットからフォーマット変換され、ＣＩＦフォーマットのＹ，Ｃｂ，Ｃｒデータが生成される。この際、ＣＩＦ変換部４０２では、変換時のデジタルフィルタの係数を、係数対応テーブルをもとに参照する。
デジタルデータＹ，Ｃｂ，Ｃｒの水平係数及び垂直係数のそれぞれを分割した領域毎に指定する係数対応テーブルは、係数対応テーブル作成部４０４が画像内の分割領域に対応した係数対応テーブル番号を書き込むことにより作成される。つまり、係数対応テーブル作成部４０４は符号化部４０３の顔領域抽出部より得た顔領域座標情報から顔領域とその他の領域を区別してそれぞれの領域に対応した係数対応テーブル番号を係数対応テーブルに書き込む。
【００２１】
図４に示すＣＩＦ変換部４０２の動作は、既に図２を参考に説明した第１の実施例のＣＩＦ変換部（図１：１０２）と全く同様である。
図４の符号化部４０３の動作を、該符号化部を詳細に示す図７を参考にして説明する。
図７において、７０１は顔領域抽出部、７０２は符号化制御部、７０３は減算器、７０４，７０５はスイッチ、７０６は加算器、７０７は変換器、７０８は量子化器、７０９は逆量子化器、７１０は逆変換器、７１１はルーブ内フィルタ、７１２は動き予測メモリ即ち動き補償用画像メモリを示している。
図７に示すように、図４のＣＩＦ変換部４０２で作成されたＣＩＦ画像データは、顔領域抽出部７０１、減算器７０３、スイッチ７０４の一方の入力端７０４ａ、動き補償用画像メモリ７１２にそれぞれ入力される。
減算器７０３はＣＩＦ変換部４０２から入力された画像データから、ループ内フィルタ７１１の出力するビデオ信号を減算する回路であり、その差分データはスイッチ７０４の他方の入力端７０４ｂに与えられる。スイッチ７０５は２つの入力端７０５ａと７０５ｂとを有し、スイッチ７０４と共に符号化制御部７０２の切換制御信号によって同期して切り換えられる。
【００２２】
変換器７０７はスイッチ７０４で切り換えられたフレーム内のビデオ信号とフレーム間のビデオ信号のいずれかをＤＣＴする回路である。量子化器７０８は変換器７０７のデータを量子化する回路で、量子化インデックスｑを出力する。逆量子化器７０９は生成された量子化インデックスｑを逆量子化する回路である。逆変換器７１０は逆量子化器７０９で逆量子化されたデータを逆変換する回路であり、その出力は加算器７０６に与えられる。
加算器７０６はスイッチ７０５を介して得られる前フレームのビデオ信号に差分データを加算する回路であり、その出力は動き補償用画像メモリ７１２に与えられる。
動き補償用画像メモリ７１２は数フレーム分の画像データを保持すると共に、前フレームの画像に対する各ブロックの画像の動きを動きベクトルＶとして出力するものである。ループ内フィルタ７１１は、動き補償用画像メモリ７１２に保持された画像における歪みをスムージングにより除去するフィルタであり、その動作の有無を示すオン／オフ信号ｆを出力する。
【００２３】
符号化制御部７０２は、スイッチ７０４，７０５に切換制御信号を出力すると共に、量子化器７０８に対して量子化特性ｑｚを指示し、ＩＮＴＥＲ／ＩＮＴＲＡの識別フラグｐ、伝送／非伝送識別フラグｔをそれぞれ発生する手段である。
顔領域抽出部７０１では、フレーム内の画像データから顔領域の特徴となる領域を抽出し、座標を符号化制御部７０２に送る。なお、顔領域の判定方法は、特開平６−１８７４５５号公報、特開平７−５０８３２号公報等にあるように、種々の方法が公開されている。この座標を基に、符号化制御部７０２ではマクロブロックに割り当てる符号量を調整する。
【００２４】
請求項２の発明では、顔領域抽出部７０１の出力する座標を用い、この座標情報を係数対応テーブルの作成にも用いる。即ち、顔領域の座標情報は一般的にはマクロブロック番号で表示するため、得られた顔領域のマクロブロック番号に対しては図１３の表（Ｂ）に示すようなエッジ保存型係数対応テーブルの係数対応テーブル番号を、その他のマクロブロック番号に対しては、同表（Ｃ）に示すような平滑型フィルタ係数対応テーブルの係数対応テーブル番号をＹ，Ｃｂ，Ｃｒの水平及び垂直それぞれの係数対応テーブルに記述する。
図９は、顔領域とその他の領域に対して別々の性質のフィルタ係数を適用した状態を示す図であって、図中、９０１は全体画像、９０２は顔領域を含まない領域ブロック、９０３は顔領域を含むブロック領域を示し、全体画像９０１が、顔領域を含まないブロック９０２と顔領域を含むブロック９０３に分割された様子を示している。
図１０は、それぞれのブロックに対して異なる係数対応テーブルを指定する係数対応テーブル番号が記述されている様子を例えばＹの水平係数対応テーブルを例として示し、図中、１００１は分割された各領域に割り当てられたマクロブロック番号、１００２は各領域に適用された係数対応テーブル番号を示している。
以上、説明したように、顔領域に対してフィルタの係数を変えることが可能である。
【００２５】
次に、請求項３の発明の実施例について、図２，図３，図５，図７，図１１を参考にして説明する。
まず、画像入力から画像符号化までの処理を行う構成をブロックで示す図５を参考にして説明する。図中、５０１はＡ／Ｄ変換部、５０２はＣＩＦ変換部、５０３は符号化部、５０４は係数対応テーブル作成部を示す。
請求項１及び２の発明の実施例に関連して説明した図１，図４に示したものと同様に、図５に示した装置においても、外部より入力されたアナログビデオ信号は、Ａ／Ｄ変換部５０１によりＩＴＵ−Ｒ６０１フォーマットのデジタルデータＹ，Ｃｂ，Ｃｒに変換され、ＣＩＦ変換部５０２に入力される。画像はＣＩＦ変換部５０２でＩＴＵ−Ｒ６０１フォーマットからフォーマット変換され、ＣＩＦフォーマットのＹ，Ｃｂ，Ｃｒデータが生成される。この際、ＣＩＦ変換部５０２では、変換時のデジタルフィルタの係数として係数対応テーブルに基づく係数を参照する。
【００２６】
デジタルデータＹ，Ｃｂ，Ｃｒの水平係数及び垂直係数のそれぞれを分割した領域毎に指定する係数対応テーブルは、係数対応テーブル作成部５０４が画像内の分割領域に対応した係数対応テーブル番号を書き込むことにより作成される。係数対応テーブル作成部５０４は、符号化部５０３の顔領域抽出部、動き予測部より得た顔領域座標情報から、顔領域とその他の領域を区別しどの領域にどの係数を適用するか決めて、それぞれの領域に対応した係数対応テーブル番号を係数対応テーブルに書き込む。
図５のＣＩＦ変換部５０２の動作は、既に図２，図３に関連して説明した請求項１の発明の実施例のＣＩＦ変換部（図１：１０２）と同様である、また、符号化部５０３の動作も請求項２の発明の実施例に関連して既に説明した図７の符号化部と同様である。
【００２７】
図５の係数対応テーブル作成部５０４は、符号化部５０３より得た顔領域座標により、顔領域のマクロブロックの初期値を得、動きベクトルにより、そのマクロブロックの移動方向と移動量を得ることで、顔領域の移動に追従して係数対応テーブルの書き換えを行う。
【００２８】
図１１は、顔領域が移動した領域とその他の領域に対して別々の性質のフィルタを適用したことを示しており、図中、１１０１は全体画像、１１０２は顔領域を含まない領域ブロック、１１０３は移動した顔領域を含むブロック領域を示し、全体画像１１０１が、顔領域を含まないブロック１１０２と顔領域を含むブロック１１０３に分割され、顔領域を含むブロック１１０３が移動した領域に別のフィルタ係数が適用された様子を示している。
以上、説明したように、本発明は移動した顔領域に対してもフィルタの係数を変えることが可能である。
【００２９】
次に、請求項４の実施例について、図２，図３，図６，図７，図１２を参考にして説明する。
図６は、画像入力から画像符号化までの処理を行う装置をブロックで示したものであって、図中、６０１はＡ／Ｄ変換部、６０２はＣＩＦ変換部、６０３は符号化部、６０４は係数対応テーブル作成部を示し、図１，図４，図５に関連して説明したと同様に、外部より入力されたアナログビデオ信号は、Ａ／Ｄ変換部６０１によりＩＴＵ−Ｒ６０１フォーマットのデジタルデータＹ，Ｃｂ，Ｃｒに変換され、ＣＩＦ変換部６０２に入力される。ＣＩＦ変換部６０２では、ＩＴＵ−Ｒ６０１フォーマットからフォーマット変換され、ＣＩＦフォーマットのＹ，Ｃｂ，Ｃｒデータが生成される。この際、ＣＩＦ変換部６０２では、変換時のデジタルフィルタの係数を、係数対応テーブルをもとに参照する。
【００３０】
デジタルデータＹ，Ｃｂ，Ｃｒの水平係数及び垂直係数のそれぞれを分割した領域毎に指定する係数対応テーブルは、係数対応テーブル作成部６０４により画像内の分割領域に対応した係数対応テーブル番号を書き込むことにより作成される。係数対応テーブル作成部６０４は符号化部６０３の動き予測部より得た動きベクトルから、動きベクトルの動き量の絶対値により動き量の大きな領域と小さな領域とを区別し、どの領域にどの係数を適用するかを決めて、それぞれの領域に対応した係数対応テーブル番号を係数対応テーブルに書き込む。
【００３１】
図６のＣＩＦ変換部６０２の動作は、既に図２，図３を参考に説明した請求項１の発明の実施例におけるＣＩＦ変換部（図１；１０２）と同様であり、また符号化部６０３の動作も、既に図４に示した請求項２の実施例の符号化部（図４；４０３）と同様である。
図６の係数対応テーブル作成部６０４は、符号化部６０３より動きベクトルを得、一方、動きベクトル量に閾値を数種類設定することで、動きベクトル量の大きな領域と小さな領域を区別し、動き量の大きな領域には平滑型フィルタ係数対応テーブル（図１３（Ｃ））を、動き量の小さな領域にはエッジ保存型フィルタ係数対応テーブル（図１３（Ｂ））をそれぞれ指定するように、係数対応テーブル番号を作成することができ、前記それぞれの領域に対して各々異なるフィルタ係数対応テーブルを適用することができる。閾値の種類と用意する係数対応テーブルの種類は、システムにより自由に設定することができる。
【００３２】
図１２は、動きベクトル量の異なる２つの領域とその他の領域に対して別々の性質のフィルタを適用したときの画像を示しており、図中、１２０１は全体画像、１２０２は動きベクトル量が０であった領域ブロック、１２０３は動きベクトル量が小さい領域ブロック、１２０４は動きベクトル量が大きい領域ブロックを示し、全体画像１２０１が、動き量の無い領域１２０２と、動き量の小さな領域１２０３と、動き量の大きな領域１２０４に分割され、それぞれに別々のフィルタ係数が適用された様子を示している。
以上、説明したように、請求項４の発明によれば、画像の動き量の大きさに合わせて、フィルタ量の係数を変えることが可能である。
【００３３】
【発明の効果】
請求項１に対応する効果：解像度変換時のデジタルフィルタの係数を登録する係数対応テーブルを複数個備え、画像の分割された各領域のデジタルデータＹ，Ｃｒ，Ｃｂそれぞれ毎に異なる係数対応テーブルをそれぞれ指定して適応させることができるようにしたため、変換後の画像の視覚的特性等の調整や、符号化後のデータ量の調整をきめ細かく行うことができる。
【００３４】
請求項２に対応する効果：例えば、顔領域を抽出する手段により、顔領域と、その他の領域とで、異なるフィルタ係数を適応させることができるため、例えば、顔の部分をより鮮明に表示することができる。
【００３５】
請求項３及び４に対応する効果：動きを抽出する手段により、例えば、顔領域が移動した場合に、移動に追従して顔領域用のフィルタの適応領域を移動させることができるため、移動あるいは移動量による画像の劣化等にきめ細かく対応できる。
【図面の簡単な説明】
【図１】本発明の画像入力から画像符号化までの処理を行う装置の実施例を示すブロック図である。
【図２】本発明のＣＩＦ変換部のブロック図である。
【図３】本発明のＣＩＦ変換部のブロック図（続き）である。
【図４】本発明の画像入力から画像符号化までの処理を行う装置の他の実施例を示すブロック図である。
【図５】本発明の画像入力から画像符号化までの処理を行う装置のさらに他の実施例を示すブロック図である。
【図６】本発明の画像入力から画像符号化までの処理を行う装置のさらに他の実施例を示すブロック図である。
【図７】顔領域抽出部を備えたＨ．２６１勧告の画像符号化部のブロック図である。
【図８】原画像の領域分割を示す図である。
【図９】顔領域とその他の領域に対して別々の性質のフィルタを適用した図である。
【図１０】係数対応テーブルの一例を示す図である。
【図１１】顔領域が移動した領域とその他の領域に対して別々の性質のフィルタを適用したことを説明する図である。
【図１２】動きベクトル量の異なる２つの領域とその他の領域に対して別々の性質のフィルタを適用したことを説明する図である。
【図１３】フィルタ係数対応テーブルの一例を示す表であって、図１３（Ａ）は本発明の一般的な強度の性質のフィルタ係数対応テーブル、図１３（Ｂ）はエッジ保存型フィルタ係数対応テーブル、及び図１３（Ｃ）は平滑型フィルタ係数対応テーブルをそれぞれ示している。
【図１４】画像入力から画像符号化までの処理を行う従来の装置のブロック図である。
【図１５】従来のＣＩＦ変換部のブロック図である。
【図１６】従来のＣＩＦ変換部のブロック図である（続き）。
【図１７】従来のフィルタ係数対応テーブルを示す図である。
【符号の説明】
１０１，４０１，５０１，６０１，１４０１，１５０１…Ａ／Ｄ変換部、１０２，４０２，５０２，６０２…ＣＩＦ変換部、１０３，４０３，５０３，６０３…符号化部、１０４，４０４，５０４，６０４…係数対応テーブル作成部、１０５…全体システム制御部、２０２，１５０２…垂直カウンタ、２０３，１５０３…水平カウンタ、２０４…Ｙの水平方向の係数対応テーブル制御部、２０５…Ｙの水平方向の係数対応テーブル、２０６，１５０４…Ｙの水平係数、２０７，１５０５…Ｙの水平フィルタ、２０８，１５０６…Ｙのｎラインメモリ、２０９…Ｙの垂直方向の係数対応テーブル制御部、２１０…Ｙの垂直方向の係数対応テーブル、２１１，１５０７…Ｙの垂直係数、２１２，１５０８…Ｙの垂直フィルタ、２１３…Ｃｂの水平方向の係数対応テーブル制御部、２１４…Ｃｂの水平方向の係数対応テーブル、２１５，１５０９…Ｃｂの水平係数、２１６，１５１０…Ｃｂの水平フィルタ、２１７，１５１１…Ｃｂのｎラインメモリ、２１８…Ｃｂの垂直方向の係数対応テーブル制御部、２１９…Ｃｂの垂直方向の係数対応テーブル、２２０，１５１２…Ｃｂの垂直係数、２２１，１５１３…Ｃｂの垂直フィルタ、２２２…Ｃｒの水平方向の係数対応テーブル制御部、２２３…Ｃｒの水平方向の係数対応テーブル、２２４，１５１４…Ｃｒの水平係数、２２５，１５１５…Ｃｒの水平フィルタ、２２６，１５１６…Ｃｒのｎラインメモリ、２２７…Ｃｒの垂直方向の係数対応テーブル制御部、２２８…Ｃｒの垂直方向の係数対応テーブル、２２９，１５１７…Ｃｒの垂直係数、２３０，１５１８…Ｃｒの垂直フィルタ、７０１…顔領域抽出部、７０２…符号化制御部、７０３…減算器、７０４，７０５…スイッチ、７０６…加算器、７０７…変換器、７０８…量子化器、７０９…逆量子化器、７１０…逆変換器、７１１…ループ内フィルタ、７１２…動き予測メモリ、８０１，９０１，１１０１，１２０１…全体画像、８０２…人間が被写体として取り込まれた領域、８０３…分割された領域のブロック、９０２，１１０２…顔領域を含まない領域ブロック、９０３…顔領域を含むブロック領域、１００１…分割された各領域に割り当てられたブロック番号、１００２…各領域に適用された係数番号、１１０３…移動した顔領域を含むブロック領域、１２０２…動きベクトル量が０であった領域ブロック、１２０３…動きベクトル量が小さかった領域ブロック、１２０４…動きベクトル量が大きかった領域ブロック。

Claims

ビデオ信号の解像度変換を行うフォーマット変換装置におけるデジタルフィルタの動的制御装置であって、フォーマット変換時に用いるデジタルフィルタの係数を登録する係数対応テーブルを複数個備え、一方、フレーム毎の画像を複数の領域に分割する手段を備え、分割された各領域のデジタルデータＹ，Ｃｒ，Ｃｂそれぞれに異なる前記係数対応テーブルをそれぞれ指定して適用させることができる手段を備えたことを特長とするデジタルフィルタの動的制御装置。
請求項１に記載されたデジタルフィルタの動的制御装置であって、画像の特定領域を抽出する手段、及び、該特定領域を抽出する手段からの抽出情報に基づき、画像中の特定領域とその他の領域とで異なる前記係数対応テーブルを適用させる手段、を更に備えていることを特長とするデジタルフィルタの動的制御装置。
請求項１又は２に記載されたデジタルフィルタの動的制御装置であって、画像の特定領域の動きを抽出する手段、及び、該特定領域の動きを抽出する手段からの前記特定領域の動きに関する抽出情報に基づき、前記特定領域の動きに追従して、特定領域に他の領域と異なる予め定めた前記係数対応テーブルを適用させる手段、を更に備えていることを特長とするデジタルフィルタの動的制御装置。
請求項１，２又は３のいずれかに記載されたデジタルフィルタの動的制御装置であって、前記特定領域の動きを抽出する手段の抽出情報に基づき、動きベクトル量が大きい領域と、動きベクトル量が小さい領域とで異なる前記係数対応テーブルを適用させる手段、を更に備えていることを特長とするデジタルフィルタの動的制御装置。