JPH11177845A

JPH11177845A - ビデオ信号用デジタルフィルタの動的制御装置

Info

Publication number: JPH11177845A
Application number: JP33700697A
Authority: JP
Inventors: Osamu Saito; 修斉藤; Mamoru Oda; 守小田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-12-08
Filing date: 1997-12-08
Publication date: 1999-07-02
Anticipated expiration: 2017-12-08
Also published as: JP3604266B2

Abstract

(57)【要約】【課題】ビデオ信号の解像度変換を行うフォーマット
変換装置において、分割された画像領域に合わせて変換
のための最適なフィルタリングを行う。【解決手段】ビデオ信号の解像度変換を行うフォーマ
ット変換装置におけるデジタルフィルタの動的制御装置
において、解像度変換時に使用するデジタルフィルタの
係数テーブルを複数個用意して、分割された画像領域毎
に異なる係数テーブルを適用できるようにした。具体的
には、画像中の特定領域、例えば、人物の画像であれ
ば、その顔領域を抽出して、顔領域とその他の領域とで
異なる係数テーブルを適用して前記フォーマット変換を
行う。又は、顔領域の動きを抽出して、その移動に合わ
せて特定領域に適用した前記係数対応テーブルの適用領
域も移動できるようにする、更には、前記顔領域の動き
から、動きベクトル量が大きい領域と、動きベクトル量
が小さい領域とを抽出して、それぞれに異なる係数テー
ブルを適用する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ビデオ信号をＡ
／Ｄ変換して得られたデジタルデータを解像度変換する
フォーマット変換装置におけるビデオ信号用デジタルフ
ィルタの動的制御装置に関し、とくに、画像内の領域毎
に、その領域の特性に合わせたフィルタ係数を動的に変
化してフィルタリングを行うデジタルフィルタの動的制
御装置に関するものである。

【０００２】

【従来の技術】従来から、画像伝送装置においては、カ
メラを用いて取り込まれた映像信号をＡ／Ｄ変換して得
られたＣＣＩＲ６０１フォーマットなどのデジタル映像
データをＣＩＦ（共通中間フォーマット）やＱＣＩＦ，
ＳＩＦ（ソース入力フォーマット）やＱＳＩＦなどの必
要なフォーマット方式に従って変換し、その上で画像圧
縮を行った後、通信回線を通じて相手側へと伝送するよ
うになっている。そして、その際に必要とされる他のフ
ォーマット方式への変換、すなわち、水平及び垂直方向
のドット数及びライン数が異なる他のフォーマット方式
への変換にあたっては、特開平４−２２９７８９号公報
（ＣＩＦ変換方式）や特開平４−１８５０８７号公報
（走査線数変換制御方式）、特開平７−２２２１１７号
公報（イメージフォーマット変換装置）などで開示され
ているように、フレームメモリやラインメモリなどに格
納された映像データのフレーム周波数変換やライン変
換、画素変換などを、画素の単純間引きや、全画面同一
のフィルタ係数によるフィルタリングにより行うのが一
般的とされている。図１４，図１５，図１６はこのよう
な従来の技術を説明するのものであって、図１４は、従
来の画像符号化までの処理を行う装置をブロックで示し
ており、かつ図１５，図１６は、従来のＣＩＦ変換部を
示している。図１４において、１４０１はＡ／Ｄ変換
部、１４０２はＣＩＦ変換部、１４０３は符号化部をそ
れぞれ示している。また、図１５，図１６において、１
５０１はＡ／Ｄ変換部、１５０２は垂直カウンタ、１５
０３は水平カウンタ、１５０４はＹの水平係数、１５０
５はＹの水平フィルタ、１５０６はＹのｎラインメモ
リ、１５０７はＹの垂直係数、１５０８はＹの垂直フィ
ルタ、１５０９はＣｂの水平係数、１５１０はＣｂの水
平フィルタ、１５１１はＣｂのｎラインメモリ、１５１
２はＣｂの垂直係数、１５１３はＣｂの垂直フィルタ、
１５１４はＣｒの水平係数、１５１５はＣｒの水平フィ
ルタ、１５１６はＣｒのｎラインメモリ、１５１７はＣ
ｒの垂直係数、１５１８はＣｒの垂直フィルタを示して
いる。

【０００３】しかしながら、実際にＣＩＦ／ＱＣＩＦの
画像を得る場合、一般的にはＣＣＩＲ６０１フォーマッ
ト（水平７２０×垂直４８０画素）からＣＩＦ（水平３
５２×垂直２８８画素）、若しくはＱＣＩＦ（水平１７
６×垂直１４４画素）等への変換という様に、高解像度
な画像データから低解像度の画像データヘの変換を行う
ため、画質の劣化が問題とされてきた。また、画質劣化
を避けるため、乗算器によるローパスのデジタルフィル
タを設け、全画面同一のフィルタ係数によるフィルタリ
ングを行い、単純間引きによる高周波成分の増加を防ぐ
手法もあったが、画像全体にわたり同一係数のフィルタ
リングを行うため、画像の重要部分である特定領域（例
えば、顔領域等）が必要以上にぼやけてしまうという不
具合があった。

【０００４】

【発明が解決しようとする課題】本発明は、このような
実情に鑑みてなされたもので、画像内に各領域に適合し
たフィルタリングが行えるようにし、特に、大抵の画像
フォーマット変換装置は、その後段に、画像の特定領域
である顔領域抽出部、動き抽出部を持っている点に着目
し、画像フォーマット変換時に、顔領域抽出部、動き抽
出部から得た情報により、画像内の領域毎に動的にフィ
ルタの係数を変えることにより、それぞれの領域に最適
な変換のフィルタリングを行えるようにしたものであ
る。

【０００５】

【課題を解決するための手段】請求項１の発明は、ビデ
オ信号の解像度変換を行うフォーマット変換装置におけ
るデジタルフィルタの動的制御装置であって、フォーマ
ット変換時に用いるデジタルフィルタの係数対応テーブ
ルを複数個備え、一方、フィールド毎の画像を複数の領
域に分割する手段を備え、分割された領域毎に前記異な
る係数対応テーブルを適用させる手段を備えたデジタル
フィルタの動的制御装置である。

【０００６】請求項２の発明は、請求項１に記載された
デジタルフィルタの動的制御装置であって、画像の特定
領域を抽出する手段、及び、該特定領域を抽出する手段
からの抽出情報に基づき、画像中の特定領域とその他の
領域とで異なる係数対応テーブルを適用させる手段、を
更に備えているデジタルフィルタの動的制御装置であ
る。

【０００７】請求項３の発明は、請求項１又は２に記載
されたデジタルフィルタの動的制御装置であって、画像
の特定領域の動きを抽出する手段、及び、該特定領域の
動きを抽出する手段からの前記特定領域の動きに関する
抽出情報に基づき、前記特定領域の動きに追従して、特
定領域に他の領域と異なる予め定めた係数対応テーブル
を適用させる手段、を更に備えているデジタルフィルタ
の動的制御装置である。

【０００８】請求項４の発明は、請求項１，２又は３の
いずれかに記載されたデジタルフィルタの動的制御装置
であって、前記画像の特定領域の動きを抽出する手段の
抽出情報に基づき、動きベクトル量が大きい領域と、動
きベクトル量が小さい領域とで前記異なる係数対応テー
ブルを適用させる手段、を更に備えているデジタルフィ
ルタの動的制御装置である。

【０００９】

【発明の実施の形態】以下、本発明の実施例を添付図面
を参考にして詳細に説明する。尚、実施例では画像フォ
ーマット変換の１つの場合として、原画像ＩＴＵ−Ｒ６
０１フォーマット画像（Ｙ：Ｃｂ：Ｃｒ＝４：２：２、
解像度：Ｙ＝７２０×４８０ドット）から変換画像ＣＩ
Ｆフォーマット画像（Ｙ：Ｃｂ：Ｃｒ＝４：１：１、解
像度：Ｙ＝３５２×２８８）への変換について説明する
が、原画像はＳＩＦやＶＧＡフォーマット等でもよく、
また、変換画像もＱＣＩＦやＳｕｂＱＣＩＦ，ＳＩＦ等
でもよく、特に限定するものではない。

【００１０】請求項１の発明の実施例について、図１，
図２，図３，図８を用いて説明する。まず、図１は、画
像の入力から画像の符号化までの処理を行う装置をブロ
ックで示したものであって、図中、１０１はＡ／Ｄ変換
部、１０２はＣＩＦ変換部、１０３は符号化部、１０４
は係数対応テーブル作成部、１０５は全体システム制御
部を示している。この構成において、外部より入力され
たアナログビデオ信号は、Ａ／Ｄ変換部１０１によりＩ
ＴＵ−Ｒ６０１フォーマットのデジタルデータＹ，Ｃ
ｂ，Ｃｒに変換され、ＣＩＦ変換部１０２に入力され
る。ＣＩＦ変換部１０２では、ＩＴＵ−Ｒ６０１フォー
マットからフォーマット変換され、ＣＩＦフォーマット
のＹ，Ｃｂ，Ｃｒデータが生成される。この際ＣＩＦ変
換部１０２では、変換時のデジタルフィルタの係数を、
係数対応テーブルを参照して選択する。ここで係数対応
テーブルは、係数対応テーブル作成部１０４により画像
内の分割領域に対応した係数番号を書き込むことにより
作成されるが、どの領域にどの係数を適用するかは全体
システム制御部１０５が決定する。こうしてＣＩＦフォ
ーマットにフォーマット変換されたＣＩＦデータは符号
化部１０３に入力され、符号化データが生成される。

【００１１】次に、図１のＣＩＦ変換部１０２の動作
を、ＣＩＦ変換部のブロック図である図２及び図３を参
考にしてに説明する。図２中、１０１はＡ／Ｄ変換部、
２０２は垂直カウンタ、２０３は水平カウンタ、２０４
はＹの水平方向の係数対応テーブル制御部、２０５はＹ
の水平方向の係数対応テーブル、２０６はＹの水平係
数、２０７はＹの水平フィルタ、２０８はＹのｎライン
メモリ、２０９はＹの垂直方向の係数対応テーブル制御
部、２１０はＹの垂直方向の係数対応テーブル、２１１
はＹの垂直係数、２１２はＹの垂直フィルタ、２１３は
Ｃｂの水平方向の係数対応テーブル制御部、２１４はＣ
ｂの水平方向の係数対応テーブル、２１５はＣｂの水平
係数、２１６はＣｂの水平フィルタ、２１７はＣｂのｎ
ラインメモリ、２１８はＣｂの垂直方向の係数対応テー
ブル制御部、２１９はＣｂの重直方向の係数対応テーブ
ル、２２０はＣｂの垂直係数、２２１はＣｂの垂直フィ
ルタ、２２２はＣｒの水平方向の係数対応テーブル制御
部、２２３はＣｒの水平方向の係数対応テーブル、２２
４はＣｒの水平係数、２２５はＣｒの水平フィルタ、２
２６はＣｒのｎラインメモリ、２２７はＣｒの垂直方向
の係数対応テーブル制御部、２２８はＣｒの垂直方向の
係数対応テーブル、２２９はＣｒの垂直係数、２３０は
Ｃｒの垂直フィルタをそれぞれ示している。

【００１２】図２，図３において、Ａ／Ｄ変換部１０１
は、サンプリングクロックをもとにＡ／Ｄ変換する。こ
のサンプリングクロックは、ＩＴＵ−Ｒ６０１フォーマ
ットの場合、１３.５ＭＨｚとなり、また、この時、同
時に水平同期信号と垂直同期信号を出力する。垂直カウ
ンタ２０２は垂直同期信号の同期数をカウントすること
により、現在サンプリング中の垂直方向のライン数を垂
直アドレスとして出力し、かつ、水平カウンタ２０３は
サンプリングクロックをカウントすることにより、現在
サンプリング中の水平方向のドット数を水平アドレスと
して出力する。このようにして生成された垂直アドレス
は、Ｙのｎラインメモリ２０８，Ｙの垂直方向の係数対
応テーブル制御部２０９，Ｙの垂直係数２１１，Ｙの垂
直フィルタ２１２，Ｃｂのｎラインメモリ２１７，Ｃｂ
の垂直方向の係数対応テーブル制御部２１８，Ｃｂの垂
直係数２２０，Ｃｂの垂直フィルタ２２１，Ｃｒのｎラ
インメモリ２２６，Ｃｒの垂直方向の係数対応テーブル
制御部２２７，Ｃｒの垂直係数２２９，Ｃｒの垂直フィ
ルタ２３０に送られる。

【００１３】他方、水平アドレスは、Ｙの水平係数対応
テーブル制御部２０４，Ｙの水平係数２０６，Ｙの水平
フィルタ２０７，Ｙのｎラインメモリ２０８，Ｙの垂直
方向の係数対応テーブル制御部２０９，Ｙの垂直係数２
１１，Ｙの垂直フィルタ２１２，Ｃｂの水平方向の係数
対応テーブル制御部２１３，Ｃｂの水平係数２１５，Ｃ
ｂの水平フィルタ２１６，Ｃｂのｎラインメモリ２１
７，Ｃｂの垂直方向の係数対応テーブル制御部２１８，
Ｃｂの垂直係数２２０，Ｃｂの垂直フィルタ２２１，Ｃ
ｒの水平方向の係数対応テーブル制御部２２２，Ｃｒの
水平係数２２４，Ｃｒの水平フィルタ２２５，Ｃｒのｎ
ラインメモリ２２６，Ｃｒの垂直方向の係数対応テーブ
ル制御部２２７，Ｃｒの垂直係数２２９，Ｃｒの垂直フ
ィルタ２３０に送られる。

【００１４】Ｙの係数対応テーブル制御部２０４では、
予め、画面領域分割のフォーマットを決めておく。その
分割数は、想定するシステムにより自由に設定すること
ができ、ここでは、後段の符号化部で行う動き補償の最
低ブロック単位がＭＢ（マクロブロック：１６×１６ド
ット）であることから、これを基本として説明する。Ｃ
ＩＦ１画面は、水平方向２２個のＭＢ（３５２÷１６＝
２２）、垂直方向１８個（２８８÷１６：１８）のＭＢ
に分割されているので、ＩＴＵ−Ｒ６０１フォーマット
の画像を、水平２２個、垂直１８個に領域分割する。即
ち、１領域あたり水平３２ドット（（７２０−１６）÷
２２＝３２）、垂直３０ドット（４８０÷１６＝３０）
の大きさの領域に分割する（通常、ＣＩＦ画像を生成す
る場合には、ＩＴＵ−Ｒ６０１画像フォーマット７２０
×４８０ドットのうち左右８ドットずつを削除し、水平
方向を７０４ドットとしてフォーマット変換を行う）。

【００１５】図８は、原画像の領域を分割した状態を示
しており、図中、８０１は全体画像、８０２は人間が被
写体として取り込まれた領域、８０３は分割された領域
のブロックを示している。図示のように、原画像の領域
は水平方向１１×垂直方向９の、計９９個の領域に分割
されている。つまり、被写体８０２を含む全体画像８０
１は、ブロック８０３に分割されている。全体画像８０
１がＩＴＵ−Ｒ６０１フォーマットである場合には、全
体画像は７２０×４８０ドットの構成であり、従って、
分割されたブロック８０３は、それぞれの大きさが、６
４×６０ドットの大きさとなる。この様にして定められ
た画面分割方法を基に、係数対応テーブル制御部２０４
では、最終的に、現在入力されている画像データが含ま
れるマクロブロックをブロック番号として係数対応テー
ブル２０５に出力する。これは、垂直カウンタ２０２、
水平カウンタ２０３のカウンタ値と、係数対応テーブル
制御部２０４で決められた画面分割フォーマットを比較
器で比較することにより求めることができる。

【００１６】一方、係数対応テーブルは、図１０に示す
ように、各マクロブロック１００１にどの係数対応テー
ブル番号１００２が対応するかが記述されている。係数
対応テーブルには、Ｙ水平係数２０６，Ｙ垂直係数２１
１，Ｃｂ水平係数２１５，Ｃｂの垂直係数２２０，Ｃｒ
の水平係数２２４，Ｃｒの垂直係数２２９が用意されて
いる。従来の係数対応テーブルは、図１７の表に示すよ
うに、１システムにつき１種だけ用意されていたが、本
発明では、図１３の表（Ａ）、表（Ｂ）、表（Ｃ）に示
すように、特性の違う係数対応テーブルを数種類用意
し、係数対応テーブル番号によって管理するようになっ
ている。従って、係数対応テーブルに記述されるべき情
報は、係数対応テーブル番号のみが記述されていればよ
いから、番号に１ｂｉｔの符号が割り当てられていれ
ば、係数対応テーブルを２種類持つことができ、１ｂｙ
ｔｅの符号が割り当てられていれば、２５６種類の係数
対応テーブルを持つことができる。こうして、マクロブ
ロックに対応した、例えば、Ｙの係数対応テーブルが、
Ｙ水平フィルタ２０７に送られる。

【００１７】Ｙ水平フィルタ２０７では、Ａ／Ｄ変換部
１０１より出力された画像データが、逐次、Ｙ水平係数
２０６から送られる係数によりフィルタリングされる。
このように水平方向に対してフィルタリングされた画像
データは、次に、Ｙのｎラインメモリ２０８に送られ
る、このｎラインメモリは、後段で垂直方向のフィルタ
リングを行う為のバッファで、ｎは、用意した係数のタ
ップ数だけ用意する。つまり、例えば、タップ数が７で
あれば、ある１ドットを決定する為に前後７点を用いる
ため、ｎは７となる。本発明では、係数対応テーブルに
よりタップ数に自由度を設けているため、設けるべきラ
インメモリは、係数対応テーブルの中で最大のタップ数
の値（ｎ）が採用される。Ｙのｎラインメモリに格納さ
れた画像データは、次のＹ垂直フィルタ２１２で、垂直
方向のフィルタリングが行われる。この時、水平のフィ
ルタリング同様、垂直カウンタ２０２と水平カウンタ２
０３の値から、垂直の係数対応テーブル制御部２０９が
現在のマクロブロック番号を垂直の係数対応テーブル２
１０に送り、マクロブロック番号に対応した係数番号が
Ｙ垂直係数２１１に送られ、Ｙの垂直係数がＹ垂直フィ
ルタ２１２に送られる。このようにして、ＹのＣＩＦ画
像が得られる。

【００１８】ＹのＣＩＦ画像生成と同様な方法により、
Ｃｂの水平の係数対応テーブル制御部２１３，Ｃｂの水
平の係数対応テーブル２１４，Ｃｂ水平係数２１５，Ｃ
ｂ水平フィルタ２１６，Ｃｂのｎラインメモリ２１７，
Ｃｂの垂直の係数対応テーブル制御部２１８，Ｃｂの垂
直の係数対応テーブル２１９，Ｃｂ垂直係数２２０，Ｃ
ｂ垂直フィルタ２２１からＣｂのＣＩＦ画像が得られ
る。但し、ＣＩＦ画像はＹ：Ｃｂ：Ｃｒ＝４：１：１で
あるため、水平、垂直の係数値やラインフィルタのライ
ン数はＹとは違うものになる。また、ＣｂのＣＩＦ画像
生成と同様な方法により、Ｃｒの水平の係数対応テーブ
ル制御部２２２，Ｃｒの水平の係数対応テーブル２２
３，Ｃｒ水平係数２２４，Ｃｒ水平フィルタ２２５，Ｃ
ｒのｎラインメモリ２２６，Ｃｒの垂直の係数対応テー
ブル制御部２２７，Ｃｒの垂直の係数対応テーブル２２
８，Ｃｒ垂直係数２２９，Ｃｒ垂直フィルタ２３０から
ＣｒのＣＩＦ画像が得られる。この様にして得られたＣ
ＩＦのＹ，Ｃｂ，Ｃｒの各画像データは、ＣＩＦ変換部
１０２から符号化部１０３に送られ符号化される（図
１）。

【００１９】図１において、全体システム制御部１０５
は画像データに対してどのようなフィルタリングを行う
のかを決定し、係数対応テーブル作成部１０４を介して
ＣＩＦ変換部１０２内のＹの水平の係数対応テーブル２
０５，Ｙの垂直の係数対応テーブル２１０，Ｃｂの水平
の係数対応テーブル２１４，Ｃｂの垂直の係数対応テー
ブル２１９，Ｃｒの水平の係数対応テーブル２２３，Ｃ
ｒの垂直の係数対応テーブル２２８の係数対応テーブル
を作成する。以上の構成により、全体システム制御部１
０５は、ほとんど負荷を受けることなく、画像の領域毎
にフィルタの係数を変えることが可能となる。

【００２０】次に、請求項２の発明の実施例について、
図２，図３，図４，図７，図９，図１０を用いて説明す
る。まず、画像入力から画像符号化までの処理を行う装
置をブロックで示した図４を参照する。図４において、
４０１はＡ／Ｄ変換部、４０２はＣＩＦ変換部、４０３
は符号化部、４０４は係数対応テーブル作成部を示す。
この実施例においても、第１の実施例に関連して図１で
説明したのと同様に、外部より入力されたアナログビデ
オ信号は、Ａ／Ｄ変換部４０１によりＩＴＵ−Ｒ６０１
フォーマットのデジタルデータＹ，Ｃｂ，Ｃｒに変換さ
れ、ＣＩＦ変換部４０２に入力される、ＣＩＦ変換部４
０２では、ＩＴＵ−Ｒ６０１フォーマットからフォーマ
ット変換され、ＣＩＦフォーマットのＹ，Ｃｂ，Ｃｒデ
ータが生成される。この際、ＣＩＦ変換部４０２では、
変換時のデジタルフィルタの係数を、係数対応テーブル
をもとに参照する。係数対応テーブルは、係数対応テー
ブル作成部４０４が画像内の分割領域に対応した係数番
号を書き込むことにより作成される。つまり、係数対応
テーブル作成部４０４は符号化部４０３の顔領域抽出部
より得た顔領域座標情報から顔領域とその他の領域を区
別してそれぞれの領域に対応した係数対応テーブル番号
を係数対応テーブルに書き込む。

【００２１】図４に示すＣＩＦ変換部４０２の動作は、
既に図２を参考に説明した第１の実施例のＣＩＦ変換部
（図１：１０２）と全く同様である。図４の符号化部４
０３の動作を、該符号化部を詳細に示す図７を参考にし
て説明する。図７において、７０１は顔領域抽出部、７
０２は符号化制御部、７０３は減算器、７０４，７０５
はスイッチ、７０６は加算器、７０７は変換器、７０８
は量子化器、７０９は逆量子化器、７１０は逆変換器、
７１１はルーブ内フィルタ、７１２は動き予測メモリを
示している。図７に示すように、図４のＣＩＦ変換部４
０２で作成されたＣＩＦ画像データは、顔領域抽出部７
０１、減算器７０３、スイッチ７０４の一方の入力端７
０４ａ、動き補償用画像メモリ７１２にそれぞれ入力さ
れる。減算器７０３はＣＩＦ変換部４０２から入力され
た画像データから、ループ内フィルタ７１１の出力する
ビデオ信号を減算する回路であり、その差分データはス
イッチ７０４の他方の入力端７０４ｂに与えられる。ス
イッチ７０５は２つの入力端７０５ａと７０５ｂとを有
し、スイッチ７０４と共に符号化制御部７０２の切換制
御信号によって同期して切り換えられる。

【００２２】変換器７０７はスイッチ７０４で切り換え
られたフレーム内のビデオ信号とフレーム間のビデオ信
号のいずれかをＤＣＴする回路である。量子化器７０８
は変換器７０７のデータを量子化する回路で、量子化イ
ンデックスｑを出力する。逆量子化器７０９は生成され
た量子化インデックスｑを逆量子化する回路である。逆
変換器７１０は逆量子化器７０９で逆量子化されたデー
タを逆変換する回路であり、その出力は加算器７０６に
与えられる。加算器７０６はスイッチ７０５を介して得
られる前フレームのビデオ信号に差分データを加算する
回路であり、その出力は動き補償用画像メモリ７１２に
与えられる。動き補償用画像メモリ７１２は数フレーム
分の画像データを保持すると共に、前フレームの画像に
対する各ブロックの画像の動きを動きベクトルＶとして
出力するものである。ループ内フィルタ７１１は、動き
補償用画像メモリ７１２に保持された画像における歪み
をスムージングにより除去するフィルタであり、その動
作の有無を示すオン／オフ信号ｆを出力する。

【００２３】符号化制御部７０２は、スイッチ７０４，
７０５に切換制御信号を出力すると共に、量子化器７０
８に対して量子化特性ｑｚを指示し、ＩＮＴＥＲ／ＩＮ
ＴＲＡの識別フラグｐ、伝送／非伝送識別フラグｔをそ
れぞれ発生する手段である。顔領域抽出部７０１では、
フレーム内の画像データから顔領域の特徴となる領域を
抽出し、座標を符号化制御部７０２に送る。なお、顔領
域の判定方法は、特開平６−１８７４５５号公報、特開
平７−５０８３２号公報等にあるように、種々の方法が
公開されている。この座標を基に、符号化制御部７０２
ではマクロブロックに割り当てる符号量を調整する。

【００２４】請求項２の発明では、顔領域抽出部７０１
の出力する座標を用い、この座標情報を係数対応テーブ
ルの作成にも用いる。即ち、顔領域の座標情報は一般的
はマクロブロック番号で表示すため、得られた顔領域の
マクロブロック番号に対しては図１３の表（Ｂ）に示す
ようなエッジ保存型係数対応テーブルの係数対応テーブ
ル番号を、その他のマクロブロック番号に対しては、同
表（Ｃ）に示すような平滑型フィルタ係数対応テーブル
の係数対応テーブル番号を係数対応テーブルに記述す
る。図９は、顔領域とその他の領域に対して別々の性質
のフィルタを適用した状態を示す図であって、図中、９
０１は全体画像、９０２は顔領域を含まない領域プロッ
ク、９０３は顔領域を含むプロック領域を示し、全体画
像９０１が、顔領域を含まないブロック９０２と顔領域
を含むブロック９０３に分割された様子を示している。
図１０は、それぞれのブロックに対して係数対応テーブ
ル番号が記述されている様子を示し、図中、１００１は
分割された各領域に割り当てられたプロック番号、１０
０２は各領域に適用された係数番号を示している。以
上、説明したように、顔領域に対してフィルタの係数を
変えることが可能である。

【００２５】次に、請求項３の発明の実施例について、
図２，図３，図５，図７，図１１を参考にして説明す
る。まず、画像入力から画像符号化までの処理を行う構
成をブロックで示す図５を参考にして説明する。図中、
５０１はＡ／Ｄ変換部、５０２はＣＩＦ変換部、５０３
は符号化部、５０４は係数対応テーブル作成部を示す。
請求項１及び２の発明の実施例に関連して説明した図
１，図４に示したものと同様に、図５に示した装置にお
いても、外部より入力されたアナログビデオ信号は、Ａ
／Ｄ変換部５０１によりＩＴＵ−Ｒ６０１フォーマット
のデジタルデータＹ，Ｃｂ，Ｃｒに変換され、ＣＩＦ変
換部５０２に入力される。画像はＣＩＦ変換部５０２で
ＩＴＵ−Ｒ６０１フォーマットからフォーマット変換さ
れ、ＣＩＦフォーマットのＹ，Ｃｂ，Ｃｒデータが生成
される。この際、ＣＩＦ変換部５０２では、変換時のデ
ジタルフィルタの係数として係数対応テーブルに基づく
係数を参照する。

【００２６】係数対応テーブルは、係数対応テーブル作
成部５０４が画像内の分割領域に対応した係数番号を書
き込むことにより作成される。係数対応テーブル作成部
５０４は、符号化部５０３の顔領域抽出部、動き予測部
より得た顔領域座標情報から、顔領域とその他の領域を
区別しどの領域にどの係数を適用するか決めて、それぞ
れの領域に対応した係数対応テーブル番号を係数対応テ
ーブルに書き込む。図５のＣＩＦ変換部５０２の動作
は、既に図２，図３に関連して説明した請求項１の発明
の実施例のＣＩＦ変換部（図１：１０２）と同様であ
る、また、符号化部５０３の動作も請求項２の発明の実
施例に関連して既に説明した図７の符号化部と同様であ
る。

【００２７】図５の係数対応テーブル作成部５０４は、
符号化部５０３より得た顔領域座標により、顔領域のマ
クロブロックの初期値を得、動きベクトルにより、その
マクロブロックの移動方向と移動量を得ることで、顔領
域の移動に追従して係数対応テーブルの書き換えを行
う。

【００２８】図１１は、顔領域が移動した領域とその他
の領域に対して別々の性質のフィルタを適用したことを
示しており、図中、１１０１は全体画像、１１０２は顔
領域を含まない領域ブロック、１１０３は移動した顔領
域を含むブロック領域を示し、全体画像１１０１が、顔
領域を含まないブロック１１０２と顔領域を含むブロッ
ク１１０３に分割され、顔領域を含むブロック１１０３
が移動した領域に別のフィルタ係数が適用された様子を
示している。以上、説明したように、本発明は顔領域に
対してフィルタの係数を変えることが可能である。

【００２９】次に、請求項４の実施例について、図２，
図３，図６，図７，図１２を参考にして説明する。図６
は、画像入力から画像符号化までの処理を行う装置をブ
ロックで示したものであって、図中、６０１はＡ／Ｄ変
換部、６０２はＣＩＦ変換部、６０３は符号化部、６０
４は係数対応テーブル作成部を示し、図１，図４，図５
に関連して説明したと同様に、外部より入力されたアナ
ログビデオ信号は、Ａ／Ｄ変換部６０１によりＩＴＵ−
Ｒ６０１フォーマットのデジタルデータＹ，Ｃｂ，Ｃｒ
に変換され、ＣＩＦ変換部６０２に入力される。ＣＩＦ
変換部６０２では、ＩＴＵ−Ｒ６０１フォーマットから
フォーマット変換され、ＣＩＦフォーマットのＹ，Ｃ
ｂ，Ｃｒデータが生成される。この際、ＣＩＦ変換部６
０２では、変換時のデジタルフィルタの係数を、係数対
応テーブルをもとに参照する。

【００３０】係数対応テーブルは、係数対応テーブル作
成部６０４により画像内の分割領域に対応した係数番号
を書き込むことにより作成される。係数対応テーブル作
成部６０４は符号化部６０３の動き予測部より得た動き
ベクトルから、動きベクトルの動き量の絶対値により動
き量の大きな領域と小さな領域を区別し、どの領域にど
の係数を適用するかを決めて、それぞれの領域に対応し
た係数対応テーブル番号を係数対応テーブルに書き込
む。

【００３１】図６のＣＩＦ変換部６０２の動作は、既に
図２，図３を参考に説明した請求項１の発明の実施例に
おけるＣＩＦ変換部（図１；１０２）と同様であり、ま
た符号化部６０３の動作も、既に図４に示した請求項２
の実施例の画像符号化部と同様である。図６の係数対応
テーブル作成部６０４は、符号化部６０３より動きベク
トルを得、一方、動きベクトル量に閾値を数種類設定す
ることで、動きベクトル量の大きな領域と小さな領域を
区別し、動き量の大きな領域には平滑型フィルタ係数対
応テーブル（図１３（Ｃ））を、動き量の小さな領域に
はエッジ保存型フィルタ係数対応テーブル（図１３
（Ｂ））を作成することができ、前記それぞれの領域に
対して前記各々異なるフィルタ係数対応テーブルを適用
することができる。閾値の種類と用意する係数対応テー
ブルの種類は、システムにより自由に設定することがで
きる。

【００３２】図１２は、動きベクトル量の異なる２つの
領域とその他の領域に対して別々の性質のフィルタを適
用したときの画像を示しており、図中、１２０１は全体
画像、１２０２は動きベクトル量が０であった領域ブロ
ック、１２０３は動きベクトル量が小さい領域ブロッ
ク、１２０４は動きベクトル量が大きい領域ブロックを
示し、全体画像１２０１が、動き量の無い領域１２０２
と、動き量の小さな領域１２０３と、動き量の大きな領
域１２０４に分割され、それぞれに別々のフィルタ係数
が適用された様子を示している。以上、説明したよう
に、請求項４の発明によれば、画像の動き量の大きさに
合わせて、フィルタ量の係数を変えることが可能であ
る。

【００３３】

【発明の効果】請求項１に対応する効果：解像度変換時
のデジタルフィルタの係数対応テーブルを複数個備え、
画像の分割された領域毎に異なる係数対応テーブルを適
応させることができるようにしたため、変換後の画像の
視覚的特性等の調整や、符号化後のデータ量の調整をき
め細かく行うことができる。

【００３４】請求項２に対応する効果：例えば、顔領域
を抽出する手段により、顔領域と、その他の領域とで、
異なるフィルタ係数を適応させることができるため、例
えば、顔の部分をより鮮明に表示することができる。

【００３５】請求項３及び４に対応する効果：動きを抽
出する手段により、例えば、顔領域が移動した場合に、
移動に追従して顔領域用のフィルタの適応領域を移動さ
せることができるため、移動あるいは移動量による画像
の劣化等にきめ細かく対応できる。

【図面の簡単な説明】

【図１】本発明の画像入力から画像符号化までの処理を
行う装置の実施例を示すブロック図である。

【図２】本発明のＣＩＦ変換部のブロック図である。

【図３】本発明のＣＩＦ変換部のブロック図（続き）で
ある。

【図４】本発明の画像入力から画像符号化までの処理を
行う装置の他の実施例を示すブロック図である。

【図５】本発明の画像入力から画像符号化までの処理を
行う装置のさらに他の実施例を示すブロック図である。

【図６】本発明の画像入力から画像符号化までの処理を
行う装置のさらに他の実施例を示すブロック図である。

【図７】顔領域抽出部を備えたＨ.２６１勧告の画像符
号化部のブロック図である。

【図８】原画像の領域分割を示す図である。

【図９】顔領域とその他の領域に対して別々の性質のフ
ィルタを適用した図である。

【図１０】係数対応テーブルの一例を示す図である。

【図１１】顔領域が移動した領域とその他の領域に対し
て別々の性質のフィルタを適用したことを説明する図で
ある。

【図１２】動きベクトル量の異なる２つの領域とその他
の領域に対して別々の性質のフィルタを適用したことを
説明する図である。

【図１３】フィルタ係数対応テーブルの一例を示す表で
あって、図１３（Ａ）は本発明の一般的な強度の性質の
フィルタ係数対応テーブル、図１３（Ｂ）はエッジ保存
型フィルタ係数対応テーブル、及び図１３（Ｃ）は平滑
型フィルタ係数対応テーブルをそれぞれ示している。

【図１４】画像入力から画像符号化までの処理を行う従
来の装置のブロック図である。

【図１５】従来のＣＩＦ変換部のブロック図である。

【図１６】従来のＣＩＦ変換部のブロック図である（続
き）。

【図１７】従来のフィルタ係数対応テーブルを示す図で
ある。

【符号の説明】

１０１，４０１，５０１，６０１，１４０１，１５０１
…Ａ／Ｄ変換部、１０２，４０２，５０２，６０２…Ｃ
ＩＦ変換部、１０３，４０３，５０３，６０３…符号化
部、１０４，４０４，５０４，６０４…係数対応テーブ
ル作成部、１０５…全体システム制御部、２０２，１５
０２…垂直カウンタ、２０３，１５０３…水平カウン
タ、２０４…Ｙの水平方向の係数対応テーブル制御部、
２０５…Ｙの水平方向の係数対応テーブル、２０６，１
５０４…Ｙの水平係数、２０７，１５０５…Ｙの水平フ
ィルタ、２０８，１５０６…Ｙのｎラインメモリ、２０
９…Ｙの垂直方向の係数対応テーブル制御部、２１０…
Ｙの垂直方向の係数対応テーブル、２１１，１５０７…
Ｙの垂直係数、２１２，１５０８…Ｙの垂直フィルタ、
２１３…Ｃｂの水平方向の係数対応テーブル制御部、２
１４…Ｃｂの水平方向の係数対応テーブル、２１５，１
５０９…Ｃｂの水平係数、２１６，１５１０…Ｃｂの水
平フィルタ、２１７，１５１１…Ｃｂのｎラインメモ
リ、２１８…Ｃｂの垂直方向の係数対応テーブル制御
部、２１９…Ｃｂの垂直方向の係数対応テーブル、２２
０，１５１２…Ｃｂの垂直係数、２２１，１５１３…Ｃ
ｂの垂直フィルタ、２２２…Ｃｒの水平方向の係数対応
テーブル制御部、２２３…Ｃｒの水平方向の係数対応テ
ーブル、２２４，１５１４…Ｃｒの水平係数、２２５，
１５１５…Ｃｒの水平フィルタ、２２６，１５１６…Ｃ
ｒのｎラインメモリ、２２７…Ｃｒの垂直方向の係数対
応テーブル制御部、２２８…Ｃｒの垂直方向の係数対応
テーブル、２２９，１５１７…Ｃｒの垂直係数、２３
０，１５１８…Ｃｒの垂直フィルタ、７０１…顔領域抽
出部、７０２…符号化制御部、７０３…減算器、７０
４，７０５…スイッチ、７０６…加算器、７０７…変換
器、７０８…量子化器、７０９…逆量子化器、７１０…
逆変換器、７１１…ループ内フィルタ、７１２…動き予
測メモリ、８０１，９０１，１１０１，１２０１…全体
画像、８０２…人間が被写体として取り込まれた領域、
８０３…分割された領域のブロック、９０２，１１０２
…顔領域を含まない領域ブロック、９０３…顔領域を含
むブロック領域、１００１…分割された各領域に割り当
てられたブロック番号、１００２…各領域に適用された
係数番号、１１０３…移動した顔領域を含むブロック領
域、１２０２…動きベクトル量が０であった領域ブロッ
ク、１２０３…動きベクトル量が小さかった領域ブロッ
ク、１２０４…動きベクトル量が大きかった領域ブロッ
ク。

フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩ // Ｈ０４Ｎ 7/32 Ｇ０６Ｆ 15/66 ３５５Ｐ 11/04 Ｈ０４Ｎ 7/137 Ｚ

Claims

【特許請求の範囲】

【請求項１】ビデオ信号の解像度変換を行うフォーマ
ット変換装置におけるデジタルフィルタの動的制御装置
であって、フォーマット変換時に用いるデジタルフィル
タの係数対応テーブルを複数個備え、一方、フィールド
毎の画像を複数の領域に分割する手段を備え、分割され
た領域毎に前記異なる係数対応テーブルを適用させる手
段を備えたことを特長とするデジタルフィルタの動的制
御装置。
【請求項２】請求項１に記載されたデジタルフィルタ
の動的制御装置であって、画像の特定領域を抽出する手
段、及び、該特定領域を抽出する手段からの抽出情報に
基づき、画像中の特定領域とその他の領域とで異なる係
数対応テーブルを適用させる手段、を更に備えているこ
とを特長とするデジタルフィルタの動的制御装置。
【請求項３】請求項１又は２に記載されたデジタルフ
ィルタの動的制御装置であって、画像の特定領域の動き
を抽出する手段、及び、該特定領域の動きを抽出する手
段からの前記特定領域の動きに関する抽出情報に基づ
き、前記特定領域の動きに追従して、特定領域に他の領
域と異なる予め定めた係数対応テーブルを適用させる手
段、を更に備えていることを特長とするデジタルフィル
タの動的制御装置。
【請求項４】請求項１，２又は３のいずれかに記載さ
れたデジタルフィルタの動的制御装置であって、前記画
像の特定領域の動きを抽出する手段の抽出情報に基づ
き、動きベクトル量が大きい領域と、動きベクトル量が
小さい領域とで前記異なる係数対応テーブルを適用させ
る手段、を更に備えていることを特長とするデジタルフ
ィルタの動的制御装置。