JP4235217B2 - フィルタリング型画像補正装置およびフィルタリング型画像補正方法 - Google Patents

Description

本発明は、フィルタリング型画像補正装置およびフィルタリング型画像補正方法に関するものである。

携帯電話、デジタルカメラ、ビデオ、ＤＶＤなど、情報家電の普及には目覚ましいものがある。年々、ＬＳＩ，ＤＳＰなど、組み込みのハードウェア性能は高まってきている。そのため、パソコン上で動作していた各種ソフトウェアのアプリケーションも携帯電話内でリアルタイムに動作するようになっている。

携帯電話における手ぶれ補正は、代表的な画像処理に基づいた補正方法の一つである。ＤＶＤにおける不要なテロップ文字の消去、これも画像処理に基づいた補正方法の一つである。

ときに、ハードウェアでアルゴリズムを実現するには、浮動小数点演算から整数化しての演算が求められることが少なくない。この数理的な方程式の解法で高速化を実現するには、特別の工夫が必要となっている。

一方で、手ぶれ補正を行うと画枠が一回り小さくなるので、元の大きさに戻る画像補正が求められる。また、不要な文字やテロップなどを自在に消去する方法についても、見やすい画像への補正が求められている。

これまでの画像補正は、偏微分方程式などに基づいた数値解法問題（非特許文献１など）に基づいていることが多く、例えばパソコンが用いられる。ただし、この画像補正は、補正対象が低空間周波数成分に富んでいる場合に限られる。

一方、エッジ構造や輪郭が明瞭な補正対象の場合は、高空間周波数成分までの補正が必要であり、これについては、非特許文献２のtexture-synthesisと呼ばれる方法が知られている。

しかし、この方法では、パターンマッチングに伴う演算コストが、非特許文献１の方法の数倍必要であるという欠点がある。数値演算にもよるが、非特許文献１の方法では指数関数を用いるため、単純にアルゴリズムを浮動小数点型から整数型へ変換することが容易ではない問題がある。

数値解法問題では、偏微分方程式の時間発展により画像を補正していく方法が中心的である。そのため、多くのメモリと空間と時間の微分計算が必要となり、携帯電話などのようなＣＰＵが高くない機種でのリアルタイム処理が困難となっている。

さて、フィルタリング処理では、ローパスフィルタが使用される。エッジ保存フィルタによる処理は、選択的局所平均化とも呼ばれている（非特許文献３）。エッジ保存フィルタでは、方向により、フィルタの分割数が変わる。例えば、エッジ保存フィルタでは、４つ、８つに分割した例がある。分割された各小領域において、その中に含まれる処理対象の画像の画素の値から平均と分散が求まる。一般に、分散が最小となる領域の平均濃度をフィルタの中心の画素での出力としている。これにより、エッジをぼかすことなく、雑音が除去される特徴がある。一方、ぼやけたエッジが鮮鋭化するという特徴がある。エッジ保存フィルタの処理を反復的に繰り返すことで補正画像が得られる。
M.Beralmio,G.Sapiro,C.Ballester,and V.Caselles,Computer Graphics,"image inpainting",Proceeding of SIGGRAPH 2000,pp.417-424,July 2000. Li-Yi Wei and M.Levoy,"Texture systhesis over arbitrary manifold surfaces",Proceeding of SIGGRAPH 2001,pp.355-360,Aug.2001 田村秀行 編著、「エッジ保存法：コンピュータ画像処理」、オーム社

本発明が解決する課題設定の背景には、以下の問題点がある。

第１の問題点）携帯電話のような低性能ＣＰＵ上でも、リアルタイム処理が必要である。第２の問題点）数値演算に依存すると、多くのメモリを必要とする。第３の問題点）画像補正の低から高空間周波数成分を補正できない。第４の問題点）アルゴリズム上、整数化表現ができない。第５の問題点）フィルタの適用では高空間周波数成分を拡散させることが容易ではない。

以上を踏まえて、本発明は、画像内の欠落領域を高度な数理方程式によらずにしかも高速に補えるフィルタリング型画像補正装置およびフィルタリング型画像補正方法を提供することにある。

本発明では、例えば、計算コストが極めて低い、フィルタ設計に基づいた画素への重み付け処理として高速化を実現している。

また、周辺のテクスチャ特徴量に応じて、フィルタを適応的に可変することで、複雑な画像パターンへ対応している。

また、階層画像化により、細かいテクスチャまでの補正・補間をより高速に演算できる。

また、エッジ保存フィルタによる処理では、分散の大きい領域の平均値を出力することで、高空間周波数成分を引き出して利用することができる。

本発明によれば、画像内の欠落領域を高度な数理方程式によらずにしかも高速に補える。

これにより、テロップやスーパーインポーズなどの領域を自動的にもとの背景図柄に置換することができる。

また、これまでの手作業によるテロップ領域へのぼかし作業を行わずして、違和感のない、もとの画像への置換が自動的かつ効果的にできる。

また、手振れ補正画像との連動で、より実用的な用途が大きく広がる。

以上のような効果により、ブロードバンド時代における家庭からプロ仕様まで、デジタルカメラ、デジタルビデオ、デジタルテレビにおける国内外のデジタル産業における新しい画像変換技術の中核となることが考えられる。

以下、本発明の実施の形態に係るフィルタリング型画像補正装置とフィルタリング型画像補正方法を図面を参照して説明する。

図１は、本実施の形態に係るフィルタリング型画像補正装置の構成図である。

本装置は、データ入力手段１００、フィルタ選択手段１１０、画像補正手段１２０および画像表示手段１３０により構成される。

本装置では、データ入力手段１００が、画像を入力する。画像は各画素の濃淡値で構成される。

図２（ａ）は、入力される画像の一例についての説明図である。

携帯電話のカメラやデジタルカメラでは、画像２１を得ようとしても、実際には手ぶれで、複数の画像２２（いわゆる手ぶれ画像）が得られるので、手ぶれ補正を行う。

手ぶれ補正では、各画像２２の共通部分を得て、これが画像１より小さくなるので、大きさを画像２１にあわせるべく、共通部分の周囲に濃淡値が未設定の画素からなる欠落領域を配置した１つの画像２３を生成する。

この画像２３のような画像がデータ入力手段１００に入力されるのである。

なお、手ぶれ補正では、各画像２２の動きベクトルを求め、それにより基準画像を生成する。また、欠落領域の大きさは手ぶれの大きさに応じたものとなる。

なお、図２（ｂ）に示すように、欠落領域は中央でなくてもよく、つまり欠落領域の位置は任意である。

図１に戻り、フィルタ選択手段１１０は、入力された画像内の欠落領域の周辺領域でのテクスチャの特徴を求め、該特徴に応じたフィルタを選択する。なお、周辺領域は欠落領域を囲むものでは必ずしもなく、欠落領域に接していればよい。

図３は、選択可能なフィルタの説明図である。

フィルタ選択手段１１０は、図３に示すような、様々な形状のフィルタから、テクスチャの特徴に応じたものを選択する。

つまり、図４に示すように、画像を入力し（Ｓ１）、入力された画像内の欠落領域の周辺領域でのテクスチャの特徴を求め（Ｓ２：濃淡値の分布解析）、それがフィルタＡに応じたものである場合は、フィルタＡを選択し、それがフィルタＢに応じたものである場合は、フィルタＢを選択し、それがフィルタＣに応じたものである場合は、フィルタＣを選択する。

テクスチャの特徴を求める際は、フーリエ変換により周波数解析を行い、パターンの形状の粗さ、細かさを解析する。さらに、周波数解析からパターンの方向性を解析する。フーリエ変換するときの、窓の大きさは、１０×１０画素程度にする。

図３に戻り、例えば、等方性を有するテクスチャからはフィルタ３０や３２が、線状のテクスチャからはフィルタ３４が、曲線状のテクスチャからはフィルタ３５が、不規則性を有するテクスチャからはフィルタ３１や３３が選択される。つまり、選択はテクスチャの変化や連続性によってなされる。

また、フィルタは、大きさが可変であり、特徴に応じた大きさに構成される。

また、フィルタは、通常は数個ないし数十個の画素からなる領域に用いられる。図３のフィルタ３０は、縦と横で２つづつ並べた画素からなる領域に用いられる。

また、大きいフィルタには、用いられる領域を複数の画素からなる小領域に分割する境界が定められる。

また、フィルタでは、各画素について、重み係数が設定される。例えば、各画素の濃淡値の分散が大きいほど、重み係数の分散が大きくなるような設定がなされる。なお、重み係数の合計は同一のフィルタ内では１である。

図５は、選択できるフィルタの１つであるエッジ保存フィルタを示す図である。エッジ保存フィルタは、用いられる領域を放射状に分割する境界が定められている。フィルタ５１は領域を８分割するものであり、フィルタ５２は領域を４分割するものである。

エッジ保存フィルタでは、エッジの方向に応じた重み係数が設定される。例えば、フィルタ５１の小領域１ではエッジ成分を含み小領域２ではエッジ成分を含まない場合、小領域１と２では重み係数が異なるのである。

図１に戻り、画像補正手段１２０は、選択されたフィルタを欠落領域と周辺領域の境界に複数回にわたって位置をずらしながら用いることにより当該欠落領域を補う。

図６は、画像補正の説明図である。

フィルタ６１は、４画素からなる領域に用いられるものであり、各画素について重み係数０．２５が設定される。

画像補正手段１２０は、まず、フィルタ６１を欠落領域と周辺領域の境界に位置する４画素の領域に用い、当該領域内の周辺領域の各画素につき、濃淡値と重み係数の積を求め、各積の和を求め、これを当該領域内の欠落領域の画素の濃淡値とする。

一般的に、領域内の周辺領域の各画素の濃淡値をＩ（ｉ，ｊ）、Ｉ（ｉ＋１，ｊ）、…とし、この画素の順で、重み係数をｗ１，ｗ２，…とすると、画像補正手段１２０は、濃淡値＝ｗ１×Ｉ（ｉ，ｊ）＋ｗ２×Ｉ（ｉ＋１，ｊ）＋…を計算し、これを当該領域内の欠落領域の画素の濃淡値とする。

なお、重み係数の合計が１なので、ここでは、和つまり加重平均を求め、これを当該領域内の欠落領域の画素の濃淡値としたことになる。

次に、画像補正手段１２０は、かかる計算をフィルタの位置を横方向にずらしながら複数回にわたって行い、次に、画素分縦方向にずらした上で、かかる計算をフィルタの位置を横方向にずらしながら複数回にわたって行い、こうして、欠落領域を補う（補間する）。

なお、計算回数は、欠落領域の大きさに比例し、最大でも５００回程度である。

さて、選択されたフィルタが、図４のように、領域を小領域に分割するフィルタである場合は、各回での処理は以下の通りである。

つまり、画像補正手段１２０は、そのフィルタの中心を欠落領域内の１つの画素に位置させ、各小領域につき、そこに含まれる画素の濃淡値について平均（この場合、重み係数を用いた値）と分散を求め、分散の最小値に対応する小領域での平均を当該画素の濃淡値とする。これにより、エッジはぼけずに先鋭化し、一方、雑音は除去される。

また、画像補正手段１２０は、高い空間周波数成分に対応すべく、領域を小領域に分割するフィルタが選択された場合の各回では、以下の処理を行う。

つまり、そのフィルタの中心を欠落領域内の１つの画素に位置させ、各小領域につき、そこに含まれる画素の濃淡値について平均（この場合、重み係数を用いた値）と分散を求め、分散の最大値に対応する小領域での平均を当該画素の濃淡値とする。

図１に戻り、画像表示手段１３０は、かかる画像補正後の画像を表示する。

図７は、入力された画像とそれが補正されて表示された画像を示す図である。

例えば、手ぶれ補正後の画像７１が入力された場合、画像７１は、周囲に欠落領域を含んでいて、実質的に小さいものだが、欠落領域が補われ、結果的に、基の大きさにまで拡大されて表示される（画像７２）。

なお、欠落領域を除いた中央部分を単純に基の大きさに拡大した場合には困難だが、ここでは、欠落領域が補われるので、手ぶれ補正前の画質に近づけることができる。

図８は、エッジ成分を含む画像とそれが補正されて表示された画像を示す図である。

入力された画像８１は、この場合、中央に欠落領域を含んでいて、周囲の周辺領域にはエッジ成分があり、この欠落領域が補われ、これにより、エッジ成分が欠落領域に伝搬したような画像８２が表示される。

図９は、テロップを重ねた画像とそれが補正されて表示された画像を示す図である。

背景に対してテロップ「ＴＥＳＴ」を重ねた画像９０が入力された場合、まず、文字認識技術を用いて、テロップ「ＴＥＳＴ」を切り出し、切り出した領域である欠落領域を補うことで、背景だけの画像９３が表示される。

図１０は、当該画像補正を階層画像手法により行う様子を示す図である。

まず、図９の画像９０を複数の解像度ごとの画像へ変換する。ここでは、画像９０を４点平均処理により１／４の大きさの画像９１と１／２の大きさの画像９２へ変換する。そして、画像９１に３０回程度の補正を行う。続きの補正を画像９２で１５回程度行う。続きの補正を画像９０で５回程度行う。これにより、背景だけの画像９３が得られる。

これに対し、階層画像手法を用いない場合、補正回数は５００回程度必要である。よって、階層画像手法つまり、画像を複数の解像度ごとの画像へ変換し、最も低い解像度の画像の欠落領域を補うことから始めて、当該解像度より高い解像度の画像の欠落領域を補うことを順次に行うことで、１０倍程度の高速化が可能となる。また、階層画像手法を用いると、用いない場合よりも、細かいテクスチャまで補正することができる。

図１１は、画質と高速性についての評価結果を示す図である。

画質については、低空間周波数のパターンで画像補正する場合の評価結果と、欠落領域が高空間周波数のパターンで画像補正する場合の評価結果を示す。

画質については、復元性、連続性などについて、５人で行った主観評価の結果を示す。評価結果「１」が最も悪く、評価結果「５」が最も良いとした。

高速性については、処理演算効率の評価結果を示す。

また、ここでは、非特許文献２に開示された従来法Ａでの評価結果と、非特許文献１に開示された従来法Ｂでの評価結果と、本装置での評価結果を示す。

本装置では、低空間周波数のパターンで画像補正する場合の画質と高速性について、最も良い評価結果が得られた。

従来法Ｂでは、高空間周波数のパターンで画像補正する場合の画質について、最も良い評価結果が得られたが、低空間周波数のパターンで画像補正する場合の画質と高速性については、本装置の評価結果より劣る。

なお、従来法Ａでは、全てで、最も悪い評価結果が得られた。

このように、一部の評価では従来法Ｂに劣るが、本装置は、高画質と高速性を両立している点で秀逸である。

本実施の形態に係るフィルタリング型画像補正装置の構成図である。 入力される画像についての説明図である。 選択可能なフィルタの説明図である。 フィルタ選択のフローチャートである。 エッジ保存フィルタを示す図である。 画像補正の説明図である。 入力された画像とそれが補正された画像を示す図である。 エッジ成分を含む画像とそれが補正された画像を示す図である。 テロップを重ねた画像とそれが補正された画像を示す図である。 画像補正を階層画像手法により行う様子を示す図である。 画質と高速性についての評価結果を示す図である。

符号の説明

１００ データ入力手段
１１０ フィルタ選択手段
１２０ 画像補正手段
１３０ 画像表示手段

Claims (10)

1. 画像内の欠落領域の周辺領域でのテクスチャの特徴を求め、該特徴に応じたフィルタを選択するフィルタ選択手段と、
   当該選択されたフィルタを前記欠落領域と周辺領域の境界に複数回にわたって位置をずらしながら用いることにより当該欠落領域を補う画像補正手段と
   を備えることを特徴とするフィルタリング型画像補正装置。
2. 前記フィルタでは、該フィルタが用いられる領域を分割してなる各小領域の各画素についての重み係数が前記特徴に応じて設定され、
   前記画像補正手段は、
   前記重み係数を用いて、前記各小領域で濃淡値についての平均と分散を求め、分散の値に応じて決定した小領域での平均で前記欠落領域を補うことを特徴とする請求項１記載のフィルタリング型画像補正装置。
3. 前記フィルタでは、該フィルタが用いられる領域を分割してなる各小領域の各画素についての重み係数が前記特徴に応じて設定され、
   前記画像補正手段は、
   前記重み係数を用いて、前記各小領域で濃淡値についての平均と分散を求め、分散の最大値に対応する小領域での平均で前記欠落領域を補うことを特徴とする請求項１記載のフィルタリング型画像補正装置。
4. 前記フィルタはエッジ保存フィルタであり、エッジの方向に応じた重み係数が設定されることを特徴とする請求項２または３記載のフィルタリング型画像補正装置。
5. 前記欠落領域は画像内のテロップを文字認識技術により切り出してなる領域であることを特徴とする請求項１ないし４のいずれかに記載のフィルタリング型画像補正装置。
6. 前記画像を複数の解像度ごとの画像へ変換し、最も低い解像度の画像の欠落領域を補うことから始めて、当該解像度より高い解像度の画像の欠落領域を補うことを順次に行うことを特徴とする請求項１ないし５のいずれかに記載のフィルタリング型画像補正装置。
7. フィルタリング型画像補正装置のフィルタ選択手段が、画像内の欠落領域の周辺領域でのテクスチャの特徴を求め、該特徴に応じたフィルタを選択し、
   フィルタリング型画像補正装置の画像補正手段が、当該選択されたフィルタを前記欠落領域と周辺領域の境界に複数回にわたって位置をずらしながら用いることにより当該欠落領域を補う
   ことを特徴とするフィルタリング型画像補正方法。
8. 前記フィルタでは、該フィルタが用いられる領域を分割してなる各小領域の各画素についての重み係数が前記特徴に応じて設定され、
   前記画像補正手段は、
   前記重み係数を用いて、前記各小領域で濃淡値についての平均と分散を求め、分散の値に応じて決定した小領域での平均で前記欠落領域を補うことを特徴とする請求項７記載のフィルタリング型画像補正方法。
9. 前記フィルタでは、該フィルタが用いられる領域を分割してなる各小領域の各画素についての重み係数が前記特徴に応じて設定され、
   前記画像補正手段は、
   前記重み係数を用いて、前記各小領域で濃淡値についての平均と分散を求め、分散の最大値に対応する小領域での平均で前記欠落領域を補うことを特徴とする請求項７記載のフィルタリング型画像補正方法。
10. 前記画像を複数の解像度ごとの画像へ変換し、最も低い解像度の画像の欠落領域を補うことから始めて、当該解像度より高い解像度の画像の欠落領域を補うことを順次に行うことを特徴とする請求項７ないし９のいずれかに記載のフィルタリング型画像補正方法。

Images