JPWO2007108487A1 - 画像処理装置、画像処理方法、プログラムおよび半導体集積回路 - Google Patents

画像処理装置、画像処理方法、プログラムおよび半導体集積回路 Download PDF

Info

Publication number
JPWO2007108487A1
JPWO2007108487A1 JP2008506321A JP2008506321A JPWO2007108487A1 JP WO2007108487 A1 JPWO2007108487 A1 JP WO2007108487A1 JP 2008506321 A JP2008506321 A JP 2008506321A JP 2008506321 A JP2008506321 A JP 2008506321A JP WO2007108487 A1 JPWO2007108487 A1 JP WO2007108487A1
Authority
JP
Japan
Prior art keywords
resolution
filter
frequency
image
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008506321A
Other languages
English (en)
Other versions
JP4688926B2 (ja
Inventor
ヴェディ トーマス
ヴェディ トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2007108487A1 publication Critical patent/JPWO2007108487A1/ja
Application granted granted Critical
Publication of JP4688926B2 publication Critical patent/JP4688926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/12—Indexing scheme for image data processing or generation, in general involving antialiasing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本発明の画像処理装置は、画像信号をフィルタリングするフィルタ手段と、フィルタリングされた画像信号を予め定められたサンプリング周波数でサンプリングすることにより、第１解像度の第１デジタル画像信号を生成するサンプリング手段と、サンプリング手段から得られる複数の第１デジタル画像信号を用いて超解像度化することにより、当該第１解像度よりも高い第２解像度の第２デジタル画像信号を再構成する超解像手段とを備え、前記フィルタ手段は、前記サンプリング周波数の１／２倍のナイキスト周波数以下の周波数成分を通過させるとともに、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる。

Description

本発明は、複数の画像信号を用いて超解像度補間することにより、高解像度のデジタル画像信号を再構成する画像処理装置、画像処理方法、プログラムおよび半導体集積回路に関する。
近年、低解像度の画像を高解像の画像やシーケンスに変える方法が、コンピュータ科学者と画像処理専門家に、強い関心を引きつけている。これらの方法は、超解像、超解像補間または超解像再構成として一般的に呼ばれている。超解像における基本的な考えは、１枚の画像では欠けている画像の詳細を再構成するために、低解像度の複数の画像における画素のサブピクセル単位の動きを利用することである。
それらは、コストの高い高性能撮像素子を使用することなく画像の解像度を改善する効率的な方法を提供するので、超解像は、特に画像取得の局面で有用である。
図１Ａは、従来の画像収集システムのブロック図である。
図１Ａに示すように、サンプリング部１２０は、あらかじめ定められたサンプリング周波数で入力画像１０１をサンプリングする。処理／記録部１５０は、さらに画像処理あるいは記録媒体への記録をする。入力画像がサンプリング部１２０のナイキスト周波数より高い映像周波数を含む場合には、サンプリングされた画像でのエイリアシングつまり折り返しノイズが発生する。これは、図１Ｂで示すように、アンチエイリアシングフィルタ（折り返しノイズ防止フィルタ）１１０によって避けられる。アンチエイリアシングフィルタ１１０は、サンプリングの前に、ナイキスト周波数を越える映像周波数を除去するローパスフィルタである。それゆえに、図１Ｂに示される従来の画像取得再生装置は、折り返しノイズがない画像１９０を出力する。
図２Ａ〜２Ｃ、図３Ａ〜３Ｅを用いて従来のアンチエイリアシングフィルタ１１０の機能について説明する。簡潔さのために、説明は、１次元の信号に限定する。これらの図において左側に示されるグラフは、空間領域での信号を示す。横軸ｘは一次元の空間座標あるいは時間軸を示し、縦軸は輝度を示す。一方、右側のグラフは、周波数領域に（フーリエ）変換された信号を示す。横軸ωは周波数（ラジアン）を示し、縦軸は周波数の強度を示す。ωNはナイキスト周波数を示す。
図２Ａは、広い周波数スペクトルＦをもつ高速に変化する映像信号を示す。この信号のサンプリングは、図２Ｂで図式的に表示されるＤｉｒａｃ櫛ｇによる乗算として表される。Ｄｉｒａｃ櫛のフーリエ変換もまた、Ｄｉｒａｃ櫛Ｇである。空間領域での２つのシグナルの乗算が周波数領域に変換された信号の畳み込みと一致するので、サンプル信号のスペクトルＦ＊Ｇは、図２Ｃの右に示された形状をもつ。つまり、サンプル信号のスペクトルＦ＊Ｇ（実線）は、周期的に変換及び複製された複数のスペクトル（破線）の合計である。
図２Ｃに示されるように、変換され複製されたスペクトル（破線）が重なっている。特定の周波数のサンプル信号のスペクトルパワーは、その特定の周波数へのいわゆるエイリアスである他の周波数からの影響によって、汚染される。空間領域では、エイリアシングは、モアレ・パターンや、滑らかな輪郭線部分に発生するジャギーのように、明瞭で目立つノイズになる。
エイリアシングを防ぐには、サンプリングで、スペクトルが重なるのを妨げる必要がある。これは、図３Ｂに示されるローパスフィルタｈAAによって初期信号を帯域制限することで、達成される。アンチエイリアシング・フィルタ１２０は、ローパスフィルタｈAAの特性を持つ。
図３Ａは、映像信号ｆを示し、図３Ｂは、空間領域における畳み込み、あるいは周波数領域の乗算により、その信号を帯域制限するローパスフィルタｈAAを示している。図３Ｃは、映像信号ｆ（破線）と比較した、ローパスフィルタリングの結果ｆ＊ｈAA（実線）を表す。
上記で説明したように、サンプリングは、空間領域において、Ｄｉｒａｃ櫛ｇをその信号に乗算したものに相当し、周波数領域において、Ｄｉｒａｃ櫛Ｇによる畳込みに相当する（図３Ｄ）。その信号のスペクトルが帯域制限されるので、変換され複製されたスペクトルＦ＊HAAは、もはや重ならず（図３Ｅ）、それによってエイリアシングが生じない。
次に、超解像補間を備える従来の画像取得システムについて説明する。図４Ａは、サンプリング部１２０、処理／記録部１５０、超解像補間部１６０を備える従来の画像収集システムの構成を示すブロック図である。入力画像１０１は、サンプリング部１２０に送られる。サンプリング部１２０は、あらかじめ定められたサンプリング周波数で入力画像１０１をサンプリングすることにより、デジタル化された画像を生成する。処理／記録部１５０は、デジタル化された画像を低解像度出力画像１９１として、オリジナルのサンプリング解像度で出力する。あるいは、低解像度出力画像は、超解像補間部１６０に出力される。超解像補間部１６０は、低解像度出力画像に対して調解像補間することによって、オリジナルのサンプリング解像度より優れた解像度の高解像度出力画像１９２を出力する。
図４Ｂは、図４Ａで示されるシステムにアンチエイリアシングフィルタ１１０が付加された従来の画像収集システムの構成を示すブロック図である。図４Ｂのシステムは、図４Ａと比べて、入力画像がサンプリングの前にアンチエイリアシングフィルタ１１０によってフィルタリングする点が異なっている。よって、折り返しノイズが除去されるので、低解像度出力画像１９１の画質は向上される。しかし、アンチエイリアシング・フィルタリングにより、超解像補間部１６０によって出力される高解像度出力画像１９２は、低解像度の画像よりも高精細な画像を全く含んでいない。
図５を参照して、超解像について説明する。従来の超解像再構成方法は、基本的に２つのステップから成る。第１のステップでは、動き推定と位置合わせが行なわれる。動き推定は、対象となる低解像度画像に対する参照画像の動きをサブピクセルで推定することである。位置合わせは、個々の参照画像において推定されたサブピクセル単位の動き（あるいは位置ずれ）を、対象となる低解像度画像に対応する高解像度のグリッド５２０に登録することである。
第２のステップでは、一様でない補間テクニックが用いられる。これは、再構成すべき高解像度画像５３０を生成するために高解像度のグリッド５２０の各々のポイントに補間された値を得ることである。これは、例えば特許文献１に開示されている。
特開２０００−３３９４５０号公報
しかしながら、上記従来技術によれば、アンチエイリアシングフィルタ１１０を備えるシステム（図４Ｂ）は、エイリアシングを防止しかつ位置合わせを容易にする反面、超解像後の画像の精細さを低減させるという問題がある。逆に、アンチエイリアシングフィルタ１１０を備えないシステム（図４Ａ）では、位置合わせを困難にする反面、超解像後の画像の精細さを増加させてもエイリアシングが発生するという問題がある。言い換えれば、アンチエイリアシングフィルタ１１０の存在により、エイリアシングの防止および位置合わせの容易化と、超解像の精細化とはトレードオフの関係にあるという問題がある。
以下この問題について図面を用いて説明する。
図６Ａ〜６Ｃは、空間及び周波数領域における超解像補間の効果を示している。図６Ａは、アンダーサンプルされたシグナルｆ・ｇとエイリアシングをもつ対応するスペクトルＦ＊Ｇを示す。図６Ｂは、従来の補間法によって、アンダーサンプルされたシグナルの解像度を増大させた結果を示している。サンプリング定理により、アンダーサンプルされた信号は、ナイキスト周波数ωNよりも高い映像周波数に関する情報をもっていない。よって、アップサンプリングによって、スペクトルの繰り返し性が減少されるが、そのスペクトルは、ナイキスト周波数ωNとアリアス周波数（図６Ｂの右側の実線）の間においてゼロとなる。
しかしながら、超解像補間は、サンプリング部のナイキスト周波数ωNより高い映像周波数６２０を再構成するために、アップサンプルされた信号における折り返しノイズ６１０を利用することができる。図６Ｃで示すように、このように再構成された信号は、１つの山型の部分において、その高い解像度でオリジナル信号をサンプリングすることによって得られる信号に似ている。
上述したように、付加情報がサブピクセルのシフトによって複数の低解像度の画像から抜き出されるので、超解像補間はサンプリング定理と矛盾することはない。要するに、超解像補間は、周波数領域でエイリアシング要素をソートすることができて、低解像度画像自体からは明らかでない、ある解像度で画像の精細を再構成するために、ナイキスト周波数を越えるギャップを埋めることができる。よって、折り返しノイズは、超解像補間にとって重要である。
他方、折り返しノイズは、大幅に動き推定を妨げることがある。この問題の有名な例は、西部劇において反対方向で回転するように見える馬車のスポーク車輪である。この現象は時間領域でのエイリアシングによるものであるが、同じ問題は空間領域でのアンダーサンプルで起こる。したがって、動き推定を行うことができるように、アンチエイリアシング・フィルタリングを使用する必要もある。しかし、それは超解像補間のための条件付きである。
図７Ａは、図１Ｂに示すアンチエイリアシングフィルタを使用したときの効果を示している。図７Ａは、アンチエイリアシングフィルタをかけられ、サンプリングされた図３Ｅの信号を示している。この信号をアップサンプルすると、すなわち付加サンプリングポイントｒを追加すると、図７Ｂの右側に示されるスペクトルになる。図６Ｂの前の例に似ているように、周波数領域でのその信号の繰り返し性は、ナイキスト周波数ωNとそのエイリアスを越えたギャップを残したまま、減少している。しかしながら、前の例とは対照的に、高映像周波数は、アンチエイリアシングフィルタによって除去され、エイリアシング成分を生成するために折り重ねされていない。それゆえに、これらの周波数に関する情報は消失し、もはや再構成されない。
デジタル画像収集システムは、通常、撮像素子における解像度の制約を受ける。サンプリングされた画像で識別することができるかできない内容に関する実際的な制約は別として、限られたサンプリング解像度は、また、目立つアーチファクト（例えばモアレ・パターン）をもたらすことがある。これらのアーチファクトは、忠実にこれらのパターンを再現するには十分に高いとはいえない解像度で、精細パターンを含んだオリジナル画像をサンプリングすることに起因している。これは、アンダーサンプルされたシグナルにおける、よく知られた、エイリアシングの一例である。したがって、従来のデジタル画像収集システムは、これらの目立つアーチファクトを防ぐために画像をサンプリングする前にアンチエイリアシングフィルタを用いている。アンチエイリアシングフィルタは、基本的に、どのようにでもサンプリングしても、精細なパターンを除去するので、オリジナル画像をぼやけさせ、これによって、モアレ・パターンの形成を防いでいる。しかし、この従来のアプローチで、アンチエイリアシングフィルタによって取られる内容は、永久に消失して、超解像テクニックによって再構成されることができない。
本発明は、エイリアシングの防止および位置合わせの容易化と、超解像の精細化とを共に達成する画像処理装置、画像処理方法、プログラムおよび半導体集積回路を提供する目的とする。
上記課題を解決するため本発明の画像処理装置は、画像信号をフィルタリングするフィルタ手段と、フィルタリングされた画像信号を予め定められたサンプリング周波数でサンプリングすることにより、第１解像度の第１デジタル画像信号を生成するサンプリング手段と、サンプリング手段から得られる複数の第１デジタル画像信号を用いて超解像度補間することにより、当該第１解像度よりも高い第２解像度の第２デジタル画像信号を再構成する超解像手段とを備え、前記フィルタ手段は、前記サンプリング周波数の１／２倍のナイキスト周波数以下の周波数成分を通過させるとともに、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる。このように、サンプリング解像度のナイキスト周波数を超える映像周波数を制御可能に一部残することが、本発明の特徴的な手法である。これにより、エイリアシングの防止および位置合わせの容易化と、超解像の精細化とを共に達成することができる。
ここで、前記画像処理装置は、さらに、前記第２デジタル画像信号をフィルタリングするフィルタであって、前記フィルタ手段と逆のフィルタ特性を有する逆フィルタ手段を備えてもよい。
ここで、前記逆フィルタ手段は、前記ナイキスト周波数以下の周波数成分を減衰させ、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させるようにしてもよい。
ここで、前記逆フィルタ手段は、前記ナイキスト周波数以下の周波数成分を通過させ、ナイキスト周波数以上の周波数成分を強調するようにしてもよい。
この構成によれば、逆フィルタ手段は、フィルタ手段によって減衰した第２解像度のデジタル画像の高周波成分を拡大することができる。つまり、よりシャープな第２解像度の画像信号が得られる。
好ましくは、エイリアシング制御フィルタのフィルタ特性は、適応的に入力画像のコンテンツに従ってセットされる。エイリアシング制御フィルタの最適な減衰係数は、画像コンテンツに依存する。つまり、ナイキスト周波数に近い映像周波数における詳細な内容の量に依存する。画像コンテンツにエイリアシング制御フィルタを用いることで、超解像補間のための多くの情報できるだけ残しておくことで、低解像度のデジタル画像における可視折り返しノイズが抑制される。
ここで、前記フィルタ手段の特性は、前記ナイキスト周波数から前記最高周波数間までの範囲内で減衰勾配を有し、前記最高周波数の周波数成分は０に減衰されるようにしてもよい。
ここで、複数の第１解像度のデジタル画像信号は、映像シーケンスに対応することが望ましい。こうすれば、複数の低解像度の第１画像信号は、ビデオカメラによって簡単に記録されることができる。さらに、ビデオカメラによってとられる映像シーケンスは、相互のサブピクセル単位の移動を含む。これによって、超解像のための基礎的な準備がなされる。
ここで、超解像手段は、複数の高解像デジタル画像を再構成するようにしてもよい。その複数の高解像の第２デジタル画像は、映像シーケンスを高解像度に再構成したものに対応する。このように、低解像度の映像シーケンスを記録することができて、全く同じ内容の高解像度のバージョンを出力することができる。
また、本発明の画像処理方法、プログラム、半導体集積回路は、上記と同様の構成を有する。
本発明の画像処理装置によれば、エイリアシングの防止および位置合わせの容易化と、超解像の精細化とを共に達成することができる。また、超解像による高解像度の（第２解像度の）デジタル画像の高周波成分を拡大することによって、よりシャープな高解像度の画像信号が得られる。
図１Ａは、従来の画像収集システムの構成を示すブロック図である。 図１Ｂは、アンチエイリアシング・フィルタリングによる従来の画像収集システムの構成を示すブロック図である。 図２Ａは、空間及び周波数領域での入力信号の図である。 図２Ｂは、空間及び周波数領域で、サンプリングステップで使われる、Ｄｉｒａｃ櫛の図である。 図２Ｃは、空間及び周波数領域でサンプリングされた入力信号の図である。 図３Ａは、空間及び周波数領域での入力信号の図である。 図３Ｂは、空間及び周波数領域でのローパスフィルターの図である。 図３Ｃは、空間及び周波数領域でのローパス・フィルターをかけられた入力信号の図である。 図３Ｄは、空間及び周波数領域での、サンプリングステップで使われる、Ｄｉｒａｃ櫛の図である。 図３Ｅは、空間及び周波数領域での、ローパスフィルターがかけられた入力信号の図である。 図４Ａは、超解像補間による従来の画像収集システムの構成を示すブロック図である。 図４Ｂは、超解像補間とアンチエイリアシング・フィルタリングによる従来の画像収集システムの構成を示すブロック図である。 図５は、画像記憶と超解像再構成での補間を示す図である。 図６Ａは、空間及び周波数領域でのサンプリングされた入力信号の図である。 図６Ｂは、空間及び周波数領域での、解像度が強化された信号の図である。 図６Ｃは、空間及び周波数領域での、超解像補間を用いて解像度が強化された信号の図である。 図７Ａは、空間及び周波数領域での、アンチエイリアシングフィルタをかけられてサンプリングされた入力信号の図である。 図７Ｂは、空間及び周波数領域での、アンチエイリアシングフィルタをかけられてサンプリングされた入力信号に適用される超解像補間の図である。 図８は、本発明の実施形態の画像処理装置の構成を示すブロック図である。 図９Ａは、空間及び周波数領域での入力信号の図である。 図９Ｂは、本発明の実施形態における、空間及び周波数領域でのローパスフィルターの図である。 図９Ｃは、本発明の実施形態における、空間及び周波数領域でのローパスフィルターがかけられた入力信号の図である。 図１０は、逆減衰フィルタの構成例を示す図である。 図１１Ａは、エイリアシング制御フィルタのフィルタ特性例を示す図である。 図１１Ｂは、エイリアシング制御フィルタのフィルタ特性例を示す図である。 図１１Ｃは、エイリアシング制御フィルタのフィルタ特性例を示す図である。 図１２Ａは、逆減衰フィルタのフィルタ特性例を示す図である。 図１２Ｂは、逆減衰フィルタのフィルタ特性例を示す図である。 図１２Ｃは、逆減衰フィルタのフィルタ特性例を示す図である。 図１３Ａは、本発明の実施形態における、空間及び周波数領域でのローパスフィルターがかけられサンプリングされた入力信号の図である。 図１３Ｂは、本発明の実施形態における、空間及び周波数領域での超解像補間の図である。 図１３Ｃは、本発明の実施形態における、空間及び周波数領域での、逆減衰フィルターがかけられ超解像補間がされた入力信号の図である。 図１４Ａは、本発明の実施形態における、エイリアシング制御と減衰係数０．４の逆減衰フィルタのフィルタ特性を示す図である。 図１４Ｂは、本発明の実施形態における、エイリアシング制御と減衰係数０．２の逆減衰フィルタのフィルタ特性を示す図である。 図１５は、本発明の実施形態における、階層的な映像エンコーダの構成を示すブロック図である。 図１６は、本発明の実施形態における、階層的な映像デコーダの構成を示すブロック図である。
符号の説明
１０１ 入力画像
１１０ アンチエイリアシングフィルタ
１２０ サンプリング部
１２０ フィルタ
１５０ 処理／記録部
１６０ 超解像補間部
１９０ 画像
１９０、１９１、５２０ 低解像度出力画像
１９２、５３０ 高解像度出力画像
５２０ グリッド
５３０ 高解像度画像
６１０ ノイズ
６２０ 映像周波数
１００１ 入力画像
１００２ 高解像度映像信号
１０１０ エイリアシング制御フィルタ
１０２０ サンプリング部
１０２１ ダウンサンプリング部
１０５１、１０５２、１０５３ 符号化部
１０５４、１０５５ 加算器
１０５６、１０５７ 復号化部
１０６０ 超解像補間部
１０７０ 逆減衰フィルタ
１０９１、１０９８ 低解像度出力画像
１０９２、１０９９ 高解像度出力画像
１０９５、１０９６ ビットストリーム
本発明の実施の形態における画像処理装置は、画像信号をフィルタリングするフィルタ手段と、フィルタリングされた画像信号を予め定められたサンプリング周波数でサンプリングすることにより、第１解像度の第１デジタル画像信号を生成するサンプリング手段と、サンプリング手段から得られる複数の第１デジタル画像信号を用いて超解像度化することにより、当該第１解像度よりも高い第２解像度の第２デジタル画像信号を再構成する超解像手段とを備えている。
ここでフィルタ手段は、単純なアンチエイリアスフィルタとして機能するのではなく、アンチエイリアス制御フィルタとして機能する。アンチエイリアス制御フィルタとしてのフィルタ手段は、サンプリング周波数の１／２倍のナイキスト周波数以下の周波数成分を通過させるだけでなく、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部をも通過させる。つまり、フィルタ手段は、ナイキスト周波数を越える周波数を完全に除去していないで、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる。ナイキスト周波数以上で前記最高周波数以下の周波数成分は、エイリアシングの原因となるが、超解像による高精細化には欠かせない成分でもある。ナイキスト周波数より上の映像周波数は、低解像度出力画像１０９１において目立つ折り返しノイズを減らすために除去ではなく減衰される。このようにサンプリングされて記録された画像は、サンプリング解像度より高い解像度で高解像出力画像を生成するための超解像補間部１０６０によって、高精細化することができる。加えて、エイリアシングの原因となる周波数成分が減衰されるので、超解像における動き推定の精度を劣化させずに、位置合わせを精度よくすることができる。
また、画像処理装置は、さらに、逆フィルタ特性を備える。この逆特性フィルタは、第２デジタル画像信号をフィルタリングするフィルタであって、前記フィルタ手段と逆のフィルタ特性を有する。これにより、逆フィルタ手段は、フィルタ手段によって減衰した第２解像度のデジタル画像の高周波成分を拡大または強調することができる。つまり、よりシャープな第２解像度の画像信号が得られる。
図８は、本発明の第一の実施形態における画像処理装置の構成例を示すブロック図である。同図の画像処理装置は、エイリアシング制御フィルタ１０１０、サンプリング部１０２０、処理／記録部１０３０、超解像補間部１０６０、逆減衰フィルタ１０７０を備える。
入力画像１００１は、サンプリングの前に、エイリアシング制御フィルタ１０１０に入力される。入力画像は、光学システムで生成されるアナログ画像であってもよいし、他の撮像装置等から伝送されているデジタル画像であってもよい。
エイリアシング制御フィルタ１０１０は、上記フィルタ手段に相当し、サンプリングされた画像の超解像補間を可能にするために、サンプリング１０２０のナイキスト周波数を越える周波数を完全には除去していない。その代わりに、ナイキスト周波数より上の映像周波数は、低解像度出力画像１０９１において目立つ折り返しノイズを減らすために減衰される。
例えば、エイリアシング制御フィルタ１０１０は、イメージセンサの上流で用いられる光学（ぼかし）フィルタの形態で実装されてもよいし、そのサンプリング解像度よりも高い入力解像度のデジタルイメージ情報で動作するデジタルフィルタの形態で実装されてもよい。前者の場合、サンプリング部１０２０は、ＣＣＤのようなデジタル・イメージセンサーであってもよい。後者の場合、サンプリング部１０２０は、エイリアシング制御フィルタ１０１０が、入力画像１００１をフィルタリングしてダウンサンプルした画像を生成するという意味において、エイリアシング制御フィルタ１０１０と同一であってもよい。
サンプリング部１０２０は、フィルタリングされた画像信号を予め定められたサンプリング周波数でサンプリングすることにより、第１解像度（以下低解像度と呼ぶ）のデジタル画像信号を生成する。
処理／記録部１０５０は、サンプリング部１０２０からの低解像度のデジタル画像をそのまま低解像度出力画像１０９１として出力すると同時に、超解像補間部１０６０にも出力する。また、処理／記録部１０３０は、他の画像処理あるいは記録媒体への記録をしてもよい。
超解像補間部１０６０は、処理／記録部１０３０からから得られる低解像度の複数のデジタル画像信号を用いて超解像度化することにより、第１解像度よりも高い第２解像度（以下高解像度と呼ぶ）のデジタル画像信号を再構成する。
逆減衰フィルタ１０７０は、上記逆フィルタ手段として機能し、超解像補間部１０６０からの高解像度画像を、フィルタリングする。
さらに、低解像度出力画像１０９１や再構成された高解像度出力画像１０９２は、さらに出力部によって出力されてもよい。出力部は、出力画像を表示する表示装置、出力画像を格納する格納装置、伝送路を介して出力画像を符号化して伝送する符号化伝送装置、あるいは、画像認識又は動き推定部のような画像処理手段等に接続されていてもよい。
低解像のみ、高解像のみ、あるいは、低解像及び高解像の出力画像が出力部を介して出力されるか否かは、下流装置の必要性や能力、例えば、表示解像度、記録容量、伝送帯域、計算能力等に依存している。
次に、上記画像処理装置の動作について、図面を用いて詳細に説明する。
図９Ａ〜９Ｃを用いてエイリアス制御フィルタ１０１０の機能について説明する。説明の便宜上、１次元の信号に限定する。これらの図において左側に示されるグラフは、空間領域での信号を示す。横軸ｘは一次元の空間座標あるいは時間軸を示し、縦軸は輝度を示す。一方、右側のグラフは、周波数領域に（フーリエ）変換された信号を示す。横軸ωは周波数（ラジアン）を示し、縦軸は周波数の強度を示す。ωNはナイキスト周波数を示す。
図９Ａは入力信号ｆを示す。図９Ｂはエイリアシング制御フィルタ１０１０の特性ｈACを示す。図９Ｃはエイリアシング制御フィルタ１０１０で入力信号１００１をフィルタリングしたときの結果ｆ＊ｈACを示している。
エイリアシング制御フィルタ１０１０は、サンプリング部１０２０におけるナイキスト周波数ωNを越える全ての周波数を除去しているわけではないことに注意されたい。その代わりに、高い画像周波数は、周波数依存減衰ファクタによって、ナイキスト周波数ではそのまま（減衰なし）で、超解像補間手段の解像度で表される最も高い画像周波数に対応する周波数でゼロ（除去）となるように、減衰される。その結果、空間領域でのこのフィルタのインパルス応答ｈACは、図３Ｂで示されるアンチエイリアシングフィルタのインパルス応答ｈAAよりも狭い。このようにエイリアシング制御フィルタ１０１０によってフィルターをかけられた入力信号は、ナイキスト周波数を越える映像周波数から成る（図９Ｃ参照）。
図１３Ａは、エイリアシング制御フィルタ１０１０によってフィルターをかけられた入力信号をサンプリングした結果を示している。この図１３Ａは図３Ｅと似ているが、ナイキスト周波数を越える映像周波数の一部を残す点で異なっている。ナイキスト周波数より高い映像周波数の存在により、フィルターをかけられた入力信号のスペクトルは、オーバーラップし、弱いエイリアシングが生じている（図１３Ａにおいてハッチングされた領域３１０、３２０）。しかしながら、エイリアシング制御フィルタ１０１０により、折り返しノイズの振幅は、減少している。それゆえに、このように得られた低解像度の画像は、図４Ａに示される従来の画像収集システムによる低解像度の画像出力と比較して、改善された画質を示している。
さらに、折り返しノイズの抑制により、動き推定は、サブピクセル・レベルでより正確に推定される。それは超解像補間における位置合わせに必要である。残っている折り返しノイズは、サンプリング解像度によりも優れた解像度で画像の内容を抽出する超解像補間部１０６０によって利用されることができる。理想的には、周波数領域でのエイリアシングは、図１３Ｂで実線として示される再構成された信号に至って、完全に解消される。
しかし、再構成された信号は、なお、エイリアシング制御フィルタ１０１０の特性により、高周波数成分が減衰する（ハッチングされた領域３３０）。これは、エイリアシング制御フィルタ１０１０の効果を補正するための、映像周波数を増幅する逆減衰フィルタ１０７０によって、是正される。その結果、オリジナルの入力信号は、高精細に再構成される（図１３Ｃ参照）。
この説明では、逆減衰フィルタ１０７０は、補間が意味する超解像補間部１０６０の出力を受け取る別々の装置であるとして、説明されている。しかし、本発明は、この点に制限されるものではない。逆に、逆減衰フィルタは、超解像補間部１０６０の一部であってもよい。特に、オリジナルの入力信号から、観測された低解像度画像を生成する観測モデルの一部であってもよい。
図９Ｂで示されるエイリアシング制御フィルタ１０１０の特性は、例示に過ぎず、本発明を制限するものではない。図１１Ａ〜図１１Ｃに示すように、複数種類のフィルタ特性を切り替え可能なエイリアシング制御フィルタ１０１０が、本発明の目的を達成するのに用いてもよい。望ましくは、そのフィルタは、ナイキスト周波数まで一定のゲインを持ち、その周波数を超えると一定の減衰率を持つのがよい。ナイキスト周波数を越えた周波数における最適な減衰率は、画像コンテンツに依存して、図１１Ａ〜図１１Ｃのフィルタ特性を適応的に切り替えてもよい。望ましくは、減衰率は、折り返しノイズを回避するに十分な強度の高周波周波数成分を残すことが好ましい。そうでなければ、減衰率は、できるだけ弱い方が好ましい。すなわち、減衰率は、超解像補間部１０６０による高精細化を実現するために、１以下の値でよい。
実験では、ナイキスト周波数を越えた周波数では、減衰率が望ましくは０．５から０．１であることがわかった。
エイリアス制御フィルタ１０１０は、アナログ画像信号をサンプリングするフィルタでも、デジタル画像信号をダウンサンプリングするフィルタであってもよい。図１０は、後者に対応するエイリアス制御フィルタ１０１０の一構成例を示す図である。同図のエイリアス制御フィルタ１０１０は、（２Ｎ＋１）個の乗算器と１個の加算器とを備える。（２Ｎ＋１）の乗算器は、連続する（２Ｎ＋１）の画素（サンプル）Ｐ-N〜ＰNと、（２Ｎ＋１）の重み係数（タップ係数）W-N〜WNとが入力される。フィルタ特性は重み係数の組み合わせにより定められる。加算器は（２Ｎ＋１）個の乗算結果を加算し、Ｐ0に対応する新たな画素Ｐ’を出力する。新たな画素Ｐ’の集合は低解像度画像を構成する。
逆減衰フィルタ１０７０のフィルタ特性はエイリアシング制御フィルタ１０１０と逆の特性である。それゆえに、逆減衰フィルタ１０７０は、ナイキスト周波数までは単一ゲインをもち、その周波数を超えると特定の強調特性をもつ。望ましくは、ナイキスト周波数を超える周波数での利得は、エイリアシング制御フィルタ１０１０の減衰係数と一致する２から１０である。
図１２Ａ〜図１２Ｃは、図１１Ａ〜図１１Ｃのフィルタ特性と逆の特性を持つ逆減衰フィルタ１０７０の特性を示す図である。逆減衰フィルタ１０７０は、エイリアス制御フィルタ１０１０と連動して、これらのフィルタ特性を切り替え可能であり、前記ナイキスト周波数以下の周波数成分を通過させ（利得１）、ナイキスト周波数以上の周波数成分を強調する（利得２〜１０）。このような逆減衰フィルタ１０７０は、図１０と同様の回路により構成できる。エイリアス制御フィルタ１０１０と逆のフィルタ特性は重み係数の組み合わせにより定められる。
なお、逆減衰フィルタ１０７０は、ナイキスト周波数以下の周波数成分を減衰させ（例えば一定の利得０．５）、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる（例えば利得１）ようにしてもよい。
技術的には、エイリアシング制御フィルタ１０１０と逆減衰フィルタ１０７０は、望ましくは、有限インパルス応答フィルタとして実装される。図１４Ａ、図１４Ｂは、減衰率０．４（図１４Ａでの１１０１ａ）と０．２（図１４Ｂでの１１０１ｂ）の９タップの２つのエイリアシング制御フィルタ１０１０の例を示している。それぞれは、理想的な逆減衰フィルタ（１１０２ａ、１１０２ｂ）と、それらの有限（９タップまたは１１タップ）の実装（図１４Ａと図１４Ｂの中の破線）に対応する。
上記の画像処理装置では、複数の低解像度画像中の１つの対象画像に注目して説明してきた。しかし、本発明は、１つの画像への適用に限られず、むしろ、画像のシーケンスに対する取得、処理及び再生に適用されてもよい。たとえば、映像アプリケーション、または、マルチビュー画像、つまり、異なる角度から同じシーンを同時に記録して得られる画像や映像等である。
次に、本発明を動画符号化装置に適用した好ましい実施例を、図１５と図１６を参照して説明する。
図１５は、本発明の階層的な動画符号化装置の構成を示すブロック図である。デジタル高解像度入力画像１００２は、エイリアシング制御フィルタ１０１０によってフィルタリングされ、次のダウンサンプリング部１０２１によって生じる折り返しノイズの量を制御する。ダウンサンプリング部１０２１は、フィルタリングされた入力映像信号をダウンサンプリングすることにより、低い解像度のディジタル映像信号を出力する。ダウンサンプルされた映像信号は、例えば、限られた表示能力しかない移動体装置での表示に適用することができる。符号化部１０５１は、ダウンサンプルされた映像信号を符号化し、圧縮さえたデジタル映像信号を、ビットストリーム１（１０９５）として出力する。符号化部１０５１は、ＭＰＥＧ−２またはＨ．２６４／ＭＰＥＧ４−ＡＶＣ規格に従った規格の伝送ベースの映像エンコーダでよい。しかしながら、本発明は、特定のタイプのエンコーダに限定されない。むしろ、本発明は、映像信号を符号化してデジタル・ビットストリームにするエンコーダであればどんなタイプでも実現され得る。
このビットストリーム１は、参照映像信号を生成するために内部の符号化部１０５３に送られる。この参照映像信号は、圧縮低解像度のビットストリーム１から、高解像度の映像信号を再構成するために、超解像補間部１０６０に送られる。超解像補間部１０６０から生成される高解像映像信号は、逆減衰フィルタ１０７０によりフィルタリングされる。
再構成された信号の解像度は、望ましくは高解像度入力画像１００２の解像度と一致する。
超解像補間技術を用いることで、超解像補間部１０６０におけるアップサンプリングは、フレーム単位で実行することができない。
その代わりに、その再構成は、連続フレームのシーケンスからとられる複数の画像に基づく。それにもかかわらず、再構成は、マクロ・ブロック・レベルで実行されることができる。つまり、複数の画像が連続フレームからの複数のマクロ・ブロックに対応してもよい。さらに、超解像補間は、一般に映像エンコーダの一部である動き検出／補償部によって算出される動きベクトル・データを用いてもよい。望ましくは、符号化部１０５１または符号化部１０５２によって検出された運動ベクトルＭＶは、超解像補間のために使われてもよい。あるいは、より正確な動きベクトルが、超解像補間部１０６０によって推定されてもよい。
加算器１０５４は、高解像度入力画像１００２から再構成された信号を減ずることにより、圧縮低解像度の映像信号から再構成されることができなかった画像情報を含んだ差信号を生成する。差信号は、差信号を符号化してビットストリーム２（１０９６）とするために、第一の符号化部１０５１と類似した種類の第二の符号化部１０５２に送られる。
このようにして、高解像度入力画像１００２は、２つの圧縮映像信号、つまり、減少された解像度の映像情報を含んだビットストリーム１と、オリジナルの映像信号と、超解像補間及び逆減衰による低解像度信号から再構成された映像信号との間での差分を含んだビットストリーム２とに符号化される。ストリーム１は、限られた表示および／または計算能力をもつ移動通信装置等で利用する際に独立して復号できるという意味において、自己完結型のストリームである。その目的のために、折り返しノイズの量を減らすエイリアシング制御フィルタ１０１０によって、画質は最適化され得る。
ビットストリーム１、ビットストリーム２は、一つのビットストリームに多重化され、映像信号１００２と一致する階層的に符号化された圧縮映像信号となる。多重化されたビットストリームは、表示能力やデコーダにかかわりなく、伝送され、記録されてもよい。多重化されたビットストリームは、このように、最大の解像度で入力信号を示している。しかしながら、超解像補間と逆減衰処理により、高解像度の冗長性は、除去され、画質に対して逆に影響を与えることなく、高圧縮比を可能にしている。
エイリアシング制御フィルタ１０１０は、一方で、映像データの低解像度バージョンに対する画質の最適化を可能とし、他方で、最大の解像度の映像データに対する全体的な符号化効率の最適化を可能にしている。ダウンサンプリング部１０２１のナイキスト周波数を越える映像周波数の減衰を強くすればするほど、折り返しノイズが抑制され、低解像度バージョンの画質は、よりよくなる。しかしながら、非常に小さい量のエイリアシング要素は、超解像補間を弱め、低解像度バージョンからの高解像度映像データの予測を悪化させる。これによって、加算器１０５４における大きな差信号となり、ビットストリーム２の符号量が増加する。
図１６は、本発明の動画復号化装置の構成を示すブロック図である。上記の動画符号化装置から出力されたビットストリーム１、２（１０９５、１０９６）は、それぞれ、復号化部１０５６と１０５７に送られる。復号化部１０５６の低解像度出力画像１０９８は、符号化された映像信号１００２の低解像度バージョンと一致する。復号化部１０５６の出力は、また、低解像度バージョンから高解像度の映像信号を再構成するために、逆減衰フィルタ１０７０が続く超解像補間部１０６０に送られる。望ましくは、ビットストリーム１を復号化するために必要な動きベクトル情報（ＭＶ）が、超解像補間部１０６０にも送られてもよい。あるいは、より正確な運動ベクトルが、超解像補間部１０６０によって推定されてもよい。図５とともに説明したように、この動きベクトルは高解像度のグリッドに低解像度の画像を登録するために利用してもよい。復号化部１０５７の出力は、上記の差信号を表し、加算器１０５５によって再構成された高解像度の映像信号に加算される。これによって、符号化された映像信号１００２と一致する伸長された高解像度出力画像１０９９が生成される。
復号化装置の表示及び計算能力に依存して、復号化部１０５６のみを実装して、低解像度画像のみを復号してもよい。これによって、回路規模の縮小化とともに、装置の製造と動作における低コスト化が実現される。
一方、全く同様に多重化されたビットストリームが、最大の解像度の映像信号を再生するために、高画質復号化装置によっては、復号化されてもよい。超解像と逆減衰処理によって、映像データにおける冗長性は、大幅に減少し、符号化効率が改善される。高品質の復号化装置は、このように従来の映像符号化手法で動作する復号化装置よりも少ない符号化データの量を受信して処理することで、映像信号を再生できる。
上述したように、エイリアシング制御フィルタ１０１０の最適フィルタ特性は、画像コンテンツに依存してもよい。すなわち、ナイキスト周波数以上の十分な周波数成分が超解像補間として利用されながらも、ダウンサンプルされた映像画像における可視の折り返しノイズが抑制されることを達成するために、エイリアシング制御フィルタ１０１０のフィルタ特性を映像信号１００２の画像コンテンツに適応させるとよい。その結果、逆減衰フィルタ１０７０のフィルタ特性も、同様にして適応されるのがよい。好適な実施形態では、ビデオ画像は、その後、リアルタイムでエイリアシング制御フィルタ１０１０と逆減衰フィルタ１０７０のフィルタ特性をセットするために、画像アナライザ（不図示）によって分析される。
エイリアシング制御フィルタ１０１０の最適な減衰係数は、たとえば、入力映像に含まれる内容の量に依存してもよい。特に、ナイキスト周波数の近くの映像周波数における内容は、折り返しノイズに敏感である。エイリアシング制御フィルタ１０１０の減衰係数は、このようにナイキスト周波数の近くに周波数範囲における入力映像信号のスペクトルパワーに従って制御されてもよい。
図１５と図１６に示される動画符号化装置と動画復号化装置のセットにおいて、動画符号化装置における逆減衰フィルタ１０７０で用いられているフィルタ特性は、デコーダに通知するようにしてもよい。動画復号化装置における逆減衰フィルタ１０７０のフィルタ特性は、高解像度出力画像１０９９を再生するように、適応させることができる。
フィルタ特性の通知は、ビットストリーム１０９６に通知情報を挿入することによって実現される。通知情報は、フィルタについての全ての定義からなる、例えば、有限インパルス応答フィルタのようなフィルタ係数のフォームで、あるいは、減衰係数としきい値周波数のような特定のパラメータからなる。
本発明の動画符号化装置は、折り返しノイズを除去するよりはむしろ制御するエイリアシング制御フィルタ１０１０を備えることで、超解像補間技術による超解像画像の改善された画質を達成する。本発明の好ましい実施形態は、改善され符号化効率をもつ階層的な映像データ圧縮と伸張に関する。映像データは、２つのビットストリームに符号化される。ビットストリーム１は、映像データの低解像度のバージョンの自己内蔵型表現である。ビットストリーム２は、最大の解像度の映像データとその超解像再構成との間の差分を含むだけである。
上記のように、本実施形態における画像符号化装置は、エイリアシング制御１０１０によって減衰した高解像度の映像信号の映像周波数を拡大するためのエイリアシング制御フィルタ１０１と逆の特性でフィルターをかける逆減衰フィルタ１０７０を含む。そして、減算器１０５４が差分を出力するために、オリジナル高解像度入力画像から逆減衰フィルタの出力を減じ、その差信号を出力する。それによって、高周波成分の再現性が高まり、より鋭い画像が得られる。このように、ビットストリーム２で符号化されなければならないデータ量は、改善された全体的なコード化効率にまで減少される。
エイリアシング制御フィルタ１０１０のフィルタ特性は、適応的に高解像度入力画像１５のコンテンツに応じて切り替えてもよい。このように、超解像補間にとって、できるだけ多くの情報を残すことができ、折り返しノイズは低解像度のディジタルビデオ信号で抑制されることができる。
エイリアシング制御フィルタのフィルタ特性の情報は、動画復号化装置に通知することが望ましい。フィルタ特性の情報は、ビットストリーム２に挿入すればよい。フィルタ特性の情報は、フィルタ係数のリストでもよい。フィルタ特性の情報は、限界周波数と減衰係数を含んでいてもよい。逆減衰フィルタ１０７０の特性を取得することにより、動画復号化装置は高解像度のディジタルビデオ信号を復号化することができる。
動画復号化装置によって推定される動きベクトル情報は、高解像度の映像信号を再構成するために入力として超解像再構成手段に送られてもよい。連続画像間におけるサブピクセルの動き情報は、超解像補間のために必要である。その情報は、動き補償において事前に決定された動きベクトル情報から抽出される。このように、計算の効率は、改善される。
画像符号化装置は、ビットストリーム１とビットストリーム２とを多重化して入力映像信号を表示している出力ビットストリームにするビットストリーム・マルチプレクサを更に含むようにしてもよい。このように、符号化された映像データは、一つの通信路を通して簡単に伝送されることができるか、記憶媒体に記憶されることができる。
望ましくは、２つの符号化部うちの少なくとも１つは、伝送ベースの映像圧縮規格に従って、入力信号をビットストリームに符号化する。伝送ベースの映像エンコーダ（例えばＭＰＥＧ−ＩＩまたはＨ．２６４／ＡＶＣエンコーダ）は、先端技術であり、最適な性能とコード化効率を提供する。
また、本実施形態における動画復号化装置は、高解像度の参照映像信号を再構成するためにそのような逆減衰フィルタ１０７０を使っている画像符号化装置によって符号化された映像データを復号化する。このように、符号化対象の映像信号における冗長度を効率的に除去することで、高い符号化効率が達成される。
逆減衰フィルタのフィルタ特性は、エンコーダから通知されるフィルタ特性の情報に従って、セットすることが望ましい。フィルタ特性の情報は、ビットストリーム２から抽出してもよい。フィルタ特性の情報は、フィルタ係数のリストでもよい。フィルタ特性の情報は、限界周波数と減衰係数でもよい。動画復号化装置は、このように高解像度のディジタルビデオ信号の品質を最適化するためにその逆減衰を適応させることができる。
望ましくは、復号化部１０５６によって見つけられる動きベクトル情報（ＭＶ）は、高解像度の映像信号を再構成するために、入力として超解像補間部１６０に送られてもよい。連続画像間におけるサブピクセルの動き情報は、超解像補間のために必要とされる。その情報は、動き補償において決定される動きベクトル情報から抽出される。このように、計算の効率は、改善されることができる。
望ましくは、ビットストリーム・デマルチプレクサが備えられてもよい。ビットストリーム・デマルチプレクサは、入力ビットストリームから、ビットストリーム１、ビットストリームに分離するために使われる。このように、一つの伝送チャネルを通して伝送された、あるいは、記憶媒体に記憶された符号化された映像データは、簡単に復号化される。
望ましくは、２つの復号化部のうちの少なくとも１つは、伝送ベースの映像圧縮規格に従って、入力ビットストリームを復号化してもよい。 なお、上記各実施の形態等に示した各ブロック図は、典型的には集積回路装置であるＬＳＩとして実現可能である。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
なお、各ブロック図は、その中心的な部分をプロセッサおよびプログラムによっても実現可能である。
本発明は、画像処理装置、動画像符号化装置、動画像復号装置に適しており、特に、動画像記録再生装置、ビデオカメラ、テレビカメラなどに適している。
本発明は、複数の画像信号を用いて超解像度補間することにより、高解像度のデジタル画像信号を再構成する画像処理装置、画像処理方法、プログラムおよび半導体集積回路に関する。
近年、低解像度の画像を高解像の画像やシーケンスに変える方法が、コンピュータ科学者と画像処理専門家に、強い関心を引きつけている。これらの方法は、超解像、超解像補間または超解像再構成として一般的に呼ばれている。超解像における基本的な考えは、１枚の画像では欠けている画像の詳細を再構成するために、低解像度の複数の画像における画素のサブピクセル単位の動きを利用することである。
それらは、コストの高い高性能撮像素子を使用することなく画像の解像度を改善する効率的な方法を提供するので、超解像は、特に画像取得の局面で有用である。
図１Ａは、従来の画像収集システムのブロック図である。
図１Ａに示すように、サンプリング部１２０は、あらかじめ定められたサンプリング周波数で入力画像１０１をサンプリングする。処理／記録部１５０は、さらに画像処理あるいは記録媒体への記録をする。入力画像がサンプリング部１２０のナイキスト周波数より高い映像周波数を含む場合には、サンプリングされた画像でのエイリアシングつまり折り返しノイズが発生する。これは、図１Ｂで示すように、アンチエイリアシングフィルタ（折り返しノイズ防止フィルタ）１１０によって避けられる。アンチエイリアシングフィルタ１１０は、サンプリングの前に、ナイキスト周波数を越える映像周波数を除去するローパスフィルタである。それゆえに、図１Ｂに示される従来の画像取得再生装置は、折り返しノイズがない画像１９０を出力する。
図２Ａ〜２Ｃ、図３Ａ〜３Ｅを用いて従来のアンチエイリアシングフィルタ１１０の機能について説明する。簡潔さのために、説明は、１次元の信号に限定する。これらの図において左側に示されるグラフは、空間領域での信号を示す。横軸ｘは一次元の空間座標あるいは時間軸を示し、縦軸は輝度を示す。一方、右側のグラフは、周波数領域に（フーリエ）変換された信号を示す。横軸ωは周波数（ラジアン）を示し、縦軸は周波数の強度を示す。ωNはナイキスト周波数を示す。
図２Ａは、広い周波数スペクトルＦをもつ高速に変化する映像信号を示す。この信号のサンプリングは、図２Ｂで図式的に表示されるＤｉｒａｃ櫛ｇによる乗算として表される。Ｄｉｒａｃ櫛のフーリエ変換もまた、Ｄｉｒａｃ櫛Ｇである。空間領域での２つのシグナルの乗算が周波数領域に変換された信号の畳み込みと一致するので、サンプル信号のスペクトルＦ＊Ｇは、図２Ｃの右に示された形状をもつ。つまり、サンプル信号のスペクトルＦ＊Ｇ（実線）は、周期的に変換及び複製された複数のスペクトル（破線）の合計である。
図２Ｃに示されるように、変換され複製されたスペクトル（破線）が重なっている。特定の周波数のサンプル信号のスペクトルパワーは、その特定の周波数へのいわゆるエイリアスである他の周波数からの影響によって、汚染される。空間領域では、エイリアシングは、モアレ・パターンや、滑らかな輪郭線部分に発生するジャギーのように、明瞭で目立つノイズになる。
エイリアシングを防ぐには、サンプリングで、スペクトルが重なるのを妨げる必要がある。これは、図３Ｂに示されるローパスフィルタｈAAによって初期信号を帯域制限することで、達成される。アンチエイリアシングフィルタ１１０は、ローパスフィルタｈAAの特性を持つ。
図３Ａは、映像信号ｆを示し、図３Ｂは、空間領域における畳み込み、あるいは周波数領域の乗算により、その信号を帯域制限するローパスフィルタｈAAを示している。図３Ｃは、映像信号ｆ（破線）と比較した、ローパスフィルタリングの結果ｆ＊ｈAA（実線）を表す。
上記で説明したように、サンプリングは、空間領域において、Ｄｉｒａｃ櫛ｇをその信号に乗算したものに相当し、周波数領域において、Ｄｉｒａｃ櫛Ｇによる畳込みに相当する（図３Ｄ）。その信号のスペクトルが帯域制限されるので、変換され複製されたスペクトルＦ＊HAAは、もはや重ならず（図３Ｅ）、それによってエイリアシングが生じない。
次に、超解像補間を備える従来の画像取得システムについて説明する。図４Ａは、サンプリング部１２０、処理／記録部１５０、超解像補間部１６０を備える従来の画像収集システムの構成を示すブロック図である。入力画像１０１は、サンプリング部１２０に送られる。サンプリング部１２０は、あらかじめ定められたサンプリング周波数で入力画像１０１をサンプリングすることにより、デジタル化された画像を生成する。処理／記録部１５０は、デジタル化された画像を低解像度出力画像１９１として、オリジナルのサンプリング解像度で出力する。あるいは、低解像度出力画像は、超解像補間部１６０に出力される。超解像補間部１６０は、低解像度出力画像に対して超解像補間することによって、オリジナルのサンプリング解像度より優れた解像度の高解像度出力画像１９２を出力する。
図４Ｂは、図４Ａで示されるシステムにアンチエイリアシングフィルタ１１０が付加された従来の画像収集システムの構成を示すブロック図である。図４Ｂのシステムは、図４Ａと比べて、入力画像がサンプリングの前にアンチエイリアシングフィルタ１１０によってフィルタリングする点が異なっている。よって、折り返しノイズが除去されるので、低解像度出力画像１９１の画質は向上される。しかし、アンチエイリアシング・フィルタリングにより、超解像補間部１６０によって出力される高解像度出力画像１９２は、低解像度の画像よりも高精細な画像を全く含んでいない。
図５を参照して、超解像について説明する。従来の超解像再構成方法は、基本的に２つのステップから成る。第１のステップでは、動き推定と位置合わせが行なわれる。動き推定は、対象となる低解像度画像に対する参照画像の動きをサブピクセルで推定することである。位置合わせは、個々の参照画像において推定されたサブピクセル単位の動き（あるいは位置ずれ）を、対象となる低解像度画像に対応する高解像度のグリッド５２０に登録することである。
第２のステップでは、一様でない補間テクニックが用いられる。これは、再構成すべき高解像度画像５３０を生成するために高解像度のグリッド５２０の各々のポイントに補間された値を得ることである。これは、例えば特許文献１に開示されている。
特開２０００−３３９４５０号公報
しかしながら、上記従来技術によれば、アンチエイリアシングフィルタ１１０を備えるシステム（図４Ｂ）は、エイリアシングを防止しかつ位置合わせを容易にする反面、超解像後の画像の精細さを低減させるという問題がある。逆に、アンチエイリアシングフィルタ１１０を備えないシステム（図４Ａ）では、位置合わせを困難にする反面、超解像後の画像の精細さを増加させてもエイリアシングが発生するという問題がある。言い換えれば、アンチエイリアシングフィルタ１１０の存在により、エイリアシングの防止および位置合わせの容易化と、超解像の精細化とはトレードオフの関係にあるという問題がある。
以下この問題について図面を用いて説明する。
図６Ａ〜６Ｃは、空間及び周波数領域における超解像補間の効果を示している。図６Ａは、アンダーサンプルされたシグナルｆ・ｇとエイリアシングをもつ対応するスペクトルＦ＊Ｇを示す。図６Ｂは、従来の補間法によって、アンダーサンプルされたシグナルの解像度を増大させた結果を示している。サンプリング定理により、アンダーサンプルされた信号は、ナイキスト周波数ωNよりも高い映像周波数に関する情報をもっていない。よって、アップサンプリングによって、スペクトルの繰り返し性が減少されるが、そのスペクトルは、ナイキスト周波数ωNとアリアス周波数（図６Ｂの右側の実線）の間においてゼロとなる。
しかしながら、超解像補間は、サンプリング部のナイキスト周波数ωNより高い映像周波数６２０を再構成するために、アップサンプルされた信号における折り返しノイズ６１０を利用することができる。図６Ｃで示すように、このように再構成された信号は、１つの山型の部分において、その高い解像度でオリジナル信号をサンプリングすることによって得られる信号に似ている。
上述したように、付加情報がサブピクセルのシフトによって複数の低解像度の画像から抜き出されるので、超解像補間はサンプリング定理と矛盾することはない。要するに、超解像補間は、周波数領域でエイリアシング要素をソートすることができて、低解像度画像自体からは明らかでない、ある解像度で画像の精細を再構成するために、ナイキスト周波数を越えるギャップを埋めることができる。よって、折り返しノイズは、超解像補間にとって重要である。
他方、折り返しノイズは、大幅に動き推定を妨げることがある。この問題の有名な例は、西部劇において反対方向で回転するように見える馬車のスポーク車輪である。この現象は時間領域でのエイリアシングによるものであるが、同じ問題は空間領域でのアンダーサンプルで起こる。したがって、動き推定を行うことができるように、アンチエイリアシング・フィルタリングを使用する必要もある。しかし、それは超解像補間のための条件付きである。
図７Ａは、図１Ｂに示すアンチエイリアシングフィルタを使用したときの効果を示している。図７Ａは、アンチエイリアシングフィルタをかけられ、サンプリングされた図３Ｅの信号を示している。この信号をアップサンプルすると、すなわち付加サンプリングポイントｒを追加すると、図７Ｂの右側に示されるスペクトルになる。図６Ｂの前の例に似ているように、周波数領域でのその信号の繰り返し性は、ナイキスト周波数ωNとそのエイリアスを越えたギャップを残したまま、減少している。しかしながら、前の例とは対照的に、高映像周波数は、アンチエイリアシングフィルタによって除去され、エイリアシング成分を生成するために折り重ねされていない。それゆえに、これらの周波数に関する情報は消失し、もはや再構成されない。
デジタル画像収集システムは、通常、撮像素子における解像度の制約を受ける。サンプリングされた画像で識別することができるかできない内容に関する実際的な制約は別として、限られたサンプリング解像度は、また、目立つアーチファクト（例えばモアレ・パターン）をもたらすことがある。これらのアーチファクトは、忠実にこれらのパターンを再現するには十分に高いとはいえない解像度で、精細パターンを含んだオリジナル画像をサンプリングすることに起因している。これは、アンダーサンプルされたシグナルにおける、よく知られた、エイリアシングの一例である。したがって、従来のデジタル画像収集システムは、これらの目立つアーチファクトを防ぐために画像をサンプリングする前にアンチエイリアシングフィルタを用いている。アンチエイリアシングフィルタは、基本的に、どのようにでもサンプリングしても、精細なパターンを除去するので、オリジナル画像をぼやけさせ、これによって、モアレ・パターンの形成を防いでいる。しかし、この従来のアプローチで、アンチエイリアシングフィルタによって取られる内容は、永久に消失して、超解像テクニックによって再構成されることができない。
本発明は、エイリアシングの防止および位置合わせの容易化と、超解像の精細化とを共に達成する画像処理装置、画像処理方法、プログラムおよび半導体集積回路を提供することを目的とする。
上記課題を解決するため本発明の画像処理装置は、画像信号をフィルタリングするフィルタ手段と、フィルタリングされた画像信号を予め定められたサンプリング周波数でサンプリングすることにより、第１解像度の第１デジタル画像信号を生成するサンプリング手段と、サンプリング手段から得られる複数の第１デジタル画像信号を用いて超解像度補間することにより、当該第１解像度よりも高い第２解像度の第２デジタル画像信号を再構成する超解像手段とを備え、前記フィルタ手段は、前記サンプリング周波数の１／２倍のナイキスト周波数以下の周波数成分を通過させるとともに、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる。このように、サンプリング解像度のナイキスト周波数を超える映像周波数を制御可能に一部残することが、本発明の特徴的な手法である。これにより、エイリアシングの防止および位置合わせの容易化と、超解像の精細化とを共に達成することができる。
ここで、前記画像処理装置は、さらに、前記第２デジタル画像信号をフィルタリングするフィルタであって、前記フィルタ手段と逆のフィルタ特性を有する逆フィルタ手段を備えてもよい。
ここで、前記逆フィルタ手段は、前記ナイキスト周波数以下の周波数成分を減衰させ、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させるようにしてもよい。
ここで、前記逆フィルタ手段は、前記ナイキスト周波数以下の周波数成分を通過させ、ナイキスト周波数以上の周波数成分を強調するようにしてもよい。
この構成によれば、逆フィルタ手段は、フィルタ手段によって減衰した第２解像度のデジタル画像の高周波成分を拡大することができる。つまり、よりシャープな第２解像度の画像信号が得られる。
好ましくは、エイリアシング制御フィルタのフィルタ特性は、適応的に入力画像のコンテンツに従ってセットされる。エイリアシング制御フィルタの最適な減衰係数は、画像コンテンツに依存する。つまり、ナイキスト周波数に近い映像周波数における詳細な内容の量に依存する。画像コンテンツにエイリアシング制御フィルタを用いることで、超解像補間のための多くの情報をできるだけ残しておくことで、低解像度のデジタル画像における可視折り返しノイズが抑制される。
ここで、前記フィルタ手段の特性は、前記ナイキスト周波数から前記最高周波数間までの範囲内で減衰勾配を有し、前記最高周波数の周波数成分は０に減衰されるようにしてもよい。
ここで、複数の第１解像度のデジタル画像信号は、映像シーケンスに対応することが望ましい。こうすれば、複数の低解像度の第１画像信号は、ビデオカメラによって簡単に記録されることができる。さらに、ビデオカメラによってとられる映像シーケンスは、相互のサブピクセル単位の移動を含む。これによって、超解像のための基礎的な準備がなされる。
ここで、超解像手段は、複数の高解像デジタル画像を再構成するようにしてもよい。その複数の高解像の第２デジタル画像は、映像シーケンスを高解像度に再構成したものに対応する。このように、低解像度の映像シーケンスを記録することができて、全く同じ内容の高解像度のバージョンを出力することができる。
また、本発明の画像処理方法、プログラム、半導体集積回路は、上記と同様の構成を有する。
本発明の画像処理装置によれば、エイリアシングの防止および位置合わせの容易化と、超解像の精細化とを共に達成することができる。また、超解像による高解像度の（第２解像度の）デジタル画像の高周波成分を拡大することによって、よりシャープな高解像度の画像信号が得られる。
本発明の実施の形態における画像処理装置は、画像信号をフィルタリングするフィルタ手段と、フィルタリングされた画像信号を予め定められたサンプリング周波数でサンプリングすることにより、第１解像度の第１デジタル画像信号を生成するサンプリング手段と、サンプリング手段から得られる複数の第１デジタル画像信号を用いて超解像度化することにより、当該第１解像度よりも高い第２解像度の第２デジタル画像信号を再構成する超解像手段とを備えている。
ここでフィルタ手段は、単純なアンチエイリアスフィルタとして機能するのではなく、アンチエイリアス制御フィルタとして機能する。アンチエイリアス制御フィルタとしてのフィルタ手段は、サンプリング周波数の１／２倍のナイキスト周波数以下の周波数成分を通過させるだけでなく、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部をも通過させる。つまり、フィルタ手段は、ナイキスト周波数を越える周波数を完全に除去しないで、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる。ナイキスト周波数以上で前記最高周波数以下の周波数成分は、エイリアシングの原因となるが、超解像による高精細化には欠かせない成分でもある。ナイキスト周波数より上の映像周波数は、低解像度出力画像１０９１において目立つ折り返しノイズを減らすために除去ではなく減衰される。このようにサンプリングされて記録された画像は、サンプリング解像度より高い解像度で高解像出力画像を生成するための超解像補間部１０６０によって、高精細化することができる。加えて、エイリアシングの原因となる周波数成分が減衰されるので、超解像における動き推定の精度を劣化させずに、位置合わせを精度よくすることができる。
また、画像処理装置は、さらに、逆フィルタ特性を備える。この逆特性フィルタは、第２デジタル画像信号をフィルタリングするフィルタであって、前記フィルタ手段と逆のフィルタ特性を有する。これにより、逆フィルタ手段は、フィルタ手段によって減衰した第２解像度のデジタル画像の高周波成分を拡大または強調することができる。つまり、よりシャープな第２解像度の画像信号が得られる。
図８は、本発明の実施形態における画像処理装置の構成例を示すブロック図である。同図の画像処理装置は、エイリアシング制御フィルタ１０１０、サンプリング部１０２０、処理／記録部１０５０、超解像補間部１０６０、逆減衰フィルタ１０７０を備える。
入力画像１００１は、サンプリングの前に、エイリアシング制御フィルタ１０１０に入力される。入力画像は、光学システムで生成されるアナログ画像であってもよいし、他の撮像装置等から伝送されているデジタル画像であってもよい。
エイリアシング制御フィルタ１０１０は、上記フィルタ手段に相当し、サンプリングされた画像の超解像補間を可能にするために、サンプリング部１０２０のナイキスト周波数を越える周波数を完全には除去していない。その代わりに、ナイキスト周波数より上の映像周波数は、低解像度出力画像１０９１において目立つ折り返しノイズを減らすために減衰される。
例えば、エイリアシング制御フィルタ１０１０は、イメージセンサの上流で用いられる光学（ぼかし）フィルタの形態で実装されてもよいし、そのサンプリング解像度よりも高い入力解像度のデジタルイメージ情報で動作するデジタルフィルタの形態で実装されてもよい。前者の場合、サンプリング部１０２０は、ＣＣＤのようなデジタル・イメージセンサであってもよい。後者の場合、サンプリング部１０２０は、エイリアシング制御フィルタ１０１０が、入力画像１００１をフィルタリングしてダウンサンプルした画像を生成するという意味において、エイリアシング制御フィルタ１０１０と同一であってもよい。
サンプリング部１０２０は、フィルタリングされた画像信号を予め定められたサンプリング周波数でサンプリングすることにより、第１解像度（以下低解像度と呼ぶ）のデジタル画像信号を生成する。
処理／記録部１０５０は、サンプリング部１０２０からの低解像度のデジタル画像をそのまま低解像度出力画像１０９１として出力すると同時に、超解像補間部１０６０にも出力する。また、処理／記録部１０５０は、他の画像処理あるいは記録媒体への記録をしてもよい。
超解像補間部１０６０は、処理／記録部１０５０から得られる低解像度の複数のデジタル画像信号を用いて超解像度化することにより、第１解像度よりも高い第２解像度（以下高解像度と呼ぶ）のデジタル画像信号を再構成する。
逆減衰フィルタ１０７０は、上記逆フィルタ手段として機能し、超解像補間部１０６０からの高解像度画像を、フィルタリングする。
さらに、低解像度出力画像１０９１や再構成された高解像度出力画像１０９２は、さらに出力部によって出力されてもよい。出力部は、出力画像を表示する表示装置、出力画像を格納する格納装置、伝送路を介して出力画像を符号化して伝送する符号化伝送装置、あるいは、画像認識又は動き推定部のような画像処理手段等に接続されていてもよい。
低解像のみ、高解像のみ、あるいは、低解像及び高解像の出力画像が出力部を介して出力されるか否かは、下流装置の必要性や能力、例えば、表示解像度、記録容量、伝送帯域、計算能力等に依存している。
次に、上記画像処理装置の動作について、図面を用いて詳細に説明する。
図９Ａ〜９Ｃを用いてエイリアシング制御フィルタ１０１０の機能について説明する。説明の便宜上、１次元の信号に限定する。これらの図において左側に示されるグラフは、空間領域での信号を示す。横軸ｘは一次元の空間座標あるいは時間軸を示し、縦軸は輝度を示す。一方、右側のグラフは、周波数領域に（フーリエ）変換された信号を示す。横軸ωは周波数（ラジアン）を示し、縦軸は周波数の強度を示す。ωNはナイキスト周波数を示す。
図９Ａは入力信号ｆを示す。図９Ｂはエイリアシング制御フィルタ１０１０の特性ｈACを示す。図９Ｃはエイリアシング制御フィルタ１０１０で入力画像１００１をフィルタリングしたときの結果ｆ＊ｈACを示している。
エイリアシング制御フィルタ１０１０は、サンプリング部１０２０におけるナイキスト周波数ωNを越える全ての周波数を除去しているわけではないことに注意されたい。その代わりに、高い画像周波数は、周波数依存減衰ファクタによって、ナイキスト周波数ではそのまま（減衰なし）で、超解像補間手段の解像度で表される最も高い画像周波数に対応する周波数でゼロ（除去）となるように、減衰される。その結果、空間領域でのこのフィルタのインパルス応答ｈACは、図３Ｂで示されるアンチエイリアシングフィルタのインパルス応答ｈAAよりも狭い。このようにエイリアシング制御フィルタ１０１０によってフィルタをかけられた入力信号は、ナイキスト周波数を越える映像周波数から成る（図９Ｃ参照）。
図１３Ａは、エイリアシング制御フィルタ１０１０によってフィルタをかけられた入力信号をサンプリングした結果を示している。この図１３Ａは図３Ｅと似ているが、ナイキスト周波数を越える映像周波数の一部を残す点で異なっている。ナイキスト周波数より高い映像周波数の存在により、フィルタをかけられた入力信号のスペクトルは、オーバーラップし、弱いエイリアシングが生じている（図１３Ａにおいてハッチングされた領域３１０、３２０）。しかしながら、エイリアシング制御フィルタ１０１０により、折り返しノイズの振幅は、減少している。それゆえに、このように得られた低解像度の画像は、図４Ａに示される従来の画像収集システムによる低解像度の画像出力と比較して、改善された画質を示している。
さらに、折り返しノイズの抑制により、動き推定は、サブピクセル・レベルでより正確に推定される。それは超解像補間における位置合わせに必要である。残っている折り返しノイズは、サンプリング解像度によりも優れた解像度で画像の内容を抽出する超解像補間部１０６０によって利用されることができる。理想的には、周波数領域でのエイリアシングは、図１３Ｂで実線として示される再構成された信号に至って、完全に解消される。
しかし、再構成された信号は、なお、エイリアシング制御フィルタ１０１０の特性により、高周波成分が減衰する（ハッチングされた領域３３０）。これは、エイリアシング制御フィルタ１０１０の効果を補正するための、映像周波数を増幅する逆減衰フィルタ１０７０によって、是正される。その結果、オリジナルの入力信号は、高精細に再構成される（図１３Ｃ参照）。
この説明では、逆減衰フィルタ１０７０は、補間が意味する超解像補間部１０６０の出力を受け取る別々の装置であるとして、説明されている。しかし、本発明は、この点に制限されるものではない。逆に、逆減衰フィルタは、超解像補間部１０６０の一部であってもよい。特に、オリジナルの入力信号から、観測された低解像度画像を生成する観測モデルの一部であってもよい。
図９Ｂで示されるエイリアシング制御フィルタ１０１０の特性は、例示に過ぎず、本発明を制限するものではない。図１１Ａ〜図１１Ｃに示すように、複数種類のフィルタ特性を切り替え可能なエイリアシング制御フィルタ１０１０が、本発明の目的を達成するのに用いてもよい。望ましくは、そのフィルタは、ナイキスト周波数まで一定のゲインを持ち、その周波数を超えると一定の減衰率を持つのがよい。ナイキスト周波数を越えた周波数における最適な減衰率は、画像コンテンツに依存して、図１１Ａ〜図１１Ｃのフィルタ特性を適応的に切り替えてもよい。望ましくは、減衰率は、折り返しノイズを回避するに十分な強度の高周波成分を残すことが好ましい。そうでなければ、減衰率は、できるだけ弱い方が好ましい。すなわち、減衰率は、超解像補間部１０６０による高精細化を実現するために、１以下の値でよい。
実験では、ナイキスト周波数を越えた周波数では、減衰率が望ましくは０．５から０．１であることがわかった。
エイリアシング制御フィルタ１０１０は、アナログ画像信号をサンプリングするフィルタでも、デジタル画像信号をダウンサンプリングするフィルタであってもよい。図１０は、後者に対応するエイリアシング制御フィルタ１０１０の一構成例を示す図である。同図のエイリアシング制御フィルタ１０１０は、（２Ｎ＋１）個の乗算器と１個の加算器とを備える。（２Ｎ＋１）の乗算器は、連続する（２Ｎ＋１）の画素（サンプル）Ｐ-N〜ＰNと、（２Ｎ＋１）の重み係数（タップ係数）Ｗ-N〜ＷNとが入力される。フィルタ特性は重み係数の組み合わせにより定められる。加算器は（２Ｎ＋１）個の乗算結果を加算し、Ｐ0に対応する新たな画素Ｐ’を出力する。新たな画素Ｐ’の集合は低解像度画像を構成する。
逆減衰フィルタ１０７０のフィルタ特性はエイリアシング制御フィルタ１０１０と逆の特性である。それゆえに、逆減衰フィルタ１０７０は、ナイキスト周波数までは単一ゲインをもち、その周波数を超えると特定の強調特性をもつ。望ましくは、ナイキスト周波数を超える周波数での利得は、エイリアシング制御フィルタ１０１０の減衰係数と一致する２から１０である。
図１２Ａ〜図１２Ｃは、図１１Ａ〜図１１Ｃのフィルタ特性と逆の特性を持つ逆減衰フィルタ１０７０の特性を示す図である。逆減衰フィルタ１０７０は、エイリアシング制御フィルタ１０１０と連動して、これらのフィルタ特性を切り替え可能であり、前記ナイキスト周波数以下の周波数成分を通過させ（利得１）、ナイキスト周波数以上の周波数成分を強調する（利得２〜１０）。このような逆減衰フィルタ１０７０は、図１０と同様の回路により構成できる。エイリアシング制御フィルタ１０１０と逆のフィルタ特性は重み係数の組み合わせにより定められる。
なお、逆減衰フィルタ１０７０は、ナイキスト周波数以下の周波数成分を減衰させ（例えば一定の利得０．５）、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる（例えば利得１）ようにしてもよい。
技術的には、エイリアシング制御フィルタ１０１０と逆減衰フィルタ１０７０は、望ましくは、有限インパルス応答フィルタとして実装される。図１４Ａ、図１４Ｂは、減衰率０．４（図１４Ａでの１１０１ａ）と０．２（図１４Ｂでの１１０１ｂ）の９タップの２つのエイリアシング制御フィルタ１０１０の例を示している。それぞれは、理想的な逆減衰フィルタ（１１０２ａ、１１０２ｂ）と、それらの有限（９タップまたは１１タップ）の実装（図１４Ａと図１４Ｂの中の破線）に対応する。
上記の画像処理装置では、複数の低解像度画像中の１つの対象画像に注目して説明してきた。しかし、本発明は、１つの画像への適用に限られず、むしろ、画像のシーケンスに対する取得、処理及び再生に適用されてもよい。たとえば、映像アプリケーション、または、マルチビュー画像、つまり、異なる角度から同じシーンを同時に記録して得られる画像や映像等である。
次に、本発明を動画符号化装置に適用した好ましい実施例を、図１５と図１６を参照して説明する。
図１５は、本発明の階層的な動画符号化装置の構成を示すブロック図である。高解像度入力画像１００２は、エイリアシング制御フィルタ１０１０によってフィルタリングされ、次のダウンサンプリング部１０２１によって生じる折り返しノイズの量を制御する。ダウンサンプリング部１０２１は、フィルタリングされた入力映像信号をダウンサンプリングすることにより、低い解像度のデジタル映像信号を出力する。ダウンサンプルされた映像信号は、例えば、限られた表示能力しかない移動体装置での表示に適用することができる。符号化部１０５１は、ダウンサンプルされた映像信号を符号化し、圧縮さえたデジタル映像信号を、ビットストリーム１（１０９５）として出力する。符号化部１０５１は、ＭＰＥＧ−２またはＨ．２６４／ＭＰＥＧ４−ＡＶＣ規格に従った規格の伝送ベースの映像エンコーダでよい。しかしながら、本発明は、特定のタイプのエンコーダに限定されない。むしろ、本発明は、映像信号を符号化してデジタル・ビットストリームにするエンコーダであればどんなタイプでも実現され得る。
このビットストリーム１は、参照映像信号を生成するために内部の符号化部１０５３に送られる。この参照映像信号は、圧縮低解像度のビットストリーム１から、高解像度の映像信号を再構成するために、超解像補間部１０６０に送られる。超解像補間部１０６０から生成される高解像映像信号は、逆減衰フィルタ１０７０によりフィルタリングされる。
再構成された信号の解像度は、望ましくは高解像度入力画像１００２の解像度と一致する。
超解像補間技術を用いることで、超解像補間部１０６０におけるアップサンプリングは、フレーム単位で実行することができない。
その代わりに、その再構成は、連続フレームのシーケンスからとられる複数の画像に基づく。それにもかかわらず、再構成は、マクロ・ブロック・レベルで実行されることができる。つまり、複数の画像が連続フレームからの複数のマクロ・ブロックに対応してもよい。さらに、超解像補間は、一般に映像エンコーダの一部である動き検出／補償部によって算出される動きベクトル・データを用いてもよい。望ましくは、符号化部１０５１または符号化部１０５２によって検出された運動ベクトルＭＶは、超解像補間のために使われてもよい。あるいは、より正確な動きベクトルが、超解像補間部１０６０によって推定されてもよい。
加算器１０５４は、高解像度入力画像１００２から再構成された信号を減ずることにより、圧縮低解像度の映像信号から再構成されることができなかった画像情報を含んだ差信号を生成する。差信号は、差信号を符号化してビットストリーム２（１０９６）とするために、第一の符号化部１０５１と類似した種類の第二の符号化部１０５２に送られる。
このようにして、高解像度入力画像１００２は、２つの圧縮映像信号、つまり、減少された解像度の映像情報を含んだビットストリーム１と、オリジナルの映像信号と、超解像補間及び逆減衰による低解像度信号から再構成された映像信号との間での差分を含んだビットストリーム２とに符号化される。ビットストリーム１は、限られた表示および／または計算能力をもつ移動通信装置等で利用する際に独立して復号できるという意味において、自己完結型のストリームである。その目的のために、折り返しノイズの量を減らすエイリアシング制御フィルタ１０１０によって、画質は最適化され得る。
ビットストリーム１、ビットストリーム２は、一つのビットストリームに多重化され、高解像度入力画像１００２と一致する階層的に符号化された圧縮映像信号となる。多重化されたビットストリームは、表示能力やデコーダにかかわりなく、伝送され、記録されてもよい。多重化されたビットストリームは、このように、最大の解像度で入力信号を示している。しかしながら、超解像補間と逆減衰処理により、高解像度の冗長性は、除去され、画質に対して逆に影響を与えることなく、高圧縮比を可能にしている。
エイリアシング制御フィルタ１０１０は、一方で、映像データの低解像度バージョンに対する画質の最適化を可能とし、他方で、最大の解像度の映像データに対する全体的な符号化効率の最適化を可能にしている。ダウンサンプリング部１０２１のナイキスト周波数を越える映像周波数の減衰を強くすればするほど、折り返しノイズが抑制され、低解像度バージョンの画質は、よりよくなる。しかしながら、非常に小さい量のエイリアシング要素は、超解像補間を弱め、低解像度バージョンからの高解像度映像データの予測を悪化させる。これによって、加算器１０５４における大きな差信号となり、ビットストリーム２の符号量が増加する。
図１６は、本発明の動画復号化装置の構成を示すブロック図である。上記の動画符号化装置から出力されたビットストリーム１、２（１０９５、１０９６）は、それぞれ、復号化部１０５６と１０５７に送られる。復号化部１０５６の低解像度出力画像１０９８は、符号化された高解像度入力画像１００２の低解像度バージョンと一致する。復号化部１０５６の出力は、また、低解像度バージョンから高解像度の映像信号を再構成するために、逆減衰フィルタ１０７０が続く超解像補間部１０６０に送られる。望ましくは、ビットストリーム１を復号化するために必要な動きベクトル情報（ＭＶ）が、超解像補間部１０６０にも送られてもよい。あるいは、より正確な運動ベクトルが、超解像補間部１０６０によって推定されてもよい。図５とともに説明したように、この動きベクトルは高解像度のグリッドに低解像度の画像を登録するために利用してもよい。復号化部１０５７の出力は、上記の差信号を表し、加算器１０５５によって再構成された高解像度の映像信号に加算される。これによって、符号化された高解像度入力画像１００２と一致する伸長された高解像度出力画像１０９９が生成される。
復号化装置の表示及び計算能力に依存して、復号化部１０５６のみを実装して、低解像度画像のみを復号してもよい。これによって、回路規模の縮小化とともに、装置の製造と動作における低コスト化が実現される。
一方、全く同様に多重化されたビットストリームが、最大の解像度の映像信号を再生するために、高画質復号化装置によっては、復号化されてもよい。超解像と逆減衰処理によって、映像データにおける冗長性は、大幅に減少し、符号化効率が改善される。高品質の復号化装置は、このように従来の映像符号化手法で動作する復号化装置よりも少ない符号化データの量を受信して処理することで、映像信号を再生できる。
上述したように、エイリアシング制御フィルタ１０１０の最適フィルタ特性は、画像コンテンツに依存してもよい。すなわち、ナイキスト周波数以上の十分な周波数成分が超解像補間として利用されながらも、ダウンサンプルされた映像画像における可視の折り返しノイズが抑制されることを達成するために、エイリアシング制御フィルタ１０１０のフィルタ特性を高解像度入力画像１００２の画像コンテンツに適応させるとよい。その結果、逆減衰フィルタ１０７０のフィルタ特性も、同様にして適応されるのがよい。好適な実施形態では、ビデオ画像は、その後、リアルタイムでエイリアシング制御フィルタ１０１０と逆減衰フィルタ１０７０のフィルタ特性をセットするために、画像アナライザ（不図示）によって分析される。
エイリアシング制御フィルタ１０１０の最適な減衰係数は、たとえば、入力映像に含まれる内容の量に依存してもよい。特に、ナイキスト周波数の近くの映像周波数における内容は、折り返しノイズに敏感である。エイリアシング制御フィルタ１０１０の減衰係数は、このようにナイキスト周波数の近くに周波数範囲における入力映像信号のスペクトルパワーに従って制御されてもよい。
図１５と図１６に示される動画符号化装置と動画復号化装置のセットにおいて、動画符号化装置における逆減衰フィルタ１０７０で用いられているフィルタ特性は、デコーダに通知するようにしてもよい。動画復号化装置における逆減衰フィルタ１０７０のフィルタ特性は、高解像度出力画像１０９９を再生するように、適応させることができる。
フィルタ特性の通知は、ビットストリーム１０９６に通知情報を挿入することによって実現される。通知情報は、フィルタについての全ての定義からなる、例えば、有限インパルス応答フィルタのようなフィルタ係数のフォームで、あるいは、減衰係数としきい値周波数のような特定のパラメータからなる。
本発明の動画符号化装置は、折り返しノイズを除去するよりはむしろ制御するエイリアシング制御フィルタ１０１０を備えることで、超解像補間技術による超解像画像の改善された画質を達成する。本発明の好ましい実施形態は、改善され符号化効率をもつ階層的な映像データ圧縮と伸長に関する。映像データは、２つのビットストリームに符号化される。ビットストリーム１は、映像データの低解像度のバージョンの自己内蔵型表現である。ビットストリーム２は、最大の解像度の映像データとその超解像再構成との間の差分を含むだけである。
上記のように、本実施形態における画像符号化装置は、エイリアシング制御フィルタ１０１０によって減衰した高解像度の映像信号の映像周波数を拡大するためのエイリアシング制御フィルタ１０１０と逆の特性でフィルタをかける逆減衰フィルタ１０７０を含む。そして、加算器１０５４が差分を出力するために、オリジナル高解像度入力画像から逆減衰フィルタの出力を減じ、その差信号を出力する。それによって、高周波成分の再現性が高まり、より鋭い画像が得られる。このように、ビットストリーム２で符号化されなければならないデータ量は、改善された全体的なコード化効率にまで減少される。
エイリアシング制御フィルタ１０１０のフィルタ特性は、適応的に高解像度入力画像１５のコンテンツに応じて切り替えてもよい。このように、超解像補間にとって、できるだけ多くの情報を残すことができ、折り返しノイズは低解像度のディジタルビデオ信号で抑制されることができる。
エイリアシング制御フィルタのフィルタ特性の情報は、動画復号化装置に通知することが望ましい。フィルタ特性の情報は、ビットストリーム２に挿入すればよい。フィルタ特性の情報は、フィルタ係数のリストでもよい。フィルタ特性の情報は、限界周波数と減衰係数を含んでいてもよい。逆減衰フィルタ１０７０の特性を取得することにより、動画復号化装置は高解像度のディジタルビデオ信号を復号化することができる。
動画復号化装置によって推定される動きベクトル情報は、高解像度の映像信号を再構成するために入力として超解像再構成手段に送られてもよい。連続画像間におけるサブピクセルの動き情報は、超解像補間のために必要である。その情報は、動き補償において事前に決定された動きベクトル情報から抽出される。このように、計算の効率は、改善される。
画像符号化装置は、ビットストリーム１とビットストリーム２とを多重化して入力映像信号を表示している出力ビットストリームにするビットストリーム・マルチプレクサを更に含むようにしてもよい。このように、符号化された映像データは、一つの通信路を通して簡単に伝送されることができるか、記憶媒体に記憶されることができる。
望ましくは、２つの符号化部うちの少なくとも１つは、伝送ベースの映像圧縮規格に従って、入力信号をビットストリームに符号化する。伝送ベースの映像エンコーダ（例えばＭＰＥＧ−ＩＩまたはＨ．２６４／ＡＶＣエンコーダ）は、先端技術であり、最適な性能とコード化効率を提供する。
また、本実施形態における動画復号化装置は、高解像度の参照映像信号を再構成するためにそのような逆減衰フィルタ１０７０を使っている画像符号化装置によって符号化された映像データを復号化する。このように、符号化対象の映像信号における冗長度を効率的に除去することで、高い符号化効率が達成される。
逆減衰フィルタのフィルタ特性は、エンコーダから通知されるフィルタ特性の情報に従って、セットすることが望ましい。フィルタ特性の情報は、ビットストリーム２から抽出してもよい。フィルタ特性の情報は、フィルタ係数のリストでもよい。フィルタ特性の情報は、限界周波数と減衰係数でもよい。動画復号化装置は、このように高解像度のディジタルビデオ信号の品質を最適化するためにその逆減衰を適応させることができる。
望ましくは、復号化部１０５６によって見つけられる動きベクトル情報（ＭＶ）は、高解像度の映像信号を再構成するために、入力として超解像補間部１６０に送られてもよい。連続画像間におけるサブピクセルの動き情報は、超解像補間のために必要とされる。その情報は、動き補償において決定される動きベクトル情報から抽出される。このように、計算の効率は、改善されることができる。
望ましくは、ビットストリーム・デマルチプレクサが備えられてもよい。ビットストリーム・デマルチプレクサは、入力ビットストリームから、ビットストリーム１、ビットストリーム２に分離するために使われる。このように、一つの伝送チャネルを通して伝送された、あるいは、記憶媒体に記憶された符号化された映像データは、簡単に復号化される。
望ましくは、２つの復号化部のうちの少なくとも１つは、伝送ベースの映像圧縮規格に従って、入力ビットストリームを復号化してもよい。なお、上記各実施の形態等に示した各ブロック図は、典型的には集積回路装置であるＬＳＩとして実現可能である。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
なお、各ブロック図は、その中心的な部分をプロセッサおよびプログラムによっても実現可能である。
本発明は、画像処理装置、動画像符号化装置、動画像復号装置に適しており、特に、動画像記録再生装置、ビデオカメラ、テレビカメラなどに適している。
図１Ａは、従来の画像収集システムの構成を示すブロック図である。 図１Ｂは、アンチエイリアシング・フィルタリングによる従来の画像収集システムの構成を示すブロック図である。 図２Ａは、空間及び周波数領域での入力信号の図である。 図２Ｂは、空間及び周波数領域で、サンプリングステップで使われる、Ｄｉｒａｃ櫛の図である。 図２Ｃは、空間及び周波数領域でサンプリングされた入力信号の図である。 図３Ａは、空間及び周波数領域での入力信号の図である。 図３Ｂは、空間及び周波数領域でのローパスフィルタの図である。 図３Ｃは、空間及び周波数領域でのローパスフィルタがかけられた入力信号の図である。 図３Ｄは、空間及び周波数領域でのサンプリングステップで使われる、Ｄｉｒａｃ櫛の図である。 図３Ｅは、空間及び周波数領域でのローパスフィルタがかけられた入力信号の図である。 図４Ａは、超解像補間による従来の画像収集システムの構成を示すブロック図である。 図４Ｂは、超解像補間とアンチエイリアシング・フィルタリングによる従来の画像収集システムの構成を示すブロック図である。 図５は、画像記憶と超解像再構成での補間を示す図である。 図６Ａは、空間及び周波数領域でのサンプリングされた入力信号の図である。 図６Ｂは、空間及び周波数領域での解像度が強化された信号の図である。 図６Ｃは、空間及び周波数領域での超解像補間を用いて解像度が強化された信号の図である。 図７Ａは、空間及び周波数領域での、アンチエイリアシングフィルタをかけられてサンプリングされた入力信号の図である。 図７Ｂは、空間及び周波数領域での、アンチエイリアシングフィルタをかけられてサンプリングされた入力信号に適用される超解像補間の図である。 図８は、本発明の実施形態の画像処理装置の構成を示すブロック図である。 図９Ａは、空間及び周波数領域での入力信号の図である。 図９Ｂは、本発明の実施形態における、空間及び周波数領域でのローパスフィルタの図である。 図９Ｃは、本発明の実施形態における、空間及び周波数領域でのローパスフィルタがかけられた入力信号の図である。 図１０は、逆減衰フィルタの構成例を示す図である。 図１１Ａは、エイリアシング制御フィルタのフィルタ特性例を示す図である。 図１１Ｂは、エイリアシング制御フィルタのフィルタ特性例を示す図である。 図１１Ｃは、エイリアシング制御フィルタのフィルタ特性例を示す図である。 図１２Ａは、逆減衰フィルタのフィルタ特性例を示す図である。 図１２Ｂは、逆減衰フィルタのフィルタ特性例を示す図である。 図１２Ｃは、逆減衰フィルタのフィルタ特性例を示す図である。 図１３Ａは、本発明の実施形態における、空間及び周波数領域でのローパスフィルタがかけられサンプリングされた入力信号の図である。 図１３Ｂは、本発明の実施形態における、空間及び周波数領域での超解像補間の図である。 図１３Ｃは、本発明の実施形態における、空間及び周波数領域での、逆減衰フィルタがかけられ超解像補間がされた入力信号の図である。 図１４Ａは、本発明の実施形態における、エイリアシング制御と減衰係数０．４の逆減衰フィルタのフィルタ特性を示す図である。 図１４Ｂは、本発明の実施形態における、エイリアシング制御と減衰係数０．２の逆減衰フィルタのフィルタ特性を示す図である。 図１５は、本発明の実施形態における、階層的な映像エンコーダの構成を示すブロック図である。 図１６は、本発明の実施形態における、階層的な映像デコーダの構成を示すブロック図である。
符号の説明
１０１ 入力画像
１１０ アンチエイリアシングフィルタ
１２０ サンプリング部
１５０ 処理／記録部
１６０ 超解像補間部
１９０、１９１ 低解像度出力画像
１９２ 高解像度出力画像
５２０ グリッド
５３０ 高解像度画像
６１０ ノイズ
６２０ 映像周波数
１００１ 入力画像
１００２ 高解像度入力画像
１０１０ エイリアシング制御フィルタ
１０２０ サンプリング部
１０２１ ダウンサンプリング部
１０５１、１０５２、１０５３ 符号化部
１０５４、１０５５ 加算器
１０５６、１０５７ 復号化部
１０６０ 超解像補間部
１０７０ 逆減衰フィルタ
１０９１、１０９８ 低解像度出力画像
１０９２、１０９９ 高解像度出力画像
１０９５、１０９６ ビットストリーム

Claims (14)

  1. 画像処理装置であって、
    画像信号をフィルタリングするフィルタ手段と、
    フィルタリングされた画像信号を予め定められたサンプリング周波数でサンプリングすることにより、第１解像度の第１デジタル画像信号を生成するサンプリング手段と、
    サンプリング手段から得られる複数の第１デジタル画像信号を用いて超解像度補間することにより、当該第１解像度よりも高い第２解像度の第２デジタル画像信号を再構成する超解像手段と
    を備え、
    前記フィルタ手段は、前記サンプリング周波数の１／２倍のナイキスト周波数以下の周波数成分を通過させるとともに、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる
    ことを特徴とする画像処理装置。
  2. 前記画像処理装置は、さらに、
    前記第２デジタル画像信号をフィルタリングするフィルタであって、前記フィルタ手段と逆のフィルタ特性を有する逆フィルタ手段を備える
    ことを特徴とする請求項１記載の画像処理装置。
  3. 前記逆フィルタ手段は、前記ナイキスト周波数以下の周波数成分を減衰させ、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる
    ことを特徴とする請求項２記載の画像処理装置。
  4. 前記逆フィルタ手段は、前記ナイキスト周波数以下の周波数成分を通過させ、ナイキスト周波数以上の周波数成分を強調する
    ことを特徴とする請求項２記載の画像処理装置。
  5. 前記フィルタ手段の特性は、前記ナイキスト周波数から前記最高周波数間までの範囲内で減衰勾配を有し、前記最高周波数の周波数成分は０に減衰される
    ことを特徴とする請求項１または２記載の画像処理装置。
  6. 前記フィルタ手段は、第１フィルタ特性と第２フィルタ特性とを含む複数のフィルタ特性を切り替え可能であり、
    前記第１フィルタ特性における前記ナイキスト周波数から前記最高周波数間までの減衰勾配は、第２フィルタ特性よりも大きく、
    前記フィルタ手段は、前記画像信号に含まれる高周波成分がしきい値より少ない場合は、前記第１フィルタ特性を選択し、多い場合は、前記第２フィルタ特性を選択する
    ことを特徴とする請求項１または２記載の画像処理装置。
  7. 前記逆フィルタ手段は、前記第１フィルタ特性と逆の特性を示す第１逆フィルタ特性と、前記第２フィルタ特性と逆の特性を示す第２逆フィルタ特性と切り替え可能であり、
    前記逆フィルタ手段は、さらに、選択された前記第１フィルタ特性または前記第２フィルタ特性に対応する前記第１逆フィルタ特性または前記第２逆フィルタ特性を選択する
    ことを特徴とする請求項６記載の画像処理装置。
  8. 第２解像度の複数のオリジナル画像信号からダウンサンプリングされた複数の第１デジタル画像信号を用いて超解像度補間することにより、第２解像度の第２デジタル画像信号を再構成する超解像手段と、
    前記オリジナル画像信号と、前記超解像手段からの対応する第２デジタル画像信号との差分を求める減算手段と、
    減算手段からの差分を符号化することによりストリームを生成する符号化手段と
    を備えることを特徴とする画像符号化装置。
  9. 前記画像符号化装置は、さらに、前記オリジナル画像信号をフィルタリングするフィルタ手段を備え、
    前記フィルタ手段は、ダウンサンプリング周波数の１／２倍のナイキスト周波数以下の周波数成分を通過させるとともに、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる
    ことを特徴とする請求項８記載の画像処理装置。
  10. 前記画像符号化装置は、さらに、
    前記超解像手段と前記減算手段の間に設けられ、前記第２デジタル画像信号をフィルタリングするフィルタであって、前記フィルタ手段と逆のフィルタ特性を有する逆フィルタ手段を備える
    ことを特徴とする請求項９記載の画像処理装置。
  11. 請求項８記載の画像符号化装置から送信されるストリームを復号化し、前記オリジナル画像信号と前記第２デジタル画像信号との差分を求める第１復号化手段と、
    前記オリジナル画像信号からダウンサンプリングされた複数の第１デジタル画像信号が符号化されたストリームを復号化する第２復号化手段と、
    第２復号化手段により復号化された複数の第１デジタル画像信号を用いて超解像度補間することにより、第２解像度の第２デジタル画像信号を再構成する超解像手段と、
    前記第１復号化手段からの差分と、前記超解像手段からの前記第２デジタル画像信号とを加算し、加算結果の第２解像度のデジタル画像信号を出力する加算手段と
    を備えることを特徴とする画像復号化装置。
  12. 画像処理方法であって、
    画像信号をフィルタリングし、
    フィルタリングされた画像信号を予め定められたサンプリング周波数でサンプリングすることにより、第１解像度の第１デジタル画像信号を生成し、
    サンプリング手段から得られる複数の第１デジタル画像信号を用いて超解像度補間することにより、当該第１解像度よりも高い第２解像度の第２デジタル画像信号を再構成し、
    前記フィルタリングにおいて、前記サンプリング周波数の１／２倍のナイキスト周波数以下の周波数成分を通過させるとともに、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる
    ことを特徴とする画像処理方法。
  13. 画像信号をフィルタリングし、
    フィルタリングされた画像信号を予め定められたサンプリング周波数でサンプリングすることにより、第１解像度の第１デジタル画像信号を生成し、
    サンプリング手段から得られる複数の第１デジタル画像信号を用いて超解像度補間することにより、当該第１解像度よりも高い第２解像度の第２デジタル画像信号を再構成し、
    前記フィルタリングにおいて、前記サンプリング周波数の１／２倍のナイキスト周波数以下の周波数成分を通過させるとともに、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる
    ことをコンピュータに実行させる特徴とするコンピュータ読み取り可能なプログラム。
  14. 半導体集積回路であって、
    画像信号をフィルタリングするフィルタ手段と、
    フィルタリングされた画像信号を予め定められたサンプリング周波数でサンプリングすることにより、第１解像度の第１デジタル画像信号を生成するサンプリング手段と、
    サンプリング手段から得られる複数の第１デジタル画像信号を用いて超解像度補間することにより、当該第１解像度よりも高い第２解像度の第２デジタル画像信号を再構成する超解像手段と
    を備え、
    前記フィルタ手段は、前記サンプリング周波数の１／２倍のナイキスト周波数以下の周波数成分を通過させるとともに、ナイキスト周波数以上で前記第２解像度で表現可能な最高周波数以下の周波数成分の一部を通過させる
    ことを特徴とする半導体集積回路。
JP2008506321A 2006-03-20 2007-03-20 画像処理装置、画像符号化装置、画像処理方法、プログラムおよび半導体集積回路 Active JP4688926B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06005663.7 2006-03-20
EP06005663A EP1837826A1 (en) 2006-03-20 2006-03-20 Image acquisition considering super-resolution post-interpolation
PCT/JP2007/055741 WO2007108487A1 (ja) 2006-03-20 2007-03-20 画像処理装置、画像処理方法、プログラムおよび半導体集積回路

Publications (2)

Publication Number Publication Date
JPWO2007108487A1 true JPWO2007108487A1 (ja) 2009-08-06
JP4688926B2 JP4688926B2 (ja) 2011-05-25

Family

ID=37038364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008506321A Active JP4688926B2 (ja) 2006-03-20 2007-03-20 画像処理装置、画像符号化装置、画像処理方法、プログラムおよび半導体集積回路

Country Status (4)

Country Link
US (2) US8385665B2 (ja)
EP (2) EP1837826A1 (ja)
JP (1) JP4688926B2 (ja)
WO (1) WO2007108487A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356777B2 (ja) * 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
CN101540039B (zh) * 2008-03-21 2011-09-07 李金宗 单帧图象超分辨方法
KR20110059766A (ko) * 2008-09-18 2011-06-03 톰슨 라이센싱 비디오 영상 프루닝 방법 및 장치
TR201002451A2 (tr) * 2010-03-30 2011-10-21 Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret A.Ş. Süper çözünürlük tabanlı N-bakışlı + N-derinlikli çok bakışlı video kodlama.
JP5909865B2 (ja) * 2011-04-18 2016-04-27 株式会社ニコン 画像処理プログラム、画像処理方法、画像処理装置、撮像装置
KR20130001541A (ko) * 2011-06-27 2013-01-04 삼성전자주식회사 다시점 영상의 해상도 복원 방법 및 장치
US8804036B1 (en) * 2011-07-29 2014-08-12 Pixelworks, Inc. Encoding for super resolution playback
US8891010B1 (en) * 2011-07-29 2014-11-18 Pixelworks, Inc. Encoding for super resolution playback
CN104619237B (zh) 2012-07-26 2018-03-30 德普伊辛迪斯制品公司 光不足环境中的ycbcr脉冲调制的照明方案
US10568496B2 (en) 2012-07-26 2020-02-25 DePuy Synthes Products, Inc. Continuous video in a light deficient environment
US20140118460A1 (en) * 2012-11-01 2014-05-01 Microsoft Corporation Video Coding
US9185437B2 (en) 2012-11-01 2015-11-10 Microsoft Technology Licensing, Llc Video data
US20140119456A1 (en) * 2012-11-01 2014-05-01 Microsoft Corporation Encoding video into lower resolution streams
US20140119446A1 (en) * 2012-11-01 2014-05-01 Microsoft Corporation Preserving rounding errors in video coding
JP5738904B2 (ja) * 2013-01-28 2015-06-24 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2014144947A1 (en) * 2013-03-15 2014-09-18 Olive Medical Corporation Super resolution and color motion artifact correction in a pulsed color imaging system
EP2967300A4 (en) 2013-03-15 2016-11-23 Olive Medical Corp CONTROL OF THE INTEGRATED LIGHT ENERGY OF A LASER PULSE
WO2014144986A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Scope sensing in a light controlled environment
US20140355683A1 (en) * 2013-05-31 2014-12-04 Altera Corporation Data Encoding for Attenuating Image Encoders
AU2015230978B2 (en) 2014-03-21 2020-01-23 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
CN104182929A (zh) * 2014-08-27 2014-12-03 深圳市华星光电技术有限公司 基于像素的获得降解析度图像的方法及装置
CN107004018B (zh) * 2015-03-27 2020-11-17 华为技术有限公司 数据处理方法及装置
US9501683B1 (en) 2015-08-05 2016-11-22 Datalogic Automation, Inc. Multi-frame super-resolution barcode imager
CN105513033B (zh) * 2015-12-07 2018-09-25 天津大学 一种非局部联合稀疏表示的超分辨率重建方法
KR102553598B1 (ko) 2016-11-18 2023-07-10 삼성전자주식회사 영상 처리 장치 및 그 제어 방법
US10939102B2 (en) * 2018-11-01 2021-03-02 Mediatek Inc. Post processing apparatus with super-resolution filter and loop restoration filter in block-level pipeline and associated post processing method
CN110111251B (zh) * 2019-04-22 2023-04-28 电子科技大学 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
US11720999B2 (en) * 2019-10-11 2023-08-08 Kayrros Method, device and non-transitory computer-readable storage medium for increasing the resolution and dynamic range of a sequence of respective top view images of a same terrestrial location
US11240465B2 (en) * 2020-02-21 2022-02-01 Alibaba Group Holding Limited System and method to use decoder information in video super resolution
CN113705553B (zh) * 2020-05-20 2024-01-26 深圳清华大学研究院 视觉任务执行方法、装置、电子设备、存储介质及系统
KR20220090178A (ko) * 2020-12-22 2022-06-29 삼성전자주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
CN114580457B (zh) * 2022-05-09 2022-11-01 深圳市华汉伟业科技有限公司 一种低分辨率条件下的条形码解码方法、存储介质
CN117896552B (zh) * 2024-03-14 2024-07-12 浙江华创视讯科技有限公司 视频会议的处理方法、视频会议系统以及相关装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352720A (ja) * 2004-06-10 2005-12-22 Olympus Corp 撮像装置および画像の高解像度化方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0132337A3 (en) * 1983-07-21 1986-12-30 The Regents Of The University Of California Apparatus and method for reducing aliasing in sagittal or coronal nmr imaging
JPS6212293A (ja) * 1985-07-09 1987-01-21 Mitsubishi Electric Corp 画像の帯域圧縮装置
JPS63102481A (ja) * 1986-10-18 1988-05-07 Pioneer Electronic Corp 多重記録方式
DE69226994T2 (de) * 1991-07-19 1999-02-18 Matsushita Electric Industrial Co., Ltd., Kadoma, Osaka Verarbeitungsvorrichtung für Videosignale zur Aliasinginterferenzminderung
US5253059A (en) * 1992-05-15 1993-10-12 Bell Communications Research, Inc. Method and circuit for adjusting the size of a video frame
EP1239679A3 (en) * 1997-12-23 2002-10-02 Thomson Licensing S.A. Low noise encoding and decoding apparatus and method
JP2000339450A (ja) 1999-05-26 2000-12-08 Sony Corp 画像処理方法及び画像処理装置
US6975846B2 (en) * 2002-05-23 2005-12-13 Intel Corporation Method and circuit to reduce intermodulation distortion
US7715477B2 (en) * 2002-05-29 2010-05-11 Diego Garrido Classifying image areas of a video signal
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
EP1631090A1 (en) * 2004-08-31 2006-03-01 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus and moving picture decoding apparatus
US7470032B2 (en) * 2005-10-27 2008-12-30 Hewlett-Packard Development Company, L.P. Projection of overlapping and temporally offset sub-frames onto a surface
JP4876048B2 (ja) * 2007-09-21 2012-02-15 株式会社日立製作所 映像送受信方法、受信装置、映像蓄積装置
US8855190B2 (en) * 2009-10-21 2014-10-07 Futurewei Technologies, Inc. Communication system with compressive sensing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352720A (ja) * 2004-06-10 2005-12-22 Olympus Corp 撮像装置および画像の高解像度化方法

Also Published As

Publication number Publication date
US20090274380A1 (en) 2009-11-05
EP1837826A1 (en) 2007-09-26
JP4688926B2 (ja) 2011-05-25
EP1998284A1 (en) 2008-12-03
EP1998284A4 (en) 2009-04-22
US8385665B2 (en) 2013-02-26
EP1998284B1 (en) 2017-10-18
US8682089B2 (en) 2014-03-25
WO2007108487A1 (ja) 2007-09-27
US20130129236A1 (en) 2013-05-23

Similar Documents

Publication Publication Date Title
JP4688926B2 (ja) 画像処理装置、画像符号化装置、画像処理方法、プログラムおよび半導体集積回路
JP4876048B2 (ja) 映像送受信方法、受信装置、映像蓄積装置
JP5529293B2 (ja) メタデータによる時間スケーリングのためのエッジエンハンスメントのための方法
JP2004312765A (ja) ２：１間引きにおける効果的なダウンコンバージョン
JP6170614B2 (ja) アップサンプリング及び信号強調
JP5140638B2 (ja) 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム
EP1743298B1 (en) Method of down-sampling data values
US8081847B2 (en) Method for up-scaling an input image and an up-scaling system
KR20110017336A (ko) 다계층의 저해상도 영상을 이용한 고해상도 영상 생성 방법 및 그 장치
JP5011138B2 (ja) 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法
JP2005141722A (ja) 画像信号処理方法、画像信号処理装置、及び画像信号プログラム
JP2012151562A (ja) 映像処理方法
JP5416899B2 (ja) 映像表示装置
JP5416898B2 (ja) 映像表示装置
JP2010109640A (ja) 映像表示装置、映像表示方法及び画像高解像度化方法
JP2009105689A (ja) 映像表示装置、映像表示方法及び画像高解像度化方法
Kang Two-channel spatial interpolation of images
Shin et al. Image upsizing with adaptive Wiener filtering method using self-prediction
SUNDAR et al. Satellite Image Resolution Enhancement using Dual-Tree Complex Wavelet Transform (DT-CWT) and Nonlocal Means (NLM)
JP2009163588A (ja) 画像信号処理装置、画像高解像度化方法、画像表示装置
Vliegen et al. Advances in super-resolution for high quality television applications
JP2009130747A (ja) 高解像度化処理装置
JP2005303897A (ja) 画像復号装置および画像復号方法
AZAS et al. A NOVEL ALGORITHM FOR SATILLITE IMAGE RESOLUTION ENHANCEMENT BASED ON DUAL-TREE COMPLEX WAVELET TRANSFORM (DT-CWT) AND NONLOCAL MEANS (NLM)
Patil et al. Satellite Image Resolution Enhancement Using Double Density Dual-Tree Complex Wavelet Transform and Nonlocal Means

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110215

R150 Certificate of patent or registration of utility model

Ref document number: 4688926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313133

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z02

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250