WO2009150882A1

WO2009150882A1 - 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置

Info

Publication number: WO2009150882A1
Application number: PCT/JP2009/055366
Authority: WO
Inventors: 田中正行; 奥富正敏; 矢口陽一
Original assignee: 国立大学法人東京工業大学
Priority date: 2008-06-10
Filing date: 2009-03-12
Publication date: 2009-12-17
Also published as: US20110170784A1; JP5294343B2; JPWO2009150882A1

Abstract

｛課題｝複数のモーションを含む画像間の画像全体の位置合わせ処理を、ロバスト且つ高精度に行えるようにした、画像位置合わせ処理装置を提供する。｛解決手段｝複数のモーションを含む基準画像及び入力画像の特徴点をそれぞれ抽出する特徴点抽出処理部と、基準画像特徴点と入力画像特徴点との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とをそれぞれ行う特徴点ベース位置合わせ処理部と、初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して単一モーション領域を抽出する単一モーション領域抽出処理部、初期モーションパラメータと単一モーション領域とに基づき、モーションパラメータをサブピクセル精度で推定する領域ベース位置合わせ処理部と、基準画像特徴点及び入力画像特徴点から単一モーション領域に含まれる特徴点を削除する特徴点削除処理部とを備える。

Description

発明の名称画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置技術分野

本発明は、デジタル画像処理技術に関し、特に、複数のモーションを含む画像間の画像全体（全画面）の位置合わせ処理を口パスト且つ高精度に行う画像位置合わせ処理技術、及び当該画像位置合わせ処理技術を利用した画質改善処理技術に関するものである。

また、本発明は、複数のモーションを含む画像に対する領域拡張処理を行う領域拡張処理技術に関するものである。

更に、本発明は、本発明の画像位置合わせ処理技術と本発明の領域拡張処理技術を利用した画質改善処理技術に関するものである。背景技術

デジタル画像処理技術において、複数の画像を利用して高画質な画像を生成する画質改善処理がある。例えば、超解像処理は、このような画質改善処理の 1つである。超解像処理とは、位置ずれのある複数の低解像度画像を利用して、 1つの高解像度画像を再構成（推定）する処理でめる。

複数の画像を利用して高画質な画像を生成する画質改善処理を行うためには、これら複数の画像間の位置合わせ処理が必要不可欠である。特に、超解像処理においては、複数の低解像度画像間の高精度な位置合わせ処理が必要である（非特許文献 1 を参照）。また、様々な応用において、画像全体（全画面）を超解像処理したいという要求も大きい。

しかし、撮影された低解像度画像（観測画像）には、モーションの異なる複数の移動体が含まれることが多く、このような複数のモーションを含む画像間の画像全体（全画面）の高精度な位置合わせ処理を行うことは、非常に難しい問題である。

複数のモーションが含まれる画像間の画像全体（全画面）の位置合わせ処理（以下、「複数モーションに対応した画像位置合わせ処理」と言う。）を行う既存方法としては、例えば、

( 1 ) 画像全体（全画面）を単一モーションと仮定して、位置合わせ処理を行う方法（以下、「従来方法 1」という。 ) 、

( 2 ) 局所的な情報のみを利用して、画素毎に位置合わせ処理を行う方法（非特許文献 2を参照）（以下、「従来方法 2」という。）、

( 3 ) 画像全体（全画面）を格子状にプロック分割して、プロック毎に独立に位置合わせ処理を行う方法（非特許文献 7〜非特許文献 9 を参照 ) (以下、「従来方法 3」という。）、

( 4 ) 単一モーション領域の抽出と位置合わせ処理を同時に行う方法（非特許文献 1 0及ぴ非特許文献 1 1 を参照）（以下、「従来方法 4」という。）、

( 5 ) 特徴点ベース位置合わせ処理手法を応用して、複数のモーションを抽出する方法（非特許文献 1 2〜非特許文献 1 4を参照）（以下、「従来方法 5」という。）、などの方法がある。

{先行技術文献 }

{特許文献）

特許文献 1 ：特開 2007- 257287号公報特許文献 2 ：特願 2007 - 038006

特許文献 3 ：特願 2007- 070401

{非特許文献）

非特許文献 1 ：

エス. パーク（S. Park) _N ェム. パーク（M. Park)、ェム. カン（M. Rang)共著，「スーノーレゾルーシヨンイメージリコンストラクション：ァテク二力ノレォーノ一ビュー Super— resolution image reconstruction： a technical overview) J ， I E E E シグナルプロセシングマガジン（； [EEE Signal Processing Magazine)，第 20奢，第 3号， p.21-36, 2003年非特許文献 2 ：

ダブリュー. チャオ（W. Zhao) 、ェイチ. ソーニー（H. Sawhney ) 共著，「ィズスーノ一レゾルーシヨンウイズオプティカルフローフィージフ、 ' ノレ？ ( Is super-resolution with optical flow feasible?) 」，ョ一口ビアンカンファレンスオンコンピュータビジョン ( European Conference on Computer Vision) (ECCV) ,第 1 卷 , p.599-613, 2002年非特許文献 3 ：

ゼッド . エイ . イノノブスキ（Z. A. Ivanovski) 、エル. ノノブスキ（L. Panovski) 、エル. ジエー. カラム（L. J. Karam) 共著，「ロノストスーノヽーレゾノレーシヨンベ一スドオンピクセ /レレべノレセレクテイビティ obust super-resolution based on pixel-level selectivity) 」，プロスィーディングズオフ S P l E (Proceedings of SPIE) ,第 6077卷， p.607707, 2006年非特許文献 4 ： ' 戸田真人 · 塚田正人 · 井上晃共著，「レジストレーシヨン誤差を考慮した超角军像処理」，プロスィーディングズオフ F I T 2 0 0 6 ( Proceeding of FIT 2006) ，第 1卷， p.63 - 64， 2006年非特許文献 5 ：

ェヌ . ェノレ一ヤマニ (N. El-Yamany) 、ピー. ノノヽ°ミチャリス（P. Papamichalis) 、ダブリュー. スチユカ二 ( W. Schucany) 共著、「ァロノくストイメージスーノーレゾルーシヨンスキームベースドオンレデセンディング M—エスチメイタスアンドインフォメイシヨン一セォレテイクタージエンス (A Robust Image Super一 re so丄 ut i on Scheme Based on Redescending M - Estimators and Information— Theoretic Divergence) J ， I E E E インターナショナノレカンファレンスオンアコースティックス，スピーチアンドシグナノレプロセシング、 IEEE International Conference on Acoustics , Speech and Signal Processing) (ICASSP)，第 1卷， p.741-744, 2007年非特許文献 6 ：

エス . ファースィ (S. Farsiu) 、ェム . ロビンソン（M. Robinson ) 、ェム. エラド（M. Elad) 、ピー. ミランファー（P. Milanfar ) 共著，「ファストアンドストマルチフレームスーノヽレゾノレーシヨン (Fast and robust multif rame super resolution) 」 , I E E E トランスアクションズオンイメージプロセシング（ IEEE Transactions on Image Processingノ，第 1 o ,第 10 号， p. 1321⁷- 1344, 2004年非特許文献 7 ：

ィー . コース ( E. Courses) 、ティー. サーベイス (T. Surveys) 共著，「ァ口パストィテラティブスーノーレゾルーシヨンリコンストラクシヨンオフイメージシーケンスュジング了ロレンティズアンベイジアンアプローチウイズファストァフィンプロックベースドレジストレイシヨン I. A Robust Iterative Super— Reso丄 ution Reconstruction of JLmage Sequences using a Lorentz ι an Bayesian Approach with Fast Affine Block-Based

Registration) J , I E E E インターナショナルカンファレンスオンイメージフ。ロセシング、丄 EEE International し onference on Image Processing) (ICIP)，第 5巻， p.393-396, 2007年非特許文献 8 ：

ェム. イラニ（M. Irani) 、ビー. ロウソゥ（B. Rousso) 、エス . ペレグ (S. Peleg) 共著，「コンピューティングォクル一デイングアンドトランスペアレントモーションズ ( Computing occluding and transparent mot i ons) J ，インタ一ナショナノレジャーナノレオフコンビユータビジョン (International Journal of Computer Vision) , 第 12卷，第 1号， p.5 - 16, 1994年非特許文献 9 ェム. ブラック（M. Black) 、ピ一. アナンダン（P. Anandan)共著 , 「ザロノストエスティメイシヨンオフマルチプノレモーションズ：パラメトリックアンドピースワイズスムースフローフィールド ( The robust estimation of multiple motions: Parametric and piecewise- smooth flow fields) J , コンビータビジョンアンドイメージアンダスタンディング (Computer Vision and Image Understanding) ，第 63卷，第 1号， p.75-104, 1996年非特許文献 1 0 ：

ジエー . ウイノレス（J. Wills) 、エス . ァガワノレ (S. Agarwal) 、エス . ビロングイエ（S. Belongie) 共著，「ホワットウェントホウェア (What went where) J , Ι Ε Ε Ε コンピュータソサイァティカンファレンス才ンコンピュータビジョンアンドパターンレコグニション ( IctiE Computer Society Conference on Computer Vision and Pattern Recognition) (CVPR)，第 1卷， p.37 - 44, 2003年非特許文献 1 1 ：

ピー . パハツト（p. Bhat) 、ケィ . ツエン（K. Zheng) 、ェヌ . スナベリ（N. Snavely) 、エイ . ァガワラ（A. Agarwala) 、ェム . アグラワラ ( M. Agrawala) 、ェム . コヘン（M. Cohen) 、ビー. カーレス（B. Curless) 共著，「ピースワイズイメージレジストレイシヨンインザプレゼンスオフマノレチプルラージモーションズ ( Piecewi se Image Registration in the Presence of Multiple large Motions) ] , Ι Ε Ε Ε コンピュータソサイァティカンファレンスオンコンピュータビジョンアンドターンレコグニシヨン（ IEEE Computer Society Conference on Computer Vision and Pattern Recognition) (CVPR) ,第 2巻， p. 249ト 2497， 2006年非特許文献 1 2 ：

ォゥ. チュム（0. Chum) 、ジエー. マタス（J. Matas) 共著，「マツチングウイズ P R O S A C—プログレッシブサンプ /レコンセンサス (Matching with PRObAC-progress ive sample consensus) 」， I E E E コンピュータソサイァティカンファレンスオンコンピュータビジョンアンドパターンレコグ - シヨン（ IEEE Computer Society Conference on Computer Vision and Pattern Recognition) (CVPR) ,第 1卷， p.220 - 226， 2005年非特許文献 1 3 ：

ェム . フイシャラ（M. Fischler) 、アーノレ. ポレス（R. Bolles) 共著，「ランダムサンプノレコンセンサス：ァパラダイムフォーモデルフィッティングウイズアプリケイシヨンズトゥーイメージアナリシスアンドオートメィテド力トゥーグラフィ（ Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography) 」，コミュニケ一シヨンズオフザ A C M (Communications of the ACM)，第 24 卷，第 6号， p . 381-395, 1981年非特許文献 1 4 ：

ォゥ. チョウイ（0. Choi) , ェイチ. キム（H. Kim) , アイ . ケウイオン（I. Kweon)共著，「シマルティニァスプレーンェクストラクシヨンアンド 2 D ホモグラフィエスティメイシヨンュジングローカルフィーチャートランスフォーメイションズ (Simultaneous Plane Extraction and 2D Homography Estimation Using Local Feature Transformations) J ，アジアンカンファレンスオンコンヒュ ¹ ~~ タヒシヨン ^As 1 an Conference on Computer Vision) (ACCV) ,第 4844卷， p.269-278, 2007年非特許文献 1 5 ：

ディー. ロウィ（D. Lowe) 著，「デステンクティブイメージフィ一チヤ一ズフロムスケーノレンべアリアントキーポイントズ (

Distinctive Image Features from Scale-Invariant Keypoints) 」，インターナショナノレジャーナノレオフコンピュータビジョン ( International Journal oi Computer Vision) ，第 60 ，第 2 号， p.91-110, 200 年非特許文献 1 6 ：

矢口陽一 · 田中正行 · 奥富正敏共著，「ォクルージョンゃ明るさ変化にロバストな超解像処理」，情報処理学会研究報告：コンピュータビジョンとイメージメディア 2007 - CVIM - 159, 第 2007 卷，第 42 号， p.5：! - 56， 2007年非特許文献 1 Ί ：

シー. サン ( Sun) 著，「ファストアルゴリズムフォーステレオマッチングアンドモーションエスティメイシヨン ( Fast algorithms for stereo matching and motion estimation) J ，プロック . ォフオーストラリア一ジヤノンアドバーンストワークショップオンコンピュータビジョン (Proc. Of Australia- Japan Advanced Workshop on Computer Vision) , p.38-48, 2003 非特許文献 1 8 ：

エス . ベイカ（S. Baker) 、アイ . マチューズ（I. Matthews) 共著，「ノレ一カス一カナデ 2 0 ィヤーズオン：了ユニファイングフレームワーク ( Lucas— Kanade 20 Years On: A Unifying Framework) J ，インターナショナノレジャーナノレオフコンピュータビジョン I. International journal of Computer Vision) ,第 56卷,第 3 号， D.221-255, 2004年非特許文献 1 9 ：

田中正行 · 奥富正敏共著，「周波数領域最適化法による MA P型超解像処理の高速化」，情報処理学会論文誌：コンピュータビジョンとィメージメディア，第 47卷， SIG10 (CVIM15) , p.12-22, 2006年 ' 発明の概要

{発明が解決しようとする課題 }

しかしながら、単一モーションであると仮定して位置合わせ処理を行う「従来方法 1」では、実際に画像全体に複数のモーションが含まれているにもかかわらず、単一モーションと仮定しているため、位置合わせ処理の精度は低く、精度の良いモーションパラメータは得られないとの問題点がある。

また、局所的な情報のみを利用して画素毎に位置合わせ処理を行う「従来方法 2」では、位置合わせ処理に局所的な情報しか利用していないため、位置合わせ処理が不安定になりがちとの問題点がある。

さらに、画像全体を格子状のブロックに分割しブロック毎に独立に位置合わせ処理を行う「従来方法 3」でも、同様に、ブロック毎の位置合わせ処理では、ブロック内の情報のみ（即ち、局所的な情報のみ）を利用しているため、位置合わせ処理が不安定になりがちとの問題点がある。また、分割されたブロック内で単一モーションを仮定して、そのブロックの位置合わせ処理が行われるが、ブロック内が単一モーションであるとは限らないので、プロックによっては、その位置合わせ処理の精度が低く、精度の良いモーションパラメータは得られないとの問題点もある。

また、単一モーション領域の抽出と位置合わせ処理を同時に行う「従来方法 4」では、単一モーションが含まれる領域の抽出と位置合わせ処理を同時に行っているものの、単一モーション領域の抽出が従来方法 4 の主目的であるため、位置合わせ処理の精度はそれほど高いとは言えず、つまり、超解像処理に必要な精度で（サブピクセル精度で）のモーシヨンパラメータは得られなレヽとの問題点がある。

そして、特徴点ベース位貴合わせ処理手法を応用して、複数のモーシヨンを抽出する「従来方法 5」では、各モーションに対応する特徴点が得られるだけであり、そのモーションに対応する領域は得られないとの問題点がある。

このように、上述した複数モーションに対応した画像位置合わせ処理を行う既存方法（従来方法 1〜従来方法 5 ) は、いずれも超解像処理に適したものではない。

ところで、近年、位置合わせ処理の結果が不正確であっても、それに基づいてロバストに画像を再構成することができる「口バスト超解像処理」の研究も行われている（非特許文献 2〜非特許文献 7を参照）。

しかしながら、位置合わせが不正確な領域は、ロバスト超解像処理によりアーチファタトを低減することはできても、解像度を向上させることはできず、本質的な解決とはなっていない。

つまり、複数のモーションが含まれる画像の画像全体（全画面）を画質改善処理（例えば、超解像処理）するためには、複数モーションに対応し、口パスト且つ高精度な位置合わせ処理を行うことが要求される。

換言すれば、複数のモーションに対応する画像位置合わせ処理を行うためには、それぞれのモーションに対応する「単一モーション領域」の抽出処理と、抽出した単一モーション領域に対する位置合わせ処理を行う必要があり、さらに、画質改善処理（例えば、超解像処理）のためには、抽出した単一モーション領域に対して、サブピクセル精度での位置合わせ処理を行う必要がある。

本発明は、上述のような事情から成されたものであり、本発明の目的は、複数のモーションを含む画像間の画像全体（全画面）の位置合わせ処理を、ロバスト且つ高精度に行えるようにした、画像位置合わせ処理装置を提供することにある。

また、本発明のもう 1つの目的は、複数のモーションを含む複数の画像に対し、本発明の画像位置合わせ処理装置により位置合わせ処理を行い、その位置合わせ処理結果と複数の画像を利用して画質改善処理を行うようにした、画質改善処理装置を提供することにある。

また、本発明のもう 1つの目的は、複数のモーションを含む画像に対する領域拡張処理を行う領域拡張処理装置を提供することにある。

更に、本発明のもう 1 つの目的は、複数のモーションを含む複数の画像に対し、本発明の画像位置合わせ処理装置により位置合わせ処理を行い、そして、その位置合わせ処理結果に基づき、前記複数の画像に対し、本発明の領域拡張処理装置により領域拡張処理を行い、更に、その位置合わせ処理結果、その領域拡張処理結果及び前記複数の画像を利用して画質改善処理を行うようにした、画質改善処理装置を提供することにある。

{課題を解決するための手段）

本発明は、複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理を口バスト且つ高精度に行う画像位置合わせ処理装置に関し、本発明の上記目的は、特徴点抽出処理部と、特徴点ベース位置合わせ処理部と、単一モーション領域抽出処理部と、領域ベース位置合わせ処理部と、特徴点削除処理部とを備え、前記特徴点抽出処理部が、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、前記特徴点ベース位置合わせ処理部が、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、前記単一モーション領域抽出処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、前記領域ベース位置合わせ処理部が、前記特徴点べ一ス位置合わせ処理部から出力された初期モーションパラメータと、前記単一モーション領域抽出処理部から出力された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサプピクセル精度で推定する、領域べ一ス位置合わせ処理を行い、前記特徴点削除処理部が、前記基準画像特徴点及び前記入力画像特徴点から、前記単一モーション領域抽出処理部に抽出された単一モーション領域に含まれる特徴点を削除する、特徴点削除処理を行うことによって効果的に達成される。

また、本発明の上記目的は、前記画像位置合わせ処理装置では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理部にて行われる処理、前記特徼点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、前記特徴点抽出処理部により抽出された全ての特徴点を利用して、第 1支配的なモーションに対応する第 1単一モーション領域を抽出し、抽出した第 1単一モーション領域に対応する第 1 モーションパラメータを推定することによつてより効果的に達成される。

また、本発明の上記目的は、前記画像位置合わせ処理装置では、前記第 1 モーションパラメータが推定された後に、前記特徴点削除処理部にて行われる特徴点削除処理により削除されずに残った特徴点を、前記特徴点ベース位置合わせ処理部にて行われる特徴点ベース位置合わせ処理に利用される基準画像特徴点及び入力画像特徴点とした上で、再び、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、第 2支配的なモーションに対応する第 2単一モーション領域を抽出し、抽出した第 2単一モーション領域に対応する第 2モーションパラメータを推定することによってより効果的に達成される。

また、本発明の上記目的は、前記画像位置合わせ処理装置では、前記第 2 モーションパラメータが推定された後に、前記特徴点削除処理部にて行われる処理により単一モーション領域に含まれる特徴点を取り除きながら、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単 —モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を繰り返し行うことにより、複数のモーションに対応する全ての単一モーション領域を逐次的に抽出し、逐次的に抽出された単一モーション領域に対応するモーションパラメータをも逐次的に推定することによってより効果的に達成される。

更に、本発明は、複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成する画質改善処理装置に関し、本発明の上記目的は、画像位置合わせ処理部と、画質改善処理部とを備え、前記画像位置合わせ処理部が、前記複数の画像から 1枚の基準画像を選択し、残つた全ての画像を入力画像とし、次に、本発明の画像位置合わせ処理装置により行われる 1枚の基準画像と 1枚の入力画像との画像全体の位置合わせ処理を、前記複数の画像に対して繰り返し行うことで、複数のモーションを含む複数の画像における全ての単一モーション領域を抽出し、また、それらの単一モーション領域に係る全てのモーションパラメータをロバスト且つ高精度に推定し、前記画質改善処理部が、前記画像位置合わせ処理部から出力された、複数の単一モーション領域と、それぞれの単一モーション領域に対応するモーションパラメータとに基づき、前記複数の画像に対し、画質改善処理を行うことにより、前記画質改善画像を生成することによつて効果的に達成させる。

また更に、本発明は、複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理を口バスト且つ高精度に行う画像位置合わせ処理装置に関し、本発明の上記目的は、特徴点抽出処理部と、特徴点ベース位置合わせ処理部と、単一モーション領域抽出処理部と、領域ベース位置合わせ処理部とを備え、前記特徴点抽出処理部が、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、前記特徴点ベース位置合わせ処理部が、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーシヨンパラメ一タ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、前記単一モーション領域抽出処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、前記領域ベース位置合わせ処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータと、前記単一モーシヨン領域抽出処理部から出力された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行うことにより、或いは、前記画像位置合わせ処理装置では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理部にて行われる処理、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、前記特徴点抽出処理部により抽出された全ての特徴点を利用して、第 1支配的なモーションに対応する第 1単一モーション領域を抽出し、抽出した第 1単一モーション領域に対応する第 1 モーションパラメ ^ "タを推定することによつて効果的に達成される。

また、本発明は、複数のモーションを含む基準画像と、複数のモーシヨンを含む入力画像と、前記基準画像と前記入力画像との画像全体の位置合わせ処理を行うことにより得られた複数のモーションに対応する複数の単一モーション領域及び前記複数の単一モーション領域に対応する複数のモーションパラメータに基づき、前記基準画像及ぴ前記入力画像に対する領域拡張処理を行う領域拡張処理装置に関し、本発明の上記目的は、前記基準画像を入力とするテクスチャレス領域抽出処理部と、前記入力画像及び前記複数のモーションパラメータを入力とする画像変形処理部と、前記基準画像を 1つの入力とする類似度による閾値処理部と

、論理積処理部と、前記複数の単一モーション領域を入力とする論理和処理部とを備え、前記テクスチャレス領域抽出処理部が、前記基準画像のテクスチャレス領域を抽出する、テクスチャレス領域抽出処理を行い、抽出したテクスチャレス領域を前記論理積処理部へ出力し、前記画像変形処理部が、前記複数のモーションパラメータに基づき、前記入力画像を変形し、変形された入力画像を変形入力画像として前記類似度による閾値処理部へ出力し、前記類似度による閾値処理部が、前記基準画像及び前記変形入力画像に対し、局所的な類似度を閾値処理することにより、類似領域を抽出し、抽出した類似領域を前記論理積処理部へ出力し、前記論理積処理部が、前記テクスチャレス領域抽出処理部から出力された前記テクスチャレス領域、及び前記類似度による閾値処理部から出力された前記類似領域に対し、論理積処理を行うことにより、テクスチャレス類似領域を生成し、生成したテクスチャレス類似領域を前記論理和処理部へ出力し、前記論理和処理部が、前記論理積処理部から出力された前記テクスチャレス類似領域、及び前記複数の単一モーション領域に対し、論理和処理を行うことにより、前記テクスチャレス類似領域と前記複数の単一モーション領域を合わせた、複数の拡張単一モーション領域を生成することによって効果的に達成される。

また、本発明の上記目的は、前記テクスチャレス領域抽出処理では、前記基準画像における局所的な画像の分散を求め、求めた局所的な画像の分散が所定の閾値以下の領域をテクスチャレス領域として抽出することにより、或いは、前記類似度による閾値処理部に利用される前記局所的な類似度は、 S S D又は S A Dであることによってより効果的に達成される。

また更に、本発明は、複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成する画質改善処理装置に関し、本発明の上記目的は、画像位置合わせ処理部と、領域拡張処理部と、画質改善処理部とを備え、前記画像位置合わせ処理部が、前記複数の画像から 1枚の基準画像を選択し、残った全ての画像を入力画像とし、次に、本発明の画像位置合わせ処理装置により行われる 1枚の基準画像と 1枚の入力画像との画像全体の位置合わせ処理を、前記複数の画像に対して繰り返し行うことで、複数のモーションを含む複数の画像における全ての単一モーシヨン領域を抽出し、また、それらの単一モーション領域に係る全てのモーションパラメータをロバスト且つ高精度に推定し、前記領域拡張処理部が、前記画像位置合わせ処理部から出力された、前記複数の画像における全ての単一モーション領域と、前記全ての単一モーション領域に対応する全てのモーションパラメータとに基づき、本発明の領域拡張処理装置により行われる 1枚の基準画像及び 1枚の入力画像に対する領域拡張処理を、前記複数の画像に対して繰り返し行うことで、前記複数の画像における全ての拡張単一モーション領域を生成し、前記画質改善処理部が、前記領域拡張処理部から出力された前記複数の画像における全ての拡張単一モーション領域と、前記画像位置合わせ処理部から出力された前記全てのモーションパラメータとに基づき、前記複数の画像に対し、画質改善処理を行うことにより、前記画質改善画像を生成することによって効果的に達成される。

{発明の効果 }

本発明に係る画像位置合わせ処理技術によれば、複数のモーシヨンを含む画像間の画像全体の位置合わせ処理を口パスト且つ高精度に行うことができるという優れた効果を奏する。

また、初期モーションなしで大きな変形をもった画像間の位置合わせ処理は、従来の領域ベース位置合わせ処理アルゴリズムによっては不可能であるが、本発明に係る画像位置合わせ処理技術は、特徴点ベース位置合わせ処理と領域ベース位置合わせ処理の長所を併せ持っているので、本発明によれば、そのような困難な位置合わせ処理を行うことも可能である。

また、従来の多くの位置合わせ処理方法は、単一モーションを仮定しているため、実際に、そのような位置合わせ処理方法を画像処理等のァプリケーシヨンに適用する際に、アプリケーションのユーザが、単一モーション領域を指定する必要がある。

しかし、本発明では、単一モーション領域を抽出しながら、モーションパラメータを推定するようにしているので、ユーザによる単一モーション領域を指定する必要は全くない。

更に、本発明に係る画像位置合わせ処理技術により、抽出された複数の単一モ一ション領域と、推定されたそれらの単一モーション領域に対応する複数のモーションパラメータを用いて、本発明に係る画質改善処理装置にて、画像全体（全画面）の超解像処理を実現した。

本発明によれば、別々に動く複数の移動体（モーション）が存在する時系列画像から、高解像度の画像を再構成できるという優れた効果を奏する。 ' 図面の簡単な説明

図 1 は本発明に係る画質改善処理装置の第 1実施形態を示すブロック構成図である。

図 2は本発明に係る画像位置合わせ処理装置の実施形態を示すプロック構成図である。

図 3は本発明の画像位置合わせ処理装置 1 0 0の処理流れを示すフロ一図である。

図 4は本発明に係る画像位置合わせ処理装置による、複数のモーションを含む 2つの画像間の画像全体の位置合わせ処理を行う際の画像例を示す図である。

図 5は 2つの移動体が別々に動いているシーンを撮影した時系列画像を示す図である。

図 6は単一モーション領域抽出処理の結果を示す図である。

図 7は左右の移動体を基準画像に合わせて変形した結果を示す図である。

図 8は超解像処理結果を示す図である。

図 9は超解像処理結果を示す図である。

図 1 0は超解像処理結果を示す図である。

図 1 1 は本発明に係る画質改善処理装置の第 2実施形態を示すブロック構成図である。

図 1 2は本発明に係る領域拡張処理装置の実施形態を示すプロック構成図である。

発明を実施するための形態

本発明は、複数モーションに対応した画像位置合わせ処理技術及ぴ、当該画像位置合わせ処理技術を利用した画質改善処理技術に関する。具体的に、本発明は、複数のモーションを含む画像間の画像全体（全画面）の位置合わせ処理を、ロバスト且つ高精度に行えるようにした、画像位置合わせ処理装置、画像位置合わせ処理方法及び画像位置合わせ処理プログラムに関する。

また、本発明は、複数のモーションを含む複数の画像に対し、本発明の画像位置合わせ処理装置にて画像間の位置合わせ処理を行い、得られた複数の単一モーション領域及び各単一モーション領域に対応する高精度なモーションパラメータと、複数の画像を利用して、画質改善処理を行うことにより、画質改善画像を生成する、画質改善処理装置に関するまた、本発明は、複数のモーションを含む画像に対する領域拡張処理を行う領域拡張処理技術に関する。また更に、本発明は、本発明の画像位置合わせ処理技術と本発明の領域拡張処理技術を利用した画質改善処理技術に関する。

ここで、まず、本発明の着眼点について述べる。

画像間の位置合わせ処理は、特徴点ベース位置合わせ処理と領域べ一ス位置合わせ処理に大きく分けられる。

領域ベース位置合わせ処理は、モーションパラメータの初期値と単一モーション領域を与える必要があるが、位置合わせ処理を高精度に行うことができる。

一方、特徴点ベース位置合わせ処理では、モーションパラメータの初期値や単一モーション領域を必要とせず、位置合わせ処理を口バストに行うことが可能である。

しかしながら、特徴点ベース位置合わせ処理は、領域ベース位置合わせ処理ほど、高精度に位置合わせ処理を行うことができない。また、特徴点ベース位置合わせ処理では、モーションパラメータを推定できるものの、そのモーションパラメータに対応する単一モーション領域を推定することができない。

本発明の発明者らは、特徴点ベース位置合わせ処理と領域ベース位置合わせ処理の長所に着眼し、両者の短所を排除した上で両者の長所を融合し、更に、独自な単一モーション領域抽出処理技術を利用することにより、複数のモーションを含む画像間の画像全体（全画面）の位置合わせ処理を口バスト且つ高精度に行えるようにした本発明を発明した。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

本発明では、複数のモーションを含む画像間の位置合わせ処理を行うために、それぞれのモーションを単一モーションとして推定し、その単一モーションに対応する単一モーション領域を抽出し、更に、抽出した単一モーション領域のモーションパラメータを高精度に推定する。

つまり、本発明を用いて、複数のモーションを含む 1枚の基準画像と、複数のモーションを含む 1枚の入力画像との画像全体（全画面）の位置合わせ処理を行う場合に、まず、基準画像及び入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理（以下、第 1処理とも言う。）を行う次に、基準画像から抽出された特徴点（基準画像特徴点）と、入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理を行い、対応付けられた特徴点から外れ値を削除して、初期モーションパラメ一タをロバストに推定する、特徴点ベース位置合わせ処理（以下、第 2処理とも言う。）を行う。以下、第 2処理は、外れ値の削除を伴う特徴点ベース位置合わせ処理とも言う。

次に、推定された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する領域（即ち、単一モーション領域）を抽出する単一モーション領域抽出処理（以下、第 3処理とも言う。）を行う。

次に、初期モーションパラメータと、抽出された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で (高精度に）推定する、領域ベース位置合わせ処理（以下、第 4処理とも言う。）を行う。

このように、基準画像及び入力画像から抽出された全ての特徴点を利用して、第 1処理から第 4処理までの一連の処理を行うことにより、最も多くの特徴点を含んでいる支配的なモーション（以下、第 1支配的なモーションとも言う。）に対応する単一モーション領域を抽出することができ、また、その単一モーション領域に対応するモーションパラメ一タを推定することができる。

つまり、上記のように、画像間で対応付けられた全ての特徴点を用い、外れ値の削除を伴う特徴点ベース位置合わせ処理（第 2処理）を行うことにより、最も多くの特徴点を含む支配的なモーションが推定される訳である。次に、基準画像特徴点及び入力画像特徴点から、単一モーション領域に含まれる特徴点を削除する特徴点削除処理（以下、第 5処理とも言う。）を行う。

次に、削除されずに残った特徴点を基準画像特徴点及び入力画像特徴点として利用し、再び、第 2処理から第 4処理までの一連の処理を行うことにより、 2番目に支配的なモーション（以下、第 2支配的なモーシヨンとも言う。）に対応する単一モーション領域を抽出することができ、また、その単一モーション領域に対応するモーションパラメータを推定することができる。

本発明では、上記のようにして、第 5処理を行うことにより単一モーシヨン領域に含まれる特徴点を取り除きながら、第 2処理から第 4処理までの一連の処理を繰り返し行うことにより、複数のモーションに対応する単一モーション領域を逐次的に抽出し、そして、逐次的に抽出された単一モーション領域に対応するモーションパラメータをも逐次的に推定する。つまり、本発明では、特徴点を多く含む支配的なモーションから順番に逐次的に複数のモーションパラメータを推定するようにしている。

このように、本発明では、第 1処理を行い、更に、第 2処理から第 5 処理までの一連の処理を繰り返し行うことにより、複数の単一モーション領域を抽出することが可能となり、また、それぞれの単一モーション領域に対応するモーションパラメータを口バスト且つ高精度に推定することができる。

ちなみに、上記のような処理は、複数のモーションを含む 2つの画像間の画像全体の位置合わせ処理となる。上記のような処理（複数のモーシヨンを含む 2 つの画像間の画像全体の位置合わせ処理）を、複数のモーションを含む複数の画像に対して繰り返し適用することにより、複数のモーションを含む複数の画像間の画像全体の位置合わせ処理が可能になる。

更に、本発明では、複数のモーションを含む複数の画像に対して、画像全体の位置合わせ処理を行うことにより、高精度に（即ち、サブピクセル精度で）推定されたモーションパラメータと、当該モーションパラメータに対応する単一モーシヨン領域を利用して、画像全体の画質改善処理（例えば、超解像処理）を行うことにより、画質改善画像を生成する。

図 1 は本発明に係る画質改善処理装置の第 1実施形態を示すプロック構成図である。

図 1 に示すように、本発明に係る画質改善処理装置 1 は、画像位置合わせ処理部 1 0 と、画質改善処理部 2 0 とから構成され、複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成するものである。

本発明の画質改善処理装置 1では、まず、画像位置合わせ処理部 1 0 が、複数のモーションを含む複数の画像に対し、詳細は後述する本発明に係る画像位置合わせ処理装置により、画像全体の位置合わせ処理を行うことにより、複数のモーションに対応する複数の単一モーション領域を抽出し、また、抽出されたそれぞれの単一モーション領域に対応するモーションパラメータを口バスト且つ高精度に推定する。

つまり、画像位置合わせ処理部 1 0では、まず、複数のモーションを含む複数の画像から、 1枚の基準画像を選択し、残った全ての画像を入力画像とし、次に、本発明に係る画像位置合わせ処理装置により行われる 1枚の基準画像と 1枚の入力画像との画像全体の位置合わせ処理を、複数のモ一ションを含む複数の画像に対して繰り返し行ことで、複数のモ一シンを含む複数の画像における全ての単一モーション領域を抽出し、またヽそれらの単一モーション領域に係る全てのモーションパラメータを Π ノスト且つ高精度に推定する。

次に、画質改善処理部 2 0が、画像位置合わせ処理部 1 0から出力された、複数の単一モーション領域と、それぞれの単一モ一ション領域に対応するモ一ションパラメータとに基づき、複数のモーションを含む複数の画像に対し、画質改善処理を行うことにより、画質改善画像を生成する。またヽ画質改善処理部 2 0にて行われる画質改善処理は、例えば

、特許文献 3に開示された画質改善処理方法を用いて行うことができる o

なお、本発明に係る画質改善処理装置に利用される複数のモーションを含む複数の画像として、複数の動き（複数の複雑な動さ ) のある動画像（即ち、複数の移動体が別々に動いているシーンを撮影した時系列画像）を用いることができる。その場合、例えば、時系列画像の最初のフレームを基準画像とし、その後のフレームを入力画像とすることができる。

勿論、本発明の画質改善処理装置は、動画像に適用されることに限定されることはなく、複数のモーションを含む複数の画像として、静止画像を用いることも勿論可能である。 ·

図 2は本発明に係る画像位置合わせ処理装置の実施形態（画像位置合わせ処理装置 1 0 0 ) を示すブロック構成図である。また、図 3は本発明の画像位置合わせ処理装置 1 0 0の処理流れを示すフロー図である。以下、図 2及び図 3を用いて、本発明に係る画像位置合わせ処理装置を詳細に説明する。本発明に係る画像位置合わせ処理装置にて行われる処理は、複数のモーシヨンを含む 2枚の画像間の画像全体の位置合わせ処理である。

図 2に示すように、本発明に係る画像位置合わせ処理装置 1 0 0は、特徴点抽出処理部 1 1 0 と、特徴点ベース位置合わせ処理部 1 2 0 と、単一モーション領域抽出処理部 1 3 0 と、領域ベース位置合わせ処理部 1 4 0 と、特徴点削除処理部 1 5 0 とから構成され、複数のモーションを含む 2枚の画像間（ 1枚の画像は基準画像で、もう 1枚の画像は入力画像である）の画像全体の位置合わせ処理を行うものである。

図 2に示すように、本発明の画像位置合わせ処理装置 1 0 0では、まず、特徴点抽出処理部 1 1 0が、基準画像及び入力画像に基づき、基準画像及び入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行う (図 3のステップ S 1 0、ステップ S 2 0を参照）。

次に、特徴点ベース位置合わせ処理部 1 2 0が、特徴点ベース位置合わせ処理を行う。特徴点ベース位置合わせ処理は、基準画像から抽出された特徴点（基準画像特徴点）と、入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理（図 3のステップ S 3 0を参照）と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理（図 3 のステップ S 4 0を参照）とから構成される。次に、単一モーション領域抽出処理部 1 3 0が、特徴点ベース位置合わせ処理部 1 2 0から出力された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する単一モーション領域抽出処理（図 3のステップ S 6 0を参照）を行う。

次に、領域ベース位置合わせ処理部 1 4 0力特徴点ベース位置合わせ処理部 1 2 0から出力された初期モーションパラメータと、単一モーシヨン領域抽出処理部 1 3 0から出力された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で（高精度に）推定する、領域ベース位置合わせ処理（図 3 のステップ S 7 0を参照）を行う。

つまり、領域ベース位置合わせ処理部 1 4 0では、特徴点ベース位置合わせ処理部 1 2 0から出力された初期モーションパラメータをモーシヨンパラメータの初期値とし、単一モーション領域抽出処理部 1 3 0から出力された単一モーション領域を注目領域として、当該単一モーション領域（注目領域）に対応するモーションパラメータをサブピクセル精度で推定するようにしている。

本発明の画像位置合わせ処理装置 1 0 0では、まず、基準画像及び入力画像に基づき、特徴点抽出処理部 1 1 0にて行われる処理、特徴点べース位置合わせ処理部 1 2 0にて行われる処理、単一モーション領域抽出処理部 1 3 0にて行われる処理、領域ベース位置合わせ処理部 1 4 0 にて行われる処理を順番に行うことにより、特徴点抽出処理部 1 1 0により抽出された全ての特徴点を利用して、最も多くの特徴点を含んでいる支配的なモーション（第 1支配的なモーション）に対応する単一モーシヨン領域（以下、第 1単一モーション領域と言う。）を抽出し、また、第 1単一モーション領域に対応するモーションパラメータ（以下、第 1 モーションパラメータと言う。）を推定する。

次に、特徴点削除処理部 1 5 0が、基準画像特徴点及び入力画像特徴点から、単一モーション領域抽出処理部 1 3 0に抽出された単一モーション領域に含まれる特徴点を削除する特徴点削除処理（図 3 のステップ S 9 0を参照）を行う。

次に、本発明の画像位置合わせ処理装置 1 0 0では、特徴点削除処理部 1 5 0 にて行われる特徴点削除処理により削除されずに残った特徴点を、特徴点ベース位置合わせ処理部 1 2 0にて行われる特徴点ベース位置合わせ処理に利用される基準画像特徴点及び入力画像特徴点とした上で、再ぴ、特徴点ベース位置'合わせ処理部 1 2 0にて行われる処理、単 —モーション領域抽出処理部 1 3 0にて行われる処理、領域ベース位置合わせ処理部 1 4 0にて行われる処理を順番に行うことにより、 2番目に支配的なモーション（第 2支配的なモーション）に対応する単一モーシヨン領域（以下、第 2単一モーション領域と言う。）を抽出し、また、第 2単一モーション領域に対応するモーションパラメータ（以下、第 2 モーションパラメータと言う。）を推定する。

本発明の画像位置合わせ処理装置 1 0 0では、上記のようにして、特徴点削除処理部 1 5 0にて行われる処理により単一モーション領域に含まれる特徴点を取り除きながら、特徴点ベース位置合わせ処理部 1 2 0 にて行われる処理、単一モーション領域抽出処理部 1 3 0にて行われる処理、領域ベース位置合わせ処理部 1 4 0にて行われる処理を繰り返し行うことにより、複数のモーションに対応する全ての単一モーション領域を逐次的に抽出し、そして、逐次的に抽出された単一モーション領域に対応するモーションパラメータをも逐次的に推定する。

換言すれば、本発明の画像位置合わせ処理装置 1 0 0では、特徴点を多く含む支配的なモーションから、順番に逐次的に単一モーション領域を抽出し、そして、順番に逐次的に抽出された単一モーション領域に対応するモーションパラメータを推定するようにしている。

このように、本発明の画像位置合わせ処理装置 1 0 0では、特徴点抽出処理部 1 1 0により特徴点抽出処理を行い、更に、特徴点ベース位置合わせ処理部 1 2 0にて行われる処理、単一モーション領域抽出処理部 1 3 0にて行われる処理、領域ベース位置合わせ処理部 1 4 0にて行われる処理、特徴点削除処理部 1 5 0にて行われる処理を繰り返し行うことにより、複数のモーションに対応する複数の単一モーション領域を抽出することが可能となり、また、それぞれの単一モーション領域に対応するモーションパラメータを口パスト且つ高精度に推定することができる。

以下、図 3のフロー図及び図 4の画像例を用いて、本発明の画像位置合わせ処理装置にて行われるそれぞれの処理について、より詳細に説明する。く 1 >特徴点抽出処理

図 3のステップ S 1 0 とステップ S 2 0に示すように、本発明の画像位置合わせ処理装置では、複数のモーションを含む基準画像及ぴ入力画像に対して、特徴点抽出処理をそれぞれ行う。また、図 4に基準画像及ぴ入力画像に対して行った特徴点抽出処理結果の画像例を示している。本発明における特徴点抽出処理では、まず、ガウシアンのスケールパラメータを変ィ匕させな力 Sら、 D o G (Difference— of— Gaussian) を計算する。次に、 D o Gの極小値又は極大値を特徴点として抽出する。

このとき、 D o Gの極小値又は極大値に対応する D o Gのスケールパラメータは、く 2 a 〉で詳述する「画像間の特徴点の対応付け処理」において、抽出された特徴点の周辺領域を正規化するときに利用される。

ここで、基準画像から抽出された特徴点の位置を {( , )} =1~ とし、また、入力面像から抽出された特徴点の位置を =卜とする。ただし、 Ν_τは基準画像から抽出された特徴点の数を表し、また、 N _tは入力画像から抽出された特徴点の数を表す。く 2 >特徴点ベース位置合わせ処理

本発明の画像位置合わせ処理装置では、特徴点ベース位置合わせ処理部 1 1 0が、基準画像から抽出された特徴点（基準画像特徴点）と入力画像から抽出された特徴点（入力画像特徴点）とに基づき、特徴点べ一ス位置合わせ処理を行う。

ここで、特徴点ベース位置合わせ処理について、その概要を述べる。特徴点ベース位置合わせ処理は、基準画像特徴点と入力画像特徴点との対応付け処理、（即ち、画像間の特徴点の対応付け処理）と、対応付けられた特徴点から外れ値を削除してからの初期モーシヨンパラメータ推定処理とから構成される。

ここで言う「対応付けられた特徴点から外れ値を削除する」とは、画像間の特徴点の対応付け処理によって得られた特徴点対（以下、「対応付けられた特徴点対」と言う。）から、所定の基準に外れた特徴点対（以下、「外れ特徴点対」と言う。）を削除することを意味する。非特許文献 1 2〜非特許文献 1 4に、対応付けられた特徴点対から外れ特徴点対を取り除きながら、モーションパラメータを推定する方法が記載されている。

本発明の画像位置合わせ処理装置 1 0 0では、特徴点抽出処理部 1 1 0にて行われる「特徴点抽出処理」と、特徴点ベース位置合わせ処理部 1 2 0にて行われる「画像間の特徴点の対応付け処理（図 3のステップ S 3 0を参照）」については、非特許文献 1 5に記載された S I F Tァルゴリズムを利用した。なお、非特許文献 1 5 に記載された S I F Tァルゴリズムは、変形が大きくても比較的口パストな結果が得られる方法である。また、特徴点ベース位置合わせ処理部 1 2 0にて行われる「対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理（図 3のステップ S 4 0を参照）」については、非特許文献 1 3 に記載された R A N S A Cアルゴリズムの高速化手法である、非特許文献 1 2に記載された； P R O S A Cアルゴリズムを利用した。

本発明では、外れ特徴点対の削除（外れ値の削除）を伴う特徴点べ一ス位置合わせ処理を行うことにより、初期モーションパラメータをロバストに推定することができる。

< 2 a >画像間の特徴点の対応付け処理

図 3のステップ S 3 0に示すように、本発明の画像位置合わせ処理装置では、基準画像から抽出された特徴点（基準画像特徴点）と、入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理、即ち、画像間の特徴点の対応付け処理を行う。

本発明における画像間の特徴点の対応付け処理は、特徴点の周辺領域を正規化する処理と、特徴点の特徴量を計算する処理と、特徴量の距離に基づく対応付け処理とから構成される。

特徴点の周辺領域を正規化する処理を行うために、まず、特徴点のスケールパラメータと特徴点の方向を定める。特徴点のスケールパラメ一タとして、特徴点が抽出されたときの D o Gのスケールパラメータを利用する。また、特徴点の方向を定めるために、抽出された特徴点の周辺領域の各画素の勾配の方向を計算し、計算された勾配の方向のヒストグラムを作成する。作成されたヒストグラムのピークを対応する画素の勾配の方向を特徴点の方向として定める。

このように定められた、特徴点の周辺領域を、スケールパラメータと方向に基づき、正規化する。特徴点の周辺領域を正規化する処理とは、周辺領域をスケールと方向を全ての特徴点で等しくなるように、拡大または縮小、回転をする処理である。

次に、特徴点の周辺領域を正規化する処理により、正規化された特徴点の周辺領域を、小領域に分割する。一つの具体例として、例えば、正規化された特徴点の周辺領域を 4 X 4の 1 6個の小領域に分割する。

次に、分割された各小領域において、各画素の勾配の方向を計算し、計算された勾配の方向のヒストグラムを作成する。一つの具体例として、例えば、 3 6 0度の方向を 4 5度幅でヒストグラムを作成することにより、 8方向の頻度値が得られる。この頻度値を画素数で正規化した値を、特徴点の特徴量とする。

分割された 1 6個の小領域で、それぞれ 8方向の正規化された頻度値が得られるので、一つの特徴点に対して、 1 2 8個の特徴量が得られることになる。

ここで、基準画像から抽出された特徴点に対応する特徴量を ¾ とする。また、入力画像から抽出された特徴点）に対応する特徴量をとする。ただし、及びは、特徴量を表す 1 2 8次元のベクトルである。

特徴量の距離に基づく対応付け処理では、まず、基準画像の p番目の特徴点と、入力画像の q番目の特徴点との距離 s _{p q}を計算する。距離 s _{p q}は =|| ¾ - | に基づいて計算される。ここで、 ΙΗ は L 2 ノルムを表す。

基準画像の ρ番目の特徴点に対応する入力画像の特徴点は、距離 s _ρ _qを最も小さくなるような入力画像の q番目の特徴点が選ばれる。

次に、信頼度 r は r = /^に基づいて計算される。但し、は最も小さい距離を表し、また、は 2番目に小さい距離を表す。信頼度 r が閾値より大きい場合のみ、画像間の特徴点の対応付けを行う。一つの具体例として、例えば、信頼度 r の閾値を 1 . 5 とした。

以上の一連の処理により、基準画像から抽出された特徴点と、入力画像から抽出された特徴点とは対応付けされる。

ここで、基準画像から抽出された特徴点，）に対応づけられた、入力画像から抽出された特徴点を（x , ）で表す。また、対応づけられた特徴点の数を N _{T I} とする。つまり、 k = l〜N _{T I}が成立する。く 2 b >対応づけられた特徴点から外れ値を削除して初期モーションパラメ一タ推定処理

図 3のステップ S 4 0に示すように、本発明の画像位置合わせ処理装置では、対応付けられた特徴点から外れ値を削除して、初期モーションパラメ一タ推定処理を行う。

対応づけられた特徴点から外れ値を削除して初期モーションパラメ一タ推定処理は、具体的に、下記ステップ 1〜ステップ 1 0により行われる。

なお、以下の実施例では、モーションモデルに射影変換を利用しており、つまり、推定される初期モーションパラメータは射影変換パラメ一タである。但し、本発明は、モーションモデルに射影変換を利用することに限定されることは無く、例えば、射影変換以外のモーションモデルを利用することも勿論可能である。ステップ 1 ：

t、 n、 Lに対し、それぞれ所定の適切な値をセットする。ここで、 t = l、 n = 5、 L = 0にセットする。ステップ 2 ：

信頼度 r の大きな方から、（ n— 1 ) 個の特徴点の対応を選び、その中から 3つの特徴点の対応をランダムに選択する。ステップ 3 ：

選択された 3つの特徴点と n番目に信頼度 r の大きい特徴点との対応を利用して、射影変換パラメータ I ^を計算する。ステップ 4 ：

射影変換パラメータに基づき、入力画像特徴点を変換し、変換された入力画像特徴点の位置と、入力画像特徴点に対応付けされている基準画像特徴点の位置との差を計算する。計算された位置の差が所定の閾値以下である特徴点の数を数える。一具体例として、例えば、この所定の閾値を 2 とする。ステップ 5 ：

位置の差が所定の閾値以下である特徴点の数が、 Lよりも大きい場合は、 Lに位置の差が所定の閾値以下である特徴点の数をセットする。ステップ 6 ：

t が下記数 1 で表す条件を満足する場合には、射影変換パラメータを初期モーションパラメータの推定値 H。として出力し、初期モーシヨンパラメータ推定処理が終了する（図 3のステップ S 5 0を参照）。【数 1 】

i>(log )/log(l- ( ))

【数 2】

³ -j

^)=Πゾ =0 N_TI― j

但し、 ηは設計パラメ具体例として、例えば、 η を 0 0 5 とした。ステップ 7 ：

t を 1増加させる。ステップ 8 ：

tが所定の数てを超えた場合に、初期モーションパラメータ推定処理が失敗したものとして、本発明の画像位置合わせ処理装置における処理を終了する（図 3のステップ S 5 0 を参照）。一具体例として、例えば、て = 1 0 0 0 0 0 0 とした。ステップ 9 ：

tが下記数 3で表す条件を満足する場合には、 nを 1増加させる。【数 3】 t>rx

ステップ 1 0 ：

ステップ 2に戻り、処理を繰り返すく 3 〉単一モーション領域抽出処理

本発明の画像位置合わせ処理装置では、単一モーション領域抽出処理部 1 3 0 にて行われる「単一モーション領域抽出処理」については、特許文献 2、非特許文献 1 6に開示された画素選択アルゴリズムを利用した。

つまり、単一モーション領域抽出処理部 1 3 0 では、特許文献 2、非特許文献 1 6に開示された画素選択アルゴリズムを用いて画素を選択し、そして選択した画素のみで構成される領域（即ち、選択した画素の集合）を単一モーション領域として抽出する。

特許文献 2や非特許文献 1 6では、画素を選択する際に、画像間の類似度による評価に加えて、局所的な位置ずれ量を利用する。本発明では、非特許文献 1 6に記載されたアルゴリズムを用いた場合に、画像間の類似度が高く、位置ずれ量の小さな画素を選択する。選択した画素を単 —モーション領域に属する画素とする。

なお、単一モーション領域抽出処理部 1 3 0では、特許文献 2、非特許文献 1 6に開示された画素選択アルゴリズムを利用して単一モーション領域抽出処理を行うことに限定されることはなく、例えば、特許文献 1 に開示されたようなマスク画像生成アルゴリズムを利用することによりマスク画像を生成し、生成したマスク画像を単一モーション領域として抽出することも勿論可能である。

本発明の画像位置合わせ処理装置では、図 3 のステップ S 6 0に示すように、推定された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する、単一モーション領域を抽出する単一モ一ション領域抽出処理を行う。また、図 4に抽出された単一モーション領域の画像例を示している。

以下、単一モーション領域抽出処理の好適な実施例を具体的に説明する。

本発明の単一モーション領域抽出処理では、基準画像 Tと入力画像 I 、推定された初期モーションパラメータ H。（以下、単に、初期モーシヨンパラメータ H。とも言う。）から、対応する入力画像における領域を、マスク画像 Mとして抽出する。

ここで、マスク画像 Mは単一モーション領域を表す。また、基準画像 Tを初期モーションパラメータ H。で変形した画像を、変形基準画像 Γ' とする。

まず、変形基準画像 Γ'と入力画像 I との位置（ X， y ) における類似度 R ( X , y ； i , j ) を、下記数 4のように定義する。

【数 4 】

〉 T'(x + u + i,y + v + j)I(x + u, y + v)

ここで、 wは周辺領域の大きさを表す。本実施例では、 w = 7 としてレ、る。

次に、 i =— l ， 0， l と： i =— l ， 0， l における 9つの類似度 R ( X , y ； i , j ) の値を利用して、単一モーション領域を表すマスク画像 M の位置（ X ， y ) における値、即ち、 M ( X 、 y ) を下記のように設定する。

まず、 9つの類似度 R ( X , y ； i , j ) の値を利用して、下記数 5で表す 2次関数にフィッティングし、 6個の係数 C。，(： ₆,C_e,C_rf，C„及ぴを求める

【数 5】 J) = C_a i²+C_b ij+C_c +C_d i+C_e j+C_f 次に、求められた 6個の係数 c_a,c_b,c_c,c_d,c_e及ぴに関して、下記数 ⁶

〜数 9で表す関係が全て成立した場合には、 M ( X , y ) に 1 を設定する。そして、下記数 6〜数 9で表す関係のうち、一つでも成立しない場合には、 M ( X , y ) に 0を設定する。

【数 6 】

C。<0,C_cく 0, <0

【数 7】

2C_cC_d - _b^_e

<0.5

D

【数 8】

e - _bc_d

<0.

D

【数 9】 R

ここで、 = C_A ² -4C。C_Cであり、 R _{t h}は設計パラメータである。 R _{t h}は本実施例では 0. 9 9 2 5 としている。

全ての位置（ x， y ) について、以上の計算処理を繰り返すことにより、単一モーション領域を表すマスク画像 M ( X , y ) を計算（抽出）することができる。 < 4〉領域ベース位置合わせ処理

本発明の画像位置合わせ処理装置では、領域ベース位置合わせ処理部 1 4 0にて行われる領域ベース位置合わせ処理については、非特許文献 1 8に記載された I C I Aアルゴリズムを利用した。 I C I Aアルゴリズムは、高速で高精度に位置合わせ処理を行うことができるァルゴリズムである。

本発明の画像位置合わせ処理装置では、図 3のステップ S 7 0に示すように、ロバストに推定された初期モーションパラメータと、抽出された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で（高精度に）推定する、領域ベース位置合わせ処理を行う。また、図 4に領域ベース位置合わせ処理で得られたモーションパラメータを用いて、基準画像と入力画像との画像全体の位置合わせ結果の画像例を示している。

以下、本発明に係る領域ベース位置合わせ処理の好適な実施例を具体的に説明する。

本発明の領域ベース位置合わせ処理では、下記数 1 0で表す評価関数を最小にするように、モーションパラメータを高精度に推定する。

【数 1 0】

E。 (H =∑ M'(x, y)[T(x, y)一 I(w_x ( , y; H_t ), w_y (x,ァ; H ] ここで、 M'(X, J は単一モーション領域 M ( x , y ) を、初期モーションパラメータ H。に基づき変形したマスク画像を表す。

また、 ^( ,y; H, )はモーションパラメータで変換した後の X座標を表す。 ( ,ァ; Η,)はモーションパラメータで変換した後の y座標を表す。上記数 1 0で表す評価関数を最小にするために、勾配に基づく最小化手法を利用する。勾配に基づく最小化方法では初期値を必要とするが、その初期値には、初期モーションパラメータ H。を利用する。

数 1 0で表す評価関数を最小化することにより得られたモーションパラメータを出力し、領域ベース位置合わせ処理が終了する（図 3 のステップ S 8 0を参照）。

一方、最小化手法により数 1 0で表す評価関数を最小化することに失敗したときに、モーションパラメータ推定処理が失敗したものとして、本発明の画像位置合わせ処理装置における処理を終了する（図 3 のステップ S 8 0を参照）。

< 5 >画質改善処理

本発明の画質改善処理装置 1では、画質改善処理部 2 0が、画像位置合わせ処理部 1 0から出力された、複数の単一モーション領域と、それぞれの単一モーション領域に対応するモーションパラメータとに基づき、複数のモーションを含む複数の画像に対し、画質改善処理を行うことにより、画質改善画像を生成する。

以下、本発明の画質改善処理の好適な実施例を具体的に説明する。 N枚の画像を観測（撮影）し、それぞれの観測画像から M _k個のモ一シヨンパラメータ（射影変換パラメータ）と、モーションパラメ一タに対応する単一モーション領域を表すマスク画像 M_wが、画像位置合わせ処理部 1 0にて行われる画像全体の位置合わせ処理により、得られた。

このとき、画質改善処理では、下記数 1 1 で表す評価関数を最小化することにより、画質改善処理が行われる。【数 1 1 】

N M_k

(^h -∑∑ (A diag(m ,)(A_W h-f,) + A || Qh |g

k=\ 1=1

ここで、 hは画質改善画像のベタトル表現を表す。は k番目の観測画像のベタトル表現を表す。は k番目の観測画像の /番目のモーションパラメータ（射影変換パラメータ）に対応する単一モーション領域を表すマスク画像のベタトル表現を表す。 Nは観測画像の枚数である。

また、 A_wは k番目の観測画像の /番目のモーションパラメータ（射影変換パラメータ）とカメラモデルから得られる画質改善画像から k番目の観測画像を推定するための行列を表す。 Qは画質改善画像の拘束を表す行列を表す。 λは拘束の大きさを表すパラメータを表す。 diag(m_w)は m_wを対角要素にもつ対角行列を表す。 Tは行列の転置オペレータを表す。.

本発明に係る画像位置合わせ処理装置及び画質改善処理装置は、コンピュータシステムを利用し、ソフトウェア (コンピュータプログラム）により実装されること力 ^s でき、そして、 A S I C ( Application Specific Integrated Circuit) 、 G U (Graphics Processing Unit ) や F P G A (Field Programmable Gate Array) などのノヽードウエアにより実装されることも勿論できる。

以下では、複数の移動体が存在し、遮蔽や鏡面反射などが生じている複雑な実シーンを撮影した時系列画像（実画像）に対して、本発明の画像位置合わせ処理技術を適用し、更に、本発明による画像位置合わせ処理結果に基づき、超解像処理を行うことにより、本発明の有効性を実証した。その結果、画像全体の解像度が効果的に向上していることが確認された。図 5 に 2つの移動体が別々にいているシーンを撮影した時系列画像を示す。図 5に示す時系列画像に対し、本発明による画像全体の位置合わせ処理を行った。本発明における単一モーションとして、平面射影変換を仮定した。平面射影変換はヽ単一平面のモーションを表現する画像変形である

図 6 に単 —モーション領域抽出処理の結果を示す。図 6の左側は左の単一モーション領域の抽出結果で、図 6の右側は右の単ーモ一ション領域の抽出果である。図 6から、単一モーション領域だけが正しく抽出されていることが分かる。ここで注意したいのは、移動体内のすべての画素を抽出する必要はないといことである。本発明では、画質改善処理（例えば、超解像処理）を行ことをも目的としているため、サブピクセル精度で正確に位置合わせされている画素だけを抽出することの方がむしろ重要で ¾>る。

図 7に左右の移動体を基準画像に合わせて変形した結果を示す。図 5

( A )と比較すると、基準画像に正しく位置合わせされていることが分かる。

次に、本発明によって推定されたモーションパラメータを使って超解像処理を行った。また、比較のため、濃度勾配法によって推定されたモーションパラメータを使って超解像処理をも行った。濃度勾配法の処理領域は、画像全体（全画面）、手動で指定した左の移動体、手動で指定した右の移動体の 3種類とした。濃度勾配法では、モーションとして平面射影変換を仮定した。ロバスト超解像処理として、非特許文献 1 6に記載された方法で求めたモーションに対応する領域のみを使つて超解像処理を行った。観測画像のフレ一ム数は 3 0枚である。再構成法には、非特許文献 1 9に記載された方法を用い、高解像度化の倍率は縦横 3倍に設定した。

図 8に超解像処理結果を示す。まず、前述したロバスト超解像処理の効果によって、図 8のいずれの超解像処理結果にも画像劣化が見られないことが分かる。口パスト超解像処理は画像劣化を抑える効果があるが、位置合わせが不正確な領域の解像度を向上することはできない。図 8 ( C )左側、（D )右側、（E )左側、（E )右側は、図 8 のほかの超解像処理結果に比べて解像度が向上していることが分かる。解像度が向上した領域は、位置合わせが正確な領域である。この結果から、本発明によって複数のモーションを含む画像間の画像全体の位置合わせ処理により、移動体の位置合わせが正確に行われたことが分かる。

図 9及ぴ図 1 0に、より複雑なシーンを撮影した時系列画像に対する超解像処理結果を示す。このシーン (時系列画像）は、 2冊の本を人間が自由に動かしている動画像である。 2つの平面である 2冊の本が別々に動き、非平面である顔や服も自由に動いている。また、遮蔽や鏡面反射成分も含むような照明変化が生じている。このシーンに対し、動画像の全フレームに対して超解像処理を行った。

本発明によって推定したモーションパラメータを使って超解像処理を行った。また、比較のため、画像全体を濃度勾配法によって推定したモーションパラメータを使って超解像処理をも行った。濃度勾配法では、モーションとして平面射影変換を仮定した。図 9及び図 1 0は、左の列力ら順に、フレーム 0 、フレーム 5 0 、フレーム 1 0 0 、フレーム 1 4 9に対応している。図 9 ( B )、（C )、（D )は、眼鏡の含まれる領域を手動で切り出した画像である。図 1 0 ( B )、（C )、（D )は、青い本の含まれる領域を手動で切り出した画像である。それぞれ、フレームごとに領域を設定し、本発明と既存手法、観測画像から同じ領域を切り出した。図 9 ( B )、（C )、（D )を比較すると、眼鏡のふち等において、本発明による位置合わせ結果を用いた超解像処理結果がもっとも解像感が高く、色ずれも抑えられていることがわかる。図 1 0 ( B )、 ( C )、 ( D )を比較すると、観測画像の拡大や画像全体の濃度勾配法でのモーション推定結果を用いた超解像処理結果では読めない文字が、本発明による位置合わせ結果を用いた超解像処理によって読めるようになることが分かる。

図 9 ( A )のような動画像（観測時系列画像）に対し、特定のフレームにおける特定の領域を超解像処理する場合には、処理領域を指定して濃度勾配法によってモーションパラメータを推定する手法も有用である。しかし、超解像処理の対象が動画像の全フレームである場合、全フレームに対して処理領域を指定するような作業は非現実的である。

—方、本発明による位置合わせ結果を利用すれば、処理領域の指定などの作業を必要とせずに、全フレームの画像全体において超解像処理を行うことができる。

上述した本発明に係る画質改善処理装置の第 1実施形態において、単一モーション領域抽出処理では、画像間の類似度と局所的な位置ずれ量に基づき、単一モーション領域を抽出するようにしている。

ところで、局所的な位置ずれ量を推定する際に、テクスチャレス領域では、局所的な位置ずれ量推定が不安定になりやすいことがある。そのため、テクスチャレス領域を判定し、テクスチャレス領域を単一モーション領域に含めないようにするという処理が行われることがある。

そこで、本発明の発明者らは、テクスチャレス領域について鋭意研究した結果として、テクスチャレス領域であっても、例えば S S Dのような局所的な類似度が高ければ、高い局所的な類似度を有するそのテクスチヤレス領域を画質改善処理に利用可能であることを見出した。つまり、本発明に係る画質改善処理装置の第 2実施形態では、テクスチヤレス領域であるとともに、類似領域でもある領域（以下、このような領域を単に「テクスチャレス類似領域」とも言う。）を、単一モーシヨン領域に加えることにより、画質改善処理により、テクスチャレス領域の S N比の向上を実現している。

図 1 1 は本発明に係る画質改善処理装置の第 2実施形態（本発明に係る画質改善処理装置 2 ) を示すプロック構成図である。

図 1 1 に示すように、本発明に係る画質改善処理装置 2は、画像位置合わせ処理部 1 0 と、領域拡張処理部 1 8 と、画質改善処理部 2 0 とから構成され、複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成するものである。

本発明の画質改善処理装置 2では、まず、画像位置合わせ処理部 1 0 が、複数の画像から 1枚の基準画像を選択し、残った全ての画像を入力画像とし、次に、上述した本発明に係る画像位置合わせ処理装置により行われる 1枚の基準画像と 1枚の入力画像との画像全体の位置合わせ処理を、複数の画像に対して繰り返し行うことで、複数のモーションを含む複数の画像における全ての単一モーション領域を抽出し、また、それらの単一モーション領域にィ系る全てのモーションパラメータを口バスト且つ高精度に推定する。

なお、本発明の画質改善処理装置 2における画像位置合わせ処理部 1 0の具体的な処理流れ（動作）は、本発明の画質改善処理装置 1 における画像位置合わせ処理部 1 0 の処理流れと同様であるため、その説明を省略する。

次に、領域拡張処理部 1 8力画像位置合わせ処理部 1 0から出力された、複数の画像における全ての単一モーション領域と、全ての単一モーション領域に対応する全てのモーションパラメータとに基づき、詳細は後述する本発明に係る領域拡張処理装置により行われる 1枚の基準画像及び 1枚の入力画像に対する領域拡張処理を、複数の画像に対して繰り返し行うことで、複数の画像における全ての拡張単一モーション領域を生成する。

次に、画質改善処理部 2 0が、領域拡張処理部 1 8から出力された複数の画像における全ての拡張単一モーション領域と、画像位置合わせ処理部 1 0から出力された全てのモーションパラメータとに基づき、複数のモーションを含む複数の画像に対し、画質改善処理を行うことにより、画質改善画像を生成する。また、画質改善処理部 2 0にて行われる画質改善処理は、例えば、特許文献 3に開示された画質改善処理方法を用いて行うことができる。

なお、本発明に係る画質改善処理装置 2に利用される複数のモーションを含む複数の画像として、複数の動き（複数の複雑な動き）のある動画像（即ち、複数の移動体が別々に動いているシーンを撮影した時系列画像）を用いることができる。その場合、例えば、時系列画像の最初のフレームを基準画像とし、その後のフレームを入力画像とすることができる。

勿論、本発明に係る画質改善処理装置 2は、動画像に適用されることに限定されることはなく、複数のモーションを含む複数の画像として、静止画像を用いることも勿論可能である。

図 1 2は本発明に係る領域拡張処理装置の実施形態（領域拡張処理装置 1 8 0 ) を示すブロック構成図である。以下、図 1 2に基づき、本発明に係る領域拡張処理装置を詳細に説明する。

本発明に係る領域拡張処理装置にて行われる処理は、複数のモーションを含む基準画像と、複数のモーションを含む入力画像と、基準画像と入力画像との画像全体の位置合わせ処理を行うことにより得られた複数のモーションに対応する複数の単一モーション領域及び複数の単一モーション領域に対応する複数のモーションパラメータに基づき、基準画像及び入力画像に対する領域拡張処理である。

本発明に係る領域拡張処理装置で利用される複数のモーションに対応する複数の単一モーション領域及び複数の単一モーション領域に対応する複数のモーションパラメータは、本発明に係る画像位置合わせ処理装置にて行われる画像全体の位置合わせ処理により得られたものである。

図 1 2に示すように、本発明の領域拡張処理装置 1 8 0は、基準画像を入力とするテクスチャレス領域抽出処理部 1 8 1 と、入力画像及ぴ複数のモーションパラメータを入力とする画像変形処理部 1 8 2 と、基準画像を 1つの入力とする類似度による閾値処理部 1 8 3 と、論理積処理部と、複数の単一モーション領域を入力とする論理和処理部とを備える本発明の領域拡張処理装置 1 8 0では、まず、テクスチャレス領域抽出処理部 1 8 1 が、基準画像のテクスチャレス領域を抽出する、テクスチヤレス領域抽出処理を行い、抽出したテクスチャレス領域を論理積処理部へ出力する。

次に、画像変形処理部 1 8 2が、複数のモーションパラメータに基づき、入力画像を変形し、変形された入力画像を変形入力画像として類似度による閾値処理部へ出力する。

そして、類似度による閾値処理部 1 8 3が、基準画像及び変形入力画像に対し、局所的な類似度を閾値処理することにより、類似領域を抽出し、抽出した類似領域を論理積処理部 1 8 4へ出力する。次に、論理積処理部 1 8 4が、テクスチャレス領域抽出処理部 1 8 1 から出力されたテクスチャレス領域、及ぴ類似度による閾値処理部 1 8 3から出力された類似領域に対し、論理積処理を行うことにより、テクスチヤレス類似領域を生成し、生成したテクスチャレス類似領域を論理和処理部 1 8 5へ出力する。

最後に、論理和処理部 1 8 5が、論理積処理部 1 8 4から出力されたテクスチャレス類似領域、及び複数の単一モーション領域に対し、論理和処理を行うことにより、テクスチャレス類似領域と複数の単一モーシヨン領域を合わせた、複数の拡張単一モーション領域を生成する。

テクスチャレス領域抽出処理部 1 8 1 にて行われるテクスチャレス領域抽出処理は、既存の方法を利用することが可能である。テクスチャレス領域抽出処理の一具体例として、例えば、基準画像における局所的な画像の分散を求め、求めた局所的な画像の分散が所定の閾値以下の領域をテクスチャレス領域として抽出する方法がある。

また、類似度による閾値処理部 1 8 3に利用される局所的な類似度は、既存の類似度を利用することが可能である。その具体例として、例えば、 S S D ( Sum of Squared Difference ) 又は S A D ( Sum of Absolute Difference) を用いることカできる。

上述した本発明に係る画質改善処理装置 2によれば、テクスチャレス類似領域を単一モーション領域に加えることにより得られた拡張単一モーシヨン領域に基づいて、画質改善処理を行うようにしているので、テクスチヤレス領域の S N比の向上を実現できるという優れた効果を奏する。

なお、上述した本発明に係る領域拡張処理装置及び画質改善処理装置 2は、コンピュータシステムを利用し、ソフトウェア (コンピュータプログラム）により実装されることができ、そして、 A S I C ( Application Specific Integrated Circuitノ、 G P U (, Graphics Processing Unit) や F P G A (Field Programmable Gate Array) などのハドウエアにより実装されることも勿

{符号の説明 }

1 2 画質改善処理装置

1 0 画像位置合わせ処理部

1 8 領域拡張処理部

2 0 画質改善処理部

1 0 0 画像位置合わせ処理装置

1 1 0 特徴点抽出処理部

1 2 0 特徴点ベース位置合わせ処理部

1 3 0 単一モーション領域抽出処理部

1 4 0 領域ベース位置合わせ処理部

1 5 0 特徴点削除処理部

1 8 0 領域拡張処理装置

1 8 1 テクスチャレス領域抽出処理部

1 8 2 画像変形処理部

1 8 3 類似度による閾値処理部

1 8 4 論理積処理部

1 8 5 論理和処理部請求の範囲

請求項 1 . 複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行う画像位置合わせ処理装置であって、

特徴点抽出処理部と、特徴点ベース位置合わせ処理部と、単一モーシヨン領域抽出処理部と、領域ベース位置合わせ処理部と、特徴点削除処理部とを備え、

前記特徴点抽出処理部が、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、

前記特徴点ベース位置合わせ処理部が、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメ一タ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、

前記単一モーション領域抽出処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、

前記領域ベース位置合わせ処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータと、前記単一モーション領域抽出処理部から出力された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行い、前記特徴点削除処理部が、前記基準画像特徴点及び前記入力画像特徵点から、前記単一モーション領域抽出処理部に抽出された単一モーション領域に含まれる特徴点を削除する、特徴点削除処理を行うことを特徴とする画像位置合わせ処理装置。請求項 2 . 前記画像位置合わせ処理装置では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理部にて行われる処理、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、前記特徴点抽出処理部により抽出された全ての特徴点を利用して、第 1支配的なモーションに対応する第 1単一モーション領域を抽出し、抽出した第 1単一モーション領域に対応する第 1 モーションパラメータを推定する請求項 1 に記載の画像位置合わせ処理装置。請求項 3 . 前記画像位置合わせ処理装置では、前記第 1 モーションパラメータが推定された後に、前記特徴点削除処理部にて行われる特徴点削除処理により削除されずに残った特徴点を、前記特徴点ベース位置合わせ処理部にて行われる特徴点ベース位置合わせ処理に利用される基準画像特徴点及ぴ入力画像特徴点とした上で、再び、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、第 2支配的なモーションに対応する第 2単一モーション領域を抽出し、抽出した第 2単一モーション領域に対応する第 2 モーションパラメータを推定する請求項 2に記載の画像位置合わせ

Claims

処理装置。請求項 4 . 前記画像位置合わせ処理装置では、前記第 2モーションパラメータが推定された後に、前記特徴点削除処理部にて行われる処理により単一モーション領域に含まれる特徴点を取り除きながら、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を繰り返し行うことにより、複数のモーションに対応する全ての単一モーション領域を逐次的に抽出し、逐次的に抽出された単一モーション領域に対応するモーションパラメータをも逐次的に推定する請求項 3 に記載の画像位置合わせ処理装置。請求項 5 . 複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行う画像位置合わせ処理装置であって、

特徴点抽出処理部と、特徴点ベース位置合わせ処理部と、単一モーシヨン領域抽出処理部と、領域ベース位置合わせ処理部とを備え、

前記特徴点ベース位置合わせ処理部が、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徵点ベース位置合わせ処理を行い、

前記単一モーション領域抽出処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーシヨン領域を抽出する、単一モーション領域抽出処理を行い、

前記領域ベース位置合わせ処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータと、前記単一モーション領域抽出処理部から出力された単一モーション領域とに基づき、当該単一モーション領域に対応するモーシ 3 ンパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行うことを特徴とする画像位置合わせ処理装置。請求項 6 . 前記画像位置合わせ処理装置では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理部にて行われる処理、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、前記特徴点抽出処理部により抽出された全ての特徴点を利用して、第 1支配的なモーションに対応する第 1単一モーション領域を抽出し、抽出した第 1単一モーション領域に対応する第 1 モーションパラメータを推定する請求項 5に記載の画像位置合わせ処理装置。請求項 7 . 複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行う画像位置合わせ処理方法であって、

特徴点抽出処理ステップと、特徴点ベース位置合わせ処理ステップと、単一モーション領域抽出処理ステップと、領域ベース位置合わせ処理ステップと、特徴点削除処理ステップとを有し、

前記特徴点抽出処理ステップでは、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、

前記特徴点ベース位置合わせ処理ステップでは、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、

前記単一モーション領域抽出処理ステップでは、前記特徴点ベース位置合わせ処理ステップで推定された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、

前記領域ベース位置合わせ処理ステップでは、前記特徴点ベース位置合わせ処理ステップで推定された初期モーションパラメータと、前記単一モーション領域抽出処理ステップで抽出された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行い、前記特徴点削除処理ステップでは、前記基準画像特徴点及び前記入力画像特徴点から、前記単一モーション領域抽出処理ステップで抽出された単一モーション領域に含まれる特徴点を削除する、特徴点削除処理を行うことを特徴とする画像位置合わせ処理方法。請求項 8 . 前記画像位置合わせ処理方法では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理ステップにて行われる処理、前記特徴点ベース位置合わせ処理ステップにて行われる処理、前記単一モーション領域抽出処理ステップにて行われる処理、前記領域ベース位置合わせ処理ステップにて行われる処理を順番に行うことにより、前記特徴点抽出処理ステップで抽出された全ての特徴点を利用して、第 1支配的なモーションに対応する第 1単一モーション領域を抽出し、抽出した第 1単一モーション領域に対応する第 1 モーションパラメータを推定する請求項 7に記載の画像位置合わせ処理方法。請求項 9 . 前記画像位置合わせ処理方法では、前記第 1 モーションパラメータが推定された後に、前記特徴点削除処理ステップにて行われる特徵点削除処理により削除されずに残った特徴点を、前記特徴点ベース位置合わせ処理ステップにて行われる特徴点ベース位置合わせ処理に利用される基準画像特徴点及ぴ入力画像特徴点とした上で、再び、前記特徴点ベース位置合わせ処理ステップにて行われる処理、前記単一モーション領域抽出処理ステップにて行われる処理、前記領域ベース位置合わせ処理ステップにて行われる処理を順番に行うことにより、第 2支配的なモーションに対応する第 2単一モーション領域を抽出し、抽出した第 2単一モーション領域に対応する第 2モーションパラメータを推定する請求項 8に記載の画像位置合わせ処理方法。請求項 1 0 . 前記画像位置合わせ処理方法では、前記第 2 モーションパラメータが推定された後に、前記特徴点削除処理ステップにて行われる処理により単一モーション領域に含まれる特徴点を取り除きながら、前記特徴点ベース位置合わせ処理ステップにて行われる処理、前記単一モ一ション領域抽出処理ステップにて行われる処理、前記領域ベース位置合わせ処理ステップにて行われる処理を繰り返し行うことにより、複数のモーションに対応する全ての単一モーション領域を逐次的に抽出し、逐次的に抽出された単一モーション領域に対応するモーションパラメ一タをも逐次的に推定する請求項 9に記載の画像位置合わせ処理方法。請求項 1 1 . 複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行う画像位置合わせ処理方法であって、

特徴点抽出処理ステップと、特徴点ベース位置合わせ処理ステップと、単一モーション領域抽出処理ステップと、領域ベース位置合わせ処理ステップとを有し、

前記領域ベース位置合わせ処理ステップでは、前記特徴点ベース位置合わせ処理ステップで推定された初期モーションパラメータと、前記単ーモ一ション領域抽出処理ステップで抽出された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行うことを特徴とする画像位置合わせ処理方法。請求項 1 2 . 前記画像位置合わせ処理方法では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理ステップにて行われる処理、前記特徴点ベース位置合わせ処理ステップにて行われる処理、前記単一モーション領域抽出処理ステップにて行われる処理、前記領域ベース位置合わせ処理ステップにて行われる処理を順番に行うことにより、前記特徴点抽出処理ステップで抽出された全ての特徴点を利用して、第 1支配的なモーションに対応する第 1単一モーション領域を抽出し、抽出した第 1 単一モーション領域に対応する第 1 モーションパラメータを推定する請求項 1 1 に記載の画像位置合わせ処理方法。請求項 1 3 . 複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行うための画像位置合わせ処理プログラムであって、

特徴点抽出処理手順と、特徴点ベース位置合わせ処理手順と、単一モーシヨン領域抽出処理手順と、領域ベース位置合わせ処理手順と、特徴点削除処理手順とをコンピュータに実行させるためのプログラムであり前記特徴点抽出処理手順では、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、前記特徴点ベース位置合わせ処理手順では、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点 (入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、

前記単一モーション領域抽出処理手順では、前記特徴点ベース位置合わせ処理手順で推定された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメ一タに対応する単一モーシヨン領域を抽出する、単一モーション領域抽出処理を行い、

前記領域ベース位置合わせ処理手順では、前記特徴点ベース位置合わせ処理手順で推定された初期モーションパラメータと、前記単一モーシヨン領域抽出処理手順で抽出された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセ /レ精度で推定する、領域ベース位置合わせ処理を行い、

前記特徴点削除処理手順では、前記基準画像特徴点及び前記入力画像特徴点から、前記単一モーション領域抽出処理手順で抽出された単一モーション領域に含まれる特徴点を削除する、特徴点削除処理を行うことを特徴とする画像位置合わせ処理プログラム。請求項 1 4 . 前記画像位置合わせ処理プログラムでは、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理手順にて行われる処理、前記特徴点ベース位置合わせ処理手順にて行われる処理、前記単一モーション領域抽出処理手順にて行われる処理、前記領域ベース位置合わせ処理手順にて行われる処理を順番に行うことにより、前記特徴点抽出処理手順で抽出された全ての特徴点を利用して、第 1支配的なモーションに対応する第 1単一モーション領域を抽出し、抽出した第 1単一モーシヨン領域に対応する第 1 モーションパラメータを推定する請求項 1 3 に記載の画像位置合わせ処理プログラム。請求項 1 5 . 前記画像位置合わせ処理プログラムでは、前記第 1 モーシヨンパラメータが推定された後に、前記特徴点削除処理手順にて行われる特徴点削除処理により削除されずに残った特徴点を、前記特徴点べース位置合わせ処理手順にて行われる特徴点ベース位置合わせ処理に利用される基準画像特徴点及び入力画像特徴点とした上で、再び、前記特徴点ベース位置合わせ処理手順にて行われる処理、前記単一モーション領域抽出処理手順にて行われる処理、前記領域ベース位置合わせ処理手順にて行われる処理を順番に行うことにより、第 2支配的なモーションに対応する第 2単一モーション領域を抽出し、抽出した第 2単一モーシヨン領域に対応する第 2 モーションパラメータを推定する請求項 1 4に記載の画像位置合わせ処理プログラム。請求項 1 6 . 前記画像位置合わせ処理プログラムでは、前記第 2 モーシヨンパラメータが推定された後に、前記特徴点削除処理手順にて行われる処理により単一モーション領域に含まれる特徴点を取り除きながら、前記特徴点ベース位置合わせ処理手順にて行われる処理、前記単一モーション領域抽出処理手順にて行われる処理、前記領域ベース位置合わせ処理手順にて行われる処理を繰り返し行うことにより、複数のモーションに対応する全ての単一モーション領域を逐次的に抽出し、逐次的に抽出された単一モーション領域に対応するモーションパラメータをも逐次的に推定する請求項 1 5に記載の画像位置合わせ処理プログラム。請求項 1 7 . 複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理を口パスト且つ高精度に行うための画像位置合わせ処理プログラムであって、

特徴点抽出処理手順と、特徴点ベース位置合わせ処理手順と、単一モーション領域抽出処理手順と、領域ベース位置合わせ処理手順とをコンピュータに実行させるためのプログラムであり、

前記特徴点抽出処理手順では、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、

前記特徴点ベース位置合わせ処理手順では、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点 (入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、

前記単一モーション領域抽出処理手順では、前記特徴点ベース位置合わせ処理手順で推定された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、

前記領域ベース位置合わせ処理手順では、前記特徴点ベース位置合わせ処理手順で推定された初期モーションパラメータと、前記単一モーション領域抽出処理手順で抽出された単一モーション領域と.に基づき、当該単一モーション領域に対応するモーションパラメータをサプピクセル精度で推定する、領域ベース位置合わせ処理を行うことを特徴とする画像位置合わせ処理プログラム。請求項 1 8 . 前記画像位置合わせ処理プログラムでは、前記基準画像及ぴ前記入力画像に基づき、前記特徴点抽出処理手順にて行われる処理、前記特徴点ベース位置合わせ処理手順にて行われる処理、前記単一モーション領域抽出処理手順にて行われる処理、前記領域ベース位置合わせ処理手順にて行われる処理を順番に行うことにより、前記特徴点抽出処理手順で抽出された全ての特徴点を利用して、第 1支配的なモーションに対応する第 1単一モーション領域を抽出し、抽出した第 1単一モーション領域に対応する第 1 モーションパラメータを推定する請求項 1 7 に記載の画像位置合わせ処理プログラム。

請求項 1 9 . 複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成する画質改善処理装置であって、

画像位置合わせ処理部と、画質改善処理部とを備え、

前記画像位置合わせ処理部が、前記複数の画像から 1枚の基準画像を選択し、残った全ての画像を入力画像とし、次に、請求項 1乃至請求項 4の何れかに記載の画像位置合わせ処理装置により行われる 1枚の基準画像と 1枚の入力画像との画像全体の位置合わせ処理を、前記複数の画像に対して繰り返し行うことで、複数のモーションを含む複数の画像における全ての単一モーション領域を抽出し、また、それらの単一モーション領域に係る全てのモーションパラメータを口バスト且つ高精度に推定し、

前記画質改善処理部が、前記画像位置合わせ処理部から出力された、複数の単一モーション領域と、それぞれの単一モーション領域に対応するモーションパラメータとに基づき、前記複数の画像に対し、画質改善処理を行うことにより、前記画質改善画像を生成することを特徴とする画質改善処理装置。請求項 2 0 . 複数のモーションを含む基準画像と、複数のモーションを含む入力画像と、前記基準画像と前記入力画像との画像全体の位置合わせ処理を行うことにより得られた複数のモーションに対応する複数の単一モ一ション領域及び前記複数の単一モーション領域に対応する複数のモーションパラメータに基づき、前記基準画像及び前記入力画像に対する領域拡張処理を行う領域拡張処理装置であって、

前記基準画像を入力とするテクスチャレス領域抽出処理部と、前記入力画像及ぴ前記複数のモーションパラメータを入力とする画像変形処理部と、

前記基準画像を 1つの入力とする類似度による閾値処理部と、論理積処理部と、

前記複数の単一モーション領域を入力とする論理和処理部と、を備え、

前記テクスチャレス領域抽出処理部が、前記基準画像のテクスチャレス領域を抽出する、テクスチャレス領域抽出処理を行い、抽出したテクスチヤレス領域を前記論理積処理部へ出力し、

前記画像変形処理部が、前記複数のモーションパラメータに基づき、前記入力画像を変形し、変形された入力画像を変形入力画像として前記類似度による閾値処理部へ出力し、

前記類似度による閾値処理部が、前記基準画像及ぴ前記変形入力画像に対し、局所的な類似度を閾値処理することにより、類似領域を抽出し、抽出した類似領域を前記論理積処理部へ出力し、

前記論理積処理部が、前記テクスチヤレス領域抽出処理部から出力された前記テクスチャレス領域、及び前記類似度による閾値処理部から出力された前記類似領域に対し、論理積処理を行うことにより、テクスチャレス類似領域を生成し、生成したテクスチャレス類似領域を前記論理和処理部へ出力し、

前記論理和処理部が、前記論理積処理部から出力された前記テクスチャレス類似領域、及び前記複数の単一モーション領域に対し、論理和処理を行うことにより、前記テクスチャレス類似領域と前記複数の単一モーション領域を合わせた、複数の拡張単一モーション領域を生成することを特徴とする領域拡張処理装置。請求項 2 1 . 前記テクスチャレス領域抽出処理では、前記基準画像における局所的な画像の分散を求め、求めた局所的な画像の分散が所定の閾値以下の領域をテクスチャレス領域として抽出する請求項 2 0に記载の領域拡張処理装置。請求項 2 2 . 前記類似度による閾値処理部に利用される前記局所的な類似度は、 S S D又は S A Dである請求項 2 0又は請求項 2 1 に記載の領域拡張処理装置。請求項 2 3 . 複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成する画質改善処理装置であつて、

画像位置合わせ処理部と、領域拡張処理部と、画質改善処理部とを備前記画像位置合わせ処理部が、前記複数の画像から 1枚の基準画像を選択し、残った全ての画像を入力画像とし、次に、請求項 1乃至請求項 4の何れかに記載の画像位置合わせ処理装置により行われる 1枚の基準画像と 1枚の入力画像との画像全体の位置合わせ処理を、前記複数の画像に対して繰り返し行うことで、複数のモーションを含む複数の画像における全ての単一モーション領域を抽出し、また、それらの単一モーション領域に係る全てのモーションパラメータを口バスト且つ高精度に推定し、

前記領域拡張処理部が、前記画像位置合わせ処理部から出力された、前記複数の画像における全ての単一モーション領域と、前記全ての単一モーション領域に対応する全てのモーションパラメータとに基づき、請求項 2 0乃至請求項 2 2の何れかに記載の領域拡張処理装置により行われる 1枚の基準画像及び 1枚の入力画像に対する領域拡張処理を、前記複数の画像に対して繰り返し行うことで、前記複数の画像における全ての拡張単一モーション領域を生成し、

前記画質改善処理部が、前記領域拡張処理部から出力された前記複数の画像における全ての拡張単一モーション領域と、前記画像位置合わせ処理部から出力された前記全てのモーションパラメータとに基づき、前記複数の画像に対し、画質改善処理を行うことにより、前記画質改善画像を生成することを特徴とする画質改善処理装置。請求項 2 4 . 複数のモーションを含む基準画像と、複数のモーションを含む入力画像と、前記基準画像と前記入力画像との画像全体の位置合わせ処理を行うことにより得られた複数のモーションに対応する複数の単一モーション領域及び前記複数の単一モーション領域に対応する複数のモーションパラメータに基づき、前記基準画像及び前記入力画像に対する領域拡張処理を行う領域拡張処理方法であって、

前記基準画像を入力とするテクスチャレス領域抽出処理ステップと、前記入力画像及ぴ前記複数のモーションパラメータを入力とする画像変形処理ステップと、

前記基準画像を 1 つの入力とする類似度による閾値処理ステップと、論理積処理ステップと、

前記複数の単一モーション領域を入力とする論理和処理ステップと、を有し、

前記テクスチヤレス領域抽出処理ステップでは、前記基準画像のテクスチヤレス領域を抽出する、テクスチャレス領域抽出処理を行い、前記画像変形処理ステップでは、前記複数のモーションパラメータに基づき、前記入力画像を変形し、変形された入力画像を変形入力画像とし、

前記類似度による閾値処理ステップでは、前記基準画像及ぴ前記変形入力画像に対し、局所的な類似度を閾値処理することにより、類似領域を抽出し、

前記論理積処理ステップでは、前記テクスチャレス領域抽出処理ステップで抽出された前記テクスチャレス領域、及び前記類似度による閾値処理ステップで抽出された前記類似領域に対し、論理積処理を行うことにより、テクスチャレス類似領域を生成し、

前記論理和処理ステップでは、前記論理積処理ステップで生成されたテクスチャレス類似領域、及び前記複数の単一モーション領域に対し、論理和処理を行うことにより、前記テクスチヤレス類似領域と前記複数の単〜モ一ション領域を合わせた、複数の拡張単一モーション領域を生成することを特徴とする領域拡張処理方法。請求項 2 5 . 前記テクスチャレス領域抽出処理では、前記基準画像における局所的な画像の分散を求め、求めた局所的な画像の分散が所定の閾値以下の領域をテクスチャレス領域として抽出する請求項 2 4に記載の領域拡張処理方法。請求項 2 6 . 前記類似度による閾値処理ステップで利用される前記局所的な類似度は、 S S D又は S A Dである請求項 2 4又は請求項 2 5に記載の領域拡張処理方法。