JP5181345B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP5181345B2
JP5181345B2 JP2008308273A JP2008308273A JP5181345B2 JP 5181345 B2 JP5181345 B2 JP 5181345B2 JP 2008308273 A JP2008308273 A JP 2008308273A JP 2008308273 A JP2008308273 A JP 2008308273A JP 5181345 B2 JP5181345 B2 JP 5181345B2
Authority
JP
Japan
Prior art keywords
image
addition
weight
processing unit
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008308273A
Other languages
English (en)
Other versions
JP2010134582A (ja
Inventor
正行 田中
正敏 奥富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2008308273A priority Critical patent/JP5181345B2/ja
Publication of JP2010134582A publication Critical patent/JP2010134582A/ja
Application granted granted Critical
Publication of JP5181345B2 publication Critical patent/JP5181345B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Description

本発明は、デジタル画像処理技術に関し、特に、低解像度動画像から高解像度動画像を生成する動画像超解像処理に係る画像処理技術に関する。
従来、画像処理技術において、位置ずれのある複数枚の低解像度画像（観測画像）から一枚の高解像度画像を生成する超解像処理がある。超解像処理では、位置ずれのある複数の観測画像を位置合わせする「位置合わせ処理」と、位置合わせ処理後の複数の観測画像に基づき、高解像度画像を再構成する「画像再構成処理」が必要である。
ここで、複数枚の低解像度画像から一枚の高解像度画像を生成する超解像処理を、「静止画像の超解像処理」と呼ぶことにする。
一方、低解像度動画像から高解像度動画像を生成する「動画像超解像処理」を行う従来技術は、大きく分けて次の２つの方法がある。

動画像超解像処理従来技術その１：
動画像超解像処理従来技術その１とは、入力された低解像度動画像（以下、単に「低解像度入力動画像」または「入力動画像」とも言う。）に対し、静止画像の超解像処理を繰り返すことにより、高解像度動画像を生成する方法である。
以下、動画像超解像処理従来技術その１を簡単に説明する。
まず、入力動画像の時刻ｔ−９から時刻ｔまでの１０枚の低解像度入力画像を利用して、時刻ｔにおける高解像度画像（時刻ｔの高解像度画像）を静止画像の超解像処理により生成する。
次に、入力動画像の時刻ｔ−８から時刻ｔ＋１までの１０枚の低解像度入力画像を利用して、時刻ｔ＋１における高解像度画像（時刻ｔ＋１の高解像度画像）を静止画像の超解像処理により生成する。
このように、入力動画像に対し、静止画像の超解像処理を繰り返すことにより、高解像度動画像が逐次的に生成される。
なお、上述した例では、入力動画像における１０枚の低解像度入力画像を利用することにより、ある時刻の高解像度画像を生成するようにしているが、動画像超解像処理従来技術その１は、低解像度入力画像の枚数に限定されることはなく、言うまでも無く、１０枚以外の任意の枚数の低解像度入力画像を利用することにより、ある時刻の高解像度画像を生成することが可能である。

動画像超解像処理従来技術その２：
動画像超解像処理従来技術その２とは、非特許文献１に開示されたファスイらにより提案された方法である。
以下、動画像超解像処理従来技術その２を簡単に説明する。
ファスイらにより提案された方法では、下記数１及び数２で表すモデルに基づき、動画像超解像処理を提案している。
ここで、
は時刻ｔの高解像度画像を表す。
は時刻ｔ−１の高解像度画像を表す。また、
は時刻ｔの低解像度入力画像（以下、単に「時刻ｔの入力画像」とも言う。）を表す。
は時刻ｔ−１の入力画像から時刻ｔの入力画像への変形を表す。
は点広がり関数（ＰＳＦ：Point Spread Function）によるぼけを表す行列を表す。
は時刻ｔにおけるダウンサンプリングを表す行列を表す。更に、
は時刻ｔにおける観測ノイズを表す。
は時刻ｔにおけるシステムノイズを表す。
ファスイらにより提案された方法では、時刻ｔ−１の入力画像から時刻ｔの入力画像への変形
は既知であることを前提としており、カルマンフィルタにより、時刻ｔの高解像度画像
を生成している。
なお、ファスイらにより提案された方法において、オクルージョン（隠れ）などは、システムノイズ
として考慮されているものの、システムノイズに対して正規分布を仮定している。
国際公開第２００８／１０２８９８号パンフレット 特許第４１２６３７８号 特願２００８−３０３８９１ エス. ファスイ（S. Farsiu）、エム. エラッド（M. Elad）、ピー. ミランファー（P. Milanfar）共著,「ビデオ・トゥー・ビデオ ダイナミック スーパー・レゾルーション フォー グレースケール アンド カラー シーケンス（Video-to-Video Dynamic Super-Resolution for Grayscale and Color Sequence）」,ＥＵＲＡＳＩＰ ジャーナル オン アプライド シグナル プロセシング（EURASIP Journal on Applied Signal Processing）,第2006巻,アーテクル ＩＤ（Article ID）61859,p.1-15,2006年 エス. ベイカ（S. Baker）、アイ. マシューズ（I. Matthews）共著,「ルーカス−カナデ ２０ イヤーズ オン： ア ユニファイング フレームワーク（Lucas-Kanade 20 years on: A unifying framework）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of Computer Vision）,第56巻,第3号,p.221-255,2004年) エム. シミズ（M. Shimizu）、エム. オクトミ（M. Okutomi）共著,「サブピクセル エスティメイション エラー キャンセレイション オン エリアベーセド マッチング（Sub-pixel Estimation Error Cancellation on Area-Based Matching）」,インターナショナル ジャーナル オフ コンピュータ ビジョン（International Journal of Computer Vision）,第63巻,第3号,p.207-224,2005年 小林・飯倉・川田・伊原共著,「分散分析によるデジタル・ビデオのリアルタイム・シーン切り替わり検出法」,情報処理学会論文誌,第42巻,第6号,p.1636-1642,2001年
しかし、動画像超解像処理従来技術その１（静止画像の超解像処理を繰り返す方法）では、ある時刻における高解像度画像を生成するために、利用する低解像度入力画像の枚数と同じ回数（厳密に言うと、（低解像度入力画像の枚数−１）回）の位置合わせ処理を行う必要がある。
このため、（低解像度入力画像の枚数−１）回の位置合わせ処理を行うのに、非常に大きな計算量が必要になるという問題がある。
そして、動画像超解像処理従来技術その１（静止画像の超解像処理を繰り返す方法）では、ある時刻における高解像度画像を生成するのに、過去の複数枚の低解像度入力画像を保持する必要があるため、大きな記憶媒体（例えば、メモリ）が必要である。例えば、動画像超解像処理従来技術その１による動画像超解像処理を、ハードウェアにより実装する場合に、記憶媒体（メモリ）の大きさは特に大きな障害となるとの問題もある。
一方、動画像超解像処理従来技術その２（ファスイらにより提案された方法）では、動画像超解像処理従来技術その１（静止画像の超解像処理を繰り返す方法）と異なり、ある時刻における高解像度画像を生成するために、必要な位置合わせ処理の回数は一回である。
しかし、一般的に、ファスイらにより提案された方法に係る上記数１及び数２で表すモデルのシステムノイズは、正規分布では表現できないため、上記数１及び数２で表すモデルは、モデルとして十分でなく、その結果として、上記数１及び数２で表すモデルに基づいて生成された高解像度画像の画質が十分高いことは、予想できない。
また、ファスイらにより提案された方法では、カルマンフィルタにより高解像度画像を生成するようにしており、カルマンフィルタでは、高解像度画像の画素数の次元のベクトルを取り扱う必要があり、高解像度画像の画素数の次元×高解像度画像の画素数の次元の逆行列演算など、非常に大きな計算量が要求されるという問題がある。
つまり、従来の動画像超解像処理では、計算量（計算コスト）や記憶媒体（メモリ）が大きいので、大きな記憶媒体（メモリ）や大きな計算量を必要としない動画像超解像処理の実現が大きな課題となっている。
本発明は、上述のような事情から成されたものであり、本発明の目的は、低解像度動画像から高解像度動画像を生成する動画像超解像処理に適用でき、且つ、大きな記憶媒体と大きな計算量を必要としない動画像超解像処理を実現した、画像処理装置及び画像処理方法を提供することにある。
本発明は、入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理装置に関し、本発明の上記目的は、加算画像と重み画像の第１更新処理部と、画像補間による加算画像と重み画像生成処理部と、加算画像と重み画像の減衰処理部と、加算画像と重み画像の加算処理部と、画像再構成処理部とを備え、前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、前記加算画像と重み画像の加算処理部へ出力し、前記画像補間による加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、画像補間により生成された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部へ出力し、前記加算画像と重み画像の減衰処理部は、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、前記加算画像と重み画像の加算処理部へ出力し、前記加算画像と重み画像の加算処理部は、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、前記画像再構成処理部へ出力し、前記画像再構成処理部は、前記加算画像と重み画像の加算処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することによって効果的に達成される。
また、本発明の上記目的は、前記加算画像と重み画像の第１更新処理部は、位置合わせ処理部と、位置合わせ情報の解像度変換処理部と、加算画像と重み画像の変形処理部と、画素選択処理部と、画素選択マスクの解像度変換処理部と、画素選択マスク処理部と、加算画像と重み画像の減衰処理部と、一枚からの加算画像と重み画像生成処理部と、加算画像と重み画像の加算処理部とを備え、前記位置合わせ処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、得られた位置合わせ情報を、前記位置合わせ情報の解像度変換処理部及び前記画素選択処理部へ出力し、前記位置合わせ情報の解像度変換処理部は、位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、得られた解像度変換された位置合わせ情報を前記加算画像と重み画像の変形処理部へ出力し、前記加算画像と重み画像の変形処理部は、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、得られた変形された時刻ｔ−１の加算画像と重み画像を、前記画素選択マスク処理部に出力し、前記画素選択処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、得られた画素選択マスクを、前記画素選択マスクの解像度変換処理部に出力し、前記画素選択マスクの解像度変換処理部は、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、得られた解像度変換された画素選択マスクを、前記画素選択マスク処理部に出力し、前記画素選択マスク処理部は、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部に出力し、前記加算画像と重み画像の減衰処理部は、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、前記加算画像と重み画像の加算処理部は、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像として出力することにより、或いは、加算画像と重み画像の第１更新処理部と、画像再構成処理部とを備え、前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として、前記画像再構成処理部へ出力し、前記画像再構成処理部は、前記加算画像と重み画像の第１更新処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成し、前記加算画像と重み画像の第１更新処理部は、位置合わせ処理部と、位置合わせ情報の解像度変換処理部と、加算画像と重み画像の変形処理部と、画素選択処理部と、画素選択マスクの解像度変換処理部と、画素選択マスク処理部と、加算画像と重み画像の減衰処理部と、一枚からの加算画像と重み画像生成処理部と、加算画像と重み画像の加算処理部とを備え、前記位置合わせ処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、得られた位置合わせ情報を、前記位置合わせ情報の解像度変換処理部及び前記画素選択処理部へ出力し、前記位置合わせ情報の解像度変換処理部は、位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、得られた解像度変換された位置合わせ情報を前記加算画像と重み画像の変形処理部へ出力し、前記加算画像と重み画像の変形処理部は、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、得られた変形された時刻ｔ−１の加算画像と重み画像を、前記画素選択マスク処理部に出力し、前記画素選択処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、得られた画素選択マスクを、前記画素選択マスクの解像度変換処理部に出力し、前記画素選択マスクの解像度変換処理部は、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、得られた解像度変換された画素選択マスクを、前記画素選択マスク処理部に出力し、前記画素選択マスク処理部は、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部に出力し、前記加算画像と重み画像の減衰処理部は、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、生成した一枚から生成された加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、前記加算画像と重み画像の加算処理部は、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像として出力することによってより効果的に達成される。
また、本発明の上記目的は、加算画像と重み画像の第２更新処理部と、画像補間による加算画像と重み画像生成処理部と、加算画像と重み画像の減衰処理部と、加算画像と重み画像の加算処理部と、画像再構成処理部とを備え、前記加算画像と重み画像の第２更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、前記加算画像と重み画像の加算処理部へ出力し、前記画像補間による加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、画像補間により生成された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部へ出力し、前記加算画像と重み画像の減衰処理部は、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、前記加算画像と重み画像の加算処理部へ出力し、前記加算画像と重み画像の加算処理部は、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、前記画像再構成処理部へ出力し、前記画像再構成処理部は、前記加算画像と重み画像の加算処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することによってより効果的に達成される。
また、本発明の上記目的は、前記加算画像と重み画像の第２更新処理部は、シーンチェンジ検出処理部と、加算画像と重み画像の第１更新処理部と、一枚からの加算画像と重み画像生成処理部とを備え、前記シーンチェンジ検出処理部は、時刻ｔの入力画像と時刻ｔ−１の入力画像に基づき、シーンチェンジ検出処理を行い、シーンチェンジがあるか否かを判断し、前記シーンチェンジ検出処理部により、シーンチェンジが無いと判断された場合に、前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像として出力し、一方、前記シーンチェンジ検出処理部により、シーンチェンジがあると判断された場合に、前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、更新された加算画像と重み画像として出力することにより、或いは加算画像と重み画像の第２更新処理部と、画像再構成処理部とを備え、前記加算画像と重み画像の第２更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として、前記画像再構成処理部へ出力し、前記画像再構成処理部は、前記加算画像と重み画像の第２更新処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成し、前記加算画像と重み画像の第２更新処理部は、シーンチェンジ検出処理部と、加算画像と重み画像の第１更新処理部と、一枚からの加算画像と重み画像生成処理部とを備え、前記シーンチェンジ検出処理部は、時刻ｔの入力画像と時刻ｔ−１の入力画像に基づき、シーンチェンジ検出処理を行い、シーンチェンジがあるか否かを判断し、前記シーンチェンジ検出処理部により、シーンチェンジが無いと判断された場合に、前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像として出力し、一方、前記シーンチェンジ検出処理部により、シーンチェンジがあると判断された場合に、前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、更新された加算画像と重み画像として出力することによってより効果的に達成される。
本発明によれば、一枚の高解像度画像を生成するために必要な位置合わせ処理は一回のみであるため、本発明による動画像超解像処理に必要な計算コストを大幅に削減できるとという顕著な効果を奏する。
また、本発明では、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの高解像度画像を生成するようにしているので、本発明によれば、少ないメモリで高解像度動画像を生成できるという優れた効果を奏する。
つまり、本発明によれば、大きな記憶媒体と大きな計算量を必要としない動画像超解像処理を実現することができる。
本発明は、デジタル画像処理技術に関し、特に、低解像度動画像から高解像度動画像を生成する動画像超解像処理に適用でき、且つ、大きな記憶媒体と大きな計算量を必要としない動画像超解像処理を実現した、画像処理技術に関する。
ここで、まず、本発明の主たる技術的特徴について述べる。
本発明では、低解像度動画像における時刻ｔの画像（以下、単に「時刻ｔの入力画像」とも言う。）と、低解像度動画像における時刻ｔ−１の画像（以下、単に「時刻ｔ−１の入力画像」とも言う。）との位置合わせ処理結果を利用して、少ない計算量で時刻ｔの高解像度画像を生成することが１つ目の技術的特徴である。
つまり、本発明では、一枚の高解像度画像を生成するために、必要な位置合わせ処理は一回のみである。
ところで、本発明の発明者らは、静止画像の超解像処理技術について鋭意研究しており、その成果の一つとして、特許文献２に開示された「超解像処理の高速化方法」との特許が挙げられる。
特許文献２には、まず、「平均観測画像」と「重み画像」を生成し、次に、生成した「平均観測画像」と「重み画像」を利用して、高解像度画像を再構成する「画像再構成処理」を行う方法が開示されている。特許文献２に開示された方法によれば、少ない計算コストで高解像度画像を生成することができる。ちなみに、「平均観測画像」と「重み画像」は、その画素間隔（画素数）が高解像度画像と等しい。換言すれば、「平均観測画像」と「重み画像」の解像度は、高解像度画像の解像度と同じである。
本発明では、上記「平均観測画像」と「重み画像」の画素毎の積を、「加算画像」と呼ぶことにする。
本発明では、時刻ｔの「加算画像」と「重み画像」に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することが２つ目の技術的特徴である。
そして、本発明では、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの「加算画像」と「重み画像」を生成することが３つ目の技術的特徴である。この３つ目の技術的特徴は、本発明の一番大きな特徴とも言える。
なお、言うまでも無く、本発明における加算画像と重み画像の解像度は、高解像度画像の解像度と同じである。
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に述べる実施形態によって限定されるものではない。
図１は本発明の第１実施形態に係る画像処理装置（以下、単に「本発明に係る画像処理装置１０」、又は「画像処理装置１０」とも言う。）を示すブロック構成図である。
図１に示すように、本発明に係る画像処理装置１０は、加算画像と重み画像の第１更新処理部１００と、画像再構成処理部５００とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの高解像度画像を生成するものである。
また、図示されていないが、画像処理装置１０は、データを記憶する記憶部を備えており、記憶部として、例えば、半導体メモリなどの記憶媒体を用いることができる。なお、言うまでも無く、記憶部に格納されたデータは、必要に応じて、画像処理装置１０の各構成ブロック（各構成部分）に利用されることができ、また、画像処理装置１０の各構成ブロックは、所定の処理を行うことによって生成されたデータを、必要に応じて記憶部に格納することができる。
ここで、画像処理装置１０の処理流れについて説明する。
図１に示すように、画像処理装置１０において、まず、加算画像と重み画像の第１更新処理部１００が、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として画像再構成処理部５００へ出力する。
次に、画像処理装置１０において、画像再構成処理部５００が、加算画像と重み画像の第１更新処理部１００から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成する。なお、画像再構成処理部５００で生成された時刻ｔの高解像度画像は、必要に応じて、外部に出力するようにしても良く、また、記憶部に格納するようにしても良い。
本発明において、画像再構成処理とは、ある時刻の加算画像と重み画像に基づき、ある時刻の高解像度画像を再構成（生成）する処理である。
また、本発明において、本発明の発明者らに提案された特許文献２の方法、つまり、平均観測画像と重み画像を利用して、高解像度画像を再構成する画像再構成処理方法を用いて、画像再構成処理を行うことが好ましい。
ここで、平均観測画像は、加算画像を重み画像で画素毎に割り算することにより、生成される。つまり、本発明の画像再構成処理部５００では、まず、時刻ｔの加算画像と重み画像に基づき、時刻ｔの平均観測画像を生成し、そして、生成された時刻ｔの平均観測画像と、時刻ｔの重み画像を利用して、特許文献２に開示された方法により、時刻ｔの高解像度画像を生成する。
勿論、本発明では、画像再構成処理に特許文献２に開示された方法を用いることに限定されることはなく、例えば、加算画像と重み画像に基づき、特許文献３に開示された画像処理方法やその他の方法によっても、高解像度画像を生成することが可能である。
その一例として、例えば、まず、加算画像を画素毎に重み画像で割り算した結果を平均画像と呼ぶことにする。ただし、重み画像の画素値が０に対応する画素を、平均画像の欠損画素と定義する。欠損画素の画素値を、既存の画像補間技術により推定することができる。よって、画像再構成処理を行うことができる。
つまり、まず、ある時刻の加算画像と重み画像から、欠損画素を含むある時刻の平均画像を生成し、そして、生成されたある時刻の平均画像の欠損画素の画素値を、既存の画像補間技術で推定することで、ある時刻の高解像度画像を再構成する画像再構成処理を本発明に適用できることは言うまでも無い。

図２は本発明の第２実施形態に係る画像処理装置（以下、単に「本発明に係る画像処理装置２０」、又は「画像処理装置２０」とも言う。）を示すブロック構成図である。
図２に示すように、本発明に係る画像処理装置２０は、加算画像と重み画像の第１更新処理部１００と、画像補間による加算画像と重み画像生成処理部２００と、加算画像と重み画像の減衰処理部３００と、加算画像と重み画像の加算処理部４００と、画像再構成処理部５００とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの高解像度画像を生成するものである。
また、図示されていないが、画像処理装置２０は、データを記憶する記憶部を備えており、記憶部として、例えば、半導体メモリなどの記憶媒体を用いることができる。なお、言うまでも無く、記憶部に格納されたデータは、必要に応じて、画像処理装置２０の各構成ブロック（各構成部分）に利用されることができ、また、画像処理装置２０の各構成ブロックは、所定の処理を行うことによって生成されたデータを、必要に応じて記憶部に格納することができる。
ここで、画像処理装置２０の処理流れについて説明する。
図２に示すように、画像処理装置２０において、まず、加算画像と重み画像の第１更新処理部１００が、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、加算画像と重み画像の加算処理部４００へ出力する。
次に、画像処理装置２０において、画像補間による加算画像と重み画像生成処理部２００が、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、加算画像と重み画像を生成し、生成した加算画像と重み画像を、加算画像と重み画像の減衰処理部３００へ出力する。以下、画像補間による加算画像と重み画像生成処理により生成された加算画像と重み画像を、「画像補間により生成された加算画像と重み画像」と呼ぶ。
次に、画像処理装置２０において、加算画像と重み画像の減衰処理部３００が、画像補間による加算画像と重み画像生成処理部２００から出力された、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、加算画像と重み画像の加算処理部４００へ出力する。
次に、画像処理装置２０において、加算画像と重み画像の加算処理部４００が、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、画像再構成処理部５００へ出力する。
次に、画像処理装置２０において、画像再構成処理部５００が、加算画像と重み画像の加算処理部４００から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成する。なお、画像再構成処理部５００で生成された時刻ｔの高解像度画像は、必要に応じて、外部に出力するようにしても良く、また、記憶部に格納するようにしても良い。

ここで、図３の模式図を参照しながら、画像補間による加算画像と重み画像生成処理部２００にて行われる、画像補間による加算画像と重み画像生成処理について説明する。
時刻ｔの入力画像は低解像度画像であり、図３では模式的説明のため、時刻ｔの入力画像は３×３の解像度を有する。また、画像再構成処理部５００で生成された時刻ｔの高解像度画像の解像度は５×５とする。画像補間により生成された加算画像は、高解像度画像と同じ解像度を有するため、５×５の解像度を有する。
図３に示すように、時刻ｔの入力画像の画素値Iijは、画像補間により生成された加算画像の画素値Iijとして利用されており、画像補間により生成された加算画像の画素値I’ijは、画像補間により周辺画素から求められるものである。
また、画像補間により生成された重み画像は、高解像度画像と同じ解像度を有するため、図３の例では、５×５の解像度を有し、画像補間により生成された重み画像の画素値は全て１である。換言すれば、画像補間により生成された重み画像は、全ての画素の画素値が１である画像である。

ここで、本発明における加算画像と重み画像の第１更新処理部について説明する。図４は本発明における加算画像と重み画像の第１更新処理部を示すブロック構成図である。また、図５は、本発明における加算画像と重み画像の第１更新処理部の処理流れを示すフロー図である。
図４に示すように、本発明の加算画像と重み画像の第１更新処理部（加算画像と重み画像の第１更新処理部１００）は、位置合わせ処理部１１０と、位置合わせ情報の解像度変換処理部１２０と、加算画像と重み画像の変形処理部１３０と、画素選択処理部１４０と、画素選択マスクの解像度変換処理部１５０と、画素選択マスク処理部１６０と、加算画像と重み画像の減衰処理部１７０と、一枚からの加算画像と重み画像生成処理部１８０と、加算画像と重み画像の加算処理部１９０とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新するものである。
ここで、加算画像と重み画像の第１更新処理部１００の処理流れについて説明する。
図４に示すように、加算画像と重み画像の第１更新処理部１００において、まず、位置合わせ処理部１１０が、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い（図５のステップＳ１０を参照）、画像間の位置合わせ処理により得られた位置合わせ情報を、位置合わせ情報の解像度変換処理部１２０及び画素選択処理部１４０へ出力する。
なお、位置合わせ処理部１１０にて行われる、画像間の位置合わせ処理は、位置合わせ処理に関する既存手法を利用する。位置合わせ処理に関する既存手法として、例えば、非特許文献２や非特許文献３に記載された方法が挙げられる。
次に、位置合わせ情報の解像度変換処理部１２０が、位置合わせ処理部１１０から出力された位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い（図５のステップＳ２０を参照）、位置合わせ情報の解像度変換処理により得られた、解像度変換された位置合わせ情報を加算画像と重み画像の変形処理部１３０へ出力する。
ここで、位置合わせ情報の解像度変換処理を行う必要性について説明する。
位置合わせ処理部１１０にて行われる画像間の位置合わせ処理は、低解像度画像間で行われる。本発明では、高解像度画像空間で、位置合わせ情報を利用する。このため、画像間の位置合わせ処理により低解像度画像空間で得られた位置合わせ情報を、高解像度画像空間に変換する必要がある。
なお、具体的な位置合わせ情報の解像度変換処理は、位置合わせ情報の表現方法に依存するが、スケール変換処理や補間処理などを組み合わせることにより、容易に実現可能である。
次に、加算画像と重み画像の変形処理部１３０が、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い（図５のステップＳ３０を参照）、この加算画像と重み画像の変形処理により、変形された時刻ｔ−１の加算画像と重み画像を画素選択マスク処理部１６０に出力する。
次に、画素選択処理部１４０が、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ処理部１１０から出力された位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する、画素選択処理を行い（図５のステップＳ４０を参照）、この画素選択処理により得られた、超解像処理に利用可能な領域のマスク（以下、単に「画素選択マスク」と言う。）を画素選択マスクの解像度変換処理部１５０に出力する。
なお、画素選択処理部１４０にて行われる画素選択処理は、画素選択処理に関する既存手法を利用する。画素選択処理に関する既存手法としては、例えば、特許文献１に開示された方法が挙げられる。また、画素選択処理により得られた画素選択マスクは２値マスクだけでなく、多値マスクでも良いことは言うまでも無い。
次に、画素選択マスクの解像度変換処理部１５０が、画素選択処理部１４０から出力された画素選択マスクに対し、画素選択マスクの解像度変換処理を行い（図５のステップＳ５０を参照）、画素選択マスクの解像度変換処理により得られた、解像度変換された画素選択マスクを、画素選択マスク処理部１６０に出力する。
ここで、画素選択マスクの解像度変換処理を行う必要性について説明する。
画素選択処理部１４０にて行われる画素選択処理は、低解像度画像空間で行われており、換言すれば、画素選択マスクは、低解像度画像空間での画素選択処理により得られている。本発明では、高解像度画像空間で、画素選択マスクを利用する。このため、画素選択処理により低解像度画像空間で得られた画素選択マスクを、高解像度画像空間に変換する必要がある。
なお、画素選択マスクの解像度変換処理は、通常の画像の解像度変換処理と同様に、例えば、バイリニア補間やニアレストネイバー補間などの補間処理により、容易に実現可能である。
次に、画素選択マスク処理部１６０が、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い（図５のステップＳ６０を参照）、画素選択マスク処理により得られた加算画像と重み画像（以下、単に「マスク処理された加算画像と重み画像」と言う。）を、加算画像と重み画像の減衰処理部１７０に出力する。
画素選択マスク処理部１６０にて行われる画素選択マスク処理は、下記数３及び数４によって表される。
ただし、
は変形された時刻ｔ−１の加算画像のベクトル表現を表す。
は変形された時刻ｔ−１の重み画像のベクトル表現を表す。
は解像度変換された画素選択マスクを表す。また、
はマスク処理された加算画像のベクトル表現を表す。
はマスク処理された重み画像のベクトル表現を表す。
は要素毎の乗算を表す。
次に、加算画像と重み画像の減衰処理部１７０が、画像選択マスク処理部１６０から出力された、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い（図５のステップＳ７０を参照）、減衰処理後の加算画像と重み画像を、加算画像と重み画像の加算処理部１９０へ出力する。
本発明において、加算画像と重み画像の減衰処理とは、加算画像と重み画像の各画素の画素値を定数倍する処理である。
よって、加算画像と重み画像の減衰処理部１７０にて行われる加算画像と重み画像の減衰処理は、マスク処理された加算画像と重み画像の各画素の画素値を定数倍する処理となり、下記数５及び数６によって表される。
ただし、
はマスク処理された加算画像のベクトル表現を表し、即ち、減衰処理前の加算画像のベクトル表現を表す。
はマスク処理された重み画像のベクトル表現を表し、即ち、減衰処理前の重み画像のベクトル表現を表す。また、αは減衰の程度を表す定数を表し、以下、減衰係数とも言う。
は減衰処理後の加算画像のベクトル表現を表す。
は減衰処理後の重み画像のベクトル表現を表す。
なお、画像処理装置２０における加算画像と重み画像の減衰処理部３００にて行われる加算画像と重み画像の減衰処理とは、画像補間により生成された加算画像と重み画像の各画素の画素値を定数倍する処理である。
次に、一枚からの加算画像と重み画像生成処理部１８０が、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより（図５のステップＳ８０を参照）、加算画像と重み画像を生成し、生成した加算画像と重み画像を、加算画像と重み画像の加算処理部１９０へ出力する。以下、一枚からの加算画像と重み画像生成処理により生成された加算画像と重み画像を、「一枚から生成された加算画像と重み画像」と呼ぶ。
ここで、図６の模式図を参照しながら、一枚からの加算画像と重み画像生成処理部１８０にて行われる、一枚からの加算画像と重み画像生成処理について説明する。
図６に示すように、本発明において、一枚からの加算画像と重み画像生成処理とは、一枚からの加算画像と重み画像生成処理前の入力画像（時刻ｔの入力画像）に対して、画素と画素の間に、画素値が０である画素を挿入することにより、一枚から生成された加算画像を生成するとともに、一枚からの加算画像と重み画像生成処理前の入力画像（時刻ｔの入力画像）の画素位置に対応する画素値を１、それ以外の画素位置の画素値が０となるように、一枚から生成された重み画像を生成する処理である。なお、一枚から生成された加算画像と重み画像は、高解像度画像と同じ解像度を有する。
時刻ｔの入力画像は低解像度画像であり、図６では模式的説明のため、時刻ｔの入力画像は３×３の解像度を有し、Iijは時刻ｔの入力画像の画素値を表す。また、画像再構成処理部５００で生成された時刻ｔの高解像度画像の解像度は５×５とする。一枚から生成された加算画像と重み画像は、高解像度画像と同じ解像度を有するため、５×５の解像度を有する。
次に、加算画像と重み画像の加算処理部１９０が、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い（図５のステップＳ９０を参照）、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像として出力する。
本発明において、加算画像と重み画像の加算処理とは、２つの加算画像と２つの重み画像を、それぞれ画素毎に加算することにより、加算処理後の加算画像と重み画像を生成する処理である。
ここで、２つの加算画像のベクトル表現を
とする。また、２つの重み画像のベクトル表現を
とする。よって、加算画像と重み画像の加算処理により生成される加算処理後の加算画像のベクトル表現
は、下記数７によって表される。
また、加算画像と重み画像の加算処理により生成される加算処理後の重み画像のベクトル表現
は、下記数８によって表される。
よって、加算画像と重み画像の加算処理部１９０にて行われる加算画像と重み画像の加算処理とは、一枚から生成された加算画像と減衰処理後の加算画像を画素毎に加算することにより、加算処理後の加算画像を生成するとともに、一枚から生成された重み画像と減衰処理後の重み画像を画素毎に加算することにより、加算処理後の重み画像を生成する処理である。
なお、画像処理装置２０における加算画像と重み画像の加算処理部４００にて行われる加算画像と重み画像の加算処理とは、時刻ｔの第１加算画像と時刻ｔの第２加算画像を画素毎に加算することにより、加算処理後の加算画像（時刻ｔの加算画像）を生成するとともに、時刻ｔの第１重み画像と時刻ｔの第２重み画像を画素毎に加算することにより、加算処理後の重み画像（時刻ｔの重み画像）を生成する処理である。

図７は本発明の第３実施形態に係る画像処理装置（以下、単に「本発明に係る画像処理装置３０」、又は「画像処理装置３０」とも言う。）を示すブロック構成図である。
図７に示すように、本発明に係る画像処理装置３０は、加算画像と重み画像の第２更新処理部１０１と、画像再構成処理部５００とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの高解像度画像を生成するものである。
また、図示されていないが、画像処理装置３０は、データを記憶する記憶部を備えており、記憶部として、例えば、半導体メモリなどの記憶媒体を用いることができる。なお、言うまでも無く、記憶部に格納されたデータは、必要に応じて、画像処理装置３０の各構成ブロック（各構成部分）に利用されることができ、また、画像処理装置３０の各構成ブロックは、所定の処理を行うことによって生成されたデータを、必要に応じて記憶部に格納することができる。
ここで、画像処理装置３０の処理流れについて説明する。
図７に示すように、画像処理装置３０において、まず、加算画像と重み画像の第２更新処理部１０１が、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として画像再構成処理部５００へ出力する。
次に、画像処理装置３０において、画像再構成処理部５００が、加算画像と重み画像の第２更新処理部１０１から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成する。なお、画像再構成処理部５００で生成された時刻ｔの高解像度画像は、必要に応じて、外部に出力するようにしても良く、また、記憶部に格納するようにしても良い。

図８は本発明の第４実施形態に係る画像処理装置（以下、単に「本発明に係る画像処理装置４０」、又は「画像処理装置４０」とも言う。）を示すブロック構成図である。
図８に示すように、本発明に係る画像処理装置４０は、加算画像と重み画像の第２更新処理部１０１と、画像補間による加算画像と重み画像生成処理部２００と、加算画像と重み画像の減衰処理部３００と、加算画像と重み画像の加算処理部４００と、画像再構成処理部５００とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの高解像度画像を生成するものである。
また、図示されていないが、画像処理装置４０は、データを記憶する記憶部を備えており、記憶部として、例えば、半導体メモリなどの記憶媒体を用いることができる。なお、言うまでも無く、記憶部に格納されたデータは、必要に応じて、画像処理装置４０の各構成ブロック（各構成部分）に利用されることができ、また、画像処理装置４０の各構成ブロックは、所定の処理を行うことによって生成されたデータを、必要に応じて記憶部に格納することができる。
ここで、画像処理装置４０の処理流れについて説明する。
図８に示すように、画像処理装置４０において、まず、加算画像と重み画像の第２更新処理部１０１が、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、加算画像と重み画像の加算処理部４００へ出力する。
次に、画像処理装置４０において、画像補間による加算画像と重み画像生成処理部２００が、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、「画像補間により生成された加算画像と重み画像」を生成し、生成した「画像補間により生成された加算画像と重み画像」を加算画像と重み画像の減衰処理部３００へ出力する。
次に、画像処理装置４０において、加算画像と重み画像の減衰処理部３００が、画像補間による加算画像と重み画像生成処理部２００から出力された、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、加算画像と重み画像の加算処理部４００へ出力する。
次に、画像処理装置４０において、加算画像と重み画像の加算処理部４００が、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、画像再構成処理部５００へ出力する。
次に、画像処理装置４０において、画像再構成処理部５００が、加算画像と重み画像の加算処理部４００から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成する。なお、画像再構成処理部５００で生成された時刻ｔの高解像度画像は、必要に応じて、外部に出力するようにしても良く、また、記憶部に格納するようにしても良い。

ここで、本発明における加算画像と重み画像の第２更新処理部について説明する。図９は本発明における加算画像と重み画像の第２更新処理部を示すブロック構成図である。また、図１０は、本発明における加算画像と重み画像の第２更新処理部の処理流れを示すフロー図である。
図９に示すように、本発明の加算画像と重み画像の第２更新処理部（加算画像と重み画像の第２更新処理部１０１）は、加算画像と重み画像の第１更新処理部１００と、シーンチェンジ検出処理部１０２と、一枚からの加算画像と重み画像生成処理部１８０とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新するものである。
ここで、加算画像と重み画像の第２更新処理部１０１の処理流れについて説明する。
図１０に示すように、加算画像と重み画像の第２更新処理部１０１において、まず、シーンチェンジ検出処理部１０２が、時刻ｔの入力画像と時刻ｔ−１の入力画像に基づき、シーンチェンジ検出処理を行い（図１０のステップＳ１００を参照）、シーンチェンジがあるか否かを判断する（図１０のステップＳ１１０を参照）。
なお、シーンチェンジ検出処理は、シーンチェンジ検出処理に関する既存方法を利用する。シーンチェンジ検出処理に関する既存方法として、例えば、非特許文献４に開示された方法が挙げられる。
シーンチェンジ検出処理部１０２により、シーンチェンジが無いと判断された場合に、加算画像と重み画像の第１更新処理部１００が、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより（図１０のステップＳ１２０を参照）、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像として出力する。
一方、シーンチェンジ検出処理部１０２により、シーンチェンジがあると判断された場合に、一枚からの加算画像と重み画像生成処理部１８０が、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより（図１０のステップＳ１３０を参照）、一枚から生成された加算画像と重み画像を生成し、生成した「一枚から生成された加算画像と重み画像」を、更新された加算画像と重み画像として出力する。

以上のように、本発明の第１実施形態〜第４実施形態に係る画像処理装置の動作（処理流れ）について、詳細に説明したが、本発明に係る画像処理装置を用いて動画像超解像処理を行う場合に、最初に必要となる時刻０の加算画像と重み画像は、一枚からの加算画像と重み画像生成処理を行うことにより生成される。
つまり、本発明に係る画像処理装置による動画像超解像処理を行う場合に、まず、時刻０の加算画像と重み画像を生成するための加算画像と重み画像の初期化処理を行う必要がある。具体的に、時刻０の入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、生成された一枚から生成された加算画像と重み画像を時刻０の加算画像と重み画像とする。
換言すれば、加算画像と重み画像の初期化処理とは、時刻０の入力画像に対して行われる一枚からの加算画像と重み画像生成処理である。

前述したように、本発明に係る画像処理装置は、低解像度動画像から高解像度動画像を生成する動画像超解像処理に適用でき、且つ、大きな記憶媒体と大きな計算量を必要としない動画像超解像処理を実現することができる。
以下、本発明に係る画像処理装置による動画像超解像処理の処理流れについて説明する。
図１１は、本発明の第１実施形態に係る画像処理装置（画像処理装置１０）による動画像超解像処理の処理流れを示すフロー図である。また、図１２は本発明の第１実施形態に係る画像処理装置（画像処理装置１０）による動画像超解像処理を説明するための模式図である。なお、低解像度動画像は、例えば、デジタル・ビデオ・カメラなどの撮像装置により取得される。
図１１及び図１２に示すように、まず、時刻０の低解像度画像が取得された時点で、この時刻０の低解像度画像（時刻０の入力画像）に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、生成された一枚から生成された加算画像と重み画像を時刻０の加算画像と重み画像とする。次に、時刻０の加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻０の高解像度画像を生成する。
次いで、時刻１の低解像度画像（時刻１の入力画像）が取得された時点で、加算画像と重み画像の第１更新処理部１００が、時刻０の入力画像、時刻１の入力画像、及び時刻０の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻０の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻１の加算画像と重み画像として画像再構成処理部５００へ出力する。
次に、画像再構成処理部５００が、加算画像と重み画像の第１更新処理部１００から出力された、時刻１の加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻１の高解像度画像を生成する。
次に、時刻２の低解像度画像（時刻２の入力画像）が取得された時点では、時刻１の入力画像が取得された時点と同様に、加算画像と重み画像の第１更新処理と画像再構成処理を繰り返すことにより、時刻２の高解像度画像を生成する。
また、時刻３以降も同様に、加算画像と重み画像の第１更新処理と画像再構成処理を繰り返すことにより、その時刻の高解像度画像を生成する。
このように、本発明によれば、低解像度動画像の逐次的な取得に伴い、高解像度動画像も逐次的に生成される。

図１３は、本発明の第２実施形態に係る画像処理装置（画像処理装置２０）による動画像超解像処理の処理流れを示すフロー図である。なお、低解像度動画像は、例えば、デジタル・ビデオ・カメラなどの撮像装置により取得される。
図１３に示すように、まず、時刻０の低解像度画像が取得された時点で、この時刻０の低解像度画像（時刻０の入力画像）に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、生成された一枚から生成された加算画像と重み画像を、時刻０の第１加算画像と第１重み画像とする。
また、時刻０の入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成する。次に、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻０の第２加算画像と第２重み画像とする。
時刻０の第１加算画像と第１重み画像と、時刻０の第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻０の加算画像と重み画像を生成する。次に、時刻０の加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻０の高解像度画像を生成する。
次いで、時刻１の低解像度画像（時刻１の入力画像）が取得された時点で、加算画像と重み画像の第１更新処理部１００が、時刻０の入力画像、時刻１の入力画像、及び時刻０の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻０の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻１の第１加算画像と第１重み画像とする。
また、画像補間による加算画像と重み画像生成処理部２００が、時刻１の入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成する。次に、加算画像と重み画像の減衰処理部３００が、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻１の第２加算画像と第２重み画像とする。
次に、加算画像と重み画像の加算処理部４００が、時刻０の第１加算画像と第１重み画像と、時刻０の第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻１の加算画像と重み画像を生成する。次に、画像再構成処理部５００が、時刻１の加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻１の高解像度画像を生成する。
また、時刻２以降も同様に、加算画像と重み画像の第１更新処理、画像補間による加算画像と重み画像生成処理、加算画像と重み画像の減衰処理、及び画像再構成処理を繰り返すことにより、その時刻の高解像度画像を生成する。
このように、本発明によれば、低解像度動画像の逐次的な取得に伴い、高解像度動画像も逐次的に生成される。

なお、本発明に係る画像処理装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されることも勿論できる。

以下では、具体的な実施例を通して本発明の有効性を実証する。
本実施例では、本発明の第１実施形態に係る画像処理装置（画像処理装置１０）を用いて動画像超解像処理を行う。即ち、図１１及び図１２に示す処理の流れで、入力された低解像度動画像に対し、動画像超解像処理を行った。拡大倍率を２×２に設定した。
位置合わせ処理に、非特許文献２に記載された方法を利用し、位置合わせに関するモーションモデルには平行移動、回転、スケール変化を仮定した。また、入力画像を分割し、分割した領域それぞれに対して、位置合わせ処理を行った。
位置合わせに関するモーションモデルでは、座標の同時表現を利用することにより、位置合わせ情報は、３×３の行列として表現できる。このとき、位置合わせ情報の解像度変換処理は、下記数９に基づいて行われる。
ここで、ｚは解像度の改善率を表す定数であり、拡大倍率に合わせて、ｚ＝２としている。また、
は位置合わせ情報を表す。
は解像度変換された位置合わせ情報を表す。
画素選択処理では、位置合わせ情報に基づき変形された時刻ｔ−１の入力画像と、時刻ｔの入力画像を、１０×１０の領域毎に類似度と、位置合わせ誤差を再推定し、画素選択処理を行った。類似度には領域間の画素値のＲＭＳＥを利用し、位置合わせ誤差の再推定には、非特許文献２に開示された方法で平行移動成分のみを再推定した。また、画素選択処理では、ＲＭＳＥが所定の閾値(3.16)以下、かつ位置合わせ誤差の推定値が所定の閾値(0.5)以下の場合１、それ以外の場合０とする２値マスクを生成した。減衰係数αは0.93とした。画像再構成処理では、特許文献３に開示された方法を利用した。
図１４は上述した実施例による動画像超解像処理において、入力された低解像度動画像と、生成された高解像度動画像の一例を示す図である。
図１４から、低解像度入力動画像に対し、本発明による動画像超解像処理により生成された高解像度動画像の解像度が向上していることが確認された。
本発明の第１実施形態に係る画像処理装置を示すブロック構成図である。 本発明の第２実施形態に係る画像処理装置を示すブロック構成図である。 本発明における画像補間による加算画像と重み画像生成処理を説明するための模式図である。 本発明における加算画像と重み画像の第１更新処理部を示すブロック構成図である。 本発明における加算画像と重み画像の第１更新処理部の処理流れを示すフロー図である。 本発明における一枚からの加算画像と重み画像生成処理を説明するための模式図である。 本発明の第３実施形態に係る画像処理装置を示すブロック構成図である。 本発明の第４実施形態に係る画像処理装置を示すブロック構成図である。 本発明における加算画像と重み画像の第２更新処理部を示すブロック構成図である。 本発明における加算画像と重み画像の第２更新処理部の処理流れを示すフロー図である。 本発明の第１実施形態に係る画像処理装置による動画像超解像処理の処理流れを示すフロー図である。 本発明の第１実施形態に係る画像処理装置による動画像超解像処理を説明するための模式図である。 本発明の第２実施形態に係る画像処理装置による動画像超解像処理の処理流れを示すフロー図である。 本発明に係る画像処理装置による動画像超解像処理において、入力された低解像度動画像と、生成された高解像度動画像の一例を示す図である。
符号の説明
１０,２０,３０,４０ 画像処理装置
１００ 加算画像と重み画像の第１更新処理部
１０１ 加算画像と重み画像の第２更新処理部
１０２ シーンチェンジ検出処理部
１１０ 位置合わせ処理部
１２０ 位置合わせ情報の解像度変換処理部
１３０ 加算画像と重み画像の変形処理部
１４０ 画素選択処理部
１５０ 画素選択マスクの解像度変換処理部
１６０ 画素選択マスク処理部
１７０ 加算画像と重み画像の減衰処理部
１８０ 一枚からの加算画像と重み画像生成処理部
１９０ 加算画像と重み画像の加算処理部
２００ 画像補間による加算画像と重み画像生成処理部
３００ 加算画像と重み画像の減衰処理部
４００ 加算画像と重み画像の加算処理部
５００ 画像再構成処理部

Claims (12)

  1. 入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理装置であって、
    加算画像と重み画像の第１更新処理部と、画像補間による加算画像と重み画像生成処理部と、加算画像と重み画像の減衰処理部と、加算画像と重み画像の加算処理部と、画像再構成処理部とを備え、
    前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、前記加算画像と重み画像の加算処理部へ出力し、
    前記画像補間による加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、画像補間により生成された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部へ出力し、
    前記加算画像と重み画像の減衰処理部は、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、前記加算画像と重み画像の加算処理部へ出力し、
    前記加算画像と重み画像の加算処理部は、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、前記画像再構成処理部へ出力し、
    前記画像再構成処理部は、前記加算画像と重み画像の加算処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理装置。
  2. 前記加算画像と重み画像の第１更新処理部は、位置合わせ処理部と、位置合わせ情報の解像度変換処理部と、加算画像と重み画像の変形処理部と、画素選択処理部と、画素選択マスクの解像度変換処理部と、画素選択マスク処理部と、加算画像と重み画像の減衰処理部と、一枚からの加算画像と重み画像生成処理部と、加算画像と重み画像の加算処理部とを備え、
    前記位置合わせ処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、得られた位置合わせ情報を、前記位置合わせ情報の解像度変換処理部及び前記画素選択処理部へ出力し、
    前記位置合わせ情報の解像度変換処理部は、位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、得られた解像度変換された位置合わせ情報を前記加算画像と重み画像の変形処理部へ出力し、
    前記加算画像と重み画像の変形処理部は、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、得られた変形された時刻ｔ−１の加算画像と重み画像を、前記画素選択マスク処理部に出力し、
    前記画素選択処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、得られた画素選択マスクを、前記画素選択マスクの解像度変換処理部に出力し、
    前記画素選択マスクの解像度変換処理部は、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、得られた解像度変換された画素選択マスクを、前記画素選択マスク処理部に出力し、
    前記画素選択マスク処理部は、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部に出力し、
    前記加算画像と重み画像の減衰処理部は、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、
    前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、生成した一枚から生成された加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、
    前記加算画像と重み画像の加算処理部は、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像として出力する請求項１に記載の画像処理装置。
  3. 入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理装置であって、
    加算画像と重み画像の第１更新処理部と、画像再構成処理部とを備え、
    前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として、前記画像再構成処理部へ出力し、
    前記画像再構成処理部は、前記加算画像と重み画像の第１更新処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成し、
    前記加算画像と重み画像の第１更新処理部は、位置合わせ処理部と、位置合わせ情報の解像度変換処理部と、加算画像と重み画像の変形処理部と、画素選択処理部と、画素選択マスクの解像度変換処理部と、画素選択マスク処理部と、加算画像と重み画像の減衰処理部と、一枚からの加算画像と重み画像生成処理部と、加算画像と重み画像の加算処理部とを備え、
    前記位置合わせ処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、得られた位置合わせ情報を、前記位置合わせ情報の解像度変換処理部及び前記画素選択処理部へ出力し、
    前記位置合わせ情報の解像度変換処理部は、位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、得られた解像度変換された位置合わせ情報を前記加算画像と重み画像の変形処理部へ出力し、
    前記加算画像と重み画像の変形処理部は、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、得られた変形された時刻ｔ−１の加算画像と重み画像を、前記画素選択マスク処理部に出力し、
    前記画素選択処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、得られた画素選択マスクを、前記画素選択マスクの解像度変換処理部に出力し、
    前記画素選択マスクの解像度変換処理部は、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、得られた解像度変換された画素選択マスクを、前記画素選択マスク処理部に出力し、
    前記画素選択マスク処理部は、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部に出力し、
    前記加算画像と重み画像の減衰処理部は、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、
    前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、生成した一枚から生成された加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、
    前記加算画像と重み画像の加算処理部は、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像として出力することを特徴とする画像処理装置。
  4. 入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理装置であって、
    加算画像と重み画像の第２更新処理部と、画像補間による加算画像と重み画像生成処理部と、加算画像と重み画像の減衰処理部と、加算画像と重み画像の加算処理部と、画像再構成処理部とを備え、
    前記加算画像と重み画像の第２更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、前記加算画像と重み画像の加算処理部へ出力し、
    前記画像補間による加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、画像補間により生成された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部へ出力し、
    前記加算画像と重み画像の減衰処理部は、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、前記加算画像と重み画像の加算処理部へ出力し、
    前記加算画像と重み画像の加算処理部は、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、前記画像再構成処理部へ出力し、
    前記画像再構成処理部は、前記加算画像と重み画像の加算処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理装置。
  5. 前記加算画像と重み画像の第２更新処理部は、シーンチェンジ検出処理部と、加算画像と重み画像の第１更新処理部と、一枚からの加算画像と重み画像生成処理部とを備え、
    前記シーンチェンジ検出処理部は、時刻ｔの入力画像と時刻ｔ−１の入力画像に基づき、シーンチェンジ検出処理を行い、シーンチェンジがあるか否かを判断し、
    前記シーンチェンジ検出処理部により、シーンチェンジが無いと判断された場合に、前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像として出力し、
    一方、前記シーンチェンジ検出処理部により、シーンチェンジがあると判断された場合に、前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、更新された加算画像と重み画像として出力する請求項４に記載の画像処理装置。
  6. 入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理装置であって、
    加算画像と重み画像の第２更新処理部と、画像再構成処理部とを備え、
    前記加算画像と重み画像の第２更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として、前記画像再構成処理部へ出力し、
    前記画像再構成処理部は、前記加算画像と重み画像の第２更新処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成し、
    前記加算画像と重み画像の第２更新処理部は、シーンチェンジ検出処理部と、加算画像と重み画像の第１更新処理部と、一枚からの加算画像と重み画像生成処理部とを備え、
    前記シーンチェンジ検出処理部は、時刻ｔの入力画像と時刻ｔ−１の入力画像に基づき、シーンチェンジ検出処理を行い、シーンチェンジがあるか否かを判断し、
    前記シーンチェンジ検出処理部により、シーンチェンジが無いと判断された場合に、前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像として出力し、
    一方、前記シーンチェンジ検出処理部により、シーンチェンジがあると判断された場合に、前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、更新された加算画像と重み画像として出力することを特徴とする画像処理装置。
  7. 前記加算画像と重み画像の第１更新処理部は、位置合わせ処理部と、位置合わせ情報の解像度変換処理部と、加算画像と重み画像の変形処理部と、画素選択処理部と、画素選択マスクの解像度変換処理部と、画素選択マスク処理部と、加算画像と重み画像の減衰処理部と、一枚からの加算画像と重み画像生成処理部と、加算画像と重み画像の加算処理部とを備え、
    前記位置合わせ処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、得られた位置合わせ情報を、前記位置合わせ情報の解像度変換処理部及び前記画素選択処理部へ出力し、
    前記位置合わせ情報の解像度変換処理部は、位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、得られた解像度変換された位置合わせ情報を前記加算画像と重み画像の変形処理部へ出力し、
    前記加算画像と重み画像の変形処理部は、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、得られた変形された時刻ｔ−１の加算画像と重み画像を、前記画素選択マスク処理部に出力し、
    前記画素選択処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、得られた画素選択マスクを、前記画素選択マスクの解像度変換処理部に出力し、
    前記画素選択マスクの解像度変換処理部は、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、得られた解像度変換された画素選択マスクを、前記画素選択マスク処理部に出力し、
    前記画素選択マスク処理部は、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部に出力し、
    前記加算画像と重み画像の減衰処理部は、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、
    前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、
    前記加算画像と重み画像の加算処理部は、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像として出力する請求項５又は請求項６に記載の画像処理装置。
  8. 入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理方法であって、
    加算画像と重み画像の第１更新処理ステップと、画像補間による加算画像と重み画像生成処理ステップと、加算画像と重み画像の減衰処理ステップと、加算画像と重み画像の加算処理ステップと、画像再構成処理ステップとを有し、
    前記加算画像と重み画像の第１更新処理ステップは、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像とし、
    前記画像補間による加算画像と重み画像生成処理ステップは、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、
    前記加算画像と重み画像の減衰処理ステップは、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像とし、
    前記加算画像と重み画像の加算処理ステップは、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、
    前記画像再構成処理ステップは、前記加算画像と重み画像の加算処理ステップで生成された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理方法。
  9. 前記加算画像と重み画像の第１更新処理ステップは、位置合わせ処理ステップと、位置合わせ情報の解像度変換処理ステップと、加算画像と重み画像の変形処理ステップと、画素選択処理ステップと、画素選択マスクの解像度変換処理ステップと、画素選択マスク処理ステップと、加算画像と重み画像の減衰処理ステップと、一枚からの加算画像と重み画像生成処理ステップと、加算画像と重み画像の加算処理ステップとを有し、
    前記位置合わせ処理ステップは、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、位置合わせ情報を生成し、
    前記位置合わせ情報の解像度変換処理ステップは、前記位置合わせ処理ステップで生成された位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、解像度変換された位置合わせ情報を生成し、
    前記加算画像と重み画像の変形処理ステップは、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、変形された時刻ｔ−１の加算画像と重み画像を生成し、
    前記画素選択処理ステップは、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、画素選択マスクを生成し、
    前記画素選択マスクの解像度変換処理ステップは、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、解像度変換された画素選択マスクを生成し、
    前記画素選択マスク処理ステップは、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を生成し、
    前記加算画像と重み画像の減衰処理ステップは、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を生成し、
    前記一枚からの加算画像と重み画像生成処理ステップは、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、
    前記加算画像と重み画像の加算処理ステップは、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像とする請求項８に記載の画像処理方法。
  10. 入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理方法であって、
    加算画像と重み画像の第２更新処理ステップと、画像補間による加算画像と重み画像生成処理ステップと、加算画像と重み画像の減衰処理ステップと、加算画像と重み画像の加算処理ステップと、画像再構成処理部ステップを有し、
    前記加算画像と重み画像の第２更新処理ステップは、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像とし、
    前記画像補間による加算画像と重み画像生成処理ステップは、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、
    前記加算画像と重み画像の減衰処理ステップは、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像とし、
    前記加算画像と重み画像の加算処理ステップは、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、
    前記画像再構成処理ステップは、前記加算画像と重み画像の加算処理ステップで生成された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理方法。
  11. 前記加算画像と重み画像の第２更新処理ステップは、シーンチェンジ検出処理ステップと、加算画像と重み画像の第１更新処理ステップと、一枚からの加算画像と重み画像生成処理ステップとを有し、
    前記シーンチェンジ検出処理ステップは、時刻ｔの入力画像と時刻ｔ−１の入力画像に基づき、シーンチェンジ検出処理を行い、シーンチェンジがあるか否かを判断し、
    前記シーンチェンジ検出処理ステップにより、シーンチェンジが無いと判断された場合に、前記加算画像と重み画像の第１更新処理ステップは、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新処理後の時刻ｔ−１の加算画像と重み画像を更新された加算画像と重み画像とし、
    一方、前記シーンチェンジ検出処理ステップにより、シーンチェンジがあると判断された場合に、前記一枚からの加算画像と重み画像生成処理ステップは、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、更新された加算画像と重み画像とする請求項１０に記載の画像処理方法。
  12. 前記加算画像と重み画像の第１更新処理ステップは、位置合わせ処理ステップと、位置合わせ情報の解像度変換処理ステップと、加算画像と重み画像の変形処理ステップと、画素選択処理ステップと、画素選択マスクの解像度変換処理ステップと、画素選択マスク処理ステップと、加算画像と重み画像の減衰処理ステップと、一枚からの加算画像と重み画像生成処理ステップと、加算画像と重み画像の加算処理ステップとを有し、
    前記位置合わせ処理ステップは、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、位置合わせ情報を生成し、
    前記位置合わせ情報の解像度変換処理ステップは、前記位置合わせ処理ステップで生成された位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、解像度変換された位置合わせ情報を生成し、
    前記加算画像と重み画像の変形処理ステップは、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、変形された時刻ｔ−１の加算画像と重み画像を生成し、
    前記画素選択処理ステップは、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、画素選択マスクを生成し、
    前記画素選択マスクの解像度変換処理ステップは、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、解像度変換された画素選択マスクを生成し、
    前記画素選択マスク処理ステップは、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を生成し、
    前記加算画像と重み画像の減衰処理ステップは、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を生成し、
    前記一枚からの加算画像と重み画像生成処理ステップは、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、
    前記加算画像と重み画像の加算処理ステップは、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像とする請求項１１に記載の画像処理方法。
JP2008308273A 2008-12-03 2008-12-03 画像処理装置及び画像処理方法 Expired - Fee Related JP5181345B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008308273A JP5181345B2 (ja) 2008-12-03 2008-12-03 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008308273A JP5181345B2 (ja) 2008-12-03 2008-12-03 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2010134582A JP2010134582A (ja) 2010-06-17
JP5181345B2 true JP5181345B2 (ja) 2013-04-10

Family

ID=42345841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008308273A Expired - Fee Related JP5181345B2 (ja) 2008-12-03 2008-12-03 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP5181345B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011018878A1 (ja) * 2009-08-13 2011-02-17 日本電気株式会社 画像処理システム、画像処理方法および画像処理用プログラム
KR101624210B1 (ko) * 2010-08-27 2016-05-31 한화테크윈 주식회사 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4126378B2 (ja) * 2005-05-02 2008-07-30 国立大学法人東京工業大学 超解像処理の高速化方法
JP4837615B2 (ja) * 2006-04-11 2011-12-14 パナソニック株式会社 画像処理方法および画像処理装置
JP4670058B2 (ja) * 2006-10-25 2011-04-13 国立大学法人東京工業大学 高解像度画像生成方法

Also Published As

Publication number Publication date
JP2010134582A (ja) 2010-06-17

Similar Documents

Publication Publication Date Title
EP2266095B1 (en) Method and apparatus for super-resolution of images
Belekos et al. Maximum a posteriori video super-resolution using a new multichannel image prior
JP3837575B2 (ja) 超解像処理の高速化方法
JP4126378B2 (ja) 超解像処理の高速化方法
WO2021238500A1 (zh) 全景视频插帧方法、装置及对应的存储介质
JP2007088828A (ja) 手ぶれ補正装置
CN103985085A (zh) 图像超分辨率放大的方法和装置
CN106127689A (zh) 图像视频超分辨率方法和装置
US8712175B2 (en) Image processing system, image processing method and program for image processing
JP4714038B2 (ja) 画像の高解像度化方法及び装置
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
CN106981046A (zh) 基于多层梯度约束回归的单幅图像超分辨率重建方法
Qin An improved super resolution reconstruction method based on initial value estimation
JP5181345B2 (ja) 画像処理装置及び画像処理方法
CN111767679B (zh) 时变矢量场数据的处理方法及装置
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
JP4250237B2 (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP4095204B2 (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
Zefreh et al. Super-resolution of license plate images using algebraic reconstruction technique
JP2002319020A (ja) 画像処理装置および画像処理方法
CN107155096B (zh) 一种基于半误差反向投影的超分辨率重建方法及装置
JP5198500B2 (ja) 信号処理装置及びプログラム
Zerva et al. Video Super-Resolution Using Plug-and-Play Priors
CN106204445A (zh) 基于结构张量全变差的图像视频超分辨率方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees