JPH08263639A - 一連の低解像度画像から高解像度画像を生成する方法及び装置 - Google Patents

一連の低解像度画像から高解像度画像を生成する方法及び装置

Info

Publication number
JPH08263639A
JPH08263639A JP8050540A JP5054096A JPH08263639A JP H08263639 A JPH08263639 A JP H08263639A JP 8050540 A JP8050540 A JP 8050540A JP 5054096 A JP5054096 A JP 5054096A JP H08263639 A JPH08263639 A JP H08263639A
Authority
JP
Japan
Prior art keywords
resolution image
image
high resolution
low resolution
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8050540A
Other languages
English (en)
Inventor
Andrew J Patti
ジェイ パッティ アンドリュー
M Ibrahim Sezan
イブラヒム セザン エム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JPH08263639A publication Critical patent/JPH08263639A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】 画像の再生において、エイリアシング、ぼ
け、ノイズなどの影響を完全に解決するのが困難であ
る。 【解決手段】 一連の低解像度モーション画像から高解
像度画像を生成する装置において、各低解像度画像のマ
ッピング変換が生成される（１２）。このマッピング変
換により、各低解像度画像の画素が高解像度画像の位置
にマップされる。このマッピング変換を用いて、各低解
像度画像の各画素に対し、合成された点拡がり関数（Ｐ
ＳＦ）が算出される（１４）。算出された合成ＰＳＦを
用いて、凸集合（ＰＯＣＳ）への射影により、低解像度
画像から高解像度画像が生成される（１６）。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ディジタル画像処
理に関する。より詳細には、ぼけ（blur）やノイズの問
題を有し、任意の格子（arbitrary lattice ）上にアン
ダーサンプリングされた（under-sampled ）一連のモー
ション画像（motion image) から高解像度スチル画像
（still image ）を得る技術に関する。
【０００２】
【従来の技術】本発明は、任意の時空的格子上にアンダ
ーサンプリングされ、ぼけやノイズによる質の劣化が見
られる複数のモーション画像（すなわち相対変位を含む
複数の画像）から高解像度のスチル画像を再生する方法
及び装置に関するものである。前記複数の低解像度劣化
モーション画像は、時間的に連続して動作する電子スチ
ルカメラによって得られた特定シーンに関する一連のス
チル画像でもよいし、ビデオ信号からディジタル化され
たフレームでもよい。
【０００３】上記のような低解像度画像は、通常、散在
する空間格子（すなわち、サンプリング格子）上にアン
ダーサンプリングされている。これは、散在するポイン
トの集合上でカラーチャネルをサンプリングするカラー
フィルタアレイが存在すること、及びインターレース、
あるいはこれらのいずれかに起因する。さらには、この
ような画像にはぼけ及びノイズの問題がある。ぼけの原
因としては、以下に述べる事項のすべてあるいはそのい
ずれかが考えられる。すなわち、センサ積分（sensor i
ntegration ）、シーンとカメラの相対運動、ノンゼロ
アパーチャ時間、及び焦点のぼけたレンズである。一
方、撮像センサ、及びディジタル化処理と量子化処理が
ノイズを発生させる。ここでは、これらの欠陥を１つで
も有する画像を低分解能画像と称することにする。
【０００４】
【発明が解決しようとする課題】複数の低解像度画像が
供給される場合、例えば良質のハードコピープリントを
生成するなどの多様な目的のために、より高品質のスチ
ル画像の生成がしばしば望まれる。生成されたスチル画
像は、好ましくは入力された画像の格子より密である標
準矩形格子上に、多数のサンプルを有することにより、
エイリアシングの影響を低減し、さらにぼけやノイズの
問題を排除したものでなければならない。
【０００５】米国特許第５，３４１，１７４号（クー
他）には、次のような画像生成方法が開示されている。
すなわち、相対運動情報に基づいて、隣接画像からのサ
ンプルを選択された画像にマッピング（写像）すること
により画像が形成され、その画像のサンプル数及びサン
プル密度が高められる。ところが、この特許に開示され
ているアプローチは、インターレース（飛び越し走査）
されたビデオにその適用が限定され、ぼけやノイズによ
る劣化を考慮していない。したがって、ぼけやノイズに
よって劣化したデータは、その状態で用いられてしま
う。
【０００６】センサにおける積分によって生じるぼけに
ついては、以下の方法でスチル画像を生成することで考
慮がなされている。すなわち、「画像強調のためのモー
ション分析：解像、閉鎖（occlusion), 及び透明度」
（M.Irani S.Peleg. J. of Visual Comm. and Image Re
presentation, vol.4, pp.324-335, １９９３年１２
月);「仮想ベローズ：ビデオからの高品質スチル画像の
編成」（IEEE Int. Conf.Image Proc., (Austin, TX),
１９９４年１１月）；「画像登録による解像度の向
上」（M.Irani S.Peleg, Grafical Models and Image P
rocessing, vol. 53,pp. 231-239,１９９１年５月）に
記載の方法である。しかしながら、上記の方法は、アパ
ーチャ時間を考慮に入れておらず、運動ぼけ（motion b
lur ）を適切に扱っていない。さらに、上記の方法は、
ノイズによる劣化をモデルせず、これを考慮していな
い。この結果、これらの方法を用いて生成されたスチル
画像には、依然として運動ぼけ及びノイズによる劣化の
問題が残されている。さらに、これらの方法では、入力
される低解像度画像は標準の矩形格子上にサンプルされ
ていると仮定されている。従って、例えば入力画像がイ
ンターレースされたビデオから得たものである場合に
は、これらの画像は、上記の方法を適用するに先立ち、
まずデインターレース（すなわち、標準矩形格子上にサ
ンプリングされたプログレッシブ画像に変換）しなけれ
ばならない。このような工程を行わない限り、上記方法
は、インターレースされてない、プログレッシブな入力
画像に限定されることになる。
【０００７】Ａ．Ｍ．テカルプ他による「低解像度画像
シーケンスからの高解像度画像再生、及び空間変化（sp
ace-varying ）画像復元」（IEEE Int. Conf. Acouus
t., Speech, and Signal Proc., (San Francisco, CA),
vol. III PP.169-172、１９９２年３月）において説明
される高解像度度画像の再生方法では、凸集合への射影
（ＰＯＣＳ）に基づく方法が用いられている。この方法
は、センサ積分によるぼけ、及びノイズに対して考慮し
ている。しかしながら、この方法は運動ぼけに対する考
慮がなく、さらに、インターレースされていないプログ
レッシブな入力画像にその適用が限定されている。
【０００８】
【課題を解決するための手段】本発明の目的の１つは、
高品質のスチル画像を生成する際に問題となる前記の課
題のすべてに対処する方法を提供することである。すな
わち、エイリアシング（任意の格子上の空間アンダーサ
ンプリングによる）、センサのぼけ（センサにおける空
間積分、及びシーンとセンサの相対運動がある場合のア
パーチャ時間における時間積分による）、光学系ぼけ
（焦点のぼけたレンズによる）、及びノイズ（センサ及
び量子化のノイズ）の問題である。
【０００９】本発明の別の目的は、同時モデリングの問
題、及びエイリアシング、センサ積分によるぼけ、光学
系ぼけ、運動ぼけ、ノイズによる汚染の影響を完全に解
決することにある。このように、本発明によれば、高解
像度のスチル画像またはシーケンス（連続画面）を生成
することができる。
【００１０】本発明の更なる目的は、任意のサンプリン
グ格子上にサンプリングされた低解像度画像から高解像
度画像を再生することにある。これは、サンプリング密
度を高めることでエイリアシングの影響を低減し、さら
に、センサ積分によるぼけの影響、及びノイズ汚染の影
響を低減することにより達成される。
【００１１】本発明の更なる目的は、サンプリング密度
を高めることでエイリアシングの影響を低減し、さら
に、センサ積分によるぼけの影響を低減することによっ
て、任意のサンプリング格子上にサンプリングされた低
解像度画像から高解像度画像を再生することにある。
【００１２】本発明の別の目的は、高解像度モードを備
えたディジタルスチルイメージカメラにおいて用いるこ
とのできる方法を提供することにある。前記高解像度モ
ードは、「バースト」方式を呼び出すことにより動作す
る。すなわち、相対運動する連続画像が急速に取り込ま
れ、これらの画像が、インカメラハードウェアあるいは
オフラインソフトウェア／ハードウェア処理能力のいず
れかを用いた方法によって処理される。こうして、高解
像度のスチル画像が生成される。あるいは、相対運動を
含む連続画像を、通常の電子スチルカメラを用いて取り
込むこともできる。本発明の別の目的は、ビデオカメラ
によって捕獲された画像を処理するために用いることの
できる方法を提供することにある。本発明により、イン
カメラハードウェアあるいはオフラインソフトウェア／
ハードウェア処理能力のいずれかを用いて、画像を処理
し、高分解のスチル画像を生成することができる。生成
された高解像度画像は、カラーフィルタアレイ（ＣＦ
Ａ）に固有の密度より高密度で空間的にサンプリングさ
れ、さらにインターレースされていない。このようなカ
メラは、例えば、原稿、図面、及び写真の極めて解像度
が高いスチル画像の送信が望まれるようなデスクトップ
ビデオ会議システムにおいて有用である。
【００１３】上記目的は、本発明により、一連の低解像
度モーション画像から高解像度の画像を生成するシステ
ムを供給することによって達成される。前記システム
は、低解像度画像のそれぞれに対するマッピング変換を
生成し、各低解像度画像の画素を高解像度画像の位置に
マップする。このマッピング変換を用いて、合成（comb
ined ）点拡がり関数（ＰＳＦ）が、各低解像度画像の
各画素に対して算出される。さらに、合成ＰＳＦを用い
て、凸集合への射影（ＰＯＣＳ）（projection onto co
nvex sets ）により、低解像度画像から高解像度画像が
生成される。
【００１４】本発明は、以下のような効果を有する。入
力画像が標準矩形格子上にサンプリングされていない場
合には、前処理として、入力を標準矩形格子上で内挿処
理しなければならないが、本発明ではこのような前処理
を行わなくとも、任意の格子上にサンプリングされてい
る画像を処理することができる。本発明は、凸集合への
射影（ＰＯＣＳ）に基づく方法を用いて、ぼけ、ノイ
ズ、任意の格子上にサンプリングされた画像の問題を同
時に扱う、画像再生方法を展開させている。さらに、本
発明は、運動推定（motion estimates）を柔軟に扱うこ
とができる。以下に述べるように、本発明は、運動推定
の正確性に適応することができる高解像度画像再生を可
能にするものである。
【００１５】
【発明の実施の形態】本発明の主要なステップが、図１
のフローチャートに示されている。図において、複数の
低解像度モーション画像１０が、本発明による画像処理
方法の入力として示されている。これらの入力低解像度
画像の組から、１つの入力画像がユーザによって選択さ
れる。選択された画像は基準画像と呼ばれ、この画像を
高解像度化したものが再生される。基準画像は、その時
係数ｔr によって特定されている。
【００１６】本発明は、３つの主要な処理ステップを有
する。図１に基づき説明する。第１の処理ステップ１２
では、各低解像度入力画像の画素を、高解像度画像の位
置にマップするマッピング変換が供給される。マッピン
グ変換を生成するために、低解像度基準画像に対し、そ
の他の低解像度画像のそれぞれの各画素の運動ベクトル
場が推定される。ここで、分数画素精度（fractional p
ixel accuracy)を有する周知の階層型ブロックマッチン
グ方法などの、運動推定方法を用いることができる。あ
るいは、米国特許第５，２４１，６０８号（１９９３年
８月３１日発行、発明者：フォーゲル）に開示されてい
る運動推定方法を用いて、運動ベクトル場を推定するこ
ともできる。前記ブロックマッチング方法は、局所移動
運動モデル（locally translational motion model）に
基づいている。または、以下に説明するように、アフィ
ン運動モデルを用いてもよい。アフィン運動モデルは、
ある領域内において、移動に加え、ズーム、回転及びせ
ん断（shear ）をモデルするものである。
【００１７】第２の処理ステップ１４では、前のステッ
プ１２において生成されたマッピング変換情報と、アパ
ーチャ時間、センサ幾何（geometry）、光学系ぼけ点拡
がり関数（ＰＳＦ）、及び高解像度サンプリング幾何
（ＨＲ）を用いて、合成ぼけＰＳＦが算出される。これ
は、運動ぼけと光学系ぼけ、及びセンサにおける積分に
よるぼけに対処するものである。合成ぼけＰＳＦの計算
は、像形成モデル（image formation model ）に基づい
て行われるが、これについては後に説明する。
【００１８】第３のステップ１６において、高解像度画
像が生成される。このステップでは、合成ぼけＰＳＦ、
マッピング変換からの運動情報、及び供給された低解像
度画像１０が、ＰＯＣＳに基づく方法で用いられる。こ
の方法については、「凸射影理論の概観及び画像回復問
題へのその応用」（Ｍ．Ｉ．セザン著、「超顕微法」、
１９９２年発行第４０号、５５−６７ページ）の論文に
詳細に説明されている。このステップで再生された高解
像度画像は、前記基準画像を高解像度化した推定であ
り、入力された低解像度画像のサンプリング格子パター
ンに関わらず、より緻密で、標準矩形のサンプリング幾
何上に多数のサンプルを有し、ぼけやノイズによる画質
の劣化の問題を排除したものである。つづいて、ステッ
プ１８において、生成された高解像度画像は、ＣＲＴま
たはプリンタなどのディスプレイ装置に表示される。
【００１９】低解像度画像は、異なる時点で異なるサン
プリングパターンによってサンプリングされることもあ
る。このような場合には、サンプリング格子は、サンプ
リングパターンにおいて周期的な変化を示す。低解像度
の一般的なサンプリング格子パターン、及び高解像度画
像が図２に示される。パターン（ａ）はダイアモンド型
の格子を、パターン（ｃ）はインターレースされた格子
を示している。パターン（ｂ）及び（ｄ）は、高解像度
画像が再生されたより高密度の格子を示している。図に
おいて、白抜きの円は高解像度再生プロセスによって生
成された新たなサンプルを示し、黒塗りの円は低解像度
画像のサンプリングパターンを示している。図２は有効
サンプリング密度の２倍の増加を示しているが。本発明
は、必要に応じて、より高い増加率を提供ことができ
る。また、低解像度画像の１つではなく、すべてを連続
的に処理することにより、連続した高解像度画像を生成
することができる。この際、その都度、画像の１つが基
準画像とされる。このような処理は、例えば高解像度ビ
デオの生成に有用である。
【００２０】図３には、本発明の実施に役立つ装置が示
されている。ディジタイザ２２に接続されたビデオカム
コーダ／ＶＣＲ２０、ディジタルスチルカメラ２４、デ
ィジタルビデオカムコーダ２６、ディジタルスキャナ２
８、またはディスクストレージ３０、などの入力装置
が、連続するディジタルモーション画像の供給源とな
る。連続ディジタルモーション画像は、画像処理コンピ
ュータ装置３２に供給される。画像処理コンピュータ装
置３２は、パワーＰＣなどのコンピュータ３４、一般的
にＳＶＧＡまたはそれ以上の解像度を有するＣＲＴディ
スプレイ３６、及びキーボード３８またはマウスなどの
オペレータ入力を含む。コンピュータ３４は、高解像度
画像のハードコピーディスプレイを生成するプリンタ４
０などの出力装置、画像の継続中の最終表示を記憶する
光ディスクなどの記録媒体４２、または遠隔ディスプレ
イに高解像度画像を分配する通信ネットワーク４４に接
続するリンクなどに接続される。
【００２１】複数の低解像度画像がコンピュータ装置３
２に供給されてＣＲＴ３６に表示されると、ユーザは、
対話方式で、基準画像の対象領域を特定し、解像度の改
良処理をその領域に限定することができる。図４は、一
連の低解像度画像４６、４８、５０を示している。ここ
では、画像４８の対象領域５２が、高解像度処理に指定
されている。この場合、選択された領域を高解像度化し
たものは、高解像度サンプリング幾何上に再生され、そ
の結果が低解像度画像の格子上にダウンサンプリングさ
れ、前記対象領域において、元の画素値と置き換えられ
る。図４の絵では、人の顔が対象領域５２を形成してい
る。この場合、結果として得られた画像では、高解像度
で顔の詳細を見ることができる。また、ユーザは選択さ
れた対象領域５２に対応する領域を視覚的に認定するこ
ともできる。この場合、低解像度画像全体ではなく、こ
れらの認定領域だけが処理されるので、コンピュータ操
作における節約となる。
【００２２】Ａ．マッピング変換 低解像度画像のそれぞれから基準画像に対する運動が推
定され、この結果、Ｍ個の低解像度画像に対して、（Ｍ
−１）個の運動ベクトル場が得られ、これによりマッピ
ング変換が生成される。マッピング変換は、低解像度画
像の画素を、高解像度画像のサンプリング位置にマップ
するためのものである。これについては、図５において
示されている。最も簡単なケースとしては、低解像度画
像４６から基準画像４８までの運動を、空間的均一移動
としてモデルすることができる。しかしながら、実際に
は、このモデルは最適ではないことが判明した。そこ
で、不均一な移動運動を推定するための、階層的ブロッ
クマッチング方法、及びアフィンモデル及び推定量に基
づく方法が、運動ベクトル場の推定に、より効果的に用
いられている。
【００２３】低解像度画像４６、４８、５０、５３は、
すでに矩形格子上に得られない限りは、運動推定のため
に、まず、矩形の低解像度の格子上に双線形に内挿され
る。例として、ダイアモンド形の低解像度入力格子５
４、及びこれに対応する低解像度の矩形格子５６が図６
に示されている。基準画像の内挿された値は運動推定の
ためにのみ用いられ、その後は破棄され、ＰＯＣＳに基
づく高解像度再生処理においてはその推定値に置き換え
られる。運動ベクトルは、低解像度画像のそれぞれの実
際の画素に対して推定され、その結果、（Ｍ−１）個の
運動ベクトル場推定値が得られる。
【００２４】ブロックマッチング方法の場合、その運動
は、局所的移動（locally translational ）であると仮
定される。他の変換効果が小さい場合には、このような
近似（approximateion）が大変効果的となる。Ｍ．ビア
リングによる「階層的ブロックマッチングによる変位推
定」(Proc. SPIE Visual Communications and ImagePro
cessing '88, pp.942-951, 1988) に記載の階層的ブロ
ックマッチング方法（ＨＢＭ）を用いて、不均一の運動
場が推定される。ここで用いられているマッチング基準
は、測定ブロック間の平均絶対差（ＭＡＤ）である。階
層の各レベルにおいて、対数型のサーチが用いられる。
【００２５】５レベルのＨＢＭを実施するのに用いるこ
とのできる好適なパラメータ値が表１に示されている。
ここで、一番左の列に示されているのが階層レベル数で
あり、レベル１が最も低い解像度レベルを示している。
【００２６】
【表１】 水平方向／垂直方向最大変位は、対数型サーチの第１ス
テップにおいて用いられる変位である。水平方向／垂直
方向測定ウィンドウサイズは、ＭＡＤが計算されるウィ
ンドウのサイズである。フィルタの水平方向／垂直方向
のサイズは、ガウスフィルタのサポートを特定するもの
で、分散（variance）はサポートサイズの２分の１に設
定されている。ステップサイズは、運動推定が算出され
る基準画像の隣接する画素間の水平方向及び垂直方向の
距離である。サブサンプリング係数（ＳＳＦ）は、測定
ウィンドウ上のＭＡＤを算出する場合に用いられる水平
方向及び垂直方向のサブサンプリングである。推定の精
度は、低解像度の矩形格子のサンプリング期間に関する
ものである。なお、これらパラメータのすべての単位
は、低解像度の矩形格子の空間サンプリング期間に関連
するものである。（すなわち、低解像度矩形格子に対す
る、画素精度０．２５の改善は、ＨＢＭの最終レベルに
おいて行われている。） （回転、せん断（シアー）、及びズームによって起こ
る）有効な非移動マッピング変換は、上述のブロックマ
ッチング技術を用いて正確にモデルすることができな
い。この場合は、下式のパラメータｃ1 −ｃ6 によって
決定されるグローバルアフィン変換を用いることによ
り、このようなマッピング変換を生じさせる画像間運動
（inter-image motion）をモデルするのが好ましい。
【００２７】
【数１】 これらのパラメータｃ1 、ｃ2 、ｃ6 を推定するために
用いることのできる技術については、Ｊ．バーゲン、
Ｐ．バート、Ｒ．ヒンゴラーニ、Ｓ．ペレグによる、
「２成分画像運動を推定するための３フレーム対数」
（IEEE Trans. Pattern Anal. Intel., vol. 14, pp. 8
86-896, １９９２年９月発行) に説明がある。この推定
方法では、空間的及び時間的な導関数（derivatives ）
を推定する必要がある。空間導関数は、各画素を中心に
した５ｘ５のウィンドウに適合する（fit ）２−Ｄ２次
多項式最小二乗法を用いて推定される。時間導関数は、
各画素における２点有限前進差分(2-point finite forw
ard difference) を用いて算出される。これらの導関数
を推定するに先立ち、１１ｘ１１の画素均一ぼけ（pixe
luniform blur）を用いて画像をぼけさせ、ノイズの影
響を低減する。
【００２８】カラーイメージの場合には、輝度ドメイン
において運動が推定される。さらに、その運動情報を用
いて、供給された低解像度画像の原色チャネル（例え
ば、赤、緑、青）がそれぞれ処理される。したがって、
マッピング変換を形成するための運動推定に先立ち、Ｒ
ＧＢから輝度及び２つの色票（例えば、ＹＵＶ）への変
換が、低解像度画像に提供される。
【００２９】Ｂ．合成ＰＳＦのモデリング及び計算 合成ＰＳＦの計算は、像形成ぼけモデルに基づく。以下
においては、まず、このモデルについて説明する。この
モデルを用いて合成ＰＳＦが算出される。
【００３０】まず、入力された低解像度画像を、特定の
基準時間ｔr において、連続線形シフト変数（ＬＳ
Ｖ）ぼけ関係によって、実際の高解像度画像に関連づけ
るモデルについて説明する。この目的のため、まず、像
形成モデルについて説明する。この形成モデルに前述の
マッピング変換を組み入れることにより、所望のＬＳＶ
関係が合成ぼけＰＳＦによって表わされる。次に、離散
化（discretization）についての説明が示される。これ
により、離散化された高解像度画像が、対応する離散的
ＬＳＶ関係によって、観測された低解像度画像に関連づ
けられる。そして、これが離散的合成ぼけＰＳＦで表さ
れる。最後に、次の高解像度画像再生ステップに用いら
れる合成ＰＳＦを算出する実際的な方法が供給される。
【００３１】像形成モデル 本発明において用いられる像形成モデルが図７に示され
ている。図において、入力信号ｆ（ｘ1 ，ｘ2 ，ｔ）
は、連続ドメインにおける実際の高解像度イメージを示
している。この高解像度イメージが離散的推定を求める
べき画像である。低解像度センサの物理的サイズの影
響、すなわちセンサ領域上の積分によるぼけ、及び光学
系装置のぼけが、図７の第１段６０においてモデルされ
る。高解像度画像ｆ（ｘ1 ，ｘ2 ，ｔ）は、センサの形
状を表す核ｈa （ｘ1 ，ｘ2 ，ｔ）と光学的ぼけ核ｈo
（ｘ1 ，ｘ2 ，ｔ）の双方と合成される。これらはとも
に時間の関数であるが、ここでは、これらをアパーチャ
時間において一定であると限定する。こうして、光学的
ぼけとアパーチャサイズを、画像ごとに変化させること
ができる。
【００３２】アパーチャ時間の影響は、時間−ドメイン
積分器（time-domain integrator）によって、図７の第
２段６２においてモデリングされている。その出力は、
以下の式によって表される。
【００３３】
【数２】 ここで、Ｔa は、センサアパーチャ時間を示している。
なお、ここで、最初の２つの段６０と６２は、交換が可
能である。これは、第１の段６０が空間的な線形シフト
不変（ＬＳＩ）であり、第２の段６２が時間的なＬＳＩ
であるためである。
【００３４】図７の第３の段６４では、任意の空間−時
間格子Λs を用いて低解像度サンプリングをモデルす
る。この段の出力は、ｇ2 （ｍ1 ，ｍ2 ，ｋ）によって
示されている。従来から、関数引き数（function argum
ent ）として現れる整数値ｍ1，ｍ2 ，ｋは次の式にお
いて解釈される。
【００３５】
【数３】 ここで、Ｖs はサンプリング格子を特定する行列を示
し、t は転置作用を示している。最終的なモデリングス
テップ６６において、低解像度センサによる付加的なノ
イズがサンプルされたビデオ信号に付加される。
【００３６】運動を含むモデル 次に、前記像形成モデルに運動モデルを組み込んで、固
定された任意の時間段階ｔr における、低解像度画像と
所望の高解像度画像との望ましいＬＳＶ関係を確立す
る。このｔr を適当に設定することによって、単一の高
解像度スチル画像、または、連続する高解像度画像から
なる高解像度ビデオ画像を再生することができる。
【００３７】運動モデルが像形成モデルに供給される
と、図７の最初の２つの段６０及び６２を組み合わせ
て、単一のＬＳＶ関係を形成することができる。ここ
で、まず、運動を次の式において考えることとする。
【００３８】
【数４】 上式において、ｘは（ｘ1 ，ｘ2 ）を示している。Ｍ
（ｘ，ｔ，ｔr ）は、位置ｘ及び時間ｔにおける強度の
位置を、時間ｔr におけるその位置に関連づけるマッピ
ング変換である。この式は、運動軌道（motion traject
ories ）に沿った強度維持を周知の推定方法で表したも
のである。ｈ1 （ｘ，ｈ）＝ｈa （ｘ，ｔ）＊＊ｈ
o （ｘ，ｔ）とすることによって、モデリングの第１段
の出力は、下式のように表すことができる。
【００３９】
【数５】 変数
【数６】 を変化させ、式（４）を用いることにより、式（５）は
以下のようになる。
【００４０】
【数７】 ここで、Ｍ-1は逆変換を表し、Ｊ（Ｍ）はＭのヤコビア
ンを表し、｜．｜は行列式作用素（operator）を表して
いる。式（６）から、モデルの第１段はＬＳＶオペレー
ションに変換されており、時間ｔr における高解像度画
像に影響していることが明らかである。この事実を反映
するために、次式（７）が、センサ幾何の影響、光学ぼ
け、及び相対運動をモデルする、合成ＬＳＶぼけ点拡が
り関数（ＰＳＦ）を示すようにした。
【００４１】
【数８】 この式による影響が図８に示されている。図において、
左の絵は、時間ｔにおける画像処理を示したものであ
る。ここでは、センサ素子のアパーチャ６８は画像に組
み付けられて（imposed ）いる。右側の絵は、時間ｔr
における同じ画像処理を示している。時間ｔからｔr ま
でに、アパーチャ６８に供給されるマッピング変換は、
画像７０に供給されるマッピング変換の逆数である。式
（６）を、ＬＳＶ形式で書き直すと、
【数９】 のように表される。
【００４２】ここで、第２モデリング段は、以下の式で
表すことができる。
【００４３】
【数１０】 積分の順序を変えることにより、上式は以下のようにな
る。
【００４４】
【数１１】 である。
【００４５】このように、モデリングの最初の２つの段
が単一のＬＳＶシステムに合成され、時間ｔr における
連続する高解像度画像に作用する。これにより、観測さ
れた低解像度イメージを、時間ｔr における連続する高
解像度画像の式で、以下のように書き表すことができ
る。
【００４６】
【数１２】 上式において、ｈ2 （* ）は有効ＬＳＶぼけＰＳＦであ
り、整数引き数（integer auguments ）ｍ1 ，ｍ2 ，ｋ
は式（３）においてと同一の解釈を有する。
【００４７】離散化（discretization) 式（１２）におけるＬＳＶぼけ関係を離散化し、観測さ
れた低解像度画像を、実際の高解像度画像ｆ（ｘ1 ，ｘ
2 ，ｔr ）を離散化したものに関連づけることが望まし
い。そこで、この型の離散的重ね合わせ推定（discrete
superpositionsummation）を、以下の式のように表す
ことにする。
【００４８】
【数１３】 ここで、連続イメージｆ（ｘ1 ，ｘ2 ，ｔr ）は、２−
Ｄ格子
【数１４】 上に、高解像度センサによってサンプルされ、ｆ
（ｎ1 ，ｎ2 ，ｔr ）を形成する（（ｎ1 ，ｎ2 ）は
【数１５】 における点を特定する整数）、と仮定する。ｔr 及び
【数１６】 を適当に選択することによって、ｆ（ｎ1 ，ｎ2 ，
ｔr ）のサンプリングを空間−時間格子上に形成するこ
とができる。
【００４９】（単一の高解像度画素を発生させる（givi
ng rise to) 個々の高解像度センサ素子は、格子
【数１７】 の単位格子（ユニットセル）
【数１８】 として用いることのできる物理的大きさを有していると
仮定される。このように、焦点面の全体的な空間が、高
解像度センサによって完全に覆われている。
【００５０】
【数１９】 の項は、ｎ1 ，ｎ2 によって特定された位置にシフトし
たユニットセル（３）を示すものとして用いられてい
る。このような定義により、さらにｆ（ｘ1 ，ｘ2，ｔ
r ）は
【数２０】 上でほぼ一定であるという仮定に基づき、式（１２）は
以下のように表すことができる。
【００５１】
【数２１】 式（１３）と（１４）を比較することにより、次のこと
が明らかである。
【００５２】
【数２２】 ここで、整数引き数ｍ1 ，ｍ2 ，ｋ，ｎ1 、ｎ2 は式
（３）においてと同様に解釈される。
【００５３】図９には、離散ＬＳＶ ＰＳＦの定式の１
例が、矩形の高解像度格子
【数２３】 上に示されている。図において、モーション（運動）が
完全に移動であること、点（ｍ1 ，ｍ2 ）７３を中心と
した正方形の低解像度センサアパーチャ６８が用いられ
ていること、及び、光学的なぼけはないこと、が仮定と
されている。（ｘ1 ，ｘ2 ）空間は、時間ｔr における
センサ焦点面である。図において、焦点面は、シフトさ
れた高解像度サンプリングユニットセル
【数２４】 ６９によって覆われている。アパーチャ時間Ｔa の間
に、低解像度センサアパーチャ６８によって「一掃」さ
れた焦点面の領域が、鎖線７１によって示されている。
式（１５）において特定された離散ＬＳＶ ＰＳＦは、
領域
【数２５】 ６９上に「存在した」（dwelled ）低解像度センサ６８
の所定面積をある時間の間計算し、同時にアパーチャ開
放時間におけるその位置から、アパーチャ閉鎖時間にお
ける位置７３まで移動させることによって形成される。
なお、式（１５）に示されている結果は、センサアパー
チャ６８によって一掃された部分７１と、高解像度サン
プリング領域
【数２６】 ６９の間の単純重複領域を特定してない。
【００５４】合成ＰＳＦの算出 式（１５）によって求められるぼけ関数
【数２７】 を算出するための実際的な方法を説明する。このため
に、２つのケースを示す。第１のケースでは、移動式運
動が仮定されている。第２のケースでは、一般的な画像
運動が考慮されている。第２のケースを説明するため
に、まず一般的近似が与えられ、これにより、ぼけ計算
方法が得られる。この計算方法は、第１の移動式運動の
ケースと同様に確立される。この近似に関し、アフィン
変換及び射影変換の運動モデルの特定の方法が示され
る。
【００５５】１）移動式運動 移動式運動の場合において、アパーチャのｋ番目の開放
において有効な（すなわち、時間ｔk におけるｋ番目の
低解像度画像を獲得するための）区分的一定速度運動パ
ス（piece wise constant velocity motion paths)を、
次式のように定義する。
【００５６】
【数２８】 このとき、速度ｖ1 ，k 及びｖ2 ，k （ｖk ＝［ｖ1 ，
k ｖ2 ，k ］t ）は、アパーチャ時間Ｔa にわたり一定
であること、（ｔk −Ｔa ）はアパーチャのｋ番目の開
放の時間であること、
【数２９】 はアパーチャのｋ番目の開放における相対的初期位置を
示していること、が仮定されている。
【００５７】
【数３０】 の量は、時間ｔk 及びｔr の関数である。光学的ぼけが
ある時間無視され、ＰＳＦ
【数３１】 がＬＳＩであり、
【数３２】 が定義され、式（７）と式（１１）が適用されると、次
式が得られる。
【００５８】
【数３３】 ここで、アパーチャ反応を、次式
【数３４】 によって与えられた２−Ｄ「矩形（rect) 」関数である
と仮定すると、ｈ’2 は図１０に示すような線図を用い
て算出することができる。座標
【数３５】 は、時間τ＝０における、図１０のライン７８のスター
ト点７６を設定する。積分はライン７８を追従してτ＝
Ｔa における終点８０に到達する。この結果は、アパー
チャ６８に交差する線分７８の長さを表している。
【００５９】ぼけｈ’2 をさらに説明するために、
【数３６】 である場合を考えるとする。この場合、点拡がり関数
【数３７】 （便宜上シフトが用いられている）を、図１１に示すよ
うに、（ｘ1 ，ｘ2 ）面内で複数の領域に区分すること
ができる。図に示されるこれら７つの領域のそれぞれに
おいて、
【数３８】 の値はｘ1 およびｘ2 における一次方程式によって示さ
れている。例えば、番号１をつけられた平行四辺形の領
域では、ｈ’2 の値は一定である。２番の台形領域にお
いては、ｈ’2 は次式を用いて求められる。
【００６０】
【数３９】 （領域２内のすべての（ｘ1 ，ｘ2 ）に対して） このとき、Ｋは、離散ＰＳＦ
【数４０】 を正規化することにより説明することのできるスケーリ
ング定数である。
【００６１】式（１５）の離散ＰＳＦ
【数４１】 は、図１１に示される領域
【数４２】 ６９の体積を積分することにより算出される。この領域
６９の中心８２は、
【数４３】 に位置する。ここで、
【数４４】 は
【数４５】 と同様に定義されている。このように、
【数４６】 は、領域６９において、その位置が（ｍ1 ，ｍ2 ）及び
（ｎ1 ，ｎ2 ）によって決定されている
【数４７】 の体積を求めることによって算出される。
【００６２】続いて、離散近似を用いて、次式の合成を
実行することにより、光学的ぼけｈo （ｘ，ｔ）を考慮
することができる。
【００６３】
【数４８】 ここで、
【数４９】 はｋ番目の低解像度画像の焦点ぼけを離散的に示したも
のであり、**ｎ1 ，ｎ2は変数（ｎ1 ，ｎ2 ）上の２−
Ｄ離散合成を示している。このようにして光学的ぼけを
考慮に入れることにより、ぼけＰＳＦ
【数５０】 は、ほぼｘs （ｍ1 ，ｍ2 ，ｋ）の領域内では、ほぼＬ
ＳＩであるとの仮定を立てる。画像が極度の非移動式運
動を行っていない限り、これは妥当な仮定であるといえ
る。光学的ぼけを、式（２０）のように扱うのは好適で
ある。これは、光学的ぼけが考慮されていないときには
【数５１】 を簡単に計算することができ、さらに式（２０）におけ
る合成を簡単に実施することができるからである。好適
な実施においては、光学的ぼけＰＳＦは、高解像度サン
プリング格子によって表された、統一変数（unity vari
ance）および５ｘ５画素サポートを有するガウスと等し
く設定される。
【００６４】２）一般的運動 ぼけを計算するための上記方法は、例えばアフィン変換
または射影変換によって説明されるようなより複雑な運
動の場合にも発展させることができる。このような展開
は、以下の概念に基づいている。すなわち、時間ｔr と
ｔk との間の運動による変換は重要であるかもしれない
が、ぼけ形状に影響する変換の非移動成分はアパーチャ
時間の間は小さいものである。このような概念が図１２
に例示されている。図１２は、式（１１）に示された計
算を図で表したものであり、式（１１）は次式のように
書き直される。
【００６５】
【数５２】 同図は、積分時間の間に、ｔ−Ｔa ８４からｔ８６まで
面
【数５３】 を通過して移動する際の、変換されたぼけ核ｈ1 （．）
を示している。そして、ｈ2 （．）の値は、ヤコビアン
及びｈ1 （．）の振幅によって重みづけられた、
【数５４】 上の「ドエル」時間となる。式（２１）の計算は難しい
が、これは式（２１）の移動核ｈ1 が積分期間の間連続
的に変換しているためである。しかしながら、すでに指
摘したように、アパーチャ時間におけるこの変換の非移
動成分は小さいと想定されている。この影響について
は、図１２において、
【数５５】 ８６上に重畳された（superimposed）関数
【数５６】 ８４の鎖線によるアウトラインによって示されている。
式（２１）により、この近似は以下の３つを仮定する。
（１）ヤコビアン重み付けは一定である、（２）変換
【数５７】 はアパーチャ時間を通じて維持される（すなわち、この
関数は、τが変化するときにのみ移動する）、（３）２
つの連続するフレーム期間の移動パス、すなわちアパー
チャ時間内の移動パスは線形である。この近似により、
式（２１）は次式のように書き換えられる。
【００６６】
【数５８】 であり、Ｔは２つの連続フレーム間の時間である。
【００６７】この近似を用いて、空間的に均一で、時間
的に区分的な一定速度移動運動の場合におけるぼけ算出
にも同じ手順が用いられる。ただし、この場合には、各
点ｘにおいて、ぼけは、図１０に示されている矩形関数
６８に与えられた適当な変換によって算出される。要約
すると、変換が、均一で一定の移動によって決定される
場合には、近似は正確なぼけ算出となる。変換がアフィ
ン変換である場合には、ヤコビアンは
【数５９】 とともに変化しない。しかし、アパーチャが開放した状
態で、ヤコビアンを一定時間にわたって一定になるよう
に近づけた。さらに、この移動は、一定速度であると仮
定されているが、これは必ずしもそうでなくともよい。
射影運動の場合には、近似は、アフィン変換の場合を同
じ効果を有し、ヤコビアンはｈ１（．）の空間ぼけサポ
ートにわたって一定である、とのさらなる近似を有す
る。
【００６８】Ｃ．高解像度画像の再生 合成ぼけＰＳＦ
【数６０】 、低解像度画像から基準画像までの運動ベクトル場推
定、及び高解像度サンプリング格子が供給され、ＰＯＣ
Ｓの方法に基づく下記の技術を用いて高解像度画像が再
生される。ＰＯＣＳでは、望ましい画像分布は、高解像
度画像に対し、数学的ベクトル空間、例えばＰ次元のベ
クトル空間Ｎ１画素ｘＮ２行（Ｐ＝Ｎ１ｘＮ２）の要素
であると仮定されている。ＰＯＣＳ方法は、このベクト
ル空間内の、実際の高解像度画像を含む閉凸制約数集合
（closed convex constraint sets ）の定義を要する。
これらの集合の数学的交わり（intersection) が実際の
高解像度画像を含んでいる。これは、実際の高解像度画
像がこれらの集合のそれぞれに含まれているからであ
る。実際の高解像度画像の推定が、これらの制約数集合
の交わりにおける１点として定義され、すでに周知のよ
うに、任意初期推定をこの制約数集合に連続的に射影す
ることによって決定される。
【００６９】核制約数集合に関連して、射影作用素があ
り、これが前記空間内にあるが集合の外部である任意点
を、集合内の最も近接する点にマップする。さらに、緩
和された射影作用素Ｔ＝（１−λ）Ｉ＋λＰ；０＜λ＜
２（Ｉは恒等作用素を示す）が定義されて、交差集合
（intersection set) において推定を求めるのに用いる
ことができる。
【００７０】高解像度画像の再生における問題を直ちに
解決する方法を開発するために、ＰＯＣＳの原理をいか
に利用するかについて説明する。ここで、低解像度画像
列ｇ（ｍ1 ，ｍ2 ，ｋ）の各画素に対し、以下に示す閉
じた凸制約数集合を定義する。
【００７１】
【数６１】 ここで、次式
【数６２】 は、制約数集合の、任意の要素ｙに関連する残差であ
る。ここでは、これらの集合を、データ一定制約数集合
（data consistency constraint sets）と呼ぶ。量δo
は、実際の画像を集合
【数６３】 の要素とする統計的信頼度を反映する先験境界（priori
bound）である。ｒ(f)（ｍ1 ，ｍ2 ，ｋ）＝ｖ
（ｍ1 ，ｍ2 ，ｋ）（ｆは実際の高解像度画像を示す）
であるので、ｒ(f) （ｍ1 ，ｍ2 ，ｋ）の統計は、ｖ
（ｍ1 ，ｍ2 ，ｋ）の統計と同一である。このように、
境界δo はノイズ処理の統計から決定され、実際の画像
（すなわち、理想解）は、特定の統計的信頼度の範囲内
にある集合の要素となる。例えば、ノイズが、標準偏差
σを有するガウス分布を有する場合、δo はｃσと等し
く設定される。このとき、ｃσは適当な統計的信頼境界
によって決定されている（例えば、９９％の信頼度に対
してｃ＝３である）。
【００７２】また、実際には、δo の値を直接調節する
こともできる。δo が増加するにつれ、再生された画像
はシャープになるがノイズが多くなる。δo が減少する
と、結果としての再生画像は、ノイズが小さくなるがよ
り平滑になる。詳細な複数の実験により、δo を０．０
１と等しく設定した結果、ＰＯＣＳ方法を、かなり急速
に、十分に良質の画像に収束できた。
【００７３】なお、集合
【数６４】 は、低解像度画像のサンプルが有効である空間的位置に
対してのみ定義できる。これにより、いかなる任意の低
解像度サンプリング格子にも本発明を適用することがで
きる。さらに、集合
【数６５】 は、閉塞（occlusions) や覆われない領域のない低解像
度画像のサンプルに対してのみ定義できる。後者の事実
により、本発明は、所定のモーション画像内のシーンの
変更に用いることができる。すなわち、制約数集合は、
低解像度画像の適当なサンプルに対してのみ定義されて
いる。
【００７４】任意数ｘ（ｎ1 ，ｎ2 ，ｔr ）の
【数６６】 への射影ｚ（ｎ1 ，ｎ2 ，ｔr ）
【数６７】 は、次式のように定義することができる。
【００７５】
【数６８】 有界エネルギー（bounded energy）、確実性（positivi
ty) 、及び限定サポートなどの更なる制約数を用いて、
結果を改善させることができる。次式のような振幅制約
数集合が用いられる。
【００７６】
【数６９】 ここで、振幅境界は、ａ＝０、ｂ＝２５５である。振幅
制約数集合ＣA への射影ＰA は次のように定義される。
【００７７】
【数７０】 上記の射影が与えられると、高解像度画像
【数７１】 の推定
【数７２】 は、すべての低解像度画像ｇ（ｍ1 ，ｍ2 ，ｋ）から反
復式に求められる。このとき、制約数集合は、次式のよ
うに定義することができる。
【００７８】
【数７３】 ここで、
【数７４】 は、緩和された射影作用子のカスケード（縦続）を示
し、集合
【数７５】 の族に射影するものである。高解像度サンプリング格子
上に双線形に内挿されたいかなる低解像度画像も、初期
推定
【数７６】 として用いることができる。視覚的な最良の画質を有す
る低解像度画像を初期化に選択することにより、反復数
【数７７】 に達する速度を早めることができる。この反復数
【数７８】 において、視覚的に満足できる高解像度画像が再生され
る。理論上では、推定がすべての制約数集合の交わり内
に存在するまで、この反復は継続する。しかしながら、
実際には、反復は、通常、画像品質の視覚的観察などの
特定停止基準に従って、または、ある差分測定基準（di
fference metric ）（すなわち、ノルムＬ２を用いた
【数７９】 ）によって測定された、連続する推定値間の変化が所定
の閾値以下に下がったときに、停止する。
【００７９】図１３は上記の方法を図によって説明した
ものである。合成ＬＳＶぼけは、現在の高解像度画像８
８の推定値の領域７１、例えば
【数８０】 を、低解像度画像４６、４８、５３の１つにおける特定
画素強度ｇ（ｍ1 ，ｍ2，ｋ）９０に関連付ける。続い
て、残差項（residual term ）
【数８１】 が形成される。残差項
【数８２】 は、（δｏによって決定されるある誤差境界内の）現行
の高解像度画像推定値から観測値が形成できたか否か、
したがって、その高解像度画像推定値がデータ一定集合
【数８３】 に属するか否かを示すものである。高解像度画像推定値
が前記集合内に存在しない場合（すなわち、残差が大き
すぎる場合には）、射影作用子
【数８４】 はその残差を現行の高解像度画像８８推定値（式
【数８５】 の加法的項（additive term ）上に逆射影（back proje
ct）し、集合
【数８６】 に属する高解像度画像の新たな推定値を形成するため、
境界δｏ内の、観測値ｇ（ｍ1 ，ｍ2 ，ｋ）を発生させ
ることができた。一定の制約数集合が定義されている低
解像度画素９０のそれぞれにこれらの射影を行うことに
より、式（２９）に示された合成射影
【数８７】 を完成させることができる。続いて、振幅制約数集合へ
射影することによって、ＰＯＣＳ方法の一反復を完成さ
せ、次の推定値
【数８８】 を生成することができる。
【００８０】以下に、ＰＯＣＳに基づいた再生方法の実
施の１例を示す。
【００８１】１．基準画像、及び基準時間ｔr を選択す
る。
【００８２】２．高解像度格子を特定し、この高解像度
格子と、運動推定の目的のために、双線形内挿によって
画像値が生成されている低解像度矩形格子との密度の比
を決定する。ここでは、この比をｒとする。（例えば、
図２及び図６に示されている例では、ｒ＝２である） ３．運動推定を行う：各低解像度画像ｇ（ｍ1 ，ｍ2 ，
ｋ）を低解像度矩形格子に、空間的双線形的に内挿す
る；内挿された低解像度画像のそれぞれから、時間ｔr
における内挿された低解像度画像までの運動を推定す
る；推定運動ベクトルをｒによって見積もる。
【００８３】４．運動パスが有効な各画素位置（ｍ1 ，
ｍ2 ，ｋ）に対し、式（２４）に従って集合
【数８９】 を定義する。
【００８４】５．集合
【数９０】 が定義された各位置（ｍ1 ，ｍ2 ，ｋ）に対して、合成
ぼけＰＳＦ
【数９１】 を算出する。
【００８５】６．高解像度画像のサンプリング格子上に
低解像度画像を双線形的に内挿した後、視覚的に最良品
質を有する低解像度画像に等しい
【数９２】 を設定する。
【００８６】７．集合
【数９３】 が定義されているすべての位置（ｍ1 ，ｍ2 ，ｋ）に対
し、式（２５）に従って残差
【数９４】 を算出する；式（２６）の射影
【数９５】 を用いて残差
【数９６】 を逆射影（back-project）する。
【００８７】８．式（２８）を用いて増幅射影ＰA を行
う。
【００８８】９．停止基準が満たされれば、停止する。
満たされなければ、ステップ７に戻る。
【００８９】停止基準が満たされれば、画像を表示する
ことも、将来の表示に備えて記憶することも、あるいは
遠隔表示のために送信することもできる。
【００９０】好適な１実施形態に関し、本発明を説明し
てきたが、当業者であれば、本発明の範囲を逸脱するこ
となく、本発明を変更及び修正することが可能である。
【００９１】
【発明の効果】本発明によれば、入力画像が標準矩形格
子上にサンプリングされていない場合でも、入力を標準
矩形格子上で内挿処理するという前処理を行わなくと
も、このような画像を処理することができる。本発明
は、凸集合への射影（ＰＯＣＳ）に基づく方法を用い
て、ぼけ、ノイズ、任意の格子上にサンプリングされた
画像の問題を同時に扱う、画像再生方法を展開させてい
る。さらに、本発明は、運動推定（motion estimates）
を柔軟に扱うことができる。また、本発明は、運動推定
の正確性に適応することができる高解像度画像再生を可
能にするものである。
【図面の簡単な説明】
【図１】 本発明の主要なステップを示すブロック図で
ある。
【図２】 低解像度サンプリング格子、及び本発明によ
る高解像度画像のサンプリング格子を示す図である。
【図３】 本発明を実施する適当な装置を示した概略図
である。
【図４】 連続する低解像度画像、及びこれらの低解像
度画像の１つにおける選択された対象領域を示す図であ
る。
【図５】 本発明によるマッピング変換を生成する方法
を説明するために有用な図である。
【図６】 本発明によるマッピング変換を生成する方法
を説明するために有用な図である。
【図７】 本発明による組み合わされたＰＳＦを計算す
るために用いられる画像フォーメーションモデルを示す
ブロック図である。
【図８】 連続画面における低解像度画像の相対運動に
よるぼけＰＳＦの有効な変換を示す図である。
【図９】 移動運動の場合のＰＳＦを示すための図であ
る。
【図１０】 ＬＳＩぼけ関数
【数９７】 を算出するための手順を示す図である。
【図１１】
【数９８】 の領域区分を示すための図である。
【図１２】 合成された有効ぼけＰＳＦを算出する際
に、アフィン変換に関連する遠近運動モデル（perspect
ive motion model）に用いられる近似を示すための図で
ある。
【図１３】 ＰＯＣＳに基づく画像再生方法を説明する
ための図である。
【符号の説明】
１０ 低解像度画像、１２ マッピング変換供給ステッ
プ、１４ 合成ＰＳＦ算出ステップ、１６ 高解像度画
像生成ステップ、１８ 高解像度画像表示ステップ、２
０ ビデオカムコーダ／ＶＣＲ、２２ ディジタイザ、
２４ ディジタルスチルカメラ、２６ ディジタルビデ
オカムコーダ、２８ ディジタルスキャナ、３０ ディ
スク記憶装置、３２ 画像処理コンピュータ装置、３４
コンピュータ、３６ ＣＲＴ、３８ キーボード、４
０ プリンタ、４２ 記憶媒体、４４ 通信ネットワー
ク、４６，４８，５０ 低解像度画像、５２ 対象領
域、５３ 低解像度画像、５４ ダイアモンド型サンプ
リング格子、５６ 矩形サンプリング格子、６０ 光学
系装置ぼけモデル、６２ アパーチャ時間モデル、６４
低解像度サンプリングモデル、６６ 付加ノイズモデ
ル、６８ センサアパーチャ、６９ 高解像度サンプリ
ング領域、７０ 画像、７１ センサアパーチャによっ
て一掃された領域、７３ センサアパーチャの中心、７
６ 始点、７８ライン（線）、８０ 終点、８２ 領域
の中心、８４ 変換されたぼけ核、８６ 変換されたぼ
け核、８８ 高解像度画像、９０ 低解像度画像画素。

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 一連の低解像度モーション画像から高解
    像度画像を生成する方法であり、以下のステップを含
    む。 ａ．各低解像度画像のマッピング変換を生成し、各低解
    像度画像の画素を高解像度画像の位置にマップするステ
    ップと、 ｂ．前記マッピング変換を用いて、各低解像度画像の各
    画素に対する、合成された点拡がり関数（ＰＳＦ）を算
    出するステップと、 ｃ．前記合成ぼけＰＳＦを用いて、凸集合への射影（Ｐ
    ＯＣＳ）により、低解像度画像から高解像度画像を生成
    するステップと、 ｄ．前記高解像度画像を表示するステップ。
  2. 【請求項２】 請求項１に記載の方法において、マッピ
    ング変換を生成するステップは、以下のステップを含
    む。 ａ．低解像度画像の１つを基準画像として選択するステ
    ップと、 ｂ．各画素における、前記基準低解像度画像とそれ以外
    の各低解像度画像との間の相対運動を説明するマッピン
    グ変換を推定するステップと、 ｃ．基準画像以外の各低解像度画像の画素に対して、推
    定されたマッピング変換の妥当性をテストし、有効なマ
    ッピング変換を示すステップと、 ｄ．低解像度画像から高解像度画像への有効なマッピン
    グ変換のそれぞれを定めるステップ。
  3. 【請求項３】 請求項１に記載の方法において、前記合
    成ＰＳＦを算出するステップは、以下のステップを含
    む。 ａ．前記マッピング変換を用いて、各低解像度画像の各
    画素に対し、高解像度画像に関する有効サンプリングア
    パーチャを計算するステップと、 ｂ．前記有効サンプリングアパーチャのＰＳＦを計算す
    るステップと、 ｃ．光学ＰＳＦを決定するステップと、 ｄ．各画素の計算されたＰＳＦを光学的ＰＳＦと合成
    し、各画素についての合成されたＰＳＦを生成するステ
    ップ。
  4. 【請求項４】 請求項１に記載の方法において、ＰＯＳ
    Ｃによって高解像度画像を生成する前記ステップはさら
    に以下のステップを含む。 ａ．低解像度画像の１つを、高解像度画像の多数の画素
    に内挿して、高解像度画像の推定値を生成するステップ
    と、 ｂ．有効なマッピング変換を有する低解像度画像のそれ
    ぞれにおける各画素に対し、前記高解像度画像の推定値
    を以下の方法により改良するステップ、（１）低解像度
    画像の１つにおける１画素を選択し、（２）前記選択さ
    れた画素の合成ＰＳＦを、高解像度画像の現在の推定値
    に供給することにより、高解像度画像から計算された画
    素値を生成し、（３）前記選択された画素値と計算され
    た画素値との差を求め、その差の大きさが所定の閾値よ
    り大きい場合にはその誤差を高解像度画像の現在の推定
    値に逆射影（back project）する、 ｃ．高解像度画像の前記改良された推定値を、許容可能
    な範囲にクリップするステップと、 ｄ．上記第２のステップと第３のステップを、停止基準
    が満たされるまで繰り返すステップ。
  5. 【請求項５】 一連の低解像度ビデオイメージから高解
    像度ビデオシーケンスを生成する方法であり、請求項１
    に記載の方法を前記一連の低解像度ビデオイメージに複
    数回適用して、高解像度画像のビデオシーケンスを生成
    する方法。
  6. 【請求項６】 一連の低解像度モーション画像から高解
    像度画像を生成する装置であり、以下を含む。 ａ．一連の低解像度モーション画像を生成する原画生成
    手段（source）、 ｂ．前記一連の低解像度画像を受信し、高解像度画像を
    生成する画像生成装置であり、（１）各低解像度画像に
    対するマッピング変換を生成し、各低解像度画像の画素
    を高解像度画像の位置にマップする手段、（２）前記マ
    ッピング変換を用いて、各低解像度画像の各画素に対し
    て合成された点拡がり関数（ＰＳＦ）を算出する手段、
    （３）前記ぼけＰＳＦを用いて、凸集合への射影（ＰＯ
    ＣＳ）により、低解像度画像から高解像度画像を生成す
    る手段と、を含む画像生成装置、及び ｃ．前記高解像度画像を表示する表示装置。
JP8050540A 1995-03-09 1996-03-07 一連の低解像度画像から高解像度画像を生成する方法及び装置 Pending JPH08263639A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US40139695A 1995-03-09 1995-03-09
US401396 1995-03-09

Publications (1)

Publication Number Publication Date
JPH08263639A true JPH08263639A (ja) 1996-10-11

Family

ID=23587591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8050540A Pending JPH08263639A (ja) 1995-03-09 1996-03-07 一連の低解像度画像から高解像度画像を生成する方法及び装置

Country Status (4)

Country Link
US (1) US5696848A (ja)
EP (1) EP0731600B1 (ja)
JP (1) JPH08263639A (ja)
DE (1) DE69625632T2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004114677A1 (ja) * 2003-06-23 2004-12-29 Sony Corporation 画像処理方法および装置、並びにプログラム
JP2005317011A (ja) * 2004-04-28 2005-11-10 Seiko Epson Corp 高解像度画像を発生する方法、デジタル画像編集ツールおよび媒体
JP2007000205A (ja) * 2005-06-21 2007-01-11 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法並びに画像処理プログラム
JP2007052672A (ja) * 2005-08-18 2007-03-01 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP2007516760A (ja) * 2003-12-31 2007-06-28 マウナ ケア テクノロジーズ イメージガイドを通じて取得した共焦点画像の超解像度方法および装置、並びにこの方法を実施するための機器
JP2007272334A (ja) * 2006-03-30 2007-10-18 Toshiba Corp 高解像度画像を生成する画像拡大装置、その画像拡大方法及びその画像拡大プログラムを記録した記録媒体
JP2008503916A (ja) * 2004-06-21 2008-02-07 インターグラフ ソフトウェアー テクノロジーズ カンパニー リアルタイム安定化
JP2008109375A (ja) * 2006-10-25 2008-05-08 Tokyo Institute Of Technology 高解像度画像生成方法
CN100413316C (zh) * 2006-02-14 2008-08-20 华为技术有限公司 一种视频图像超分辨率重构方法
JP2009060464A (ja) * 2007-08-31 2009-03-19 Toshiba Corp 映像高解像度化装置及び方法
JP2009109666A (ja) * 2007-10-29 2009-05-21 Toshiba Corp 解像度変換装置、方法およびプログラム
US7583860B2 (en) 2003-02-21 2009-09-01 Inventec Appliances Corporation Method for producing enhanced-resolution image by use of a plurality of low-resolution images
JP2010152518A (ja) * 2008-12-24 2010-07-08 Toshiba Corp 画像処理装置及び画像処理方法
JP2011071986A (ja) * 2009-09-22 2011-04-07 Samsung Electronics Co Ltd 低解像度ビデオから高解像度ビデオを生成する方法
JP2013045207A (ja) * 2011-08-23 2013-03-04 Nagoya Univ 画像処理装置、および画像処理プログラム
JP5157898B2 (ja) * 2006-03-30 2013-03-06 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法および画像処理用プログラム
JP2014044497A (ja) * 2012-08-24 2014-03-13 Jvc Kenwood Corp 画像処理装置
JP2014531160A (ja) * 2011-10-11 2014-11-20 レイセオン カンパニー 電気光学センサ用のぼけキャリブレーションシステム及び移動マルチ焦点マルチターゲットコンステレーションを用いる方法
JP2014534654A (ja) * 2011-08-22 2014-12-18 レイセオン カンパニー 移動している複数の目標の集合を使用する電気光学センサのためのぼけ較正システム及び方法
JP2016110312A (ja) * 2014-12-04 2016-06-20 株式会社東芝 画像処理方法、画像処理装置及びプログラム

Families Citing this family (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3193258B2 (ja) * 1995-03-20 2001-07-30 キヤノン株式会社 画像入力装置
US6023535A (en) * 1995-08-31 2000-02-08 Ricoh Company, Ltd. Methods and systems for reproducing a high resolution image from sample data
US5917963A (en) * 1995-09-21 1999-06-29 Canon Kabushiki Kaisha Image processing apparatus and image processing method
FR2743241B1 (fr) * 1995-12-28 1998-02-13 Sagem Procede de modification de la resolution d'une image numerisee
US6259827B1 (en) 1996-03-21 2001-07-10 Cognex Corporation Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images
IL118137A (en) * 1996-05-03 2000-06-29 Scitex Corp Ltd Digital raster converter
US5915039A (en) * 1996-11-12 1999-06-22 International Business Machines Corporation Method and means for extracting fixed-pitch characters on noisy images with complex background prior to character recognition
US6075881A (en) 1997-03-18 2000-06-13 Cognex Corporation Machine vision methods for identifying collinear sets of points from an image
US5933523A (en) * 1997-03-18 1999-08-03 Cognex Corporation Machine vision method and apparatus for determining the position of generally rectangular devices using boundary extracting features
US5995648A (en) * 1997-03-18 1999-11-30 Cognex Corporation Image processing system and method using subsampling with constraints such as time and uncertainty constraints
US5974169A (en) 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
US5973755A (en) * 1997-04-04 1999-10-26 Microsoft Corporation Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
JP3904162B2 (ja) * 1997-05-29 2007-04-11 富士フイルム株式会社 オートセットアップ処理方法
US6608647B1 (en) 1997-06-24 2003-08-19 Cognex Corporation Methods and apparatus for charge coupled device image acquisition with independent integration and readout
US6321231B1 (en) * 1997-08-11 2001-11-20 Marshall, O'toole, Gerstein, Murray & Borun Data management and order delivery system
JP3512988B2 (ja) * 1997-08-12 2004-03-31 株式会社東芝 画像処理装置
KR100235356B1 (ko) * 1997-08-13 1999-12-15 전주범 개선된 움직임 추정 장치 및 그 추정 방법
US6452631B1 (en) * 1997-10-31 2002-09-17 Umax Data Systems Inc. Method and apparatus for forming high contrast image in imaging system
DE69824554T2 (de) * 1997-12-22 2005-06-30 Koninklijke Philips Electronics N.V. Verfahren und anordnung zum erzeugen eines standbildes mit hoher auflösung
US6381375B1 (en) 1998-02-20 2002-04-30 Cognex Corporation Methods and apparatus for generating a projection of an image
US6075886A (en) * 1998-03-09 2000-06-13 Xerox Corporation Method and apparatus for reducing the complexity of color correction using subsampling
US6535650B1 (en) * 1998-07-21 2003-03-18 Intel Corporation Creating high resolution images
US6782132B1 (en) 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
US6340994B1 (en) 1998-08-12 2002-01-22 Pixonics, Llc System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6236433B1 (en) * 1998-09-29 2001-05-22 Intel Corporation Scaling algorithm for efficient color representation/recovery in video
US6304682B1 (en) * 1998-10-02 2001-10-16 Hewlett-Packard Company Method for generated resolution enhanced still images from compressed video data
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6804419B1 (en) * 1998-11-10 2004-10-12 Canon Kabushiki Kaisha Image processing method and apparatus
US6219450B1 (en) * 1998-11-13 2001-04-17 Xerox Corporation Blocking signature detection for identification JPEG images
GB9825379D0 (en) * 1998-11-19 1999-01-13 Electrosonic Ltd Image processing
US6687402B1 (en) 1998-12-18 2004-02-03 Cognex Corporation Machine vision methods and systems for boundary feature comparison of patterns and images
US6381366B1 (en) 1998-12-18 2002-04-30 Cognex Corporation Machine vision methods and system for boundary point-based comparison of patterns and images
US6285804B1 (en) * 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US6552734B1 (en) * 1999-04-29 2003-04-22 Smoothware Design System and method for generating a composite image based on at least two input images
CN1166207C (zh) * 1999-05-27 2004-09-08 皇家菲利浦电子有限公司 对视频信号进行编码的方法、装置及采用该装置的摄像机
KR100306212B1 (ko) * 1999-08-21 2001-11-01 윤종용 스플라인 보간을 이용한 컨버젼스 조정장치 및 방법
KR100311482B1 (ko) 1999-10-21 2001-10-18 구자홍 보간 영상의 화질 개선을 위한 필터링 제어방법
US6466618B1 (en) 1999-11-19 2002-10-15 Sharp Laboratories Of America, Inc. Resolution improvement for multiple images
US6684402B1 (en) 1999-12-01 2004-01-27 Cognex Technology And Investment Corporation Control methods and apparatus for coupling multiple image acquisition devices to a digital data processor
FR2805651B1 (fr) * 2000-02-24 2002-09-13 Eastman Kodak Co Procede et dispositif pour presenter des images numeriques sur un ecran de faible definition
US6748104B1 (en) 2000-03-24 2004-06-08 Cognex Corporation Methods and apparatus for machine vision inspection using single and multiple templates or patterns
US6687384B1 (en) * 2000-03-27 2004-02-03 Sarnoff Corporation Method and apparatus for embedding data in encoded digital bitstreams
US20020039138A1 (en) * 2000-09-29 2002-04-04 Edelson Steven D. Method and apparatus for automatically adjusting video panning and zoom rates
WO2002089046A1 (en) * 2001-04-26 2002-11-07 Georgia Tech Research Corporation Video enhancement using multiple frame techniques
US20030154058A1 (en) * 2001-06-11 2003-08-14 Keener Bryan F. Methods and systems for validating translated geometry
US20080036886A1 (en) * 2001-06-29 2008-02-14 Hannigan Brett T Methods For Generating Enhanced Digital Images
US7088467B1 (en) * 2001-07-06 2006-08-08 Hewlett-Packard Development Company, L.P. Digital video imaging with high-resolution still imaging capability
US20030063781A1 (en) * 2001-09-28 2003-04-03 Koninklijke Philips Electronics N.V. Face recognition from a temporal sequence of face images
US7123780B2 (en) * 2001-12-11 2006-10-17 Sony Corporation Resolution enhancement for images stored in a database
WO2003060823A2 (en) * 2001-12-26 2003-07-24 Yeda Research And Development Co.Ltd. A system and method for increasing space or time resolution in video
US7085323B2 (en) * 2002-04-03 2006-08-01 Stmicroelectronics, Inc. Enhanced resolution video construction method and apparatus
US20030193567A1 (en) * 2002-04-12 2003-10-16 Hubel Paul M. Digital camera media scanning methods, digital image processing methods, digital camera media scanning systems, and digital imaging systems
JP2005526318A (ja) * 2002-05-17 2005-09-02 サーノフ・コーポレーション オプティカルフローを決定する方法及び装置
EP1372335B1 (en) * 2002-06-12 2005-03-09 STMicroelectronics S.r.l. Processing method for obtaining a high-resolution digital image
WO2004001667A2 (en) * 2002-06-21 2003-12-31 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7729563B2 (en) * 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US7813576B2 (en) * 2002-11-27 2010-10-12 Fujifilm Corporation Image processing apparatus
US7394969B2 (en) 2002-12-11 2008-07-01 Eastman Kodak Company System and method to compose a slide show
JP4701598B2 (ja) * 2003-01-07 2011-06-15 セイコーエプソン株式会社 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体
US7106914B2 (en) * 2003-02-27 2006-09-12 Microsoft Corporation Bayesian image super resolution
US7756288B2 (en) * 2003-05-29 2010-07-13 Jeffrey Lubin Method and apparatus for analog insertion of low frequency watermarks
JP4196274B2 (ja) * 2003-08-11 2008-12-17 ソニー株式会社 画像信号処理装置および方法、プログラム、並びに記録媒体
DE10341822A1 (de) * 2003-09-09 2005-09-29 Clauß, Ulrich, Dr.-Ing. Verfahren und Anordnung zur photogrammetrischen Messbildaufnahme und -verarbeitung
US7778493B2 (en) * 2003-10-09 2010-08-17 The Henry M. Jackson Foundation For The Advancement Of Military Medicine Inc. Pixelation reconstruction for image resolution and image data transmission
US20050083417A1 (en) * 2003-10-21 2005-04-21 Battles Amy E. System and method for providing image orientation information of a video clip
US20050093894A1 (en) * 2003-10-30 2005-05-05 Tretter Daniel R. Generating an displaying spatially offset sub-frames on different types of grids
WO2005046221A1 (ja) * 2003-11-11 2005-05-19 Seiko Epson Corporation 画像処理装置、画像処理方法、そのプログラムおよび記録媒体
US7463272B2 (en) * 2004-01-30 2008-12-09 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames
KR20070019976A (ko) * 2004-02-23 2007-02-16 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 이미지 블러 관련 파라미터 결정 방법, 마스크 패턴 설계방법, 컴퓨터 프로그램 및 이미지 블러 관련 파라미터 결정디바이스
JP4033198B2 (ja) * 2004-02-27 2008-01-16 カシオ計算機株式会社 画像処理装置、画像投影装置、画像処理方法及びプログラム
DE102004022332A1 (de) * 2004-05-06 2005-12-08 Siemens Ag Verfahren zur post-rekonstruktiven Korrektur von Aufnahmen eines Computer-Tomographen
US7426318B2 (en) * 2004-06-30 2008-09-16 Accuray, Inc. Motion field generation for non-rigid image registration
US7522779B2 (en) * 2004-06-30 2009-04-21 Accuray, Inc. Image enhancement method and system for fiducial-less tracking of treatment targets
US7327865B2 (en) * 2004-06-30 2008-02-05 Accuray, Inc. Fiducial-less tracking with non-rigid image registration
US7366278B2 (en) * 2004-06-30 2008-04-29 Accuray, Inc. DRR generation using a non-linear attenuation model
US7231076B2 (en) * 2004-06-30 2007-06-12 Accuray, Inc. ROI selection in image registration
JP4367264B2 (ja) * 2004-07-12 2009-11-18 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP4151793B2 (ja) * 2004-11-15 2008-09-17 オリンパス株式会社 撮像装置および画像の高解像化方法
CN100366045C (zh) * 2005-01-11 2008-01-30 北京中星微电子有限公司 一种实现缩放的图像转换方法
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US7570810B2 (en) * 2005-02-24 2009-08-04 Seiko Epson Corporation Method and apparatus applying digital image filtering to color filter array data
US20070127909A1 (en) * 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
US7636480B2 (en) * 2005-06-10 2009-12-22 Xerox Corporation Super resolution encoding
CN2804798Y (zh) * 2005-06-21 2006-08-09 吴东明 一种带磁性装置的水平尺
US7330578B2 (en) * 2005-06-23 2008-02-12 Accuray Inc. DRR generation and enhancement using a dedicated graphics device
JP2007096405A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp ぶれ方向判定方法および装置ならびにプログラム
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
KR100655040B1 (ko) * 2005-11-24 2006-12-06 주식회사 휴맥스 디지털 영상신호 스케일링 방법
JP4985062B2 (ja) * 2006-04-14 2012-07-25 株式会社ニコン カメラ
US7469588B2 (en) * 2006-05-16 2008-12-30 Honeywell International Inc. MEMS vertical comb drive with improved vibration performance
US20080037843A1 (en) * 2006-08-11 2008-02-14 Accuray Incorporated Image segmentation for DRR generation and image registration
US8162584B2 (en) 2006-08-23 2012-04-24 Cognex Corporation Method and apparatus for semiconductor wafer alignment
DE102006042386B4 (de) 2006-09-08 2009-12-10 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Bildern
US20080094419A1 (en) * 2006-10-24 2008-04-24 Leigh Stan E Generating and displaying spatially offset sub-frames
US7714892B2 (en) * 2006-11-08 2010-05-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems, devices and methods for digital camera image stabilization
EP2102805A1 (en) * 2006-12-11 2009-09-23 Cinnafilm, Inc. Real-time film effects processing for digital video
US20080212895A1 (en) * 2007-01-09 2008-09-04 Lockheed Martin Corporation Image data processing techniques for highly undersampled images
US7860333B2 (en) * 2007-01-09 2010-12-28 University Of Utah Research Foundation Systems and methods for deblurring data corrupted by shift variant blurring
KR101366244B1 (ko) * 2007-04-24 2014-02-21 삼성전자주식회사 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치
US8366617B2 (en) * 2007-05-15 2013-02-05 CVUS Clinical Trials, LLC Breast scanning system
US7945119B2 (en) * 2007-06-26 2011-05-17 Microsoft Corporation Optimizing character rendering
US8548049B2 (en) * 2007-07-02 2013-10-01 Vixs Systems, Inc Pattern detection module, video encoding system and method for use therewith
US7690254B2 (en) * 2007-07-26 2010-04-06 Honeywell International Inc. Sensor with position-independent drive electrodes in multi-layer silicon on insulator substrate
JP5076755B2 (ja) * 2007-09-07 2012-11-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
KR101337206B1 (ko) * 2007-10-12 2013-12-06 삼성전자주식회사 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
JP4882956B2 (ja) * 2007-10-22 2012-02-22 ソニー株式会社 画像処理装置および画像処理方法
JP5111088B2 (ja) * 2007-12-14 2012-12-26 三洋電機株式会社 撮像装置及び画像再生装置
KR101446771B1 (ko) * 2008-01-30 2014-10-06 삼성전자주식회사 영상 부호화장치 및 영상 복호화장치
US8264565B2 (en) * 2008-02-06 2012-09-11 Panasonic Corporation Image processing device and image processing method
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US7941004B2 (en) * 2008-04-30 2011-05-10 Nec Laboratories America, Inc. Super resolution using gaussian regression
TWI371724B (en) * 2008-07-01 2012-09-01 Asustek Comp Inc Method and related device for image restoration for an electronic device
US8208065B2 (en) * 2008-07-30 2012-06-26 Cinnafilm, Inc. Method, apparatus, and computer software for digital video scan rate conversions with minimization of artifacts
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8903191B2 (en) * 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
US8520967B2 (en) * 2009-06-26 2013-08-27 Nokia Corporation Methods and apparatuses for facilitating generation images and editing of multiframe images
EP2302588B1 (en) * 2009-08-21 2012-02-29 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for estimation of interframe motion fields
US8542281B2 (en) * 2009-09-14 2013-09-24 Cognex Corporation System and method for acquiring a still image from a moving image
US8743220B2 (en) 2009-09-14 2014-06-03 Cognex Corporation System and method for acquiring a still image from a moving image
WO2011049565A1 (en) * 2009-10-21 2011-04-28 Hewlett-Packard Development Company, L.P. Real-time video deblurring
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
US8558899B2 (en) * 2009-11-16 2013-10-15 The Aerospace Corporation System and method for super-resolution digital time delay and integrate (TDI) image processing
US8750645B2 (en) * 2009-12-10 2014-06-10 Microsoft Corporation Generating a composite image from video frames
US8452124B2 (en) 2010-04-30 2013-05-28 Honeywell International Inc. Method and system for detecting motion blur
US8306274B2 (en) 2010-05-25 2012-11-06 The Aerospace Corporation Methods for estimating peak location on a sampled surface with improved accuracy and applications to image correlation and registration
US10032254B2 (en) * 2010-09-28 2018-07-24 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for recovering a digital image from a sequence of observed digital images
JP5653184B2 (ja) * 2010-11-11 2015-01-14 三菱電機株式会社 画像処理装置及び方法
US8368774B2 (en) 2010-11-22 2013-02-05 The Aerospace Corporation Imaging geometries for scanning optical detectors with overlapping fields of regard and methods for providing and utilizing same
JP5654867B2 (ja) * 2010-12-27 2015-01-14 パナソニックＩｐマネジメント株式会社 映像信号処理装置及び映像信号処理方法
WO2012154154A1 (en) 2011-05-06 2012-11-15 Empire Technology Development Llc Higher resolution still image generation from lower resolution video camera frames
US8594464B2 (en) * 2011-05-26 2013-11-26 Microsoft Corporation Adaptive super resolution for video enhancement
US8755636B2 (en) * 2011-09-14 2014-06-17 Mediatek Inc. Method and apparatus of high-resolution image reconstruction based on multi-frame low-resolution images
BR112014019789A8 (pt) * 2012-02-14 2017-07-11 Koninklijke Philips Nv Método para gerar dados de imagem volumétrica de maior resolução a partir de dados de imagem volumétrica de menor resolução; e sistema de computação, o qual recebe dados de imagem volumétrica de um sujeito examinado
WO2013148142A1 (en) 2012-03-29 2013-10-03 Nikon Corporation Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
US9245328B2 (en) 2012-03-29 2016-01-26 Nikon Corporation Algorithm for minimizing latent sharp image cost function and point spread function with a spatial mask in a fidelity term
DE102012216652B4 (de) * 2012-09-18 2023-01-26 Siemens Healthcare Gmbh Angiographisches Untersuchungsverfahren
WO2014068779A1 (ja) * 2012-11-05 2014-05-08 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US9076236B2 (en) 2013-09-12 2015-07-07 At&T Intellectual Property I, L.P. Guided image upsampling using bitmap tracing
US10165263B2 (en) 2013-09-30 2018-12-25 Nikon Corporation Point spread function estimation of optics blur
US9824278B2 (en) * 2015-06-24 2017-11-21 Netflix, Inc. Determining native resolutions of video sequences
JP6708476B2 (ja) * 2016-05-27 2020-06-10 キヤノン株式会社 文書保存処理システム
CN107292819A (zh) * 2017-05-10 2017-10-24 重庆邮电大学 一种基于边缘细节保护的红外图像超分辨率重建方法
WO2019127512A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 拍摄设备的图像处理方法、拍摄设备及可移动平台
CN109951666A (zh) * 2019-02-27 2019-06-28 天津大学 基于监控视频的超分辨复原方法
CN110189255B (zh) * 2019-05-29 2023-01-17 电子科技大学 基于两级检测的人脸检测方法
KR20220019232A (ko) * 2019-06-11 2022-02-16 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
US11164339B2 (en) * 2019-11-12 2021-11-02 Sony Interactive Entertainment Inc. Fast region of interest coding using multi-segment temporal resampling
CN111246081B (zh) * 2019-12-23 2021-03-23 中国科学院长春光学精密机械与物理研究所 一种高分辨率图像模拟低分辨率相机成像的方法
CN112651883B (zh) * 2021-01-18 2023-04-07 广东工业大学 一种图像高速场景恢复方法、设备及介质
CN112767252B (zh) * 2021-01-26 2022-08-02 电子科技大学 一种基于卷积神经网络的图像超分辨率重建方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4639783A (en) * 1984-11-30 1987-01-27 Rca Corporation Video signal field/frame storage system
US4797942A (en) * 1987-03-02 1989-01-10 General Electric Pyramid processor for building large-area, high-resolution image by parts
US4845557A (en) * 1988-05-02 1989-07-04 Dubner Computer Systems, Inc. Field motion suppression in interlaced video displays
US5241608A (en) * 1988-11-25 1993-08-31 Eastman Kodak Company Method for estimating velocity vector fields from a time-varying image sequence
US4967271A (en) * 1989-04-05 1990-10-30 Ives C. Faroudja Television scan line doubler including temporal median filter
US5191413A (en) * 1990-11-01 1993-03-02 International Business Machines System and method for eliminating interlace motion artifacts in captured digital video data
US5187754A (en) * 1991-04-30 1993-02-16 General Electric Company Forming, with the aid of an overview image, a composite image from a mosaic of images
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5341174A (en) * 1992-08-17 1994-08-23 Wright State University Motion compensated resolution conversion system

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583860B2 (en) 2003-02-21 2009-09-01 Inventec Appliances Corporation Method for producing enhanced-resolution image by use of a plurality of low-resolution images
WO2004114677A1 (ja) * 2003-06-23 2004-12-29 Sony Corporation 画像処理方法および装置、並びにプログラム
US8085313B2 (en) 2003-06-23 2011-12-27 Sony Corporation Method, apparatus, and program for processing an image
US8692901B2 (en) 2003-06-23 2014-04-08 Sony Corporation Method, apparatus, and program for processing an image
US7486318B2 (en) 2003-06-23 2009-02-03 Sony Corporation Method, apparatus, and program for processing an image
JP2007516760A (ja) * 2003-12-31 2007-06-28 マウナ ケア テクノロジーズ イメージガイドを通じて取得した共焦点画像の超解像度方法および装置、並びにこの方法を実施するための機器
JP2005317011A (ja) * 2004-04-28 2005-11-10 Seiko Epson Corp 高解像度画像を発生する方法、デジタル画像編集ツールおよび媒体
JP2008503916A (ja) * 2004-06-21 2008-02-07 インターグラフ ソフトウェアー テクノロジーズ カンパニー リアルタイム安定化
JP2007000205A (ja) * 2005-06-21 2007-01-11 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法並びに画像処理プログラム
JP4600209B2 (ja) * 2005-08-18 2010-12-15 ソニー株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP2007052672A (ja) * 2005-08-18 2007-03-01 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体
US7840095B2 (en) 2005-08-18 2010-11-23 Sony Corporation Image processing method, image processing apparatus, program and recording medium
CN100413316C (zh) * 2006-02-14 2008-08-20 华为技术有限公司 一种视频图像超分辨率重构方法
JP2007272334A (ja) * 2006-03-30 2007-10-18 Toshiba Corp 高解像度画像を生成する画像拡大装置、その画像拡大方法及びその画像拡大プログラムを記録した記録媒体
JP5157898B2 (ja) * 2006-03-30 2013-03-06 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法および画像処理用プログラム
JP4714062B2 (ja) * 2006-03-30 2011-06-29 株式会社東芝 高解像度画像を生成する画像拡大装置、その画像拡大方法及びその画像拡大プログラムを記録した記録媒体
JP2008109375A (ja) * 2006-10-25 2008-05-08 Tokyo Institute Of Technology 高解像度画像生成方法
JP4670058B2 (ja) * 2006-10-25 2011-04-13 国立大学法人東京工業大学 高解像度画像生成方法
JP2009060464A (ja) * 2007-08-31 2009-03-19 Toshiba Corp 映像高解像度化装置及び方法
JP2009109666A (ja) * 2007-10-29 2009-05-21 Toshiba Corp 解像度変換装置、方法およびプログラム
JP4528857B2 (ja) * 2008-12-24 2010-08-25 株式会社東芝 画像処理装置及び画像処理方法
US7983454B2 (en) 2008-12-24 2011-07-19 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method for processing a flesh-colored area
JP2010152518A (ja) * 2008-12-24 2010-07-08 Toshiba Corp 画像処理装置及び画像処理方法
JP2011071986A (ja) * 2009-09-22 2011-04-07 Samsung Electronics Co Ltd 低解像度ビデオから高解像度ビデオを生成する方法
JP2014534654A (ja) * 2011-08-22 2014-12-18 レイセオン カンパニー 移動している複数の目標の集合を使用する電気光学センサのためのぼけ較正システム及び方法
JP2013045207A (ja) * 2011-08-23 2013-03-04 Nagoya Univ 画像処理装置、および画像処理プログラム
JP2014531160A (ja) * 2011-10-11 2014-11-20 レイセオン カンパニー 電気光学センサ用のぼけキャリブレーションシステム及び移動マルチ焦点マルチターゲットコンステレーションを用いる方法
JP2014044497A (ja) * 2012-08-24 2014-03-13 Jvc Kenwood Corp 画像処理装置
JP2016110312A (ja) * 2014-12-04 2016-06-20 株式会社東芝 画像処理方法、画像処理装置及びプログラム

Also Published As

Publication number Publication date
US5696848A (en) 1997-12-09
EP0731600A3 (en) 1998-05-13
DE69625632T2 (de) 2003-10-23
EP0731600B1 (en) 2003-01-08
DE69625632D1 (de) 2003-02-13
EP0731600A2 (en) 1996-09-11

Similar Documents

Publication Publication Date Title
JPH08263639A (ja) 一連の低解像度画像から高解像度画像を生成する方法及び装置
Patti et al. Superresolution video reconstruction with arbitrary sampling lattices and nonzero aperture time
US6285804B1 (en) Resolution improvement from multiple images of a scene containing motion at fractional pixel values
Shen et al. A MAP approach for joint motion estimation, segmentation, and super resolution
USRE47337E1 (en) Filtering control method for improving image quality of bi-linear interpolated image
US6229570B1 (en) Motion compensation image interpolation—frame rate conversion for HDTV
Shah et al. Resolution enhancement of color video sequences
Patti et al. High-resolution image reconstruction from a low-resolution image sequence in the presence of time-varying motion blur
Belekos et al. Maximum a posteriori video super-resolution using a new multichannel image prior
US8279341B1 (en) Enhancing the resolution and quality of sequential digital images
US20030133020A1 (en) Apparatus and method for generating mosaic images
JP4766333B2 (ja) 画像処理装置と画像処理方法および画像処理プログラム
Erbach et al. Evshutter: Transforming events for unconstrained rolling shutter correction
Zomet et al. Super-resolution from multiple images having arbitrary mutual motion
JP4250237B2 (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
US7684635B2 (en) Signal processing device, and signal processing method, and program, and recording medium
JP4095204B2 (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
Malczewski et al. Super resolution for multimedia, image, and video processing applications
KR20080102256A (ko) 이미지 처리 장치, 이미지 처리 시스템, 이미지 처리 방법 및 이미지 처리용 프로그램
Katartzis et al. Robust Bayesian estimation and normalized convolution for super-resolution image reconstruction
Schultz et al. Motion-compensated scan conversion of interlaced video sequences
CN107155096A (zh) 一种基于半误差反向投影的超分辨率重建方法及装置
JP7040422B2 (ja) 動きベクトル生成装置、投影像生成装置、動きベクトル生成方法、およびプログラム
Heimann et al. Key Point Agnostic Frequency-Selective Mesh-to-Grid Image Resampling using Spectral Weighting
Tull et al. Iterative restoration of fast moving objects in dynamic image sequences

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061107