JP4371457B2 - 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents
画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP4371457B2 JP4371457B2 JP03957999A JP3957999A JP4371457B2 JP 4371457 B2 JP4371457 B2 JP 4371457B2 JP 03957999 A JP03957999 A JP 03957999A JP 3957999 A JP3957999 A JP 3957999A JP 4371457 B2 JP4371457 B2 JP 4371457B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- block
- image information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、特に入力した画像情報を、拡大変倍して出力するプリンタ等の画像出力装置や、解像度の異なる機種間通信で、低解像情報から高解像情報に解像度変換する場合に用いて好適な画像処理装置、方法及びそれらに用いられるコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
従来より、入力した画像の低解像情報を高解像情報に解像度変換する方法として、様々な方法が提案されている。これらの従来方法は、対象となる画像の種類（例えば、各画素ごとに階調情報の持つ多値画像、疑似中間調により２値化された２値画像、固定閾値により２値化された２値画像、文字画像等）によって、その変換処理方法が異なっている。
【０００３】
従来の内挿方法として、図１２に示すような、内挿点に最も近い同じ画素値を配列する最近接内挿方法、図１３に示すような内挿点を囲む４点（４点の画素値をＡ，Ｂ，Ｃ，Ｄとする）の距離により、以下の演算によって画素値Ｅを決定する共１次内挿法等が一般的に用いられている。
Ｅ＝（１−ｉ）・（１−ｊ）・Ａ＋ｉ・（１−ｊ）・Ｂ＋（１−ｉ）・ｊ・Ｃ＋ｉ・ｊ・Ｄ・・・・（１）
（但し、画素間距離を１とした場合に、Ａから水平方向にｉ、垂直方向にｊの距離があるとする（ｉ≦１、ｊ≦１））。
【０００４】
また、古くからサンプリング定理で表されているように、サンプリングされた離散信号を連続信号に変換する手段として、ＳＩＮＣ関数で表現できる理想低域ろ波器を通過することによって再現することができる。ＳＩＮＣ関数を演算するのは処理時間がかかることなどから、ＳＩＮＣ関数で表現される補間関数を近似して、簡単な積和演算のみで補間値を算出する方法がある。
【０００５】
「画像解析ハンドブック：高木幹雄、下田陽久監修東京大学出版会」によると、３次畳み込み内挿法（Ｃｕｂｉｃ Ｃｏｎｖｏ１ｕｔｉｏｎ ｉｎｔｅｒｐｏ１ａｔｉｏｎ）において、補間関数の近似が実現できる。内挿したい点の周囲の観測点１６点の画像データを用いて、求める画像データを次の式で示される３次畳み込み関数を用いて内挿する。
【０００６】
【数１】
【０００７】
【数２】
【０００８】
【数３】
【０００９】
尚、式（２）のＰｎ〜Ｐ４４は周辺画素値を示し、図１４に配置を示す。
【００１０】
しかし、上述した３種類の従来例では、いずれも補間時に補間によるボケ及び入力低解像に依存したブロツク状のジャギーが発生し、高画質の高解像情報が作成できなかった。
そこで、本出願人は、低解像情報から高解像情報の作成において、補間処理による補間ボケもなく、また、ジャギーが発生することなく解像度変換ができる方法を、特開平７−９３５３１号公報、特開平７−１０７２６８号公報、特開平７−１０５３５９号公報等により提案した。
【００１１】
これらの提案の基本的な考え方は、入力した原情報から解像度依存成分を除去し、除去した状態で、画素数を出力解像度相当まで増加させ、増加させた状態の中で新たな解像度に見合う情報を推測し作成する方法である。入力解像度の依存性を取り除く手段としては、ＬＰＦによる平滑化、画素数の増加は線形補間により実現可能である。高解像情報の推測は補間後の情報を単純２値化して、“１”に分類された画素と“０”に分類された画素とに対してそれぞれ異なる処理を行うことにより、出力する画素値を算出する。
【００１２】
また、特開平９−２５２４００号公報で提案したように、画素値の連続性が保たれた良好なエッジを作成する方法もある。この公報では、低解像度注目画素の周辺画素よりｍ点（ｍ≧１）の画素（但し、ｍ点中の観測点ｎにおける画素値をＰ（ｎ）とする）を検出し、注目画素を複数画素分に補間した各補間点ｋにおける前記補間値Ｃ（ｋ）を基に、出力値ｈ（ｋ）を以下の式により演算している。
【００１３】
【数４】
【００１４】
【発明が解決しようとする課題】
しかしながら、上記従来例では、以下に述べるような欠点があった。即ち、いくら高解像情報の作成を行っても、高画質化には限度があるという点である。当然、サンプリング定理より明らかなように、入力解像度のナイキスト限界以上の情報は入力画像には存在しないため、ナイキスト周波数以上の情報作成は全て推測によるものになる。
【００１５】
そのため、あまり複雑ではないＣＧ画像、イラスト画像、アニメーション画像のような平坦な人工的画像をジャギーレスに変換することは容易であるが、自然画像のナイキスト限界以上の情報推測による高画質化は難しい。即ち、いかなる方法を用いたとしても、低解像情報を入力して高解像に変換した画像は、もともと高解像情報を入力した画像と比較すると、明らかに画質は低くなる。
【００１６】
一方、近年、デジタルビデオカメラ等の普及により、撮影した動画像を、連続した１フレーム単位にコンピュータに入力できる手段が増えてきている。ただ、プリンタの出力解像度は年々増加しているが、撮像系の入力解像度は増加傾向にあるとはいっても、プリンタ解像度に比べると、まだまだ低いのが現状である。
【００１７】
そこで、従来例の技術で述べたような、１枚の低解像静止画から、１枚の高解像静止画を作成するのではなく、動画から取り込んだ連続した複数の低解像静止画から、１枚の高解像静止画を作成する技術を本発明により提案する。
従来、複数の静止画から、より広範囲のパノラマ画像の作成方法としては、「動画像のパニングを考慮した背景画像の合成：吉沢、花村、富永、信学春季全大予稿集７−５１（１９９０）」、及び「分割撮像によるパノラマ画像の生成法：中村、金子、林、信学春季全大予稿集７−１６５（１９９１）」等による提案がある。
【００１８】
しかし、１枚の静止画よりも撮像範囲を拡大したパノラマ画像を作成するのではなく、撮像範囲は同一で、複数の静止画の情報を合成させて、内挿により画像の解像度を向上させる技術の提案は数少ない。
【００１９】
このような低解像の動画から高解像の静止画作成の技術として、特開平５−２６０２６４号公報による提案がある。この提案は、連続した画像同士を比較して、２種画像の差異から、アフィン変換、及び平行移動のパラメータを検出して、２種画像を合成するものである。上記提案の第２の実施例に、合成を補間に利用する例について述べられている。
【００２０】
しかし、上記提案では以下の問題点がある。
即ち、上記公報の第２の実施例に記載された方法は、前述した図１２から図１４に示した補間方法により拡大した連続画像同士を比較することにより、前述したパラメータを算出して補間位置を決定し、合成していくものである。しかし、補間演算自体が新たな高解像情報を作成するものではないために、合成する座標の正確な決定も困難である。
【００２１】
補間するということは、画素間を内挿するということである。上記方法では、連続画像同士を比較する時に入力解像度の画素間の情報がない。簡単に言い換えると、２種の画像を画像Ａ、画像Ｂと仮定すると、画像Ａの画素間のどの位置に画像Ｂの画素を内挿するかという決定が、単なる拡大画像間の比較では困難である。
【００２２】
これは、動きベクトルのベクトル量の最小単位が画素単位であり、画素間距離よりも細かい分解能がないという点に起因している。即ち、ベクトルの分解能が画素間以下の精度を持たなければ、複数の静止画を用いて補間する効果は薄れ、前記従来例で述べた、１枚の低解像静止画から１枚の高解像静止画への作成の場合と、画質的にほとんど変わりなくなる。
【００２３】
「国際標準画像符号化の基礎技術：小野文孝、渡辺裕コロナ社」には、各種動き検出法について幾つかの方法の説明がある。しかし、この説明の何れの方法も、動き補償を目的とした検出方法であり、複数の画像から１枚の画像を作成しようとする本発明の目的とは異なるため、細かい検出精度が不必要であり、これらの技術を利用しても良好な複数画像の合成は困難である。
【００２４】
そこで本出願人は、直交変換を利用して、画素間距離よりも細かい分解能を持つベクトルの算出方法を提案した。この方法により、複数の静止画が各々独立したものではなく、画像間の空間的座標の関連付けが可能になった。しかし、動きべクトルの分解能が画素間距離よりも細かく算出されたとしても、画像間の相対位置が正しく把握できるのみで、まだ問題点は数多く残っている。
【００２５】
その一つが、合成する際の誤差が画質劣化を引き起こすという問題である。即ち、合成する画像の枚数が多くなればなるほど、動きベクトルの誤差が蓄積する。
【００２６】
図１５は従来の動きベクトルを算出する順序を示した図である。
図において、時刻ｍフレームから（ｍ＋３）フレームまでの連続した４フレーム分の画像を合成する例について説明する。
１５０１、１５０２、１５０３、１５０４はそれぞれ、ｍフレーム目の画像情報、（ｍ＋１）フレーム目の画像情報、（ｍ＋２）フレーム目の画像情報、（ｍ＋３）フレーム目の画像情報を示している。
【００２７】
動きベクトルを算出する順序としては、まずｍフレーム目と（ｍ＋１）フレーム目、続いて、（ｍ＋１）フレーム目と（ｍ＋２）フレーム目、続いて（ｍ＋２）フレーム目と（ｍ＋３）フレーム目という３回のベクトル算出になる。即ち、従来の動画像符号化の動き補償と同様に、１フレーム進行後の動き量を逐次算出する方法である。この場合、動きベクトルを算出する基準となるフレーム（基準フレームと称す）は、常に、対象となるフレーム（対象フレームと称す）と１フレーム分しか時間的には開きがない。
【００２８】
しかし、この方法では、動き補償の目的には最適な方法でも、本発明の目的としている複数画像の合成では幾つかの問題がある。その一つが、上記の誤差の蓄積である。即ち、１フレーム分の移動量が正確に算出されないと、時間的にそれ以降の動きベクトル算出では、誤差が生じた画像に対して新たに移動量を求めることになってしまう。画像枚数が多ければ多いほど、その蓄積される誤差が増加し、本来の配置位置とは大きく異なる結果になる場合がある。
【００２９】
また、もう一つの問題としては、複数枚の連続画像の途中に動きベクトルの算出困難なフレームが存在した場合の対処である。当然、複数枚の連続画像の中では、撮像途中のビデオカメラ等の入力機器側のぶれや、対象物の移動等により、不鮮明な画像のフレームも存在してくる。その場合に、図１５のような従来の方法を用いると、結果として動きベクトルを大きく誤ったものにする恐れもあり、１度ベクトル算出を間違えば、前述したようにそれ以降のフレームに対しても誤差は解消されない。
【００３０】
このような、動きべクトル算出の順序の問題は、例えば現在、既に市販されているビデオカメラにおける、ＣＣＤの画素ずらしの技術を用いて高解像化する用途では、いかなる順序で複数枚を合成しても問題にならない。それは、画像毎の相対位置に相当する“ずらし量”が機器側で制御されているためである。しかし、後述する本発明の実施の形態の場合は、画像毎の相対位置は全く制御されていない。そのため、動きべクトルを算出する順序が画質向上に大きな要因をもたらす。
【００３１】
また、本発明者は、先に複数の画像の合成を、ただ単に複数フレームの画素値を配置する方法ではなく、基準のフレームに適合させるように、画像データを加工して配置合成する方法を提案した。画像データを加工する方法では、どのフレームを基準フレームにするかによって、全く画質の異なる合成画像になってしまう。データ加工後に合成する方式では、合成フレームの枚数が３枚以上の場合のみならず、２枚の場合でも、どちらの画像を基準フレームにするかで画質は異なってくる。
即ち、従来では、複数枚の画像を合成する場合に、どの画像同士を比較して動き量を求め、合成につなげていくかという良好なフレームの制御方法が提案されていなかった。
【００３２】
従って、本発明は、複数枚の画像を合成して、一枚の高解像度の画像を得る場合におけるフレーム制御方式を提案するものである。
【００３３】
【課題を解決するための手段】
本発明の画像処理装置は、ｍフレーム目から（ｍ＋ｎ）フレーム目までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然数）の画像情報のエッジ強度を算出し、その算出結果に基づいて上記（ｎ＋１）枚の中から該エッジ強度が大きい第１の画像情報を選択する選択手段と、上記第１の画像情報以外のｎ枚の画像情報について、それぞれ第１の画像情報に対する動きベクトルを演算する演算手段と、上記演算結果に基づいて、上記（ｎ＋１）枚の画像情報を合成して一枚の画像を形成する合成手段とを備えたことを特徴とする。
【００３４】
また、本発明の画像処理方法は、画像処理装置を制御する画像処理方法であって、ｍフレーム目から（ｍ＋ｎ）フレーム目までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然数）の画像情報のエッジ強度を算出し、その算出結果に基づいて上記（ｎ＋１）枚の中から該エッジ強度が大きい第１の画像情報を選択する選択工程と、上記第１の画像情報以外のｎ枚の画像情報について、それぞれ第１の画像情報に対する動きベクトルを演算する演算工程と、上記演算結果に基づいて、上記（ｎ＋１）枚の画像情報を合成して一枚の画像を形成する合成工程とを有することを特徴とする。
【００３５】
また、本発明のコンピュータ読み取り可能な記憶媒体は、画像処理装置を制御するコンピュータプログラムを記憶するコンピュータ読み取り可能な記憶媒体であって、ｍフレーム目から（ｍ＋ｎ）フレーム目までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然数）の画像情報のエッジ強度を算出し、その算出結果に基づいて上記（ｎ＋１）枚の中から該エッジ強度が大きい第１の画像情報を選択する選択処理と、上記第１の画像情報以外のｎ枚の画像情報について、それぞれ第１の画像情報に対する動きベクトルを演算する演算処理と、上記演算結果に基づいて、上記（ｎ＋１）枚の画像情報を合成して一枚の画像を形成する合成処理とをコンピュータにて実行させるコンピュータプログラムを記憶したことを特徴とする。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態を図面と共に説明する。
図１は本発明の実施の形態による画像処理装置を示すブロックである。
尚、本実施の形態における画像処理装置は、主として、動画像を撮像するアナログビデオカメラやデジタルビデオカメラの内部、もしくはビデオカメラと直接、あるいはコンピュータを介して接続されるプリンタやビデオプリンタ等の画像出力装置内部に具備することが効率的であるが、ビデオカメラとプリンタとの接続で中間アダプタとなる画像処理装置、又はホストコンピュータ内のアプリケーションソフト、あるいはプリンタに出力するためのプリンタドライバソフトとして内蔵することも可能である。
【００３７】
図１の画像処理装置の構成及び動作について説明する。
図１において、１００はビデオカメラで撮像された動画像が入力される入力端子を示している。本実施の形態では、デジタルビデオカメラで撮像した画像をコンピュータに送信して、コンピュータ内のアプリケーションソフトにより、プリンタ相当の解像度まで変換する例について述べる。
【００３８】
デジタルビデオで撮影した動画像を記録媒体から再生して、ユーザは自分の欲するシーンで画像の取り込み命令を送る。この取り込み命令に同期して、コンピュータ内の格納部１０１に取り込み命令直後の連続した複数フレームの画像情報を格納する。いま、取り込み命令を時刻ｍフレーム目とし、ｍフレーム目から（ｍ＋ｎ）フレーム目までの（ｎ＋１）枚の画像情報が格納されるものとする。
【００３９】
１０２は選択部を示し、格納した（ｎ＋１）フレーム分の画像情報から、どの時刻の画像を基準フレームとして設定するのかを判断する。いま、判定結果により設定された基準フレームを仮にフレームＧとする。１０３は、フレーム制御部を示し、処理対象である２種の画像を選出するための手段である。２種の画像とは、一つが基準フレームであるフレームＧであり、もう一つは、フレームＧ以外に格納されているｎ枚のフレーム中の一つのフレームである（フレームＨとする）。
【００４０】
１０４は動きベクトル演算部を示し、フレームＧと、フレームＨの２種画像の差異を基に、部分的に移動した移動量をベクトルとして計測する手段である。
【００４１】
１０５は配置処理部Ａを示し、撮像したフレームＧの画像をメモリ内に配置する手段である。このメモリは、（入力したフレーム画素数）×（垂直方向拡大率）×（水平方向拡大率）以上のアドレス空間を有している。そこで配置処理部Ａでは、所定の拡大率に見合った画素の配置を実行していく。例えば、拡大率が水平方向、垂直方向ともに２倍の時には、垂直方向、水平方向ともに１画素おきにフレームＧの画素を配置していくことになる。
【００４２】
１０６はデータ加工部を示し、フレームＧの画像情報にうまく適合するようにフレームＨの画素値に加工を施す手段である。
【００４３】
１０７は配置処理部Ｂを示し、フレーム制御部１０３で算出したフレームＧとフレームＨとの相対的なベクトル量に応じて、配置処理部Ａ１０５と同一メモリ内に配置する手段である。格納したフレーム数が３枚以上ある場合には、再びフレーム制御部１０３に戻り、新たなフレームに対して前述した同様の処理を繰り返す。但し、２回目以降の処理においては、フレームＧは固定であり、またフレームＧの画像情報は、既に配置されているため、新たに配置する必要はない。フレームＨのみが新たなフレームに更新され、前述した動きベクトル演算、データ加工、配置の各処理工程を実行することになる。
【００４４】
１０８は合成部であり、同一メモリ内に配置した複数枚の画像を合成して１枚の画像情報にする。１０９は合成した画像がまだ、所望の解像度までの内挿点の情報が埋まっていない場合に、埋まっていない内挿点の情報を補間演算により算出する補間演算部である。１１０は出力端子を示し、高解像度化した画像情報がプリンタ等に送信される。
【００４５】
図２は、本実施の形態の特徴である選択部１０２の構成を示す。
いま例として、格納部１０１では、ｍフレーム目の画像から（ｍ＋３）フレーム目の画像までの計４枚の連続した画像を格納したとする。２０１、２０２、２０３、２０４は、それぞれエッジ抽出部を示し、格納した４枚の画像情報を基に、画像中に含まれるエッジ情報を抽出する手段である。
【００４６】
図３に一般的なラプラシアンのエッジ抽出フィルタの例を示す。
いま、（ｍ＋ｓ）フレーム目（但し、０≦ｓ≦３）の画像上の座標（ｘ，ｙ）における画素値をｆs （ｘ，ｙ）、エッジ抽出処理後の値をｋs （ｘ，ｙ）とすると、図３のエッジ抽出フィルタでは以下の積和演算になる。
【００４７】
ｋs （ｘ，ｙ）＝ｆs （ｘ−１，ｙ−１）＋ｆs （ｘ，ｙ−１）＋ｆs （ｘ＋１，ｙ−１）＋ｆs （ｘ−１，ｙ）−８ｆs （ｘ，ｙ）＋ｆs （ｘ＋１，ｙ）＋ｆs （ｘ−１，ｙ＋１）＋ｆs （ｘ，ｙ＋１）＋ｆs （ｘ＋１，ｙ＋１）・・・・（６）
【００４８】
図２において、２０５、２０６、２０７、２０８はそれぞれ、エッジ強度評価部を示し、エッジ抽出部２０１〜２０４により抽出されたエッジの強度を画像全体にわたって積算する手段である。画像全体の縦画素数をＶ、横画素数をＨとすると、（ｍ＋ｓ）フレーム目のエッジ強度Ｐｓは以下のように算出する。
【００４９】
【数５】
【００５０】
２０９は最大エッジ強度決定部を示し、エッジ強度評価部２０５〜２０８でそれぞれ求めたＰｓが最大となるフレームｓを基準フレームとして決定する。即ち、エッジ強度という独自の評価関数を設定し、格納した複数枚の画像の中で、画像全体に渡って最もエッジの強度が大きいと評価されたフレームを選択するものである。
【００５１】
エッジの強度が大きい画像を基準フレームとして設定するということは、後述する動きベクトルを算出する時にも、また、他の対象フレームのデータ加工をする時にも有利になる。エッジ強度による評価は、格納した複数枚の中で、最も焦点がはっきりと撮影された画像であると仮定することもできる。そのため、基準フレーム以外の対象フレームの画像は、基準フレームの画質に付加価値を付けていく役割になり、最低でも基準フレーム単独以上の画質向上が保証される。
【００５２】
また、図２の構成は、説明を容易にするために、全フレームを並列に処理する例について述べたが、当然、エッジ抽出部、エッジ強度評価部は単一で、垂直に処理する構成でもよい。
また、式（７）ではｋs ’（ｘ，ｙ）の算出をｋs （ｘ，ｙ）の絶対値を用いていたが、当然、ｋs （ｘ，ｙ）の２乗を用いて演算することも可能である。
【００５３】
次に、動きベクトル演算部１０４について説明する。
動きベクトルを算出する方法としては、古くから様々な方法が提案されているが、従来方法では、画素間距離以下のベクトルの分解能がないために、合成、補間を施して低解像の動画を高解像度の静止画に変換する用途には適さない。
【００５４】
図４に本実施の形態による動きベクトル演算部１０４の詳細ブロック図を示す。図１の格納部１０１から動きベクトル演算部１０４に送信される２種の画像は、基準フレームであるフレームＧと対象フレームとなるフレームＨである。
【００５５】
図４において、ブロック化部４０１は、フレームＨの画像情報をＮ×Ｎ画素単位にブロック化する。Ｎの値は様々考えられるが、例としてＮ＝８を想定する。いま、この作成した８×８画素の注目ブロックを仮にブロックＡと称す。次に、直交変換部４０２において、ブロックＡの直交変換を演算する。直交変換の種類は限定しないが、高速で容易に演算できるアダマール変換、及びＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｆｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）で採用されているＤＣＴ（離散コサイン変換）等が一般的である。
いま、ＤＣＴを例にすると、Ｎ×Ｎ画素の２次元ＤＣＴの変換係数は、
【００５６】
【数６】
【００５７】
で求められる。
【００５８】
一方、基準フレームＧは、Ｍ×Ｍ’ブロック化部４０３によりＭ×Ｍ’画素単位にブロック化される。この時、Ｍ×Ｍ’画素単位のブロックは、フレームＨ内の、ブロックＡと同一座標のＮ×Ｎ画素のブロックを包括し、大小関係は、Ｍ≧Ｎ、かつＭ’≧Ｎ（但し、Ｍ＝Ｍ’＝Ｎの場合を除く）になる。いま、Ｍ＝Ｍ’＝２０と仮定する。即ち、ブロックＡと同一座標を含む２０×２０のブロックをフレームＧ内に用意することになる。
【００５９】
次に、Ｎ×Ｎブロック化部４０４により、２０×２０画素のブロック内で、ブロックＡと同サイズのＮ×Ｎ画素のブロックを作成する。ブロックの作成は、ブロックＡと同一座標からスタートしてもよいし、また、Ｍ×Ｍ’ブロックの端から順に初めてもよい。いま、フレームＧ内で作成したＮ×Ｎ画素のブロックを仮にブロックＢと称する。
【００６０】
直交変換部４０５は、作成したブロックＢをブロックＡと同様に直交変換する。当然、直交変換部４０２、４０５の直交変換は同一の変換手段でなくてはならない。直交変換係数評価部４０６は、ブロックＡ、ブロックＢの直交変換係数を基に、その変換係数の類似性を評価する。類似性の評価は、ブロックのＤＣ（直流）成分と、ＡＣ（交流）成分の主に低周波域の成分を基に、それぞれの係数の差分に、成分に応じた重み付け係数を乗じた値の和で評価する。
【００６１】
いま、説明を容易にするために、ブロックの座標を、ブロックを形成する左上の画素の座標で管理することにする（以下、この画素の座標をブロックの原点と称する）。即ち、図５に示すように、ブロックＢの原点（斜線部の画素に相当する）を（ａ，ｂ）とすると、ブロックＡとブロックＢとの類似性の評価関数は、
【００６２】
【数７】
【００６３】
で算出する。
【００６４】
高周波域になるほど、隣接ブロック間の変換係数の相関が低くなるため、高周波域ほど重み付け係数Ｗ（ｕ、ｖ）の値を小さく設定する。座標が空間的に近いブロック同士の低周波域の変換係数は非常に相関が高いため、式（９）では、ブロック同士の空間的な位置関係を変換係数の類似性に置き換えて評価している。また、式（９）では絶対値を用いているが、差分の２乗でも同様の評価は可能である。
【００６５】
次に、ブロック制御部４０７は、ブロックＢの原点（ａ，ｂ）を１画素移動して、新たにブロックを作成し、同様の処理を繰り返す。即ち、Ｎ＝８、Ｍ＝Ｍ’＝２０を例にすると、８×８画素のブロックは２０×２０画素のブロック中に１３×１３個作成できるため、そのブロック数分に対して繰り返し類似性を演算することになる。
【００６６】
フレームＧ内において、全てブロックＢの走査を終了すると、前述の評価関数であるＲ（ａ，ｂ）が最小になる座標（ａ’，ｂ’）を判定する。即ち、類似性Ｒ（ａ，ｂ）はブロックＡＢ間の誤差成分と見なせるため、Ｒ（ａ，ｂ）の最小値をとる時のブロックＢ（この時のブロックをブロックＢ’と称する）が、空間的にもブロックＡと最も近いブロックと見なし、ブロックＡの移動した先と判断する。
【００６７】
ただ、これだけでは従来例と同様、動きベクトルの分解能は１画素単位であり、画素間距離以下のベクトルが判定できない。そこで、本実施の形態では、画素間距離よりも短い分解能で動きベクトルを推測する。
【００６８】
以下にベクトルの推測方法を説明する。
上述の方法において、対象フレームであるフレームＨ上の注目ブロックであるブロックＡの原点を（ａ０，ｂ０）とし、また、前述したＲ（ａ，ｂ）の最小値をとるフレームＧのブロックＢ’の原点を（ａ’，ｂ’）とする。変換係数評価部４０６において、ブロックＢ’の検索は大まかな画素単位の検索であったが、今度はブロックＢ’周辺に絞った細かい距離の推測をする。
【００６９】
即ち、変換係数評価部４０６では、まず、空間的に最も近いと思われるブロックＢ’の検索、次に求めたブロックＢ’からの微小なずれ量の推測という、２段階の構戌の異なる評価を実施することになる。
【００７０】
図６は、上記２段階目の推測の動作手順を示すフローチャートである。
ステップＳ６０１（以下、ステップ略）は、ブロックＢ’の１画素左に作成したブロックと１画素右に作成したブロックの式（７）の評価関数結果をそれぞれ比較する。即ち、ブロックＢ’の原点は（ａ’、ｂ’）であるため、Ｒ（ａ’＋１，ｂ’）とＲ（ａ’−１，ｂ’）の大小を評価する。このＲ（ａ’＋１，ｂ’）、Ｒ（ａ’−１，ｂ’）については、第１段階の類似性評価の際に算出しているため、演算結果を記憶、保持しておくのが好ましい。
【００７１】
Ｓ６０１において、もし、Ｒ（ａ’＋１，ｂ’）が小さいと評価されるとＳ６０２に、また否と評価されるとＳ６０３に移動する。次にＳ６０２では、原点Ｒ（ａ’＋１，ｂ’）より構成されるブロックをブロックＣと設定し、また、Ｓ６０３では、原点Ｒ（ａ’−１，ｂ’）より構成されるブロックをブロックＣと設定する。それと同時に、Ｓ６０２では変数ｃをｃ＝１と設定し、また、Ｓ６０３では、ｃ＝−１と設定する。
【００７２】
次にＳ６０４において、今度はブロックＢ’の１画素上に作成したブロックと１画素下に作成したブロックの式（７）の評価関数結果をそれぞれ比較する。即ち、ブロックＢ’の原点は（ａ’，ｂ’）であるため、Ｒ（ａ’，ｂ’＋１）とＲ（ａ’，ｂ’−１）の大小を評価する。この類似性の評価関数に関しても、第１段階の類似性評価の際に算出しているため、演算結果を記憶、保持しておくのが好ましい。
【００７３】
Ｓ６０４において、もし、Ｒ（ａ’，ｂ’＋１）が小さいと評価されるとＳ６０５に、また否と評価されるとＳ６０６に移動する。次にＳ６０５では、原点Ｒ（ａ’，ｂ’＋１）より構成されるブロックをブロックＤと設定し、また、Ｓ６０６では、原点Ｒ（ａ’，ｂ’−１）より構成されるブロックをブロックＤと設定する。それと同時に、Ｓ６０５では、変数ｄをｄ＝１と設定し、また、Ｓ６０６ではｄ＝−１と設定する。
【００７４】
次にＳ６０７では、ブロックＡの直交変換係数中の水平方向のＡＣ基本波成分であるＦA （１，０）と、ブロックＢ’、及びブロックＣの直交変換係数中の水平方向のＡＣ基本波成分であるＦB ’（１，０）、ＦC （１，０）の３種の値の大小関係を評価する。即ち、ＦA （１，０）の値が、ＦB ’（１，０）の値とＦC （１，０）の値との間に存在するか否かを判断している。もし、存在していれば、Ｓ６０８へ、否ならＳ６０９へ移動する。
【００７５】
Ｓ６０８では、変数Ｖｘが以下の式（１０）で算出される。
Ｖｘ＝（ＦA （１，０）−ＦB ’（１，０））／（ＦC （１，０）−ＦB ’（１，０））・・・・（１０）
また、Ｓ６０９では、変数ＶｘはＶｘ＝０に設定される。
【００７６】
同様に、Ｓ６１０では、ブロックＡの直交変換係数中の垂直方向のＡＣ基本波成分であるＦA （０，１）と、ブロックＢ’及びブロックＤの直交変換係数中の水平方向のＡＣ基本波成分であるＦB ’（０，１）、ＦD （０，１）の３種の大小関係を評価する。即ち、ＦA （０，１）の値が、ＦB ’（０，１）の値とＦD （０，１）の値との間に存在するか否かを判断している。もし、存在していれば、Ｓ６１１へ、否ならＳ６１２へ移動する。
【００７７】
Ｓ６１１では、変数Ｖｙが以下の式（１１）で算出される。
Ｖｙ＝（ＦA （０，１）−ＦB ’（０，１））／（ＦD （０，１）−ＦB ’（０，１））・・・・（１１）
また、Ｓ６１２では、変数ＶｙはＶｙ＝０と設定される。
【００７８】
Ｓ６１３では、式（１０）、式（１１）により算出したＶｘ，Ｖｙを基に、ブロックＡから真に移動したと判断されるブロック（ブロックＢ”と称する）への動きベクトルＡＢ”を以下のように設定して終了する。
【００７９】
【数８】
【００８０】
即ち、ブロックＡからブロックＢ’への動きベクトルは、
【００８１】
【数９】
【００８２】
となるので、式（１２）のｃ×Ｖｘ、及びｄ×Ｖｙの項が画素間距離よりも分解能の高いベクトル成分となっている。
【００８３】
以上、動きベクトル演算部１０４について述べたが、上述したように、本実施の形態の動きベクトル演算部１０４は２段階の処理になっている。まず、空間的に最も近いと思われるブロックの検索、次に、求めたブロックからの微小なずれ量の推測である。
上述した実施の形態では、２段階とも直交変換係数を用いた推測をしているが、処理の簡略化、高速化等により、第１段階目のブロック検索は直交変換係数を用いずに、ブロック内の画素値の比較により推測する方法を用いてもよい。
【００８４】
次に、データ加工部１０６について図７を用いて説明する。
図７において、座標管理部７０１は、動きベクトル演算部１０４から算出されたベクトルに従って、対象フレームであるフレームＨのブロックが、基準フレームであるフレームＧのどの位置に相当するかを管理する。この座標管理部７０１からは、前述した式（９）の評価関数が最小であったアドレスが出力される。
【００８５】
Ｎ×Ｎブロック化部７０２は、フレームＨの画像をＮ×Ｎ画素単位でブロック化する。この手段は、前段の動きベクトル演算部１０４内部で使用したブロック（注目ブロックと称する）の画素値情報を保持していれば、改めてデータ加工部１０６内部で行う必要はない。
【００８６】
同様に、Ｎ×Ｎブロック化部７０３は、座標管理部７０１から受けたアドレスに基づいて、フレームＧのＮ×Ｎ画素単位のブロック化を実行する。この手段も前段の動きベクトル演算部１０４内部で作成、評価したブロックのうち、評価関数が最小になったブロック（誤差最小ブロックと称する）、及び誤差最小ブロックの周辺に位置するブロック（周辺ブロックと称する）の画素値情報を保持していれば、改めてデータ加工部１０６内部で行う必要はない。
【００８７】
いま、フレームＨ上の注目ブロックをブロックＡ、フレームＧ上でブロックＡに対する誤差最小ブロックをブロックＢ’、また、ブロックＢ’を基準にして水平方向の左右１画素毎にずらしてブロック化した２種のブロックのうち、評価関数が小さいと評価されたブロックをブロックＣ、同様に、ブロックＢ’を基準にして垂直方向に上下１画素毎にずらしてブロック化した２種のブロックのうち、評価関数が小さいと評価されたブロックをブロックＤとする。
【００８８】
また、ブロックＣの原点のｘ座標、及び、ブロックＤの原点のｙ座標を原点とするブロックをブロックＥとする。ブロックＥはブロックＢ’とは水平垂直ともに１画素づつずれていることになる。
【００８９】
平均値算出部７０４は、注目ブロックであるブロックＡ内の画素値の平均値を算出する手段である。ブロックＡの原点座標を（ａ０，ｂ０）とすると、ブロックＡの平均値ＴA を以下のように算出する。
【００９０】
【数１０】
【００９１】
平均値分離部７０５は、ブロックＡ内の各画素から、算出した平均値ＴA を減算することにより分離する手段である。分離後の値をｇH （ｘ，ｙ）とすると、以下の式（１５）で算出される。
ｇH （ｘ，ｙ）＝ｆH （ｘ，ｙ）−ＴA ・・・・（１５）
【００９２】
一方、平均値算出部７０６は、フレームＧのブロックＢ’、Ｃ、Ｄ、Ｅの各ブロックの平均値を算出する。ブロックＢ’の原点座標を（ａ’，ｂ’）とすると、各ブロックの平均値ＴB ’、ＴC 、ＴD 、ＴE はそれぞれ以下のように算出される。
【００９３】
【数１１】
【００９４】
但し、ｃ，ｄは図６のフローチャートの説明で述べたように、水平方向に左右１画素毎ずらしてブロック化した場合に、右方向にずらしたブロックがブロックＡとの類似性を示す評価関数結果が小さいと評価された場合にはｃ＝１、逆に左方向にずらしたブロックが評価関数結果が小さいと評価された場合にはｃ＝−１、同様に、垂直方向の比較で下方向の場合にはｄ＝１、上方向の場合にはｄ＝−１である。
【００９５】
また、ブロックＢ’、ブロックＣ、ブロックＤ、ブロックＥの４ブロックは、ブロックの重なりが大きいため、４ブロックのうち、一つのブロックのみを平均値算出して、残りの３ブロックの平均値に関しては、算出したブロックの平均値から、ブロックの非重なり画素のみを加減算して算出してもよい。
【００９６】
次に、平均値置換部７０７においては、以下の演算が行われる。
ｈH （ｘ，ｙ）＝ｇH （ｘ，ｙ）＋（１−Ｖｘ’）・（１−Ｖｙ’）・ＴB ＋Ｖｘ’・（１−Ｖｙ’）・ＴC ＋（１−Ｖｘ’）・Ｖｙ’・ＴD ＋Ｖｘ’・Ｖｙ’・ＴE ・・・・（２０）
【００９７】
ここで、Ｖｘ’、Ｖｙ’はブロックＢ’の原点（ａ’，ｂ’）から内挿点までの距離を示している。即ち、前述した式（１０）、式（１１）により算出したＶｘ、Ｖｙの座標が、所望の内挿点上に完全に合致する場合は極めて少ない。実際には、算出したＶｘ、Ｖｙの値に基づいて、それに最も距離の近い内挿点Ｖｘ’、Ｖｙ’上に内挿することになる。
【００９８】
図８にＶｘ、Ｖｙ、Ｖｘ’、Ｖｙ’の位置関係の例を図示する。●印がフレームＧの標本点、×印が原点座標（ａ’，ｂ’）から式（１０）、式（１１）により算出したＶｘ、Ｖｙだけ離れた点、○印が解像度を増加させるために、真に内挿すべき内挿点である。いま、ｃ＝１、及びｄ＝１の場合、この内挿点の座標は、（ａ’＋Ｖｘ’、ｂ’＋Ｖｙ’）となる。この内挿点がブロックＡの原点となり、配置点である。
【００９９】
式（２０）は、ブロックＡの平均値を、ブロックＢ’、ブロックＣ、ブロックＤ、ブロックＥの平均値に置換していることを意味している。しかも、置換する平均値は、ブロックＡの内挿位置に依存して、４ブロックの平均値の線形演算となっている。言い換えると、ブロックＡのＤＣ成分を基準フレーム上のブロックＢ’、ブロックＣ、ブロックＤ、ブロックＥに適合するように変更して、ブロックＡのＡＣ成分のみを利用しようとするものである。
【０１００】
以上、データ加工部１０６について述べたが、本実施の形態においては、上述した例には限らない。ブロックＢ’、ブロックＣ、ブロックＤ、ブロックＥの重なりが大きいため、算出するそれぞれの平均値は大差がない場合も考えられる。その場合には、ブロックＢ’の平均値ＴB ’のみをｇH （ｘ，ｙ）に加算する簡易的な方法も可能である。
【０１０１】
図９は、以上述べてきた、フレーム制御部１０６を中心にして動きベクトル算出、配置までの処理を含めた、特に３枚以上の複数フレームを使用した時の繰り返し処理の動作手順を示すフローチャートである。
まず始めに、Ｓ９０１により、格納したｍフレーム目から（ｍ＋ｎ）フレーム目までの（ｎ＋１）枚で、各フレーム毎にエッジ強度を評価する。そしてＳ９０２で、それらを相互比較する。
【０１０２】
続いて、Ｓ９０３で、最大のエッジ強度を有する（ｍ＋ｐ）フレーム目をフレームＧとして設定する。これが基準フレームである。次にＳ９０４では、変数ｓ、及び変数ｑを０に初期化する。次にＳ９０５で、変数ｓがｐに等しいか否かを判断する。これは現在処理しようとしているフレームが基準フレームなのか、否かを判定することになる。
【０１０３】
もし、いま処理するフレームｓが基準フレームでなければ、Ｓ９０６において、ｑが０に等しいか否かを判定する。これは、現在処理している繰り返し回数が１回目なのか否かを判定するものである。もし、ｑが０に等しければ、Ｓ９０７で、フレームＧを配置させ、Ｓ９０８で、変数ｑをカウントアップする。もし、Ｓ９０６で否と判定された場合には、処理が２回目以降と判定され、既に基準フレームであるフレームＧは配置されているため、Ｓ９０７、Ｓ９０８はジャンプする。
【０１０４】
続いて、Ｓ９０９では、フレームＧと（ｍ＋ｓ）フレーム目（フレームＨとする）との間で、動きベクトルを算出する。次に、Ｓ９１０で、フレームＨをデータ加工した後に、Ｓ９１１で、配置を行う。Ｓ９１２で、変数ｓをカウントアップした後に、Ｓ９１３で、繰り返し回数がｎ回になっているか否かを判断する。否の場合は、まだ処理していないフレームが格納されていると判断され、Ｓ９０５に戻り、他のフレームに対しても同様の処理工程を繰り返す。
格納した全てのフレームに対して配置が終了すると、１枚の画像情報に合成されて処理は完了する。
【０１０５】
以上、本実施の形態の一連の処理を説明してきたが、本発明の特徴は選択部１０２にある。そのため、動きベクトル演算部１０４、データ加工部１０６、配置処理部１０７等の内容は限定しない。動きベクトル演算は、直交変換を用いない方法でも当然可能であるし、対象フレームのデータも加工しないで、各対象フレームの画素値を配置するだけの構成も考えられる。
【０１０６】
また、式（７）のエッジ強度の評価関数はこれに限るものではない。式（７）の変形例として以下の式（２１）も考えられる。
【０１０７】
【数１２】
【０１０８】
この場合は、エッジ抽出フィルタ後の値が、ある閾値以上になった画素数をカウントすることを意味している。式（２１）でも十分に画像全体のエッジの強度は把握できる。
また、エッジ抽出フィルタも図３に限るものではなく、よりノイズ耐性の強いフィルタを用いてもよい。
【０１０９】
また、エッジ強度の評価は、エッジ抽出フィルタを用いない方式、例えば、直交変換の高周波成分の変換係数を基に判定する方式も考えられる。その場合には、どのフレームが高周波域の電力が大きいかを評価し、最も電力が大きいと判断されたフレームを基準フレームとして設定する。
【０１１０】
また、本実施の形態では、画像の特徴量にエッジ情報を利用したが、これに限るものではなく、他の画像の特徴量を用いて評価してもよい。
【０１１１】
図１０は、本発明の第２の実施の形態による動作手順を示すフローチャートである。本実施の形態は、図１の選択部１０２による選択方法が異なっているのみで、他の各部に関しては同一である。
また、図１０のフローチャートは、ｍフレーム目から（ｍ＋ｎ）フレーム目までの（ｎ＋１）枚の画像情報を基に１枚の高解像の静止画像を作成する例を示している。
【０１１２】
Ｓ１００１は除算工程を示し、ｎの値を２で除算した場合の整数部分をｐとして代入する。実際の処理上では、ビットシフトで実現できる。続いて、Ｓ１００２で、（ｍ＋ｐ）フレーム目を基準フレームであるフレームＧとして設定する。次にＳ１００３では、変数ｓ、及び変数ｑを０に初期化する。次にＳ１００４で、変数ｓがｐに等しいか否かを判断する。これは現在処理しようとしているフレームが基準フレームなのか、否かを判定することになる。
【０１１３】
もし、いま処理するフレームＳが基準フレームでないならば、Ｓ１００５において、ｑが０か否かを判定する。これは、いま処理する回数が１回目か否かを判定するものである。ｑが０であるならば、Ｓ１００６で、フレームＧを配置させ、Ｓ１００７で、変数ｑをカウントアップする。Ｓ１００５で、否と判定された場合は、処理が２回目以降と判定され、既に基準フレームであるフレームＧは配置されているため、Ｓ１００６、Ｓ１００７はジャンプされる。
【０１１４】
続いて、Ｓ１００８では、フレームＧと（ｍ＋ｓ）フレーム目（フレームＨとする）との間で、動きベクトルを算出し、Ｓ１００９で、フレームＨをデータ加工した後に、Ｓ１０１０で、配置する。Ｓ１０１１で、変数ｓをカウントアップした後に、繰り返し回数がｎ回になっているか否かを判断する。まだ、処理していないフレームが格納されている場合には、Ｓ１００４に戻り、他のフレームに対しても同様の処理工程を繰り返す。
【０１１５】
格納した全てのフレームに対して配置が終了すると、単一の画像として合成されて処理は完了する。
以上のように、本実施の形態は、基準フレームの選択を、入力されたフレーム順により決定するのが特徴である。
【０１１６】
図１１は、５フレーム分格納した場合の基準フレームの決定を示した図である。斜線で示したフレームが基準フレームである。
格納画像が５フレーム分の場合、ｎ＝４になるので、２で除算することにより、ｐ＝２となり、（ｍ＋２）フレーム目の中間フレームが基準フレームとして設定される。この基準フレームを他の４フレームとそれぞれ比較して処理することになる。
【０１１７】
もし、格納フレーム数が偶数の場合には、ｎを２で除算した結果が非整数になるため、正しく中間にはなり得ないが、中間前後のフレームを基準フレームに設定して構わない（但し、図１０のフローチャートでは、中間より前になる）。即ち、前述した図９のフローチャートの実施の形態では、基準フレームの選択を“画像の特徴”に基づいて設定する方法であった。画像の特徴量が、最も顕著に表せる評価関数としてエッジの強度を評価した。確かに画像の特徴で選択すれば、画質的に最適な画像を基準フレームとして設定できる可能性がある。
【０１１８】
しかし、連続画像を扱うため、時間的には必ずしも最適とは言えない。そこで、図１０のフローチャートの実施の形態では、“時間的な画像の相関性”を重視して選択している。時間軸において中間の画像を用いるということは、格納画像中の各フレームと比較した場合に、画像の連続性を考えると、画像の相関性が最も高い中心的な画像と仮定することができる。即ち、時間的ずれが最小であるため、各フレームと基準画像との差異が少なくて済む。
【０１１９】
以上、本発明の実施の形態を説明したが、図９及び図１０の各フローチャートの折衷案も考えられる。即ち、画像の特徴量、及び時間軸上での位置を考慮して新たな評価関数を作成し、基準フレームを決定することも可能である。その場合には、例え時間軸上で最適であるフレームが画質的に不鮮明であった場合でも、総合的に最適な画像を選択することができる。
【０１２０】
次に本発明の他の実施の形態としての記憶媒体について説明する。
本発明の目的は、ハードウェア構成により達成することも可能であり、また、ＣＰＵとメモリとで構成されるコンピュータシステムで達成することもできる。コンピュータシステムで構成する場合、上記メモリは本発明による記憶媒体を構成する。即ち、上述した各実施の形態において説明した動作を実行するための、ソフトウェアのプログラムコードを記憶した記憶媒体をシステムや装置で用い、そのシステムや装置のＣＰＵが上記記憶媒体に格納されたプログラムコードを読み出し、実行することにより、本発明の目的を達成することができる。
【０１２１】
また、この記憶媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッピィディスク、磁気媒体、磁気カード、不揮発性メモリカード等に構成して用いてよい。
【０１２２】
従って、この記憶媒体を図１等に示したシステムや装置以外の他のシステムや装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、上記各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【０１２３】
また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、上記各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【０１２４】
【発明の効果】
以上説明したように、本発明によれば、格納した複数フレームの中から各フレームとの比較の基準となる単一の基準フレームを、画像の特徴量や時間的な相関性を基に設定することにより、ベクトル算出時の誤差の蓄積を生じず、不鮮明なフレームが存在していた場合でも問題なく良好な合成を可能にする。
【０１２５】
また、本発明によれば、従来提案されていた、１枚の低解像静止画からの高解像静止画作成の内挿、補間技術に比べて格段に高画質化した画像情報を作成することができる。
【０１２６】
さらに、 本発明によれば、ビデオカメラで撮影した低解像静止画情報から１枚の高解像静止画情報を容易に作成できるため、入出力の解像度の異なる機種間通信や、拡大変倍して高画質な画像を出力するビデオカメラ、プリンタ等を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像処理装置を示すブロック図である。
【図２】図１の選択部を示すブロック図である。
【図３】エッジ抽出フィルタの例を示す構成図である。
【図４】図１の動きベクトル演算部を示すブロック図である。
【図５】動きベクトルを説明する構成図である。
【図６】図４の変換係数評価部の動作手順を示すフローチャートである。
【図７】図１のデータ加工部を示すブロック図である。
【図８】ブロック内の配置位置を説明する構成図である。
【図９】本発明の第１の実施の形態による選択部を含めた一連の処理を示すフローチャートである。
【図１０】本発明の第２の実施の形態による選択部を含めた一連の処理を示すフローチャートである。
【図１１】基準フレームを説明する構成図である。
【図１２】従来の最近接内挿法を説明する構成図である。
【図１３】従来の共１次内挿法を説明する構成図である。
【図１４】従来の３次畳み込み内挿法を説明する構成図である。
【図１５】従来の動きベクトル算出の比較フレームを説明する構成図である。
【符号の説明】
１０２ 選択部
１０３ フレーム制御部
１０４ 動きベクトル演算部
１０５、１０７ 配置処理部
１０６ データ加工部
１０８ 合成部
１０９ 補間部
２０１〜２０４ エッジ抽出部
２０５〜２０８ エッジ強度評価部
２０９ 最大エッジ強度決定部
【発明の属する技術分野】
本発明は、特に入力した画像情報を、拡大変倍して出力するプリンタ等の画像出力装置や、解像度の異なる機種間通信で、低解像情報から高解像情報に解像度変換する場合に用いて好適な画像処理装置、方法及びそれらに用いられるコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
従来より、入力した画像の低解像情報を高解像情報に解像度変換する方法として、様々な方法が提案されている。これらの従来方法は、対象となる画像の種類（例えば、各画素ごとに階調情報の持つ多値画像、疑似中間調により２値化された２値画像、固定閾値により２値化された２値画像、文字画像等）によって、その変換処理方法が異なっている。
【０００３】
従来の内挿方法として、図１２に示すような、内挿点に最も近い同じ画素値を配列する最近接内挿方法、図１３に示すような内挿点を囲む４点（４点の画素値をＡ，Ｂ，Ｃ，Ｄとする）の距離により、以下の演算によって画素値Ｅを決定する共１次内挿法等が一般的に用いられている。
Ｅ＝（１−ｉ）・（１−ｊ）・Ａ＋ｉ・（１−ｊ）・Ｂ＋（１−ｉ）・ｊ・Ｃ＋ｉ・ｊ・Ｄ・・・・（１）
（但し、画素間距離を１とした場合に、Ａから水平方向にｉ、垂直方向にｊの距離があるとする（ｉ≦１、ｊ≦１））。
【０００４】
また、古くからサンプリング定理で表されているように、サンプリングされた離散信号を連続信号に変換する手段として、ＳＩＮＣ関数で表現できる理想低域ろ波器を通過することによって再現することができる。ＳＩＮＣ関数を演算するのは処理時間がかかることなどから、ＳＩＮＣ関数で表現される補間関数を近似して、簡単な積和演算のみで補間値を算出する方法がある。
【０００５】
「画像解析ハンドブック：高木幹雄、下田陽久監修東京大学出版会」によると、３次畳み込み内挿法（Ｃｕｂｉｃ Ｃｏｎｖｏ１ｕｔｉｏｎ ｉｎｔｅｒｐｏ１ａｔｉｏｎ）において、補間関数の近似が実現できる。内挿したい点の周囲の観測点１６点の画像データを用いて、求める画像データを次の式で示される３次畳み込み関数を用いて内挿する。
【０００６】
【数１】
【数２】
【数３】
尚、式（２）のＰｎ〜Ｐ４４は周辺画素値を示し、図１４に配置を示す。
【００１０】
しかし、上述した３種類の従来例では、いずれも補間時に補間によるボケ及び入力低解像に依存したブロツク状のジャギーが発生し、高画質の高解像情報が作成できなかった。
そこで、本出願人は、低解像情報から高解像情報の作成において、補間処理による補間ボケもなく、また、ジャギーが発生することなく解像度変換ができる方法を、特開平７−９３５３１号公報、特開平７−１０７２６８号公報、特開平７−１０５３５９号公報等により提案した。
【００１１】
これらの提案の基本的な考え方は、入力した原情報から解像度依存成分を除去し、除去した状態で、画素数を出力解像度相当まで増加させ、増加させた状態の中で新たな解像度に見合う情報を推測し作成する方法である。入力解像度の依存性を取り除く手段としては、ＬＰＦによる平滑化、画素数の増加は線形補間により実現可能である。高解像情報の推測は補間後の情報を単純２値化して、“１”に分類された画素と“０”に分類された画素とに対してそれぞれ異なる処理を行うことにより、出力する画素値を算出する。
【００１２】
また、特開平９−２５２４００号公報で提案したように、画素値の連続性が保たれた良好なエッジを作成する方法もある。この公報では、低解像度注目画素の周辺画素よりｍ点（ｍ≧１）の画素（但し、ｍ点中の観測点ｎにおける画素値をＰ（ｎ）とする）を検出し、注目画素を複数画素分に補間した各補間点ｋにおける前記補間値Ｃ（ｋ）を基に、出力値ｈ（ｋ）を以下の式により演算している。
【００１３】
【数４】
【発明が解決しようとする課題】
しかしながら、上記従来例では、以下に述べるような欠点があった。即ち、いくら高解像情報の作成を行っても、高画質化には限度があるという点である。当然、サンプリング定理より明らかなように、入力解像度のナイキスト限界以上の情報は入力画像には存在しないため、ナイキスト周波数以上の情報作成は全て推測によるものになる。
【００１５】
そのため、あまり複雑ではないＣＧ画像、イラスト画像、アニメーション画像のような平坦な人工的画像をジャギーレスに変換することは容易であるが、自然画像のナイキスト限界以上の情報推測による高画質化は難しい。即ち、いかなる方法を用いたとしても、低解像情報を入力して高解像に変換した画像は、もともと高解像情報を入力した画像と比較すると、明らかに画質は低くなる。
【００１６】
一方、近年、デジタルビデオカメラ等の普及により、撮影した動画像を、連続した１フレーム単位にコンピュータに入力できる手段が増えてきている。ただ、プリンタの出力解像度は年々増加しているが、撮像系の入力解像度は増加傾向にあるとはいっても、プリンタ解像度に比べると、まだまだ低いのが現状である。
【００１７】
そこで、従来例の技術で述べたような、１枚の低解像静止画から、１枚の高解像静止画を作成するのではなく、動画から取り込んだ連続した複数の低解像静止画から、１枚の高解像静止画を作成する技術を本発明により提案する。
従来、複数の静止画から、より広範囲のパノラマ画像の作成方法としては、「動画像のパニングを考慮した背景画像の合成：吉沢、花村、富永、信学春季全大予稿集７−５１（１９９０）」、及び「分割撮像によるパノラマ画像の生成法：中村、金子、林、信学春季全大予稿集７−１６５（１９９１）」等による提案がある。
【００１８】
しかし、１枚の静止画よりも撮像範囲を拡大したパノラマ画像を作成するのではなく、撮像範囲は同一で、複数の静止画の情報を合成させて、内挿により画像の解像度を向上させる技術の提案は数少ない。
【００１９】
このような低解像の動画から高解像の静止画作成の技術として、特開平５−２６０２６４号公報による提案がある。この提案は、連続した画像同士を比較して、２種画像の差異から、アフィン変換、及び平行移動のパラメータを検出して、２種画像を合成するものである。上記提案の第２の実施例に、合成を補間に利用する例について述べられている。
【００２０】
しかし、上記提案では以下の問題点がある。
即ち、上記公報の第２の実施例に記載された方法は、前述した図１２から図１４に示した補間方法により拡大した連続画像同士を比較することにより、前述したパラメータを算出して補間位置を決定し、合成していくものである。しかし、補間演算自体が新たな高解像情報を作成するものではないために、合成する座標の正確な決定も困難である。
【００２１】
補間するということは、画素間を内挿するということである。上記方法では、連続画像同士を比較する時に入力解像度の画素間の情報がない。簡単に言い換えると、２種の画像を画像Ａ、画像Ｂと仮定すると、画像Ａの画素間のどの位置に画像Ｂの画素を内挿するかという決定が、単なる拡大画像間の比較では困難である。
【００２２】
これは、動きベクトルのベクトル量の最小単位が画素単位であり、画素間距離よりも細かい分解能がないという点に起因している。即ち、ベクトルの分解能が画素間以下の精度を持たなければ、複数の静止画を用いて補間する効果は薄れ、前記従来例で述べた、１枚の低解像静止画から１枚の高解像静止画への作成の場合と、画質的にほとんど変わりなくなる。
【００２３】
「国際標準画像符号化の基礎技術：小野文孝、渡辺裕コロナ社」には、各種動き検出法について幾つかの方法の説明がある。しかし、この説明の何れの方法も、動き補償を目的とした検出方法であり、複数の画像から１枚の画像を作成しようとする本発明の目的とは異なるため、細かい検出精度が不必要であり、これらの技術を利用しても良好な複数画像の合成は困難である。
【００２４】
そこで本出願人は、直交変換を利用して、画素間距離よりも細かい分解能を持つベクトルの算出方法を提案した。この方法により、複数の静止画が各々独立したものではなく、画像間の空間的座標の関連付けが可能になった。しかし、動きべクトルの分解能が画素間距離よりも細かく算出されたとしても、画像間の相対位置が正しく把握できるのみで、まだ問題点は数多く残っている。
【００２５】
その一つが、合成する際の誤差が画質劣化を引き起こすという問題である。即ち、合成する画像の枚数が多くなればなるほど、動きベクトルの誤差が蓄積する。
【００２６】
図１５は従来の動きベクトルを算出する順序を示した図である。
図において、時刻ｍフレームから（ｍ＋３）フレームまでの連続した４フレーム分の画像を合成する例について説明する。
１５０１、１５０２、１５０３、１５０４はそれぞれ、ｍフレーム目の画像情報、（ｍ＋１）フレーム目の画像情報、（ｍ＋２）フレーム目の画像情報、（ｍ＋３）フレーム目の画像情報を示している。
【００２７】
動きベクトルを算出する順序としては、まずｍフレーム目と（ｍ＋１）フレーム目、続いて、（ｍ＋１）フレーム目と（ｍ＋２）フレーム目、続いて（ｍ＋２）フレーム目と（ｍ＋３）フレーム目という３回のベクトル算出になる。即ち、従来の動画像符号化の動き補償と同様に、１フレーム進行後の動き量を逐次算出する方法である。この場合、動きベクトルを算出する基準となるフレーム（基準フレームと称す）は、常に、対象となるフレーム（対象フレームと称す）と１フレーム分しか時間的には開きがない。
【００２８】
しかし、この方法では、動き補償の目的には最適な方法でも、本発明の目的としている複数画像の合成では幾つかの問題がある。その一つが、上記の誤差の蓄積である。即ち、１フレーム分の移動量が正確に算出されないと、時間的にそれ以降の動きベクトル算出では、誤差が生じた画像に対して新たに移動量を求めることになってしまう。画像枚数が多ければ多いほど、その蓄積される誤差が増加し、本来の配置位置とは大きく異なる結果になる場合がある。
【００２９】
また、もう一つの問題としては、複数枚の連続画像の途中に動きベクトルの算出困難なフレームが存在した場合の対処である。当然、複数枚の連続画像の中では、撮像途中のビデオカメラ等の入力機器側のぶれや、対象物の移動等により、不鮮明な画像のフレームも存在してくる。その場合に、図１５のような従来の方法を用いると、結果として動きベクトルを大きく誤ったものにする恐れもあり、１度ベクトル算出を間違えば、前述したようにそれ以降のフレームに対しても誤差は解消されない。
【００３０】
このような、動きべクトル算出の順序の問題は、例えば現在、既に市販されているビデオカメラにおける、ＣＣＤの画素ずらしの技術を用いて高解像化する用途では、いかなる順序で複数枚を合成しても問題にならない。それは、画像毎の相対位置に相当する“ずらし量”が機器側で制御されているためである。しかし、後述する本発明の実施の形態の場合は、画像毎の相対位置は全く制御されていない。そのため、動きべクトルを算出する順序が画質向上に大きな要因をもたらす。
【００３１】
また、本発明者は、先に複数の画像の合成を、ただ単に複数フレームの画素値を配置する方法ではなく、基準のフレームに適合させるように、画像データを加工して配置合成する方法を提案した。画像データを加工する方法では、どのフレームを基準フレームにするかによって、全く画質の異なる合成画像になってしまう。データ加工後に合成する方式では、合成フレームの枚数が３枚以上の場合のみならず、２枚の場合でも、どちらの画像を基準フレームにするかで画質は異なってくる。
即ち、従来では、複数枚の画像を合成する場合に、どの画像同士を比較して動き量を求め、合成につなげていくかという良好なフレームの制御方法が提案されていなかった。
【００３２】
従って、本発明は、複数枚の画像を合成して、一枚の高解像度の画像を得る場合におけるフレーム制御方式を提案するものである。
【００３３】
【課題を解決するための手段】
本発明の画像処理装置は、ｍフレーム目から（ｍ＋ｎ）フレーム目までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然数）の画像情報のエッジ強度を算出し、その算出結果に基づいて上記（ｎ＋１）枚の中から該エッジ強度が大きい第１の画像情報を選択する選択手段と、上記第１の画像情報以外のｎ枚の画像情報について、それぞれ第１の画像情報に対する動きベクトルを演算する演算手段と、上記演算結果に基づいて、上記（ｎ＋１）枚の画像情報を合成して一枚の画像を形成する合成手段とを備えたことを特徴とする。
【００３４】
また、本発明の画像処理方法は、画像処理装置を制御する画像処理方法であって、ｍフレーム目から（ｍ＋ｎ）フレーム目までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然数）の画像情報のエッジ強度を算出し、その算出結果に基づいて上記（ｎ＋１）枚の中から該エッジ強度が大きい第１の画像情報を選択する選択工程と、上記第１の画像情報以外のｎ枚の画像情報について、それぞれ第１の画像情報に対する動きベクトルを演算する演算工程と、上記演算結果に基づいて、上記（ｎ＋１）枚の画像情報を合成して一枚の画像を形成する合成工程とを有することを特徴とする。
【００３５】
また、本発明のコンピュータ読み取り可能な記憶媒体は、画像処理装置を制御するコンピュータプログラムを記憶するコンピュータ読み取り可能な記憶媒体であって、ｍフレーム目から（ｍ＋ｎ）フレーム目までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然数）の画像情報のエッジ強度を算出し、その算出結果に基づいて上記（ｎ＋１）枚の中から該エッジ強度が大きい第１の画像情報を選択する選択処理と、上記第１の画像情報以外のｎ枚の画像情報について、それぞれ第１の画像情報に対する動きベクトルを演算する演算処理と、上記演算結果に基づいて、上記（ｎ＋１）枚の画像情報を合成して一枚の画像を形成する合成処理とをコンピュータにて実行させるコンピュータプログラムを記憶したことを特徴とする。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態を図面と共に説明する。
図１は本発明の実施の形態による画像処理装置を示すブロックである。
尚、本実施の形態における画像処理装置は、主として、動画像を撮像するアナログビデオカメラやデジタルビデオカメラの内部、もしくはビデオカメラと直接、あるいはコンピュータを介して接続されるプリンタやビデオプリンタ等の画像出力装置内部に具備することが効率的であるが、ビデオカメラとプリンタとの接続で中間アダプタとなる画像処理装置、又はホストコンピュータ内のアプリケーションソフト、あるいはプリンタに出力するためのプリンタドライバソフトとして内蔵することも可能である。
【００３７】
図１の画像処理装置の構成及び動作について説明する。
図１において、１００はビデオカメラで撮像された動画像が入力される入力端子を示している。本実施の形態では、デジタルビデオカメラで撮像した画像をコンピュータに送信して、コンピュータ内のアプリケーションソフトにより、プリンタ相当の解像度まで変換する例について述べる。
【００３８】
デジタルビデオで撮影した動画像を記録媒体から再生して、ユーザは自分の欲するシーンで画像の取り込み命令を送る。この取り込み命令に同期して、コンピュータ内の格納部１０１に取り込み命令直後の連続した複数フレームの画像情報を格納する。いま、取り込み命令を時刻ｍフレーム目とし、ｍフレーム目から（ｍ＋ｎ）フレーム目までの（ｎ＋１）枚の画像情報が格納されるものとする。
【００３９】
１０２は選択部を示し、格納した（ｎ＋１）フレーム分の画像情報から、どの時刻の画像を基準フレームとして設定するのかを判断する。いま、判定結果により設定された基準フレームを仮にフレームＧとする。１０３は、フレーム制御部を示し、処理対象である２種の画像を選出するための手段である。２種の画像とは、一つが基準フレームであるフレームＧであり、もう一つは、フレームＧ以外に格納されているｎ枚のフレーム中の一つのフレームである（フレームＨとする）。
【００４０】
１０４は動きベクトル演算部を示し、フレームＧと、フレームＨの２種画像の差異を基に、部分的に移動した移動量をベクトルとして計測する手段である。
【００４１】
１０５は配置処理部Ａを示し、撮像したフレームＧの画像をメモリ内に配置する手段である。このメモリは、（入力したフレーム画素数）×（垂直方向拡大率）×（水平方向拡大率）以上のアドレス空間を有している。そこで配置処理部Ａでは、所定の拡大率に見合った画素の配置を実行していく。例えば、拡大率が水平方向、垂直方向ともに２倍の時には、垂直方向、水平方向ともに１画素おきにフレームＧの画素を配置していくことになる。
【００４２】
１０６はデータ加工部を示し、フレームＧの画像情報にうまく適合するようにフレームＨの画素値に加工を施す手段である。
【００４３】
１０７は配置処理部Ｂを示し、フレーム制御部１０３で算出したフレームＧとフレームＨとの相対的なベクトル量に応じて、配置処理部Ａ１０５と同一メモリ内に配置する手段である。格納したフレーム数が３枚以上ある場合には、再びフレーム制御部１０３に戻り、新たなフレームに対して前述した同様の処理を繰り返す。但し、２回目以降の処理においては、フレームＧは固定であり、またフレームＧの画像情報は、既に配置されているため、新たに配置する必要はない。フレームＨのみが新たなフレームに更新され、前述した動きベクトル演算、データ加工、配置の各処理工程を実行することになる。
【００４４】
１０８は合成部であり、同一メモリ内に配置した複数枚の画像を合成して１枚の画像情報にする。１０９は合成した画像がまだ、所望の解像度までの内挿点の情報が埋まっていない場合に、埋まっていない内挿点の情報を補間演算により算出する補間演算部である。１１０は出力端子を示し、高解像度化した画像情報がプリンタ等に送信される。
【００４５】
図２は、本実施の形態の特徴である選択部１０２の構成を示す。
いま例として、格納部１０１では、ｍフレーム目の画像から（ｍ＋３）フレーム目の画像までの計４枚の連続した画像を格納したとする。２０１、２０２、２０３、２０４は、それぞれエッジ抽出部を示し、格納した４枚の画像情報を基に、画像中に含まれるエッジ情報を抽出する手段である。
【００４６】
図３に一般的なラプラシアンのエッジ抽出フィルタの例を示す。
いま、（ｍ＋ｓ）フレーム目（但し、０≦ｓ≦３）の画像上の座標（ｘ，ｙ）における画素値をｆs （ｘ，ｙ）、エッジ抽出処理後の値をｋs （ｘ，ｙ）とすると、図３のエッジ抽出フィルタでは以下の積和演算になる。
【００４７】
ｋs （ｘ，ｙ）＝ｆs （ｘ−１，ｙ−１）＋ｆs （ｘ，ｙ−１）＋ｆs （ｘ＋１，ｙ−１）＋ｆs （ｘ−１，ｙ）−８ｆs （ｘ，ｙ）＋ｆs （ｘ＋１，ｙ）＋ｆs （ｘ−１，ｙ＋１）＋ｆs （ｘ，ｙ＋１）＋ｆs （ｘ＋１，ｙ＋１）・・・・（６）
【００４８】
図２において、２０５、２０６、２０７、２０８はそれぞれ、エッジ強度評価部を示し、エッジ抽出部２０１〜２０４により抽出されたエッジの強度を画像全体にわたって積算する手段である。画像全体の縦画素数をＶ、横画素数をＨとすると、（ｍ＋ｓ）フレーム目のエッジ強度Ｐｓは以下のように算出する。
【００４９】
【数５】
２０９は最大エッジ強度決定部を示し、エッジ強度評価部２０５〜２０８でそれぞれ求めたＰｓが最大となるフレームｓを基準フレームとして決定する。即ち、エッジ強度という独自の評価関数を設定し、格納した複数枚の画像の中で、画像全体に渡って最もエッジの強度が大きいと評価されたフレームを選択するものである。
【００５１】
エッジの強度が大きい画像を基準フレームとして設定するということは、後述する動きベクトルを算出する時にも、また、他の対象フレームのデータ加工をする時にも有利になる。エッジ強度による評価は、格納した複数枚の中で、最も焦点がはっきりと撮影された画像であると仮定することもできる。そのため、基準フレーム以外の対象フレームの画像は、基準フレームの画質に付加価値を付けていく役割になり、最低でも基準フレーム単独以上の画質向上が保証される。
【００５２】
また、図２の構成は、説明を容易にするために、全フレームを並列に処理する例について述べたが、当然、エッジ抽出部、エッジ強度評価部は単一で、垂直に処理する構成でもよい。
また、式（７）ではｋs ’（ｘ，ｙ）の算出をｋs （ｘ，ｙ）の絶対値を用いていたが、当然、ｋs （ｘ，ｙ）の２乗を用いて演算することも可能である。
【００５３】
次に、動きベクトル演算部１０４について説明する。
動きベクトルを算出する方法としては、古くから様々な方法が提案されているが、従来方法では、画素間距離以下のベクトルの分解能がないために、合成、補間を施して低解像の動画を高解像度の静止画に変換する用途には適さない。
【００５４】
図４に本実施の形態による動きベクトル演算部１０４の詳細ブロック図を示す。図１の格納部１０１から動きベクトル演算部１０４に送信される２種の画像は、基準フレームであるフレームＧと対象フレームとなるフレームＨである。
【００５５】
図４において、ブロック化部４０１は、フレームＨの画像情報をＮ×Ｎ画素単位にブロック化する。Ｎの値は様々考えられるが、例としてＮ＝８を想定する。いま、この作成した８×８画素の注目ブロックを仮にブロックＡと称す。次に、直交変換部４０２において、ブロックＡの直交変換を演算する。直交変換の種類は限定しないが、高速で容易に演算できるアダマール変換、及びＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｆｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）で採用されているＤＣＴ（離散コサイン変換）等が一般的である。
いま、ＤＣＴを例にすると、Ｎ×Ｎ画素の２次元ＤＣＴの変換係数は、
【００５６】
【数６】
で求められる。
【００５８】
一方、基準フレームＧは、Ｍ×Ｍ’ブロック化部４０３によりＭ×Ｍ’画素単位にブロック化される。この時、Ｍ×Ｍ’画素単位のブロックは、フレームＨ内の、ブロックＡと同一座標のＮ×Ｎ画素のブロックを包括し、大小関係は、Ｍ≧Ｎ、かつＭ’≧Ｎ（但し、Ｍ＝Ｍ’＝Ｎの場合を除く）になる。いま、Ｍ＝Ｍ’＝２０と仮定する。即ち、ブロックＡと同一座標を含む２０×２０のブロックをフレームＧ内に用意することになる。
【００５９】
次に、Ｎ×Ｎブロック化部４０４により、２０×２０画素のブロック内で、ブロックＡと同サイズのＮ×Ｎ画素のブロックを作成する。ブロックの作成は、ブロックＡと同一座標からスタートしてもよいし、また、Ｍ×Ｍ’ブロックの端から順に初めてもよい。いま、フレームＧ内で作成したＮ×Ｎ画素のブロックを仮にブロックＢと称する。
【００６０】
直交変換部４０５は、作成したブロックＢをブロックＡと同様に直交変換する。当然、直交変換部４０２、４０５の直交変換は同一の変換手段でなくてはならない。直交変換係数評価部４０６は、ブロックＡ、ブロックＢの直交変換係数を基に、その変換係数の類似性を評価する。類似性の評価は、ブロックのＤＣ（直流）成分と、ＡＣ（交流）成分の主に低周波域の成分を基に、それぞれの係数の差分に、成分に応じた重み付け係数を乗じた値の和で評価する。
【００６１】
いま、説明を容易にするために、ブロックの座標を、ブロックを形成する左上の画素の座標で管理することにする（以下、この画素の座標をブロックの原点と称する）。即ち、図５に示すように、ブロックＢの原点（斜線部の画素に相当する）を（ａ，ｂ）とすると、ブロックＡとブロックＢとの類似性の評価関数は、
【００６２】
【数７】
で算出する。
【００６４】
高周波域になるほど、隣接ブロック間の変換係数の相関が低くなるため、高周波域ほど重み付け係数Ｗ（ｕ、ｖ）の値を小さく設定する。座標が空間的に近いブロック同士の低周波域の変換係数は非常に相関が高いため、式（９）では、ブロック同士の空間的な位置関係を変換係数の類似性に置き換えて評価している。また、式（９）では絶対値を用いているが、差分の２乗でも同様の評価は可能である。
【００６５】
次に、ブロック制御部４０７は、ブロックＢの原点（ａ，ｂ）を１画素移動して、新たにブロックを作成し、同様の処理を繰り返す。即ち、Ｎ＝８、Ｍ＝Ｍ’＝２０を例にすると、８×８画素のブロックは２０×２０画素のブロック中に１３×１３個作成できるため、そのブロック数分に対して繰り返し類似性を演算することになる。
【００６６】
フレームＧ内において、全てブロックＢの走査を終了すると、前述の評価関数であるＲ（ａ，ｂ）が最小になる座標（ａ’，ｂ’）を判定する。即ち、類似性Ｒ（ａ，ｂ）はブロックＡＢ間の誤差成分と見なせるため、Ｒ（ａ，ｂ）の最小値をとる時のブロックＢ（この時のブロックをブロックＢ’と称する）が、空間的にもブロックＡと最も近いブロックと見なし、ブロックＡの移動した先と判断する。
【００６７】
ただ、これだけでは従来例と同様、動きベクトルの分解能は１画素単位であり、画素間距離以下のベクトルが判定できない。そこで、本実施の形態では、画素間距離よりも短い分解能で動きベクトルを推測する。
【００６８】
以下にベクトルの推測方法を説明する。
上述の方法において、対象フレームであるフレームＨ上の注目ブロックであるブロックＡの原点を（ａ０，ｂ０）とし、また、前述したＲ（ａ，ｂ）の最小値をとるフレームＧのブロックＢ’の原点を（ａ’，ｂ’）とする。変換係数評価部４０６において、ブロックＢ’の検索は大まかな画素単位の検索であったが、今度はブロックＢ’周辺に絞った細かい距離の推測をする。
【００６９】
即ち、変換係数評価部４０６では、まず、空間的に最も近いと思われるブロックＢ’の検索、次に求めたブロックＢ’からの微小なずれ量の推測という、２段階の構戌の異なる評価を実施することになる。
【００７０】
図６は、上記２段階目の推測の動作手順を示すフローチャートである。
ステップＳ６０１（以下、ステップ略）は、ブロックＢ’の１画素左に作成したブロックと１画素右に作成したブロックの式（７）の評価関数結果をそれぞれ比較する。即ち、ブロックＢ’の原点は（ａ’、ｂ’）であるため、Ｒ（ａ’＋１，ｂ’）とＲ（ａ’−１，ｂ’）の大小を評価する。このＲ（ａ’＋１，ｂ’）、Ｒ（ａ’−１，ｂ’）については、第１段階の類似性評価の際に算出しているため、演算結果を記憶、保持しておくのが好ましい。
【００７１】
Ｓ６０１において、もし、Ｒ（ａ’＋１，ｂ’）が小さいと評価されるとＳ６０２に、また否と評価されるとＳ６０３に移動する。次にＳ６０２では、原点Ｒ（ａ’＋１，ｂ’）より構成されるブロックをブロックＣと設定し、また、Ｓ６０３では、原点Ｒ（ａ’−１，ｂ’）より構成されるブロックをブロックＣと設定する。それと同時に、Ｓ６０２では変数ｃをｃ＝１と設定し、また、Ｓ６０３では、ｃ＝−１と設定する。
【００７２】
次にＳ６０４において、今度はブロックＢ’の１画素上に作成したブロックと１画素下に作成したブロックの式（７）の評価関数結果をそれぞれ比較する。即ち、ブロックＢ’の原点は（ａ’，ｂ’）であるため、Ｒ（ａ’，ｂ’＋１）とＲ（ａ’，ｂ’−１）の大小を評価する。この類似性の評価関数に関しても、第１段階の類似性評価の際に算出しているため、演算結果を記憶、保持しておくのが好ましい。
【００７３】
Ｓ６０４において、もし、Ｒ（ａ’，ｂ’＋１）が小さいと評価されるとＳ６０５に、また否と評価されるとＳ６０６に移動する。次にＳ６０５では、原点Ｒ（ａ’，ｂ’＋１）より構成されるブロックをブロックＤと設定し、また、Ｓ６０６では、原点Ｒ（ａ’，ｂ’−１）より構成されるブロックをブロックＤと設定する。それと同時に、Ｓ６０５では、変数ｄをｄ＝１と設定し、また、Ｓ６０６ではｄ＝−１と設定する。
【００７４】
次にＳ６０７では、ブロックＡの直交変換係数中の水平方向のＡＣ基本波成分であるＦA （１，０）と、ブロックＢ’、及びブロックＣの直交変換係数中の水平方向のＡＣ基本波成分であるＦB ’（１，０）、ＦC （１，０）の３種の値の大小関係を評価する。即ち、ＦA （１，０）の値が、ＦB ’（１，０）の値とＦC （１，０）の値との間に存在するか否かを判断している。もし、存在していれば、Ｓ６０８へ、否ならＳ６０９へ移動する。
【００７５】
Ｓ６０８では、変数Ｖｘが以下の式（１０）で算出される。
Ｖｘ＝（ＦA （１，０）−ＦB ’（１，０））／（ＦC （１，０）−ＦB ’（１，０））・・・・（１０）
また、Ｓ６０９では、変数ＶｘはＶｘ＝０に設定される。
【００７６】
同様に、Ｓ６１０では、ブロックＡの直交変換係数中の垂直方向のＡＣ基本波成分であるＦA （０，１）と、ブロックＢ’及びブロックＤの直交変換係数中の水平方向のＡＣ基本波成分であるＦB ’（０，１）、ＦD （０，１）の３種の大小関係を評価する。即ち、ＦA （０，１）の値が、ＦB ’（０，１）の値とＦD （０，１）の値との間に存在するか否かを判断している。もし、存在していれば、Ｓ６１１へ、否ならＳ６１２へ移動する。
【００７７】
Ｓ６１１では、変数Ｖｙが以下の式（１１）で算出される。
Ｖｙ＝（ＦA （０，１）−ＦB ’（０，１））／（ＦD （０，１）−ＦB ’（０，１））・・・・（１１）
また、Ｓ６１２では、変数ＶｙはＶｙ＝０と設定される。
【００７８】
Ｓ６１３では、式（１０）、式（１１）により算出したＶｘ，Ｖｙを基に、ブロックＡから真に移動したと判断されるブロック（ブロックＢ”と称する）への動きベクトルＡＢ”を以下のように設定して終了する。
【００７９】
【数８】
即ち、ブロックＡからブロックＢ’への動きベクトルは、
【００８１】
【数９】
となるので、式（１２）のｃ×Ｖｘ、及びｄ×Ｖｙの項が画素間距離よりも分解能の高いベクトル成分となっている。
【００８３】
以上、動きベクトル演算部１０４について述べたが、上述したように、本実施の形態の動きベクトル演算部１０４は２段階の処理になっている。まず、空間的に最も近いと思われるブロックの検索、次に、求めたブロックからの微小なずれ量の推測である。
上述した実施の形態では、２段階とも直交変換係数を用いた推測をしているが、処理の簡略化、高速化等により、第１段階目のブロック検索は直交変換係数を用いずに、ブロック内の画素値の比較により推測する方法を用いてもよい。
【００８４】
次に、データ加工部１０６について図７を用いて説明する。
図７において、座標管理部７０１は、動きベクトル演算部１０４から算出されたベクトルに従って、対象フレームであるフレームＨのブロックが、基準フレームであるフレームＧのどの位置に相当するかを管理する。この座標管理部７０１からは、前述した式（９）の評価関数が最小であったアドレスが出力される。
【００８５】
Ｎ×Ｎブロック化部７０２は、フレームＨの画像をＮ×Ｎ画素単位でブロック化する。この手段は、前段の動きベクトル演算部１０４内部で使用したブロック（注目ブロックと称する）の画素値情報を保持していれば、改めてデータ加工部１０６内部で行う必要はない。
【００８６】
同様に、Ｎ×Ｎブロック化部７０３は、座標管理部７０１から受けたアドレスに基づいて、フレームＧのＮ×Ｎ画素単位のブロック化を実行する。この手段も前段の動きベクトル演算部１０４内部で作成、評価したブロックのうち、評価関数が最小になったブロック（誤差最小ブロックと称する）、及び誤差最小ブロックの周辺に位置するブロック（周辺ブロックと称する）の画素値情報を保持していれば、改めてデータ加工部１０６内部で行う必要はない。
【００８７】
いま、フレームＨ上の注目ブロックをブロックＡ、フレームＧ上でブロックＡに対する誤差最小ブロックをブロックＢ’、また、ブロックＢ’を基準にして水平方向の左右１画素毎にずらしてブロック化した２種のブロックのうち、評価関数が小さいと評価されたブロックをブロックＣ、同様に、ブロックＢ’を基準にして垂直方向に上下１画素毎にずらしてブロック化した２種のブロックのうち、評価関数が小さいと評価されたブロックをブロックＤとする。
【００８８】
また、ブロックＣの原点のｘ座標、及び、ブロックＤの原点のｙ座標を原点とするブロックをブロックＥとする。ブロックＥはブロックＢ’とは水平垂直ともに１画素づつずれていることになる。
【００８９】
平均値算出部７０４は、注目ブロックであるブロックＡ内の画素値の平均値を算出する手段である。ブロックＡの原点座標を（ａ０，ｂ０）とすると、ブロックＡの平均値ＴA を以下のように算出する。
【００９０】
【数１０】
平均値分離部７０５は、ブロックＡ内の各画素から、算出した平均値ＴA を減算することにより分離する手段である。分離後の値をｇH （ｘ，ｙ）とすると、以下の式（１５）で算出される。
ｇH （ｘ，ｙ）＝ｆH （ｘ，ｙ）−ＴA ・・・・（１５）
【００９２】
一方、平均値算出部７０６は、フレームＧのブロックＢ’、Ｃ、Ｄ、Ｅの各ブロックの平均値を算出する。ブロックＢ’の原点座標を（ａ’，ｂ’）とすると、各ブロックの平均値ＴB ’、ＴC 、ＴD 、ＴE はそれぞれ以下のように算出される。
【００９３】
【数１１】
但し、ｃ，ｄは図６のフローチャートの説明で述べたように、水平方向に左右１画素毎ずらしてブロック化した場合に、右方向にずらしたブロックがブロックＡとの類似性を示す評価関数結果が小さいと評価された場合にはｃ＝１、逆に左方向にずらしたブロックが評価関数結果が小さいと評価された場合にはｃ＝−１、同様に、垂直方向の比較で下方向の場合にはｄ＝１、上方向の場合にはｄ＝−１である。
【００９５】
また、ブロックＢ’、ブロックＣ、ブロックＤ、ブロックＥの４ブロックは、ブロックの重なりが大きいため、４ブロックのうち、一つのブロックのみを平均値算出して、残りの３ブロックの平均値に関しては、算出したブロックの平均値から、ブロックの非重なり画素のみを加減算して算出してもよい。
【００９６】
次に、平均値置換部７０７においては、以下の演算が行われる。
ｈH （ｘ，ｙ）＝ｇH （ｘ，ｙ）＋（１−Ｖｘ’）・（１−Ｖｙ’）・ＴB ＋Ｖｘ’・（１−Ｖｙ’）・ＴC ＋（１−Ｖｘ’）・Ｖｙ’・ＴD ＋Ｖｘ’・Ｖｙ’・ＴE ・・・・（２０）
【００９７】
ここで、Ｖｘ’、Ｖｙ’はブロックＢ’の原点（ａ’，ｂ’）から内挿点までの距離を示している。即ち、前述した式（１０）、式（１１）により算出したＶｘ、Ｖｙの座標が、所望の内挿点上に完全に合致する場合は極めて少ない。実際には、算出したＶｘ、Ｖｙの値に基づいて、それに最も距離の近い内挿点Ｖｘ’、Ｖｙ’上に内挿することになる。
【００９８】
図８にＶｘ、Ｖｙ、Ｖｘ’、Ｖｙ’の位置関係の例を図示する。●印がフレームＧの標本点、×印が原点座標（ａ’，ｂ’）から式（１０）、式（１１）により算出したＶｘ、Ｖｙだけ離れた点、○印が解像度を増加させるために、真に内挿すべき内挿点である。いま、ｃ＝１、及びｄ＝１の場合、この内挿点の座標は、（ａ’＋Ｖｘ’、ｂ’＋Ｖｙ’）となる。この内挿点がブロックＡの原点となり、配置点である。
【００９９】
式（２０）は、ブロックＡの平均値を、ブロックＢ’、ブロックＣ、ブロックＤ、ブロックＥの平均値に置換していることを意味している。しかも、置換する平均値は、ブロックＡの内挿位置に依存して、４ブロックの平均値の線形演算となっている。言い換えると、ブロックＡのＤＣ成分を基準フレーム上のブロックＢ’、ブロックＣ、ブロックＤ、ブロックＥに適合するように変更して、ブロックＡのＡＣ成分のみを利用しようとするものである。
【０１００】
以上、データ加工部１０６について述べたが、本実施の形態においては、上述した例には限らない。ブロックＢ’、ブロックＣ、ブロックＤ、ブロックＥの重なりが大きいため、算出するそれぞれの平均値は大差がない場合も考えられる。その場合には、ブロックＢ’の平均値ＴB ’のみをｇH （ｘ，ｙ）に加算する簡易的な方法も可能である。
【０１０１】
図９は、以上述べてきた、フレーム制御部１０６を中心にして動きベクトル算出、配置までの処理を含めた、特に３枚以上の複数フレームを使用した時の繰り返し処理の動作手順を示すフローチャートである。
まず始めに、Ｓ９０１により、格納したｍフレーム目から（ｍ＋ｎ）フレーム目までの（ｎ＋１）枚で、各フレーム毎にエッジ強度を評価する。そしてＳ９０２で、それらを相互比較する。
【０１０２】
続いて、Ｓ９０３で、最大のエッジ強度を有する（ｍ＋ｐ）フレーム目をフレームＧとして設定する。これが基準フレームである。次にＳ９０４では、変数ｓ、及び変数ｑを０に初期化する。次にＳ９０５で、変数ｓがｐに等しいか否かを判断する。これは現在処理しようとしているフレームが基準フレームなのか、否かを判定することになる。
【０１０３】
もし、いま処理するフレームｓが基準フレームでなければ、Ｓ９０６において、ｑが０に等しいか否かを判定する。これは、現在処理している繰り返し回数が１回目なのか否かを判定するものである。もし、ｑが０に等しければ、Ｓ９０７で、フレームＧを配置させ、Ｓ９０８で、変数ｑをカウントアップする。もし、Ｓ９０６で否と判定された場合には、処理が２回目以降と判定され、既に基準フレームであるフレームＧは配置されているため、Ｓ９０７、Ｓ９０８はジャンプする。
【０１０４】
続いて、Ｓ９０９では、フレームＧと（ｍ＋ｓ）フレーム目（フレームＨとする）との間で、動きベクトルを算出する。次に、Ｓ９１０で、フレームＨをデータ加工した後に、Ｓ９１１で、配置を行う。Ｓ９１２で、変数ｓをカウントアップした後に、Ｓ９１３で、繰り返し回数がｎ回になっているか否かを判断する。否の場合は、まだ処理していないフレームが格納されていると判断され、Ｓ９０５に戻り、他のフレームに対しても同様の処理工程を繰り返す。
格納した全てのフレームに対して配置が終了すると、１枚の画像情報に合成されて処理は完了する。
【０１０５】
以上、本実施の形態の一連の処理を説明してきたが、本発明の特徴は選択部１０２にある。そのため、動きベクトル演算部１０４、データ加工部１０６、配置処理部１０７等の内容は限定しない。動きベクトル演算は、直交変換を用いない方法でも当然可能であるし、対象フレームのデータも加工しないで、各対象フレームの画素値を配置するだけの構成も考えられる。
【０１０６】
また、式（７）のエッジ強度の評価関数はこれに限るものではない。式（７）の変形例として以下の式（２１）も考えられる。
【０１０７】
【数１２】
この場合は、エッジ抽出フィルタ後の値が、ある閾値以上になった画素数をカウントすることを意味している。式（２１）でも十分に画像全体のエッジの強度は把握できる。
また、エッジ抽出フィルタも図３に限るものではなく、よりノイズ耐性の強いフィルタを用いてもよい。
【０１０９】
また、エッジ強度の評価は、エッジ抽出フィルタを用いない方式、例えば、直交変換の高周波成分の変換係数を基に判定する方式も考えられる。その場合には、どのフレームが高周波域の電力が大きいかを評価し、最も電力が大きいと判断されたフレームを基準フレームとして設定する。
【０１１０】
また、本実施の形態では、画像の特徴量にエッジ情報を利用したが、これに限るものではなく、他の画像の特徴量を用いて評価してもよい。
【０１１１】
図１０は、本発明の第２の実施の形態による動作手順を示すフローチャートである。本実施の形態は、図１の選択部１０２による選択方法が異なっているのみで、他の各部に関しては同一である。
また、図１０のフローチャートは、ｍフレーム目から（ｍ＋ｎ）フレーム目までの（ｎ＋１）枚の画像情報を基に１枚の高解像の静止画像を作成する例を示している。
【０１１２】
Ｓ１００１は除算工程を示し、ｎの値を２で除算した場合の整数部分をｐとして代入する。実際の処理上では、ビットシフトで実現できる。続いて、Ｓ１００２で、（ｍ＋ｐ）フレーム目を基準フレームであるフレームＧとして設定する。次にＳ１００３では、変数ｓ、及び変数ｑを０に初期化する。次にＳ１００４で、変数ｓがｐに等しいか否かを判断する。これは現在処理しようとしているフレームが基準フレームなのか、否かを判定することになる。
【０１１３】
もし、いま処理するフレームＳが基準フレームでないならば、Ｓ１００５において、ｑが０か否かを判定する。これは、いま処理する回数が１回目か否かを判定するものである。ｑが０であるならば、Ｓ１００６で、フレームＧを配置させ、Ｓ１００７で、変数ｑをカウントアップする。Ｓ１００５で、否と判定された場合は、処理が２回目以降と判定され、既に基準フレームであるフレームＧは配置されているため、Ｓ１００６、Ｓ１００７はジャンプされる。
【０１１４】
続いて、Ｓ１００８では、フレームＧと（ｍ＋ｓ）フレーム目（フレームＨとする）との間で、動きベクトルを算出し、Ｓ１００９で、フレームＨをデータ加工した後に、Ｓ１０１０で、配置する。Ｓ１０１１で、変数ｓをカウントアップした後に、繰り返し回数がｎ回になっているか否かを判断する。まだ、処理していないフレームが格納されている場合には、Ｓ１００４に戻り、他のフレームに対しても同様の処理工程を繰り返す。
【０１１５】
格納した全てのフレームに対して配置が終了すると、単一の画像として合成されて処理は完了する。
以上のように、本実施の形態は、基準フレームの選択を、入力されたフレーム順により決定するのが特徴である。
【０１１６】
図１１は、５フレーム分格納した場合の基準フレームの決定を示した図である。斜線で示したフレームが基準フレームである。
格納画像が５フレーム分の場合、ｎ＝４になるので、２で除算することにより、ｐ＝２となり、（ｍ＋２）フレーム目の中間フレームが基準フレームとして設定される。この基準フレームを他の４フレームとそれぞれ比較して処理することになる。
【０１１７】
もし、格納フレーム数が偶数の場合には、ｎを２で除算した結果が非整数になるため、正しく中間にはなり得ないが、中間前後のフレームを基準フレームに設定して構わない（但し、図１０のフローチャートでは、中間より前になる）。即ち、前述した図９のフローチャートの実施の形態では、基準フレームの選択を“画像の特徴”に基づいて設定する方法であった。画像の特徴量が、最も顕著に表せる評価関数としてエッジの強度を評価した。確かに画像の特徴で選択すれば、画質的に最適な画像を基準フレームとして設定できる可能性がある。
【０１１８】
しかし、連続画像を扱うため、時間的には必ずしも最適とは言えない。そこで、図１０のフローチャートの実施の形態では、“時間的な画像の相関性”を重視して選択している。時間軸において中間の画像を用いるということは、格納画像中の各フレームと比較した場合に、画像の連続性を考えると、画像の相関性が最も高い中心的な画像と仮定することができる。即ち、時間的ずれが最小であるため、各フレームと基準画像との差異が少なくて済む。
【０１１９】
以上、本発明の実施の形態を説明したが、図９及び図１０の各フローチャートの折衷案も考えられる。即ち、画像の特徴量、及び時間軸上での位置を考慮して新たな評価関数を作成し、基準フレームを決定することも可能である。その場合には、例え時間軸上で最適であるフレームが画質的に不鮮明であった場合でも、総合的に最適な画像を選択することができる。
【０１２０】
次に本発明の他の実施の形態としての記憶媒体について説明する。
本発明の目的は、ハードウェア構成により達成することも可能であり、また、ＣＰＵとメモリとで構成されるコンピュータシステムで達成することもできる。コンピュータシステムで構成する場合、上記メモリは本発明による記憶媒体を構成する。即ち、上述した各実施の形態において説明した動作を実行するための、ソフトウェアのプログラムコードを記憶した記憶媒体をシステムや装置で用い、そのシステムや装置のＣＰＵが上記記憶媒体に格納されたプログラムコードを読み出し、実行することにより、本発明の目的を達成することができる。
【０１２１】
また、この記憶媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッピィディスク、磁気媒体、磁気カード、不揮発性メモリカード等に構成して用いてよい。
【０１２２】
従って、この記憶媒体を図１等に示したシステムや装置以外の他のシステムや装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、上記各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【０１２３】
また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、上記各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【０１２４】
【発明の効果】
以上説明したように、本発明によれば、格納した複数フレームの中から各フレームとの比較の基準となる単一の基準フレームを、画像の特徴量や時間的な相関性を基に設定することにより、ベクトル算出時の誤差の蓄積を生じず、不鮮明なフレームが存在していた場合でも問題なく良好な合成を可能にする。
【０１２５】
また、本発明によれば、従来提案されていた、１枚の低解像静止画からの高解像静止画作成の内挿、補間技術に比べて格段に高画質化した画像情報を作成することができる。
【０１２６】
さらに、 本発明によれば、ビデオカメラで撮影した低解像静止画情報から１枚の高解像静止画情報を容易に作成できるため、入出力の解像度の異なる機種間通信や、拡大変倍して高画質な画像を出力するビデオカメラ、プリンタ等を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像処理装置を示すブロック図である。
【図２】図１の選択部を示すブロック図である。
【図３】エッジ抽出フィルタの例を示す構成図である。
【図４】図１の動きベクトル演算部を示すブロック図である。
【図５】動きベクトルを説明する構成図である。
【図６】図４の変換係数評価部の動作手順を示すフローチャートである。
【図７】図１のデータ加工部を示すブロック図である。
【図８】ブロック内の配置位置を説明する構成図である。
【図９】本発明の第１の実施の形態による選択部を含めた一連の処理を示すフローチャートである。
【図１０】本発明の第２の実施の形態による選択部を含めた一連の処理を示すフローチャートである。
【図１１】基準フレームを説明する構成図である。
【図１２】従来の最近接内挿法を説明する構成図である。
【図１３】従来の共１次内挿法を説明する構成図である。
【図１４】従来の３次畳み込み内挿法を説明する構成図である。
【図１５】従来の動きベクトル算出の比較フレームを説明する構成図である。
【符号の説明】
１０２ 選択部
１０３ フレーム制御部
１０４ 動きベクトル演算部
１０５、１０７ 配置処理部
１０６ データ加工部
１０８ 合成部
１０９ 補間部
２０１〜２０４ エッジ抽出部
２０５〜２０８ エッジ強度評価部
２０９ 最大エッジ強度決定部
Claims (5)
- ｍフレーム目から（ｍ＋ｎ）フレーム目までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然数）の画像情報のエッジ強度を算出し、その算出結果に基づいて上記（ｎ＋１）枚の中から該エッジ強度が大きい第１の画像情報を選択する選択手段と、
上記第１の画像情報以外のｎ枚の画像情報について、それぞれ第１の画像情報に対する動きベクトルを演算する演算手段と、
上記演算結果に基づいて、上記（ｎ＋１）枚の画像情報を合成して一枚の画像を形成する合成手段とを備えたことを特徴とする画像処理装置。 - 上記選択手段は、画像のエッジを抽出するフィルタ手段を有し、そのフィルタリング後のエッジ抽出情報の強度に基づいて選択することを特徴とする請求項１に記載の画像処理装置。
- 上記選択手段は、上記エッジ強度に加え、上記画像情報の時間的な相関から第１の画像情報を選択することを特徴とする請求項１に記載の画像処理装置。
- 画像処理装置を制御する画像処理方法であって、
ｍフレーム目から（ｍ＋ｎ）フレーム目までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然数）の画像情報のエッジ強度を算出し、その算出結果に基づいて上記（ｎ＋１）枚の中から該エッジ強度が大きい第１の画像情報を選択する選択工程と、
上記第１の画像情報以外のｎ枚の画像情報について、それぞれ第１の画像情報に対する動きベクトルを演算する演算工程と、
上記演算結果に基づいて、上記（ｎ＋１）枚の画像情報を合成して一枚の画像を形成する合成工程とを有することを特徴とする画像処理方法。 - 画像処理装置を制御するコンピュータプログラムを記憶するコンピュータ読み取り可能な記憶媒体であって、
ｍフレーム目から（ｍ＋ｎ）フレーム目までの連続した（ｎ＋１）枚分（ｍ，ｎは任意の自然数）の画像情報のエッジ強度を算出し、その算出結果に基づいて上記（ｎ＋１）枚の中から該エッジ強度が大きい第１の画像情報を選択する選択処理と、
上記第１の画像情報以外のｎ枚の画像情報について、それぞれ第１の画像情報に対する動きベクトルを演算する演算処理と、
上記演算結果に基づいて、上記（ｎ＋１）枚の画像情報を合成して一枚の画像を形成する合成処理とをコンピュータにて実行させるコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03957999A JP4371457B2 (ja) | 1999-02-18 | 1999-02-18 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
| CA002289053A CA2289053C (en) | 1998-11-10 | 1999-11-08 | Image processing method and apparatus |
| US09/434,378 US6804419B1 (en) | 1998-11-10 | 1999-11-08 | Image processing method and apparatus |
| EP19990308897 EP1001374A3 (en) | 1998-11-10 | 1999-11-09 | Image processing method and apparatus |
| AU58374/99A AU777493B2 (en) | 1998-11-10 | 1999-11-09 | Image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03957999A JP4371457B2 (ja) | 1999-02-18 | 1999-02-18 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000244851A JP2000244851A (ja) | 2000-09-08 |
| JP2000244851A5 JP2000244851A5 (ja) | 2006-04-06 |
| JP4371457B2 true JP4371457B2 (ja) | 2009-11-25 |
Family
ID=12557008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03957999A Expired - Lifetime JP4371457B2 (ja) | 1998-11-10 | 1999-02-18 | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4371457B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4151422B2 (ja) * | 2003-01-23 | 2008-09-17 | セイコーエプソン株式会社 | 画像生成装置、画像生成方法および画像生成プログラム |
| WO2004093011A1 (ja) * | 2003-04-17 | 2004-10-28 | Seiko Epson Corporation | 複数のフレーム画像からの静止画像の生成 |
| JP4461937B2 (ja) | 2003-09-30 | 2010-05-12 | セイコーエプソン株式会社 | 低解像度の複数の画像に基づく高解像度の画像の生成 |
| US7778493B2 (en) | 2003-10-09 | 2010-08-17 | The Henry M. Jackson Foundation For The Advancement Of Military Medicine Inc. | Pixelation reconstruction for image resolution and image data transmission |
| WO2005046221A1 (ja) | 2003-11-11 | 2005-05-19 | Seiko Epson Corporation | 画像処理装置、画像処理方法、そのプログラムおよび記録媒体 |
| JP2005252426A (ja) * | 2004-03-02 | 2005-09-15 | Seiko Epson Corp | 画像データに対する画質調整制限情報を含む画像ファイルの生成 |
| JP4513357B2 (ja) * | 2004-03-02 | 2010-07-28 | セイコーエプソン株式会社 | 画像の出力に用いる出力装置に適した画像データの生成 |
| JP4429816B2 (ja) * | 2004-06-10 | 2010-03-10 | オリンパス株式会社 | 撮像装置および画像の高解像度化方法 |
| JP4151793B2 (ja) | 2004-11-15 | 2008-09-17 | オリンパス株式会社 | 撮像装置および画像の高解像化方法 |
| JP4497001B2 (ja) * | 2005-03-22 | 2010-07-07 | 株式会社ニコン | 画像処理装置、電子カメラ、および画像処理プログラム |
| JP4496537B2 (ja) * | 2005-03-24 | 2010-07-07 | カシオ計算機株式会社 | 画像合成装置および画像合成処理プログラム |
| ATE516562T1 (de) * | 2005-08-18 | 2011-07-15 | Nvidia Corp | Verfahren und system zur bildsynthese |
| DE602006020341D1 (de) | 2005-12-26 | 2011-04-07 | Nippon Kogaku Kk | Bildverarbeitungsverfahren, bildverarbeitungsprogramm, bildverarbeitungseinrichtung und bildgebungseinrichtung |
| DE102006006449A1 (de) * | 2006-02-10 | 2007-08-16 | Siemens Ag | Verfahren zum Betrieb einer Röntgendiagnostikeinrichtung zur Erzeugung hochaufgelöster Bilder |
| JP5012805B2 (ja) * | 2006-09-14 | 2012-08-29 | 株式会社ニコン | 画像処理装置、電子カメラおよび画像処理プログラム |
| JP4825093B2 (ja) * | 2006-09-20 | 2011-11-30 | 富士通株式会社 | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム |
| JP4270281B2 (ja) | 2007-01-16 | 2009-05-27 | セイコーエプソン株式会社 | 画像処理のための装置、方法、および、プログラム |
| US8264565B2 (en) | 2008-02-06 | 2012-09-11 | Panasonic Corporation | Image processing device and image processing method |
| JP2009205283A (ja) * | 2008-02-26 | 2009-09-10 | Olympus Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP4752941B2 (ja) * | 2009-03-31 | 2011-08-17 | カシオ計算機株式会社 | 画像合成装置及びプログラム |
| US20100265313A1 (en) * | 2009-04-17 | 2010-10-21 | Sony Corporation | In-camera generation of high quality composite panoramic images |
| JP4725679B2 (ja) * | 2010-04-05 | 2011-07-13 | セイコーエプソン株式会社 | 画像の出力に用いる出力装置に適した画像データの生成 |
| US9304089B2 (en) * | 2013-04-05 | 2016-04-05 | Mitutoyo Corporation | System and method for obtaining images with offset utilized for enhanced edge resolution |
| JP6562492B1 (ja) | 2019-05-16 | 2019-08-21 | 株式会社モルフォ | 画像処理装置、画像処理方法及びプログラム |
| CN112308771B (zh) * | 2019-07-31 | 2024-08-16 | 维沃移动通信有限公司 | 一种图像处理方法、装置及电子设备 |
-
1999
- 1999-02-18 JP JP03957999A patent/JP4371457B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000244851A (ja) | 2000-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4371457B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| US6804419B1 (en) | Image processing method and apparatus | |
| Sun et al. | Learned image downscaling for upscaling using content adaptive resampler | |
| US9258518B2 (en) | Method and apparatus for performing super-resolution | |
| CN109819321B (zh) | 一种视频超分辨率增强方法 | |
| JP5555706B2 (ja) | 高解像度映像獲得装置およびその方法 | |
| US7447382B2 (en) | Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation | |
| Farsiu et al. | Video-to-video dynamic super-resolution for grayscale and color sequences | |
| JP2003018398A (ja) | ピクセル画像から超解像度画像を生成する方法 | |
| EP2266095A2 (en) | Method and apparatus for super-resolution of images | |
| JPH10285602A (ja) | 映像データをエンコードするための動的なスプライト | |
| JP2009194896A (ja) | 画像処理装置及び方法並びに撮像装置 | |
| WO2011111819A1 (ja) | 画像処理装置、画像処理プログラム、および、画像を生成する方法 | |
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
| JP4250237B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP4095204B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| Koo et al. | An image resolution enhancing technique using adaptive sub-pixel interpolation for digital still camera system | |
| JP2000194845A (ja) | 画像処理装置及びその方法、及び画像処理システム | |
| JP2006209396A (ja) | 画像変換方法、装置およびプログラム、並びに、サーバークライアントシステム | |
| JP2013126123A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP6059899B2 (ja) | フレーム補間装置及びプログラム | |
| KR100570630B1 (ko) | 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법 | |
| KR101428531B1 (ko) | 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법 | |
| Jeong et al. | Training-based super-resolution algorithm using k-means clustering and detail enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060217 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070928 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090407 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090706 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090901 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
| EXPY | Cancellation because of completion of term |