JP4714062B2 - Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program - Google Patents
Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program Download PDFInfo
- Publication number
- JP4714062B2 JP4714062B2 JP2006094357A JP2006094357A JP4714062B2 JP 4714062 B2 JP4714062 B2 JP 4714062B2 JP 2006094357 A JP2006094357 A JP 2006094357A JP 2006094357 A JP2006094357 A JP 2006094357A JP 4714062 B2 JP4714062 B2 JP 4714062B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- low
- resolution
- resolution image
- conditional expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
本発明は、例えばデジタルカメラで撮像された動画像や録画済の動画像コンテンツ等の、同一被写体を撮像した低解像度のデジタル画像複数枚の組み合わせから、ボケやエリアシングの影響のない高解像度のデジタル画像を生成する技術に関する。 The present invention is a combination of a plurality of low-resolution digital images obtained by capturing the same subject, such as moving images captured by a digital camera and recorded moving image content, and has a high resolution that is not affected by blurring or aliasing. The present invention relates to a technique for generating a digital image.
一般に、テレビジョン等の表示画面におけるSDサイズからHDサイズへの変換に伴い、又はデジタルカメラにより撮像されたデジタル画像をデジタルズーム表示する等、デジタル画像を撮像された解像度よりも高い解像度を持つ表示デバイスに表示させるために、画像を拡大する技術の需要がある。公知な画像を拡大する手法として、線形内挿法などの補間方法が用いられている。しかし、これらの補間方法には、出力される高解像度画像にボケやエリアシングが発生するという問題が発生している。そこで、同一被写体を撮影した複数枚の低解像度画像と撮像過程のモデルを用いて、ボケやエリアシングの無い高解像度画像を生成する手法が幾つか提案されている。 In general, a display device having a resolution higher than the resolution at which the digital image was captured, such as a digital zoom display of a digital image captured by a digital camera, in accordance with conversion from an SD size to an HD size on a display screen of a television or the like Therefore, there is a demand for a technique for enlarging an image for display. As a known method for enlarging an image, an interpolation method such as a linear interpolation method is used. However, these interpolation methods have a problem that blur and aliasing occur in the output high-resolution image. Thus, several methods have been proposed for generating a high-resolution image without blurring or aliasing using a plurality of low-resolution images obtained by photographing the same subject and an imaging process model.
このような手法の一つとして、例えば、非特許文献1には、低解像度画像のうちの一枚(基準画像)を線形内挿などで拡大して、出力高解像度画像と同じ解像度を持つ初期画像を生成し、その初期画像を修正して出力高解像度画像を得る手法が提案されている。出力高解像度画像が入力された複数枚の低解像度画像及び撮像過程のモデルと矛盾しないために必要な条件は、デジタルカメラ等の撮像装置の点広がり関数などのパラメータや動きベクトルを用いて、条件式の形で得ることができる。
As one of such techniques, for example, in Non-Patent
また、デジタル画像の画素値は一定のダイナミックレンジの範囲内とする等、画像に関する事前知識も条件式として導入されることがある。非特許文献1の手法では、POCS(Projection Onto Convex Sets)を用いて、前述した全ての条件式を満たすように初期画像を修正する。具体的には、複数の条件式の中から一つを選び、その条件式を満たすように初期画像を修正するという操作を複数の条件式それぞれに対して逐次的に行う。このような修正処理により、初期画像を複数の条件式の共通の解に近づけることができ、複数枚の低解像度画像及び撮像過程のモデルと矛盾しない出力高解像度画像を得ることができる。
前述した非特許文献1の手法は、POCSを用いて、条件式を満たすように初期画像を修正する技術である。しかし、条件式を得るために用いたパラメータが大きな誤差を含んでいる若しくは、利用した事前知識が実際の画像に合致していない場合には、それらから算出された条件式に従うように初期画像を修正すると、出力高解像度画像上にノイズ(アーチファクト)が発生する虞がある。
The technique of Non-Patent
また、このノイズを解決するものとして、例えば、非特許文献2には、アーチファクトを抑えるため、動きベクトルの中から誤差の大きいものを排除する手法が提案されている。具体的には、まず、被写体の色が入力された複数枚の低解像度画像全てにおいて変化しないものと仮定する。次に、動きベクトルによって対応付けられた複数の低解像度画像の2つの画素の画素値の差が閾値以上の動きベクトルから得られた条件式は、初期画像の修正には用いないという手法である。このような手法によって、極端に誤差の大きいパラメータから得られた条件式は、修正に用いないように排除することができるが、誤差の全く無い条件式のみを残すことは難しい。
Further, as a technique for solving this noise, for example, Non-Patent
さらに、単純には十分小さい誤差を持つパラメータから得られた条件式による初期画像の修正の後に、大きな誤差を持つパラメータから得られた条件式による初期画像の修正を行うと、出力高解像度画像の画質は、その逆の順で行った場合より低下する。このようにPOCSで得られる出力高解像度画像は条件式の選択順序によって変化するが、画質を高めるための条件式の選択順序の最適化方法は提案されていなかった。このように、従来提案されている技術には画質を高めるための条件式の選択順序の最適化がなされていないという問題があった。 Furthermore, if the initial image is corrected by the conditional expression obtained from the parameter having a large error after the initial image is corrected by the conditional expression obtained from the parameter having a sufficiently small error, the output high-resolution image The image quality is lower than that in the reverse order. As described above, the output high-resolution image obtained by POCS varies depending on the selection order of conditional expressions, but a method for optimizing the selection order of conditional expressions for improving image quality has not been proposed. As described above, the conventionally proposed technique has a problem that the selection order of the conditional expressions for improving the image quality is not optimized.
本発明は、上記従来技術の問題点を解決するためになされたものであって、条件式を求める際のパラメータに信頼度を付与し、それに従って条件式を順序付けを最適化することより、出力高解像度画像上のアーチファクトを抑制し画質を高めることを可能とする画像拡大装置を提供することを目的とする。 The present invention has been made in order to solve the above-described problems of the prior art, and adds reliability to parameters when obtaining conditional expressions, and optimizes the ordering of conditional expressions accordingly, thereby providing an output. An object of the present invention is to provide an image enlargement apparatus that can suppress artifacts on a high-resolution image and improve image quality.
本発明は、予め設定された複数の条件式のそれぞれの信頼度を順序付けて、信頼度の低い条件式による修正から信頼度の高い条件式による修正に至ることにより、高解像度化の画像修正の効果より高める画像拡大装置、その画像拡大方法及びその画像拡大プログラムを記録した記録媒体を提供する。 In the present invention, the reliability of each of a plurality of preset conditional expressions is ordered, and from the correction by the conditional expression with low reliability to the correction by the conditional expression with high reliability, the image correction with high resolution can be performed. An image enlarging apparatus that enhances the effect, an image enlarging method thereof, and a recording medium recording the image enlarging program are provided.
本発明の画像拡大装置は、複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも1枚の出力高解像度画像を生成する画像拡大装置であって、前記複数枚の低解像度画像を取得する画像入力部と、前記低解像度画像と撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を求める条件式算出部と、前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けする順序設定部と、前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する出力画像生成部とを備える。 The image enlarging apparatus of the present invention is an image enlarging apparatus that generates at least one output high-resolution image having a higher resolution than the low-resolution image from a plurality of low-resolution images, the plurality of low-resolution images An image input unit for obtaining a plurality of conditional expressions required to prevent a contradiction between the low resolution image, the imaging process model, and the output high resolution image, and the plurality of conditional expressions An order setting unit that assigns a reliability expressed by a numerical value to each of the conditional expressions and orders the conditional expressions to which the high reliability is provided from the rear of the order, and an initial image from the low resolution image An output image generation unit that generates and generates an output high-resolution image by sequentially modifying the initial image so as to satisfy the conditional expression according to the ordering.
さらに、複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも1枚の出力高解像度画像を生成する画像拡大方法であって、前記複数枚の低解像度画像を取得し、取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出し、前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行い、前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する画像拡大方法を提供する。 Further, an image enlargement method for generating at least one output high-resolution image having a higher resolution than the low-resolution image from a plurality of low-resolution images, wherein the plurality of low-resolution images are acquired and acquired A plurality of conditional expressions necessary to prevent a contradiction between the low-resolution image, the imaging process model, and the output high-resolution image are calculated, and each of the plurality of conditional expressions is represented by a numerical value. Ordering is performed so that the conditional expression to which the high reliability is given is arranged from the rear of the order, an initial image is generated from the low-resolution image, and the conditional expression is satisfied according to the ordering Provided is an image enlargement method for generating an output high-resolution image by sequentially modifying the initial image.
また、複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも1枚の出力高解像度画像を生成する画像拡大方法の手順を記録する記録媒体であって、前記複数枚の低解像度画像を取得する第1の手順と、取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出する手順と、前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行う手順と、前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する手順とをプログラムとして記録する記録媒体を提供する。 A recording medium for recording a procedure of an image enlargement method for generating at least one output high-resolution image having a higher resolution than the low-resolution image from a plurality of low-resolution images, wherein the plurality of low-resolution images A first procedure for acquiring an image, a procedure for calculating a plurality of conditional expressions necessary to prevent inconsistency between the acquired low-resolution image, a model of an imaging process, and the output high-resolution image; Providing a reliability represented by a numerical value to each of the plurality of conditional expressions, and performing an ordering so that the conditional expressions provided with a high reliability are arranged from the rear of the order, and starting from the low-resolution image There is provided a recording medium for generating a program and recording a procedure for generating an output high-resolution image by sequentially modifying the initial image so as to satisfy the conditional expression according to the ordering.
本発明の画像拡大装置及びその画像拡大方法によれば、誤差の大きい動きベクトルから得られた条件式によって生成されたアーチファクトを誤差の小さい動きベクトルから得られた条件式による修正で抑制し、出力高解像度画像の画質を高めることが可能になる。本発明の画像拡大方法を記録する記録媒体により、汎用のコンピュータ装置に画像拡大プログラムをインストールして駐在又は適宜記憶させて、画像拡大を実施することができる。 According to the image enlarging apparatus and the image enlarging method of the present invention, an artifact generated by a conditional expression obtained from a motion vector having a large error is suppressed by correction by a conditional expression obtained from a motion vector having a small error, and output. It becomes possible to improve the image quality of high-resolution images. With the recording medium for recording the image enlarging method of the present invention, the image enlarging program can be installed in a general-purpose computer apparatus and stationed or stored as appropriate to perform image enlarging.
図面を参照して本発明の実施形態について詳細に説明する。
図1は、本発明の一実施形態に係わる画像拡大装置の概念的な構成を示すブロック図である。図3(a)は、本実施形態の画像拡大装置を撮像デバイスに組み込んだ構成例を示し、図3(b)は、本実施形態の画像拡大装置を表示装置に組み込んだ構成例を示す図である。尚、本実施形態も含め以下の各実施形態を説明するにあたり、理解しやすくするために、画像は全てグレースケールとする。別の色空間を用いる場合は、例えば輝度と色差、RGBなど個別の色成分ごとに処理を行えばよい。また、計算量の軽減のため、輝度成分を本手法で拡大し、残りの色成分は線形補間等の計算量の少ない手法で処理しても良い。
Embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a conceptual configuration of an image enlargement apparatus according to an embodiment of the present invention. FIG. 3A shows a configuration example in which the image enlargement apparatus of the present embodiment is incorporated in an imaging device, and FIG. 3B shows a configuration example in which the image enlargement apparatus of the present embodiment is incorporated in a display device. It is. In the following description of each embodiment including this embodiment, all the images are assumed to be in gray scale for easy understanding. When another color space is used, for example, processing may be performed for each individual color component such as luminance, color difference, and RGB. Further, in order to reduce the calculation amount, the luminance component may be enlarged by this method, and the remaining color components may be processed by a method having a small calculation amount such as linear interpolation.
本実施形態の画像拡大装置10は、画像入力部1と、条件式算出部2と、順序設定部3と、出力画像生成部4とで構成される。
図3(a)に示すように、本実施形態の画像拡大装置10は、デジタルビデオカメラ等の撮像装置から出力される低解像度画像に対応することができる。そのシステム構成は、カメラ等の撮像装置11から得られるフレーム画像(低解像度画像)を本実施形態の画像拡大装置10に入力し、その出力(出力高解像度画像)をハードディスク(HDD)やディジタルビデオディスク(DVD)等の記録媒体13に記録させる、若しくは、その出力を液晶ディスプレイ等の表示装置(又は、提示装置)14に表示させる。
The
As shown in FIG. 3A, the
他にも図3(b)に示すように、本実施形態の画像拡大装置10は、撮像装置以外の入力機器又は画像データが記録された記録媒体から出力されるフレーム画像(低解像度画像)に対応することができる。そのシステムとしては、例えば、テレビジョンやHDDレコーダー等の機器に適用できる。その構成は、外部撮像装置15で得られた映像を放送波を通じて受信するチューナー16から出力されたフレーム画像(低解像度画像)又は、既に画像が記録されるDVD等の記録媒体17から読み出されたフレーム画像(低解像度画像)を、本発明の画像拡大装置10に入力し、拡大した出力(出力高解像度画像)をディスプレイ19や記録装置内に設けられた又は着脱自在に装着された他の記録媒体20に出力される。
In addition, as shown in FIG. 3B, the
次に図1及び図2を参照して、本発明の実施形態に係わる画像拡大装置の動作について説明する。尚、図2は本発明の実施形態に係わる画像拡大装置の動作を説明するためのフローチャートである。 Next, the operation of the image enlargement apparatus according to the embodiment of the present invention will be described with reference to FIGS. FIG. 2 is a flowchart for explaining the operation of the image enlargement apparatus according to the embodiment of the present invention.
まず、画像入力部1は予め定めた枚数の低解像度画像を、条件式算出部2と、順序設定部3に出力する(ステップS1)。ここでは、高解像度化される低解像度画像は、例えば連続する4フレームの画像とする。出力された低解像度画像の枚数は、例えば画像を縦横2倍に拡大するならば少なくとも4枚とするなど、低解像度画像の画素数の総和(又は画素数による画面面積)が出力高解像度画像の画素数(又は画素数による画面面積)以上となる枚数とすることが望ましい。さらに、既存のシーン検出などのアルゴリズムを用い、出力される低解像度画像全てに同一の被写体や背景が映っているような低解像度画像を選ぶことが望ましい。
First, the
次に条件式算出部2は入力された低解像度画像から、後段の出力画像生成部4でPOCSによる出力高解像度画像の生成に用いられる条件式を求める(ステップS2)。
Next, the conditional
ここで、条件式算出部2について説明する。
図4には、条件式算出部2の構成を示す。この条件式算出部2は、基準画像選定部21、フレーム間対応点検出部22、マッピング検出部23及び条件式算出部24により構成される。この構成において、基準画像選定部21は、入力された複数枚の低解像度画像から1枚を選択し、動きベクトルの基準とする画像(基準画像)とする。フレーム間対応点検出部22は、動きベクトルを用いて低解像度画像上の各点と基準画像上の点の対応付け(フレーム間対応点)を求める。
Here, the conditional
FIG. 4 shows the configuration of the conditional
さらにマッピング検出部23は、フレーム間対応点検出部22で得られたフレーム間対応点と撮像装置11若しくは、外部撮像装置15の点広がり関数とユーザーが与える拡大率から、低解像度画像の各画素と出力高解像度画像の部分領域の対応付け(マッピング)を求める。条件式算出部24は、マッピング検出部23で得られたマッピングから、後段の出力画像生成部4で用いられる条件式を出力する。
このような構成における各構成部の動作について詳しく説明する。
基準画像選定部21は例えば、5枚の連続して撮像された低解像度画像p1〜p5が入力された場合には、その中間の時刻に相当する低解像度画像p3を選ぶ。但し、ユーザーが特定の時刻に得られた画像を拡大したい場合は、その時刻に得られたフレーム画像を基準画像とすればよい。
Further, the
The operation of each component in such a configuration will be described in detail.
For example, when five consecutively captured low resolution images p1 to p5 are input, the reference
次に、フレーム間対応点検出部22の動作について説明する。
フレーム間対応点検出部22では、基準画像と、他の1枚の低解像度画像との間の動きベクトルを用いて、基準画像以外の低解像度画像の各画素を基準画像上の1点に対応付ける。例えば、図5(a)には、低解像度画像31における画素33を示し、図5(b)には、基準画像32の画素34に対して、横方向に0.5ピクセル(pixel)の動きベクトルの差を持つ低解像度画像31の各画素33を基準画像32上に対応付けて配置した位置関係を示している。
Next, the operation of the interframe corresponding
The inter-frame corresponding
次にマッピング検出部23の動作について説明する。
マッピング検出部23において、まず、全低解像度画像の全画素毎に出力高解像度画像上の1点にそれぞれ対応付ける。ここで、図6(a)を基準画像として、図6(b)には、基準画像を縦横2倍に拡大した拡大画像における画素の対応付けの一例を示す。
Next, the operation of the
In the
基準画像41の画素43は、出力高解像度画像42上で画面左上端からの相対位置が同じである点44に対応付けられる。基準画像以外の画像の各画素も基準画像上の点に対応付けられているため、画素43と同様に出力高解像度画像上のいずれかの点として対応付けることができる。
The
次に対応付けた点を中心とした部分領域45を設定する。部分領域45の形状は拡大率を考慮して決定する、例えば拡大率が縦横2倍の場合は、各辺の長さが2ピクセルの正方形となる。図6(a)の低解像度画像上の画素43であれば、図6(b)に示す出力高解像度画像上の部分領域45が対応付けられる。
Next, a
また前述した撮像装置11若しくは外部撮像装置15の点広がり関数が既知であれば、そのパラメータに応じて部分領域のサイズをさらに拡大させることが望ましい。例えば、拡大率が縦横2倍で前記撮像装置11若しくは外部撮像装置15の点広がり関数が標準偏差σのガウス関数であった場合、部分領域のサイズを縦横2(1+3σ)ピクセルにするというように、標準偏差を考慮することも可能である。
If the point spread function of the
また、前記撮像装置11若しくは外部撮像装置15の点広がり関数が既知で無い場合、ユーザーが任意の点広がり関数を仮定することも可能である。例えば、点広がり関数に対してガウス関数を仮定し、その分散を変えていくつかのサンプル映像を拡大し、主観評価の結果が最も良好であったものを採用する等の方法がある。
In addition, when the point spread function of the
次に、条件式算出部24の動作について説明する。
以後の説明において、出力高解像度画像を画素値を一列に並べた列ベクトル
Next, the operation of the conditional
In the following description, a column vector in which output high-resolution images are arranged in a column of pixel values
として表す。また、出力高解像度画像の画素数をimaxと表記する。低解像度画像は、各画像の画素を並べたベクトルを連結した列ベクトルyで表す。またyの要素数すなわち低解像度画像の画素の合計数をjmaxと表記する。xとyの関係は、 Represent as Further, the number of pixels of the output high resolution image is expressed as imax. The low resolution image is represented by a column vector y obtained by connecting vectors in which pixels of each image are arranged. The number of elements of y, that is, the total number of pixels of the low-resolution image is expressed as jmax. The relationship between x and y is
の形の条件式(1)で記述できる。wij の値は、マッピング検出部23でxiがyjに対応付けられていなければ、“0”とする。これ以外の場合は、マッピング検出部23で対応付けられた領域内におけるwijの値は、全て等しく且つ、wijの総和が1となるように設定する。例えば、図6(b)に示した例においては、出力高解像度画像の領域45内の画素44(画像41の画素43に相当する)の周囲に均等な距離にある4つの各画素にかかる係数は、1/4=0.25となり、それ以外の係数は“0”となる。さらに撮像装置11若しくは外部撮像装置15の点広がり関数が既知である場合、若しくは何らかの点広がり関数を仮定した場合は、その情報をwijの値に反映させることができる。例えば、画像の拡大率が2倍で点広がり関数が標準偏差σのガウス関数であった場合wijの値は、原点を中心とした縦横2ピクセルの範囲で“0.25”となり、それ以外の範囲で“0”をとる関数と、標準偏差σのガウス関数の畳み込みから計算できる。
It can be described by conditional expression (1) of the form The value of wij is set to “0” if xi is not associated with yj in the
また同じjに関する係数wijを並べた行ベクトルをwjと表記すると条件式(1)は、 If a row vector in which coefficients wij related to the same j are arranged is expressed as wj, the conditional expression (1) is
の条件式(2)となる。ここでδjは、例えば、0〜0.5程度の値とする。以後、画素yjに関する条件式を「条件式j」と称し、また、全てのjに対する条件式jをまとめて、「撮像モデルによる条件式」と称する。尚、条件式算出部24では、撮像モデルによる条件式とは別の条件式を作成することが可能である。例えばデジタル画像の画素値は0〜255の範囲であることが多いため、
Conditional expression (2). Here, δj is set to a value of about 0 to 0.5, for example. Hereinafter, the conditional expression relating to the pixel yj is referred to as “conditional expression j”, and the conditional expressions j for all j are collectively referred to as “conditional expressions based on the imaging model”. In the conditional
といった条件式(3)を作成することができる。このような条件式を以後、「事前知識による条件式」と称する。 Conditional expression (3) can be created. Such conditional expressions are hereinafter referred to as “conditional expressions based on prior knowledge”.
以上のようにして、図1に示す条件式算出部2から出力画像生成部4で利用する条件式が得られる。以後、撮像モデルによる条件式の総数と、事前知識による条件式の総数の和をJと表記する。また、事前知識による条件式にはjmax以上のID番号が付与されているものとする。
As described above, the conditional expression used in the output
本実施形態においては、以後、これらの条件式の組を「撮像過程のモデル」と称する。また、出力高解像度画像の画素値即ち、xが撮像過程のモデルをなす条件式のいずれかを満たしていない状態を、「撮像過程のモデルと出力高解像度画像の間に矛盾がある状態」と称する。条件式は、画素値は常に一定のダイナミックレンジ内にあるとするものも含む。 In the present embodiment, a set of these conditional expressions is hereinafter referred to as an “imaging process model”. In addition, the pixel value of the output high-resolution image, that is, a state where x does not satisfy any of the conditional expressions forming the imaging process model is referred to as “a state where there is a contradiction between the imaging process model and the output high-resolution image”. Called. The conditional expression includes one in which the pixel value is always within a certain dynamic range.
また、矛盾とは xが「撮像過程のモデル」をなす条件式のうち、ひとつ以上を満たしていないことを意味する。矛盾が生じていない場合には、wijを構成要素とする行列wとxをかけて得られるベクトルy2の各要素と、もとのyの各要素の差はδjより小さくなる。δjの値を0〜0.5程度の値に設定した場合は、y2はyとほとんど同じ画像となる。しかし矛盾が生じている場合には、y2はyと異なる画像となる。 Contradiction means that x does not satisfy one or more of the conditional expressions forming the “imaging process model”. When no contradiction occurs, the difference between each element of the vector y2 obtained by multiplying the matrix w and x having wij as a component and each element of the original y is smaller than δj. When the value of δj is set to a value of about 0 to 0.5, y2 is almost the same image as y. However, when there is a contradiction, y2 is an image different from y.
次に順序設定部3は、条件式算出部2で得られた条件式に順序付けを行う(ステップS3)。図7には、この順序設定部3の一構成例を示す。
この構成において、信頼度算出部51は、条件式算出部2で得られたそれぞれの条件式に対して、大小の関係が分かる数値で表される信頼度を付与する。信頼度は、フレーム間対応点検出ステップで対応付けられた低解像度画像内の2点の画素値の差によって決定される。順序設定部52は、信頼度算出部51で得られた信頼度に従って、条件式算出部2で得られた条件式に順序を設定する。まず、撮像モデルによる条件式の順序付けについて述べる。信頼度の設定法は、少なくとも4つの手法がある。
Next, the
In this configuration, the
第1の手法として、画像拡大装置10の信頼度設定部51では、条件式jの信頼度を、j番目の画素の画素値yjと、基準画像上のj番目の画素が対応付けられた点の画素値yj’との差dj(dj=|yj−yj’|)が大きいほど小さな値に設定する。この設定により、被写体の異なる色を持つ領域同士を対応付けるという誤ったフレーム間対応点の信頼度を低くする。即ち、信頼度はフレーム間対応点検出で対応付けられた低解像度画像中の2点の画素値の差によって決定される。
As a first method, in the
第2の手法として、画像拡大装置10の信頼度設定部51では、条件式jの信頼度を、j番目の画素が属する低解像度画像の撮像時刻と基準画像の撮像時刻の差が大きいほど小さな値に設定する。被写体は、経時変化即ち、時間が経過するほど変形や変色を起こす可能性が高くなるたため、撮像時刻に近い時間の情報に対してより高い信頼度を与える。即ち、信頼度は、フレーム間対応点を求める際に利用した低解像度画像の撮像時刻の差によって決定される。
As a second method, in the
第3の手法として、画像拡大装置10の信頼度設定部51では、条件式jの信頼度を、j番目の画素が属する低解像度画像の部分領域のエッジ強度が小さいほど小さい値に設定する。このエッジ強度の強さにより設定することによって、正確に動きベクトルを求めにくい平坦な領域(同じ輝度値)に対する条件式の信頼度を下げている。即ち、信頼度は低解像度画像の部分領域が持つエッジ強度によって決定される。
As a third technique, the
第4の手法として、画像拡大装置の信頼度設定部では、条件式jの信頼度を、j番目の画素が属する低解像度画像の色分布と基準画像の色分布の差が大きいほど小さい値に設定する。この差分による設定により、例えばフリッカ等で、画面全体の色分布が変わってしまった場合などに対処することが可能となる。即ち、信頼度はフレーム間対応点を求める際に利用した低解像度画像の色分布の差によって決定される。 As a fourth method, in the reliability setting unit of the image enlargement apparatus, the reliability of the conditional expression j is set to a smaller value as the difference between the color distribution of the low resolution image to which the jth pixel belongs and the color distribution of the reference image is larger. Set. This setting based on the difference makes it possible to cope with a case where the color distribution of the entire screen has changed due to, for example, flicker. That is, the reliability is determined by the difference in the color distribution of the low-resolution image used when obtaining the inter-frame corresponding point.
これらの4つの手法による信頼度は、重み付け和等の形で併せて利用することも可能である。また、事前知識による条件式については、撮像モデルによる条件式に与えた信頼度の大きさを考慮して人手で信頼度を付与する。例えば、画素値のダイナミックレンジは、常に0〜255の範囲内であると仮定するならば、条件式(3)を用いて、撮像モデルによる条件式に与えた信頼度の最大値より大きい信頼度を付与すればよい。 The reliability by these four methods can also be used in the form of a weighted sum or the like. In addition, regarding the conditional expression based on prior knowledge, the degree of reliability given to the conditional expression based on the imaging model is given manually and the reliability is manually assigned. For example, if it is assumed that the dynamic range of the pixel value is always in the range of 0 to 255, the reliability is greater than the maximum value of the reliability given to the conditional expression by the imaging model using the conditional expression (3). Can be given.
以後、順序設定部3で条件式jに付与された信頼度をrjと記述する。なおここで、非特許文献2に記載されるように、閾値処理を用いて信頼度rjが極端に低い条件式を排除してもよい。
Hereinafter, the reliability given to the conditional expression j by the
順序設定部52では、信頼度算出部51で設定された信頼度に応じて条件式に順序をつける。すなわち、Neq個の番号を格納できる1次元配列を準備し、その中に0〜Jの番号を格納する。その際、全ての条件式の番号(0〜J)が1回以上配列の中に出現するように設定し、また、より大きな信頼度を持つ条件式の番号が配列の後方に配置されるようにする。つまり、信頼度の低いものから後方に行くに従い高くなるように順に並べている。
The
具体的な順序設定方法を例えば、3つの例について説明する。
第1の順序設定方法は、Neq=Jとし、得られたJ個の条件式を信頼度rjが小さい順に1次元配列に格納する方法である。
For example, three examples of the order setting method will be described.
The first order setting method is a method of setting Neq = J and storing the obtained J conditional expressions in a one-dimensional array in ascending order of reliability rj.
第2の順序設定方法は、まず低解像度画像の撮像時刻や色分布を用いて低解像度画像ごとに信頼度を付与する。また、信頼度が小さい順に番号f(f=0,…,F-1)を付与する。次に低解像度画像ごとに動きベクトルの誤差による信頼度を求め、画像ごとに第1の順序設定方法若しくは従来手法で条件式を並べた条件式列Cfを作成する。また、事前知識による条件式は全てまとめてCFとする。最後に条件式列をC0, C1, C2, … CF の順で並べる。 In the second order setting method, first, reliability is assigned to each low resolution image using the imaging time and color distribution of the low resolution image. Also, numbers f (f = 0,..., F−1) are assigned in ascending order of reliability. Next, the reliability based on the motion vector error is obtained for each low-resolution image, and a conditional expression sequence Cf in which conditional expressions are arranged for each image by the first order setting method or the conventional method is created. All conditional expressions based on prior knowledge are collectively referred to as CF. Finally, the conditional expression sequence is arranged in the order of C0, C1, C2,.
前述した第1の順序設定方法においては、出力高解像度画像の特定の部分領域に関する条件式が全て前方に配置される。その前方の条件式により修正された結果が、後方に配置された条件式による修正で破壊されると、出力高解像度画像中に周囲との一貫性を欠く領域が出現する可能性があるが、第2の順序設定方法では、低解像度画像毎ごとに条件式をまとめることで、その影響を排除している。 In the first order setting method described above, all conditional expressions relating to a specific partial region of the output high-resolution image are arranged in front. If the result corrected by the conditional expression in front of it is destroyed by the correction by the conditional expression placed behind, there may be a region that is inconsistent with the surroundings in the output high-resolution image. In the second order setting method, the conditional expressions are collected for each low resolution image to eliminate the influence.
第3の順序設定方法は、第2の順序設定方法と同様の手順でCfを作成した後、条件式列をC0, CF-1, C1, CF-1, C2, CF-1, …,CF-2, CF-1, CFの順で並べる。第1、第2の順序設定法に比べ修正回数は造作するが、信頼度の低い画像から得られた条件式による修正の直後に、信頼度が最も高い画像による修正を行うため、アーチファクトの抑制効果がより強くなる。 In the third order setting method, Cf is created in the same procedure as the second order setting method, and then the conditional expression sequence is changed to C0, CF-1, C1, CF-1, C2, CF-1,. Arrange in the order of -2, CF-1, and CF. Compared to the first and second order setting methods, the number of corrections is made, but the correction with the image with the highest reliability is performed immediately after the correction with the conditional expression obtained from the image with low reliability, so that the artifacts are suppressed. The effect becomes stronger.
前述した3つの手法では、CFを条件式列の最後に配置したが、CFの配置は、ヒューリスティックに適宜、人手で決定してもよい。 In the three methods described above, CF is arranged at the end of the conditional expression sequence. However, the arrangement of CF may be determined heuristically and manually.
次に、出力画像生成部4では、出力する高解像度画像を生成する。図8には、出力画像生成部4の構成例を示し、図9には、その処理手順を示す。
この出力画像生成部4は、処理結果を格納する処理結果格納バッファ64と、条件式算出部2で得られた条件式を格納する条件式格納バッファ62と、順序設定部で得られた条件式の順序を格納する順序格納バッファ61との3つのバッファを備えている。処理結果格納バッファ64にはまず、基準画像を線形内挿法等で出力高解像度画像と同じ解像度に拡大した画像が初期画像として格納される(ステップS11)。
Next, the output
The output
条件式格納バッファ62には、条件式(1)の情報が格納される。また、順序格納バッファ61には順序設定部3で設定された条件式の順序が格納される。出力画像生成部4は、カウンタが初期化(修正実施回数N=0,nSkip=0)された後(ステップS12)、まず、順序格納バッファ61の先頭から順に条件式の番号Xを読み出す(ステップS13)。次に、番号Xに対応する条件式Xを条件式格納バッファ62から読み出す(ステップS14)。さらに、処理結果格納バッファ64に蓄積された画像が条件式Xを満たしているか否かを判定する(ステップS15)。この判定において、処理結果格納バッファ64中の画像が条件式Xを満たしていない場合には(NO)、修正を行う(ステップS16)。一方、処理結果格納バッファ64中の画像が既に条件式Xを満たしている場合には(YES)、その回数nSkipに対して1を増加させるインクリメント処理を行う(ステップS17)。前記ステップS16における画像の修正は、非特許文献1,2におけるPOCSを用いた処理と同等な処理を行う。
The conditional
前記ステップS13以降のステップについて詳細に説明する。出力高解像度画像はimax次元の実数ベクトルが張る空間中の1点として表すことができる。また、画素yj関する条件式jを満たす画像は、imax次元の実ベクトルが張る空間の中で凸集合(Convex Set)をなし、jmax個の凸集合の積集合中の点が、全ての条件式を満たす望ましい出力高解像度画像となる。POCSはjmax個の凸集合の中から一つを選び、選ばれた凸集合の内部の点に初期画像を写像(Projection)する操作を繰り返すことで、最終的な出力高解像度画像を得ることができる。 The steps after step S13 will be described in detail. The output high-resolution image can be represented as one point in the space spanned by an imax-dimensional real vector. An image satisfying conditional expression j relating to pixel yj forms a convex set (Convex Set) in a space spanned by an imax-dimensional real vector, and points in the intersection set of jmax convex sets are all conditional expressions. A desirable output high resolution image satisfying POCS can select one of the jmax convex sets and repeat the operation of projecting the initial image to a point inside the selected convex set to obtain the final output high-resolution image. it can.
まず、前記ステップS13,S14により、jmax個の条件式の中から1つの式条件式Xを選ぶ。次に、処理結果格納バッファ64に格納されている画像x’と撮像モデルから得られる低解像度画像の画素値と、実際の低解像度画像の画素値の差εXを
First, in step S13 and S14, one conditional expression X is selected from jmax conditional expressions. Next, the difference εX between the pixel value of the low-resolution image obtained from the image x ′ and the imaging model stored in the processing
として求める。前記ステップS15の判定において、εXの絶対値がδXより小さければ、条件式Xは満たされていると判定され、前記ステップS16に移行する。一方、εXの絶対値がδXより大きければ、条件式Xは満たされていないと判定され、前記ステップS17に移行する。これらのステップS16,S17は、 Asking. If it is determined in step S15 that the absolute value of εX is smaller than δX, it is determined that the conditional expression X is satisfied, and the process proceeds to step S16. On the other hand, if the absolute value of εX is larger than δX, it is determined that the conditional expression X is not satisfied, and the routine goes to Step S17. These steps S16, S17 are:
となる画像x”で処理結果格納バッファ64を上書きすることと等価である。前記式(4)の1段目と3段目が、図7に示したステップS16に、2段目が図7に示したステップS17の処理に相当する。δXの値は、例えば条件式算出部24で述べたように、0〜0.5程度の範囲でユーザーが指定する。
Is equivalent to overwriting the processing
次に図9のフローチャートに戻り説明する。順序格納バッファ61の終端の値を読み出し、修正が施された後に、修正実施回数Nに1を加えてインクリメント処理を行い(ステップS18)、Nが条件式格納バッファの要素数を越えたか否かを判定する(ステップS19)。この判定で、要素数がNを越えていなければ(NO)、ステップS13に戻り、再度条件式を取得して処理を同様に行う。一方、要素数がNを越えていたならば(YES)、終了判定に移行する(ステップS20)。
Next, returning to the flowchart of FIG. After the end value of the
この終了判定の条件としては、例えば3つの方法を取ることができる。
まず、第1の判定方法として、処理結果格納バッファ64中の画像が全ての条件式を満たしているか、即ちnSkipとjmaxの値が等しいか否かで判定することができる。
For example, three methods can be used as the condition for the end determination.
First, as a first determination method, it is possible to determine whether an image in the processing
第2の判定方法として、前記ステップS14において処理結果格納バッファ64に格納されていた画像と、ステップS20において処理結果格納バッファ64に格納されていた画像の間の差、例えば画素値の平均二乗誤差が閾値を下回っているか否かで判定することができる。
As a second determination method, a difference between the image stored in the processing
第3の判定方法として、前記ステップS12からS20までに行われる処理を所定の回数繰り返しているか否かで判定することができる。例えば、処理が終了したと判定されたならば、処理結果格納バッファ64に蓄積されている画像を図3(b)に示す記録媒体13やディスプレイ19に出力する。このように、本実施形態に係わる画像拡大装置によれば、順序設定部3によって出力画像生成部4で行われるPOCSの条件式選択順序を最適化することが可能となる。
As a third determination method, it is possible to determine whether or not the processes performed from step S12 to S20 are repeated a predetermined number of times. For example, if it is determined that the processing is completed, the image accumulated in the processing
なお、この画像拡大装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。このとき、画像拡大装置は、図9に示すような処理工程を実施するためのプログラムをコンピュータ装置に予めインストールして駐在することで実現してもよいし、CD−ROM等の着脱可能な記憶媒体に記憶して用いてもよい。さらには、汎用的なネットワークを介して、前記プログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。 Note that this image enlargement apparatus can also be realized by using, for example, a general-purpose computer apparatus as basic hardware. At this time, the image enlarging apparatus may be realized by installing a program for executing the processing steps as shown in FIG. 9 in advance and residing in the computer apparatus, or a removable storage such as a CD-ROM. It may be stored in a medium and used. Furthermore, the program may be distributed via a general-purpose network, and this program may be installed in a computer device as appropriate.
以上説明したように、本発明の画像拡大装置及びその画像拡大方法によれば、誤差の大きい動きベクトルから得られた条件式によって生成されたアーチファクトを誤差の小さい動きベクトルから得られた条件式による修正で抑制し、出力高解像度画像の画質を高めることができる。よって、予め設定された複数の条件式のそれぞれの信頼度を順序付けて、信頼度の低い条件式による修正から信頼度の高い条件式による修正に至ることにより、高解像度化の画像修正の効果より高めることができる。 As described above, according to the image enlarging apparatus and the image enlarging method of the present invention, the artifact generated by the conditional expression obtained from the motion vector having a large error is expressed by the conditional expression obtained from the motion vector having the small error. It can be suppressed by correction and the image quality of the output high-resolution image can be improved. Therefore, by ordering the reliability of each of a plurality of preset conditional expressions, from the correction by the conditional expression with low reliability to the correction by the conditional expression with high reliability, the effect of image correction with high resolution is achieved. Can be increased.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
1…画像入力部、2…条件式算出部、3…順序設定部、4…出力画像生成部、10…画像拡大装置、11…撮像装置、13,17,20…記録媒体、14…表示装置(提示装置)、15…外部撮像装置、16…チューナー、19…ディスプレイ、20…、21…基準画像選定部、22…フレーム間対応点検出部、23…マッピング検出部、24…条件式算出部、31…低解像度画像、32,41…基準画像、33,34,43…画素、42…出力高解像度画像、45…部分領域、51…信頼度算出部、52…順序設定部、61…順序格納バッファ、62…条件式格納バッファ、63…簡易拡大部、64…処理結果格納バッファ。
DESCRIPTION OF
Claims (12)
前記複数枚の低解像度画像を取得する画像入力部と、
前記低解像度画像と撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を求める条件式算出部と、
前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けする順序設定部と、
前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する出力画像生成部と、
を備えることを特徴とする画像拡大装置。 An image enlarging device that generates at least one output high-resolution image having a higher resolution than the low-resolution image from a plurality of low-resolution images,
An image input unit for acquiring the plurality of low-resolution images;
A conditional expression calculation unit for obtaining a plurality of conditional expressions necessary to prevent inconsistency between the low-resolution image, the imaging process model, and the output high-resolution image;
An order setting unit that assigns a reliability represented by a numerical value to each of the plurality of conditional expressions, and orders the conditional expressions provided with a high reliability so as to be arranged from the rear of the order;
An output image generation unit that generates an initial image from the low-resolution image, and sequentially corrects the initial image to satisfy the conditional expression according to the ordering, and generates an output high-resolution image;
An image enlarging apparatus comprising:
前記低解像度画像のうちの1枚を基準画像として選択する基準画像選択ステップと、
前記低解像度画像上の各点と基準画像上の点の対応付けを求めるフレーム間対応点検出ステップと、
前記フレーム間対応点と撮像装置の点広がり関数をもとに、前記出力高解像度画像の部分領域と、前記低解像度画像の画素の対応付けを求めるマッピング検出ステップと、
による3つの前記ステップを用いて、
前記撮像過程のモデルのパラメータを求め、前記条件式として、前記画素マッピング検出ステップで得られた前記出力高解像度画像の部分領域の画素値の加重平均と前記マッピング検出ステップで対応付けられた前記低解像度画像の1画素の画素値の差が閾値以下とする式を出力することを特徴とする請求項1の画像拡大装置。 The conditional expression calculation unit
A reference image selection step of selecting one of the low resolution images as a reference image;
An inter-frame corresponding point detection step for obtaining a correspondence between each point on the low-resolution image and a point on the reference image;
Based on the inter-frame corresponding point and the point spread function of the imaging device, a mapping detection step for obtaining a correspondence between the partial region of the output high-resolution image and the pixel of the low-resolution image;
Using the above three steps according to
A parameter of the imaging process model is obtained, and as the conditional expression, a weighted average of pixel values of partial regions of the output high-resolution image obtained in the pixel mapping detection step is associated with the low value associated in the mapping detection step. 2. The image enlarging apparatus according to claim 1, wherein an expression for setting a difference between pixel values of one pixel of the resolution image to be equal to or smaller than a threshold is output.
前記複数枚の低解像度画像を取得し、
取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出し、
前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行い、
前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成することを特徴とする画像拡大方法。 An image enlarging method for generating at least one output high-resolution image having a higher resolution than the low-resolution image from a plurality of low-resolution images,
Obtaining the plurality of low resolution images;
Calculating a plurality of conditional expressions necessary to prevent inconsistency between the acquired low-resolution image, the model of the imaging process, and the output high-resolution image;
Giving a reliability represented by a numerical value to each of the plurality of conditional expressions, performing ordering so that the conditional expressions given a high reliability are arranged from the rear of the order,
An image enlargement method comprising: generating an initial image from the low-resolution image; and sequentially modifying the initial image so as to satisfy the conditional expression according to the ordering to generate an output high-resolution image.
前記低解像度画像のうちの1枚を基準画像として選択し、
前記低解像度画像上の各点と基準画像上の点とのフレーム間における対応付けを求め、
前記フレーム間における対応点と、前記低解像度画像を撮像する撮像装置が有する点広がり関数とをもとに、前記出力高解像度画像の部分領域と、前記低解像度画像の画素の対応付けを求めて、
前記撮像過程のモデルのパラメータを求め、前記条件式として、前記出力高解像度画像の部分領域の画素値の加重平均と、前記対応付けられた前記低解像度画像の1つの画素の画素値の差が閾値以下とする式を出力することを特徴とする請求項9の画像拡大方法。 Calculation of the conditional expression in the image enlargement method is
Selecting one of the low resolution images as a reference image;
Obtaining a correspondence between frames of each point on the low-resolution image and a point on the reference image;
Based on the corresponding points between the frames and the point spread function of the imaging device that captures the low-resolution image, the correspondence between the partial region of the output high-resolution image and the pixel of the low-resolution image is obtained. ,
A parameter of the imaging process model is obtained, and as the conditional expression, a weighted average of pixel values of partial regions of the output high-resolution image and a pixel value difference of one pixel of the associated low-resolution image are calculated. The image enlargement method according to claim 9, wherein an expression for setting the threshold value or less is output.
第1に、前記フレーム間対応点検出ステップで対応付けられた前記低解像度画像中の2点の画素値の差によって決定される、
第2に、前記フレーム間対応点を求める際に利用した低解像度画像の撮像時刻の差によって決定される、
第3に、前記低解像度画像の部分領域が持つエッジ強度によって決定される、
第4に、前記フレーム間対応点を求める際に利用した低解像度画像の色分布の差によって決定される、
前記第1乃至第4の手法のいずれかにより決定されることを特徴とする請求項9に記載の画像拡大方法。 The reliability is
First, it is determined by a difference between pixel values of two points in the low-resolution image associated in the inter-frame corresponding point detection step.
Second, it is determined by the difference in the imaging time of the low resolution image used when obtaining the inter-frame corresponding point.
Third, it is determined by the edge strength of the partial area of the low resolution image.
Fourth, it is determined by the difference in color distribution of the low-resolution image used when obtaining the inter-frame corresponding points.
The image enlargement method according to claim 9, wherein the image enlargement method is determined by any one of the first to fourth methods.
前記複数枚の低解像度画像を取得する第1の手順と、
取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出する手順と、
前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行う手順と、
前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する手順と、をプログラムとして記録することを特徴とする高解像度画像を生成するプログラムを記録する記録媒体。 A recording medium for recording a procedure of an image enlarging method for generating at least one output high resolution image having a higher resolution than the low resolution image from a plurality of low resolution images,
A first procedure for acquiring the plurality of low-resolution images;
A procedure for calculating a plurality of conditional expressions necessary to prevent a contradiction between the acquired low resolution image, a model of an imaging process, and the output high resolution image;
Providing a reliability represented by a numerical value to each of the plurality of conditional expressions, and performing ordering so that the conditional expressions provided with a high reliability are arranged from the rear of the order;
An initial image is generated from the low-resolution image, and a procedure for generating an output high-resolution image by sequentially modifying the initial image so as to satisfy the conditional expression according to the ordering is recorded as a program. A recording medium for recording a program for generating a high-resolution image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006094357A JP4714062B2 (en) | 2006-03-30 | 2006-03-30 | Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006094357A JP4714062B2 (en) | 2006-03-30 | 2006-03-30 | Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007272334A JP2007272334A (en) | 2007-10-18 |
JP4714062B2 true JP4714062B2 (en) | 2011-06-29 |
Family
ID=38675112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006094357A Active JP4714062B2 (en) | 2006-03-30 | 2006-03-30 | Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4714062B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5042954B2 (en) * | 2008-09-19 | 2012-10-03 | シャープ株式会社 | Image generating apparatus, image generating method, image generating program, and computer-readable recording medium recording the program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08149477A (en) * | 1994-11-22 | 1996-06-07 | Sony Corp | Image encoding device and image decoding device |
JPH08263639A (en) * | 1995-03-09 | 1996-10-11 | Eastman Kodak Co | Method and apparatus for generation of high-resolution imagefrom series of low-resolution images |
-
2006
- 2006-03-30 JP JP2006094357A patent/JP4714062B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08149477A (en) * | 1994-11-22 | 1996-06-07 | Sony Corp | Image encoding device and image decoding device |
JPH08263639A (en) * | 1995-03-09 | 1996-10-11 | Eastman Kodak Co | Method and apparatus for generation of high-resolution imagefrom series of low-resolution images |
Also Published As
Publication number | Publication date |
---|---|
JP2007272334A (en) | 2007-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5837572B2 (en) | Image processing apparatus, image processing method, computer program for image processing, and recording medium | |
JP5497066B2 (en) | Method, apparatus and program for reducing noise contained in video | |
TWI455588B (en) | Bi-directional, local and global motion estimation based frame rate conversion | |
JP5243833B2 (en) | Image signal processing circuit, image display device, and image signal processing method | |
JP4317587B2 (en) | IMAGING PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM | |
US8098962B2 (en) | Signal processing method, apparatus, and program | |
US9245316B2 (en) | Image processing device, image processing method and non-transitory computer readable medium | |
US20120213452A1 (en) | Image processing apparatus, image processing method, computer program and imaging apparatus | |
US20100067818A1 (en) | System and method for high quality image and video upscaling | |
JP5166156B2 (en) | Resolution conversion apparatus, method and program | |
US8903195B2 (en) | Specification of an area where a relationship of pixels between images becomes inappropriate | |
JP2009194896A (en) | Image processing device and method, and imaging apparatus | |
US20030133020A1 (en) | Apparatus and method for generating mosaic images | |
JP6554253B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM | |
JP2008091979A (en) | Image quality improving device, method thereof, and image display device | |
JP2004234624A (en) | Static image generating device, static image generating method, static image generating program and recording medium with static image generating program recorded | |
JPWO2011018878A1 (en) | Image processing system, image processing method, and image processing program | |
JP2006067541A (en) | Video converting apparatus and method, and recording medium | |
JP5095263B2 (en) | Image evaluation apparatus and image evaluation program | |
JP4714062B2 (en) | Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program | |
JPWO2017203941A1 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
JP2009140393A (en) | Video processing device, video display device, video processing method and video display method | |
US20120038646A1 (en) | Image processing apparatus and image processing method | |
CN112241670B (en) | Image processing method and device | |
JP2013126123A (en) | Image processing device, imaging apparatus, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110325 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4714062 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140401 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313121 Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |