JP4067806B2

JP4067806B2 - Image processing apparatus and method

Info

Publication number: JP4067806B2
Application number: JP2001324038A
Authority: JP
Inventors: 伸之渡辺
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2001-10-22
Filing date: 2001-10-22
Publication date: 2008-03-26
Anticipated expiration: 2021-10-22
Also published as: JP2003132351A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像復元処理技術に係わり、特に劣化した画像をより人間の視覚特性に沿い、かつ高速に処理できる画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
近年、ＬＳＩ技術の進展によりデジタルフィルタによる２次元画像処理が広く行われるようになってきた。この２次元画像処理にはローパスフィルタ処理、ハイパスフィルタ処理、コンボルーションフィルタ処理等がある。このコンボルーションフィルタ処理においては、処理対象とする画素を中心とするＮ×Ｎ個（Ｎは２以上。整数）の画素の画像データに夫々所定の重み係数を乗算して、これら乗算結果を加算することにより、その処理対象とする画素の画像データが形成される。
【０００３】
また、デジタルフィルタを光学系の特性に合わせて設計しようとした場合、光学系のＰＳＦ（Point Spread Function：点像分布関数）を実験的にまたは、光学設計の段階での計算により得て、その特性を補完するような形でフィルタを設計する。通常、光学系の収差は光軸上から離れるにつれて、回転非対称な成分（コマ収差、非点収差）が大きくなるため、理想的な逆フィルタではＰＳＦの回転非対称性を考慮すれば、回転非対称なデジタルフィルタになる。もっとも、回転非対称ということになると、画像の場所毎に異なるパラメータでデータを持つということは、フィルタの行列大きさ分のデータを画素毎に持たなければならず、非現実的といえる。
【０００４】
ところで、パイプライン処理のフィルタで幾何変換と鮮鋭度回復を同時に実現できる構成は特開平４−６１５７０号公報に開示されている。この構成においては、上述の様に回転対称までは考慮されておらず、場所毎に異なる係数を持っている必要がある。
【０００５】
そこで、ボケ関数を回転対称なものに近似すると、以下に示すように、比較的簡単な方法でパラメトリックなデジタルフィルタが構成できる。撮像機器の通常の使用目的では、ＰＳＦを回転対称と見なせる範囲で、逆フィルタを設計しただけでも周波数成分の回復ということでは、効果が期待できる。
【０００６】
パラメトリックにデジタルフィルタを定義する方法にはいくつかあり、３×３のカーネルサイズの周波数回復フィルタでの例では、高周波強調のフィルタHを以下のように設定し
【数１】

【０００７】
Hの分配係数をパラメータαで調節するようにしたパラメトリックな回復フィルタは、
H₀=αI+(1-αH) I: 単位行列（２）
ここで、αを変更すれば回復フィルタの特性が調整でき、αが小さいほど高周波強調のフィルタとなる。
【０００８】
もう一つのパラメトリックなフィルタを設計する方法は、ボケ関数を何らかの近似評価基準を用いてExp関数と近似して、そのExp関数に対して、最小二乗法で最適逆フィルタを計算する方法を用いる。Exp関数を
【数２】

【０００９】
とする。ここで、i,jは軸対称のボケ関数の中心位置を（０,０）としたときのインデクスを表している。パラメータdの変化に対して、逆フィルタの係数を求める。ｄが小さければボケが大きいことになり逆フィルタの高周波強調も大きくなる。また高周波領域での誤差（エイリアシング）を抑えるために逆フィルタのための目的関数をδ関数とせずに、高周波帯域を緩和させたものにしても良い。一般的な逆フィルタの設計方法として最小二乗フィルタの計算例を以下に示す。以下の例では目標とする応答関数をΔ関数としている。
【００１０】
領域
【数３】

【００１１】
で定義されたボケ関数がh（i,j）であるときにこれを、線形フィルタで表現したときの係数行列は、
【数４】

【００１２】
となる。インパルスに対するＰＳＦの伝達関数のz変換表現は、
【数５】

【００１３】
となる。また設計するFIR逆フィルタを
【数６】

【００１４】
と定義しておく。いま、ＰＳＦに逆フィルタを作用させたものを
【数７】

とする。最小二乗誤差の近似からフィルタｆは以下のように求められる。
【００１５】
【数８】

【００１６】
を得る。ここで簡単のためP=Q=mとした（１４）式を行列表現で表すと
Ax=b （９）
となり。ここで、x,bの中身を
【数９】

【００１７】
上記のような（２m+１）*（２m+１） = ４m^２+４m+１個の要素を持つものとする。
【００１８】
【発明が解決しようとする課題】
しかしながら、上述の様に、ＰＳＦを対象な関数で近似できる範囲に限定してしまうと、回復が可能な光学系の収差が制限されてしまう。特に広角な撮像系のように、非点収差が大きい場合では、軸上付近でしか画質の改善が期待できない。
【００１９】
また、光学系による収差は、デフォーカス、球面収差、非点収差、コマ収差、歪曲、倍率色などがあり、このうち、周波数に関連していて、ボケ関数がほぼ回転対称と見て良いのは、軸上のデフォーカス（縦倍率色収差）で、それ以外に関しては、軸外で非対称性が出る。
【００２０】
本発明の目的は、対称な係数を持つ回復フィルタの適応範囲を広げ、軸外の非対称なボケの回復特性を改善することができる画像処理装置及びその方法を提供することである。
【００２１】
【課題を解決するための手段】
本発明の第１の態様は、画像の鮮鋭化処理方法において、第１のサンプリング間隔でサンプリングし、第１の離散化画像を作成するステップと、第２の離散化の為のサンプリング間隔及びサンプリング格子の傾きを算出するステップと、前記第１の離散化画像から前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを用いて第２の離散化画像を作成するステップと、前記作成した第２の離散化画像に対して鮮鋭化処理演算を施すステップと、前記処理演算を施した画像を、再度前記第１の離散化画像と同じサンプリング格子のデータとして離散化するステップとを有し、前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを算出するステップが、各画素位置でのサンプリング間隔の縦横の比率を点像分布関数の広がりの縦横の比率に応じて決定し、前記各画素位置でのサンプリング格子の傾きを前記各画素位置の光学中心からの距離と方向に応じて決定するステップを含む。
【００２２】
また、本発明の第２の態様は、画像の鮮鋭化処理装置において、第１のサンプリング間隔でサンプリングし、第１の離散化画像を作成する手段と、第２の離散化の為のサンプリング間隔及びサンプリング格子の傾きを算出する手段と、前記第１の離散化画像から前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを用いて第２の離散化画像を作成する手段と、前記作成した第２の離散化画像に対して鮮鋭化処理演算を施す手段と、前記処理演算を施した画像を、再度前記第１の離散化画像と同じサンプリング格子のデータとして離散化する手段とを有し、前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きを算出する手段は、各画素位置でのサンプリング間隔の縦横の比率を点像分布関数の広がりの縦横の比率に応じて決定し、前記各画素位置でのサンプリング格子の傾きを前記各画素位置の光学中心からの距離と方向に応じて決定する手段を含む。
【００２３】
また、本発明の第３の態様は、第２の態様に係る画像処理装置において、前記第１のサンプリング間隔でサンプリングされた画像に対して、前記サンプリングされた画像の位置と、前記第２の離散化の為のサンプリング間隔およびサンプリング格子の傾きのパラメータをそれぞれ関連付けて記憶する手段を備えている。
【００３０】
【発明の実施の形態】
本発明の実施形態を以下に図面を用いて説明する。
【００３１】
まず、本発明の実施形態では、画像そのものの離散化のサンプリング幅、および、サンプリングの傾きを計算し、画像上のそれぞれの位置と対応付けさせて記録する。
【００３２】
図１は、非点隔差とデフォーカスがある点像分布関数の一実施形態を示している。図２は、所定の空間サンプリング間隔（Δｘ、Δｙ）（第１のサンプリング間隔）で得られた画像でのＰＳＦ（Point Spread Function）を示している。これに対して、図３は、サンプリングの格子と間隔を変更して（Δｘ’、Δｙ’）サンプリングを行っている。この処理を実行するためには、フィルタリング処理を行う対象の画像の各位置で第２のサンプリング格子の間隔（Δｘ’、Δｙ’）および、傾き（θ）を記憶しておけば良い。
【００３３】
次に図４は、前記第２のサンプリング間隔及び傾きでサンプリングした画像を正方格子で並べたものである。図４に示すように、前記第２のサンプリング間隔（Δｘ’、Δｙ’）および、傾きθでサンプリングした（図３）画像を正方格子に配列した場合、目的とするＰＳＦの対称性は改善される。なお、図５は、光学面の像面のメジオナル面Ｍと、サジタル面Ｓを示した図である。また、１０は近軸像面である。
【００３４】
また、この様なサンプリング格子の変更を行うために、次のような手順で、ＰＳＦの特徴に関するデータを得る。
【００３５】
まず、光軸を通り、垂直または水平な像位置においてＰＳＦの非対称性を評価する。図６は、像の各位置に対応するＰＳＦの形状を示している。ここで、光軸を通り、画像のサンプリング格子の水平または、垂直方向（４０１）でのＰＳＦは、画像のサンプリング格子に対して傾きがない。そこで、このＰＳＦの広がりの縦横の比率を計算する。
【００３６】
縦横の比率を算出する方法は、まず、ＰＳＦの強度で２値化して、水平方向、垂直方向の大きさを求める。次にＰＳＦの２次元フーリエ変換を求め、０°または９０°位相のパワースペクトルで評価する。そして、方向別のＳＦ値（コントラストのヒストグラムに基づく鮮鋭度）を評価する。
【００３７】
などが考えられる。ここでは第３の方法（方向別のＳＦ値を評価する）について詳述する。
【００３８】
ＳＦ値とは、注目画素と隣接画素の差分値ΔＤ（図８）の分布（デルタヒストグラム）に基づく鮮鋭度の尺度である。隣接画素の差分値は図９に示すように注目画素とその隣接８個の画素との輝度の差分絶対値であり、例えば、中央の画素レベルが１６, その周りが、１２,１４,２０,８,,２４,１２,１６,３２となっていれば、差分の絶対値は、図１０に示すように。４,２,４,８,,８,４,０,１６となり、ΔＤのヒストグラムは（１,０,１,０,３０,０,０,２,０,０,０,０,０,０,０,１）となる。このようなヒストグラムを所定の範囲の画素について積算したものである。原画像における上述の差分ΔＤ（絶対値）のヒストグラムをS₀(I)とし、原画像に平滑化フィルタをかけたものをS₃(I)として鮮鋭度ＳＦを
【数１０】

【００３９】
のように定義する。ＳＦ値が大きいほど、原画像の鮮鋭度が高いと言う評価になる。
【００４０】
次に、図１１に原画像と平均化フィルタを施した画像のデルタヒストグラムを示したが、ＳＦ値は２つのヒストグラムの差分の絶対値を積分したものである。定義からわかるようにＳＦ値は画像に依存する値なので、一般に、画像の周波数成分との厳密な関係は成り立たない、ただし傾向として同一の画像に対してＳＦ値が高ければ、周波数特性が高周波まで伸びていると言うことが出来る。
【００４１】
ここで、この様なＳＦ値を注目画素と水平隣接２画素、垂直隣接２画素の差分のヒストグラムとして定義する。
【００４２】
【数１１】

【００４３】
図１２は、ガウス分布を持つ画像を特定のＰＳＦを持つ撮像系で撮像した像に対して方向別のＳＦ値測定を行ったときのＳＦ（BX,BY）値とＰＳＦの形状の関係を示している。簡単のためＰＳＦは非点隔差のみを持ち、像面のデフォーカスによって形状を変えている。このように、方向別のＳＦ値の測定によって、ＰＳＦの広がりの縦横比率を求めることが出来る。そこで、図６に戻って、４０１のラインで示したような、サンプリング格子の垂直方向に平行な方向で、光軸中心から、軸外にかけて、特定の領域４０２内での方向別ＳＦ値を測定し、その値からＰＳＦの縦横の比率を求め、それによって、縦横のサンプリングの比率を計算する。
【００４４】
次に、４０１のライン上や水平のライン上以外の画素位置では、図３に示すようにサンプリングの格子を傾ける必要がある。また、図１２から解るように、その傾きとは、各画素位置を光軸中心からの距離と方向で表したときの角度から求めることが出来る。
【００４５】
この様にして、各画素位置でのサンプリング格子の比率のパラメータ、傾きのパラメータを求めることが出来る。
【００４６】
次に、図７は第１のサンプリング間隔の格子（P_i,j,）から第２のサンプリング間隔の格子（Qm,n）に変換する様子を示した。第２のサンプリング格子（Qm,n）の座標が、格子点P_i,j,,P_i,j,-１をk:１-k（k<1）に分割する線と格子点P_i,j,,P_I- _１ _,j,jをh:１-h（h<1）に分割する線との交点にあったときに、サンプリング格子（Qm,n）の輝度値を算出する式は、
【数１２】

【００４７】
のように双１次補間で表せる。このとき、k,hは第２のサンプリング格子と傾きによって決まる。また、フィルタリング処理の結果を戻す対象の画素位置（カーネルの中心）の絶対座標P_i- _１ _,jとすると第２のサンプリングによるフィルタ処理のカーネルの中心もこれに一致するようにQ_m- _１ _,n= P_i- _１ _,jとする。
【００４８】
次に、フィルタのパラメータを求める方法であるが、回転対称なボケに関してＳＦ値の大きさと、式（２）におけるαの値や、式（３）におけるdの値を関係づけることができるので、光学系を通して撮像したガウス分布のランダム画像に対して、上で求めたサンプリングの比率を用いて局所的にサンプリングを変更したガウス分布の画像を作成しそれに対して、８方向の差分を用いたＳＦ値を測定し、それに対応するフィルタパラメータα、dを求める。
【００４９】
または、図４、図７のように、サンプリングの変換によって変形されたＰＳＦをガウス分布のランダム画像に対してコンボリューションを行い作成した画像を用いて、８方向の対称のＳＦ値測定から、上記の式（２）におけるαの値や、式（３）におけるdの値を算出できるので、これを用いてフィルタパラメータを決定する。
【００５０】
次に、図１３は、処理の全体の流れを示している。画像データ（輝度値）と画素のROM３０２で画素のアドレスに対応したサンプリング間隔と傾きを参照する、３０５では参照したサンプリング条件を用いて図９に示したような、補間演算で、画像データの対象とする位置に対して離散化を行う。３０３ではアドレスに対応した像高を参照し、３０４では像高に対応した鮮鋭化フィルタのデータを参照する、３０６ではフィルタ処理を行う。３０７では元の３０１の画像データと同じ様式で離散化したデータに戻す。
【００５１】
次に、図１４は、上述した図１３の方法で画像処理を行う装置の形態を示している。画像メモリ５００には、画素のアドレスとそれに対応した各画素の輝度情報が格納されている。図示しないが、MPU（マイクロプロセッサユニット）では画像メモリのアドレスを読み出し、メモリ５０１から、画素位置に対応したサンプリングの間隔と傾きを参照し、５０４の補間演算手段で図９に示したような補間演算を行う。MPUは画像メモリ５００の画素のアドレスに対応した像高をメモリ２（５０２）から参照し、参照した像高の値に対応した鮮鋭化フィルタのパラメータをメモリ３（５０３）から読み出し、２次元デジタルフィルタ５０５で鮮鋭化フィルタリングを行う。フィルタリングした結果を画像メモリ５０６に格納する。
【００５２】
以上、本発明の実施形態を用いることにより、光学系の軸外の非点収差のように、光学系によるボケ特性が回転非対称な場合でも、非対称な鮮鋭化フィルタを使わずにボケを回復する。
【００５３】
【発明の効果】
軸外の非点収差のように、光学系によるボケ特性が回転非対称な場合でも、非対称な鮮鋭化フィルタを使わずにボケを回復する事が出来る。
【図面の簡単な説明】
【図１】本発明の実施形態に係る非点隔差とデフォーカスがある点像分布関数を示す図。
【図２】本発明の実施形態に係る所定の空間サンプリング間隔Δｘ（第１のサンプリング間隔）で得られた画像でのＰＳＦを示す図。
【図３】本発明の実施形態に係るサンプリングの格子と間隔を変更して（Δｘ’）サンプリングを行った図。
【図４】本発明の実施形態に係る第２のサンプリング間隔及び傾きでサンプリングした画像を正方格子で並べた状態を示す図。
【図５】本発明の実施形態に係る光学面の像面のメジオナル面Ｍと、サジタル面Ｓを示した図。
【図６】本発明の実施形態に係る像の各位置に対応するＰＳＦの形状を示した図。
【図７】本発明の実施形態に係る第１のサンプリング間隔の格子（P_i,j,）から第２のサンプリング間隔（Qm,n）の格子に変換する様子を示した図。
【図８】本発明の実施形態に係る注目画素と隣接画素の差分値ΔＤの分布を示す図。
【図９】本発明の実施形態に係る隣接画素の差分値を示した図。
【図１０】本発明の実施形態に係る差分の絶対値を示した図。
【図１１】本発明の実施形態に係る原画像と平均化フィルタを施した画像のデルタヒストグラムを示す図。
【図１２】本発明の実施形態に係るガウス分布を持つ画像を特定のＰＳＦを持つ撮像系で撮像した像に対して方向別のＳＦ値測定を行ったときのＳＦ（BX,BY）値とＰＳＦの形状の関係を示した図。
【図１３】本発明の実施形態に係る処理の全体の流れを示した流れ図。
【図１４】本発明の実施形態に係る図１３の方法で画像処理を行う装置の形態を示した図。
【符号の説明】
４０２…領域
５００、５０１、５０６…画像メモリ
５０５…次元デジタルフィルタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image restoration processing technique, and more particularly to an image processing apparatus and method capable of processing a deteriorated image according to human visual characteristics at high speed.
[0002]
[Prior art]
2. Description of the Related Art In recent years, two-dimensional image processing using a digital filter has been widely performed due to advances in LSI technology. This two-dimensional image processing includes low-pass filter processing, high-pass filter processing, convolution filter processing, and the like. In this convolution filter processing, image data of N × N pixels (N is 2 or more, an integer) centering on the pixel to be processed is multiplied by a predetermined weight coefficient, and these multiplication results are added. As a result, image data of the pixel to be processed is formed.
[0003]
When trying to design a digital filter according to the characteristics of the optical system, the PSF (Point Spread Function) of the optical system is obtained experimentally or by calculation at the stage of optical design. Design the filter in a way that complements its characteristics. Usually, as the aberration of the optical system increases away from the optical axis, rotationally asymmetric components (coma aberration and astigmatism) increase. Therefore, an ideal inverse filter is rotationally asymmetric when considering the rotational asymmetry of the PSF. Become a digital filter. However, when it comes to rotational asymmetry, having data with different parameters for each location of the image must have data for each pixel size of the filter matrix, which is unrealistic.
[0004]
Incidentally, a configuration capable of simultaneously realizing geometric transformation and sharpness recovery by a pipeline processing filter is disclosed in JP-A-4-61570. In this configuration, the rotational symmetry as described above is not taken into consideration, and it is necessary to have a different coefficient for each place.
[0005]
Therefore, when the blur function is approximated to a rotationally symmetric one, a parametric digital filter can be configured by a relatively simple method as shown below. In the normal use purpose of the imaging device, it can be expected that the frequency component can be recovered even if the inverse filter is designed within the range where the PSF can be regarded as rotationally symmetric.
[0006]
There are several ways to define a parametric digital filter. In the example of the 3 × 3 kernel size frequency recovery filter, the high frequency emphasis filter H is set as follows:

[0007]
A parametric recovery filter in which the distribution coefficient of H is adjusted by the parameter α is
H ₀ = αI + (1-αH) I: identity matrix (2)
Here, if α is changed, the characteristics of the recovery filter can be adjusted. The smaller α is, the higher the frequency enhancement filter is.
[0008]
As another parametric filter design method, a blur function is approximated to an Exp function using some approximate evaluation criterion, and an optimal inverse filter is calculated by the least square method for the Exp function. Exp function

[0009]
And Here, i and j represent indexes when the center position of the axisymmetric blur function is (0, 0). The coefficient of the inverse filter is obtained for the change of the parameter d. If d is small, the blur is large and the high frequency enhancement of the inverse filter is also large. Further, in order to suppress an error (aliasing) in the high frequency region, the objective function for the inverse filter may not be the δ function, and the high frequency band may be relaxed. A calculation example of the least square filter is shown below as a general inverse filter design method. In the following example, the target response function is a Δ function.
[0010]
Area [Equation 3]

[0011]
When the blur function defined by is h (i, j), and this is expressed by a linear filter, the coefficient matrix is
[Expression 4]

[0012]
It becomes. The z-transform representation of the PSF transfer function for the impulse is
[Equation 5]

[0013]
It becomes. Also, the FIR inverse filter to be designed is

[0014]
It is defined as Now, the reverse filter applied to PSF

And From the approximation of the least square error, the filter f is obtained as follows.
[0015]
[Equation 8]

[0016]
Get. Here, for simplicity, the equation (14) with P = Q = m is expressed in matrix expression.
Ax = b (9)
Next. Here, the contents of x and b are

[0017]
It shall have the (2m + 1) * (2m + 1) = 4m 2 + 4m + 1 single element as described above.
[0018]
[Problems to be solved by the invention]
However, as described above, if the PSF is limited to a range that can be approximated by a target function, the aberration of the recoverable optical system is limited. In particular, when the astigmatism is large as in a wide-angle imaging system, improvement in image quality can be expected only near the axis.
[0019]
In addition, aberrations due to the optical system include defocus, spherical aberration, astigmatism, coma aberration, distortion, and magnification color. Of these, the bokeh function is almost rotationally symmetric in relation to frequency. Is on-axis defocus (vertical chromatic aberration), and other than that, off-axis asymmetry occurs.
[0020]
It is an object of the present invention to provide an image processing apparatus and method capable of expanding the adaptive range of a recovery filter having a symmetric coefficient and improving the recovery characteristics of off-axis asymmetric blur.
[0021]
[Means for Solving the Problems]
According to a first aspect of the present invention, in the image sharpening processing method, sampling is performed at a first sampling interval to create a first discretized image, and sampling interval and sampling for the second discretization are performed. Calculating a gradient of a grid, creating a second discretized image from the first discretized image using a sampling interval and a gradient of the sampling grid for the second discretization, and the creation Performing a sharpening processing operation on the second discretized image, and discretizing the processed image again as data of the same sampling grid as the first discretized image. The step of calculating the sampling interval for the second discretization and the inclination of the sampling grid is to calculate the vertical / horizontal ratio of the sampling interval at each pixel position. Determined in accordance with the ratio of the spread of the vertical and horizontal distribution function, comprising the steps of determining in accordance with the inclination of the sampling grid of the at each pixel location in the distance and direction from the optical center of the pixel position.
[0022]
Further, according to a second aspect of the present invention, in the image sharpening processing apparatus, a means for sampling at a first sampling interval to create a first discretized image, and a sampling interval for the second discretization And means for calculating the slope of the sampling grid, means for creating a second discretized image from the first discretized image using the sampling interval for the second discretization and the slope of the sampling grid; Means for performing a sharpening processing operation on the created second discretized image; and means for discretizing the image subjected to the processing operation again as data of the same sampling grid as the first discretized image; And the means for calculating the sampling interval and the sampling grid slope for the second discretization calculates the ratio of the sampling interval at each pixel position to the spread of the point spread function. Determined according to the aspect ratio of, including means for determining in accordance with the inclination of the sampling grid of the at each pixel location in the distance and direction from the optical center of the pixel position.
[0023]
According to a third aspect of the present invention, in the image processing apparatus according to the second aspect, the position of the sampled image with respect to the image sampled at the first sampling interval, and the second Means for storing the sampling interval for discretization and the parameters of the inclination of the sampling grid in association with each other is provided.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0031]
First, in the embodiment of the present invention, the sampling width of the discretization of the image itself and the sampling inclination are calculated and recorded in association with each position on the image.
[0032]
FIG. 1 illustrates one embodiment of a point spread function with astigmatism and defocus. FIG. 2 shows a PSF (Point Spread Function) in an image obtained at a predetermined spatial sampling interval (Δx, Δy) (first sampling interval). On the other hand, in FIG. 3, sampling is performed by changing the sampling grid and interval (Δx ′, Δy ′). In order to execute this process, the second sampling grid interval (Δx ′, Δy ′) and the inclination (θ) may be stored at each position of the image to be subjected to the filtering process.
[0033]
Next, FIG. 4 shows images sampled at the second sampling interval and inclination arranged in a square lattice. As shown in FIG. 4, when the images sampled at the second sampling interval (Δx ′, Δy ′) and the inclination θ (FIG. 3) are arranged in a square lattice, the symmetry of the target PSF is improved. The FIG. 5 is a diagram showing a median surface M and a sagittal surface S of the image surface of the optical surface. Reference numeral 10 denotes a paraxial image plane.
[0034]
In addition, in order to change the sampling grid in this way, data relating to PSF characteristics is obtained by the following procedure.
[0035]
First, the asymmetry of the PSF is evaluated at a vertical or horizontal image position passing through the optical axis. FIG. 6 shows the shape of the PSF corresponding to each position of the image. Here, the PSF in the horizontal or vertical direction (401) of the image sampling grid passing through the optical axis has no inclination with respect to the image sampling grid. Therefore, the aspect ratio of the spread of the PSF is calculated.
[0036]
In the method of calculating the aspect ratio, first, binarization is performed with the intensity of the PSF, and the sizes in the horizontal direction and the vertical direction are obtained. Next, a two-dimensional Fourier transform of PSF is obtained and evaluated with a power spectrum having a phase of 0 ° or 90 °. Then, the SF value for each direction (sharpness based on a contrast histogram) is evaluated.
[0037]
And so on. Here, the third method (evaluating the SF value for each direction) will be described in detail.
[0038]
The SF value is a measure of sharpness based on the distribution (delta histogram) of the difference value ΔD (FIG. 8) between the target pixel and the adjacent pixel. As shown in FIG. 9, the difference value between adjacent pixels is the absolute value of the difference in luminance between the target pixel and its eight adjacent pixels. For example, the central pixel level is 16, and the surroundings are 12, 14, 20, If it is 8, 24, 12, 16, 32, the absolute value of the difference is as shown in FIG. 4,2,4,8,8,4,0,16, and the histogram of ΔD is (1,0,1,0,30,0,0,2,0,0,0,0,0,0 , 0, 1). Such a histogram is obtained by integrating pixels in a predetermined range. The histogram of the difference ΔD (absolute value) in the original image is S ₀ (I), and the original image is smoothed by S ₃ (I).

[0039]
Define as follows. The higher the SF value, the higher the sharpness of the original image.
[0040]
Next, FIG. 11 shows a delta histogram of the original image and the image subjected to the averaging filter. The SF value is obtained by integrating the absolute value of the difference between the two histograms. As can be seen from the definition, since the SF value depends on the image, generally, a strict relationship with the frequency component of the image does not hold. However, if the SF value is high for the same image as a tendency, the frequency characteristic reaches a high frequency. It can be said that it is growing.
[0041]
Here, such an SF value is defined as a histogram of differences between the target pixel, two horizontally adjacent pixels, and two vertically adjacent pixels.
[0042]
## EQU11 ##

[0043]
FIG. 12 shows the relationship between the SF (BX, BY) value and the shape of the PSF when the SF value measurement for each direction is performed on an image obtained by imaging an image having a Gaussian distribution with an imaging system having a specific PSF. ing. For simplicity, the PSF has only an astigmatic difference, and the shape is changed by defocusing of the image plane. As described above, the aspect ratio of the spread of the PSF can be obtained by measuring the SF value for each direction. Returning to FIG. 6, the SF value for each direction in the specific region 402 is measured from the center of the optical axis to the off-axis direction in the direction parallel to the vertical direction of the sampling grating as indicated by the line 401. Then, the vertical / horizontal ratio of the PSF is obtained from the value, and the vertical / horizontal sampling ratio is calculated accordingly.
[0044]
Next, it is necessary to tilt the sampling grid as shown in FIG. 3 at pixel positions other than the line 401 and the horizontal line. Further, as can be seen from FIG. 12, the inclination can be obtained from the angle when each pixel position is represented by the distance and direction from the center of the optical axis.
[0045]
In this manner, the sampling grid ratio parameter and the tilt parameter at each pixel position can be obtained.
[0046]
Next, FIG. 7 shows the state of conversion from the first sampling interval lattice (P _{i, j} ) to the second sampling interval lattice (Qm, n). The coordinates of the second sampling grid (Qm, n) are such that the grid points P _{i, j} ,, P _{i, j} , -1 are divided into k: 1-k (k <1) and grid points P _{i, The} expression for calculating the luminance value of the sampling grid (Qm, n) when it is at the intersection with the line dividing _j ,, P _I- ₁ _{, j} , j into h: 1-h (h <1) is ,
[Expression 12]

[0047]
This can be expressed by bilinear interpolation. At this time, k and h are determined by the second sampling grid and the inclination. If the absolute coordinates P _i− ₁ _{, j} of the pixel position (kernel center) to which the filtering process result is to be returned, Q _m− ₁ so that the center of the kernel of the filtering process by the second sampling also matches this. _{, n} = P _i− ₁ _{, j} .
[0048]
Next, a method for obtaining a filter parameter can relate the magnitude of the SF value with respect to the rotationally symmetric blur to the value of α in Equation (2) and the value of d in Equation (3). For a Gaussian distribution random image captured through an optical system, a Gaussian distribution image is generated by locally changing sampling using the sampling ratio obtained above, and an SF using a difference in eight directions is used. The value is measured, and the corresponding filter parameters α and d are obtained.
[0049]
Alternatively, as shown in FIGS. 4 and 7, from the SF value measurement in eight directions using the image obtained by convolution of a PSF transformed by sampling conversion with a random image having a Gaussian distribution, Since the value of α in equation (2) and the value of d in equation (3) can be calculated, the filter parameter is determined using this value.
[0050]
Next, FIG. 13 shows the overall flow of processing. The image data (luminance value) and the pixel ROM 302 refer to the sampling interval and inclination corresponding to the pixel address. In 305, the object of the image data is subjected to the interpolation operation as shown in FIG. Discretization is performed on the position. Reference numeral 303 refers to the image height corresponding to the address, reference numeral 304 refers to the sharpening filter data corresponding to the image height, and reference numeral 306 performs filter processing. In 307, the data is returned to the discretized data in the same manner as the original 301 image data.
[0051]
Next, FIG. 14 shows a form of an apparatus that performs image processing by the method of FIG. 13 described above. The image memory 500 stores a pixel address and luminance information of each pixel corresponding thereto. Although not shown, the MPU (microprocessor unit) reads out the address of the image memory, refers to the sampling interval and inclination corresponding to the pixel position from the memory 501, and performs interpolation as shown in FIG. Perform the operation. The MPU refers to the image height corresponding to the pixel address of the image memory 500 from the memory 2 (502), reads out the parameters of the sharpening filter corresponding to the value of the referenced image height from the memory 3 (503), and is a two-dimensional digital Sharpening filtering is performed by the filter 505. The filtered result is stored in the image memory 506.
[0052]
As described above, by using the embodiment of the present invention, even when the blur characteristic of the optical system is rotationally asymmetric, such as off-axis astigmatism, the blur is recovered without using an asymmetric sharpening filter. .
[0053]
【The invention's effect】
Even when the blur characteristic due to the optical system is rotationally asymmetric, such as off-axis astigmatism, the blur can be recovered without using an asymmetric sharpening filter.
[Brief description of the drawings]
FIG. 1 is a diagram showing a point spread function with astigmatic difference and defocus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a PSF in an image obtained at a predetermined spatial sampling interval Δx (first sampling interval) according to the embodiment of the present invention.
FIG. 3 is a diagram in which sampling is performed by changing the sampling grid and interval according to the embodiment of the present invention (Δx ′).
FIG. 4 is a view showing a state in which images sampled at a second sampling interval and inclination according to the embodiment of the present invention are arranged in a square lattice.
FIG. 5 is a diagram showing a median surface M and a sagittal surface S of an image surface of an optical surface according to an embodiment of the present invention.
FIG. 6 is a view showing the shape of a PSF corresponding to each position of an image according to the embodiment of the present invention.
FIG. 7 is a diagram showing a state of conversion from a first sampling interval lattice (P _{i, j} ) to a second sampling interval lattice (Qm, n) according to the embodiment of the present invention;
FIG. 8 is a view showing a distribution of a difference value ΔD between a target pixel and an adjacent pixel according to the embodiment of the present invention.
FIG. 9 is a view showing a difference value between adjacent pixels according to the embodiment of the present invention.
FIG. 10 is a diagram showing an absolute value of a difference according to the embodiment of the present invention.
FIG. 11 is a diagram showing a delta histogram of an original image and an image subjected to an averaging filter according to the embodiment of the present invention.
FIG. 12 shows SF (BX, BY) values when SF direction measurement is performed for each direction on an image obtained by imaging an image having a Gaussian distribution according to an embodiment of the present invention with an imaging system having a specific PSF. The figure which showed the relationship of the shape of PSF.
FIG. 13 is a flowchart showing an overall flow of processing according to the embodiment of the present invention.
14 is a diagram showing a form of an apparatus that performs image processing by the method of FIG. 13 according to the embodiment of the present invention.
[Explanation of symbols]
402:

Area

500, 501, 506 ... Image memory 505 ... Dimensional digital filter

Claims

In the image sharpening method,
Sampling at a first sampling interval to create a first discretized image;
Calculating a sampling interval and a slope of the sampling grid for the second discretization;
Creating a second discretized image from the first discretized image using the sampling interval and sampling grid slope for the second discretization;
Applying a sharpening processing operation to the created second discretized image;
The image subjected to the processing operation, possess a step of discretizing the data of the same sampling grid again the first discrete image,
The step of calculating the sampling interval for the second discretization and the inclination of the sampling grid determines the aspect ratio of the sampling interval at each pixel position according to the aspect ratio of the spread of the point spread function, An image processing method comprising a step of determining an inclination of a sampling grid at each pixel position according to a distance and a direction from the optical center of each pixel position .

In the image sharpening processing device,
  Means for sampling at a first sampling interval to create a first discretized image;
  Means for calculating a sampling interval and sampling grid slope for the second discretization;
  Means for creating a second discretized image from the first discretized image using a sampling interval for the second discretization and an inclination of a sampling grid;
  Means for performing a sharpening processing operation on the created second discretized image;
  Means for discretizing the processed image again as data of the same sampling grid as the first discretized image;
  The means for calculating the sampling interval for the second discretization and the inclination of the sampling grid determines the aspect ratio of the sampling interval at each pixel position according to the aspect ratio of the spread of the point spread function, An image processing apparatus comprising: means for determining an inclination of the sampling grid at each pixel position in accordance with a distance and a direction from the optical center at each pixel position.

Means for storing the position of the sampled image, the sampling interval for the second discretization, and the parameters of the inclination of the sampling grid in association with the image sampled at the first sampling interval. The image processing apparatus according to claim 2, further comprising: