JP4825748B2 - 画像データ処理方法および撮像装置 - Google Patents

画像データ処理方法および撮像装置 Download PDF

Info

Publication number
JP4825748B2
JP4825748B2 JP2007185096A JP2007185096A JP4825748B2 JP 4825748 B2 JP4825748 B2 JP 4825748B2 JP 2007185096 A JP2007185096 A JP 2007185096A JP 2007185096 A JP2007185096 A JP 2007185096A JP 4825748 B2 JP4825748 B2 JP 4825748B2
Authority
JP
Japan
Prior art keywords
image
focus
focus function
function
smart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007185096A
Other languages
English (en)
Other versions
JP2009020844A (ja
Inventor
督基 平賀
兼介 羽深
Original Assignee
株式会社モルフォ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社モルフォ filed Critical 株式会社モルフォ
Priority to JP2007185096A priority Critical patent/JP4825748B2/ja
Publication of JP2009020844A publication Critical patent/JP2009020844A/ja
Application granted granted Critical
Publication of JP4825748B2 publication Critical patent/JP4825748B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression

Description

本発明は、デジタルカメラ等の撮像装置を用いて被写体を撮影する際に、ピント外れによる非合焦点画像を鮮明化するための画像データ処理方法および撮像装置に関する。

従来、ピント外れの状態で撮影して得られた非合焦点画像(いわゆるボケ画像、以下、デフォーカス画像という)を鮮明化する技術が提案されている。たとえば、特許文献1では、デジタルカメラ等で撮影した画像の、回転と平行移動を含む不均一な手ぶれを高精度に補正するため、手ぶれによる画素の回転及び平行移動を表す座標変換行列を決定し、その座標変換行列を用いて、画像上の各画素位置での手ぶれベクトルを推定し、次に各画素値に対して、その位置の手ぶれベクトルに沿った補間演算によりボケの補正を施すという手法が提案されている。

また、特許文献2では、撮影された3次元画像データから、撮影装置の基本性能や撮影条件に因るボケ成分を画素毎に確実に減らし、その3次元画像データを用いる画像処理の結果を高精度化及び高品質化させるため、与えられた撮影パラメータの下で対象物の内部構造を撮影して得た実空間の3次元画像データの画素毎のボケを軽減するためのPSF(point spread function)などのボケ関数を撮影装置の基本性能を表すパラメータ及び撮影パラメータの少なくとも一方に応じて設定し、この設定されたボケ関数を用いて前記画像データにボケ軽減のための補正処理を施している。
特許文献3では、合焦点領域と焦点外れ(非合焦点)領域とが混在する画像を鮮明化するため、対象画像を構成する全画素のそれぞれを着目画素として、着目画素の色情報に影響を与える周辺画素の範囲を示す錯乱円を推定し、当該推定された錯乱円に基づいてボケ関数の逆フィルタを用いて、着目画素の色情報を周辺画素の影響の無い状態に復元するという方法並びに装置が提案されている。
特開2000−298300号公報 特開2005−58760号公報 特開2005−63000号公報

ところで、フォーカス関数は、一般にその値に負の値を含み、対応するPSF関数に比較してサイズが10倍程度大きくなる。たとえば、3×3ピクセルのPSF関数があった場合、対応するフォーカス関数は10×10ピクセル程度の大きさになる。したがって、デフォーカス処理を行うのに比較して、対応するフォーカス処理はその10倍程度の処理コストがかかる。このため、フォーカス処理のためのメモリ容量やCPU負荷をいかに低減するかが問題となる。

また、マクロ(接写)機能のないデジタルカメラに適用しようとすると、単に焦点外れのみを対処するのでは不十分であり、焦点外れと手ぶれの補正を同時に処理する必要がある。

本発明は、上述のかかる事情に鑑みてなされたものであり、コンピュータに負荷をかけず、少ないメモリ容量で鮮明な画像を得ることができ、また、焦点外れと手ぶれによって不鮮明となったデフォーカス画像を精度良く補正することのできる画像データ処理方法および撮像装置を提供することを目的とする。

上記目的を達成するため、本発明に係わる画像データ処理方法は、フォーカス関数を用いることで、ピントがずれてボケた画像(デフォーカス画像)からピントの合ったフォーカス画像を生成する。

ここで、フォーカス関数は画像のフィルタ関数の一種として定義される。フィルタ関数とは、画像をぼかしたり、エッジ抽出などに用いられたりする線形関数である。例えば画像ぼかしのためには以下のようなフィルタ関数がある。

入力画像および出力画像の座標(x,y)におけるピクセル値を、それぞれs(x,y)、d(x,y)としたとき、画像をぼかす処理は以下の式で表すことができる。

デフォーカス画像は、フォーカス画像に対してこのようなボケフィルタ関数(Point Spread Function,以下PSFという)をかけることで生成することができる。実際に撮影されるデフォーカス画像もこのモデルによって説明される。典型的なPSFはGaussianで近似されることが多い。

本発明の第一の特徴は、このようなPSFでボケた画像を生成するのとは逆に、デフォーカス画像からフォーカスのあった画像へフォーカスフィルタ関数を計算・適用することである。上記表1に対して、フォーカス関数は、以下のようなフィルタになる。

フォーカス関数の特徴は、上述の如く、その値に負の値を含むこと、対応するPSF関数に比較してサイズが大きくなるということがある。このため、本発明は、フォーカス関数に工夫を施すことによって、処理コストの削減を図るものである。

具体的には、本発明に係わる画像データ処理方法は、合焦点画像(フォーカス画像)と、同一被写体の非合焦点画像(デフォーカス画像)とをもとにフォーカス関数を生成し、該フォーカス関数を用いて撮像画像を鮮明化する画像データ処理方法であって、非合焦点画像の座標と合焦点画像の座標とを引数とし、詳細フォーカス関数を用いて、非合焦点画像から合焦点画像へのピクセル値の第1の変換式を定義し、該第1の変換式に対して、教育データとなる合焦点画像と非合焦点画像から最適解として詳細フォーカス関数を算出し、前記算出した詳細フォーカス関数について予め定められた個数の座標上の重要点を抽出する重要点選択処理を実行し、前記重要点選択処理によって重要点を抽出した後、非合焦点画像の座標と合焦点画像の座標とを引数とし、スマートフォーカス関数を用いて、該重要点に基づいて非合焦点画像から合焦点画像へのピクセル値の第2の変換式を定義し、該第2の変換式に対して、教育データとなる合焦点画像と非合焦点画像から最適解としてスマートフォーカス関数を算出し、当該スマートフォーカス関数を前記フォーカス関数とし、該フォーカス関数を用いて撮像手段を通して得られた非合焦点画像から合焦点画像を生成することを特徴とする。

本発明では、ボケ関数の逆フィルタを用いて画像の鮮明化処理を行うのではなく、予め合焦点画像と非合焦点画像から詳細フォーカス関数を算出し、次に重要点に着目したフォーカス関数(スマートフォーカス関数)を最小二乗法やニューラルネットワーク等を適用して再計算し、このフォーカス関数を用いて合焦点画像を生成するので、CPUに負荷をかけずに鮮明な画像を得ることができる。

上記の第1の変換式は、詳細フォーカス関数値をFdetail(i,j)、合焦点画像のピクセル値をIfocus(x,y)、非合焦点画像のピクセル値Idefocus(x+i,y+j)、x,yを整数、m,nを自然数としたとき、
で表し、任意の画像座標上のIfocus(x,y)、Idefocus(x+i,y+j)を上記(1)式の最小二乗法に適用して、詳細フォーカス関数Fdetail(i,j)を算出する。

また、スマートフォーカス関数を計算するための重要点選択処理としては、以下のステップ1〜5を実行するとよい。
(ステップ1)詳細フォーカス関数の4角を重要点として選択する。
(ステップ2)現在重要点として残している点でドローネ三角形分割を行う。
(ステップ3)全ての点について予測フォーカス関数値を求める。予測フォーカス関数値は、その点が所属する三角形の頂点のフォーカス関数値から内挿することによって求める。
(ステップ4)全ての点について予測フォーカス関数値と実際のフォーカス関数値を比較して、その差分が最も大きい点を重要点として追加する。
(ステップ5)重要点の個数が予め定めた値を越えるまで上記ステップ2〜ステップ4を繰り返す。

以上の重要点選択処理によって重要点を選択した後、スマートフォーカス関数値を
Fsmart(i,j)とし、当該Fsmart(i,j)が重要点の場合にw=1、重要点でない場合にw=0、x,yを整数、m,nを自然数としたとき、非合焦点画像から合焦点画像への第2の変換式を以下の如く定義し、
任意の画像座標上のIfocus(x,y)、Idefocus(x+i,y+j)を上記(2)式の最小二乗法やニューラルネットワーク等に適用して、スマートフォーカス関数Fsmart(i,j)を演算する。

また、本発明に係わる画像データ処理方法は、焦点外れおよび手ぶれによる不鮮明画像を鮮明化する画像データ処理方法であって、一回の撮影時に複数枚の撮像画像を取得し、各撮像画像に対して上記のスマートフォーカス関数を用いて合焦点画像を生成した後、複数の合焦点画像のうち一の合焦点画像を基準画像として、該基準画像と他の合焦点画像との間の動きデータを算出し、該動きデータを用いて複数の合焦点画像を重ね合わせることによって手ぶれ補正画像を生成することを特徴とする。

本発明では、連写した複数の画像に対して、まずスマートフォーカス関数を用いて合焦点画像を生成した後に、各画像の多重解像度画像を生成し、たとえば国際公開公報(WO2006/075394)に記載されている技術を用いて手ぶれ補正処理を行うことによって、画像焦点外れと手ぶれによるボケ要因の混在化した画像を鮮明化する。

本発明に係わる撮像装置は、上記のスマートフォーカス関数を有する撮像装置であって、焦点距離ごとに複数のスマートフォーカス関数を備え、撮像した画像に対して前記複数のスマートフォーカス関数の夫々を用いてフォーカス画像を生成し、各フォーカス画像のうち、画像のピクセル値から算出されるエッジまたはコーナの値に基づいて一のフォーカス関数を選択し、該フォーカス関数によって生成したフォーカス画像を撮像画像として出力することを特徴とする。

本発明では、スマートフォーカス関数を撮像装置に組み込むことによって、マクロ機能のない撮像装置でも鮮明な合焦点画像を撮影することができる。このとき、焦点距離ごとにスマートフォーカス関数を実装しておき、エッジやコーナのシャープ度など所定の優先順位によって最適な合焦点画像を選択して出力するようにする。

また、本発明に係わる撮像装置は、画像内の位置に対応付けられた複数のスマートフォーカス関数を備え、撮像した画像に対して画像内の位置に応じて対応するスマートフォーカス関数を用いてフォーカス画像を生成し、該フォーカス画像を撮像画像として出力することを特徴とする。

本発明では、画像内の位置に応じて適用するスマートフォーカス関数を使い分けることにより、レンズの収差等による画像の歪みを改善することができる。

以上説明したように、本発明によれば、フォーカス関数を事前計算し、このフォーカス関数をマクロ機能の無い撮像手段で撮影した非合焦点画像(デフォーカス画像)に適用することによって、コンピュータに負荷をかけず、合焦点画像(フォーカス画像)を精度良く補正することのできる。

以下、本発明の実施の形態を説明する。図1は、第1の実施の形態によるデジタルマクロ処理の流れの説明図である。

まず、原画像のフォーカス画像(合焦点画像)とデフォーカス画像(非合焦点画像)を撮影して、両画像データをパーソナルコンピュータ等のコンピュータ装置2へ入力する(S101)。

なお、原画像のフォーカス画像とデフォーカス画像の撮影の仕方としては、たとえば以下の方法がある。

(方法1)
あるチャート等を被写体として、これをピント外れの状態で近接撮影してデフォーカス画像を取得する。次に、このチャートを拡大印刷して、既に取得したデフォーカス画像と同じ大きさに写る距離でピントのあった状態で撮影してフォーカス画像を取得してコンピュータ装置2へ入力する。

(方法2)
まず、マクロ切替機能を有する撮像手段をマクロモードにして、ある被写体の画像を取得する。この画像は合焦点画像(フォーカス画像)であり、これを原画像として、コンピュータ装置2へ取り込む。次に、撮像手段のマクロ機能を無効にして、同じ被写体の画像を取得する。この画像は、ピントの合っていない非合焦点画像(デフォーカス画像)であり、同様にコンピュータ装置2へ保存する。

ステップS101の後、コンピュータ装置2では、このフォーカス画像とデフォーカス画像を用いてフォーカス画像計算に用いるフォーカス関数を求める。この際、まず、詳細フォーカス関数を求め(S102)、その後、CPUの処理コストを抑えるため所定のアルゴリズムで重要な点のみを残したスマートフォーカス関数を生成する(S103)。

このスマートフォーカス関数をマクロ機能の無いカメラ(撮像装置)1に実装して、このカメラで撮影したデフォーカス画像からこの画像のフォーカス画像を生成する(S104)。

図2は、上記の処理に用いるコンピュータ装置2と撮像装置1の機能ブロック図である。ここで、コンピュータ装置2は、外部からデータを入力するための入力部12、外部へデータを出力するための出力部13、演算処理を実行する演算部10、データを記憶する記憶部11を備えている。入力部12や出力部13としては、USB、FDD、CD/DVDドライブ装置、LANポートなどがある。また、図示しないが、必要によりキーボード、マウス、ディスプレイ、プリンタなどとのインタフェースを有するものとする。

演算部10は、画像データを入力して記憶部11に保存する画像データ入力手段21、入力した画像データを用いて詳細フォーカス関数を導出する詳細フォーカス関数演算手段22、この詳細フォーカス関数からスマートフォーカス関数を導出するスマートフォーカス関数演算手段23、および、記憶部11のデータを出力部13を介して外部へ出力する出力手段24を有している。各手段21〜24は、プログラムによって実現可能な機能である。

一方、撮像装置1は、マクロ機能を具備しない撮像手段4、実装されているスマートフォーカス関数データ35と、撮像手段4によって撮影されたデフォーカス画像データ41からフォーカス画像データ43を計算するフォーカス画像生成手段42を備えている。

次に、上記の構成を有する各装置1,2の動作を説明する。
まず、コンピュータ装置2によってスマートフォーカス関数データを生成する方法について説明する。

<画像取得段階>
まず、上記ステップS101で説明したいずれかの方法によって、被写体のフォーカス画像31とデフォーカス画像32を撮影し、これらの画像をコンピュータ装置2の入力部12、画像データ入力手段21を介して、記憶部11へ取り込む。

両画像31,32を取り込んだ後、詳細フォーカス関数演算手段22を起動して次の処理を実行する。以下、詳細フォーカス関数の算出方法について説明する。

<詳細フォーカス関数の算出処理>
原画像をデフォーカス画像に位置合わせした後、詳細フォーカス関数を求める。なお、フォーカス関数はそのピクセルサイズが比較的大きなフィルタ関数であり、詳細フォーカス関数とはピクセル(もしくは数ピクセル)単位でその関数値を持つもので、正確であるがデータ量が多くフォーカス演算処理時間がかかる。

詳細フォーカス関数値をFdetail(i,j)、原画像のピクセル値をIfocus(x,y)、デフォーカス画像のピクセル値Idefocus(x+i,y+j)としたとき、上記(1)式のごとく定式化を行う。

そして、画像中任意の座標上のIfocus(x,y),Idefocus(x+i,y+j)を上式の最小二乗法に適用することで、詳細フォーカス関数Fdetail(i,j)を計算する。この詳細フォーカス関数の算出は詳細フォーカス関数演算手段22によって行う。

この方法によって求められた詳細フォーカス関数例を図3に示す。ここで、ほぼ同心円状に小ブロックの縞模様が見られるが、正の値、負の値が同心円状に変化していることを示している。

詳細フォーカス関数は1ピクセル毎ではなく、2ピクセル毎や3ピクセル毎など、任意のサンプリングステップで求めても良い。一般に、フォーカス関数のピクセル数は大きくなると計算時間がかかり過ぎ、それを削減するためにサンプリングステップを調節する。

ちなみに、詳細フィルタ関数値の横方向をNw,縦方向の数をNhとすると、それを求める計算時間はO(Nw2×Nh)となる。したがって、サンプリングステップを1ピクセル毎から2ピクセル毎にすれば、それを求める時間は約1/16ですむことになる。しかしサンプリングステップを大きくするほど精度は悪くなる。図3の例は詳細フィルタ関数値数27x27、サンプリングステップ2で求めた結果であり、図中の白もしくは灰色の■は正の値、×は負の値を意味し、白色が強いほどその絶対値が大きいことを表している。このときフィルタ関数の画像におけるピクセルサイズは53x53ピクセルになる。

詳細フィルタ関数値の個数Nw×Nh,ピクセルステップs,ピクセルサイズSw×Shとすると以下の関係式が成り立つ。
Sw=s×(Nw−1)+1
Sh=s×(Nh−1)+1

<スマートフォーカス関数の算出処理>
次に、スマートフォーカス関数演算手段23を起動して、詳細フォーカス関数からスマートフォーカス関数を求める。詳細フォーカス関数は点の個数が多く、フォーカス画像生成の際に計算時間がかかる。

そこで詳細フォーカス関数の中で重要でない点はその値を保持せず、重要な点のみを残してフォーカス画像計算に用いる。この重要点のみのフォーカス関数がスマートフォーカス関数である。

ユーザは詳細フォーカス関数、重要点個数Nimp、原画像/デフォーカス画像を入力することによってスマートフォーカス関数を計算する。Nimpの値は0以上Nw×Nh以下の値で、大きいほど精度の良いスマートフォーカス関数となるが、画像フォーカス化に時間がかかる。

まずスマートフォーカス関数演算手段23は以下のステップで重要点を選択する。
(S1)詳細フォーカス関数の4角を重要点として選択する。
(S2)現在重要点として残している点でドローネ三角形分割を行う。
(S3)全ての点について予測フォーカス関数値を求める。予測フォーカス関数値は、その点が所属する三角形の頂点のフォーカス関数値から内挿することによって求める。
(S4)全ての点について予測フォーカス関数値と実際のフォーカス関数値を比較して、その差分が最も大きい点を重要点として追加する。
(S5)重要点の個数がNimpを越えるまでステップ(S2)〜(S4)を繰り返す。

本実施形態によるスマートフォーカス関数算出処理における特徴の一つは、スマートフォーカス関数演算手段23は上記の重要点選択後、すなわちステップS5の後に、再び最小二乗法によりその重要点のフォーカス関数値Fsmart(i,j)を計算することである。このときデフォーカス画像への変換式は上記(2)式のように定式化される。
単純に重要点の詳細フォーカス関数値Fdetail(i,j)を用いず、再度フォーカス関数値Fsmart(i,j)求めることにより、フォーカス画像の精度を向上させることができる。

図4は、上記の処理によって求めたスマートフォーカス関数で、元々個の729個の値を持っていた詳細フォーカス関数から256個の値を持つスマートフォーカス関数を算出した例である。なお、図3および図4において、■または×以外の黒色部分は値を持たないことを表している。

<撮像装置への実装および動作>
スマートフォーカス関数演算手段23によって作成されたスマートフォーカス関数データは、出力手段24、出力部13を介して取り出され、撮像装置1の記憶部に実装される。

そして、マクロ機能を持たない撮像手段4によって撮影された画像は、デフォーカス画像であり、撮像装置1のフォーカス画像生成手段42は、スマートフォーカス関数データを用いて、(2)式により、フォーカス画像データを生成する。

図5は、本実施の形態によるデータ処理によって生成されるフォーカス画像の一例である。図5(a)は、フォーカス関数を算出するための原画像、図5(b)は、デフォーカス画像、図5(c)は、フォーカス関数によって鮮明化されたフォーカス画像である。

なお、被写体までの距離に応じてフォーカス関数を何パターンかを事前に用意しておき、それぞれのフォーカス関数によって計算したフォーカス画像のエッジの強度(シャープさ)を比較することにより、最適なものを自動的に選ぶようにしても良い。

また、たとえば中心からの距離など、画像内の位置(領域も含む)ごとにフォーカス関数を用意し、画像内の位置によって対応するフォーカス関数を適用してフォーカス画像を生成するようにしても良い。これにより、レンズの収差などによる画像の歪みを改善することができる。

以上、本実施の形態によれば、スマートフォーカス関数を計算し、これを撮像装置へ組み込んでフォーカス画像を生成するので、コンピュータに負荷をかけず、少ないメモリ容量で、鮮明な画像を得ることができる。

次に本発明の第2の実施の形態を説明する。本実施の形態は、マクロ機能を具備しない撮像手段4で撮影するときに手ぶれが生じた場合のピントの外れた手ぶれ画像を鮮明化するときの手順を示すものである。

手ぶれと焦点外れの両者が混在する画像については、以下のステップS11〜ステップS15の手順によって、手ぶれを補正したフォーカス画像を生成する。
(S11)まず、連写した複数枚(n枚)のデフォーカス画像データの輝度画像を生成する。
(S12)次に、各輝度画像の特徴点を抽出する。
(S13)n枚の輝度画像のうち、一の輝度画像(たとえば最初に取得した画像)を基準画像とし、以降に取得した画像を比較画像として、特徴点のマッチング処理によって特徴点間の動きデータを計算する。すなわち、n−1枚の比較画像の特徴点間の動きデータを算出する。
(S14)スマートフォーカス関数を用いて、n枚のデフォーカス画像のフォーカス画像を生成し、各フォーカス画像に対してステップS11の輝度画像生成処理とステップS12の特徴点抽出処理処理を実行する。
(S15)ステップS14で生成したn枚のフォーカス画像の輝度画像に対して、ステップS13で求めたデフォーカス画像の動きデータを初期値として対応するフォーカス画像の動きデータを算出し、順次、動き補正をして基準画像に合成していく。

本実施の形態によれば、まず、デフォーカス画像について特徴点の抽出を行い、動きデータを求めるので、多重解像度のレベル数を減らし、または、あえて多重解像度処理を実行することなく、特徴の強い箇所を特徴点とすることができる。このため、特徴点のミスマッチやCPUの負荷を減らすことができる。また、デフォーカス画像で求めた動きデータをフォーカス画像の低解像度動きデータの初期値として使用することにより、手ぶれ補正処理とフォーカス化の処理を一体として処理することができ、処理時間の削減を図りつつ、高精度の手ぶれ補正・フォーカス画像を生成することができる。

本発明の実施の形態によるデジタルマクロ処理の流れの説明図である。 本発明の実施の形態による画像データ処理方法に用いられるコンピュータ装置と撮像装置の機能ブロック図である。 本発明の第1の実施の形態による詳細フォーカス関数の一例の説明図である。 本発明の第1の実施の形態によるスマートフォーカス関数の一例の説明図である。 本発明の実施例による生成されたフォーカス画像の一例であり、図5(a)は原画像、図5(b)はデフォーカス画像、図5(c)はフォーカス画像である。

符号の説明

1 撮像装置
2 コンピュータ装置
3 撮像手段(マクロ切替機能あり)
4 撮像手段(マクロ機能なし)
10 演算部
11 記憶部
12 入力部
13 出力部
21 画像データ入力手段
22 詳細フォーカス関数演算手段
23 スマートフォーカス関数演算手段
24 出力手段
31 原画像データ
32,41 デフォーカス画像データ
33 詳細フォーカス関数データ
34 設定値
35 スマートフォーカス関数データ
42 フォーカス画像生成手段
43 フォーカス画像

Claims (7)

  1. 合焦点画像と、同一被写体の非合焦点画像とをもとにフォーカス関数を生成し、該フォーカス関数を用いて撮像画像を鮮明化する画像データ処理方法であって、
    非合焦点画像の座標と合焦点画像の座標とを引数とし、詳細フォーカス関数を用いて、非合焦点画像から合焦点画像へのピクセル値の第1の変換式を定義し、該第1の変換式に対して、教育データとなる合焦点画像と非合焦点画像とから最適解として詳細フォーカス関数を算出し、
    前記算出した詳細フォーカス関数について、所定の点を初期の重要点として選択し、既に選択された重要点から予測フォーカス関数値を算出し、実際のフォーカス関数値と比較して、その差分が大きい点を新たな重要点として選択することを繰り返すことによって、予め定められた個数の座標上の重要点を抽出する重要点選択処理を実行し、
    前記重要点選択処理によって重要点を抽出した後、非合焦点画像の座標と合焦点画像の座標とを引数とし、スマートフォーカス関数を用いて、該重要点に基づいて非合焦点画像から合焦点画像へのピクセル値の第2の変換式を定義し、該第2の変換式に対して、教育データとなる合焦点画像と非合焦点画像とから最適解としてスマートフォーカス関数を算出し、
    当該スマートフォーカス関数を前記フォーカス関数とし、該フォーカス関数を用いて撮像手段を通して得られた非合焦点画像から合焦点画像を生成することを特徴とする画像データ処理方法。

  2. 前記第1の変換式は、詳細フォーカス関数値をFdetail(i,j)、合焦点画像のピクセル値をIfocus(x,y)、非合焦点画像のピクセル値Idefocus(x+i,y+j)、x,yを整数、m,nを自然数としたとき、
    で表されることを特徴とする請求項1記載の画像データ処理方法。
  3. 前記重要点選択処理は、
    (ステップ1)詳細フォーカス関数の4角を重要点として選択し、
    (ステップ2)現在重要点として残している点でドローネ三角形分割を行い、
    (ステップ3)全ての点について、夫々の点が所属する三角形の頂点のフォーカス関数値から内挿することによって予測フォーカス関数値を演算し、
    (ステップ4)全ての点について前記予測フォーカス関数値と実際のフォーカス関数値とを比較して、その差分が最も大きい点を重要点として追加し、
    (ステップ5)重要点の個数が予め定めた値を越えるまでステップ2〜ステップ4を繰り返す、
    という処理によって、所定個数の重要点を抽出することを特徴とする請求項1または2に記載の画像データ処理方法。
  4. 前記第2の変換式は、スマートフォーカス関数値をFsmart(i,j)とし、当該Fsmart(i,j)が重要点の場合にw=1、重要点でない場合にw=0、x,yを整数、m,nを自然数としたとき、
    で表されることを特徴とする請求項1乃至3のいずれか一に記載の画像データ処理方法。
  5. 焦点外れおよび手ぶれによる不鮮明画像を鮮明化する画像データ処理方法であって、一回の撮影時に複数枚の撮像画像を取得し、各撮像画像に対して請求項1乃至4のいずれか一に記載の画像データ処理方法を使用して合焦点画像を生成した後、複数の合焦点画像のうち一の合焦点画像を基準画像として、該基準画像と他の合焦点画像との間の動きデータを算出し、該動きデータを用いて複数の合焦点画像を重ね合わせることによって手ぶれ補正画像を生成することを特徴とする画像データ処理方法。
  6. 請求項1乃至5のいずれか一に記載のスマートフォーカス関数を有する撮像装置であって、焦点距離ごとに複数のスマートフォーカス関数を備え、撮像した画像に対して前記複数のスマートフォーカス関数の夫々を用いてフォーカス画像を生成し、各フォーカス画像のうち、画像のピクセル値から算出されるエッジまたはコーナの値に基づいて一のフォーカス関数を選択し、該フォーカス関数によって生成したフォーカス画像を撮像画像として出力することを特徴とする撮像装置。
  7. 請求項1乃至5のいずれか一に記載のスマートフォーカス関数を有する撮像装置であって、画像内の位置に対応付けられた複数のスマートフォーカス関数を備え、撮像した画像に対して画像内の位置に応じて対応するスマートフォーカス関数を用いてフォーカス画像を生成し、該フォーカス画像を撮像画像として出力することを特徴とする撮像装置。
JP2007185096A 2007-07-13 2007-07-13 画像データ処理方法および撮像装置 Active JP4825748B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007185096A JP4825748B2 (ja) 2007-07-13 2007-07-13 画像データ処理方法および撮像装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007185096A JP4825748B2 (ja) 2007-07-13 2007-07-13 画像データ処理方法および撮像装置
EP08290682A EP2015560A3 (en) 2007-07-13 2008-07-10 Image data processing method and imaging apparatus
US12/218,355 US8155467B2 (en) 2007-07-13 2008-07-12 Image data processing method and imaging apparatus

Publications (2)

Publication Number Publication Date
JP2009020844A JP2009020844A (ja) 2009-01-29
JP4825748B2 true JP4825748B2 (ja) 2011-11-30

Family

ID=39846635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007185096A Active JP4825748B2 (ja) 2007-07-13 2007-07-13 画像データ処理方法および撮像装置

Country Status (3)

Country Link
US (1) US8155467B2 (ja)
EP (1) EP2015560A3 (ja)
JP (1) JP4825748B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271536A1 (en) * 2009-04-27 2010-10-28 Digital Imaging Systems Gmbh Blended autofocus using mechanical and softlens technologies
JP5528139B2 (ja) * 2010-02-02 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP5468404B2 (ja) * 2010-02-02 2014-04-09 パナソニック株式会社 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
US20120098947A1 (en) * 2010-10-20 2012-04-26 David Robert Wilkes Producing universally sharp images
EP2839396B1 (de) * 2012-04-19 2019-04-17 OMS Software GmbH Verfahren und system zum erfassen von problembildern und zum ermitteln von lösungsvorschlägen
GB2502356A (en) * 2012-05-23 2013-11-27 Plastic Logic Ltd Compensating for degradation due to pixel influence
US10389936B2 (en) 2017-03-03 2019-08-20 Danylo Kozub Focus stacking of captured images
JP2019212139A (ja) * 2018-06-07 2019-12-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4532548A (en) * 1983-01-27 1985-07-30 Hughes Aircraft Company Resolution enhancement and zoom
JP4337186B2 (ja) * 1998-10-29 2009-09-30 ソニー株式会社 画像情報変換装置および画像情報変換方法、学習装置および学習方法
JP4345940B2 (ja) 1999-04-13 2009-10-14 株式会社リコー 手ぶれ画像補正方法、記録媒体及び撮像装置
JP4135045B2 (ja) * 1999-06-08 2008-08-20 ソニー株式会社 データ処理装置およびデータ処理方法、並びに媒体
US7176962B2 (en) * 2001-03-01 2007-02-13 Nikon Corporation Digital camera and digital processing system for correcting motion blur using spatial frequency
US6636298B1 (en) * 2001-12-18 2003-10-21 Cognex Technology And Investment Corporation Method and apparatus for focusing an optical inspection system
JP4686147B2 (ja) 2003-07-31 2011-05-18 株式会社東芝 画像データ処理装置
JP2005063000A (ja) 2003-08-08 2005-03-10 Central Res Inst Of Electric Power Ind 画像の鮮明化方法および装置並びにプログラム
EP1801753B1 (en) * 2004-10-14 2016-12-07 Lightron Co. Ltd. Degradation information restoring method and device
WO2006075394A1 (ja) 2005-01-14 2006-07-20 Morhpo, Inc. 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置
US7593598B2 (en) * 2005-02-03 2009-09-22 Siemens Medical Solutions Usa, Inc. System and method for efficient filter design through weighted difference of Gaussian filters
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image

Also Published As

Publication number Publication date
EP2015560A2 (en) 2009-01-14
JP2009020844A (ja) 2009-01-29
US8155467B2 (en) 2012-04-10
US20090039233A1 (en) 2009-02-12
EP2015560A3 (en) 2011-06-22

Similar Documents

Publication Publication Date Title
US9552627B2 (en) Electronic device and method in an electronic device for processing image data
JP6327922B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5968107B2 (ja) 画像処理方法、画像処理装置およびプログラム
JP5824297B2 (ja) 画像処理装置及び方法、及び撮像装置
KR101624450B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
EP2574038B1 (en) Image capturing apparatus, image processing apparatus, image processing method, and image processing program
KR101643122B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
US9167216B2 (en) Image processing apparatus, image capture apparatus and image processing method
EP2302903B1 (en) Image processing method, image processing apparatus, computer readable medium, and imaging apparatus
US9167168B2 (en) Image processing method, image processing apparatus, non-transitory computer-readable medium, and image-pickup apparatus
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
EP2342893B1 (en) Image processing method, image processing apparatus, and image pickup apparatus
JP5486298B2 (ja) 画像処理装置および画像処理方法
JP5997645B2 (ja) 画像処理装置及び方法、及び撮像装置
EP2536126B1 (en) Image processing apparatus, image processing method, and program
JP5222472B2 (ja) 画像処理装置、画像復元方法およびプログラム
US8385678B2 (en) Image restoration apparatus and method
EP1826721B1 (en) Calculating motion data from a sequence of multi-resolution images
JP4377932B2 (ja) パノラマ画像生成装置およびプログラム
KR101662846B1 (ko) 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법
RU2523965C2 (ru) Устройство обработки изображения, устройство захвата изображения, и способ обработки изображения
JP5132401B2 (ja) 画像処理装置及び画像処理方法
JP3935500B2 (ja) 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置
JP2013172213A (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
US9558543B2 (en) Image fusion method and image processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110912

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350