JP3855079B2 - 画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体 - Google Patents

画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体 Download PDF

Info

Publication number
JP3855079B2
JP3855079B2 JP2003295558A JP2003295558A JP3855079B2 JP 3855079 B2 JP3855079 B2 JP 3855079B2 JP 2003295558 A JP2003295558 A JP 2003295558A JP 2003295558 A JP2003295558 A JP 2003295558A JP 3855079 B2 JP3855079 B2 JP 3855079B2
Authority
JP
Japan
Prior art keywords
matrix
image
value
subject
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003295558A
Other languages
English (en)
Other versions
JP2005063323A (ja
Inventor
努 藤田
克彦 三島
淳 菅野
正巳 鐘ヶ江
京丈 内海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waseda University
Original Assignee
Waseda University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waseda University filed Critical Waseda University
Priority to JP2003295558A priority Critical patent/JP3855079B2/ja
Priority to PCT/JP2004/002646 priority patent/WO2005017829A1/ja
Publication of JP2005063323A publication Critical patent/JP2005063323A/ja
Application granted granted Critical
Publication of JP3855079B2 publication Critical patent/JP3855079B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体に係り、例えば、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理、あるいは単焦点レンズのピントのぼけを取り除く画像改質処理などに利用できる。
従来より、焦点距離の異なる二つのレンズ部を有する二焦点レンズが遠近両用コンタクトレンズとして使用されている。このような二焦点レンズにより構成されるコンタクトレンズを人間が装着した場合には、二つの各レンズ部により形成されるピントの合った画像とピントの合わない画像（いわゆるピンぼけ画像）とを人間が無意識のうちに選択し、ピントの合った画像のみを見るようにしていると考えられる。
ところで、このような二焦点レンズを、例えば携帯電話機や携帯情報端末等の情報端末装置に設ければ、焦点深度下限（例えば、０．３ｍ）から無限遠までの標準的な距離にある通常の被写体（例えば、人物や風景等）を、長い焦点距離を有する長焦点レンズ部により撮像し、一方、それよりも近い距離に配置された近接被写体（例えば、２次元バーコードや虹彩や文字等）を、短い焦点距離を有する短焦点レンズ部により撮像することにより、それぞれ高い解像度の画像を得ることができる。そして、このような二焦点レンズを備えた情報端末装置は、本願の発明者により、既に開発されている（特許文献１参照）。
しかし、二焦点レンズを備えた情報端末装置では、例えば液晶シャッタ等の光学シャッタを二焦点レンズと撮像素子との間に設けることにより長焦点レンズ部と短焦点レンズ部とを切替可能な構成とした場合等には、コントラストの高い画像を得ることができるものの、そのようなレンズ部の切替を行わない場合には、二つの各レンズ部により形成されるピントの合った画像とピントの合わない画像とが重なってしまうため、画像が不鮮明になるという問題がある。
この際、前述したように二焦点レンズを使用した遠近両用コンタクトレンズを人間が装着した場合には、ピントの合った画像とピントの合わない画像とを人間が無意識のうちに選択し、ピントの合った画像のみを見るようにしていると考えられるが、このような人間の脳内における画像の選択処理と類似の処理を、通常の携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度の性能を有する中央演算処理装置（ＣＰＵ）により短時間で実行できれば、情報端末装置の使い勝手や性能の向上を図ることができ、しかも低コストで実現できるので便利である。
また、このような処理を行うことができれば、携帯電話機や携帯情報端末等の携帯型の情報端末装置に二焦点レンズを設けた場合に限らず、広く一般的に二焦点レンズによる撮像を行う場合、例えば、パーソナル・コンピュータに二焦点レンズを有するカメラを接続した場合や、監視カメラとして二焦点レンズを用いる場合等においても、画像の質の改善が図られるため好都合である。
そこで、本願の発明者により、二焦点レンズで撮像された画像の質を短時間の処理で改善することができ、ピント合わせ機構を用いることなく、標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれもについても鮮明な画像を得ることができる画像改質処理装置が既に提案されている（特願２００３−３１７３４号参照）。
特開２００２−１２３８２５号公報（段落［０００７］、［０００８］、［００２７］、［００４２］、図３、要約）
ところで、前述した特願２００３−３１７３４号で提案されている画像改質処理装置では、全ての画素で同じ形状のぼけが発生すると仮定し、画像改質処理を行っている。すなわち、被写体の任意の１点から出た光が二焦点レンズの作用により撮像素子上で拡がる状態（ぼけの形状）は、被写体の別の１点から出た光が二焦点レンズの作用により撮像素子上で拡がる状態（ぼけの形状）と同じであると仮定している。
しかし、実際の二焦点レンズによる撮像では、全ての画素で完全に同じ形状のぼけとなることはない。従って、より画像改質効果を高めるためには、各画素で異なる形状のぼけが発生することを考慮した処理を行う必要がある。
また、二焦点レンズによる撮像を行う場合のみならず、単焦点レンズによる撮像を行う場合であっても、全ての画素について完全にピントが合うことはなく、ピンぼけを生じる画素があり、しかも各画素でのぼけの形状は、異なっているのが通常である。従って、このような単焦点レンズによるピントのぼけを取り除くことができれば便利である。
本発明の目的は、ぼけの形状が各画素で異なることを考慮した画像改質処理を行うことができ、画像改質効果をより一層高めることができる画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体を提供するところにある。
本発明は、レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理方法であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、被写体をレンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとし、被写体座標系の１点（ｍ，ｎ）から出た光の結像位置が画像座標系の１点（ｍ，ｎ）となるように被写体座標系および画像座標系を設定したとき、畳み込み演算処理を行うための座標（ｍ，ｎ）についての（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を、各座標（ｍ，ｎ）の全部または一部について、下式（Ａ−１）に基づき予め算出して畳み込み演算行列記憶手段に記憶しておき、被写体をレンズにより撮像した際に、再生演算手段により、畳み込み演算行列記憶手段に記憶された各要素Ｑm,n（ｘ，ｙ）のうちの少なくとも一部の値と画像の出力信号の行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用いて下式（Ａ−２）に基づき被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出することを特徴とするものである。
Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
（ｘ＝０，ｙ＝０の場合）
＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
（ｘ＝０，ｙ＝０以外の場合）
・・・・・・・・・・・・・・・・・・・・・・（Ａ−１）
Ａ（ｍ，ｎ）＝ΣxΣyＱm,n（ｘ，ｙ）Ｚ（ｍ＋ｘ，ｎ＋ｙ）
・・・・・・・・・・・・・・・・・・・・・・（Ａ−２）
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、Ｗm,n（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗm,nの各要素の値であり、この行列Ｗm,nは、被写体の１点（ｍ，ｎ）から出た光がレンズの作用により撮像素子上で拡がる状態を示すポイント・スプレッド・ファンクション行列であり、Ｗm,n（０，０）は、拡がりの中心部分に位置する画素の出力信号の値であり、Ｗm,n（−ｘ，−ｙ）は、周囲のぼけ部分に位置する画素の出力信号の値であり、ｐｏｗｅｒは、Ｗm,n（０，０）のべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。
また、「レンズ」は、二焦点レンズでもよく、単焦点レンズでもよい。
さらに、「撮像素子」としては、具体的には、例えば、相補性金属酸化膜半導体（ＣＭＯＳ：Complementary Metal-oxide Semiconductor）や電荷結合素子（ＣＣＤ：Charge Coupled Device）等を採用することができる。
そして、ｐｏｗｅｒの値は、Ｗm,n（０，０）の値に応じて決定すればよい。この際、Ｗm,n（０，０）の値が、０．５近傍（０．５を含む。以下、同様）のときには、ｐｏｗｅｒの値を２以外の値とする必要がある。より具体的には、Ｗm,n（０，０）の値が、０．５近傍のときには、ｐｏｗｅｒの値を１以上２未満とし、より好ましくは１とする。一方、Ｗm,n（０，０）の値が、０．５近傍以外のときには、１以上２以下とする。以下の発明においても、同様である。
また、「各座標（ｍ，ｎ）の全部または一部について」とは、畳み込み演算行列記憶手段に記憶させておく畳み込み演算行列Ｑm,nは、全ての座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nでもよく、一部の座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nのみでもよい趣旨である。但し、一部の座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nのみを記憶させる場合は、その記憶させる一部の座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nに基づき、計算により全ての座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nを求めることができることが前提となる。
さらに、「（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値」とは、座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nを畳み込み演算行列記憶手段に記憶させる際には、（２Ｍ−１）×（２Ｎ−１）個の全ての要素の値を記憶させておく必要はなく、非零要素を含む行列部分の値を記憶させておけばよい趣旨である。なお、前述した如く、式（Ａ−２）において、Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和であると説明されているが、これは、畳み込み演算行列記憶手段に（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を全て記憶させた場合の処理を意味し、一部分の値（非零要素を含む行列部分の値）のみを記憶させた場合には、その記憶させた分についての和とすればよい。以下の発明においても同様である。
このような本発明の画像改質処理方法においては、被写体をレンズにより撮像した際に、再生演算手段により、畳み込み演算行列記憶手段に記憶された畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）のうちの少なくとも一部の値と、撮像して得られた画像の出力信号の行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用い、前記式（Ａ−２）に基づき被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出する。
この際、再生演算手段による演算処理は、前記式（Ａ−１）に基づき予め算出されて畳み込み演算行列記憶手段に記憶された畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を用いて行われるので、Ｍ×Ｎ行Ｍ×Ｎ列の巨大逆変換行列Ｔg -1を用いて演算処理を行う場合に比べ、非常に少ない計算量で、被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出することが可能となる。
つまり、被写体の行列Ａの要素数は、Ｍ×Ｎ個であり、画像の出力信号の行列Ｚの要素数も、Ｍ×Ｎ個である。従って、被写体の行列Ａの各要素に対応する各座標から出た光が、画像の出力信号の行列Ｚの各要素に対応する画素に影響を与えるものと考えると、この対応関係（被写体の行列Ａの各要素の値から画像の出力信号の行列Ｚの各要素の値を導く関係）は、Ｍ×Ｎ行Ｍ×Ｎ列の巨大変換行列Ｔgを用いて示すことができるので、このＭ×Ｎ行Ｍ×Ｎ列の巨大変換行列Ｔgの逆行列Ｔg -1を求めることができれば、この巨大逆変換行列Ｔg -1を用いて、逆に、画像の出力信号の行列Ｚの各要素の値から被写体の行列Ａの各要素の値を導くことができる。しかし、Ｍ×Ｎ行Ｍ×Ｎ列の巨大逆変換行列Ｔg -1を用いた演算処理は、計算量が多いので、例えば、通常の携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度の性能を有する中央演算処理装置（ＣＰＵ）では、短時間での処理が困難であるため、現実的ではない。
これに対し、本発明では、再生演算手段による演算処理は、計算量が非常に少ないので、ＣＰＵに要求される性能の条件が緩和される。従って、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度のＣＰＵの能力でも短時間の処理で実行することが可能である。このため、携帯型の情報端末装置に本発明を適用すれば、画像改質機能を備えた携帯型の情報端末装置を実現でき、情報端末装置の使い勝手や性能の向上を図ることができるようになる。
また、畳み込み演算行列記憶手段には、各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nが記憶されているので、再生演算手段により、ぼけの形状が各画素で異なることを考慮した画像改質処理を行うことが可能となる。このため、全ての画素で同じ形状のぼけが発生すると仮定した画像改質処理を行う場合に比べ、画像改質効果をより一層高めることができるようになり、これらにより前記目的が達成される。
また、前述した画像改質処理方法において、各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nのうち、光軸位置から一方向に延びる直線上に並ぶ座標についての畳み込み演算行列Ｑm,nをサンプリング行列として選択し、畳み込み演算行列記憶手段には、サンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のみを記憶させておき、その他の座標についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値は、畳み込み演算行列回転算出手段により、レンズの軸対称を利用して、サンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値の配置を光軸位置を中心として回転させることにより算出することが望ましい。
このように畳み込み演算行列記憶手段にサンプリング行列Ｑm,nのみを記憶させ、その他の畳み込み演算行列Ｑm,nについてはサンプリング行列Ｑm,nを回転させて算出するようにした場合には、畳み込み演算行列記憶手段に記憶させるデータ量を減らすことが可能となる。
さらに、上記のように畳み込み演算行列記憶手段にサンプリング行列Ｑm,nのみを記憶させ、その他の畳み込み演算行列Ｑm,nについてはサンプリング行列Ｑm,nを回転させて算出するようにした場合において、畳み込み演算行列回転算出手段によりその他の座標についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を算出する際には、サンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値の配置を回転させたときに、算出対象となる畳み込み演算行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）に対応する第一区画領域の所定位置に重なる回転後のサンプリング行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）に対応する第二区画領域を求め、求めた第二区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を、算出対象となる畳み込み演算行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）の値として採用するか、または、第二区画領域の所定位置が重なっている第一区画領域を求め、求めた第一区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値として、この第一区画領域に所定位置が重なっている第二区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を採用することが望ましい。
ここで、「第一区画領域の所定位置」および「第二区画領域の所定位置」は、求める各要素Ｑm,n（ｘ，ｙ）の値を厳密値に近づけるという観点から、それぞれ第一区画領域の中央位置および第二区画領域の中央位置とすることが好ましいが、これに限定されるものではなく、例えば、第一区画領域および第二区画領域の角部や辺部等であってもよい。
このように第一区画領域の所定位置に重なる第二区画領域、または第二区画領域の所定位置が重なっている第一区画領域を求め、サンプリング行列Ｑm,n以外の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を算出決定するようにした場合には、第一区画領域に重なる各第二区画領域の面積割合に基づき各第二区画領域に対応する各要素Ｑm,n（ｘ，ｙ）の値を加重平均することにより第一区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を厳密に算出する場合（図１０参照）に比べ、処理内容が簡単になり、処理時間の短縮が図られる。
そして、以上に述べた画像改質処理方法において、レンズは、二焦点レンズであり、行列Ｚは、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像の出力信号を示す行列であり、ポイント・スプレッド・ファンクション行列Ｗm,nは、主として一方のレンズ部の作用によりＷm,n（０，０）の値が定まり、主として他方のレンズ部の作用によりＷm,n（−ｘ，−ｙ）の値が定まるようにしてもよい。
ここで、「二焦点レンズ」とは、標準的な距離（焦点深度下限（例えば、０．３ｍ）から無限遠までの距離）にある通常の被写体（例えば、人物や風景等）を撮像するための長い焦点距離を有する長焦点レンズ部と、標準的な距離にある被写体よりも近距離にある近接被写体（例えば、２次元バーコードや虹彩や文字等）を撮像するための短い焦点距離を有する短焦点レンズ部とが、同一の面に一体化されて形成された撮像レンズである。なお、長焦点レンズ部と短焦点レンズ部とを別部材により別々に形成してから一体化してもよく、あるいは、一つの部材を用いて長焦点レンズ部および短焦点レンズ部を加工して形成してもよい。また、同一の面は、撮像レンズの光軸に直交する面であることが最も好ましい。
また、「一方のレンズ部」とは、ピントの合った画像を形成するレンズ部であり、標準的な距離にある通常の被写体を撮像する際には、長焦点レンズ部が該当し、通常の被写体よりも近距離にある近接被写体を撮像する際には、短焦点レンズ部が該当する。これに対し、「他方のレンズ部」とは、ピントのぼけた画像を形成するレンズ部であり、標準的な距離にある通常の被写体を撮像する際には、短焦点レンズ部が該当し、通常の被写体よりも近距離にある近接被写体を撮像する際には、長焦点レンズ部が該当する。
さらに、「二焦点レンズ」を構成する長焦点レンズ部の正面形状（レンズの光軸に沿う方向から見た形状）は、円形、楕円形、または多角形のいずれかであり、短焦点レンズ部の正面形状は、環状であり、短焦点レンズ部は、長焦点レンズ部の外側に配置され、かつ、長焦点レンズ部と同心に配置（各レンズ部の光軸同士が一致する状態で配置）されていることが、構造の簡易化、製造の容易化、質の高い画像の取得の容易化、解読精度の向上等の観点から望ましく、特に、長焦点レンズ部の正面形状を円形とし、短焦点レンズ部の正面形状を円環状とした同心円型構造とすると、極めて好ましい結果が得られる。なお、長焦点レンズ部と短焦点レンズ部との配置関係を逆にし（従って、正面形状を逆にし）、短焦点レンズ部を内側に長焦点レンズ部を外側に配置するようにしてもよい。
そして、「主として一方のレンズ部の作用によりＷm,n（０，０）の値が定まり、主として他方のレンズ部の作用によりＷm,n（−ｘ，−ｙ）の値が定まる」という意味は、ピントの合った画像を形成する一方のレンズ部の作用により、多少のぼけが形成され、それがＷm,n（−ｘ，−ｙ）の値に影響することがあり、また、ピントのぼけた画像を形成する他方のレンズ部の正面形状（要するに、ぼけの形状）次第では、他方のレンズ部の作用によるピントのぼけがＷm,n（０，０）の値に影響することがあることを意味する。
このように本発明を二焦点レンズに適用した場合には、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理を、短時間の処理で実現可能となり、ピント合わせ機構を用いることなく、標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれもについても鮮明な画像を得ることができるようになる。
また、以上に述べた本発明の画像改質処理方法を実現する画像改質処理装置として、以下のような本発明の画像改質処理装置を挙げることができる。
すなわち、本発明は、レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理装置であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、被写体をレンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとし、被写体座標系の１点（ｍ，ｎ）から出た光の結像位置が画像座標系の１点（ｍ，ｎ）となるように被写体座標系および画像座標系を設定したとき、各座標（ｍ，ｎ）の全部または一部について、下式（Ｂ−１）に基づき算出された畳み込み演算処理を行うための座標（ｍ，ｎ）についての（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、この畳み込み演算行列記憶手段に記憶された各要素Ｑm,n（ｘ，ｙ）のうちの少なくとも一部の値と画像の出力信号の行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用いて下式（Ｂ−２）に基づき被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出する再生演算手段とを備えたことを特徴とするものである。
Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
（ｘ＝０，ｙ＝０の場合）
＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
（ｘ＝０，ｙ＝０以外の場合）
・・・・・・・・・・・・・・・・・・・・・・（Ｂ−１）
Ａ（ｍ，ｎ）＝ΣxΣyＱm,n（ｘ，ｙ）Ｚ（ｍ＋ｘ，ｎ＋ｙ）
・・・・・・・・・・・・・・・・・・・・・・（Ｂ−２）
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、Ｗm,n（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗm,nの各要素の値であり、この行列Ｗm,nは、被写体の１点（ｍ，ｎ）から出た光がレンズの作用により撮像素子上で拡がる状態を示すポイント・スプレッド・ファンクション行列であり、Ｗm,n（０，０）は、拡がりの中心部分に位置する画素の出力信号の値であり、Ｗm,n（−ｘ，−ｙ）は、周囲のぼけ部分に位置する画素の出力信号の値であり、ｐｏｗｅｒは、Ｗm,n（０，０）のべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。
このような本発明の画像改質処理装置においては、前述した本発明の画像改質処理方法で得られる作用・効果がそのまま得られ、これにより前記目的が達成される。
また、前述した画像改質処理装置において、畳み込み演算行列記憶手段には、各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nのうち光軸位置から一方向に延びる直線上に並ぶ座標についての畳み込み演算行列Ｑm,nがサンプリング行列として選択されてこのサンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のみが記憶され、その他の座標についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を、レンズの軸対称を利用して、サンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値の配置を光軸位置を中心として回転させることにより算出する畳み込み演算行列回転算出手段を備えた構成とすることが望ましい。
さらに、上記のように畳み込み演算行列回転算出手段を備えた構成とする場合において、畳み込み演算行列回転算出手段は、サンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値の配置を回転させたときに、算出対象となる畳み込み演算行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）に対応する第一区画領域の所定位置に重なる回転後のサンプリング行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）に対応する第二区画領域を求め、求めた第二区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を、算出対象となる畳み込み演算行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）の値として採用するか、または、第二区画領域の所定位置が重なっている第一区画領域を求め、求めた第一区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値として、この第一区画領域に所定位置が重なっている第二区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を採用する構成とされていることが望ましい。
そして、以上に述べた画像改質処理装置において、レンズは、二焦点レンズであり、行列Ｚは、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像の出力信号を示す行列であり、ポイント・スプレッド・ファンクション行列Ｗm,nは、主として一方のレンズ部の作用によりＷm,n（０，０）の値が定まり、主として他方のレンズ部の作用によりＷm,n（−ｘ，−ｙ）の値が定まる構成としてもよい。
また、本発明は、レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理装置として、コンピュータを機能させるためのプログラムであって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、被写体をレンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとし、被写体座標系の１点（ｍ，ｎ）から出た光の結像位置が画像座標系の１点（ｍ，ｎ）となるように被写体座標系および画像座標系を設定したとき、各座標（ｍ，ｎ）の全部または一部について、下式（Ｃ−１）に基づき算出された畳み込み演算処理を行うための座標（ｍ，ｎ）についての（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、この畳み込み演算行列記憶手段に記憶された各要素Ｑm,n（ｘ，ｙ）のうちの少なくとも一部の値と画像の出力信号の行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用いて下式（Ｃ−２）に基づき被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出する再生演算手段とを備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのものである。
Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
（ｘ＝０，ｙ＝０の場合）
＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
（ｘ＝０，ｙ＝０以外の場合）
・・・・・・・・・・・・・・・・・・・・・・（Ｃ−１）
Ａ（ｍ，ｎ）＝ΣxΣyＱm,n（ｘ，ｙ）Ｚ（ｍ＋ｘ，ｎ＋ｙ）
・・・・・・・・・・・・・・・・・・・・・・（Ｃ−２）
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、Ｗm,n（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗm,nの各要素の値であり、この行列Ｗm,nは、被写体の１点（ｍ，ｎ）から出た光がレンズの作用により撮像素子上で拡がる状態を示すポイント・スプレッド・ファンクション行列であり、Ｗm,n（０，０）は、拡がりの中心部分に位置する画素の出力信号の値であり、Ｗm,n（−ｘ，−ｙ）は、周囲のぼけ部分に位置する画素の出力信号の値であり、ｐｏｗｅｒは、Ｗm,n（０，０）のべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。
なお、上記のプログラムまたはその一部は、例えば、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ）を利用した読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）、デジタル・バーサタイル・ディスク（ＤＶＤ）を利用した読出し専用メモリ（ＤＶＤ−ＲＯＭ）、ＤＶＤを利用したランダム・アクセス・メモリ（ＤＶＤ−ＲＡＭ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等の記録媒体に記録して保存や流通等させることが可能であるとともに、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等の有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に載せて搬送することも可能である。さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。
さらに、本発明は、レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理で使用されるデータを記録したコンピュータ読取り可能なデータ記録媒体であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、被写体をレンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとし、被写体座標系の１点（ｍ，ｎ）から出た光の結像位置が画像座標系の１点（ｍ，ｎ）となるように被写体座標系および画像座標系を設定したとき、行列Ｚから行列Ａを算出するために用いる行列として、各座標（ｍ，ｎ）の全部または一部について、下式（Ｄ−１）に基づき算出された畳み込み演算処理を行うための座標（ｍ，ｎ）についての（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記録したものである。
Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
（ｘ＝０，ｙ＝０の場合）
＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
（ｘ＝０，ｙ＝０以外の場合）
・・・・・・・・・・・・・・・・・・・・・・（Ｄ−１）
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、Ｗm,n（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗm,nの各要素の値であり、この行列Ｗm,nは、被写体の１点（ｍ，ｎ）から出た光がレンズの作用により撮像素子上で拡がる状態を示すポイント・スプレッド・ファンクション行列であり、Ｗm,n（０，０）は、拡がりの中心部分に位置する画素の出力信号の値であり、Ｗm,n（−ｘ，−ｙ）は、周囲のぼけ部分に位置する画素の出力信号の値であり、ｐｏｗｅｒは、Ｗm,n（０，０）のべき乗数となる実数で、１≦ｐｏｗｅｒ≦２である。
なお、上記の本発明のデータ記録媒体としては、例えば、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ）を利用した読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）、デジタル・バーサタイル・ディスク（ＤＶＤ）を利用した読出し専用メモリ（ＤＶＤ−ＲＯＭ）、ＤＶＤを利用したランダム・アクセス・メモリ（ＤＶＤ−ＲＡＭ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、あるいはこれらの組合せ等を採用することができる。
以上に述べたように本発明によれば、再生演算手段により、畳み込み演算行列記憶手段に記憶された畳み込み演算行列Ｑm,nを用いて画像改質処理を行うので、Ｍ×Ｎ行Ｍ×Ｎ列の巨大逆変換行列Ｔg -1を用いて演算処理を行う場合に比べ、非常に少ない計算量で、被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出することができるうえ、畳み込み演算行列記憶手段には各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nが記憶されているので、再生演算手段により、ぼけの形状が各画素で異なることを考慮した画像改質処理を行うことができ、全ての画素で同じ形状のぼけが発生すると仮定した画像改質処理を行う場合に比べ、画像改質効果をより一層高めることができるという効果がある。
以下に本発明の一実施形態について図面を参照して説明する。図１には、本実施形態の画像改質処理装置３０を含む撮像システム１０の全体構成が示されている。また、図２には、画像改質処理装置３０による処理対象となる画像を形成する二焦点レンズ２１の詳細構成が示されている。撮像システム１０は、例えば、携帯電話機や携帯情報端末等の携帯型の情報端末装置に設けられた撮像システム、あるいはパーソナル・コンピュータおよびそれに接続されたカメラにより構成される撮像システム等である。
図１において、撮像システム１０は、被写体を撮像する撮像機構２０と、この撮像機構２０により撮像された画像の質を改善する画像改質処理装置３０と、この画像改質処理装置３０により質の改善を行った画像を表示する表示手段４０とを備えている。
撮像機構２０は、被写体を撮像する二焦点レンズ２１と、この二焦点レンズ２１により形成された画像を取り込む撮像素子２４とを含んで構成されている。
図２において、二焦点レンズ２１は、例えばガラス製の長焦点レンズ部２２と、例えばガラス製の短焦点レンズ部２３とにより構成され、これらの長焦点レンズ部２２および短焦点レンズ部２３は、同一の面に配置されて一体化されている。長焦点レンズ部２２は、例えば円形の正面形状を有し、中心に配置され、一方、短焦点レンズ部２３は、例えば円環状（ドーナツ型）の正面形状を有し、長焦点レンズ部２２の外側に長焦点レンズ部２２の外縁部に接する状態で配置されている。そして、これらの長焦点レンズ部２２および短焦点レンズ部２３は、両者の光軸が一致するように、すなわち同心に配置されて一体化され、これにより二焦点レンズ２１は、同心円型の二焦点レンズとなっている。また、これらの各レンズ部２２，２３が配置された面は、二焦点レンズ２１の光軸に直交している。
ここで、長焦点レンズ部２２は、焦点深度下限（例えば、０．３ｍ）から無限遠までの標準的な距離にある通常の被写体（例えば、人物や風景等）を撮像するのに適した長い焦点距離を有するレンズ部である。一方、短焦点レンズ部２３は、通常の被写体よりも近い距離に配置された近接被写体（例えば、２次元バーコードや虹彩や文字等）を撮像するのに適した短い焦点距離を有するレンズ部である。なお、長焦点レンズ部と短焦点レンズ部との配置関係を逆にし、長焦点レンズ部を外側に、短焦点レンズ部を内側に配置してもよい。
撮像素子２４としては、例えば、相補性金属酸化膜半導体（ＣＭＯＳ：Complementary Metal-oxide Semiconductor）や電荷結合素子（ＣＣＤ：Charge Coupled Device）等を採用することができる。撮像素子２４の大きさは、縦方向Ｍ画素×横方向Ｎ画素であるものとする。
画像改質処理装置３０は、出力信号記憶手段３１と、標準画像再生用の畳み込み演算行列記憶手段３２と、接写画像再生用の畳み込み演算行列記憶手段３３と、回転情報記憶手段３４と、畳み込み演算行列回転算出手段３５と、再生演算手段３６と、切替操作手段３７とを備えている。
出力信号記憶手段３１は、撮像素子２４の出力信号を引き出して記憶するものである。
標準画像再生用の畳み込み演算行列記憶手段３２は、標準的な距離にある通常の被写体（例えば、人物や風景等）を二焦点レンズ２１により撮像する場合、従って、本実施形態では、内側の長焦点レンズ部２２によりピントの合った画像が形成され、外側の環状の短焦点レンズ部２３によりピントのぼけた画像が形成される場合に、ピントの合った画像を求める再生演算処理に用いられる畳み込み演算行列Ｑm,n（図６参照）を記憶するものである。
接写画像再生用の畳み込み演算行列記憶手段３３は、通常の被写体よりも近い距離に配置された近接被写体（例えば、２次元バーコードや虹彩や文字等）を撮像する場合、従って、本実施形態では、外側の環状の短焦点レンズ部２３によりピントの合った画像が形成され、内側の長焦点レンズ部２２によりピントのぼけた画像が形成される場合に、ピントの合った画像を求める再生演算処理に用いられる畳み込み演算行列Ｑm,nを記憶するものである。なお、この場合のポイント・スプレッド・ファンクション行列Ｗm,nにおけるぼけ部分の形状は、後述する図５のようなリング状とはならず、略中実円形状または略中実楕円形状（内部が非零要素で埋まった状態）となるので（後述する図１３のぼけ部分８３参照）、畳み込み演算行列Ｑm,nについても、ぼけ部分に対応する部分の形状は、後述する図６のようなリング状とはならず、略中実円形状または略中実楕円形状（内部が非零要素で埋まった状態）となる。
そして、標準画像再生用および接写画像再生用の畳み込み演算行列記憶手段３２，３３は、後述する式（１８）に基づき予め算出された各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,n（図４参照）の各要素Ｑm,n（ｘ，ｙ）の値のうちの少なくとも一部を、ｘ，ｙの並び順に従って表の如く整列させて記憶するものである。少なくとも一部であるから、全部を記憶しておいてもよいが、計算容量およびメモリ容量を小さくするため、非零要素を含む行列部分（図４の行列部分Ｈ）のみを記憶しておくことが好ましい。従って、ここでは、非零要素を含む行列部分Ｈのみを記憶するものとして説明を行う。
また、標準画像再生用および接写画像再生用の畳み込み演算行列記憶手段３２，３３は、各座標（ｍ，ｎ）の全部についての畳み込み演算行列Ｑm,n（つまり、Ｍ×Ｎ個のＱm,n）を記憶するのではなく、二焦点レンズ２１の軸対称性を考慮し、一部の座標（一直線上に並ぶ座標）についての畳み込み演算行列Ｑm,nのみをサンプリング行列として記憶する。本実施形態では、一例として、後述する図８のライン６０上に並ぶ各座標についての畳み込み演算行列Ｑm,nのみを記憶するものとする。従って、本実施形態では、サンプリング行列として記憶する畳み込み演算行列Ｑm,nの分布が上下対称になるので、上記の非零要素を含む行列部分Ｈのうち、更に半分（例えば、上側半分）のみを記憶する。
回転情報記憶手段３４は、畳み込み演算行列記憶手段３２，３３に記憶されたサンプリング行列としての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値の配置を回転させてサンプリング行列以外の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を算出決定するときに用いる回転情報を記憶するものである。この回転情報は、求める畳み込み演算行列Ｑm,n（サンプリング行列以外の畳み込み演算行列Ｑm,n）の全て（但し、軸対称性を考慮すると、全座標の１／４でよい。）について用意され、求める畳み込み演算行列Ｑm,nの座標（ｍ，ｎ）についての中心座標（Ｍ／２，Ｎ／２）からの距離ｒおよび角度θにより構成される（図１２参照）。角度θとは、サンプリング行列Ｑm,nの座標（ｍ，ｎ）が並ぶ直線（後述する図８のライン６０）に対し、求める畳み込み演算行列Ｑm,nの座標（ｍ，ｎ）と中心座標（Ｍ／２，Ｎ／２）とを結ぶ直線がなす角度である。
畳み込み演算行列回転算出手段３５は、畳み込み演算行列記憶手段３２，３３に記憶されたサンプリング行列としての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値と、回転情報記憶手段３４に記憶された回転情報とを用いて、サンプリング行列以外の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を算出決定する処理を行うものである。
再生演算手段３６は、被写体を再生する演算処理を行うものであり、畳み込み演算行列記憶手段３２，３３に記憶されたサンプリング行列としての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値（行列部分Ｈの各値）、または畳み込み演算行列回転算出手段３５により算出決定されたサンプリング行列以外の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値と、出力信号記憶手段３１に記憶された画像の出力信号を示す行列Ｚの各要素Ｚ（ｍ，ｎ）の値とを用い、後述する式（１９）に基づき、被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出する処理を行うものである。なお、畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）のうちの非零要素を含む行列部分（図４の行列部分Ｈ）以外の部分、すなわち、畳み込み演算行列記憶手段３２，３３に記憶されない部分については、零要素であるので、計算は行われない。
切替操作手段３７は、畳み込み演算行列回転算出手段３５および再生演算手段３６による演算処理で、畳み込み演算行列記憶手段３２，３３のいずれのデータを用いるか、すなわち通常の被写体か近接被写体のいずれを撮像するのかを切替選択するための操作を行うものであり、例えば押ボタン式、トグル式、スライド式のスイッチ等である。
出力信号記憶手段３１、畳み込み演算行列記憶手段３２，３３、および回転情報記憶手段３４としては、例えば、ハードディスク、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用することができる。
畳み込み演算行列回転算出手段３５および再生演算手段３６は、撮像システム１０を構成する各種の情報端末装置（例えば、携帯電話機や携帯情報端末等の携帯型の情報端末装置、あるいはカメラを接続したパーソナル・コンピュータ、監視カメラ装置等）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
表示手段４０としては、例えば、液晶ディスプレイ、ＣＲＴディスプレイ、プロジェクタおよびスクリーン、あるいはこれらの組合せ等を採用することができる。
以下には、畳み込み演算行列記憶手段３２，３３に記憶される畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の算出方法およびその根拠、並びに再生演算手段３６により行われる演算処理の根拠を説明する。
前提条件として、ここでは、標準的な距離にある通常の被写体（例えば、人物や風景等）を二焦点レンズ２１により撮像する場合、従って、内側の長焦点レンズ部２２によりピントの合った画像が形成され、外側の環状の短焦点レンズ部２３によりピントのぼけた画像が形成される場合の説明を行うものとする。但し、本発明の適用は、このような場合に限定されるものではない。
先ず、被写体と画像に関する基本的な事項について説明を行う。図３は、被写体と、この被写体を二焦点レンズ２１により撮像して得られる画像との関係の説明図である。なお、レンズによって形成される像は、一般には倒立像であるため、図３では、物体と像とで座標軸の向きを逆にとることにより、互いに対応する物体の位置と像の位置とが同じ座標になるようにしている。ここでは、図３に示すように、ｓ軸（縦軸）とｔ軸（横軸）とにより構成される被写体座標系（ｓ，ｔ）、およびｈ軸（縦軸）とｋ軸（横軸）とにより構成される画像座標系（ｈ，ｋ）を設定するものとする。
また、撮像素子２４の縦方向の画素数をＭとし、横方向の画素数をＮとする。このとき、被写体の各点（ｓ，ｔ）（被写体座標系における座標（ｓ，ｔ）の部分）がそれぞれＡ（ｓ，ｔ）の明るさを持つとすると、被写体の発する光の全体は、ｓ行ｔ列（ｓおよびｔは自然数、１≦ｓ≦Ｍ、１≦ｔ≦Ｎ）にＡ（ｓ，ｔ）の値の要素を持つＭ×Ｎ（Ｍ行Ｎ列）の行列Ａで表現できる（図４参照）。これを被写体行列Ａと呼ぶものとする。
一方、撮像素子２４上の各点（ｈ，ｋ）（画像座標系における座標（ｈ，ｋ）に位置する画素）の出力信号の大きさがそれぞれＺ（ｈ，ｋ）であるとすると、被写体を二焦点レンズ２１により撮像して得られる画像全体は、ｈ行ｋ列（ｈおよびｋは自然数、１≦ｈ≦Ｍ、１≦ｋ≦Ｎ）にＺ（ｈ，ｋ）の値の要素を持つＭ×Ｎ（Ｍ行Ｎ列）の行列Ｚで表現できる（図４参照）。これを画像行列Ｚと呼ぶものとする。
＜単一輝点の像による二焦点レンズ２１の特性の表現＞
図３に示すように、１点（座標（ｍ，ｎ））のみに輝点のある被写体を二焦点レンズ２１で撮像すると、撮像素子２４上には、座標（ｍ，ｎ）を拡がりの中心として、内側の長焦点レンズ部２２により形成されるピントの合った像と、外側の環状の短焦点レンズ部２３により形成される環状のボケ画像とが重なった像が形成される。ここで、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎ、但し、ＭおよびＮは撮像素子２４の縦横の画素数である。また、被写体上の座標（ｍ，ｎ）とは、撮像素子２４上の座標（ｍ，ｎ）に投影される被写体上の対応する点を意味する。つまり、被写体座標系（ｓ，ｔ）における１点（ｍ，ｎ）から出た光は、画像座標系（ｈ，ｋ）における同じ数値で示される点（ｍ，ｎ）に結像するようになっている。
ここで、画像座標系において、図３に示すように、座標（ｍ，ｎ）を中心としてｈ軸（縦軸）およびｋ軸（横軸）にそれぞれ平行なｘ軸（縦軸）およびｙ軸（横軸）をとり、これらのｘ軸とｙ軸とにより構成される座標系を設定する。この座標系（ｘ，ｙ）は、被写体上の単一輝点（座標（ｍ，ｎ））が動けば、これに対応する撮像素子２４上の座標（ｍ，ｎ）も動くので、各座標（ｍ，ｎ）についてそれぞれ設定される相対座標系である。
そして、相対座標系（ｘ，ｙ）における各点（ｘ，ｙ）に位置する画素の出力信号の大きさをＷm,n（ｘ，ｙ）とすると、被写体の１点（ｍ，ｎ）から出た光が二焦点レンズ２１の作用により撮像素子２４上で拡がる状態（ＰＳＦ：Point Spread Function）は、Ｗm,n（ｘ，ｙ）の値を要素に持つ（２Ｍ−１）行（２Ｎ−１）列の行列Ｗm,nで表現できる（図４参照）。これを座標（ｍ，ｎ）についてのポイント・スプレッド・ファンクション（ＰＳＦ）行列と呼ぶものとする。
なお、Ｗm,n（ｘ，ｙ）の値を全てのｘ，ｙ（ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１））について合計した値は、被写体の１点（ｍ，ｎ）から出た光の総量であり、この合計値が１になるように各要素Ｗm,n（ｘ，ｙ）の値を正規化しておく。
また、ＰＳＦ行列Ｗm,nを（２Ｍ−１）行（２Ｎ−１）列の行列、つまり被写体行列Ａや画像行列Ｚの略４倍の要素数を持つ行列としているのは、被写体の端部の１点（例えば、座標（１，１）の点とする。）から出た光が、撮像素子２４上において、対応する端部の１点（１，１）を中心として、対角方向の反対側の端部の１点（Ｍ，Ｎ）まで含めて全体的に拡がる状態を示すためである。但し、実際には、ぼけの部分が撮像素子２４上における対角方向の一方の端部から他方の端部まで広範に拡がることはなく、図４に示すように、（２Ｍ−１）行（２Ｎ−１）列のＰＳＦ行列Ｗm,nの各要素Ｗm,n（ｘ，ｙ）のうち、非零要素を含む部分は、Ｗm,n（０，０）を含む一部の行列部分Ｅのみである。
＜被写体行列Ａから画像行列Ｚを導くための畳み込み演算＞
図４は、被写体行列Ａと画像行列Ｚとの変換関係の説明図である。一般に、被写体行列Ａから画像行列Ｚを求める演算は、単純な行列演算ではなく、次の式（１）で示されるＰＳＦ行列Ｗm,nを用いた畳み込み演算となる。
Ｚ（ｍ，ｎ）＝ΣxΣy｛Ｗm+x,n+y（−ｘ，−ｙ）＊Ａ（ｍ＋ｘ，ｎ＋ｙ）｝
＝Ｗm,n（０，０）＊Ａ（ｍ，ｎ）
＋Σx,y｛Ｗm+x,n+y（−ｘ，−ｙ）＊Ａ（ｍ＋ｘ，ｎ＋ｙ）｝
・・・・・（１）
ここで、Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。また、Σx,yは、（ｘ，ｙ）＝（０，０）の点を除く全てのｘ，ｙについての和である。但し、ΣxおよびΣy並びにΣx,yは、ＰＳＦ行列Ｗm+x,n+y（−ｘ，−ｙ）のうちの非零要素を含む行列部分Ｅ（図４参照）のみの和を考えればよい。なお、上記式（１）では、光量の単位および画像の出力信号の単位を適当にとることにより、光量と画像の出力信号との変換係数を１としている。
また、上記式（１）の下側右辺は、上側右辺を、（ｘ，ｙ）＝（０，０）の点と、それ以外の点とに分けたものである。
ところで、Ｚ（ｍ，ｎ）は、撮像素子２４上の点（ｍ，ｎ）に位置する画素の出力信号の値であるが、この点（ｍ，ｎ）には、被写体上の対応する点（ｍ，ｎ）からのピントの合った光だけではなく、その点の周辺、すなわち、被写体座標系（ｓ，ｔ）で考えたとき、ｓ方向についてｘピクセルに対応する距離、ｔ方向についてｙピクセルに対応する距離だけ離れた点（ｍ＋ｘ，ｎ＋ｙ）からのピントのぼけた光も集まる。従って、Ｚ（ｍ，ｎ）の値は、被写体上の１点（ｍ，ｎ）から出た明るさＡ（ｍ，ｎ）の光による出力信号Ｗm,n（０，０）＊Ａ（ｍ，ｎ）の値のみならず、この値に、その周辺の点（ｍ＋ｘ，ｎ＋ｙ）から出た明るさＡ（ｍ＋ｘ，ｎ＋ｙ）の光による出力信号Ｗm+x,n+y（−ｘ，−ｙ）＊Ａ（ｍ＋ｘ，ｎ＋ｙ）の値を加えた値となる。そして、上記式（１）の下側右辺は、そのことを意味している。
従って、上記式（１）とは逆に、画像行列Ｚから被写体行列Ａを導くためには、上記式（１）におけるＰＳＦ行列Ｗm,nに相当するような畳み込み演算処理を行うための畳み込み演算行列Ｑm,nを求めることができればよい。しかし、このような畳み込み演算行列Ｑm,nは、逆行列を求める場合のように簡単にＰＳＦ行列Ｗm,nから求めることはできない。
＜被写体行列Ａと画像行列Ｚとの変換を行うための巨大行列の検討＞
一方、被写体行列Ａの要素数は、Ｍ×Ｎ個であり、画像行列Ｚの要素数も、Ｍ×Ｎ個である。従って、Ｍ行Ｎ列の被写体行列Ａの各要素を縦一列に並べてＭ×Ｎ個の要素数の巨大ベクトル（縦ベクトル）Ａgとし、Ｍ行Ｎ列の画像行列Ｚの各要素を縦一列に並べてＭ×Ｎ個の要素数の巨大ベクトル（縦ベクトル）Ｚgとすれば、これらの巨大ベクトルＡgからＺgへの変換関係は、Ｍ×Ｎ行Ｍ×Ｎ列の巨大変換行列Ｔgを用いて、次の式（２）のように表わすことができる。
Ｚg＝ＴgＡg ・・・・・・・・・・・・・・・・・・・・・・・・・・・（２）
従って、上記式（２）における巨大変換行列Ｔgの逆行列Ｔg -1を求めることができれば、巨大ベクトルＺgからＡgへの変換関係は、巨大逆変換行列Ｔg -1を用いて、次の式（３）のように表わすことができる。
Ａg＝Ｔg -1Ｚg ・・・・・・・・・・・・・・・・・・・・・・・・・・（３）
このため、巨大逆変換行列Ｔg -1を予め求めておき、被写体の撮像時に、上記式（３）の演算を行えば、巨大ベクトルＡgの各要素の値、すなわち被写体行列Ａの各要素の値を求めることができ、被写体を再現することができる。
しかし、Ｍ×Ｎ行Ｍ×Ｎ列の巨大逆変換行列Ｔg -1を用いた演算処理は、計算量が多いので、例えば、通常の携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度の性能を有する中央演算処理装置（ＣＰＵ）では、短時間での処理が困難であるため、現実的ではない。例えば、通常の画像であるＶＧＡ（Video Graphics array）では、Ｍ＝６４０画素、Ｎ＝４８０画素として、画素数Ｍ×Ｎは、約３０万個であるため、巨大逆変換行列Ｔg -1は、行数および列数とも画素数の約３０万個となり、その大きさ（要素数）は、画素数の２乗で（Ｍ×Ｎ）2≒９００億個となる。
そこで、以下では、上記式（３）による演算に比べ、少ない計算量で被写体を再生できるようにするため、画像行列Ｚから被写体行列Ａを導くための畳み込み演算行列Ｑm,nを求めることにする。
＜画像行列Ｚから被写体行列Ａを導くための畳み込み演算＞
先ず、前述した式（１）の下側右辺の第２項を左辺に移項した後、左辺と右辺を入れ替えると、次の式（４）のようになる。
Ｗm,n（０，０）＊Ａ（ｍ，ｎ）
＝Ｚ（ｍ，ｎ）−Σx,y｛Ｗm+x,n+y（−ｘ，−ｙ）＊Ａ（ｍ＋ｘ，ｎ＋ｙ）｝
・・・・・（４）
上記式（４）の簡易な近似方法として、次のような近似を行うことができる。すなわち、第１ステップでは、被写体と、撮像された画像が大きく変わらないと仮定し、Ａ（ｍ＋ｘ，ｎ＋ｙ）をＺ（ｍ＋ｘ，ｎ＋ｙ）で近似する。この結果、上記式（４）は、次の式（５）のようになる。
Ｗm,n（０，０）＊Ａ（ｍ，ｎ）
＝Ｚ（ｍ，ｎ）−Σx,y｛Ｗm+x,n+y（−ｘ，−ｙ）＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）｝
・・・・・（５）
続いて、第２ステップでは、各点でのボケの状態は、近所の点どうしでは似ていると仮定し、Ｗm+x,n+y（−ｘ，−ｙ）＝Ｗm,n（−ｘ，−ｙ）と考える。この結果、上記式（５）は、次の式（６）のようになる。
Ｗm,n（０，０）＊Ａ（ｍ，ｎ）
＝Ｚ（ｍ，ｎ）−Σx,y｛Ｗm,n（−ｘ，−ｙ）＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）｝
・・・・・（６）
従って、上記式（６）の左辺および右辺をＷm,n（０，０）で除すると、次の式（７）のようになる。
Ａ（ｍ，ｎ）
＝Ｚ（ｍ，ｎ）／Ｗm,n（０，０）
−Σx,y｛Ｗm,n（−ｘ，−ｙ）＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）｝／Ｗm,n（０，０）
・・・・・（７）
ここで、次の式（８）で示すようにＱm,n（ｘ，ｙ）を定義し、上記式（７）におけるＷm,n（ｘ，ｙ）をＱm,n（ｘ，ｙ）を用いて置きかえると、次の式（９）のようになる。但し、次の式（８）において、Ｗm,n（０，０）のべき乗数は、ｐｏｗｅｒ＝１とする。
Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
（ｘ＝０，ｙ＝０の場合）
＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
（ｘ＝０，ｙ＝０以外の場合）
・・・・・・・・・・・・・・・・・・・・・・（８）
Ａ（ｍ，ｎ）＝Ｑm,n（０，０）＊Ｚ（ｍ，ｎ）
＋Σx,y｛Ｑm,n（ｘ，ｙ）＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）｝
＝ΣxΣy｛Ｑm,n（ｘ，ｙ）＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）｝
・・・・・・・・・・・・・・・・・・・・・・（９）
ここで、Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。また、Σx,yは、（ｘ，ｙ）＝（０，０）の点を除く全てのｘ，ｙについての和である。
そして、上記式（９）は、前述した式（１）に対応する畳み込み演算を行う式となっており、上記式（９）におけるＱm,n（ｘ，ｙ）が、前述した式（１）におけるＷm+x,n+y（−ｘ，−ｙ）に対応している。従って、行列Ｑm,nは、ＰＳＦ行列Ｗm,nに対応する畳み込み演算行列であり、画像行列Ｚから被写体行列Ａを求める再生演算は、この畳み込み演算行列Ｑm,nを用いて行うことができる。
次に、前述した式（４）の、より高度な近似方法として、次のような近似を行うことができる。すなわち、前述した式（４）は、撮像素子２４上の点（ｍ，ｎ）に位置する画素の出力信号Ｚ（ｍ，ｎ）の値を求めるための前述した式（１）を変形した式であるが、同様にして、撮像素子２４上でｈ方向にｘ、ｋ方向にｙだけ離れた点（ｍ＋ｘ，ｎ＋ｙ）に位置する画素の出力信号Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値を求めるための式を変形した式を考える。
前述した式（４）において、ｍを（ｍ＋ｘ）に、ｎを（ｎ＋ｙ）に置き換えるとともに、新しい被写体の点（ｍ＋ｘ，ｎ＋ｙ）から出た光によるボケを表現するための座標系として相対座標系（ｕ，ｖ）を設定し、ｘをｕに、ｙをｖに置き換えると、次の式（１０）のようになる。
Ｗm+x,n+y（０，０）＊Ａ（ｍ＋ｘ，ｎ＋ｙ）
＝Ｚ（ｍ＋ｘ，ｎ＋ｙ）
−Σu,v｛Ｗm+x+u,n+y+v（−ｕ，−ｖ）＊Ａ（ｍ＋ｘ＋ｕ，ｎ＋ｙ＋ｖ）｝
・・・・・（１０）
ここで、ｕおよびｖは、整数で、ｕ＝（１−Ｍ）〜（Ｍ−１）、ｖ＝（１−Ｎ）〜（Ｎ−１）であり、Σu,vは、（ｕ，ｖ）＝（０，０）の点を除く全てのｕ，ｖについての和である。
上記式（１０）の左辺および右辺をＷm+x,n+y（０，０）で除した後、前述した式（４）におけるＡ（ｍ＋ｘ，ｎ＋ｙ）に代入すると、次の式（１１）のようになる。
Ｗm,n（０，０）＊Ａ（ｍ，ｎ）
＝Ｚ（ｍ，ｎ）
−Σx,y｛Ｗm+x,n+y（−ｘ，−ｙ）
＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）／Ｗm+x,n+y（０，０）｝
＋Σx,yΣu,v［Ｗm+x,n+y（−ｘ，−ｙ）＊｛Ｗm+x+u,n+y+v（−ｕ，−ｖ）
＊Ａ（ｍ＋ｘ＋ｕ，ｎ＋ｙ＋ｖ）｝／Ｗm+x,n+y（０，０）］
・・・・・（１１）
そして、上記式（１１）の左辺および右辺をＷm,n（０，０）で除すると、次の式（１２）のようになる。
Ａ（ｍ，ｎ）
＝Ｚ（ｍ，ｎ）／Ｗm,n（０，０）
−Σx,y｛Ｗm+x,n+y（−ｘ，−ｙ）
＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）／Ｗm+x,n+y（０，０）｝／Ｗm,n（０，０）
＋Σx,yΣu,v［Ｗm+x,n+y（−ｘ，−ｙ）＊｛Ｗm+x+u,n+y+v（−ｕ，−ｖ）
＊Ａ（ｍ＋ｘ＋ｕ，ｎ＋ｙ＋ｖ）｝／Ｗm+x,n+y（０，０）］／Ｗm,n（０，０）
・・・・・（１２）
上記式（１２）を近似する。第１ステップでは、右辺第３項に、Ｗm+x,n+y（−ｘ，−ｙ）とＷm+x+u,n+y+v（−ｕ，−ｖ）との積があるので、この右辺第３項を無視すると、次の式（１３）のようになる。
Ａ（ｍ，ｎ）
＝Ｚ（ｍ，ｎ）／Ｗm,n（０，０）
−Σx,y｛Ｗm+x,n+y（−ｘ，−ｙ）
＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）／Ｗm+x,n+y（０，０）｝／Ｗm,n（０，０）
・・・・・（１３）
続いて、第２ステップでは、各点でのボケの状態は、近所の点どうしでは似ていると仮定し、Ｗm+x,n+y（−ｘ，−ｙ）をＷm,n（−ｘ，−ｙ）で近似する。この結果、上記式（１３）は、次の式（１４）のようになる。
Ａ（ｍ，ｎ）
＝Ｚ（ｍ，ｎ）／Ｗm,n（０，０）
−Σx,y｛Ｗm,n（−ｘ，−ｙ）
＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）／Ｗm+x,n+y（０，０）｝／Ｗm,n（０，０）
・・・・・（１４）
さらに、第３ステップでは、Ｗm+x,n+y（０，０）もＷm,n（０，０）で近似する。この結果、上記式（１４）は、次の式（１５）のようになる。
Ａ（ｍ，ｎ）
＝Ｚ（ｍ，ｎ）／Ｗm,n（０，０）
−Σx,y｛Ｗm,n（−ｘ，−ｙ）＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）｝／Ｗm,n（０，０）2
・・・・・（１５）
ここで、次の式（１６）で示すようにＱm,n（ｘ，ｙ）を定義し、上記式（１５）におけるＷm,n（ｘ，ｙ）をＱm,n（ｘ，ｙ）を用いて置きかえると、次の式（１７）のようになる。但し、次の式（１６）において、Ｗm,n（０，０）のべき乗数は、ｐｏｗｅｒ＝２とする。
Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
（ｘ＝０，ｙ＝０の場合）
＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
（ｘ＝０，ｙ＝０以外の場合）
・・・・・・・・・・・・・・・・・・・・・・（１６）
Ａ（ｍ，ｎ）＝Ｑm,n（０，０）＊Ｚ（ｍ，ｎ）
＋Σx,y｛Ｑm,n（ｘ，ｙ）＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）｝
＝ΣxΣy｛Ｑm,n（ｘ，ｙ）＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）｝
・・・・・・・・・・・・・・・・・・・・・・（１７）
ここで、Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。また、Σx,yは、（ｘ，ｙ）＝（０，０）の点を除く全てのｘ，ｙについての和である。
そして、上記式（１７）は、前述した式（９）と同じ式である。従って、上記式（１７）における行列Ｑm,nは、前述した式（１）におけるＰＳＦ行列Ｗm,nに対応する畳み込み演算行列であり、画像行列Ｚから被写体行列Ａを求める再生演算は、この畳み込み演算行列Ｑm,nを用いて行うことができる。
以上より、前述した式（８）および式（１６）を考慮し、次の式（１８）のように畳み込み演算行列Ｑm,nを定義すれば、次の式（１９）に基づき行列Ｑm,nを用いて畳み込み演算を行うことにより、被写体を再生することができる。
Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
（ｘ＝０，ｙ＝０の場合）
＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
（ｘ＝０，ｙ＝０以外の場合）
・・・・・・・・・・・・・・・・・・・・・・（１８）
Ａ（ｍ，ｎ）＝ΣxΣy｛Ｑm,n（ｘ，ｙ）＊Ｚ（ｍ＋ｘ，ｎ＋ｙ）｝
・・・・・・・・・・・・・・・・・・・・・・（１９）
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、Ｗm,n（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列のＰＳＦ行列Ｗm,nの各要素の値であり、ｐｏｗｅｒは、Ｗm,n（０，０）のべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。
また、ｐｏｗｅｒの値は、Ｗm,n（０，０）の値に応じて決定すればよい。この際、Ｗm,n（０，０）の値が、０．５近傍（０．５を含む。以下、同様）のときには、ｐｏｗｅｒの値を２以外の値とする必要がある。より具体的には、Ｗm,n（０，０）の値が、０．５近傍のときには、ｐｏｗｅｒの値を１以上２未満とし、より好ましくは１とする。一方、Ｗm,n（０，０）の値が、０．５近傍以外のときには、１以上２以下とする。
＜ＰＳＦ行列Ｗm,nの各要素Ｗm,n（ｘ，ｙ）の分布＞
図５には、ＰＳＦ行列Ｗm,nの各要素Ｗm,n（ｘ，ｙ）の分布状況の一例が示されている。中心のＷm,n（０，０）には、標準的な距離にある通常の被写体の１点（ｍ，ｎ）から出て二焦点レンズ２１を構成する内側の長焦点レンズ部２２を通った光により、ピントの合った画像が形成されている。Ｗm,n（０，０）の周囲には、外側の環状の短焦点レンズ部２３を通った光により、環状（略円環状または略楕円環状）のピントのぼけた画像が形成されている。なお、空欄になっている部分は、零要素である。
図５では、中心のＷm,n（０，０）の値は、ｃとなっているが、このｃの値は、二焦点レンズ２１の全体面積に対する内側の長焦点レンズ部２２の面積の比の値である。但し、厳密には、光の分割が面積に比例しない場合もあるので、光の量の分割比がレンズの面積比と一致しない場合には、上記のｃの値は、内側の長焦点レンズ部２２を通過して実際にセンサ（撮像素子２４）に到達する光の量またはセンサの信号量と、二焦点レンズ２１の全体（内側の長焦点レンズ部２２および外側の短焦点レンズ部２３を合わせた全体）を通過して実際にセンサに到達する光の量またはセンサの信号量との比の値と考えることができる。なお、図５では、説明の簡易化のため、中心のＷm,n（０，０）に隣接する各要素（例えば、Ｗm,n（１，０）やＷm,n（０，１）等）の値は、ゼロとなっているが、実際には、内側の長焦点レンズ部２２により形成される画像も、完全にピントの合った画像とはならず、多少のぼけが生じるのが通常であるため（ぼけの形状は、略中実円形形状または略中実楕円形状となる。）、ｃの値は、Ｗm,n（０，０）を中心として周囲の幾つかの要素に分散される（後述する図１３のぼけ部分８０参照）。
また、図５では、環状のぼけ部分の各要素の値が、ｅ１〜ｅ１９により示されているが、これは、ぼけの形状の概略を示すものであり、実際には、ぼけ部分のリングの幅は、１〜２行または１〜２列分ではなく、より多くの行数または列数分の幅である。例えば、撮像素子２４の中央位置（画像座標系（ｈ，ｋ）の中心座標）についてのＰＳＦ行列Ｗm,nの場合には、Ｗm,n（０，０）の周囲に例えば７行または７列分の幅で零要素が円環状に配置され、その外側に例えば８行または８列分の幅で非零要素が円環状に配置される等である。従って、この場合には、Ｗm,n（ｘ，ｙ）のうち非零要素を含む行列部分Ｅ（図４参照）は、例えば、３１画素×３１画素分に収まる程度の大きさ等である。そして、この場合には、Ｗm,n（ｘ，ｙ）のぼけ部分のリングの内径と外径との比は、二焦点レンズ２１を構成する外側の短焦点レンズ部２３の内径と外径との比に等しい。なお、Ｗm,n（ｘ，ｙ）のぼけ部分のリングの大きさ、幅、形状は、各座標（ｍ，ｎ）によって異なる（図７参照）。
さらに、外側の短焦点レンズ部２３により形成されるボケは広範囲に拡がるので、ＰＳＦ行列Ｗm,nにおいて、環状のぼけ部分の各要素の値（図５では、ｅ１〜ｅ１９の値）は、中央のピントの合った部分の値（図５では、Ｗm,n（０，０）＝ｃの値）に比べ、十分小さい値となる。具体的には、ｃの値は、例えば０．８等であり、ｅ１〜ｅ１９の値は、例えば０．００１３等である。但し、これらの数値に限定されるものではない。
＜畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の分布＞
図６には、前述した式（１８）で定義される畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の分布状況の一例が示されている。畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の分布も、ＰＳＦ行列Ｗm,nの各要素Ｗm,n（ｘ，ｙ）の分布（図５参照）に対応し、中心のＱm,n（０，０）に非零要素があり、その周囲に非零要素が環状（略円環状または略楕円環状）に配置される分布となっている。なお、空欄になっている部分は、零要素である。
但し、図６の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の分布は、図５のＰＳＦ行列Ｗm,nの各要素Ｗm,n（ｘ，ｙ）の分布に対し、ｘ，ｙが反転して、−ｘ，−ｙとなっている。前述した式（１８）による定義に従って反転したものである。
＜各座標（ｍ，ｎ）についてのＰＳＦ行列Ｗm,nどうしの関係＞
図７には、各座標（ｍ，ｎ）についてのＰＳＦ行列Ｗm,nの各要素Ｗm,n（ｘ，ｙ）の分布状況が示されている。撮像素子２４の中央位置（画像座標系（ｈ，ｋ）の中心座標（Ｍ／２，Ｎ／２））についてのＰＳＦ行列Ｗm,nの場合には、ぼけの形状は、円環状である。一方、画像座標系（ｈ，ｋ）の中心以外の座標では、ぼけの形状は、略楕円環状になり、画像座標系（ｈ，ｋ）の中心から外側に離れるにつれ、ぼけ部分の全体的な大きさやリングの幅が大きくなる。
また、二焦点レンズ２１は、軸対称性を有しているので、各座標（ｍ，ｎ）についてのＰＳＦ行列Ｗm,nの分布（ぼけの形状）についても軸対称性が保持される。従って、撮像素子２４の中央位置（画像座標系（ｈ，ｋ）の中心座標（Ｍ／２，Ｎ／２））から放射状に延びる各直線を考えると、いずれの直線上でも放射方向について見れば、中心から外側に向って同じように分布（ぼけの形状）が変化し、撮像素子２４の中央位置からの距離でＰＳＦ行列Ｗm,nの分布（ぼけの形状）が定まり、かつ、いずれのＰＳＦ行列Ｗm,nの分布も放射直線に対して対称である。つまり、撮像素子２４の中央位置からの距離が同じ座標についてのＰＳＦ行列Ｗm,nの分布（ぼけの形状）は、全て同じとなり、単に回転しているだけの関係となる。例えば、画像座標系（ｈ，ｋ）におけるライン５０上に並ぶ各座標（ｍ，ｎ）についてのＰＳＦ行列Ｗm,nの各要素Ｗm,n（ｘ，ｙ）の配置を、画像座標系（ｈ，ｋ）の中心座標（Ｍ／２，Ｎ／２）を中心として回転させれば、画像座標系（ｈ，ｋ）における他のライン５１，５２，５３，５４上に並ぶ各座標（ｍ，ｎ）についてのＰＳＦ行列Ｗm,nの各要素Ｗm,n（ｘ，ｙ）の配置を算出することができる。
＜各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nどうしの関係＞
図８には、各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の分布状況が示されている。畳み込み演算行列Ｑm,nの分布も、前述した式（１８）で定義されることから、ＰＳＦ行列Ｗm,nの分布と同様に、軸対称性が保持される。従って、中心座標（Ｍ／２，Ｎ／２）からの距離が同じ座標についての畳み込み演算行列Ｑm,nの分布は、全て同じとなり、単に回転しているだけの関係となる。例えば、図８中の一点鎖線で示されるライン６０上に並ぶ各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の配置を、中心座標（Ｍ／２，Ｎ／２）を中心として回転させれば、図８中の点線で示される他のライン６１，６２，６３，６４上に並ぶ各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の配置を算出することができる。なお、図８の各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nの個々の分布が、図７の同じ座標についてのＰＳＦ行列Ｗm,nの分布に対し、ｘ，ｙについて反転しているのは、前述した図５と図６との関係と同様である。
このため、畳み込み演算行列記憶手段３２，３３には、全ての座標（ｍ，ｎ）（１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）についての畳み込み演算行列Ｑm,nを記憶させる必要はなく、中心座標（Ｍ／２，Ｎ／２）から放射状に延びる各直線のうちの一つの直線上に並ぶ座標についての畳み込み演算行列Ｑm,nをサンプリング行列として記憶させ、その他の座標についての畳み込み演算行列Ｑm,nは、サンプリング行列を回転させればよい。本実施形態では、記憶させる個々のＱm,n（ｘ，ｙ）の配置（ぼけの形状）自体の上下の対称性を確保するため、図８中の一点鎖線で示される水平方向のライン６０上に並ぶ各座標についての畳み込み演算行列Ｑm,n（前述した図６に示すような上下対称の分布となる畳み込み演算行列Ｑm,n）を記憶させるものとする。
但し、対角方向のライン６１〜６４が、最も中心座標（Ｍ／２，Ｎ／２）から離れた座標を有するので、つまり対角方向のライン６１〜６４上の各座標についての畳み込み演算行列Ｑm,nをサンプリングすれば、全ての座標（ｍ，ｎ）（１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）についての畳み込み演算行列Ｑm,nを代表させることができるので、水平方向のライン６０上に並ぶ各座標についての畳み込み演算行列Ｑm,nを記憶させる際には、図８に示す如く、対角方向のライン６１〜６４と同じ長さ（画角の最大値の半分に対応する長さ）になるように、ライン６０を仮想的に延長してサンプリングする。
また、サンプリング行列として畳み込み演算行列記憶手段３２，３３に記憶させる畳み込み演算行列Ｑm,nは、実験により求めたＰＳＦ行列Ｗm,nに基づき算出することが好ましいが、二焦点レンズ２１を構成する各レンズ部２２，２３の内外径、各レンズ部２２，２３の焦点距離、および二焦点レンズ２１と撮像素子２４との間の距離等を用いて計算により求めたＰＳＦ行列Ｗm,nに基づき算出してもよい。
このように水平方向のライン６０上に並ぶ各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nのみを記憶させるようにすれば、記憶する情報量を減少させることができる。例えば、ＶＧＡ（Video Graphics array）の場合には、Ｍ＝６４０画素、Ｎ＝４８０画素として、Ｍ×Ｎ＝３０７，２００箇所のデータ（約３０万の全座標のそれぞれについてのＱm,n（ｘ，ｙ）の分布）を記憶するのではなく、対角方向の半分の長さ（画角の最大値の半分に対応する長さ）分だけを記憶するものとすれば、（Ｍ2＋Ｎ2）1/2／２＝４００箇所のデータを記憶すれば済むので、記憶する情報量を約７７０分の１にすることができる。さらに、図６に示す如く、水平方向のライン６０上に並ぶ各座標についての畳み込み演算行列Ｑm,nのＱm,n（ｘ，ｙ）の個々の分布は、いずれもライン６０に対して上下対称なので、上側半分（または下側半分）のみを記憶すればよい。このため、記憶する情報量は、更に半分になり、約１５４０分の１にすることができる。また、このように図６の分布の上側半分（下側半分でも同じことである。）を記憶する際には、図４に示した非零要素を含む行列部分Ｈに相当する部分のみを記憶すればよいのは、前述した通りである。
なお、メモリ容量に余裕がある場合等には、全ての座標（ｍ，ｎ）（１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）についての畳み込み演算行列Ｑm,nを畳み込み演算行列記憶手段３２，３３に記憶させてもよい。
＜畳み込み演算行列Ｑm,nの回転＞
図９には、図６に示した水平方向のライン６０（図８参照）上に並ぶ各座標についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）を、一例として４５度回転させた配置が示されている。図１０には、図９の配置のうち、太枠で囲った９つの画素分の領域７０を拡大した状態が示されている。本願明細書では、算出対象となる畳み込み演算行列Ｑm,n（サンプリング行列以外の行列）の要素Ｑm,n（ｘ，ｙ）に対応する領域（図９の水平・鉛直方向の点線で区画された領域）を第一区画領域と呼び、回転後のサンプリング行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）に対応する領域（図９の斜め方向の実線で区画された領域）を第二区画領域と呼び、説明を行うものとする。
図１０において、ｆ１５〜ｆ１９の値は、これらの値が記載されている各第二区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値である。図１０の領域７０に含まれる９つの第一区画領域のうちの中央の第一区画領域（ハッチングされた領域）に対応する要素Ｑm,n（ｘ，ｙ）の値は、次のように算出することができる。
先ず、正確に算出するには、ハッチングされた第一区画領域に重なる全ての第二区画領域を把握する。図１０の場合には、ｆ１６，ｆ１７，ｆ１８，ｆ１９の各値を有する４つの要素に対応する４つの第二区画領域が重なっている。ここで、ハッチングされた第一区画領域とｆ１６の第二区画領域との重なり部分の面積をα１とし、同様に、ハッチングされた第一区画領域とｆ１７，ｆ１８，ｆ１９の第二区画領域との重なり部分の面積を、それぞれα２，α３，α４とすると、ハッチングされた第一区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値は、次の式（２０）により、面積割合に基づく加重平均により算出される。
Ｑm,n（ｘ，ｙ）＝｛ｆ１６×α１＋ｆ１７×α２＋ｆ１８×α３
＋ｆ１９×α４｝／（α１＋α２＋α３＋α４） ・・・（２０）
しかし、上記式（２０）による面積割合に基づく加重平均の算出を行うと、計算量が多くなる。そこで、ハッチングされた第一区画領域の所定位置（本実施形態では、一例として中央位置７１とする。）に重なる第二区画領域を求め、求めた第二区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を、算出対象となる畳み込み演算行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）の値として採用する。つまり、サンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を、そのまま採用する。図１０の場合には、ハッチングされた第一区画領域の中央位置７１には、ｆ１６の第二区画領域が重なっているので、ハッチングされた第一区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値は、ｆ１６とする。
図１１には、ハッチングされた第一区画領域の場合と同様にして、図１０の領域７０に含まれる他の８つの第一区画領域についても、それらの中央位置に重なる第二区画領域をそれぞれ求め、各要素Ｑm,n（ｘ，ｙ）の値を算出決定した結果が示されている。図１１において、領域７０に含まれる９つの第一区画領域のうち、右上および左下の第一区画領域については、これらの領域の中央位置に重なる第二区画領域が零要素となっているので、右上および左下の第一区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値は、ゼロとする。
なお、例えば、高性能のＣＰＵを用いる場合や、処理速度に制約が無い場合等には、前述した式（２０）による面積割合に基づく加重平均の算出を行ってもよい。
そして、以上のようにして、畳み込み演算行列回転算出手段３５によりサンプリング行列Ｑm,nを回転させて算出されるのは、畳み込み演算行列記憶手段３２，３３にサンプリング行列Ｑm,nのうち非零要素を含む行列部分Ｈ（図４参照）の対称性を考慮した略半分（図６の分布の場合には、上側半分）の値のみが記憶されていることから、これに対応し、算出対象となる畳み込み演算行列Ｑm,nのうち非零要素を含む行列部分Ｈの値のみである。
また、畳み込み演算行列回転算出手段３５によりサンプリング行列Ｑm,nを回転させてサンプリング行列以外の畳み込み演算行列Ｑm,nを算出する際には、算出対象となる各畳み込み演算行列Ｑm,nについて、予め回転情報を回転情報記憶手段３４に記憶させておく。
図１２は、畳み込み演算行列Ｑm,nの回転情報の説明図である。図１２に示すように、畳み込み演算行列Ｑm,nを算出する際には、回転情報として、算出対象となる畳み込み演算行列Ｑm,nの座標（ｍ，ｎ）と中心座標（Ｍ／２，Ｎ／２）との距離ｒ、および畳み込み演算行列Ｑm,nの座標（ｍ，ｎ）と中心座標（Ｍ／２，Ｎ／２）とを結ぶ線がライン６０となす角度θがあればよい。
ｒ＝｛（ｍ−Ｍ／２）2＋（ｎ−Ｎ／２）2｝1/2 ・・・・・・・・・・・・（２１）
θ＝ａｒｃｔａｎ｛（ｍ−Ｍ／２）／（ｎ−Ｎ／２）｝ ・・・・・・・・・（２２）
算出対象となる各畳み込み演算行列Ｑm,nについての回転情報は、上記式（２１）および式（２２）により算出される距離ｒおよび角度θである。そして、回転情報記憶手段３４には、これらの距離ｒおよび角度θを、算出対象となる各畳み込み演算行列Ｑm,nについて記憶させておけばよいが、二焦点レンズ２１が軸対称性を有することから、各畳み込み演算行列Ｑm,nの分布についても軸対称性が保持されるので、実際には、４象限のうちの１象限のみの各座標について記憶させておけばよい。従って、記憶させる情報量は、４分の１となる。
また、距離ｒを記憶する際に、端数が出た場合には、四捨五入等により整数化して記憶しておく。距離ｒは、ライン６０上のいずれのサンプリング行列を回転させるかを決めるために記憶するものである。なお、端数があるままの状態で記憶しておき、畳み込み演算行列回転算出手段３５による演算処理を行う際に、四捨五入等により整数化し、いずれのサンプリング行列を回転させるかを決めてもよい。また、いずれのサンプリング行列を回転させるかを決めることができればよいので、距離ｒではなく、サンプリング行列を特定するための番号等の識別情報を記憶しておいてもよい。
さらに、上記のようにサンプリング行列を特定するための番号等の識別情報（距離ｒ以外の識別情報）を回転情報記憶手段３４に記憶させる場合には、ライン６０上の全ての座標についての畳み込み演算行列Ｑm,nをサンプリング行列として畳み込み演算行列記憶手段３２，３３に記憶しておく必要はなく、各畳み込み演算行列Ｑm,nの分布が略同じになる範囲の各座標については、それらのうちの一つの畳み込み演算行列Ｑm,nのみを記憶させてもよい。つまり、ライン６０上において間隔を置いて定められた特定座標についての畳み込み演算行列Ｑm,nのみを記憶してもよい。
そして、上記の場合と同様に、ライン６０上において間隔を置いて定められた特定座標についての畳み込み演算行列Ｑm,nのみを、サンプリング行列として畳み込み演算行列記憶手段３２，３３に記憶させる場合には、回転情報記憶手段３４に記憶させる距離を、次のように決めてもよい。すなわち、前述した式（２１）による距離ｒの算出処理で端数が出たか否かにかかわらず、式（２１）により算出された距離ｒをそのまま記憶するのではなく、各サンプリング行列Ｑm,nに対応する複数の特定距離の中から、式（２１）により算出された距離ｒが最も近いものを選択し、その選択された特定距離を、回転情報記憶手段３４に記憶させるようにしてもよい。例えば、特定距離３，６，９，１２，…の複数のサンプリング行列Ｑm,nが用意されているものとすると、式（２１）により算出された距離ｒが、６．５や７の場合には、６が近いので特定距離６を記憶し、８や８．５の場合には、９が近いので特定距離９を記憶する。なお、式（２１）により算出された距離ｒが、特定距離のいずれかと丁度同じになった場合には、その特定距離を記憶する。
なお、以上の説明では、被写体座標系（ｓ，ｔ）および画像座標系（ｈ，ｋ）は、被写体行列Ａおよび画像行列Ｚの行番号や列番号に対応させて各座標値が正の値のみをとるように設定され、これらの被写体座標系（ｓ，ｔ）および画像座標系（ｈ，ｋ）における１点を示す座標（ｍ，ｎ）は、１≦ｍ≦Ｍ、１≦ｎ≦Ｎの範囲で動くものとされていた。従って、被写体や撮像素子２４の中央位置の座標は（Ｍ／２，Ｎ／２）として説明されていた。しかし、回転計算の簡易化や対称位置の把握容易性等の観点から、被写体座標系（ｓ，ｔ）および画像座標系（ｈ，ｋ）を、各座標値が正負の値をとるように設定し、例えば、被写体や撮像素子２４の中央位置の座標が（０，０）になるようにして、座標（ｍ，ｎ）が−Ｍ／２≦ｍ≦Ｍ／２、−Ｎ／２≦ｎ≦Ｎ／２の範囲で動くようにしてもよい。従って、本願の請求項における各座標系の設定も、説明のための便宜上の設定であり、本発明は、請求項に記載された表現形式の設定に限定されるものではなく、実質的に同様な処理を行うことができる設定であればよい。
このような本実施形態においては、以下のようにして画像改質処理装置３０により、二焦点レンズ２１を用いて被写体を撮像して得られた画像の質の改善が図られる。
先ず、被写体の撮像を行う前に、式（１８）に基づき、ライン５０（図７参照）上の各座標（ｍ，ｎ）についてのＰＳＦ行列Ｗm,nの各要素Ｗm,n（ｘ，ｙ）の値を用い、ライン６０（図８参照）上の各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を予め算出し、サンプリング行列として画像改質処理装置３０の畳み込み演算行列記憶手段３２，３３に記憶しておく。なお、記憶するのは、非零要素を含む行列部分Ｈ（図４参照）の各値のみでよく、しかもライン６０上では図６に示すように上下対称の分布なので、上側半分の各値のみでよい。
また、式（２１）および式（２２）により、サンプリング行列以外の畳み込み演算行列Ｑm,nの回転情報（距離ｒおよび角度θ）を予め算出し、画像改質処理装置３０の回転情報記憶手段３４に記憶させておく。
次に、通常の被写体または近接被写体のいずれを撮像するのかを判断し、切替操作手段３７の切替選択操作を行った後、撮像機構２０により被写体を撮像する。この際、被写体から発せられた光は、二焦点レンズ２１の各レンズ部２２，２３を通過して撮像素子２４に至る。そして、被写体からの光を受けた撮像素子２４の出力信号を引き出して画像改質処理装置３０に取り込み、出力信号記憶手段３１に記憶する。
続いて、畳み込み演算行列回転算出手段３５により、畳み込み演算行列記憶手段３２，３３のいずれかに記憶されたサンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値（図６のような上下対称な分布のうち、図４に示した非零要素を含む行列部分Ｈに相当する部分の上側半分の各値）と、回転情報記憶手段３４に記憶された回転情報とを用い、サンプリング行列以外の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を算出する。
さらに、再生演算手段３６により、畳み込み演算行列記憶手段３２，３３のいずれかに記憶された各要素Ｑm,n（ｘ，ｙ）の値および畳み込み演算行列回転算出手段３５により算出された各要素Ｑm,n（ｘ，ｙ）の値（図４の行列部分Ｈの各値）と、出力信号記憶手段３１に記憶された画像の出力信号を示す画像行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用い、式（１９）に基づき被写体行列Ａの各要素Ａ（ｍ，ｎ）の値を算出する。
その後、求めた被写体行列Ａの各要素Ａ（ｍ，ｎ）の値を用い、撮像対象となった被写体を表示手段４０の画面上に表示する。また、必要に応じ、図示されないプリンター等の出力手段により、被写体の印刷を行ってもよい。
このような本実施形態によれば、次のような効果がある。すなわち、画像改質処理装置３０は、再生演算手段３６を備えているので、被写体を二焦点レンズ２１により撮像した際に、畳み込み演算行列記憶手段３２，３３に記憶された畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）のうちの少なくとも一部の値と、撮像して得られた画像の出力信号を示す画像行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用い、式（１９）に基づき被写体行列Ａの各要素Ａ（ｍ，ｎ）の値を算出することができる。
この際、再生演算手段３６による演算処理は、式（１９）に基づき予め算出されて畳み込み演算行列記憶手段３２，３３に記憶された畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を用いて行われるので、式（３）に示すようなＭ×Ｎ行Ｍ×Ｎ列の巨大逆変換行列Ｔg -1を用いて演算処理を行う場合に比べ、非常に少ない計算量で、被写体行列Ａの各要素Ａ（ｍ，ｎ）の値を算出することができる。
従って、ＣＰＵに要求される性能の条件が緩和されるので、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度のＣＰＵの能力でも、被写体の再生を短時間の処理で実行することができる。このため、携帯型の情報端末装置に画像改質処理装置３０を搭載すれば、画像改質機能を備えた携帯型の情報端末装置を実現でき、情報端末装置の使い勝手や性能の向上を図ることができる。
また、畳み込み演算行列記憶手段３２，３３には、ライン６０（図８参照）上の各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nが記憶されているので、再生演算手段３６により、ぼけの形状が各画素で異なることを考慮した画像改質処理を行うことができる。このため、全ての画素で同じ形状のぼけが発生すると仮定した画像改質処理を行う場合に比べ、画像改質効果をより一層高めることができる。
さらに、画像改質処理装置３０は、回転情報記憶手段３４および畳み込み演算行列回転算出手段３５を備えているので、二焦点レンズ２１の軸対称を利用し、光軸位置（被写体や撮像素子２４の中央位置）を中心として、サンプリング行列として畳み込み演算行列記憶手段３２，３３に記憶されたライン６０（図８参照）上の各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nを回転させることにより、その他の座標についての畳み込み演算行列Ｑm,nを算出することができる。このため、畳み込み演算行列記憶手段３２，３３に記憶させるデータ量を減らすことができる。
そして、畳み込み演算行列回転算出手段３５は、図１０に示すように、第一区画領域の所定位置（本実施形態では、中央位置）に重なる第二区画領域を求め、その第二区画領域の値によりサンプリング行列以外の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を算出決定する構成とされているので、式（２０）により面積割合に基づく加重平均を算出して第一区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を厳密に算出する場合に比べ、処理内容を簡単にすることができ、処理時間の短縮を図ることができる。
また、画像改質処理装置３０は、切替操作手段３７を備えているので、撮像する被写体の距離に応じ、畳み込み演算行列記憶手段３２，３３のデータを切替選択して被写体の再生演算を行うことができる。このため、被写体が標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれの場合であっても、二焦点レンズ２１を構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理を、短時間の処理で実現することができ、通常の被写体および近接被写体のいずれについても鮮明な画像を得ることができる。
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
すなわち、前記実施形態では、畳み込み演算行列回転算出手段３５は、図１０に示すように、第一区画領域の所定位置（本実施形態では、中央位置）に重なる第二区画領域を求め、求めた第二区画領域の値により第一区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を算出決定する構成とされていたが、本発明における畳み込み演算行列回転算出手段は、第二区画領域の所定位置（例えば、中央位置）が重なっている第一区画領域を求め、求めた第一区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値として、この第一区画領域に所定位置が重なっている第二区画領域の値を採用する構成としてもよい。例えば、図１０の場合には、ｆ１６の第二区画領域の中央位置が重なっている第一区画領域は、ハッチングされた中央の第一区画領域であるから、この中央の第一区画領域の値として、ｆ１６を採用する。
また、前記実施形態では、二焦点レンズ２１に本発明が適用されていたが、本発明は、単焦点レンズに適用してもよい。図１３には、二焦点レンズ２１および単焦点レンズ９０のぼけの形状（単一輝点からの光の拡がりを示すＰＳＦ行列Ｗm,nの分布）の比較結果が示されている。
図１３において、標準的な距離にある通常の被写体を二焦点レンズ２１により撮像した場合のＰＳＦ行列Ｗm,nの分布は、長焦点レンズ部２２を理想的なレンズであると考えたときにこの長焦点レンズ部２２によりピントの合った画像が形成されるＷm,n（０，０）を中心とし、実際の長焦点レンズ部２２によりＷm,n（０，０）の周囲に形成される略中実円形状または略中実楕円形状の若干のぼけ部分８０と、短焦点レンズ部２３により形成されるリング状（略円環状または略楕円環状）のぼけ部分８１とを備えている。
また、標準的な距離よりも近い距離にある近接被写体を二焦点レンズ２１により撮像した場合のＰＳＦ行列Ｗm,nの分布は、短焦点レンズ部２３を理想的なレンズであると考えたときにこの短焦点レンズ部２３によりピントの合った画像が形成されるＷm,n（０，０）を中心とし、実際の短焦点レンズ部２３によりＷm,n（０，０）の周囲に形成される略中実円形状または略中実楕円形状の若干のぼけ部分８２と、長焦点レンズ部２２により形成される略中実円形状または略中実楕円形状のぼけ部分８３とを備えている。これらのぼけ部分８２，８３は、重なっている。
さらに、標準的な距離にある通常の被写体またはこれよりも近い距離にある近接被写体を単焦点レンズ９０により撮像した場合のＰＳＦ行列Ｗm,nの分布は、単焦点レンズ９０を理想的なレンズであると考えたときにこの単焦点レンズ９０によりピントの合った画像が形成されるＷm,n（０，０）を中心とし、実際の単焦点レンズ９０によりＷm,n（０，０）の周囲に形成される略中実円形状または略中実楕円形状の若干のぼけ部分９１を備えている。単焦点レンズ９０によるぼけ部分９１の形成は、通常の被写体を二焦点レンズ２１により撮像した場合における長焦点レンズ部２２によるぼけ部分８０の形成、および近接被写体を二焦点レンズ２１により撮像した場合における短焦点レンズ部２３によるぼけ部分８２の形成と原理的には同様の意味合いを持つものである。
本発明では、再生演算手段３６による被写体の再生演算処理で用いる畳み込み演算行列Ｑm,n（ｘ，ｙ）を定義するためのＰＳＦ行列Ｗm,n（ｘ，ｙ）を、次のように定めることができる。先ず、通常の被写体を二焦点レンズ２１により撮像した場合には、ぼけ部分８０については、ぼけ部分８１と同等に取り扱ってもよく、あるいは、ぼけ部分８０の各要素の値を合計してＷm,n（０，０）の値を置き換え、かつ、Ｗm,n（０，０）を除くぼけ部分８０の各要素の値をゼロにしてもよい。後者の場合は、理想的な長焦点レンズ部２２によりＷm,n（０，０）に完全にピントが合った画像が形成された場合と同様な分布にするものである。
次に、近接被写体を二焦点レンズ２１により撮像した場合には、ぼけ部分８２については、ぼけ部分８３と同等に取り扱ってもよく、あるいは、ぼけ部分８２の各要素の値（実際には、長焦点レンズ部２２によるぼけ部分８３の画像の出力信号値が重なっているが、この値の大きさは小さいので、短焦点レンズ部２３によるぼけ部分８２の画像の出力信号値のみであると考えてよい。）を合計してＷm,n（０，０）の値を置き換え、かつ、Ｗm,n（０，０）を除くぼけ部分８２の各要素の値をゼロにしてもよい。後者の場合は、理想的な短焦点レンズ部２３によりＷm,n（０，０）に完全にピントが合った画像が形成された場合と同様な分布にするものである。
さらに、通常の被写体または近接被写体を単焦点レンズ９０により撮像した場合には、ぼけ部分９１の各要素の値を合計してＷm,n（０，０）の値を置き換えると、ぼけの部分が無くなってしまい、意味を成さないので、この方法は採用せず、Ｗm,n（０，０）の値はそのままの値とする。
以上のように、本発明の画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体は、例えば、携帯情報端末（ＰＤＡ：Personal Digital Assistants）、携帯電話機（ＰＨＳ：Personal Handy phone Systemを含む。）、テレビジョンやビデオ等の家電機器の操作用のリモート・コントロール装置、カメラ付パーソナル・コンピュータ、および監視カメラ装置等の二焦点レンズや単焦点レンズによる画像入力機能を持つ情報端末装置などに適用することができる。
本発明の一実施形態の画像改質処理装置を含む撮像システムの全体構成図。 前記実施形態の画像改質処理装置による処理対象となる画像を形成する二焦点レンズの詳細構成図。 被写体とこの被写体を二焦点レンズにより撮像して得られる画像との関係の説明図。 被写体行列Ａと画像行列Ｚとの変換関係の説明図。 ＰＳＦ行列Ｗm,nの各要素Ｗm,n（ｘ，ｙ）の分布状況の例示図。 畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の分布状況の例示図。 各座標（ｍ，ｎ）についてのＰＳＦ行列Ｗm,nの各要素Ｗm,n（ｘ，ｙ）の分布状況の説明図。 各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の分布状況の説明図。 図６に示した水平方向のライン上に並ぶ各座標についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）を４５度回転させた配置の例示図。 図９の配置のうち太枠で囲った９つの画素分の領域の拡大図。 図１０の各第一区画領域の中央位置に重なる第二区画領域を求め、求めた第二区画領域の値により各第一区画領域の値を算出決定した結果を示す図。 畳み込み演算行列Ｑm,nの回転情報の説明図。 二焦点レンズおよび単焦点レンズのぼけの形状（単一輝点からの光の拡がりを示すＰＳＦ行列Ｗm,nの分布）の比較結果を示す図。
符号の説明
２１ 二焦点レンズ
２２ 一方または他方のレンズ部に該当する長焦点レンズ部
２３ 一方または他方のレンズ部に該当する短焦点レンズ部
２４ 撮像素子
３０ 画像改質処理装置
３２，３３ 畳み込み演算行列記憶手段
３５ 畳み込み演算行列回転算出手段
３６ 再生演算手段
Ａ 被写体行列
Ｚ 画像行列
Ｅ，Ｈ 非零要素を含む行列部分
Ｗm,n 座標（ｍ，ｎ）についてのポイント・スプレッド・ファンクション行列
Ｑm,n 座標（ｍ，ｎ）についての畳み込み演算行列

Claims (10)

  1. 二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理方法であって、
    撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとし、被写体座標系の１点（ｍ，ｎ）から出た光の結像位置が画像座標系の１点（ｍ，ｎ）となるように前記被写体座標系および前記画像座標系を設定したとき、
    畳み込み演算処理を行うための座標（ｍ，ｎ）についての（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を、各座標（ｍ，ｎ）の全部または一部について、下式（Ａ−１）に基づき予め算出して畳み込み演算行列記憶手段に記憶しておき、
    前記被写体を前記二焦点レンズにより撮像した際に、再生演算手段により、前記畳み込み演算行列記憶手段に記憶された各要素Ｑm,n（ｘ，ｙ）のうちの少なくとも一部の値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用いて下式（Ａ−２）に基づき前記被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出することを特徴とする画像改質処理方法。
    Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
    （ｘ＝０，ｙ＝０の場合）
    ＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
    （ｘ＝０，ｙ＝０以外の場合）
    ・・・・・・・・・・・・・・・・・・・・・・（Ａ−１）
    Ａ（ｍ，ｎ）＝ΣxΣyＱm,n（ｘ，ｙ）Ｚ（ｍ＋ｘ，ｎ＋ｙ）
    ・・・・・・・・・・・・・・・・・・・・・・（Ａ−２）
    ここで、
    ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、
    ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、
    Ｗm,n（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗm,nの各要素の値であり、この行列Ｗm,nは、前記被写体の１点（ｍ，ｎ）から出た光が前記二焦点レンズの作用により前記撮像素子上で拡がる状態を示すポイント・スプレッド・ファンクション行列であり、Ｗm,n（０，０）は、拡がりの中心部分に位置する画素の出力信号の値であって主として前記一方のレンズ部の作用によりその値が定まり、Ｗm,n（−ｘ，−ｙ）は、周囲のぼけ部分に位置する画素の出力信号の値であって主として前記他方のレンズ部の作用によりその値が定まり、
    ｐｏｗｅｒは、Ｗm,n（０，０）のべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、
    Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。
  2. 単焦点レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理方法であって、
    撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写体を前記単焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとし、被写体座標系の１点（ｍ，ｎ）から出た光の結像位置が画像座標系の１点（ｍ，ｎ）となるように前記被写体座標系および前記画像座標系を設定したとき、
    畳み込み演算処理を行うための座標（ｍ，ｎ）についての（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を、各座標（ｍ，ｎ）の全部または一部について、下式（Ａ−１）に基づき予め算出して畳み込み演算行列記憶手段に記憶しておき、
    前記被写体を前記単焦点レンズにより撮像した際に、再生演算手段により、前記畳み込み演算行列記憶手段に記憶された各要素Ｑm,n（ｘ，ｙ）のうちの少なくとも一部の値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用いて下式（Ａ−２）に基づき前記被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出することを特徴とする画像改質処理方法。
    Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
    （ｘ＝０，ｙ＝０の場合）
    ＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
    （ｘ＝０，ｙ＝０以外の場合）
    ・・・・・・・・・・・・・・・・・・・・・・（Ａ−１）
    Ａ（ｍ，ｎ）＝ΣxΣyＱm,n（ｘ，ｙ）Ｚ（ｍ＋ｘ，ｎ＋ｙ）
    ・・・・・・・・・・・・・・・・・・・・・・（Ａ−２）
    ここで、
    ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、
    ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、
    Ｗm,n（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗm,nの各要素の値であり、この行列Ｗm,nは、前記被写体の１点（ｍ，ｎ）から出た光が前記単焦点レンズの作用により前記撮像素子上で拡がる状態を示すポイント・スプレッド・ファンクション行列であり、Ｗm,n（０，０）は、拡がりの中心部分に位置する画素の出力信号の値であり、Ｗm,n（−ｘ，−ｙ）は、周囲のぼけ部分に位置する画素の出力信号の値であり、
    ｐｏｗｅｒは、Ｗm,n（０，０）のべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、
    Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。
  3. 請求項１または２に記載の画像改質処理方法において、
    各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nのうち、光軸位置から一方向に延びる直線上に並ぶ座標についての畳み込み演算行列Ｑm,nをサンプリング行列として選択し、
    前記畳み込み演算行列記憶手段には、前記サンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のみを記憶させておき、
    その他の座標についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値は、畳み込み演算行列回転算出手段により、前記レンズの軸対称を利用して、前記サンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値の配置を前記光軸位置を中心として回転させることにより算出する
    ことを特徴とする画像改質処理方法。
  4. 請求項３に記載の画像改質処理方法において、
    前記畳み込み演算行列回転算出手段により前記その他の座標についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を算出する際には、
    前記サンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値の配置を回転させたときに、
    算出対象となる畳み込み演算行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）に対応する第一区画領域の所定位置に重なる回転後の前記サンプリング行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）に対応する第二区画領域を求め、求めた第二区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を、算出対象となる畳み込み演算行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）の値として採用するか、
    または、前記第二区画領域の所定位置が重なっている前記第一区画領域を求め、求めた前記第一区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値として、この第一区画領域に前記所定位置が重なっている前記第二区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を採用する
    ことを特徴とする画像改質処理方法。
  5. 二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置であって、
    撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとし、被写体座標系の１点（ｍ，ｎ）から出た光の結像位置が画像座標系の１点（ｍ，ｎ）となるように前記被写体座標系および前記画像座標系を設定したとき、
    各座標（ｍ，ｎ）の全部または一部について、下式（Ｂ−１）に基づき算出された畳み込み演算処理を行うための座標（ｍ，ｎ）についての（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、
    この畳み込み演算行列記憶手段に記憶された各要素Ｑm,n（ｘ，ｙ）のうちの少なくとも一部の値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用いて下式（Ｂ−２）に基づき前記被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出する再生演算手段と
    を備えたことを特徴とする画像改質処理装置。
    Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
    （ｘ＝０，ｙ＝０の場合）
    ＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
    （ｘ＝０，ｙ＝０以外の場合）
    ・・・・・・・・・・・・・・・・・・・・・・（Ｂ−１）
    Ａ（ｍ，ｎ）＝ΣxΣyＱm,n（ｘ，ｙ）Ｚ（ｍ＋ｘ，ｎ＋ｙ）
    ・・・・・・・・・・・・・・・・・・・・・・（Ｂ−２）
    ここで、
    ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、
    ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、
    Ｗm,n（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗm,nの各要素の値であり、この行列Ｗm,nは、前記被写体の１点（ｍ，ｎ）から出た光が前記二焦点レンズの作用により前記撮像素子上で拡がる状態を示すポイント・スプレッド・ファンクション行列であり、Ｗm,n（０，０）は、拡がりの中心部分に位置する画素の出力信号の値であって主として前記一方のレンズ部の作用によりその値が定まり、Ｗm,n（−ｘ，−ｙ）は、周囲のぼけ部分に位置する画素の出力信号の値であって主として前記他方のレンズ部の作用によりその値が定まり、
    ｐｏｗｅｒは、Ｗm,n（０，０）のべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、
    Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。
  6. 単焦点レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理装置であって、
    撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写体を前記単焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとし、被写体座標系の１点（ｍ，ｎ）から出た光の結像位置が画像座標系の１点（ｍ，ｎ）となるように前記被写体座標系および前記画像座標系を設定したとき、
    各座標（ｍ，ｎ）の全部または一部について、下式（Ｂ−１）に基づき算出された畳み込み演算処理を行うための座標（ｍ，ｎ）についての（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、
    この畳み込み演算行列記憶手段に記憶された各要素Ｑm,n（ｘ，ｙ）のうちの少なくとも一部の値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用いて下式（Ｂ−２）に基づき前記被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出する再生演算手段と
    を備えたことを特徴とする画像改質処理装置。
    Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
    （ｘ＝０，ｙ＝０の場合）
    ＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
    （ｘ＝０，ｙ＝０以外の場合）
    ・・・・・・・・・・・・・・・・・・・・・・（Ｂ−１）
    Ａ（ｍ，ｎ）＝ΣxΣyＱm,n（ｘ，ｙ）Ｚ（ｍ＋ｘ，ｎ＋ｙ）
    ・・・・・・・・・・・・・・・・・・・・・・（Ｂ−２）
    ここで、
    ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、
    ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、
    Ｗm,n（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗm,nの各要素の値であり、この行列Ｗm,nは、前記被写体の１点（ｍ，ｎ）から出た光が前記単焦点レンズの作用により前記撮像素子上で拡がる状態を示すポイント・スプレッド・ファンクション行列であり、Ｗm,n（０，０）は、拡がりの中心部分に位置する画素の出力信号の値であり、Ｗm,n（−ｘ，−ｙ）は、周囲のぼけ部分に位置する画素の出力信号の値であり、
    ｐｏｗｅｒは、Ｗm,n（０，０）のべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、
    Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。
  7. 請求項５または６に記載の画像改質処理装置において、
    前記畳み込み演算行列記憶手段には、各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nのうち光軸位置から一方向に延びる直線上に並ぶ座標についての畳み込み演算行列Ｑm,nがサンプリング行列として選択されてこのサンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のみが記憶され、
    その他の座標についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値を、前記レンズの軸対称を利用して、前記サンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値の配置を前記光軸位置を中心として回転させることにより算出する畳み込み演算行列回転算出手段を備えた
    ことを特徴とする画像改質処理装置。
  8. 請求項７に記載の画像改質処理装置において、
    前記畳み込み演算行列回転算出手段は、
    前記サンプリング行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値の配置を回転させたときに、
    算出対象となる畳み込み演算行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）に対応する第一区画領域の所定位置に重なる回転後の前記サンプリング行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）に対応する第二区画領域を求め、求めた第二区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を、算出対象となる畳み込み演算行列Ｑm,nの要素Ｑm,n（ｘ，ｙ）の値として採用するか、
    または、前記第二区画領域の所定位置が重なっている前記第一区画領域を求め、求めた前記第一区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値として、この第一区画領域に前記所定位置が重なっている前記第二区画領域に対応する要素Ｑm,n（ｘ，ｙ）の値を採用する構成とされている
    ことを特徴とする画像改質処理装置。
  9. 二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置として、コンピュータを機能させるためのプログラムであって、
    撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとし、被写体座標系の１点（ｍ，ｎ）から出た光の結像位置が画像座標系の１点（ｍ，ｎ）となるように前記被写体座標系および前記画像座標系を設定したとき、
    各座標（ｍ，ｎ）の全部または一部について、下式（Ｃ−１）に基づき算出された畳み込み演算処理を行うための座標（ｍ，ｎ）についての（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、
    この畳み込み演算行列記憶手段に記憶された各要素Ｑm,n（ｘ，ｙ）のうちの少なくとも一部の値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用いて下式（Ｃ−２）に基づき前記被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出する再生演算手段と
    を備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのプログラム。
    Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
    （ｘ＝０，ｙ＝０の場合）
    ＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
    （ｘ＝０，ｙ＝０以外の場合）
    ・・・・・・・・・・・・・・・・・・・・・・（Ｃ−１）
    Ａ（ｍ，ｎ）＝ΣxΣyＱm,n（ｘ，ｙ）Ｚ（ｍ＋ｘ，ｎ＋ｙ）
    ・・・・・・・・・・・・・・・・・・・・・・（Ｃ−２）
    ここで、
    ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、
    ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、
    Ｗm,n（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗm,nの各要素の値であり、この行列Ｗm,nは、前記被写体の１点（ｍ，ｎ）から出た光が前記二焦点レンズの作用により前記撮像素子上で拡がる状態を示すポイント・スプレッド・ファンクション行列であり、Ｗm,n（０，０）は、拡がりの中心部分に位置する画素の出力信号の値であって主として前記一方のレンズ部の作用によりその値が定まり、Ｗm,n（−ｘ，−ｙ）は、周囲のぼけ部分に位置する画素の出力信号の値であって主として前記他方のレンズ部の作用によりその値が定まり、
    ｐｏｗｅｒは、Ｗm,n（０，０）のべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、
    Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。
  10. 単焦点レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理装置として、コンピュータを機能させるためのプログラムであって、
    撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写体を前記単焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとし、被写体座標系の１点（ｍ，ｎ）から出た光の結像位置が画像座標系の１点（ｍ，ｎ）となるように前記被写体座標系および前記画像座標系を設定したとき、
    各座標（ｍ，ｎ）の全部または一部について、下式（Ｃ−１）に基づき算出された畳み込み演算処理を行うための座標（ｍ，ｎ）についての（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、
    この畳み込み演算行列記憶手段に記憶された各要素Ｑm,n（ｘ，ｙ）のうちの少なくとも一部の値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値とを用いて下式（Ｃ−２）に基づき前記被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値を算出する再生演算手段と
    を備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのプログラム。
    Ｑm,n（ｘ，ｙ）＝１／Ｗm,n（０，０）
    （ｘ＝０，ｙ＝０の場合）
    ＝−Ｗm,n（−ｘ，−ｙ）／Ｗm,n（０，０）power
    （ｘ＝０，ｙ＝０以外の場合）
    ・・・・・・・・・・・・・・・・・・・・・・（Ｃ−１）
    Ａ（ｍ，ｎ）＝ΣxΣyＱm,n（ｘ，ｙ）Ｚ（ｍ＋ｘ，ｎ＋ｙ）
    ・・・・・・・・・・・・・・・・・・・・・・（Ｃ−２）
    ここで、
    ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、
    ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、
    Ｗm,n（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗm,nの各要素の値であり、この行列Ｗm,nは、前記被写体の１点（ｍ，ｎ）から出た光が前記単焦点レンズの作用により前記撮像素子上で拡がる状態を示すポイント・スプレッド・ファンクション行列であり、Ｗm,n（０，０）は、拡がりの中心部分に位置する画素の出力信号の値であり、Ｗm,n（−ｘ，−ｙ）は、周囲のぼけ部分に位置する画素の出力信号の値であり、
    ｐｏｗｅｒは、Ｗm,n（０，０）のべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、
    Σxは、ｘ＝（１−Ｍ）〜（Ｍ−１）の和であり、Σyは、ｙ＝（１−Ｎ）〜（Ｎ−１）の和である。
JP2003295558A 2003-08-19 2003-08-19 画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体 Expired - Fee Related JP3855079B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003295558A JP3855079B2 (ja) 2003-08-19 2003-08-19 画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体
PCT/JP2004/002646 WO2005017829A1 (ja) 2003-08-19 2004-03-03 画像改質処理方法およびその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003295558A JP3855079B2 (ja) 2003-08-19 2003-08-19 画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体

Publications (2)

Publication Number Publication Date
JP2005063323A JP2005063323A (ja) 2005-03-10
JP3855079B2 true JP3855079B2 (ja) 2006-12-06

Family

ID=34191110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003295558A Expired - Fee Related JP3855079B2 (ja) 2003-08-19 2003-08-19 画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体

Country Status (2)

Country Link
JP (1) JP3855079B2 (ja)
WO (1) WO2005017829A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006137355A1 (ja) * 2005-06-20 2006-12-28 Riverbell Co., Ltd. 多焦点レンズおよび撮像システム
JP5761988B2 (ja) 2010-12-20 2015-08-12 キヤノン株式会社 画像処理装置、画像処理方法
JP5264968B2 (ja) 2011-08-08 2013-08-14 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム
JP5414752B2 (ja) * 2011-08-08 2014-02-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム
CN103971319B (zh) * 2013-05-13 2017-06-09 段然 一种由计算机执行的图像处理方法
JP6071860B2 (ja) * 2013-12-09 2017-02-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5611439B2 (ja) * 2013-11-13 2014-10-22 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62127976A (ja) * 1985-11-29 1987-06-10 Kyocera Corp 画像記録処理装置
JPH03181281A (ja) * 1989-12-08 1991-08-07 Kyocera Corp 画像処理方法
JPH0414960A (ja) * 1990-05-09 1992-01-20 Fujitsu Ltd カラー読取装置
JP4014512B2 (ja) * 2002-02-12 2007-11-28 株式会社リバーベル 画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体

Also Published As

Publication number Publication date
JP2005063323A (ja) 2005-03-10
WO2005017829A1 (ja) 2005-02-24

Similar Documents

Publication Publication Date Title
US9628696B2 (en) Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
US8749694B2 (en) Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
JP6847718B6 (ja) ライトフィールドデータを処理する方法およびデバイス
CN103685922B (zh) 图像处理设备、摄像设备和图像处理方法
US8665341B2 (en) Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8724000B2 (en) Methods and apparatus for super-resolution in integral photography
JP4418029B2 (ja) 画像処理装置及びカメラシステム
CN107960121A (zh) 将帧拼接成全景帧
CN104427225B (zh) 摄像设备和摄像设备的控制方法
US20150279056A1 (en) High-quality post-rendering depth blur
US8947585B2 (en) Image capturing apparatus, image processing method, and storage medium
US20080180522A1 (en) Image processing method and apparatus
CN102377945A (zh) 摄像装置
JP2004015106A (ja) 画像処理装置および画像処理方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体
WO2006137355A1 (ja) 多焦点レンズおよび撮像システム
CN105245867A (zh) 图像拾取装置、系统和控制方法以及图像处理装置
JP3855079B2 (ja) 画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体
CN111669567A (zh) 多角度自由视角视频数据生成方法及装置、介质、服务器
JP2013153375A (ja) 画像処理装置、画像処理方法および記録媒体
JP5043730B2 (ja) 撮像装置、その制御方法、画像処理装置及び画像処理方法
KR20120020821A (ko) 영상 왜곡 보정 장치 및 방법
CN111369443A (zh) 光场跨尺度的零次学习超分辨率方法
JP6531848B2 (ja) プレノプティック撮像システム用のリアルタイムカラープレビュー生成
JP2005530410A (ja) センサの回転により画像の解像度を高めるシステム
CN108510537B (zh) 3d建模方法和装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060823

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees