JP4014512B2 - Image modification processing method and apparatus, program, and data recording medium - Google Patents

Description

【００１０】

【００１１】
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素の値であり、この行列Ｗは、端部を除く座標（ｍ，ｎ）で示される１点のみに輝点のある被写体を二焦点レンズで撮像したときに一方および他方のレンズ部により形成される画像の出力信号を示すＭ行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行列部分を行列Ｗの中央部に配置するとともに、中央部に配置された非零要素を含む行列部分の外側部分を零要素で埋めることにより構成され、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、Σ_hは、ｈ＝１〜Ｍの和であり、Σ_kは、ｋ＝１〜Ｎの和である。
【００１２】
また、「二焦点レンズ」とは、標準的な距離（焦点深度下限（例えば、０．３ｍ）から無限遠までの距離）にある通常の被写体（例えば、人物や風景等）を撮像するための長い焦点距離を有する長焦点レンズ部と、標準的な距離にある被写体よりも近距離にある近接被写体（例えば、２次元バーコードや虹彩や文字等）を撮像するための短い焦点距離を有する短焦点レンズ部とが、同一の面に一体化されて形成された撮像レンズである。以下の発明においても同様である。なお、長焦点レンズ部と短焦点レンズ部とを別部材により別々に形成してから一体化してもよく、あるいは、一つの部材を用いて長焦点レンズ部および短焦点レンズ部を加工して形成してもよい。また、同一の面は、撮像レンズの光軸に直交する面であることが最も好ましい。
【００１３】
そして、「一方のレンズ部」とは、ピントの合った画像を形成するレンズ部であり、標準的な距離にある通常の被写体を撮像する際には、長焦点レンズ部が該当し、通常の被写体よりも近距離にある近接被写体を撮像する際には、短焦点レンズ部が該当する。これに対し、「他方のレンズ部」とは、ピントのぼけた画像を形成するレンズ部であり、標準的な距離にある通常の被写体を撮像する際には、短焦点レンズ部が該当し、通常の被写体よりも近距離にある近接被写体を撮像する際には、長焦点レンズ部が該当する。
【００１４】
さらに、「二焦点レンズ」を構成する長焦点レンズ部の正面形状（レンズの光軸に沿う方向から見た形状）は、円形、楕円形、または多角形のいずれかであり、短焦点レンズ部の正面形状は、環状であり、短焦点レンズ部は、長焦点レンズ部の外側に配置され、かつ、長焦点レンズ部と同心に配置（各レンズ部の光軸同士が一致する状態で配置）されていることが、構造の簡易化、製造の容易化、質の高い画像の取得の容易化、解読精度の向上等の観点から望ましく、特に、長焦点レンズ部の正面形状を円形とし、短焦点レンズ部の正面形状を円環状とした同心円型構造とすると、極めて好ましい結果が得られる。なお、長焦点レンズ部と短焦点レンズ部との配置関係を逆にし（従って、正面形状を逆にし）、短焦点レンズ部を内側に長焦点レンズ部を外側に配置するようにしてもよい。
【００１５】
また、「撮像素子」としては、具体的には、例えば、相補性金属酸化膜半導体（ＣＭＯＳ：Complementary Metal-oxide Semiconductor）や電荷結合素子（ＣＣＤ：Charge Coupled Device）等を採用することができる。
【００１６】
さらに、ｐｏｗｅｒの値は、ｃの値に応じて決定すればよい。この際、ｃの値が、０．５近傍（０．５を含む。以下、同様）のときには、ｐｏｗｅｒの値を２以外の値とする必要がある。より具体的には、ｃの値が、０．５近傍のときには、ｐｏｗｅｒの値を１以上２未満とし、より好ましくは１とする。一方、ｃの値が、０．５近傍以外のときには、１以上２以下とする。以下の発明においても、同様である。
【００１７】
このような本発明においては、被写体を二焦点レンズにより撮像した際に、再生演算手段により、畳み込み演算行列記憶手段に記憶された畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の値と、撮像して得られた画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用い、前記式（２）に基づき被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する。
【００１８】
この際、再生演算手段による演算処理は、前記式（１）に基づき予め算出されて畳み込み演算行列記憶手段に記憶された畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を用いて行われるので、後述する式（１−２２）で示されるＭ×Ｎ行Ｍ×Ｎ列の巨大逆行列Ｔを用いて演算処理を行う場合に比べ、非常に少ない計算量で、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出することが可能となる。
【００１９】
このため、短時間の処理で、ピントの合った画像を求めて被写体を再生することができるので、二焦点レンズで撮像された画像の質を短時間の処理で改善することができ、ピント合わせ機構を用いることなく、標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれもについても鮮明な画像を得ることができるようになる。
【００２０】
また、再生演算手段による演算処理が非常に少ない計算量であることから、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度のＣＰＵの能力でも短時間の処理で実行することが可能である。従って、二焦点レンズを備えた携帯型の情報端末装置に本発明を適用すれば、情報端末装置の使い勝手や性能の向上を図ることができるようになり、これらにより前記目的が達成される。
【００２１】
さらに、前述した画像改質処理方法において、二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｓ，ｔ）の値をシェージング補正行列記憶手段に記憶しておき、再生演算手段による処理を行った後に、シェージング補正手段により、シェージング補正行列記憶手段に記憶された各要素Φ（ｓ，ｔ）の値と被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて下式（３）に基づきシェージング補正を行った被写体の行列Ａ^shの各要素Ａ^sh（ｓ，ｔ）を算出することが望ましい。
【００２２】
Ａ^sh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ） ・・・・・・・・（３）
【００２３】
ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎである。
【００２４】
このようにシェージング補正を行った場合には、シェージングの影響が排除されるため、画像の質を、より一層改善することが可能となる。
【００２５】
また、前述した画像改質処理方法において、二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｈ，ｋ）の値をシェージング補正行列記憶手段に記憶しておき、再生演算手段による処理を行う前に、シェージング補正手段により、シェージング補正行列記憶手段に記憶された各要素Φ（ｈ，ｋ）の値と画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（４）に基づきシェージング補正を行った画像の出力信号の行列Ｚ^shの各要素Ｚ^sh（ｈ，ｋ）を算出し、得られたＺ^sh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）として式（２）に基づく再生演算手段による処理に使用することが望ましい。
【００２６】
Ｚ^sh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ） ・・・・・・・・（４）
【００２７】
ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎである。
【００２８】
このようにシェージング補正を行った場合には、シェージングの影響が排除されるため、画像の質を、より一層改善することが可能となる。
【００２９】
また、以上に述べた画像改質処理方法において、式（２）に基づく再生演算手段による処理は、デジタルフィルタ回路により行われ、このデジタルフィルタ回路には、画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値に畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を乗ずる複数の乗算回路と、これらの乗算回路からの出力信号を加算する複数の加算回路と、順次入力される各要素Ｚ（ｈ，ｋ）の信号の流れの速度調整を行うための複数のディレイ回路とが含まれていることが望ましい。
【００３０】
このように再生演算手段による処理をデジタルフィルタ回路により行うようにした場合には、畳み込み演算行列Ｑを用いた畳み込み演算処理を、ハードウェアにより実現することができるので、画像改質に要する処理時間を、より一層短くすることが可能となる。
【００３１】
また、以上に述べた本発明の画像改質処理方法を実現するための装置として、以下のような本発明の画像改質処理装置を挙げることができる。
【００３２】
すなわち、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとしたとき、下式（５）に基づき算出された畳み込み演算処理を行うための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、この畳み込み演算行列記憶手段に記憶された各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の値と画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（６）に基づき被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する再生演算手段とを備えたことを特徴とするものである。
【００３３】

【００３４】

【００３５】
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素の値であり、この行列Ｗは、端部を除く座標（ｍ，ｎ）で示される１点のみに輝点のある被写体を二焦点レンズで撮像したときに一方および他方のレンズ部により形成される画像の出力信号を示すＭ行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行列部分を行列Ｗの中央部に配置するとともに、中央部に配置された非零要素を含む行列部分の外側部分を零要素で埋めることにより構成され、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、Σ_hは、ｈ＝１〜Ｍの和であり、Σ_kは、ｋ＝１〜Ｎの和である。
【００３６】
このような本発明の画像改質処理装置においては、前述した本発明の画像改質処理方法で得られる作用・効果をそのまま得ることができる。
【００３７】
また、前述した画像改質処理装置において、二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｓ，ｔ）の値を記憶するシェージング補正行列記憶手段と、このシェージング補正行列記憶手段に記憶された各要素Φ（ｓ，ｔ）の値と再生演算手段による処理を行って得られた被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて下式（７）に基づきシェージング補正を行った被写体の行列Ａ^shの各要素Ａ^sh（ｓ，ｔ）を算出するシェージング補正手段とを備えた構成とすることが望ましい。
【００３８】
Ａ^sh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ） ・・・・・・・・（７）
【００３９】
ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎである。
【００４０】
このようにシェージング補正行列記憶手段およびシェージング補正手段を設けた構成とした場合には、シェージングの影響が排除されるため、画像の質を、より一層改善することが可能となる。
【００４１】
さらに、前述した画像改質処理装置において、二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｈ，ｋ）の値を記憶するシェージング補正行列記憶手段と、このシェージング補正行列記憶手段に記憶された各要素Φ（ｈ，ｋ）の値と画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（８）に基づきシェージング補正を行った画像の出力信号の行列Ｚ^shの各要素Ｚ^sh（ｈ，ｋ）を算出し、得られたＺ^sh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）として式（６）に基づく再生演算手段による処理に使用されるようにするシェージング補正手段とを備えた構成とすることが望ましい。
【００４２】
Ｚ^sh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ） ・・・・・・・・（８）
【００４３】
ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎである。
【００４４】
このような構成とした場合にも、シェージングの影響が排除されるため、画像の質を、より一層改善することが可能となる。
【００４５】
そして、以上に述べた画像改質処理装置において、再生演算手段は、式（６）に基づく演算処理を行うデジタルフィルタ回路により構成され、このデジタルフィルタ回路には、画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値に畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を乗ずる複数の乗算回路と、これらの乗算回路からの出力信号を加算する複数の加算回路と、順次入力される各要素Ｚ（ｈ，ｋ）の信号の流れの速度調整を行うための複数のディレイ回路とが含まれていることが望ましい。
【００４６】
このように再生演算手段をデジタルフィルタ回路により構成した場合には、畳み込み演算行列Ｑを用いた畳み込み演算処理を、ハードウェアにより実現することができるので、画像改質に要する処理時間を、より一層短くすることが可能となる。
【００４７】
また、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置として、コンピュータを機能させるためのプログラムであって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとしたとき、下式（９）に基づき算出された畳み込み演算処理を行うための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、この畳み込み演算行列記憶手段に記憶された各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の値と画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（１０）に基づき被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する再生演算手段とを備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのものである。
【００４８】

【００４９】

【００５０】
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素の値であり、この行列Ｗは、端部を除く座標（ｍ，ｎ）で示される１点のみに輝点のある被写体を二焦点レンズで撮像したときに一方および他方のレンズ部により形成される画像の出力信号を示すＭ行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行列部分を行列Ｗの中央部に配置するとともに、中央部に配置された非零要素を含む行列部分の外側部分を零要素で埋めることにより構成され、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、Σ_hは、ｈ＝１〜Ｍの和であり、Σ_kは、ｋ＝１〜Ｎの和である。
【００５１】
さらに、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理で使用されるデータを記録したコンピュータ読取り可能なデータ記録媒体であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとしたとき、行列Ｚから行列Ａを算出するために用いる行列として下式（１１）に基づき算出された畳み込み演算処理を行うための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記録したものである。
【００５２】

【００５３】
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素の値であり、この行列Ｗは、端部を除く座標（ｍ，ｎ）で示される１点のみに輝点のある被写体を二焦点レンズで撮像したときに一方および他方のレンズ部により形成される画像の出力信号を示すＭ行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行列部分を前記行列Ｗの中央部に配置するとともに、中央部に配置された非零要素を含む行列部分の外側部分を零要素で埋めることにより構成され、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであるが、被写体端部のｍ＝１、ｍ＝Ｍ、ｎ＝１、およびｎ＝Ｎの近傍の点は除かれる。
【００５４】
そして、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理方法であって、被写体を二焦点レンズにより撮像して得られた画像の出力信号を撮像素子から引き出して出力信号記憶手段に記憶した後、この出力信号記憶手段に記憶した撮像素子の各画素の出力信号をＱ画素×Ｑ画素の単位画面分だけ取り出してから、ディスクリート・コサイン変換処理手段により、これらの取り出した信号レベルＳ_xyについて下式（１２）に基づきディスクリート・コサイン変換処理を行うことにより各空間周波数に対応した信号レベルＳ^F _uvを求め、続いて、ピンぼけ画像消去処理手段により、ディスクリート・コサイン変換処理を行って得られたＳ^F _uvのうちゼロの成分Ｓ^F ₀₀の値に、二焦点レンズの全体面積に対するピントの合った画像を形成する一方のレンズ部の面積の割合を乗じ、この乗算により得られた値を新たなＳ^F ₀₀の値とし、その後、量子化処理手段により、ピンぼけ画像消去処理手段による処理後の信号レベルＳ^F _uvについて量子化処理を行い、さらに、符号化処理手段により、量子化処理手段による処理で得られた量子化データを符号化し、ディスクリート・コサイン変換処理手段、ピンぼけ画像消去処理手段、量子化処理手段、および符号化処理手段による各処理を、区画された全ての画面について繰り返すことを特徴とするものである。
【００５５】

【００５６】
ここで、ｕおよびｖは整数で、０≦ｕ≦（Ｑ−１）、０≦ｖ≦（Ｑ−１）、但し、Ｑは２以上の整数であり、Ｃ_u，Ｃ_v＝１／（２^1/2）（ｕ，ｖ＝０のとき）、Ｃ_u，Ｃ_v＝１（ｕ，ｖ＝０以外のとき）であり、Σ_xはｘ＝０〜（Ｑ−１）の和、Σ_yはｙ＝０〜（Ｑ−１）の和である。
【００５７】
このような本発明においては、被写体を二焦点レンズにより撮像して得られた画像の出力信号を撮像素子から単位画面分だけ取り出し、取り出した信号についてディスクリート・コサイン変換処理、ピンぼけ画像消去処理、量子化処理、および符号化処理を行う。そして、これらの各処理を、区画された全ての画面について繰り返す。
【００５８】
この際、ピンぼけ画像消去処理は、ディスクリート・コサイン変換処理を行って得られたＳ^F _uvのうちゼロの成分Ｓ^F ₀₀の値に、二焦点レンズの全体面積に対するピントの合った画像を形成する一方のレンズ部の面積の割合を乗じ、この乗算により得られた値を新たなＳ^F ₀₀の値とするという簡単な処理を行うだけであり、残りの処理は、通常のＪＰＥＧ（Joint Photographic Experts Group）による画像の圧縮処理と略同様である。従って、少ない計算量で一連の処理を実行することが可能となる。
【００５９】
このため、短時間の処理で、ピントのぼけた画像を消去してピントの合った画像を求め、画像の質の改善を図ることが可能となるうえ、計算量が少ないことから、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度のＣＰＵの能力でも短時間の処理で実行することが可能である。従って、二焦点レンズを備えた携帯型の情報端末装置に本発明を適用すれば、情報端末装置の使い勝手や性能の向上を図ることができるようになり、これらにより前記目的が達成される。
【００６０】
また、以上に述べた本発明の画像改質処理方法を実現するための装置として、以下のような本発明の画像改質処理装置を挙げることができる。
【００６１】
すなわち、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置であって、被写体を二焦点レンズにより撮像して得られた画像の出力信号を撮像素子から引き出して記憶する出力信号記憶手段と、この出力信号記憶手段に記憶した撮像素子の各画素の出力信号をＱ画素×Ｑ画素の単位画面分だけ取り出してこれらの取り出した信号レベルＳ_xyについて下式（１３）に基づきディスクリート・コサイン変換処理を行うことにより各空間周波数に対応した信号レベルＳ^F _uvを求めるディスクリート・コサイン変換処理手段と、このディスクリート・コサイン変換処理手段による処理で得られたＳ^F _uvのうちゼロの成分Ｓ^F ₀₀の値に、二焦点レンズの全体面積に対するピントの合った画像を形成する一方のレンズ部の面積の割合を乗じ、この乗算により得られた値を新たなＳ^F ₀₀の値とするピンぼけ画像消去処理手段と、このピンぼけ画像消去処理手段による処理後の信号レベルＳ^F _uvについて量子化処理を行う量子化処理手段と、この量子化処理手段による処理で得られた量子化データを符号化する符号化処理手段とを備えたことを特徴とするものである。
【００６２】

【００６３】
ここで、ｕおよびｖは整数で、０≦ｕ≦（Ｑ−１）、０≦ｖ≦（Ｑ−１）、但し、Ｑは２以上の整数であり、Ｃ_u，Ｃ_v＝１／（２^1/2）（ｕ，ｖ＝０のとき）、Ｃ_u，Ｃ_v＝１（ｕ，ｖ＝０以外のとき）であり、Σ_xはｘ＝０〜（Ｑ−１）の和、Σ_yはｙ＝０〜（Ｑ−１）の和である。
【００６４】
このような本発明の画像改質処理装置においては、前述した本発明の画像改質処理方法で得られる作用・効果をそのまま得ることができる。
【００６５】
さらに、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置として、コンピュータを機能させるためのプログラムであって、被写体を二焦点レンズにより撮像して得られた画像の出力信号を撮像素子から引き出して記憶する出力信号記憶手段と、この出力信号記憶手段に記憶した撮像素子の各画素の出力信号をＱ画素×Ｑ画素の単位画面分だけ取り出してこれらの取り出した信号レベルＳ_xyについて下式（１４）に基づきディスクリート・コサイン変換処理を行うことにより各空間周波数に対応した信号レベルＳ^F _uvを求めるディスクリート・コサイン変換処理手段と、このディスクリート・コサイン変換処理手段による処理で得られたＳ^F _uvのうちゼロの成分Ｓ^F ₀₀の値に、二焦点レンズの全体面積に対するピントの合った画像を形成する一方のレンズ部の面積の割合を乗じ、この乗算により得られた値を新たなＳ^F ₀₀の値とするピンぼけ画像消去処理手段と、このピンぼけ画像消去処理手段による処理後の信号レベルＳ^F _uvについて量子化処理を行う量子化処理手段と、この量子化処理手段による処理で得られた量子化データを符号化する符号化処理手段とを備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのものである。
【００６６】

【００６７】
ここで、ｕおよびｖは整数で、０≦ｕ≦（Ｑ−１）、０≦ｖ≦（Ｑ−１）、但し、Ｑは２以上の整数であり、Ｃ_u，Ｃ_v＝１／（２^1/2）（ｕ，ｖ＝０のとき）、Ｃ_u，Ｃ_v＝１（ｕ，ｖ＝０以外のとき）であり、Σ_xはｘ＝０〜（Ｑ−１）の和、Σ_yはｙ＝０〜（Ｑ−１）の和である。
【００６８】
また、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理方法であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体を二焦点レンズにより撮像して得られた画像の座標（ｈ，ｋ）の出力信号値をＺ（ｈ，ｋ）としたとき、下式（１５）に基づき座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画素の単位画面内での各出力信号値Ｚ（ｈ，ｋ）の移動平均値Ｚmean（ｈ，ｋ）を算出するとともに、算出した移動平均値Ｚmean（ｈ，ｋ）を用いて下式（１６）に基づきＺ（ｈ，ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，ｋ）を算出することを特徴とするものである。
【００６９】

【００７０】

【００７１】
ここで、Ｑは、３以上の奇数の自然数であり、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２であり、Σ_xは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２の和、Σ_yは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の和であり、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｋは、正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を１にするための値である。
【００７２】
このように移動平均をとって画像補正を行うようにした場合には、ピンぼけ分の画像を除去することができるため、画像の質を改善することが可能となる。
【００７３】
また、移動平均をとって減ずるだけの簡単な演算処理であるため、計算量が少なく、短時間で処理することが可能であることから、携帯型の情報端末装置等にも好適に用いることができるようになり、これらにより前記目的が達成される。
【００７４】
そして、以上に述べた本発明の画像改質処理方法を実現するための装置として、以下のような本発明の画像改質処理装置を挙げることができる。
【００７５】
すなわち、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体を二焦点レンズにより撮像して得られた画像の座標（ｈ，ｋ）の出力信号値をＺ（ｈ，ｋ）としたとき、下式（１７）に基づき座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画素の単位画面内での各出力信号値Ｚ（ｈ，ｋ）の移動平均値Ｚmean（ｈ，ｋ）を算出する移動平均算出手段と、この移動平均算出手段により算出した移動平均値Ｚmean（ｈ，ｋ）を用いて下式（１８）に基づきＺ（ｈ，ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，ｋ）を算出する画像補正手段とを備えたことを特徴とするものである。
【００７６】

【００７７】

【００７８】
ここで、Ｑは、３以上の奇数の自然数であり、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２であり、Σ_xは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２の和、Σ_yは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の和であり、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｋは、正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を１にするための値である。
【００７９】
このような本発明の画像改質処理装置においては、前述した本発明の画像改質処理方法で得られる作用・効果をそのまま得ることができる。
【００８０】
また、前述した画像改質処理装置において、移動平均算出手段および画像補正手段は、デジタルフィルタ回路を含んで構成されていることが望ましい。このようにした場合には、移動平均算出手段および画像補正手段による各処理をハードウェアで実現することができるので、計算処理時間を短くすることが可能となる。
【００８１】
さらに、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置として、コンピュータを機能させるためのプログラムであって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体を二焦点レンズにより撮像して得られた画像の座標（ｈ，ｋ）の出力信号値をＺ（ｈ，ｋ）としたとき、下式（１９）に基づき座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画素の単位画面内での各出力信号値Ｚ（ｈ，ｋ）の移動平均値Ｚmean（ｈ，ｋ）を算出する移動平均算出手段と、この移動平均算出手段により算出した移動平均値Ｚmean（ｈ，ｋ）を用いて下式（２０）に基づきＺ（ｈ，ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，ｋ）を算出する画像補正手段とを備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのものである。
【００８２】

【００８３】

【００８４】
ここで、Ｑは、３以上の奇数の自然数であり、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２であり、Σ_xは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２の和、Σ_yは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の和であり、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｋは、正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を１にするための値である。
【００８５】
なお、以上に述べたプログラムまたはその一部は、例えば、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ）を利用した読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）、デジタル・バーサタイル・ディスク（ＤＶＤ）を利用した読出し専用メモリ（ＤＶＤ−ＲＯＭ）、ＤＶＤを利用したランダム・アクセス・メモリ（ＤＶＤ−ＲＡＭ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等の記録媒体に記録して保存や流通等させることが可能であるとともに、例えば、ＬＡＮ、ＭＡＮ、ＷＡＮ、インターネット、イントラネット、エクストラネット等の有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に載せて搬送することも可能である。さらに、以上に述べたプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。
【００８６】
また、以上に述べた本発明のデータ記録媒体としては、例えば、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、ハードディスク、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、あるいはこれらの組合せ等を採用することができる。
【００８７】
さらに、以上に述べた本発明の各々の記載（各請求項の記載）において、「ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、」と定義されているが、この定義は厳密な意味での定義ではなく、光の分割が面積に比例しない場合もあるので、この定義の意味には、以下のようにしてｃの値を求める場合も含まれている。すなわち、光の量の分割比がレンズの面積比と一致しない場合には、ｃの値は、一方のレンズ部を通過して実際にセンサ（撮像素子）に到達する光の量またはセンサの信号量と、レンズ全体（一方のレンズ部および他方のレンズ部を合わせた全体）を通過して実際にセンサに到達する光の量またはセンサの信号量との比の値として求めてもよい。
【００８８】
そして、以上に述べた本発明の各々の記載（各請求項の記載）において定義されている各要素Ｗ（ｘ，ｙ）の値には、次のような処理を行って定められる値も含まれる。すなわち、一方のレンズ部は、ピントの合った画像を形成するものとされているが、実際には、この一方のレンズ部により形成される画像にも、収差等によるボケが生じることがあるので、一方のレンズ部により形成される画像は、Ｗ（０，０）の周囲に拡がり、Ｗ（０，０）の周囲の要素も非零要素となり得る（他方のレンズ部により形成されるピントのぼけた画像を考慮しなくても、Ｗ（０，０）の周囲に、非零要素が生じ得るということ）。従って、このような場合には、Ｗ（０，０）の値およびＷ（０，０）の周囲に生じた非零要素の値（但し、他方のレンズ部により形成される画像がピンぼけして拡がる範囲は考慮せずに、一方のレンズ部により形成される画像がピンぼけして拡がる範囲内の非零要素の値のみを考える。）を合計し、その合計値をｃの値としてＷ（０，０）に入れ直すとともに、Ｗ（０，０）の周囲に生じた非零要素の値（上記かっこ書で述べた範囲内の非零要素の値のみ）をゼロにするという修正作業を行い、これらの修正作業を経て作成された各要素Ｗ（ｘ，ｙ）の値を用いて、畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を算出すればよい。
【００８９】
【発明の実施の形態】
以下に本発明の各実施形態を図面に基づいて説明する。
【００９０】
［第１実施形態］
図１には、第１実施形態の画像改質処理装置３０を含む撮像システム１０の全体構成が示されている。また、図２には、画像改質処理装置３０による処理対象となる画像を形成する二焦点レンズ２１の詳細構成が示されている。撮像システム１０は、例えば、携帯電話機や携帯情報端末等の携帯型の情報端末装置に設けられた撮像システム、あるいはパーソナル・コンピュータおよびそれに接続されたカメラにより構成される撮像システム等である。
【００９１】
図１において、撮像システム１０は、被写体を撮像する撮像機構２０と、この撮像機構２０により撮像された画像の質を改善する画像改質処理装置３０と、この画像改質処理装置３０により質の改善を行った画像を表示する表示手段４０とを備えている。
【００９２】
撮像機構２０は、被写体を撮像する二焦点レンズ２１と、この二焦点レンズ２１により形成された画像を取り込む撮像素子２４とを含んで構成されている。
【００９３】
図２において、二焦点レンズ２１は、例えばガラス製の長焦点レンズ部２２と、例えばガラス製の短焦点レンズ部２３とにより構成され、これらの長焦点レンズ部２２および短焦点レンズ部２３は、同一の面に配置されて一体化されている。長焦点レンズ部２２は、例えば円形の正面形状を有し、中心に配置され、一方、短焦点レンズ部２３は、例えば円環状（ドーナツ型）の正面形状を有し、長焦点レンズ部２２の外側に長焦点レンズ部２２の外縁部に接する状態で配置されている。そして、これらの長焦点レンズ部２２および短焦点レンズ部２３は、両者の光軸が一致するように、すなわち同心に配置されて一体化され、これにより二焦点レンズ２１は、同心円型の二焦点レンズとなっている。また、これらの各レンズ部２２，２３が配置された面は、二焦点レンズ２１の光軸に直交している。
【００９４】
撮像素子２４としては、例えば、相補性金属酸化膜半導体（ＣＭＯＳ：Complementary Metal-oxide Semiconductor）や電荷結合素子（ＣＣＤ：Charge Coupled Device）等を採用することができる。撮像素子２４の大きさは、縦方向Ｍ画素×横方向Ｎ画素であるものとする。
【００９５】
画像改質処理装置３０は、撮像素子２４の出力信号を引き出して記憶する出力信号記憶手段３１と、後述する式（１−３３）または（１−３４）あるいは（１−３７）に基づき予め算出された畳み込み演算行列Ｑ（図７参照）の各要素Ｑ（ｘ，ｙ）の値のうちの少なくとも一部を記憶する畳み込み演算行列記憶手段３２と、被写体を再生する演算処理を行う再生演算手段３３とを備えている。
【００９６】
畳み込み演算行列記憶手段３２は、図７に示された畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうちの少なくとも一部を、ｘ，ｙの並び順に従って表の如く整列させて記憶するものである。少なくとも一部であるから、全部を記憶しておいてもよいが、計算容量およびメモリ容量を小さくするため、非零要素を含む行列部分（図７の行列部分Ｈ）のみを記憶しておくことが好ましい。従って、ここでは、非零要素を含む行列部分Ｈのみを記憶するものとして説明を行う。
【００９７】
再生演算手段３３は、畳み込み演算行列記憶手段３２に記憶された畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値（行列部分Ｈの各値）と、出力信号記憶手段３１に記憶された画像の出力信号を示す行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用い、後述する式（１−３６）に基づき、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する処理を行うものである。なお、畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）のうちの非零要素を含む行列部分（図７の行列部分Ｈ）以外の部分、すなわち、畳み込み演算行列記憶手段３２に記憶されない部分については、零要素であるので、計算は行われない。
【００９８】
出力信号記憶手段３１および畳み込み演算行列記憶手段３２としては、例えば、ハードディスク、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用することができる。
【００９９】
再生演算手段３３は、撮像システム１０を構成する各種の情報端末装置（例えば、携帯電話機や携帯情報端末等の携帯型の情報端末装置、あるいはカメラを接続したパーソナル・コンピュータ、監視カメラ装置等）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０１００】
表示手段４０としては、例えば、液晶ディスプレイ、ＣＲＴディスプレイ、プロジェクタおよびスクリーン、あるいはこれらの組合せ等を採用することができる。
【０１０１】
以下には、畳み込み演算行列記憶手段３２に記憶される畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の算出方法およびその根拠、並びに再生演算手段３３により行われる演算処理の根拠を説明する。
【０１０２】
前提条件として、ここでは、標準的な距離にある通常の被写体（例えば、人物や風景等）を二焦点レンズ２１により撮像する場合、従って、内側の長焦点レンズ部２２によりピントの合った画像が形成され、外側の環状の短焦点レンズ部２３によりピントのぼけた画像が形成される場合の説明を行うものとする。但し、本発明の適用は、このような場合に限定されるものではない。
【０１０３】
先ず、被写体と画像に関する基本的な事項について説明を行う。図３は、被写体と、この被写体を二焦点レンズ２１により撮像して得られる画像との関係の説明図である。なお、レンズによって形成される像は、一般には倒立像であるため、図３では、物体と像とで座標軸の向きを逆にとることにより、互いに対応する物体の位置と像の位置とが同じ座標になるようにしている。
【０１０４】
＜単一輝点の像による二焦点レンズ２１の特性の表現＞
図３に示すように、１点（座標（ｍ，ｎ））のみに輝点のある被写体αmnを二焦点レンズ２１で撮像すると、像Ｚmnが形成される。ここで、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎ、但し、ＭおよびＮは撮像素子２４の縦横の画素数である。また、座標（ｍ，ｎ）とは、撮像素子２４上の座標（表示した画素番号）（ｍ，ｎ）に投影される被写体上の対応する点を意味する。さらに、αmnやＺmnは、Ｍ×Ｎ（Ｍ行Ｎ列）の行列を表し、その要素は、Ｍ画素×Ｎ画素の撮像素子２４上の対応する座標の輝度（明るさ）あるいは出力信号の大きさを示す。
【０１０５】
この像Ｚmnを、内側の長焦点レンズ部２２により形成されるピントの合った像Ｂmnと、外側の環状の短焦点レンズ部２３により形成される環状のボケ画像Ｄmnとに分割すると、次の式（１−１）のように表すことができる。
【０１０６】
Ｚmn＝Ｂmn＋Ｄmn ・・・・・・・・・・・・・・・・・・・（１−１）
【０１０７】
ここで、Ｚmn、Ｂmn、Ｄmnは、撮像素子２４上の像を表現するＭ行Ｎ列の行列であるが、撮像素子２４上の座標（ｈ，ｋ）（ｈおよびｋは自然数、１≦ｈ≦Ｍ、１≦ｋ≦Ｎ）に対応した画素の明るさは、Ｚmn（ｈ，ｋ）、Ｂmn（ｈ，ｋ）、Ｄmn（ｈ，ｋ）のように表現される。また、αmnは被写体を表すＭ行Ｎ列の行列であるが、その座標（ｓ，ｔ）（ｓおよびｔは自然数、１≦ｓ≦Ｍ、１≦ｔ≦Ｎ）における被写体の明るさは、αmn（ｓ，ｔ）のように表現され、これらの各要素αmn（ｓ，ｔ）の値は、次の式（１−２）のように表すことができる。
【０１０８】
αmn（ｓ，ｔ）＝δs-m,t-n ・・・・・・・・・・・・・・（１−２）
【０１０９】
ここで、δはクロネッカー（Kronecker）のデルタで、δs-m,t-n＝１（ｓ＝ｍ，ｔ＝ｎの場合）、δs-m,t-n＝０（ｓ＝ｍ，ｔ＝ｎ以外の場合）である。
【０１１０】
前記式（１−１）で示されるように、座標（ｍ，ｎ）のみに輝点のある被写体αmnの二焦点レンズ２１による像Ｚmnは、内側の長焦点レンズ部２２によるピントの合った像Ｂmnと、外側の短焦点レンズ部２３によるリング状のボケ画像Ｄmnとの重なったものであるが、その様子が、図３の撮像素子２４上に示されている。但し、図３は斜視図であるため、リング状のボケ画像Ｄmnは、実際には楕円環状ではなく円環状である。
【０１１１】
図３の撮像素子２４上において、Ｂmnは、座標（ｍ，ｎ）にゼロでない要素（信号）があり、他の要素はすべてゼロとなる行列であり、Ｄmnは、座標（ｍ，ｎ）を中心としたドーナツ状あるいはリング状のピントのボケた画像、いわゆるピンぼけ画像を示す行列になる。そして、このＤmnのドーナツの外径と内径は、二焦点レンズ２１を構成する外側の短焦点レンズ部２３の外径と内径に比例した大きさになる。なお、この検討では、二焦点レンズ２１を構成する外側の短焦点レンズ部２３により形成されるボケが広範囲に拡がり、Ｄmnの要素の値は、Ｂmnに比べて十分小さいものとしている。
【０１１２】
＜被写体全体の画像＞
被写体の各点（ｓ，ｔ）がそれぞれＡ（ｓ，ｔ）の明るさを持つとすると、被写体の発する光の全体は、ｓ行ｔ列にＡ（ｓ，ｔ）の値の要素を持つ行列Ａで表現される。これを被写体Ａというように表現する。そうすると、被写体Ａは、αmn（点（ｍ，ｎ）に輝点のある被写体）を用いて、次の式（１−３）のように表すことができる。
【０１１３】
Ａ＝ΣmΣn［Ａ（ｍ，ｎ）αmn］ ・・・・・・・・・・・・（１−３）
【０１１４】
ここで、Σmは、ｍ＝１〜Ｍの和、Σnは、ｎ＝１〜Ｎの和を表す。以下においても同様である。
【０１１５】
また、物体Ａと像Ｚとの変換関係と、αmnと像Ｚmnとの変換関係とは、同じ一次元の写像と考えられるので、次の式（１−４）のように表すことができる。
【０１１６】
Ｚ＝ΣmΣn［Ａ（ｍ，ｎ）Ｚmn］ ・・・・・・・・・・・・（１−４）
【０１１７】
さらに、ピントの合った画像Ｂとピンぼけ画像Ｄとを別個に表現すれば、次の式（１−５）および（１−６）のように表現することができる。
【０１１８】
Ｂ＝ΣmΣn［Ａ（ｍ，ｎ）Ｂmn］ ・・・・・・・・・・・・（１−５）
【０１１９】
Ｄ＝ΣmΣn［Ａ（ｍ，ｎ）Ｄmn］ ・・・・・・・・・・・・（１−６）
【０１２０】
そして、被写体Ａの画像Ｚは、ピントの合った画像Ｂとピンぼけ画像Ｄとの和になるので、次の式（１−７）のようになる。
【０１２１】

【０１２２】
＜巨大ベクトルによる物体や像の表現方法＞
以上の説明では、画像を撮像素子２４の画面の形（Ｍ画素×Ｎ画素）に同形のＭ行Ｎ列の行列で表現するとともに、被写体もまた撮像素子２４の画面の相似形として表現されるとして同じくＭ行Ｎ列の行列で表現している。ところで、被写体Ａから画像Ｚを導く計算式は、後述する式（１−３５）に示す形式で表現することができ、これは一般に畳み込み演算というものである。従って、この計算式を逆に解くことができれば、二焦点レンズ２１で撮像された画像Ｚからピントの合った画像を計算できるが、この計算式からでは直接に導くことができないので、被写体および画像をＭ行Ｎ列の行列表現からＭ×Ｎ個の要素を持つベクトル表現に変換する。この場合の変換方法として、画像行列の各行（第１行〜第Ｍ行）を一番上の行から順番に横一列に並べ、それを行列演算しやすいように縦ベクトルにする。その具体例を例えば画像Ｚについて以下に挙げる。このようにして形成されたＭ×Ｎ個の要素を持つ画像表現ベクトルを巨大ベクトルと称することとする。
【０１２３】
【数１】

【０１２４】
上記の行列：Ｚに対し、巨大ベクトル：Ｚは、次の式（１−８）のようになる。なお、式（１−８）において、上付きのtは縦横の転置、つまり横ベクトルから縦ベクトルへの変換を示す。
【０１２５】

【０１２６】
以上の巨大ベクトル表現については、これまで出てきた被写体のＡやαmn、画像のＢ、ＤやＺmn、Ｂmn、Ｄmnについても同様に適用することができる。
【０１２７】
＜巨大行列による被写体からの画像形成の表現＞
以上の画像を表す巨大ベクトルを用いて、被写体から画像を形成するための「被写体から画像への一次変換（写影）」を表現する行列について検討する。被写体、画像を表現する巨大ベクトルについては、例えば、Ｚ、Ｚmnのように、行列表現の場合と同じ記号を用いるものとする。
【０１２８】
理想的な二焦点レンズ２１を考える。座標（ｍ，ｎ）における単一輝点被写体αmnのピントの合った画像Ｂmnは、Ｕを（Ｍ×Ｎ）×（Ｍ×Ｎ）個の要素を持つ単位行列とすると、次の式（１−９）のように表すことができる。
【０１２９】
Ｂmn＝ｃＵαmn ・・・・・・・・・・・・・・・・・・・・（１−９）
【０１３０】
ここで、ｃは比例係数で、二焦点レンズ２１のピントの合った画像を形成する部分である長焦点レンズ部２２の面積に比例する。この場合は、二焦点レンズ２１が理想レンズなのでこのように表現できる。なお、光の量の分割比がレンズの面積比と一致しない場合には、ｃの値は、面積比で定めるのではなく、二焦点レンズ２１のピントの合った画像を形成する部分である長焦点レンズ部２２を通過して実際に撮像素子２４に到達する光の量または撮像素子２４の信号量と、二焦点レンズ２１の全体を通過して実際に撮像素子２４に到達する光の量または撮像素子２４の信号量との比の値として求めてもよい。
【０１３１】
一方、ピントの合わない画像を形成する変換処理の行列をΔ（（Ｍ×Ｎ）×（Ｍ×Ｎ）個の要素を持つ行列）とすると、次の式（１−１０）のように表現できる。
【０１３２】
Ｄmn＝Δαmn ・・・・・・・・・・・・・・・・・・・・（１−１０）
【０１３３】
従って、２つの画像が重なった画像Ｚmnは、次の式（１−１１）のように表現できる。
【０１３４】
Ｚmn＝Ｂmn＋Ｄmn＝（ｃＵ＋Δ）αmn ・・・・・・・・・（１−１１）
【０１３５】
上記の式（１−９）〜（１−１１）における行列Ｕ、Δは、（Ｍ×Ｎ）×（Ｍ×Ｎ）個の要素を持ち、画像を表現するＭ行Ｎ列の行列に比べてＭ×Ｎ倍の大きさ（要素数）を持つので、巨大行列と称して区別することにする。前記式（１−４）に、式（１−１１）を代入すると、次の式（１−１２）のようになり、被写体と二焦点レンズ２１による画像との関係は、簡単な変換式で表現される。
【０１３６】

【０１３７】
＜巨大行列の内容＞
ここで、巨大行列の形・内容を具体的に見てみる。先ず、巨大行列ｃＵは、対角項がすべてｃとなるＭ×Ｎ行Ｍ×Ｎ列の行列である。また、Δは部分的にｃに比べて十分小さな値の要素を持つＭ×Ｎ行Ｍ×Ｎ列の行列である。その内容は、前記式（１−１０）における巨大ベクトル（縦ベクトル）Ｄmnを用いると、次の式（１−１３）のようになる。
【０１３８】

【０１３９】
ここで、上記式（１−１３）における巨大ベクトル（縦ベクトル）Ｄmnに、前記式（１−８）の表現を用いると、Δを次の式（１−１４）のように表すことができる。
【０１４０】
【数２】

【０１４１】
そして、上記式（１−１４）ように表されたΔにｃＵを加えると、ｃＵが対角項のみにｃという値の入った巨大行列であることを考慮すれば、（ｃＵ＋Δ）は、次の式（１−１５）のように、Δの対角項にｃが加わった値を要素に持つ巨大行列になる。
【０１４２】
【数３】

【０１４３】
この巨大行列（ｃＵ＋Δ）は、前記式（１−１１）を考慮すると、次の式（１−１６）のようにも表現できる。
【０１４４】
【数４】

【０１４５】
つまり、式（１−１５）と式（１−１６）との巨大行列（ｃＵ＋Δ）の要素を比較すると、次の式（１−１７）が得られる。
【０１４６】

【０１４７】
ここで、ｊは自然数で、１≦ｊ≦Ｍ×Ｎである。上記式（１−１７）により、画像形成の一次変換の巨大行列（ｃＵ＋Δ）の要素は、Δの要素Ｄmn（ｊ）を求めることにより確定する。Δを構成する各列の縦ベクトルＤmnは、式（１−１４）から明らかなように任意の位置にある単一輝点被写体によるドーナツ状のピンぼけ画像を表す巨大ベクトルと等価であるから、ドーナツ状のピンぼけ画像を求めることによりΔの各要素の値を確定することができる。
【０１４８】
次に、二焦点レンズ２１により形成されるピントの合った画像とピンぼけ画像との重なった画像から、被写体にピントの合った画像を求める方法について説明する。
【０１４９】
＜基本的な考え方＞
画像改善の基本は、前記式（１−１２）において、巨大行列（ｃＵ＋Δ）と、撮影した画像Ｚとを既知として、被写体に相当する画像Ａを求めることである。つまり、次の式（１−１８）に示される逆行列（ｃＵ＋Δ）^-1を求めることに尽きる。
【０１５０】
Ａ＝（ｃＵ＋Δ）^-1Ｚ ・・・・・・・・・・・・・・・（１−１８）
【０１５１】
巨大行列の大きさは、例えば、Ｍ＝６４０画素、Ｎ＝４８０画素（３０万画素相当）として、Ｍ×Ｎ＝３０７，２００となり、その大きさ（要素数）は、（Ｍ×Ｎ）²≒９００万となる。従って、この逆行列を求めることは相当の計算時間を要するため現実的ではない。
【０１５２】
そこで、Δの各要素の値が、ｃに比べて十分小さいという仮定をおく。この仮定は、ボケの大きさが直径１０画素以上であれば十分であり、二焦点レンズ２１の口径比、レンズ口径、各レンズ部２２，２３の焦点距離を設計上調整すればよい。このような前提条件をおいて、式（１−１８）の逆行列を近似法で簡易に求める方法を説明する。先ず、一般論として、次の式（１−１９）が成立する。
【０１５３】

【０１５４】
但し、行列のゼロ乗は単位行列Ｕになるとする。上記式（１−１９）において、Δ／ｃが十分小さいと仮定して、最初の３項までとり、以下の項を棄却すると、次の式（１−２０）のようになる。なお、詳細は後述するが、これよりも高次の展開を必要とする場合もある。
【０１５５】

【０１５６】
そして、上記の式（１−２０）を前記式（１−１８）に代入すると、次の式（１−２１）が得られる。
【０１５７】

【０１５８】
＜被写体から画像への変換巨大行列の逆行列＞
逆行列の近似計算の結果として得られる巨大行列の各要素の値を求める。逆行列を次のようにＴとおく。Ｔは、Ｍ×Ｎ行Ｍ×Ｎ列の巨大逆行列である。
【０１５９】
（ｃＵ＋Δ）^-1＝（１／ｃ）（Ｕ−Δ／ｃ）≡Ｔ
【０１６０】
上記の巨大逆行列Ｔの各要素Ｔ（ｉ，ｊ）の値を、前記式（１−１４）を用いて表示すると、次の式（１−２２）のようになる。但し、ｉおよびｊは自然数で、１≦ｉ≦Ｍ×Ｎ、１≦ｊ≦Ｍ×Ｎである。
【０１６１】
【数５】

【０１６２】
ここで、Ｄmn（ｊ）（巨大ベクトル表現）は、Ｄmn（ｈ，ｋ）（行列表現）が求まれば、機械的に求めることができる。そして、Ｄmn（ｈ，ｋ）（行列表現）は、以下に示すように二焦点レンズ２１の特性から一義的に求めることができる。
【０１６３】
＜Ｄmn（ｈ，ｋ）の値＞
単一輝点の被写体αmnにより形成されるピンぼけ画像Ｄmnの（ｈ，ｋ）要素Ｄmn（ｈ，ｋ）（行列表現）は、以下のようにして求めることができる。
【０１６４】
二焦点レンズ２１の内側および外側の円の撮像素子２４上での半径をそれぞれｒ_iおよびｒ_oとする。ｒ_iは、長焦点レンズ部２２の外径（半径）、すなわち短焦点レンズ部２３の内径（半径）に対応し、ｒ_oは、短焦点レンズ部２３の外径（半径）に対応する。また、撮像素子２４の一つの画素の大きさをp×pとする。
【０１６５】
ピンぼけ画像を形成するレンズ部が外側の短焦点レンズ部２３であるとすると、αmnによるピンぼけ画像Ｄmnは、（ｍ，ｎ）を中心とする半径ｒ_i／pからｒ_o／pまでのドーナツ状になる（図３参照）。画像Ｚmnの全体の明るさの総量を１とすれば、ピントの合った画像Ｂmnの明るさはｃとなり、ピンぼけ画像Ｄmnの明るさの総量は（１−ｃ）となり、次の式（１−２３）が成立する。
【０１６６】
ｃ＝πｒ_i ²／πｒ_o ²＝ｒ_i ²／ｒ_o ² ・・・・・・・・・・（１−２３）
【０１６７】
また、ピンぼけ画像Ｄmn中の画素当たりの平均的な明るさεは、ピンぼけ画像Ｄmnの全体の明るさが（１−ｃ）なので、次の式（１−２４）のように表すことができる。
【０１６８】
ε＝（１−ｃ）×p²／（πｒ_o ²−πｒ_i ²） ・・・・・・（１−２４）
【０１６９】
上記の式（１−２４）を用いると、Ｄmn（ｈ，ｋ）の値は、次の式（１−２５）で表すことができる。
【０１７０】

【０１７１】
ここで、撮像素子２４上での半径ｒ_iおよびｒ_oは、実験により求めることが好ましいが、二焦点レンズ２１を構成する各レンズ部２２，２３の内外径、各レンズ部２２，２３の焦点距離、および二焦点レンズ２１と撮像素子２４との間の距離を用いて計算により求めてもよい。
【０１７２】
以上により、単一輝点の被写体αmnに対するピンぼけ画像Ｄmnの行列表現の各要素Ｄmn（ｈ，ｋ）の値をすべて求めることができる。従って、この行列表現の場合の各要素Ｄmn（ｈ，ｋ）の値から、巨大ベクトル表現をした場合のＤmnの各要素Ｄmn（ｊ）の値を容易に求めることができるので、前記式（１−２２）に基づき巨大逆行列Ｔの各要素Ｔ（ｉ，ｊ）の値をすべて求めることができる。
【０１７３】
＜畳み込み演算行列Ｗの導入＞
ところで、巨大逆行列Ｔの各要素Ｔ（ｉ，ｊ）は、以下のような別の考え方をしても求めることができる。すなわち、先ず、図４に示すように、（１，１）要素のみに輝点のある被写体α₁₁により形成される画像Ｚ₁₁と、（１，Ｎ）要素のみに輝点のある被写体α_1Nにより形成される画像Ｚ_1Nと、（Ｍ，１）要素のみに輝点のある被写体α_M1により形成される画像Ｚ_M1と、（Ｍ，Ｎ）要素のみに輝点のある被写体α_MNにより形成される画像Ｚ_MNとの４つの画像行列を用いて構成される（２Ｍ−１）行（２Ｎ−１）列の行列Ｗを考える。
【０１７４】
図４において、行列Ｗは、右下部分に画像行列Ｚ₁₁を配置し、左下部分に画像行列Ｚ_1Nを配置し、右上部分に画像行列Ｚ_M1を配置し、左上部分に画像行列Ｚ_MNを配置して構成されている。但し、各画像行列Ｚ₁₁，Ｚ_1N，Ｚ_M1，Ｚ_MNは、１行分または１列分だけ重なって配置されている。ここで、Ｗ（ｘ，ｙ）は、行列Ｗの各要素であり、次の式（１−２６）のように規定され、ｘおよびｙは、正負のいずれの値もとる整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）である。なお、Ｗ（ｘ，ｙ）の各値は、これらの各要素の値の総和が１になるように正規化されている。
【０１７５】

【０１７６】
また、行列Ｗは、別の表現をすれば、次のようになる。すなわち、行列Ｗは、単一輝点被写体αmnによるＭ行Ｎ列の画像行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素（図４中のｃやε）を含む行列部分Ｅを行列Ｗの中央部に配置するとともに、中央部に配置された非零要素を含む行列部分Ｅの外側部分を零要素で埋めることにより構成されている。
【０１７７】
そして、非零要素を含む行列部分Ｅは、例えば、３１画素×３１画素分に収まる程度の大きさ等である。非零要素を含む行列部分Ｅに含まれるｃの値は、例えば、ｃ＝０．８等であり、εの値は、例えば、ε＝０．００１３等である。但し、これらの数値に限定されるものではない。また、図４では、εは、１行または１列分の幅で線状に記載されているが、実際には、複数行または複数列の幅で帯状に配置される。例えば、Ｗ（０，０）＝ｃを中心として、７行または７列分の幅で零要素（Ｗ（ｘ，ｙ）＝０）が円環状に配置され、その外側に８行または８列分の幅でε（Ｗ（ｘ，ｙ）＝ε）が円環状に配置される等である。
【０１７８】
次に、行列Ｗにおいて、Ｍ行Ｎ列の切出行列Ｋを図４中の実線位置から点線位置のように１行または１列ずつ位置をずらしながら移動させることにより、行列Ｗの各要素Ｗ（ｘ，ｙ）の中からＭ×Ｎ個の要素を切り出せば、その切り出した要素により構成される各行列Ｋ₁₁，Ｋ₁₂…Ｋ_MNは、画像行列Ｚmn（１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）と同じになる。例えば、Ｚ₁₁と同じになる切出行列Ｋ₁₁は、次の式（１−２７）のようになる。
【０１７９】
【数６】

【０１８０】
上記の式（１−２７）におけるＫ₁₁は、行列表現であるが、これを巨大ベクトル表現にすると、次の式（１−２８）のような縦ベクトルになる。
【０１８１】

【０１８２】
同様にして、図４において、切出行列Ｋを１列分だけ左方向に移動して切り出しを行うと、Ｚ₁₂と同じになる切出行列Ｋ₁₂が、次の式（１−２９）のように得られ、また、その巨大ベクトル表現が、次の式（１−３０）のように得られる。
【０１８３】
【数７】

【０１８４】

【０１８５】
このようにして切出行列Ｋを順次移動させてＫ₁₁，Ｋ₁₂…Ｋ_MNが得られれば、変換巨大行列（ｃＵ＋Δ）は、これらの縦ベクトルＫ₁₁，Ｋ₁₂…Ｋ_MNを用いて、次の式（１−３１）のように表すことができる。
【０１８６】

【０１８７】
ここで、上記式（１−３１）における巨大ベクトル（縦ベクトル）Ｋ₁₁，Ｋ₁₂…Ｋ_MNに、前記式（１−２８）および（１−３０）の表現を用いると、（ｃＵ＋Δ）を次の式（１−３２）のように表すことができる。
【０１８８】
【数８】

【０１８９】
上記式（１−３２）において変換巨大行列（ｃＵ＋Δ）の対角項は、全てＷ（０，０）となることがわかる。これを具体的に表現してみると、図５のようになる。図５において、対角項は、Ｗ（０，０）＝ｃで一定であり、対角項以外の部分には、ｃに比べて微小な数値であるεが対角項と平行に現れている。これは、図４と図５とを見比べることにより、理解することができる。
【０１９０】
従って、前記式（１−２０）により、変換巨大行列（ｃＵ＋Δ）の逆行列である巨大逆行列Ｔは、具体的に表現すると、図６のようになる。図６において、対角項は、１／ｃで一定であり、対角項以外の部分には、ｃに比べて微小な数値である−ε／ｃ²が対角項と平行に現れている。
【０１９１】
＜畳み込み演算行列Ｑの導入＞
ここで、図４に示した（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素Ｗ（ｘ，ｙ）を切出行列Ｋで切り出すことにより、図５に示すような変換巨大行列（ｃＵ＋Δ）が得られることを考えれば、図６に示すような巨大逆行列Ｔを構成することができる（２Ｍ−１）行（２Ｎ−１）列の行列Ｑを考えることができる。
【０１９２】
このような行列Ｗに対応する行列Ｑは、図７のようになる。これは、図６と図７とを見比べることにより、理解することができる。図７において、行列Ｑの中央部は、Ｑ（０，０）＝１／ｃを中心として、円環状に−ε／ｃ²が配置された構成となっている。その他の部分は、零要素である。つまり、Ｑ（ｘ，ｙ）は、次の式（１−３３）のようになる。
【０１９３】

【０１９４】
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）である。なお、図７の行列Ｑにおけるｃやεの値は、図４の行列Ｗにおけるｃやεの値と同じである。
【０１９５】
なお、本第１実施形態で説明を行っている状況設定の場合（ピンぼけ画像Ｄmnが円環状になる場合）に限らず、例えば、ピンぼけ画像Ｄmnが円形状や楕円形状や多角形状になる場合等も含め、上記式（１−３３）を一般化すると、次の式（１−３４）のようになる。なお、前述した式（１−２０）よりも高次の展開を考慮した場合には、より一般的な形の式になるが、これについての詳細は後述する。
【０１９６】

【０１９７】
一方、画像行列Ｚの各要素Ｚ（ｈ，ｋ）の値は、上述した行列Ｗを用いて、次の式（１−３５）に基づき畳み込み演算を行うことにより、被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値から算出することができる。従って、行列Ｗは、畳み込み演算処理を行うための畳み込み演算行列である。
【０１９８】

【０１９９】
ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、Σ_mは、ｍ＝１〜Ｍの和であり、Σ_nは、ｎ＝１〜Ｎの和である。
【０２００】
これと同様に考えれば、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値は、上述した行列Ｑを用いて、次の式（１−３６）に基づき畳み込み演算を行うことにより、画像行列Ｚの各要素Ｚ（ｈ，ｋ）の値から算出することができる。従って、行列Ｑも、畳み込み演算処理を行うための畳み込み演算行列である。
【０２０１】

【０２０２】
ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、Σ_hは、ｈ＝１〜Ｍの和であり、Σ_kは、ｋ＝１〜Ｎの和である。
【０２０３】
以上により、畳み込み演算行列Ｑを用いて畳み込み演算を行えば、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を再生する再生演算処理を行うことができることがわかる。
【０２０４】
ところで、以上の説明では、Ｃの値が、０．５近傍（０．５も含む。以下、同様）以外の値のときについて成立し得る処理やその根拠について述べてきた。一方、Ｃの値が、０．５に近づくと、式（１−２０）に示された展開では不十分であり、より高次の展開を必要とする。従って、式（１−３４）についても、より高次の展開に対応した形にする必要がある。
【０２０５】
しかし、式（１−２０）に比べ、より高次の展開を行うことは計算式が複雑になり、処理の複雑化や遅延化を招くことになるので好ましくない。そこで、Ｃの値が、０．５近傍の値のときにも対応し得る形で、式（１−３４）を簡易的に次の式（１−３７）のように置き換える。なお、このような置き換えにより高次の展開と同等な効果を得られることは、多くの演算を繰り返した結果、本願出願人により見出された。
【０２０６】

【０２０７】
ここで、ｐｏｗｅｒの値は、ｃの値に応じて決定すればよい。この際、ｃの値が、０．５近傍のときには、ｐｏｗｅｒの値を２以外の値とする必要がある。より具体的には、ｃの値が、０．５近傍のときには、ｐｏｗｅｒの値を１以上２未満とし、より好ましくは１とする。一方、ｃの値が、０．５近傍以外のときには、１以上２以下とする。
【０２０８】
また、以上の説明では、二焦点レンズ２１のピントの合った画像を形成する部分である長焦点レンズ部２２は、ボケの無い画像を形成するという前提で、説明が行われている。従って、長焦点レンズ部２２により形成される画像には、Ｗ（０，０）にのみ非零要素があり、その値はｃであるという仮定を置いている。
【０２０９】
しかし、実際には、長焦点レンズ部２２により形成される画像には、収差等によるボケが生じることがあるので、長焦点レンズ部２２により形成される画像は、Ｗ（０，０）の周囲に拡がり、Ｗ（０，０）の周囲の要素も非零要素となり得る。例えば、Ｗ（ｘ，ｙ）の中心では、Ｗ（０，０）＝０．４１となり、その周囲の要素については、Ｗ（０，１）＝Ｗ（０，−１）＝Ｗ（１，０）＝Ｗ（−１，０）＝０．０８、Ｗ（１，１）＝Ｗ（１，−１）＝Ｗ（−１，１）＝Ｗ（−１，−１）＝０．０２となり、それ以外の要素については、Ｗ（ｘ，ｙ）＝０となる等である。
【０２１０】
そこで、長焦点レンズ部２２により形成される画像に、収差等によるボケが生じ、Ｗ（０，０）以外の要素も非零要素となる場合には、Ｗ（０，０）の値およびＷ（０，０）の周囲に生じた非零要素の値を合計し、その合計値をｃの値としてＷ（０，０）に入れ直すとともに、Ｗ（０，０）の周囲に生じた非零要素の値をゼロにするという修正作業を行い、これらの修正作業を経て作成された各要素Ｗ（ｘ，ｙ）の値を用いて、畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を算出すればよい。例えば、前述した具体的数値例の場合には、中心の要素の値０．４１と、周囲の４要素の値０．０８×４と、周囲の別の４要素の値０．０２×４とを合計すると、０．８１になるので、Ｗ（０，０）＝ｃ＝０．８１とするとともに、Ｗ（０，１）＝Ｗ（０，−１）＝Ｗ（１，０）＝Ｗ（−１，０）＝Ｗ（１，１）＝Ｗ（１，−１）＝Ｗ（−１，１）＝Ｗ（−１，−１）＝０とする。
【０２１１】
このような第１実施形態においては、以下のようにして画像改質処理装置３０により、二焦点レンズ２１を用いて被写体を撮像して得られた画像の質の改善が図られる。
【０２１２】
先ず、被写体の撮像を行う前に、式（１−３３）または（１−３４）、あるいは（１−３７）に基づき、畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を予め算出し、画像改質処理装置３０の畳み込み演算行列記憶手段３２に記憶しておく。なお、記憶するのは、非零要素を含む行列部分Ｈの各値のみでよい（図７参照）。
【０２１３】
次に、撮像機構２０により被写体を撮像する。この際、被写体から発せられた光は、二焦点レンズ２１の各レンズ部２２，２３を通過して撮像素子２４に至る。そして、被写体からの光を受けた撮像素子２４の出力信号を引き出して画像改質処理装置３０に取り込み、出力信号記憶手段３１に記憶する。
【０２１４】
続いて、再生演算手段３３により、畳み込み演算行列記憶手段３２に記憶された各要素Ｑ（ｘ，ｙ）の値（図７の行列部分Ｈの各値）と、出力信号記憶手段３１に記憶された画像の出力信号を示す行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用い、式（１−３６）に基づき被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する。
【０２１５】
その後、求めた被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を用い、撮像対象となった被写体を表示手段４０の画面上に表示する。また、必要に応じ、図示されないプリンター等の出力手段により、被写体の印刷を行ってもよい。
【０２１６】
このような第１実施形態によれば、次のような効果がある。すなわち、再生演算手段３３による演算処理は、式（１−３３）または（１−３４）、あるいは（１−３７）に基づき予め算出されて畳み込み演算行列記憶手段３２に記憶された（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値（本第１実施形態では、さらにその一部である非零要素を含む行列部分Ｈの各値）を用いて行われるので、式（１−２２）で示されるＭ×Ｎ行Ｍ×Ｎ列の巨大逆行列Ｔを用いて演算処理を行う場合に比べ、非常に少ない計算量で、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出することができる。
【０２１７】
例えば、Ｍ＝３００画素、Ｎ＝４００画素とすれば、巨大逆行列Ｔを用いる場合の計算量（Ｍ×Ｎ）×（Ｍ×Ｎ）＝１．４４×１０¹⁰回に対し、畳み込み演算行列Ｑを用いる場合の計算量は、（２Ｍ−１）×（２Ｎ−１）＝約４８万回となり、さらに、畳み込み演算行列Ｑの中の非零要素を含む行列部分Ｈのみを用いる場合の計算量は、例えば３１×３１＝約１０００回程度となる。
【０２１８】
このため、短時間の処理で、ピントの合った画像を求めて被写体を再生することができるので、二焦点レンズ２１で撮像された画像の質を短時間の処理で改善することができ、ピント合わせ機構を用いることなく、標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれもについても鮮明な画像を得ることができる。
【０２１９】
また、再生演算手段３３による演算処理が非常に少ない計算量であることから、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度のＣＰＵの能力でも短時間の処理で実行することができる。従って、二焦点レンズ２１を備えた携帯型の情報端末装置に本発明を適用すれば、情報端末装置の使い勝手や性能の向上を図ることができる。
【０２２０】
［第２実施形態］
図８には、本発明の第２実施形態の画像改質処理装置２３０を含む撮像システム２００の全体構成が示されている。撮像システム２００は、前記第１実施形態の撮像システム１０と画像改質処理装置２３０の構成が異なるのみであるので、同一部分には同一符号を付して詳しい説明は省略し、以下には異なる部分のみを説明する。
【０２２１】
図８において、画像改質処理装置２３０は、出力信号記憶手段２３１と、畳み込み演算行列記憶手段２３２と、再生演算手段２３３と、シェージング補正行列記憶手段２３４と、シェージング補正手段２３５とを備えている。これらのうち、出力信号記憶手段２３１、畳み込み演算行列記憶手段２３２、および再生演算手段２３３は、前記第１実施形態の出力信号記憶手段３１、畳み込み演算行列記憶手段３２、および再生演算手段３３と同じである。
【０２２２】
シェージング補正行列記憶手段２３４は、二焦点レンズ２１への光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｓ，ｔ）の値を記憶するものである。
【０２２３】
ここで、シェージング補正行列Φの各要素Φ（ｓ，ｔ）の値は、次のように求められる。先ず、均一白色の被写体（フラットな被写体）を撮像して形成される画像の各要素の出力信号値をΨ（ｓ，ｔ）とする。このΨ（ｓ，ｔ）の値は、実験により求めることが好ましいが、計算により求めてもよい。計算の場合には、二焦点レンズ２１の中央部の法線から測った被写体上の点の方位角θによる余弦値ｃｏｓθを用いて求めることができる。このとき、シェージング補正行列Φの各要素Φ（ｓ，ｔ）の値は、次の式（２−１）のようになる。
【０２２４】
Φ（ｓ，ｔ）＝１／Ψ（ｓ，ｔ） ・・・・・・・・・・・・（２−１）
【０２２５】
ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎである。なお、Ψ（ｓ，ｔ）の値は、最大の明るさ（輝度）となる要素の出力信号値が１になるように正規化されている。
【０２２６】
シェージング補正手段２３５は、シェージング補正行列記憶手段２３４に記憶された各要素Φ（ｓ，ｔ）の値と、再生演算手段２３３による処理を行って得られた被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて、次の式（２−２）に基づき、シェージング補正を行った被写体の行列Ａ^shの各要素Ａ^sh（ｓ，ｔ）を算出する処理を行うものである。
【０２２７】
Ａ^sh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ） ・・・・・・（２−２）
【０２２８】
シェージング補正行列記憶手段２３４は、畳み込み演算行列記憶手段２３２と同様に、例えば、ハードディスクやＲＯＭ等により実現される。
【０２２９】
シェージング補正手段２３５は、再生演算手段２３３と同様に、中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０２３０】
このような第２実施形態においては、以下のようにして画像改質処理装置２３０により、二焦点レンズ２１を用いて被写体を撮像して得られた画像の質の改善が図られる。
【０２３１】
先ず、シェージング補正行列Φの各要素Φ（ｓ，ｔ）の値をシェージング補正行列記憶手段２３４に記憶しておく。
【０２３２】
次に、前記第１実施形態と同様な処理を行い、再生演算手段２３３による処理を行った後に、シェージング補正手段２３５により、各要素Φ（ｓ，ｔ）の値と、再生演算手段２３３による処理で得られた被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて、式（２−２）に基づき、シェージング補正を行った被写体の行列Ａ^shの各要素Ａ^sh（ｓ，ｔ）の値を算出する。
【０２３３】
このような第２実施形態によれば、前記第１実施形態で得られる効果に加え、シェージング補正手段２３５による処理を行うので、シェージングの影響が排除されるため、画像の質を、より一層改善することができるという効果がある。
【０２３４】
［第３実施形態］
図９には、本発明の第３実施形態の画像改質処理装置３３０を含む撮像システム３００の全体構成が示されている。撮像システム３００は、前記第１実施形態の撮像システム１０と画像改質処理装置３３０の構成が異なるのみであるので、同一部分には同一符号を付して詳しい説明は省略し、以下には異なる部分のみを説明する。
【０２３５】
図９において、画像改質処理装置３３０は、出力信号記憶手段３３１と、畳み込み演算行列記憶手段３３２と、再生演算手段３３３と、シェージング補正行列記憶手段３３４と、シェージング補正手段３３５とを備えている。これらのうち、出力信号記憶手段３３１、畳み込み演算行列記憶手段３３２、および再生演算手段３３３は、前記第１実施形態の出力信号記憶手段３１、畳み込み演算行列記憶手段３２、および再生演算手段３３と同じである。
【０２３６】
シェージング補正行列記憶手段３３４は、二焦点レンズ２１への光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｈ，ｋ）の値を記憶するものである。
【０２３７】
ここで、シェージング補正行列Φの各要素Φ（ｈ，ｋ）の値は、前記第２実施形態と同様にして、Ψ（ｈ，ｋ）を用いて求められる。
【０２３８】
シェージング補正手段３３５は、シェージング補正行列記憶手段３３４に記憶された各要素Φ（ｈ，ｋ）の値と、画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて、次の式（３−１）に基づき、シェージング補正を行った画像の出力信号の行列Ｚ^shの各要素Ｚ^sh（ｈ，ｋ）を算出し、得られたＺ^sh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）として再生演算手段３３３による処理に使用されるようにする処理を行うものである。
【０２３９】
Ｚ^sh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ） ・・・・・・（３−１）
【０２４０】
ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎである。
【０２４１】
シェージング補正行列記憶手段３３４は、畳み込み演算行列記憶手段３３２と同様に、例えば、ハードディスクやＲＯＭ等により実現される。
【０２４２】
シェージング補正手段３３５は、再生演算手段３３３と同様に、中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０２４３】
このような第３実施形態においては、以下のようにして画像改質処理装置３３０により、二焦点レンズ２１を用いて被写体を撮像して得られた画像の質の改善が図られる。
【０２４４】
先ず、シェージング補正行列Φの各要素Φ（ｈ，ｋ）の値をシェージング補正行列記憶手段３３４に記憶しておく。
【０２４５】
次に、再生演算手段３３３による処理を行う前に、シェージング補正手段３３５により、各要素Φ（ｈ，ｋ）の値と、画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて、式（３−１）に基づき、シェージング補正を行った画像の出力信号の行列Ｚ^shの各要素Ｚ^sh（ｈ，ｋ）の値を算出した後、得られたＺ^sh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）とする。
【０２４６】
続いて、シェージング補正手段３３５による処理を経たＺ（ｈ，ｋ）の値を用いて、前記第１実施形態と同様に、再生演算手段３３３による処理およびその後の処理を行う。
【０２４７】
このような第３実施形態によれば、前記第１実施形態で得られる効果に加え、シェージング補正手段３３５による処理を行うので、シェージングの影響が排除されるため、画像の質を、より一層改善することができるという効果がある。
【０２４８】
［第４実施形態］
図１０には、本発明の第４実施形態の画像改質処理装置４３０の一部を構成するデジタルフィルタ回路４３３の詳細構成が示されている。前記第１、第２、第３実施形態では、各再生演算手段３３，２３３，３３３は、中央演算処理装置（ＣＰＵ）およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現されていたが、本第４実施形態では、再生演算手段は、図１０に示すようなデジタルフィルタ回路４３３により実現されている。その他の構成は、前記第１、第２、第３実施形態と同様である。
【０２４９】
デジタルフィルタ回路４３３は、再生演算手段による処理、すなわち前記第１実施形態の式（１−３６）に基づく畳み込み演算行列Ｑを用いた畳み込み演算処理を、ハードウェアにより実現するものである。
【０２５０】
なお、図１０では、説明を簡略化するために、前記第１実施形態の式（１−３３）または（１−３４）、あるいは（１−３７）で規定される畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を３画素×３画素分だけ用いる場合の回路が図示されている。しかし、実際には、図７の非零要素を含む行列部分Ｈの画素分（例えば３１画素×３１画素分）だけＱ（ｘ，ｙ）の値が用いられるので、デジタルフィルタ回路４３３の大きさは、もっと大きくなるが、各構成回路の配置方法は、図１０と同様である。
【０２５１】
図１０において、デジタルフィルタ回路４３３は、順次入力されてくる画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値に畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を乗ずるための複数（図１０では、９個）の乗算回路４０１〜４０９と、これらの乗算回路４０１〜４０９からの出力信号を加算する複数（図１０では、８個）の加算回路４１１〜４１８と、順次入力される各要素Ｚ（ｈ，ｋ）の信号の流れの速度調整を行うための複数（図１０では、８個）のディレイ回路４２１〜４２８とを備えている。
【０２５２】
乗算回路４０１，４０２，４０３，４０４，４０５，４０６，４０７，４０８，４０９は、それぞれＱ（−１，−１），Ｑ（−１，０），Ｑ（−１，１），Ｑ（０，−１），Ｑ（０，０），Ｑ（０，１），Ｑ（１，−１），Ｑ（１，０），Ｑ（１，１）の各値を乗ずるための回路である。
【０２５３】
ディレイ回路４２１〜４２６は、画素から画素に移る時間だけ信号を遅らせる１クロックディレイを行うための回路であり、ディレイ回路４２７，４２８は、行から行に移る時間だけ信号を遅らせる１Ｈディレイを行うための回路である。
【０２５４】
このような第４実施形態によれば、前記第１〜第３実施形態で得られる効果に加え、畳み込み演算行列Ｑを用いた畳み込み演算処理を、ハードウェアにより実現することができるので、画像改質に要する処理時間を、より一層短くすることができるという効果がある。
【０２５５】
［第５実施形態］
図１１には、本発明の第５実施形態の画像改質処理装置５３０を含む撮像システム５００の全体構成が示されている。撮像システム５００は、前記第１実施形態の撮像システム１０と画像改質処理装置５３０の構成が異なるのみであるので、同一部分には同一符号を付して詳しい説明は省略し、以下には異なる部分のみを説明する。
【０２５６】
図１１において、撮像システム５００は、被写体を撮像する撮像機構２０と、この撮像機構２０により撮像された画像の質を改善する画像改質処理装置５３０と、この画像改質処理装置５３０により質の改善を行った画像を表示する表示手段４０とを備えている。これらのうち撮像機構２０および表示手段４０の構成は、前記第１実施形態の場合と同様である。
【０２５７】
画像改質処理装置５３０は、出力信号記憶手段５３１と、ディスクリート・コサイン変換処理手段５３２と、ピンぼけ画像消去処理手段５３３と、量子化処理手段５３４と、符号化処理手段５３５と、余弦値記憶手段５３６とを含んで構成されている。
【０２５８】
出力信号記憶手段５３１は、被写体を二焦点レンズ２１により撮像して得られた画像の出力信号を撮像素子２４から引き出して記憶するものである。
【０２５９】
ディスクリート・コサイン変換処理手段（ＤＣＴ処理手段）５３２は、出力信号記憶手段５３１に記憶した撮像素子２４の各画素の出力信号をＱ画素×Ｑ画素（ここでは、８画素×８画素として説明を行うものとする。）の単位画面分だけ取り出し、取り出した信号レベルＳ_xyについて後述する式（５−１）に基づきディスクリート・コサイン変換処理（ＤＣＴ処理）を行うことにより各空間周波数に対応した信号レベルＳ^F _uvを求める処理を行うものである。このＤＣＴ処理は、通常のＪＰＥＧによる画像の圧縮処理で行うものと同様の処理である。
【０２６０】
ピンぼけ画像消去処理手段５３３は、ディスクリート・コサイン変換処理手段５３２による処理で得られたＳ^F _uvのうちゼロの成分Ｓ^F ₀₀の値に、二焦点レンズ２１の全体面積に対するピントの合った画像を形成するレンズ部（長焦点レンズ部２２または短焦点レンズ部２３）の面積の割合を乗じ、この乗算により得られた値を新たなＳ^F ₀₀の値とする処理を行うものである。
【０２６１】
量子化処理手段５３４は、ピンぼけ画像消去処理手段５３３による処理後の信号レベルＳ^F _uvについて量子化処理を行うものである。この量子化処理は、通常のＪＰＥＧによる画像の圧縮処理で行うものと同様の処理である。
【０２６２】
符号化処理手段５３５は、量子化処理手段５３４による処理で得られた量子化データを符号化する処理を行うものである。この符号化処理は、通常のＪＰＥＧによる画像の圧縮処理で行うものと同様の処理である。
【０２６３】
余弦値記憶手段５３６は、ＤＣＴ処理手段５３２による演算処理で用いる後述する式（５−１）中のcos（余弦）の値を、xとｕ、および、yとvの各組み合わせについて格納して記憶するテーブルである。
【０２６４】
出力信号記憶手段５３１および余弦値記憶手段５３６としては、例えば、ハードディスク、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用することができる。
【０２６５】
ＤＣＴ処理手段５３２、ピンぼけ画像消去処理手段５３３、量子化処理手段５３４、および符号化処理手段５３５は、撮像システム５００を構成する各種の情報端末装置（例えば、携帯電話機や携帯情報端末等の携帯型の情報端末装置、あるいはカメラを接続したパーソナル・コンピュータ、監視カメラ装置等）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０２６６】
以下には、画像改質処理装置５３０により行われる各種演算処理の根拠を説明する。
【０２６７】
前記第１実施形態の説明で述べたように、光軸を共有する二焦点レンズ２１による撮像素子２４上の画像は、内側に配置された長焦点レンズ部２２と、外側に配置された短焦点レンズ部２３とのうちの、一方のレンズ部によるピントの合った画像と、他方のレンズ部によるピントの合わない画像（いわゆるピンぼけ画像）との重ね合せになっている。
【０２６８】
この際、ピントの合わない画像は、レンズ部の口径および倍率を適切に選ぶことにより、被写体の情報をほとんど失った、画面内の受光量の変動の少ない画像になる。
【０２６９】
以上のことを考慮すると、ピンぼけ画像を適切な方法で消去できれば、ピントの合った画像の再生を実現することができる。そして、画像改善処理時間（計算量／処理能力）をできるだけ少なくすることができる簡易な消去方法とすれば、携帯情報端末のＣＰＵの能力の範囲内でも短時間に処理することができるようになる。そこで、以下では、処理時間を極力短くする消去方法について説明する。
【０２７０】
先ず、ピンぼけ画像消去処理の基本的な考え方を説明する。
【０２７１】
＜画像改善処理の対象となる画像と消去処理の基本的な方法＞
二焦点レンズ２１により形成されたピントの合った画像とピンぼけ画像との重なった画像を、画像改善処理の対象とする。ピンぼけ画像は、画面内でほぼ完全に被写体の情報を失っており、画面の各位置の、すなわち撮像素子２４の画素毎の出力信号レベルの変動も少ないものとする。この場合、二焦点レンズ２１の画像から、ピンぼけ画像（の信号値）を差し引くことでピントの合った画像を形成することができる。なお、ピンぼけ画像の信号値を求める際には、被写体上における任意の点の広がり範囲での平均値は、両方のレンズ部２２，２３の面積に比例すると考えてよい。
【０２７２】
＜消去処理時間の短縮のための方法＞
先ず、撮像素子２４の出力信号データ（＝ビットマップデータ）を適当な方法で圧縮する。ここでは、ＪＰＥＧデータに変換することとする。ＪＰＥＧでは、各画素を８×８画素の単位で分割して処理する。従って、ピンぼけ画像消去もこの分割を利用して実行する。すなわち、ＪＰＥＧで各分割単位毎のディスクリート・コサイン変換（ＤＣＴ）を実行し、その周波数成分を用いて、信号レベルの平均値をとる。この平均値を、ピントの合ったデータとピンぼけデータとの平均光量比により按分し、ピンぼけ画像の信号の平均値相当分を元のデータから差し引くことで、ピントの合った画像のみを残す。そして、分割された８×８画素の単位画面で行う一連の処理を、撮像素子２４の面上の全ての単位画面について繰り返して行う。
【０２７３】
次に、実際のデータ処理について説明する。ここでは、ＪＰＥＧの圧縮処理の実行過程に、ピンぼけ画像消去処理も入れることとして、その実際的なアルゴリズムについて説明する。
【０２７４】
＜ＤＣＴ処理＞
前述したように８×８画素を一単位として分割された単位画面内の各画素の信号レベルをＳ_xy（ｘ，ｙは８×８画素の単位画面内の位置座標を示し、それぞれ０〜７の値をとる。）とし、Ｓ_xyをＤＣＴ処理した各空間周波数成分の信号レベルをＳ^F _uv（ｕ，ｖは空間周波数を示し、それぞれ０〜７の値をとる。）とすると、次の式（５−１）が成立する。
【０２７５】

【０２７６】
ここで、Σ_xはｘ＝０〜７の和を示し、Σ_yはｙ＝０〜７の和を示す。また、Ｃ_u，Ｃ_vは、次の式（５−２）で示される値をとる。
【０２７７】

【０２７８】
一方、ＤＣＴ逆変換は、次の式（５−３）のようになる。
【０２７９】

【０２８０】
ここで、Σ_uはｕ＝０〜７の和を示し、Σ_vはｖ＝０〜７の和を示す。しかし、実際には、量子化処理によりゼロでないＳ^F _uvの数は６４個より遥かに少なく、ほぼ１０個程度と考えられる。
【０２８１】
＜ピンぼけ画像の消去処理＞
ここで、前記式（５−３）を用いて８×８画素に分割された単位画面内の信号レベルＳ_xyの総和Ｓsumを求めると、次の式（５−４）のようになる。
【０２８２】

【０２８３】
ここで、Π_mはｍ＝１〜４の積を示し、Π_nはｎ＝１〜４の積を示すが、ｕ＝０，ｖ＝０以外ではΣ記号（あるいはΠ記号）の中はゼロになるので、最終的には、Ｓsumは上記の式（５−４）の右辺の最後尾に示すように８Ｓ^F ₀₀になる。従って、各画素の信号レベルＳ_xyの平均値Ｓmeanは、次のように表すことができる。
【０２８４】
Ｓmean＝Ｓsum／６４＝Ｓ^F ₀₀／８
【０２８５】
ピンぼけ画像の消去処理後の信号をＳp_xyとし、また、ピンぼけ画像を生成する側のレンズ部を通過する光量の割合は、両レンズ部２２，２３の開口面積の按分比によって決まるので、その全光量に対する割合をρとすると、次の式（５−５）が成立する。
【０２８６】
Ｓp_xy＝Ｓ_xy−ρ×Ｓmean ・・・・・・・・・・・・・・・（５−５）
【０２８７】
上記の式（５−５）を前記式（５−１）に代入すると、次の式（５−６）のようになる。
【０２８８】

【０２８９】
ここで、次の式（５−７）のようにおくと、式（５−８）および式（５−９）が得られる。
【０２９０】
Ｓp^F _uv＝Ｓ^F _uv−Ｃ_uv ・・・・・・・・・・・・・・・・（５−７）
【０２９１】

【０２９２】

【０２９３】
上記の式（５−９）において、Π_mはｍ＝１〜４の積を示し、Π_nはｎ＝１〜４の積を示すが、ｕ＝０，ｖ＝０以外ではΣ記号（あるいはΠ記号）の中はゼロになるので、結果として、次の式（５−１０）のようになる。
【０２９４】

【０２９５】
従って、消去処理後の信号Ｓp^F _uvと、処理前の信号Ｓ^F _uvとの関係は、式（５−７）および式（５−１０）より、次のようになる。
【０２９６】

【０２９７】
以上のように、ピンぼけ画像の消去処理では、ＤＣＴにおける空間周波数ゼロの成分のみその値を（１−ρ）倍にすれば、消去処理は完了する。また、以上の一連の処理は、８×８画素の単位画面内での処理であるが、この処理を撮像素子２４上に分割形成された単位画面の数だけ実行すればよい。
【０２９８】
このような第５実施形態においては、以下のようにして画像改質処理装置５３０により、二焦点レンズ２１を用いて被写体を撮像して得られた画像の質の改善が図られる。
【０２９９】
先ず、撮像機構２０により被写体を撮像する。この際、被写体から発せられた光は、二焦点レンズ２１の各レンズ部２２，２３を通過して撮像素子２４に至る。そして、被写体からの光を受けた撮像素子２４から、画素数分の出力信号データを引き出して画像改質処理装置５３０に取り込み、出力信号記憶手段５３１に記憶する。
【０３００】
続いて、ＤＣＴ処理手段５３２により、出力信号記憶手段５３１記憶した画像データから８×８画素の単位画面分のデータを読み込み、前記式（５−１）に基づきＤＣＴの処理計算を行い、各空間周波数に対応した信号レベルＳ^F _uvを求める。この際、式（５−１）中のcos（余弦）の値は、余弦値記憶手段５３６に記憶された値を読み込んで使用するため、その都度の計算は行われない。
【０３０１】
次に、ピンぼけ画像消去処理手段５３３により、Ｓ^F ₀₀（u＝０，v＝０）の値に、二焦点レンズ２１の全体面積に対するピントの合った画像を形成するレンズ部の面積の割合（１−ρ）をかけて得られる値を、新しいＳ^F ₀₀とする処理を行う。つまり、前記式（５−１０）により、消去処理後の信号Ｓp^F _uvと、処理前の信号Ｓ^F _uvとが異なるのは、ｕ＝ｖ＝０のときだけであるから、Ｓ^F ₀₀にだけ（１−ρ）を乗じれば、ピンぼけ画像の消去処理が完了する。
【０３０２】
その後、ＤＣＴ処理手段５３２およびピンぼけ画像消去処理手段５３３による各処理を経たＳ^F _uvについて、量子化処理手段５３４による処理を行うなど、ＪＰＥＧの通常の処理を行うと、Ｓ^F _uvは高次のu、vに対してほとんどゼロになるので、データ量は大幅に圧縮される。
【０３０３】
さらに、このようにして求められたＳ^F _uvを、符号化処理手段５３５により、ｕ＋ｖの小さい順にそれまでのゼロ要素の数とセットにしてメモリに収容する（ＪＰＥＧの処理）。
【０３０４】
そして、以上のＤＣＴ処理手段５３２、ピンぼけ画像消去処理手段５３３、量子化処理手段５３４、および符号化処理手段５３５による一連の処理を、撮像素子２４上の全ての単位画面に対して繰り返す（ＪＰＥＧの処理）。これらの処理により、ピンぼけ画像を消去した画像のＪＰＥＧ形式でのファイルを得ることができる。
【０３０５】
このような第５実施形態によれば、次のような効果がある。すなわち、ピンぼけ画像消去処理手段５３３による処理は、ＤＣＴ処理を行って得られたＳ^F _uvのうちゼロの成分Ｓ^F ₀₀の値のみに（１−ρ）を乗じ、この乗算により得られた値を新たなＳ^F ₀₀の値とするという簡単な処理を行うだけであり、残りの処理は、通常のＪＰＥＧによる画像の圧縮処理と同様であるため、少ない計算量で一連の処理を実行することができる。
【０３０６】
つまり、ＤＣＴを主体とするＪＰＥＧの圧縮法を用いることにより、その処理途中にピンぼけ画像の消去処理を簡単に盛込むことができるので、ＪＰＥＧ処理とほとんど同程度の処理時間でピンぼけ画像の消去処理を行うことができる。
【０３０７】
このため、短時間の処理で、ピントのぼけた画像を消去してピントの合った画像を求め、画像の質の改善を図ることができるうえ、計算量が少ないことから、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度のＣＰＵの能力でも短時間の処理で実行することができる。従って、二焦点レンズ２１を備えた携帯型の情報端末装置に本発明を適用すれば、情報端末装置の使い勝手や性能の向上を図ることができる。
【０３０８】
［第６実施形態］
図１２には、本発明の第６実施形態の画像改質処理装置６３０を含む撮像システム６００の全体構成が示されている。撮像システム６００は、前記第１実施形態の撮像システム１０と画像改質処理装置６３０の構成が異なるのみであるので、同一部分には同一符号を付して詳しい説明は省略し、以下には異なる部分のみを説明する。
【０３０９】
図１２において、撮像システム６００は、被写体を撮像する撮像機構２０と、この撮像機構２０により撮像された画像の質を改善する画像改質処理装置６３０と、この画像改質処理装置６３０により質の改善を行った画像を表示する表示手段４０とを備えている。これらのうち撮像機構２０および表示手段４０の構成は、前記第１実施形態の場合と同様である。
【０３１０】
画像改質処理装置６３０は、出力信号記憶手段６３１と、移動平均算出手段６３２と、画像補正手段６３３とを含んで構成されている。
【０３１１】
出力信号記憶手段６３１は、被写体を二焦点レンズ２１により撮像して得られた画像の各要素の出力信号値Ｚ（ｈ，ｋ）を撮像素子２４から引き出して記憶するものである。
【０３１２】
移動平均算出手段６３２は、次の式（６−１）に基づき、図１３に示すような座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画素の単位画面Ｆ内での各出力信号値Ｚ（ｈ，ｋ）の平均値Ｚmean（ｈ，ｋ）を算出する処理を行うものである。そして、Ｑ画素×Ｑ画素の単位画面Ｆは、処理の対象となる出力信号値Ｚ（ｈ，ｋ）の移動とともに移動するため、Ｚmean（ｈ，ｋ）は移動平均値となる。
【０３１３】

【０３１４】
ここで、Ｑは、３以上の奇数の自然数であり、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２であり、Σ_xは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２の和、Σ_yは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の和である。
【０３１５】
画像補正手段６３３は、移動平均算出手段６３２により算出した移動平均値Ｚmean（ｈ，ｋ）を用いて、次の式（６−２）に基づき、Ｚ（ｈ，ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，ｋ）を算出する処理を行うものである。この処理は、ピンぼけ分の信号を減算してから、減算後の信号を元の信号レベルに戻していることに相当する。
【０３１６】

【０３１７】
ここで、ｃは、比例係数で、二焦点レンズ２１の全体面積に対するピントの合った画像を形成するレンズ部の面積の比の値であり、ｋは、正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を１にするための値である。なお、光の量の分割比がレンズの面積比と一致しない場合には、ｃの値は、面積比で定めるのではなく、二焦点レンズ２１のピントの合ったレンズ部を通過して実際に撮像素子２４に到達する光の量または撮像素子２４の信号量と、二焦点レンズ２１の全体を通過して実際に撮像素子２４に到達する光の量または撮像素子２４の信号量との比の値として求めてもよい。
【０３１８】
出力信号記憶手段６３１は、ＲＡＭやハードディスク等により実現される。
【０３１９】
移動平均算出手段６３２および画像補正手段６３３は、中央演算処理装置（ＣＰＵ）およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現してもよく、あるいはデジタルフィルタ回路により実現してもよい。デジタルフィルタ回路とした場合には、ハードウェアによる処理となるため、計算処理時間を、より一層短くすることができる。この際、デジタルフィルタ回路は、乗算回路や加算回路等により構成され、乗算回路で乗ずる値は、｛−（１−ｃ）／（ｃ×Ｑ²）｝および｛（１／ｃ）−（１−ｃ）／（ｃ×Ｑ²）｝である。
【０３２０】
このような第６実施形態においては、以下のようにして画像改質処理装置６３０により、二焦点レンズ２１を用いて被写体を撮像して得られた画像の質の改善が図られる。
【０３２１】
先ず、被写体を撮像して得られた画像の各要素の出力信号値Ｚ（ｈ，ｋ）を出力信号記憶手段６３１に記憶する。
【０３２２】
次に、移動平均算出手段６３２により、処理対象となるＺ（ｈ，ｋ）について、式（６−１）に基づき、座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画素の単位画面Ｆ内での各出力信号値Ｚ（ｈ，ｋ）の平均値Ｚmean（ｈ，ｋ）を算出する。
【０３２３】
続いて、画像補正手段６３３により、移動平均算出手段６３２により算出した移動平均値Ｚmean（ｈ，ｋ）を用いて、式（６−２）に基づき、Ｚ（ｈ，ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，ｋ）を算出する。なお、式（６−１）に基づく移動平均算出手段６３２による処理と、式（６−２）に基づく画像補正手段６３３による処理とは、１つの式で一体的に行ってもよい。
【０３２４】
そして、以上のような処理を各出力信号値Ｚ（ｈ，ｋ）について繰り返す。この際、Ｚ（ｈ，ｋ）の移動に伴って、平均をとる対象であるＱ画素×Ｑ画素の単位画面Ｆも移動するので、Ｚmean（ｈ，ｋ）は移動平均値をとっていることになる。
【０３２５】
その後、求めたＺnew（ｈ，ｋ）の値を用い、撮像対象となった被写体を表示手段４０の画面上に表示する。また、必要に応じ、図示されないプリンター等の出力手段により、被写体の印刷を行ってもよい。
【０３２６】
このような第６実施形態によれば、次のような効果がある。すなわち、画像補正手段６３３による処理が行われるので、ピンぼけ分の画像を除去することができるため、画像の質を改善することができる。
【０３２７】
また、移動平均をとって減ずるだけの簡単な演算処理であるため、計算量が少なく、短時間で処理することができる。このため、携帯型の情報端末装置等にも好適に用いることができる。
【０３２８】
［変形の形態］
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
【０３２９】
すなわち、前記各実施形態では、撮像機構２０を構成する二焦点レンズ２１は、内側に長焦点レンズ部２２が配置され、外側に短焦点レンズ部２３が配置されていたが、本発明の画像改質処理の対象は、このような配置の二焦点レンズにより撮像された画像に限定されるものではなく、例えば、逆の配置、すなわち内側に短焦点レンズ部が配置され、外側に長焦点レンズ部が配置された二焦点レンズによる画像であってもよい。
【０３３０】
また、前記各実施形態では、二焦点レンズ２１を構成する長焦点レンズ部２２と短焦点レンズ部２３とは、同心に配置されているが、これに限定されるものではなく、本発明におけるピントの合った画像を形成する一方のレンズ部と、ピントのぼけた画像を形成する他方のレンズ部とは、同心に配置されていてもよく、同心に配置されていなくてもよい。
【０３３１】
また、前記第１実施形態では、外側に配置されたレンズ部によりピンぼけ画像が形成される場合について説明されていたが、本発明は、内側に配置されたレンズ部によりピンぼけ画像が形成される場合についても適用することができる。なお、この場合には、ピンぼけ画像は、リング状ではなく、内側に配置されたレンズ部の正面形状に従った円形、楕円形、多角形等の形状となる。
【０３３２】
さらに、前記第１実施形態では、短焦点レンズ部によりピンぼけ画像が形成される場合について説明されていたが、本発明は、長焦点レンズ部によりピンぼけ画像が形成される場合についても適用することができる。なお、この場合には、被写体は、例えば、２次元バーコードや虹彩や文字等の近接被写体である。
【０３３３】
そして、前記第５実施形態の説明では、ピンぼけ画像の画面内では略完全に被写体の情報が失われており、画面の受光量、すなわち撮像素子２４の画素毎の出力信号レベルの変動も無視できるほど少ないものとしていたが、この条件は必ずしも必要ではなく、少なくともＪＰＥＧ処理をする際の単位画面の範囲で画素毎の出力信号レベルの変動がなければ、本発明を好適に適用することができる。
【０３３４】
【発明の効果】
以上に述べたように本発明によれば、畳み込み演算行列Ｑを用いて畳み込み演算を行い、あるいは、ＪＰＥＧ処理またはこれに類似する処理を利用してピンぼけ画像の消去処理を行い、あるいは、移動平均をとってピンぼけ分の信号を減ずる処理を行うので、二焦点レンズで撮像された画像の質を短時間の処理で改善することができ、ピント合わせ機構を用いることなく、標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれもについても鮮明な画像を得ることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１実施形態の画像改質処理装置を含む撮像システムの全体構成図。
【図２】第１実施形態の画像改質処理装置による処理対象となる画像を形成する二焦点レンズの詳細構成図。
【図３】第１実施形態における被写体とこの被写体を二焦点レンズにより撮像して得られる画像との関係の説明図。
【図４】第１実施形態の畳み込み演算行列Ｗの説明図。
【図５】第１実施形態の変換巨大行列（ｃＵ＋Δ）の説明図。
【図６】第１実施形態の巨大逆行列Ｔの説明図。
【図７】第１実施形態の畳み込み演算行列Ｑの説明図。
【図８】本発明の第２実施形態の画像改質処理装置を含む撮像システムの全体構成図。
【図９】本発明の第３実施形態の画像改質処理装置を含む撮像システムの全体構成図。
【図１０】本発明の第４実施形態の画像改質処理装置の一部を構成するデジタルフィルタ回路の詳細構成図。
【図１１】本発明の第５実施形態の画像改質処理装置を含む撮像システムの全体構成図。
【図１２】本発明の第６実施形態の画像改質処理装置を含む撮像システムの全体構成図。
【図１３】第６実施形態における移動平均をとる処理の説明図。
【符号の説明】
２１ 二焦点レンズ
２２ 一方または他方のレンズ部に該当する長焦点レンズ部
２３ 一方または他方のレンズ部に該当する短焦点レンズ部
２４ 撮像素子
３０，２３０，３３０，４３０，５３０，６３０ 画像改質処理装置
３２，２３２，３３２ 畳み込み演算行列記憶手段
３３，２３３，３３３ 再生演算手段
２３４，３３４ シェージング補正行列記憶手段
２３５，３３５ シェージング補正手段
４０１〜４０９ 乗算回路
４１１〜４１８ 加算回路
４２１〜４２８ ディレイ回路
４３３ 再生演算手段であるデジタルフィルタ回路
５３１ 出力信号記憶手段
５３２ ディスクリート・コサイン変換処理手段（ＤＣＴ処理手段）
５３３ ピンぼけ画像消去処理手段
５３４ 量子化処理手段
５３５ 符号化処理手段
６３２ 移動平均算出手段
６３３ 画像補正手段
Ｅ，Ｈ 非零要素を含む行列部分
Ｍ 撮像素子の縦方向の画素数
Ｎ 撮像素子の横方向の画素数
Ｑ 畳み込み演算行列
Φ シェージング補正行列[0001]
BACKGROUND OF THE INVENTION
The present invention provides a focused image from an image in which a focused image formed by one lens unit constituting a bifocal lens overlaps a blurred image formed by the other lens unit. The present invention relates to an image modification processing method, an apparatus thereof, a program, and a data recording medium, for example, a personal digital assistant (PDA), a mobile phone (including PHS: Personal Handy phone System), a television, and the like. It can be used for a remote control device for operation of home appliances such as video, a personal computer with a camera, and an information terminal device having an image input function by a bifocal lens such as a surveillance camera device.
[0002]
[Background]
Conventionally, a bifocal lens having two lens portions having different focal lengths has been used as a bifocal contact lens. When a human wears a contact lens composed of such a bifocal lens, a human can see an in-focus image and a non-focused image (so-called out-of-focus image) formed by the two lens portions. It is thought that the user selects unconsciously and sees only the image in focus.
[0003]
By the way, if such a bifocal lens is provided in an information terminal device such as a mobile phone or a portable information terminal, for example, a normal distance that is at a standard distance from the lower limit of focal depth (for example, 0.3 m) to infinity. A subject (for example, a person or a landscape) is imaged by a long focal length lens unit having a long focal length, while a close subject (for example, a two-dimensional barcode, an iris, a character, or the like) disposed at a shorter distance. Are picked up by a short-focus lens unit having a short focal length, whereby high-resolution images can be obtained. And the information terminal device provided with such a bifocal lens has already been proposed by the present applicant (see Japanese Patent Application No. 2000-348800).
[0004]
[Problems to be solved by the invention]
However, in the information terminal device including the above-described bifocal lens, for example, an optical shutter such as a liquid crystal shutter can be provided between the bifocal lens and the image sensor to switch between the long focus lens portion and the short focus lens portion. When configured, it is possible to obtain a high-contrast image, but when such switching of the lens unit is not performed, the focused image formed by each of the two lens units and the focused image are formed. There is a problem that it is difficult to obtain a clear image because an image that does not match is overlapped.
[0005]
At this time, when a human wears a bifocal contact lens using a bifocal lens as described above, the human unconsciously selects an in-focus image and an out-of-focus image. Although it is considered that only matching images are viewed, a process similar to the image selection process in the human brain is applied to a portable information terminal device such as a normal cellular phone or a portable information terminal. If it can be executed in a short time by a central processing unit (CPU) having the performance of the installed level, the convenience and performance of the information terminal device can be improved, and it can be realized at low cost, which is convenient.
[0006]
In addition, if such processing can be performed, not only when a bifocal lens is provided in a portable information terminal device such as a mobile phone or a portable information terminal, but generally when imaging with a bifocal lens is performed. For example, when a camera having a bifocal lens is connected to a personal computer, or when a bifocal lens is used as a surveillance camera, the image quality can be improved, which is advantageous.
[0007]
The object of the present invention is to improve the quality of an image captured by a bifocal lens in a short time, and without using a focusing mechanism, a normal object at a standard distance and closer to this. An object of the present invention is to provide an image modification processing method and apparatus, a program, and a data recording medium capable of obtaining a clear image for any of close objects at a distance.
[0008]
[Means for Solving the Problems]
The present invention provides a focused image from an image in which a focused image formed by one lens unit constituting a bifocal lens overlaps a blurred image formed by the other lens unit. An image modification processing method for obtaining a subject, wherein the size of the image sensor is M pixels × N pixels, the matrix of M rows and N columns indicating the brightness of light emitted from the subject is A, and the subject is imaged by the bifocal lens Each element of the (2M-1) row (2N-1) column convolution arithmetic matrix Q for performing the convolution operation processing, where Z is a matrix of M rows and N columns indicating the output signal of the image obtained as described above The value of the matrix portion including at least non-zero elements among the values of Q (x, y) is calculated in advance based on the following equation (1) and stored in the convolution calculation matrix storage means, and the subject is imaged by the bifocal lens. Tatami mats by playback calculation means The following equation is used by using at least a part of the values of each element Q (x, y) stored in the error calculation matrix storage means and the value of each element Z (h, k) of the matrix Z of the image output signal. The value of each element A (s, t) of the subject matrix A is calculated based on (2).
[0009]

[0010]

[0011]
Here, x and y are integers, (1-M) ≦ x ≦ (M−1), (1-N) ≦ y ≦ (N−1), s and t are natural numbers, and 1 ≦ s ≦ M, 1 ≦ t ≦ N, h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N, and W (x, y) is (2M−1) rows (2N−1) ) This is the value of each element of the matrix W of the column, and this matrix W is one when a subject having a bright spot at only one point indicated by coordinates (m, n) excluding the end is imaged with a bifocal lens. The matrix Zmn of M rows and N columns indicating the output signal of the image formed by the other lens unit is changed from coordinates (h, k) satisfying x = hm and y = kn to coordinates (x, y). In the coordinate conversion to, the matrix part including the non-zero element of Zmn (h, k) is moved to the center of the matrix W by moving in parallel so that W (0,0) = Zmn (m, n). When placed in the part And c is a proportionality coefficient, and the ratio of the area of one lens part to the entire area of the bifocal lens is configured by filling the outer part of the matrix part including the non-zero element arranged at the center part with zero elements. And power is a real number that is a power of c, 1 ≦ power ≦ 2, and Σ_hIs the sum of h = 1 to M, and Σ_kIs the sum of k = 1 to N.
[0012]
In addition, the “bifocal lens” is for capturing a normal subject (for example, a person or a landscape) at a standard distance (a distance from the lower limit of focal depth (for example, 0.3 m) to infinity). A long focal length lens unit having a long focal length and a short focal length for imaging a close subject (for example, a two-dimensional bar code, an iris, a character, etc.) that is closer than a standard distance subject. The focus lens unit is an imaging lens formed integrally on the same surface. The same applies to the following inventions. In addition, the long focus lens portion and the short focus lens portion may be formed separately by separate members and then integrated, or the long focus lens portion and the short focus lens portion are formed by using one member. May be. The same surface is most preferably a surface orthogonal to the optical axis of the imaging lens.
[0013]
The “one lens unit” is a lens unit that forms an in-focus image. When a normal subject at a standard distance is imaged, the long-focus lens unit corresponds to the normal lens unit. The short-focus lens unit corresponds to imaging a close subject that is closer than the subject. On the other hand, the “other lens unit” is a lens unit that forms a blurred image, and when capturing a normal subject at a standard distance, the short-focus lens unit corresponds, When imaging a close subject that is closer than a normal subject, a long-focus lens unit is applicable.
[0014]
Furthermore, the front shape (the shape seen from the direction along the optical axis of the lens) of the long-focus lens part constituting the “bifocal lens” is any one of a circle, an ellipse, and a polygon. The front shape of the lens is annular, and the short focus lens portion is arranged outside the long focus lens portion and is concentric with the long focus lens portion (arranged so that the optical axes of the lens portions coincide with each other). It is desirable from the viewpoints of simplification of the structure, ease of manufacture, easy acquisition of high-quality images, improvement of decoding accuracy, and the like. When a concentric structure having an annular front surface of the focus lens portion is obtained, a very favorable result can be obtained. Note that the arrangement relationship between the long focus lens portion and the short focus lens portion may be reversed (therefore, the front shape is reversed), and the short focus lens portion may be disposed inside and the long focus lens portion disposed outside.
[0015]
As the “imaging device”, specifically, for example, a complementary metal oxide semiconductor (CMOS), a charge coupled device (CCD), or the like can be employed.
[0016]
Furthermore, the value of power may be determined according to the value of c. At this time, if the value of c is in the vicinity of 0.5 (including 0.5; hereinafter the same), the power value needs to be a value other than 2. More specifically, when the value of c is in the vicinity of 0.5, the power value is 1 or more and less than 2, more preferably 1. On the other hand, when the value of c is other than 0.5, it is set to 1 or more and 2 or less. The same applies to the following inventions.
[0017]
In the present invention, when the subject is imaged by the bifocal lens, at least one of the elements Q (x, y) of the convolution calculation matrix Q stored in the convolution calculation matrix storage means by the reproduction calculation means. Using some values and the value of each element Z (h, k) of the matrix Z of the output signal of the image obtained by imaging, each element A ( The value of s, t) is calculated.
[0018]
At this time, the calculation processing by the reproduction calculation means is performed using the value of each element Q (x, y) of the convolution calculation matrix Q that is calculated in advance based on the equation (1) and stored in the convolution calculation matrix storage means. Therefore, compared with the case where the calculation process is performed using the large inverse matrix T of M × N rows and M × N columns represented by the formula (1-22) to be described later, the calculation amount of the matrix A of the subject is very small. It is possible to calculate the value of each element A (s, t).
[0019]
For this reason, the subject can be reproduced by finding a focused image in a short time, so the quality of the image captured by the bifocal lens can be improved in a short time and the focus can be adjusted. Without using a mechanism, a clear image can be obtained for both a normal subject at a standard distance and a close subject at a shorter distance.
[0020]
In addition, since the calculation processing by the reproduction calculation means has a very small calculation amount, for example, even with the capability of the CPU mounted in a portable information terminal device such as a mobile phone or a portable information terminal, the processing can be performed in a short time. It is possible to execute. Therefore, if the present invention is applied to a portable information terminal device provided with a bifocal lens, the usability and performance of the information terminal device can be improved, and the above-described object is achieved.
[0021]
Further, in the above-described image modification processing method, an M-row N-column shading correction matrix Φ for correcting the influence of shading that reduces the amount of light received at the peripheral portion of the image due to non-uniformity of the incident angle of light to the bifocal lens. The value of each element Φ (s, t) is stored in the shading correction matrix storage means, and after the processing by the reproduction calculation means, each element Φ stored in the shading correction matrix storage means by the shading correction means. Subject matrix A subjected to shading correction based on the following equation (3) using the value of (s, t) and the value of each element A (s, t) of the subject matrix A^shEach element A^shIt is desirable to calculate (s, t).
[0022]
A^sh(S, t) = A (s, t) × Φ (s, t) (3)
[0023]
Here, s and t are natural numbers, and 1 ≦ s ≦ M and 1 ≦ t ≦ N.
[0024]
When the shading correction is performed in this manner, the influence of the shading is eliminated, so that the image quality can be further improved.
[0025]
Further, in the above-described image modification processing method, an M-row N-column shading correction matrix Φ for correcting the influence of shading that reduces the amount of light received at the peripheral portion of the image due to the non-uniform incidence angle of light on the bifocal lens. The value of each element Φ (h, k) is stored in the shading correction matrix storage means, and before the processing by the reproduction calculation means, each element Φ stored in the shading correction matrix storage means by the shading correction means The output signal matrix Z of the image obtained by performing the shading correction based on the following equation (4) using the value of (h, k) and the value of each element Z (h, k) of the matrix Z of the output signal of the image.^shEach element Z^sh(H, k) is calculated and Z obtained^shIt is desirable to use the value of (h, k) as a new Z (h, k) for processing by the reproduction calculation means based on the equation (2).
[0026]
Z^sh(H, k) = Z (h, k) × Φ (h, k) (4)
[0027]
Here, h and k are natural numbers, and 1 ≦ h ≦ M and 1 ≦ k ≦ N.
[0028]
When the shading correction is performed in this manner, the influence of the shading is eliminated, so that the image quality can be further improved.
[0029]
In the image modification processing method described above, the processing by the reproduction calculation means based on the expression (2) is performed by a digital filter circuit, and each element of the matrix Z of the image output signal is included in the digital filter circuit. A plurality of multiplier circuits that multiply the value of Z (h, k) by the value of each element Q (x, y) of the convolution arithmetic matrix Q, a plurality of adder circuits that add output signals from these multiplier circuits, and sequentially It is desirable to include a plurality of delay circuits for adjusting the speed of the signal flow of each input element Z (h, k).
[0030]
When the processing by the reproduction calculation means is performed by the digital filter circuit in this way, the convolution calculation processing using the convolution calculation matrix Q can be realized by hardware, so that the processing time required for image modification Can be made even shorter.
[0031]
Further, as an apparatus for realizing the image modification processing method of the present invention described above, the following image modification processing apparatus of the present invention can be exemplified.
[0032]
In other words, the present invention is based on an image in which a focused image formed by one lens part constituting a bifocal lens overlaps a blurred image formed by the other lens part. An image modification processing apparatus for obtaining a captured image, wherein the size of the image sensor is M pixels × N pixels, the matrix of M rows and N columns indicating the brightness of light emitted from the subject is A, and the subject is the two focal points. When a matrix of M rows and N columns indicating an output signal of an image obtained by imaging with a lens is Z, (2M−1) rows (2M−1) for performing the convolution calculation processing calculated based on the following equation (5) 2N-1) a convolution operation matrix storage means for storing a value of a matrix portion including at least a non-zero element among the values of each element Q (x, y) of the convolution operation matrix Q of the column, and the convolution operation matrix storage means Each stored element Q (x, ) And the value of each element Z (h, k) of the matrix Z of the output signal of the image using each value A (s, and a reproduction calculation means for calculating the value of t).
[0033]

[0034]

[0035]
Here, x and y are integers, (1-M) ≦ x ≦ (M−1), (1-N) ≦ y ≦ (N−1), s and t are natural numbers, and 1 ≦ s ≦ M, 1 ≦ t ≦ N, h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N, and W (x, y) is (2M−1) rows (2N−1) ) This is the value of each element of the matrix W of the column, and this matrix W is one when a subject having a bright spot at only one point indicated by coordinates (m, n) excluding the end is imaged with a bifocal lens. The matrix Zmn of M rows and N columns indicating the output signal of the image formed by the other lens unit is changed from coordinates (h, k) satisfying x = hm and y = kn to coordinates (x, y). In the coordinate conversion to, the matrix part including the non-zero element of Zmn (h, k) is moved to the center of the matrix W by moving in parallel so that W (0,0) = Zmn (m, n). When placed in the part And c is a proportionality coefficient, and the ratio of the area of one lens part to the entire area of the bifocal lens is configured by filling the outer part of the matrix part including the non-zero element arranged at the center part with zero elements. And power is a real number that is a power of c, 1 ≦ power ≦ 2, and Σ_hIs the sum of h = 1 to M, and Σ_kIs the sum of k = 1 to N.
[0036]
In such an image modification processing apparatus of the present invention, the actions and effects obtained by the above-described image modification processing method of the present invention can be obtained as they are.
[0037]
In the image modification processing apparatus described above, an M-row N-column shading correction matrix Φ for correcting the influence of shading that reduces the amount of light received at the periphery of the image due to non-uniformity of the incident angle of light to the bifocal lens. The shading correction matrix storage means for storing the value of each element Φ (s, t) of the above, the value of each element Φ (s, t) stored in the shading correction matrix storage means and processing by the reproduction calculation means Subject matrix A subjected to shading correction based on the following equation (7) using the value of each element A (s, t) of the obtained subject matrix A^shEach element A^shIt is desirable to have a configuration including a shading correction means for calculating (s, t).
[0038]
A^sh(S, t) = A (s, t) × Φ (s, t) (7)
[0039]
Here, s and t are natural numbers, and 1 ≦ s ≦ M and 1 ≦ t ≦ N.
[0040]
In this way, when the shading correction matrix storage means and the shading correction means are provided, the influence of the shading is eliminated, so that the image quality can be further improved.
[0041]
Further, in the above-described image modification processing apparatus, an M-row N-column shading correction matrix Φ for correcting the influence of shading that reduces the amount of light received at the peripheral portion of the image due to the non-uniform incidence angle of light on the bifocal lens. A value of each element Φ (h, k) stored in the shading correction matrix storage means and a matrix Z of the output signal of the image. The matrix Z of the output signal of the image obtained by performing the shading correction based on the following equation (8) using the values of the elements Z (h, k)^shEach element Z^sh(H, k) is calculated and Z obtained^shIt is desirable to have a configuration including a shading correction unit that uses the value of (h, k) as a new Z (h, k) for processing by the reproduction calculation unit based on Expression (6).
[0042]
Z^sh(H, k) = Z (h, k) × Φ (h, k) (8)
[0043]
Here, h and k are natural numbers, and 1 ≦ h ≦ M and 1 ≦ k ≦ N.
[0044]
Even in such a configuration, since the influence of shading is eliminated, the image quality can be further improved.
[0045]
In the image modification processing apparatus described above, the reproduction calculation means is constituted by a digital filter circuit that performs calculation processing based on the equation (6), and the digital filter circuit includes a matrix Z of the output signal of the image. A plurality of multiplication circuits for multiplying the values of the respective elements Z (h, k) by the values of the respective elements Q (x, y) of the convolution matrix Q, and a plurality of addition circuits for adding output signals from these multiplication circuits. It is desirable that a plurality of delay circuits for adjusting the speed of the signal flow of each element Z (h, k) sequentially input is included.
[0046]
In this way, when the reproduction calculation means is constituted by a digital filter circuit, the convolution calculation processing using the convolution calculation matrix Q can be realized by hardware, so that the processing time required for image modification can be further reduced. It can be shortened.
[0047]
In addition, the present invention is based on an image in which a focused image formed by one lens part constituting a bifocal lens overlaps with a blurred image formed by the other lens part. A program for causing a computer to function as an image modification processing apparatus for obtaining a captured image, wherein the size of the image sensor is M pixels × N pixels, and a matrix of M rows and N columns indicating the brightness of light emitted from the subject And A is a matrix of M rows and N columns indicating an output signal of an image obtained by imaging the subject with the bifocal lens, and the convolution calculation processing calculated based on the following equation (9) is performed. (2M-1) row (2N-1) column convolution operation matrix storage means for storing a value of a matrix portion including at least a non-zero element among the values of each element Q (x, y) of the convolution operation matrix Q And this folding Using at least a part of the values of each element Q (x, y) stored in the operation matrix storage means and the value of each element Z (h, k) of the matrix Z of the output signal of the image, And 10) an image modification processing apparatus comprising: a calculation unit for calculating the value of each element A (s, t) of the subject matrix A based on 10). .
[0048]

[0049]

[0050]
Here, x and y are integers, (1-M) ≦ x ≦ (M−1), (1-N) ≦ y ≦ (N−1), s and t are natural numbers, and 1 ≦ s ≦ M, 1 ≦ t ≦ N, h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N, and W (x, y) is (2M−1) rows (2N−1) ) This is the value of each element of the matrix W of the column, and this matrix W is one when a subject having a bright spot at only one point indicated by coordinates (m, n) excluding the end is imaged with a bifocal lens. The matrix Zmn of M rows and N columns indicating the output signal of the image formed by the other lens unit is changed from coordinates (h, k) satisfying x = hm and y = kn to coordinates (x, y). In the coordinate conversion to, the matrix part including the non-zero element of Zmn (h, k) is moved to the center of the matrix W by moving in parallel so that W (0,0) = Zmn (m, n). When placed in the part And c is a proportionality coefficient, and the ratio of the area of one lens part to the entire area of the bifocal lens is configured by filling the outer part of the matrix part including the non-zero element arranged at the center part with zero elements. And power is a real number that is a power of c, 1 ≦ power ≦ 2, and Σ_hIs the sum of h = 1 to M, and Σ_kIs the sum of k = 1 to N.
[0051]
Furthermore, the present invention provides a focus adjustment from an image in which an in-focus image formed by one lens portion constituting a bifocal lens overlaps an in-focus image formed by the other lens portion. A computer-readable data recording medium on which data used in an image modification process for obtaining an image is recorded, wherein the size of the image sensor is M pixels × N pixels, and M indicates the brightness of light emitted from the subject. In order to calculate the matrix A from the matrix Z, where A is a matrix of rows and N columns, and Z is a matrix of M rows and N columns indicating an output signal of an image obtained by imaging the subject with the bifocal lens. Of the values of each element Q (x, y) of the (2M-1) row (2N-1) column convolution calculation matrix Q for performing the convolution calculation processing calculated based on the following equation (11) as a matrix to be used At least non-zero elements The values of the matrix portion containing those recorded.
[0052]

[0053]
Here, x and y are integers, (1−M) ≦ x ≦ (M−1), (1−N) ≦ y ≦ (N−1), and W (x, y) is (2M -1) Value of each element of the matrix W in the row (2N-1) column, and this matrix W is used to identify two subjects having bright points only at one point indicated by coordinates (m, n) excluding the end. A matrix Zmn of M rows and N columns indicating an output signal of an image formed by one and the other lens portions when picked up by a focus lens is represented by coordinates (h, k) satisfying x = hm and y = kn. ) To coordinates (x, y), and a non-zero element of Zmn (h, k) is converted by translating so that W (0, 0) = Zmn (m, n). The matrix part including the matrix part is arranged in the center part of the matrix W and the outer part of the matrix part including the non-zero element arranged in the center part is filled with zero elements, and c is a ratio. The coefficient is the value of the ratio of the area of one lens part to the total area of the bifocal lens, power is a real number that is a power of c, 1 ≦ power ≦ 2, h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N, m and n are natural numbers, and 1 ≦ m ≦ M and 1 ≦ n ≦ N, but m = 1, m = M, n = Points near 1 and n = N are excluded.
[0054]
In addition, the present invention is based on an image in which a focused image formed by one lens part constituting a bifocal lens overlaps with a blurred image formed by the other lens part. An image modification processing method for obtaining a captured image, wherein an output signal of an image obtained by capturing an image of a subject with a bifocal lens is extracted from the image sensor and stored in an output signal storage unit, and then stored in the output signal storage unit The stored output signal of each pixel of the image sensor is extracted by a unit screen of Q pixels × Q pixels, and then the extracted signal level S is output by the discrete cosine conversion processing means._xySignal level S corresponding to each spatial frequency by performing discrete cosine transform processing based on the following equation (12)^F _uvSubsequently, S obtained by performing the discrete cosine conversion processing by the defocused image erasing processing means.^F _uvComponent S of zero^F ₀₀Is multiplied by the ratio of the area of one lens part that forms a focused image to the total area of the bifocal lens, and the value obtained by this multiplication is multiplied by the new S^F ₀₀And then the signal level S processed by the defocused image erasure processing means by the quantization processing means.^F _uvFurther, the encoding processing means encodes the quantized data obtained by the processing by the quantization processing means, discrete cosine transform processing means, defocused image erasure processing means, quantization processing means, And each process by an encoding process means is repeated about all the divided screens, It is characterized by the above-mentioned.
[0055]

[0056]
Here, u and v are integers, 0 ≦ u ≦ (Q−1), 0 ≦ v ≦ (Q−1), where Q is an integer of 2 or more and C_u, C_v= 1 / (2^1/2) (When u, v = 0), C_u, C_v= 1 (when u, v = 0 other than), and Σ_xIs the sum of x = 0 to (Q−1), Σ_yIs the sum of y = 0 to (Q-1).
[0057]
In the present invention, an output signal of an image obtained by imaging a subject with a bifocal lens is extracted from the image sensor for a unit screen, and a discrete cosine transform process, a defocused image erasure process, a quantum image is performed on the extracted signal. The encoding process and the encoding process are performed. Then, each of these processes is repeated for all partitioned screens.
[0058]
At this time, the out-of-focus image erasing process is an S obtained by performing the discrete cosine conversion process.^F _uvComponent S of zero^F ₀₀Is multiplied by the ratio of the area of one lens part that forms a focused image to the total area of the bifocal lens, and the value obtained by this multiplication is multiplied by the new S^F ₀₀The remaining processing is almost the same as the image compression processing by ordinary JPEG (Joint Photographic Experts Group). Therefore, a series of processing can be executed with a small amount of calculation.
[0059]
For this reason, it is possible to erase an image that is out of focus in a short time and obtain an in-focus image, and to improve the quality of the image. It is possible to execute the processing in a short time even with the capability of the CPU mounted on a portable information terminal device such as a portable information terminal. Therefore, if the present invention is applied to a portable information terminal device provided with a bifocal lens, the usability and performance of the information terminal device can be improved, and the above-described object is achieved.
[0060]
Further, as an apparatus for realizing the image modification processing method of the present invention described above, the following image modification processing apparatus of the present invention can be exemplified.
[0061]
In other words, the present invention is based on an image in which a focused image formed by one lens part constituting a bifocal lens overlaps a blurred image formed by the other lens part. An image modification processing apparatus for obtaining a captured image, wherein an output signal of an image obtained by imaging a subject with a bifocal lens is extracted from the image sensor and stored, and stored in the output signal storage unit The output signal of each pixel of the image sensor obtained is taken out for a unit screen of Q pixels × Q pixels, and these taken out signal levels S_xySignal level S corresponding to each spatial frequency by performing discrete cosine transform processing based on the following equation (13)^F _uvThe discrete cosine transform processing means for obtaining the S and the S obtained by the processing by the discrete cosine transform processing means^F _uvComponent S of zero^F ₀₀Is multiplied by the ratio of the area of one lens part that forms a focused image to the total area of the bifocal lens, and the value obtained by this multiplication is multiplied by the new S^F ₀₀And a signal level S after processing by the defocused image erasure processing unit.^F _uvThe image processing apparatus includes a quantization processing unit that performs a quantization process on and a coding processing unit that encodes quantized data obtained by the processing by the quantization processing unit.
[0062]

[0063]
Here, u and v are integers, 0 ≦ u ≦ (Q−1), 0 ≦ v ≦ (Q−1), where Q is an integer of 2 or more and C_u, C_v= 1 / (2^1/2) (When u, v = 0), C_u, C_v= 1 (when u, v = 0 other than), and Σ_xIs the sum of x = 0 to (Q−1), Σ_yIs the sum of y = 0 to (Q-1).
[0064]
In such an image modification processing apparatus of the present invention, the actions and effects obtained by the above-described image modification processing method of the present invention can be obtained as they are.
[0065]
Furthermore, the present invention provides a focus adjustment from an image in which an in-focus image formed by one lens portion constituting a bifocal lens overlaps an in-focus image formed by the other lens portion. Output signal storage means for causing a computer to function as an image modification processing device for obtaining a captured image and for extracting and storing an output signal of an image obtained by imaging a subject with a bifocal lens from the imaging device The output signal of each pixel of the image pickup device stored in the output signal storage means is extracted for the unit screen of Q pixels × Q pixels, and these extracted signal levels S_xySignal level S corresponding to each spatial frequency by performing discrete cosine transform processing based on the following equation (14)^F _uvThe discrete cosine transform processing means for obtaining the S and the S obtained by the processing by the discrete cosine transform processing means^F _uvComponent S of zero^F ₀₀Is multiplied by the ratio of the area of one lens part that forms a focused image to the total area of the bifocal lens, and the value obtained by this multiplication is multiplied by the new S^F ₀₀And a signal level S after processing by the defocused image erasure processing unit.^F _uvAs an image modification processing apparatus comprising: a quantization processing unit that performs a quantization process on an image; and an encoding processing unit that encodes quantized data obtained by the processing by the quantization processing unit. This is to make the computer function.
[0066]

[0067]
Here, u and v are integers, 0 ≦ u ≦ (Q−1), 0 ≦ v ≦ (Q−1), where Q is an integer of 2 or more and C_u, C_v= 1 / (2^1/2) (When u, v = 0), C_u, C_v= 1 (when u, v = 0 other than), and Σ_xIs the sum of x = 0 to (Q−1), Σ_yIs the sum of y = 0 to (Q-1).
[0068]
In addition, the present invention is based on an image in which a focused image formed by one lens part constituting a bifocal lens overlaps with a blurred image formed by the other lens part. Image modification processing method for obtaining an image, wherein the size of the image sensor is M pixels × N pixels, and the output signal value of the coordinates (h, k) of the image obtained by imaging the subject with the bifocal lens Is Z (h, k), the output signal value Z (h, k) in the unit screen of Q pixels × Q pixels centered on coordinates (h, k) based on the following equation (15) The moving average value Zmean (h, k) is calculated, and Z (h, k) is obtained by image modification processing based on the following equation (16) using the calculated moving average value Zmean (h, k). The signal value Znew (h, k) is calculated.
[0069]

[0070]

[0071]
Here, Q is an odd natural number of 3 or more, h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N, x and y are integers, (1-Q) / 2 ≦ x ≦ (Q−1) / 2, (1−Q) / 2 ≦ y ≦ (Q−1) / 2, and Σ_xIs the sum of x = (1-Q) / 2 to (Q-1) / 2, Σ_yIs the sum of y = (1-Q) / 2 to (Q-1) / 2, and c is a proportionality coefficient, which is the value of the ratio of the area of one lens part to the entire area of the bifocal lens. , K are normalization coefficients and are values for setting the maximum value of Znew (h, k) to 1.
[0072]
In this way, when image correction is performed by taking a moving average, it is possible to remove the defocused image, thereby improving the quality of the image.
[0073]
In addition, since it is a simple arithmetic process that only takes and reduces the moving average, the amount of calculation is small and processing can be performed in a short time. Therefore, it can be suitably used for a portable information terminal device or the like. And the above-mentioned purpose can be achieved.
[0074]
Examples of the apparatus for realizing the image modification processing method of the present invention described above include the following image modification processing apparatus of the present invention.
[0075]
In other words, the present invention is based on an image in which a focused image formed by one lens part constituting a bifocal lens overlaps a blurred image formed by the other lens part. An image modification processing apparatus for obtaining a captured image, wherein the size of the image sensor is M pixels × N pixels, and the output signal value of the coordinates (h, k) of the image obtained by imaging the subject with the bifocal lens Is Z (h, k), the output signal value Z (h, k) in the unit screen of Q pixels × Q pixels centered on the coordinates (h, k) based on the following equation (17) Based on the following equation (18), Z (h, k) using a moving average calculating means for calculating the moving average value Zmean (h, k) and the moving average value Zmean (h, k) calculated by the moving average calculating means. ) For calculating the signal value Znew (h, k) obtained by image modification processing It is characterized in that a correcting means.
[0076]

[0077]

[0078]
Here, Q is an odd natural number of 3 or more, h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N, x and y are integers, (1-Q) / 2 ≦ x ≦ (Q−1) / 2, (1−Q) / 2 ≦ y ≦ (Q−1) / 2, and Σ_xIs the sum of x = (1-Q) / 2 to (Q-1) / 2, Σ_yIs the sum of y = (1-Q) / 2 to (Q-1) / 2, and c is a proportionality coefficient, which is the value of the ratio of the area of one lens part to the entire area of the bifocal lens. , K are normalization coefficients and are values for setting the maximum value of Znew (h, k) to 1.
[0079]
In such an image modification processing apparatus of the present invention, the actions and effects obtained by the above-described image modification processing method of the present invention can be obtained as they are.
[0080]
In the image modification processing apparatus described above, it is desirable that the moving average calculation unit and the image correction unit include a digital filter circuit. In such a case, since each process by the moving average calculation unit and the image correction unit can be realized by hardware, the calculation processing time can be shortened.
[0081]
Furthermore, the present invention provides a focus adjustment from an image in which an in-focus image formed by one lens portion constituting a bifocal lens overlaps an in-focus image formed by the other lens portion. Is a program for causing a computer to function as an image modification processing device for obtaining a captured image, and the coordinates of an image obtained by imaging the subject with a bifocal lens with the size of the imaging element of M pixels × N pixels When the output signal value of (h, k) is Z (h, k), each output in the unit screen of Q pixels × Q pixels centered on coordinates (h, k) based on the following equation (19) Using the moving average calculating means for calculating the moving average value Zmean (h, k) of the signal value Z (h, k) and the moving average value Zmean (h, k) calculated by the moving average calculating means, 20), Z (h, k) is subjected to image modification processing. And an image modification apparatus being characterized in that an image correction means for calculating the signal value Znew (h, k) obtained is for causing a computer to function.
[0082]

[0083]

[0084]
Here, Q is an odd natural number of 3 or more, h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N, x and y are integers, (1-Q) / 2 ≦ x ≦ (Q−1) / 2, (1−Q) / 2 ≦ y ≦ (Q−1) / 2, and Σ_xIs the sum of x = (1-Q) / 2 to (Q-1) / 2, Σ_yIs the sum of y = (1-Q) / 2 to (Q-1) / 2, and c is a proportionality coefficient, which is the value of the ratio of the area of one lens part to the entire area of the bifocal lens. , K are normalization coefficients and are values for setting the maximum value of Znew (h, k) to 1.
[0085]
Note that the above-described program or a part thereof is, for example, a magneto-optical disk (MO), a read-only memory (CD-ROM) using a compact disk (CD), a CD recordable (CD-R), a CD rewritable. (CD-RW), read-only memory (DVD-ROM) using digital versatile disk (DVD), random access memory (DVD-RAM) using DVD, flexible disk (FD), magnetic tape, Recording, storage, distribution, etc. on a recording medium such as a hard disk, read only memory (ROM), electrically erasable and rewritable read only memory (EEPROM), flash memory, random access memory (RAM), etc. For example, LAN, MAN, WAN, Internet, intranet, extranet wired network or a wireless communication network, and further is capable of transmitting using a transmission medium such as a combination thereof, also can be delivered by placing the carrier. Furthermore, the program described above may be a part of another program, or may be recorded on a recording medium together with a separate program.
[0086]
Examples of the data recording medium of the present invention described above include MO, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, FD, magnetic tape, hard disk, ROM, EEPROM, A flash memory, a RAM, or a combination of these can be employed.
[0087]
Further, in each description of the present invention described above (in the description of each claim), “c is a proportional coefficient, and is a value of a ratio of the area of one lens portion to the entire area of the bifocal lens,” However, this definition is not a definition in a strict sense, and the division of light may not be proportional to the area, so the meaning of this definition is to obtain the value of c as follows: Is also included. That is, when the light amount division ratio does not match the lens area ratio, the value of c is the amount of light that passes through one lens unit and actually reaches the sensor (image sensor) or the signal of the sensor. It may be obtained as a value of a ratio between the amount of light and the amount of light that actually passes through the entire lens (the total of one lens unit and the other lens unit) and actually reaches the sensor, or the signal amount of the sensor.
[0088]
The value of each element W (x, y) defined in each description of the present invention described above (statement of each claim) includes a value determined by performing the following processing. It is. That is, one lens unit is supposed to form an in-focus image, but in practice, an image formed by this one lens unit may also be blurred due to aberration or the like. The image formed by one lens portion extends around W (0,0), and the elements around W (0,0) can also be non-zero elements (the focus formed by the other lens portion). This means that a non-zero element may occur around W (0,0) without considering a blurred image). Therefore, in such a case, the value of W (0,0) and the value of the non-zero element generated around W (0,0) (however, the image formed by the other lens unit is out of focus). Without considering the range to be expanded, only the values of non-zero elements within the range in which the image formed by one lens part is out of focus are considered. , 0), and the correction work of making the value of the non-zero element generated around W (0, 0) (only the value of the non-zero element within the range described in parentheses above) zero. What is necessary is just to calculate the value of each element Q (x, y) of the convolution arithmetic matrix Q using the value of each element W (x, y) created through these correction work.
[0089]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0090]
[First Embodiment]
FIG. 1 shows an overall configuration of an imaging system 10 including an image modification processing device 30 according to the first embodiment. FIG. 2 shows a detailed configuration of the bifocal lens 21 that forms an image to be processed by the image modification processing device 30. The imaging system 10 is, for example, an imaging system provided in a portable information terminal device such as a mobile phone or a portable information terminal, or an imaging system configured by a personal computer and a camera connected thereto.
[0091]
In FIG. 1, an imaging system 10 includes an imaging mechanism 20 that images a subject, an image modification processing device 30 that improves the quality of an image captured by the imaging mechanism 20, and a quality that is improved by the image modification processing device 30. Display means 40 for displaying the improved image.
[0092]
The imaging mechanism 20 includes a bifocal lens 21 that captures an image of a subject and an imaging element 24 that captures an image formed by the bifocal lens 21.
[0093]
In FIG. 2, the bifocal lens 21 is composed of, for example, a glass long-focus lens portion 22 and, for example, a glass short-focus lens portion 23. The long-focus lens portion 22 and the short-focus lens portion 23 are They are arranged on the same surface and integrated. The long-focus lens unit 22 has, for example, a circular front shape and is arranged at the center, while the short-focus lens unit 23 has, for example, an annular (donut-shaped) front shape, It is arranged on the outside in contact with the outer edge of the long focal length lens portion 22. The long-focus lens portion 22 and the short-focus lens portion 23 are integrated so that their optical axes coincide with each other, that is, concentrically arranged, whereby the bifocal lens 21 is concentric bifocal. It is a lens. The surface on which these lens portions 22 and 23 are arranged is orthogonal to the optical axis of the bifocal lens 21.
[0094]
As the imaging device 24, for example, a complementary metal oxide semiconductor (CMOS), a charge coupled device (CCD), or the like can be employed. The size of the image sensor 24 is assumed to be M pixels in the vertical direction × N pixels in the horizontal direction.
[0095]
The image modification processing device 30 calculates in advance based on an output signal storage unit 31 that extracts and stores the output signal of the image sensor 24 and an expression (1-33), (1-34), or (1-37) described later. A convolution calculation matrix storage means 32 for storing at least a part of the values of the respective elements Q (x, y) of the convolution calculation matrix Q (see FIG. 7), and a reproduction calculation means for performing calculation processing for reproducing a subject. 33.
[0096]
The convolution operation matrix storage means 32 arranges at least a part of the values of each element Q (x, y) of the convolution operation matrix Q shown in FIG. 7 as shown in the table according to the order of arrangement of x and y. It is something to remember. Since it is at least a part, the whole may be stored, but in order to reduce the calculation capacity and memory capacity, only the matrix part including the non-zero elements (matrix part H in FIG. 7) is stored. Is preferred. Therefore, here, the description will be made assuming that only the matrix portion H including non-zero elements is stored.
[0097]
The reproduction calculation means 33 stores the values of the elements Q (x, y) of the convolution calculation matrix Q stored in the convolution calculation matrix storage means 32 (values of the matrix part H) and the output signal storage means 31. Based on the value of each element Z (h, k) of the matrix Z indicating the output signal of the image and the value of each element A (s, t) of the matrix A of the subject based on the equation (1-36) described later. The calculation process is performed. Of the elements Q (x, y) of the convolution matrix Q, parts other than the matrix part including the non-zero elements (matrix part H in FIG. 7), that is, parts not stored in the convolution matrix storage means 32. Is a zero element, so no calculation is performed.
[0098]
As the output signal storage means 31 and the convolution calculation matrix storage means 32, for example, a hard disk, ROM, EEPROM, flash memory, RAM, MO, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM FD, magnetic tape, or a combination of these can be employed.
[0099]
The reproduction calculation means 33 is used for various information terminal devices (for example, a portable information terminal device such as a mobile phone or a portable information terminal, a personal computer connected to a camera, a monitoring camera device, or the like) constituting the imaging system 10. It is realized by a central processing unit (CPU) provided inside and one or a plurality of programs that define the operation procedure of the CPU.
[0100]
As the display means 40, for example, a liquid crystal display, a CRT display, a projector and a screen, or a combination thereof can be employed.
[0101]
Below, the calculation method of each element Q (x, y) of the convolution calculation matrix Q memorize | stored in the convolution calculation matrix memory | storage means 32, its basis, and the basis of the calculation process performed by the reproduction | regeneration calculation means 33 are demonstrated.
[0102]
As a precondition, here, when a normal subject (for example, a person or a landscape) at a standard distance is imaged by the bifocal lens 21, an image focused by the inner long focal lens unit 22 is obtained. A case will be described where an out-of-focus image is formed by the outer annular short focus lens portion 23 formed. However, the application of the present invention is not limited to such a case.
[0103]
First, basic matters regarding the subject and the image will be described. FIG. 3 is an explanatory diagram of a relationship between a subject and an image obtained by imaging the subject with the bifocal lens 21. In addition, since the image formed by the lens is generally an inverted image, in FIG. 3, by reversing the direction of the coordinate axis between the object and the image, the position of the corresponding object and the position of the image are the same. The coordinates are set.
[0104]
<Expression of Characteristics of Bifocal Lens 21 by Single Bright Spot Image>
As shown in FIG. 3, when a subject αmn having a bright point at only one point (coordinates (m, n)) is imaged by the bifocal lens 21, an image Zmn is formed. Here, m and n are natural numbers, 1 ≦ m ≦ M, 1 ≦ n ≦ N, where M and N are the number of pixels in the vertical and horizontal directions of the image sensor 24. The coordinates (m, n) mean corresponding points on the subject projected on the coordinates (displayed pixel numbers) (m, n) on the image sensor 24. Further, αmn and Zmn represent a matrix of M × N (M rows and N columns), the elements of which are the luminance (brightness) of the corresponding coordinates on the image sensor 24 of M pixels × N pixels or the magnitude of the output signal. It shows.
[0105]
When this image Zmn is divided into an in-focus image Bmn formed by the inner long-focus lens portion 22 and an annular blurred image Dmn formed by the outer annular short-focus lens portion 23, the following equation is obtained. It can be expressed as (1-1).
[0106]
Zmn = Bmn + Dmn (1)
[0107]
Here, Zmn, Bmn, and Dmn are M rows and N columns matrix representing an image on the image sensor 24, but the coordinates (h, k) on the image sensor 24 (h and k are natural numbers, 1 ≦ h) The brightness of the pixel corresponding to ≦ M, 1 ≦ k ≦ N) is expressed as Zmn (h, k), Bmn (h, k), Dmn (h, k). Αmn is a matrix of M rows and N columns representing the subject, and the brightness of the subject at the coordinates (s, t) (s and t are natural numbers, 1 ≦ s ≦ M, 1 ≦ t ≦ N) is It is expressed as αmn (s, t), and the value of each element αmn (s, t) can be expressed as the following equation (1-2).
[0108]
αmn (s, t) = δs−m, t−n (1-2)
[0109]
Here, δ is the Kronecker delta, δs-m, tn = 1 (when s = m, t = n), δs-m, tn = 0 (when other than s = m, t = n) ).
[0110]
As shown in the equation (1-1), the image Zmn of the subject αmn having a bright point only at the coordinates (m, n) by the bifocal lens 21 is an in-focus image by the inner long focal lens unit 22. Bmn and the ring-shaped blurred image Dmn formed by the outer short-focus lens unit 23 overlap each other, and this is shown on the image sensor 24 in FIG. However, since FIG. 3 is a perspective view, the ring-shaped blurred image Dmn is actually an annular shape instead of an elliptical shape.
[0111]
On the image sensor 24 of FIG. 3, Bmn is a matrix in which there are non-zero elements (signals) at coordinates (m, n) and all other elements are zero, and Dmn is the coordinates (m, n). This is a matrix indicating a donut-shaped or ring-shaped blurred image at the center, that is, a so-called blurred image. The outer diameter and inner diameter of the Dmn donut are proportional to the outer diameter and inner diameter of the outer short-focus lens portion 23 constituting the bifocal lens 21. In this examination, the blur formed by the outer short focus lens portion 23 constituting the bifocal lens 21 spreads over a wide range, and the value of the element Dmn is sufficiently smaller than that of Bmn.
[0112]
<Image of the entire subject>
Assuming that each point (s, t) of the subject has a brightness of A (s, t), the entire light emitted from the subject has an element having a value of A (s, t) in s rows and t columns. It is expressed by matrix A. This is expressed as subject A. Then, the subject A can be expressed by the following equation (1-3) using αmn (subject having a bright point at the point (m, n)).
[0113]
A = ΣmΣn [A (m, n) αmn] (1-3)
[0114]
Here, Σm represents the sum of m = 1 to M, and Σn represents the sum of n = 1 to N. The same applies to the following.
[0115]
Further, since the conversion relationship between the object A and the image Z and the conversion relationship between αmn and the image Zmn are considered to be the same one-dimensional mapping, they can be expressed as the following equation (1-4).
[0116]
Z = ΣmΣn [A (m, n) Zmn] (1-4)
[0117]
Furthermore, if the in-focus image B and the out-of-focus image D are expressed separately, they can be expressed as the following equations (1-5) and (1-6).
[0118]
B = ΣmΣn [A (m, n) Bmn] (1-5)
[0119]
D = ΣmΣn [A (m, n) Dmn] (1-6)
[0120]
Since the image Z of the subject A is the sum of the focused image B and the out-of-focus image D, the following equation (1-7) is obtained.
[0121]

[0122]
<Expression method of objects and images by huge vectors>
In the above description, the image is represented by a matrix of M rows and N columns that is the same shape as the screen of the image sensor 24 (M pixels × N pixels), and the subject is also represented as a similar shape of the screen of the image sensor 24. Similarly, it is expressed by a matrix of M rows and N columns. By the way, the calculation formula for deriving the image Z from the subject A can be expressed in the form shown in formula (1-35) described later, which is generally a convolution operation. Therefore, if this calculation formula can be solved in reverse, an in-focus image can be calculated from the image Z captured by the bifocal lens 21, but it cannot be directly derived from this calculation formula. Is converted from a matrix representation of M rows and N columns to a vector representation having M × N elements. As a conversion method in this case, each row (first row to M-th row) of the image matrix is arranged in a horizontal row in order from the top row, and is converted into a vertical vector so that matrix calculation is easy. Specific examples thereof are given below for the image Z, for example. The image expression vector having M × N elements formed in this way is referred to as a giant vector.
[0123]
[Expression 1]

[0124]
For the matrix: Z, the giant vector: Z is expressed by the following equation (1-8). In the equation (1-8), superscript t indicates vertical and horizontal transposition, that is, conversion from a horizontal vector to a vertical vector.
[0125]

[0126]
The above giant vector expression can be similarly applied to A and αmn of the subject that have been described so far, and B and D of the image, Zmn, Bmn, and Dmn.
[0127]
<Expression of image formation from a subject by a huge matrix>
Consider a matrix that expresses "primary transformation (projection) from subject to image" for forming an image from the subject using the huge vector representing the above image. For the giant vector representing the subject and the image, for example, the same symbols as in the matrix representation are used, such as Z and Zmn.
[0128]
Consider an ideal bifocal lens 21. An in-focus image Bmn of a single bright spot subject αmn at coordinates (m, n), where U is a unit matrix having (M × N) × (M × N) elements, 9).
[0129]
Bmn = cUαmn (1-9)
[0130]
Here, c is a proportional coefficient, and is proportional to the area of the long focal point lens portion 22 which is a portion that forms an in-focus image of the bifocal lens 21. In this case, since the bifocal lens 21 is an ideal lens, it can be expressed in this way. When the light amount division ratio does not match the lens area ratio, the value of c is not determined by the area ratio, but is a length that is a portion of the bifocal lens 21 that forms a focused image. The amount of light that actually passes through the focus lens unit 22 and reaches the image sensor 24 or the signal amount of the image sensor 24 and the amount of light that passes through the entire bifocal lens 21 and actually reaches the image sensor 24 You may obtain | require as a value of ratio with the signal amount of the image pick-up element 24. FIG.
[0131]
On the other hand, when a conversion processing matrix for forming an out-of-focus image is Δ (matrix having (M × N) × (M × N) elements), the following expression (1-10) is expressed. it can.
[0132]
Dmn = Δαmn (1-10)
[0133]
Therefore, the image Zmn in which the two images overlap can be expressed as in the following formula (1-11).
[0134]
Zmn = Bmn + Dmn = (cU + Δ) αmn (1-11)
[0135]
The matrices U and Δ in the above equations (1-9) to (1-11) have (M × N) × (M × N) elements, and are compared with an M-row N-column matrix that represents an image. Therefore, it is distinguished as a huge matrix. Substituting equation (1-11) into equation (1-4) gives equation (1-12) below, and the relationship between the subject and the image by the bifocal lens 21 is a simple conversion equation. Expressed.
[0136]

[0137]
<Contents of a huge matrix>
Here, let's look specifically at the shape and contents of the huge matrix. First, the giant matrix cU is a matrix of M × N rows and M × N columns in which all diagonal terms are c. Further, Δ is a matrix of M × N rows and M × N columns partially having an element having a sufficiently smaller value than c. The content is expressed by the following equation (1-13) when the giant vector (vertical vector) Dmn in the equation (1-10) is used.
[0138]

[0139]
Here, if the expression of the above expression (1-8) is used for the giant vector (vertical vector) Dmn in the above expression (1-13), Δ can be expressed as the following expression (1-14). .
[0140]
[Expression 2]

[0141]
Then, when cU is added to Δ expressed as the above formula (1-14), considering that cU is a huge matrix in which only the diagonal term contains the value c, (cU + Δ) is As in equation (1-15), the matrix becomes a huge matrix having a value obtained by adding c to the diagonal term of Δ.
[0142]
[Equation 3]

[0143]
This giant matrix (cU + Δ) can also be expressed as the following equation (1-16) in consideration of the equation (1-11).
[0144]
[Expression 4]

[0145]
In other words, when the elements of the huge matrix (cU + Δ) are compared between Expression (1-15) and Expression (1-16), the following Expression (1-17) is obtained.
[0146]

[0147]
Here, j is a natural number and 1 ≦ j ≦ M × N. From the above equation (1-17), the elements of the giant matrix (cU + Δ) of the primary transformation of image formation are determined by obtaining the element Dmn (j) of Δ. Since the vertical vector Dmn of each column constituting Δ is equivalent to a huge vector representing a donut-shaped defocused image by a single bright spot subject at an arbitrary position as is clear from the equation (1-14), The value of each element of Δ can be determined by obtaining a defocused image.
[0148]
Next, a method for obtaining an image focused on the subject from an image formed by the bifocal lens 21 and in which the focused image and the defocused image overlap each other will be described.
[0149]
<Basic concept>
The basis of the image improvement is to obtain the image A corresponding to the subject with the huge matrix (cU + Δ) and the photographed image Z as known in the equation (1-12). That is, the inverse matrix (cU + Δ) shown in the following equation (1-18)^-1It is exhausted to ask for.
[0150]
A = (cU + Δ)^-1Z (1-18)
[0151]
The size of the huge matrix is, for example, M = 640 pixels, N = 480 pixels (equivalent to 300,000 pixels), and M × N = 307,200, and the size (number of elements) is (M × N)²≒ 9 million. Accordingly, obtaining this inverse matrix is not practical because it requires a considerable amount of calculation time.
[0152]
Therefore, it is assumed that the value of each element of Δ is sufficiently smaller than c. This assumption is sufficient if the size of the blur is 10 pixels or more, and the aperture ratio of the bifocal lens 21, the lens aperture, and the focal lengths of the lens portions 22 and 23 may be adjusted in design. A method for simply obtaining the inverse matrix of Equation (1-18) by the approximation method under such preconditions will be described. First, as a general theory, the following equation (1-19) is established.
[0153]

[0154]
However, it is assumed that the zero power of the matrix becomes the unit matrix U. In the above equation (1-19), assuming that Δ / c is sufficiently small, taking the first three terms and rejecting the following terms results in the following equation (1-20). Although details will be described later, higher order development may be required in some cases.
[0155]

[0156]
Then, when the above equation (1-20) is substituted into the equation (1-18), the following equation (1-21) is obtained.
[0157]

[0158]
<Inverted matrix of subject to image conversion giant matrix>
The value of each element of the huge matrix obtained as a result of the approximate calculation of the inverse matrix is obtained. Let the inverse matrix be T as follows: T is a giant inverse matrix of M × N rows and M × N columns.
[0159]
(CU + Δ)^-1= (1 / c) (U−Δ / c) ≡T
[0160]
When the value of each element T (i, j) of the giant inverse matrix T is displayed using the above equation (1-14), the following equation (1-22) is obtained. However, i and j are natural numbers, 1 ≦ i ≦ M × N, and 1 ≦ j ≦ M × N.
[0161]
[Equation 5]

[0162]
Here, Dmn (j) (giant vector representation) can be obtained mechanically if Dmn (h, k) (matrix representation) is obtained. Dmn (h, k) (matrix expression) can be uniquely obtained from the characteristics of the bifocal lens 21 as described below.
[0163]
<Value of Dmn (h, k)>
The (h, k) element Dmn (h, k) (matrix representation) of the defocused image Dmn formed by the subject αmn with a single bright spot can be obtained as follows.
[0164]
The radii of the inner and outer circles of the bifocal lens 21 on the image sensor 24 are r, respectively._iAnd r_oAnd r_iCorresponds to the outer diameter (radius) of the long focus lens portion 22, that is, the inner diameter (radius) of the short focus lens portion 23, and r_oCorresponds to the outer diameter (radius) of the short focus lens portion 23. The size of one pixel of the image sensor 24 is assumed to be p × p.
[0165]
Assuming that the lens portion forming the defocused image is the outer short focus lens portion 23, the defocused image Dmn by αmn has a radius r centered at (m, n)._i/ P to r_oIt becomes a donut shape up to / p (see FIG. 3). If the total brightness of the entire image Zmn is 1, the brightness of the focused image Bmn is c, the total brightness of the defocused image Dmn is (1-c), and the following formula (1- 23) is established.
[0166]
c = πr_i ²/ Πr_o ²= R_i ²/ R_o ²      (1-23)
[0167]
The average brightness ε per pixel in the defocused image Dmn can be expressed as the following equation (1-24) because the overall brightness of the defocused image Dmn is (1-c).
[0168]
ε = (1-c) × p²/ (Πr_o ²-Πr_i ²(1-24)
[0169]
Using the above equation (1-24), the value of Dmn (h, k) can be expressed by the following equation (1-25).
[0170]

[0171]
Here, the radius r on the image sensor 24_iAnd r_oIs preferably obtained by experiments, but the inner and outer diameters of the lens portions 22 and 23 constituting the bifocal lens 21, the focal lengths of the lens portions 22 and 23, and the distance between the bifocal lens 21 and the image sensor 24. You may obtain | require by calculation using distance.
[0172]
As described above, all the values of the elements Dmn (h, k) of the matrix representation of the defocused image Dmn for the subject αmn with a single bright spot can be obtained. Therefore, since the value of each element Dmn (j) of Dmn in the case of the giant vector expression can be easily obtained from the value of each element Dmn (h, k) in the case of this matrix expression, the above formula (1 Based on -22), all the values of each element T (i, j) of the giant inverse matrix T can be obtained.
[0173]
<Introduction of convolution matrix W>
By the way, each element T (i, j) of the giant inverse matrix T can be obtained by another way of thinking as follows. That is, first, as shown in FIG. 4, the subject α having a bright spot only in the (1,1) element.₁₁Image Z formed by₁₁And subject α having a bright spot only in the (1, N) element_1NImage Z formed by_1NAnd subject α having a bright spot only in the (M, 1) element._M1Image Z formed by_M1And subject α having a bright spot only in the (M, N) element_MNImage Z formed by_MNConsider a matrix W of (2M-1) rows (2N-1) columns constructed using four image matrices.
[0174]
In FIG. 4, the matrix W has an image matrix Z in the lower right part.₁₁And the image matrix Z in the lower left part_1NAnd the image matrix Z in the upper right part_M1And the image matrix Z in the upper left part_MNIs arranged. However, each image matrix Z₁₁, Z_1N, Z_M1, Z_MNAre arranged so as to overlap one row or one column. Here, W (x, y) is each element of the matrix W, and is defined as the following equation (1-26). X and y are integers based on either positive or negative values, (1 -M) ≤x≤ (M-1), (1-N) ≤y≤ (N-1). Each value of W (x, y) is normalized so that the sum of the values of these elements is 1.
[0175]

[0176]
Further, the matrix W can be expressed as follows in another expression. That is, the matrix W is an image matrix Zmn of M rows and N columns by a single bright spot subject αmn from coordinates (h, k) satisfying x = hm and y = kn to coordinates (x, y). In coordinate conversion, the non-zero elements (c and ε in FIG. 4) of Zmn (h, k) are included by performing parallel movement so that W (0, 0) = Zmn (m, n). The matrix part E is arranged at the center of the matrix W, and the outer part of the matrix part E including the non-zero elements arranged at the center is filled with zero elements.
[0177]
The matrix part E including the non-zero elements is, for example, a size that can fit within 31 pixels × 31 pixels. The value of c included in the matrix portion E including non-zero elements is c = 0.8, for example, and the value of ε is, for example, ε = 0.0013. However, it is not limited to these numerical values. Further, in FIG. 4, ε is described in a line shape with a width of one row or one column, but actually, it is arranged in a band shape with a width of a plurality of rows or a plurality of columns. For example, zero elements (W (x, y) = 0) are arranged in an annular shape with a width of 7 rows or 7 columns centering on W (0, 0) = c, and 8 rows or 8 columns outside of it. Ε (W (x, y) = ε) is arranged in an annular shape with a width of minutes.
[0178]
Next, in the matrix W, the extracted matrix K of M rows and N columns is moved while shifting the position by one row or one column from the solid line position in FIG. If M × N elements are extracted from (x, y), each matrix K composed of the extracted elements₁₁, K₁₂... K_MNIs the same as the image matrix Zmn (1 ≦ m ≦ M, 1 ≦ n ≦ N). For example, Z₁₁The same cut-out matrix K₁₁Is represented by the following equation (1-27).
[0179]
[Formula 6]

[0180]
K in the above formula (1-27)₁₁Is a matrix representation. If this is a giant vector representation, a vertical vector such as the following equation (1-28) is obtained.
[0181]

[0182]
Similarly, when the extraction matrix K is moved leftward by one column in FIG.₁₂The same cut-out matrix K₁₂Is obtained as in the following equation (1-29), and its giant vector representation is obtained as in the following equation (1-30).
[0183]
[Expression 7]

[0184]

[0185]
In this way, the cut-out matrix K is sequentially moved to K₁₁, K₁₂... K_MNIs obtained, the transformation giant matrix (cU + Δ) can be expressed by these vertical vectors K₁₁, K₁₂... K_MNCan be expressed as in the following formula (1-31).
[0186]

[0187]
Here, the giant vector (vertical vector) K in the above equation (1-31)₁₁, K₁₂... K_MNIn addition, when the expressions (1-28) and (1-30) are used, (cU + Δ) can be expressed as the following expression (1-32).
[0188]
[Equation 8]

[0189]
It can be seen that all the diagonal terms of the transformed giant matrix (cU + Δ) in the above equation (1-32) are W (0, 0). If this is expressed concretely, it will be as shown in FIG. In FIG. 5, the diagonal term is constant at W (0,0) = c, and in a portion other than the diagonal term, ε, which is a smaller numerical value than c, appears in parallel with the diagonal term. Yes. This can be understood by comparing FIG. 4 with FIG.
[0190]
Therefore, the giant inverse matrix T, which is the inverse matrix of the transformed giant matrix (cU + Δ), can be specifically expressed as shown in FIG. In FIG. 6, the diagonal term is constant at 1 / c, and the portion other than the diagonal term is −ε / c, which is a smaller numerical value than c.²Appears parallel to the diagonal term.
[0191]
<Introduction of convolution matrix Q>
Here, by converting each element W (x, y) of the matrix W of (2M-1) rows (2N-1) columns shown in FIG. Considering that a matrix (cU + Δ) is obtained, a matrix Q of (2M−1) rows (2N−1) columns that can form a giant inverse matrix T as shown in FIG. 6 can be considered.
[0192]
A matrix Q corresponding to such a matrix W is as shown in FIG. This can be understood by comparing FIG. 6 with FIG. In FIG. 7, the central portion of the matrix Q has an annular shape of −ε / c with Q (0,0) = 1 / c as the center.²Is arranged. The other parts are zero elements. That is, Q (x, y) is represented by the following equation (1-33).
[0193]

[0194]
Here, x and y are integers, and (1−M) ≦ x ≦ (M−1) and (1−N) ≦ y ≦ (N−1). Note that the values of c and ε in the matrix Q of FIG. 7 are the same as the values of c and ε in the matrix W of FIG.
[0195]
Note that the present invention is not limited to the situation setting described in the first embodiment (when the defocused image Dmn has an annular shape), for example, when the defocused image Dmn has a circular shape, an elliptical shape, or a polygonal shape. In general, the above formula (1-33) is generalized to the following formula (1-34). In addition, when higher-order expansion is considered than the above-described expression (1-20), the expression becomes a more general form, and details thereof will be described later.
[0196]

[0197]
On the other hand, the value of each element Z (h, k) of the image matrix Z is obtained by performing a convolution operation based on the following expression (1-35) using the matrix W described above, thereby obtaining each element of the matrix A of the subject. It can be calculated from the value of A (m, n). Therefore, the matrix W is a convolution operation matrix for performing a convolution operation process.
[0198]

[0199]
Here, h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N, m and n are natural numbers, 1 ≦ m ≦ M, 1 ≦ n ≦ N, and Σ_mIs the sum of m = 1 to M, and Σ_nIs the sum of n = 1 to N.
[0200]
If considered similarly, the value of each element A (s, t) of the subject matrix A is obtained by performing a convolution operation based on the following equation (1-36) using the matrix Q described above. It can be calculated from the value of each element Z (h, k) of the matrix Z. Therefore, the matrix Q is also a convolution operation matrix for performing the convolution operation processing.
[0201]

[0202]
Here, s and t are natural numbers, 1 ≦ s ≦ M, 1 ≦ t ≦ N, h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N, and Σ_hIs the sum of h = 1 to M, and Σ_kIs the sum of k = 1 to N.
[0203]
From the above, it can be seen that if the convolution calculation is performed using the convolution calculation matrix Q, the reproduction calculation processing for reproducing the value of each element A (s, t) of the subject matrix A can be performed.
[0204]
By the way, in the above description, the process which can be materialized when the value of C is a value other than the vicinity of 0.5 (including 0.5, the same applies hereinafter) and the basis thereof have been described. On the other hand, when the value of C approaches 0.5, the expansion shown in Expression (1-20) is insufficient, and higher-order expansion is required. Therefore, the expression (1-34) also needs to have a form corresponding to higher-order expansion.
[0205]
However, it is not preferable to perform higher-order expansion as compared with the equation (1-20) because the calculation equation becomes complicated and the processing becomes complicated and delayed. Therefore, Equation (1-34) is simply replaced with the following Equation (1-37) in such a way that it can cope with the value of C near 0.5. In addition, as a result of repeating many calculations, it was found by the applicant of the present application that an effect equivalent to higher-order development can be obtained by such replacement.
[0206]

[0207]
Here, the value of power may be determined according to the value of c. At this time, when the value of c is in the vicinity of 0.5, the power value needs to be a value other than 2. More specifically, when the value of c is in the vicinity of 0.5, the power value is 1 or more and less than 2, more preferably 1. On the other hand, when the value of c is other than 0.5, it is set to 1 or more and 2 or less.
[0208]
In the above description, the description is given on the assumption that the long-focus lens unit 22, which is a portion that forms an in-focus image of the bifocal lens 21, forms an image without blur. Therefore, it is assumed that the image formed by the long focus lens unit 22 has a non-zero element only in W (0, 0), and the value thereof is c.
[0209]
However, in practice, the image formed by the long focus lens unit 22 may be blurred due to aberrations or the like, so the image formed by the long focus lens unit 22 is around W (0,0). The elements around W (0,0) can also be non-zero elements. For example, W (0,0) = 0.41 at the center of W (x, y), and W (0,1) = W (0, −1) = W (1, 0) = W (-1,0) = 0.08, W (1,1) = W (1, -1) = W (-1,1) = W (-1, -1) = 0.02 For other elements, W (x, y) = 0, and so on.
[0210]
Therefore, when the image formed by the long focus lens unit 22 is blurred due to aberration or the like and elements other than W (0,0) are also non-zero elements, the value of W (0,0) and W The values of the non-zero elements generated around (0,0) are summed, and the total value is re-entered into W (0,0) as the value of c, and the non-zero generated around W (0,0) The correction operation of making the value of the element zero is performed, and the value of each element W (x, y) created through these correction operations is used to calculate each element Q (x, y) of the convolution matrix Q. What is necessary is just to calculate a value. For example, in the case of the specific numerical example described above, the value of the central element is 0.41, the value of the surrounding four elements is 0.08 × 4, and the value of another surrounding four elements is 0.02 × 4. Is 0.81, so that W (0,0) = c = 0.81 and W (0,1) = W (0, −1) = W (1,0) = W (-1, 0) = W (1,1) = W (1, -1) = W (-1,1) = W (-1, -1) = 0.
[0211]
In such a first embodiment, the image modification processing device 30 improves the quality of the image obtained by imaging the subject using the bifocal lens 21 as follows.
[0212]
First, before imaging a subject, the value of each element Q (x, y) of the convolution matrix Q is calculated in advance based on the equation (1-33), (1-34), or (1-37). Then, it is stored in the convolution operation matrix storage means 32 of the image modification processing device 30. It is only necessary to store each value of the matrix portion H including non-zero elements (see FIG. 7).
[0213]
Next, the subject is imaged by the imaging mechanism 20. At this time, light emitted from the subject passes through the lens portions 22 and 23 of the bifocal lens 21 and reaches the image sensor 24. Then, the output signal of the image sensor 24 that has received light from the subject is extracted, taken into the image modification processing device 30, and stored in the output signal storage unit 31.
[0214]
Subsequently, the value of each element Q (x, y) (each value of the matrix portion H in FIG. 7) stored in the convolution calculation matrix storage means 32 and the output signal storage means 31 are stored by the reproduction calculation means 33. Using the value of each element Z (h, k) of the matrix Z indicating the output signal of the obtained image, the value of each element A (s, t) of the subject matrix A is calculated based on the equation (1-36). .
[0215]
Thereafter, using the value of each element A (s, t) of the obtained subject matrix A, the subject that is the subject of imaging is displayed on the screen of the display means 40. If necessary, the subject may be printed by an output unit such as a printer (not shown).
[0216]
According to such 1st Embodiment, there exist the following effects. That is, the calculation processing by the reproduction calculation means 33 is calculated in advance based on the equation (1-33), (1-34), or (1-37) and stored in the convolution calculation matrix storage means 32 (2M-1 ) Value of each element Q (x, y) of the convolution matrix Q of row (2N-1) column (in the first embodiment, each value of the matrix part H including a non-zero element that is a part thereof) Since the calculation process is performed using the large inverse matrix T of M × N rows and M × N columns represented by the expression (1-22), the matrix of the subject can be obtained with a very small calculation amount. The value of each element A (s, t) of A can be calculated.
[0217]
For example, if M = 300 pixels and N = 400 pixels, the amount of calculation when using the giant inverse matrix T (M × N) × (M × N) = 1.44 × 10^TenThe amount of calculation when using the convolution operation matrix Q for the number of times is (2M-1) × (2N-1) = about 480,000 times, and further, the matrix portion including the non-zero elements in the convolution operation matrix Q The calculation amount when only H is used is, for example, 31 × 31 = about 1000 times.
[0218]
For this reason, since the subject can be reproduced by obtaining a focused image in a short time process, the quality of the image captured by the bifocal lens 21 can be improved in a short time process. Without using the alignment mechanism, a clear image can be obtained for both a normal subject at a standard distance and a close subject at a shorter distance.
[0219]
In addition, since the calculation processing by the reproduction calculation means 33 has a very small amount of calculation, a short time processing is possible even with the capability of the CPU mounted on a portable information terminal device such as a cellular phone or a portable information terminal. Can be done with. Therefore, if the present invention is applied to a portable information terminal device including the bifocal lens 21, the usability and performance of the information terminal device can be improved.
[0220]
[Second Embodiment]
FIG. 8 shows the overall configuration of the imaging system 200 including the image modification processing device 230 according to the second embodiment of the present invention. Since the imaging system 200 is different only in the configuration of the imaging system 10 of the first embodiment and the image modification processing device 230, the same parts are denoted by the same reference numerals, detailed description thereof is omitted, and the following is different. Only the part will be described.
[0221]
In FIG. 8, the image modification processing device 230 includes an output signal storage unit 231, a convolution operation matrix storage unit 232, a reproduction operation unit 233, a shading correction matrix storage unit 234, and a shading correction unit 235. . Among these, the output signal storage means 231, the convolution calculation matrix storage means 232, and the reproduction calculation means 233 are the same as the output signal storage means 31, the convolution calculation matrix storage means 32, and the reproduction calculation means 33 of the first embodiment. It is.
[0222]
The shading correction matrix storage unit 234 corrects each of the M rows and N columns of the shading correction matrix Φ for correcting the influence of the shading that reduces the amount of light received at the periphery of the image due to the nonuniformity of the incident angle of the light to the bifocal lens 21. The value of the element Φ (s, t) is stored.
[0223]
Here, the value of each element Φ (s, t) of the shading correction matrix Φ is obtained as follows. First, let Ψ (s, t) be an output signal value of each element of an image formed by imaging a uniform white subject (flat subject). The value of Ψ (s, t) is preferably obtained by experiment, but may be obtained by calculation. In the case of calculation, it can be obtained by using a cosine value cos θ based on the azimuth angle θ of a point on the subject measured from the normal line of the central portion of the bifocal lens 21. At this time, the value of each element Φ (s, t) of the shading correction matrix Φ is expressed by the following equation (2-1).
[0224]
Φ (s, t) = 1 / Ψ (s, t) (2-1)
[0225]
Here, s and t are natural numbers, and 1 ≦ s ≦ M and 1 ≦ t ≦ N. The value of Ψ (s, t) is normalized so that the output signal value of the element having the maximum brightness (luminance) is 1.
[0226]
The shading correction means 235 uses the value of each element Φ (s, t) stored in the shading correction matrix storage means 234 and each element A (s) of the subject matrix A obtained by performing the processing by the reproduction calculation means 233. , T) and the subject matrix A subjected to the shading correction based on the following equation (2-2)^shEach element A^shThe process of calculating (s, t) is performed.
[0227]
A^sh(S, t) = A (s, t) × Φ (s, t) (2-2)
[0228]
The shading correction matrix storage unit 234 is realized by, for example, a hard disk, a ROM, or the like, similar to the convolution calculation matrix storage unit 232.
[0229]
The shading correction unit 235 is realized by a central processing unit (CPU) and one or a plurality of programs that define the operation procedure of the CPU, like the reproduction calculation unit 233.
[0230]
In such a second embodiment, the image modification processing device 230 improves the quality of the image obtained by imaging the subject using the bifocal lens 21 as follows.
[0231]
First, the value of each element Φ (s, t) of the shading correction matrix Φ is stored in the shading correction matrix storage means 234.
[0232]
Next, the same processing as in the first embodiment is performed, and after the processing by the reproduction calculation unit 233, the value of each element Φ (s, t) and the processing by the reproduction calculation unit 233 are performed by the shading correction unit 235. Using the values of the respective elements A (s, t) of the subject matrix A obtained in the above, the subject matrix A subjected to the shading correction based on the equation (2-2)^shEach element A^shThe value of (s, t) is calculated.
[0233]
According to the second embodiment, in addition to the effects obtained in the first embodiment, since the processing by the shading correction unit 235 is performed, the influence of the shading is eliminated, so that the image quality is further improved. There is an effect that can be done.
[0234]
[Third Embodiment]
FIG. 9 shows an overall configuration of an imaging system 300 including an image modification processing device 330 according to the third embodiment of the present invention. Since the imaging system 300 is different only in the configuration of the imaging system 10 of the first embodiment and the image modification processing device 330, the same parts are denoted by the same reference numerals, detailed description thereof is omitted, and the following is different. Only the part will be described.
[0235]
In FIG. 9, the image modification processing device 330 includes an output signal storage unit 331, a convolution operation matrix storage unit 332, a reproduction operation unit 333, a shading correction matrix storage unit 334, and a shading correction unit 335. . Among these, the output signal storage means 331, the convolution calculation matrix storage means 332, and the reproduction calculation means 333 are the same as the output signal storage means 31, the convolution calculation matrix storage means 32, and the reproduction calculation means 33 of the first embodiment. It is.
[0236]
The shading correction matrix storage means 334 stores each of the M rows and N columns of the shading correction matrix Φ for correcting the influence of the shading that reduces the amount of light received at the periphery of the image due to the nonuniformity of the incident angle of the light to the bifocal lens 21. The value of element Φ (h, k) is stored.
[0237]
Here, the value of each element Φ (h, k) of the shading correction matrix Φ is obtained using Ψ (h, k) in the same manner as in the second embodiment.
[0238]
The shading correction means 335 uses the value of each element Φ (h, k) stored in the shading correction matrix storage means 334 and the value of each element Z (h, k) of the matrix Z of the image output signal. Based on the following equation (3-1), the matrix Z of the output signal of the image subjected to the shading correction^shEach element Z^sh(H, k) is calculated and Z obtained^shProcessing is performed so that the value of (h, k) is used as the new Z (h, k) for processing by the reproduction calculation means 333.
[0239]
Z^sh(H, k) = Z (h, k) × Φ (h, k) (3-1)
[0240]
Here, h and k are natural numbers, and 1 ≦ h ≦ M and 1 ≦ k ≦ N.
[0241]
The shading correction matrix storage unit 334 is realized by, for example, a hard disk, a ROM, or the like, similar to the convolution calculation matrix storage unit 332.
[0242]
The shading correction unit 335 is realized by a central processing unit (CPU) and one or a plurality of programs that define the operation procedure of the CPU, like the reproduction calculation unit 333.
[0243]
In the third embodiment as described above, the quality of the image obtained by imaging the subject using the bifocal lens 21 is improved by the image modification processing device 330 as follows.
[0244]
First, the value of each element Φ (h, k) of the shading correction matrix Φ is stored in the shading correction matrix storage means 334.
[0245]
Next, before performing the processing by the reproduction calculation unit 333, the value of each element Φ (h, k) and the value of each element Z (h, k) of the matrix Z of the output signal of the image are processed by the shading correction unit 335. And the matrix Z of the output signal of the image subjected to the shading correction based on the equation (3-1)^shEach element Z^shAfter calculating the value of (h, k), the Z obtained^shLet the value of (h, k) be a new Z (h, k).
[0246]
Subsequently, using the value of Z (h, k) that has undergone the processing by the shading correction means 335, the processing by the reproduction calculating means 333 and the subsequent processing are performed as in the first embodiment.
[0247]
According to the third embodiment, in addition to the effects obtained in the first embodiment, since the processing by the shading correction unit 335 is performed, the influence of the shading is eliminated, so that the image quality is further improved. There is an effect that can be done.
[0248]
[Fourth Embodiment]
FIG. 10 shows a detailed configuration of a digital filter circuit 433 constituting a part of the image modification processing device 430 according to the fourth embodiment of the present invention. In the first, second, and third embodiments, each of the reproduction calculation means 33, 233, and 333 is realized by a central processing unit (CPU) and one or more programs that define the operation procedure of the CPU. However, in the fourth embodiment, the reproduction calculation means is realized by a digital filter circuit 433 as shown in FIG. Other configurations are the same as those of the first, second, and third embodiments.
[0249]
The digital filter circuit 433 realizes the processing by the reproduction calculation means, that is, the convolution calculation processing using the convolution calculation matrix Q based on the expression (1-36) of the first embodiment by hardware.
[0250]
In FIG. 10, in order to simplify the description, each element of the convolution calculation matrix Q defined by the expression (1-33), (1-34), or (1-37) of the first embodiment. A circuit in the case where the value of Q (x, y) is used for 3 pixels × 3 pixels is shown. However, in practice, the value of Q (x, y) is used for the number of pixels (for example, 31 pixels × 31 pixels) of the matrix portion H including the non-zero elements in FIG. However, the arrangement method of each constituent circuit is the same as that shown in FIG.
[0251]
In FIG. 10, the digital filter circuit 433 converts the value of each element Q (x, y) of the convolution operation matrix Q into the value of each element Z (h, k) of the matrix Z of the output signal of the image that is sequentially input. A plurality (nine in FIG. 10) of multiplication circuits 401 to 409 for multiplication, and a plurality (eight in FIG. 10) of addition circuits 411 to 418 for adding output signals from these multiplication circuits 401 to 409, A plurality (eight in FIG. 10) of delay circuits 421 to 428 for adjusting the speed of the signal flow of each element Z (h, k) sequentially input.
[0252]
The multiplication circuits 401, 402, 403, 404, 405, 406, 407, 408, and 409 are respectively Q (-1, -1), Q (-1, 0), Q (-1, 1), Q (0 , -1), Q (0, 0), Q (0, 1), Q (1, -1), Q (1, 0), and Q (1, 1). .
[0253]
The delay circuits 421 to 426 are circuits for performing one clock delay for delaying the signal by the time from pixel to pixel, and the delay circuits 427 and 428 are for performing 1H delay to delay the signal by the time from row to row. Circuit.
[0254]
According to the fourth embodiment, in addition to the effects obtained in the first to third embodiments, the convolution operation processing using the convolution operation matrix Q can be realized by hardware. There is an effect that the processing time required for quality can be further shortened.
[0255]
[Fifth Embodiment]
FIG. 11 shows an overall configuration of an imaging system 500 including an image modification processing device 530 according to the fifth embodiment of the present invention. Since the imaging system 500 is different only in the configuration of the imaging system 10 of the first embodiment and the image modification processing device 530, the same parts are denoted by the same reference numerals, detailed description thereof is omitted, and the following is different. Only the part will be described.
[0256]
In FIG. 11, the imaging system 500 includes an imaging mechanism 20 that captures an image of an object, an image modification processing device 530 that improves the quality of an image captured by the imaging mechanism 20, and a quality that is improved by the image modification processing device 530. Display means 40 for displaying the improved image. Among these, the configurations of the imaging mechanism 20 and the display means 40 are the same as those in the first embodiment.
[0257]
The image modification processing apparatus 530 includes an output signal storage unit 531, a discrete cosine transform processing unit 532, a defocused image erasing processing unit 533, a quantization processing unit 534, an encoding processing unit 535, and a cosine value storage unit. 536.
[0258]
The output signal storage means 531 is for extracting and storing an output signal of an image obtained by imaging the subject with the bifocal lens 21 from the imaging device 24.
[0259]
Discrete / cosine transform processing means (DCT processing means) 532 is described by assuming that the output signal of each pixel of the image sensor 24 stored in the output signal storage means 531 is Q pixels × Q pixels (here, 8 pixels × 8 pixels). )), And the extracted signal level S_xySignal level S corresponding to each spatial frequency by performing discrete cosine transform processing (DCT processing) based on equation (5-1) to be described later.^F _uvThe process which calculates | requires is performed. This DCT processing is the same processing as that performed in normal JPEG image compression processing.
[0260]
The out-of-focus image erasure processing unit 533 is the S obtained by the processing by the discrete cosine conversion processing unit 532.^F _uvComponent S of zero^F ₀₀Is multiplied by the ratio of the area of the lens unit (long focal lens unit 22 or short focal lens unit 23) that forms an in-focus image with respect to the total area of the bifocal lens 21, and the value obtained by this multiplication is obtained. New S^F ₀₀Is performed.
[0261]
The quantization processing unit 534 outputs the signal level S after processing by the defocused image erasing processing unit 533.^F _uvQuantization processing is performed. This quantization processing is the same processing as that performed in normal JPEG image compression processing.
[0262]
The encoding processing unit 535 performs processing for encoding the quantized data obtained by the processing by the quantization processing unit 534. This encoding process is the same as that performed in the normal image compression process using JPEG.
[0263]
The cosine value storage means 536 stores the value of cos (cosine) in equation (5-1), which will be described later, used in the arithmetic processing by the DCT processing means 532 for each combination of x and u, and y and v. It is a table to memorize.
[0264]
Examples of the output signal storage unit 531 and the cosine value storage unit 536 include a hard disk, ROM, EEPROM, flash memory, RAM, MO, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, FD, magnetic tape, or a combination of these can be employed.
[0265]
The DCT processing unit 532, the defocused image erasing processing unit 533, the quantization processing unit 534, and the encoding processing unit 535 are various information terminal devices (for example, portable types such as a cellular phone and a portable information terminal) that constitute the imaging system 500. Information terminal device, or a central processing unit (CPU) provided inside a personal computer connected to a camera, a monitoring camera device, etc.) and one or more programs that define the operating procedure of this CPU Is done.
[0266]
Hereinafter, the basis of various arithmetic processes performed by the image modification processing apparatus 530 will be described.
[0267]
As described in the description of the first embodiment, the image on the image sensor 24 by the bifocal lens 21 sharing the optical axis is the long focal lens portion 22 disposed on the inner side and the short focal point disposed on the outer side. Of the lens unit 23, an image focused by one lens unit and an image out of focus by the other lens unit (so-called blurred image) are superimposed.
[0268]
At this time, the out-of-focus image is an image with little variation in the amount of received light in the screen, with almost no information on the subject, by appropriately selecting the aperture and magnification of the lens unit.
[0269]
Considering the above, if an out-of-focus image can be erased by an appropriate method, reproduction of an in-focus image can be realized. If a simple erasing method that can reduce the image improvement processing time (calculation amount / processing capacity) as much as possible, processing can be performed in a short time even within the range of the CPU of the portable information terminal. . Therefore, hereinafter, an erasing method for shortening the processing time as much as possible will be described.
[0270]
First, the basic concept of the defocused image erasing process will be described.
[0271]
<Image for image improvement processing and basic method for erasing>
An image formed by the bifocal lens 21 and in which the in-focus image and the out-of-focus image overlap each other is set as an object of image improvement processing. It is assumed that the defocused image almost completely loses the information of the subject in the screen, and the fluctuation of the output signal level at each position on the screen, that is, for each pixel of the image sensor 24 is small. In this case, an in-focus image can be formed by subtracting the out-of-focus image (the signal value thereof) from the image of the bifocal lens 21. When obtaining the signal value of a defocused image, it may be considered that the average value in the spread range of an arbitrary point on the subject is proportional to the areas of both lens portions 22 and 23.
[0272]
<Method for shortening the erasing time>
First, output signal data (= bitmap data) of the image sensor 24 is compressed by an appropriate method. Here, the data is converted into JPEG data. In JPEG, each pixel is divided and processed in units of 8 × 8 pixels. Therefore, the defocused image erasure is also performed using this division. That is, discrete cosine transform (DCT) for each division unit is executed by JPEG, and an average value of signal levels is obtained using the frequency components. This average value is prorated according to the average light quantity ratio between the in-focus data and the out-of-focus data, and the average value of the out-of-focus image signal is subtracted from the original data, leaving only the in-focus image. Then, a series of processing performed on the divided unit screen of 8 × 8 pixels is repeatedly performed on all unit screens on the surface of the image sensor 24.
[0273]
Next, actual data processing will be described. Here, a practical algorithm will be described assuming that a defocused image erasure process is also included in the execution process of the JPEG compression process.
[0274]
<DCT processing>
As described above, the signal level of each pixel in the unit screen divided by 8 × 8 pixels as a unit is S._xy(X and y indicate the position coordinates in the unit screen of 8 × 8 pixels and take values of 0 to 7, respectively)._xyThe signal level of each spatial frequency component obtained by DCT processing of^F _uv(U and v indicate spatial frequencies, and take values of 0 to 7, respectively). Then, the following equation (5-1) is established.
[0275]

[0276]
Where Σ_xRepresents the sum of x = 0 to 7 and Σ_yIndicates the sum of y = 0-7. C_u, C_vTakes a value represented by the following equation (5-2).
[0277]

[0278]
On the other hand, the DCT inverse transform is represented by the following equation (5-3).
[0279]

[0280]
Where Σ_uIndicates the sum of u = 0 to 7 and Σ_vIndicates the sum of v = 0-7. However, in practice, S is not zero due to the quantization process.^F _uvThe number of is much less than 64, and is considered to be about 10.
[0281]
<Defocused image deletion processing>
Here, the signal level S in the unit screen divided into 8 × 8 pixels using the equation (5-3)._xyWhen the sum Ssum of is obtained, the following equation (5-4) is obtained.
[0282]

[0283]
Where Π_mIndicates the product of m = 1 to 4, and Π_nIndicates a product of n = 1 to 4, but except for u = 0 and v = 0, the Σ symbol (or Π symbol) is zero, so Ssum is finally expressed by the above equation (5-4). ) 8S as shown at the end of the right side^F ₀₀become. Therefore, the signal level S of each pixel_xyThe average value Smean of can be expressed as follows.
[0284]
Smean = Ssum / 64 = S^F ₀₀/ 8
[0285]
Sp signal after erasure processing of defocused image_xyIn addition, since the ratio of the amount of light passing through the lens portion on the side that generates the defocused image is determined by the proportional ratio of the aperture areas of both lens portions 22 and 23, when the ratio to the total amount of light is ρ, (5-5) is established.
[0286]
Sp_xy= S_xy-Ρ × Smean (5-5)
[0287]
When the above equation (5-5) is substituted into the equation (5-1), the following equation (5-6) is obtained.
[0288]

[0289]
Here, if it puts like following Formula (5-7), Formula (5-8) and Formula (5-9) will be obtained.
[0290]
Sp^F _uv= S^F _uv-C_uv      ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ （5-7）
[0291]

[0292]

[0293]
In the above formula (5-9), Π_mIndicates the product of m = 1 to 4, and Π_nIndicates a product of n = 1 to 4, but except for u = 0 and v = 0, the Σ symbol (or Π symbol) is zero, and as a result, as in the following equation (5-10) Become.
[0294]

[0295]
Therefore, the signal Sp after the erasure process^F _uvAnd the signal S before processing^F _uvFrom the formula (5-7) and the formula (5-10), the relationship with is as follows.
[0296]

[0297]
As described above, in the defocused image erasing process, the erasing process is completed if the value of only the component of the spatial frequency zero in the DCT is multiplied by (1−ρ). The series of processing described above is processing within a unit screen of 8 × 8 pixels, but this processing may be executed by the number of unit screens divided and formed on the image sensor 24.
[0298]
In the fifth embodiment, the image modification processing device 530 improves the quality of the image obtained by imaging the subject using the bifocal lens 21 as follows.
[0299]
First, the subject is imaged by the imaging mechanism 20. At this time, light emitted from the subject passes through the lens portions 22 and 23 of the bifocal lens 21 and reaches the image sensor 24. Then, output signal data corresponding to the number of pixels is extracted from the image pickup device 24 that has received light from the subject, is taken into the image modification processing device 530, and is stored in the output signal storage unit 531.
[0300]
Subsequently, the DCT processing unit 532 reads the data for the unit screen of 8 × 8 pixels from the image data stored in the output signal storage unit 531, and performs DCT processing calculation based on the above equation (5-1). Signal level S corresponding to frequency^F _uvAsk for. At this time, since the value stored in the cosine value storage means 536 is used for the value of cos (cosine) in the equation (5-1), the calculation is not performed each time.
[0301]
Next, the out-of-focus image erasing processing unit 533 performs S^F ₀₀The value obtained by multiplying the value of (u = 0, v = 0) by the ratio (1-ρ) of the area of the lens part that forms an in-focus image to the entire area of the bifocal lens 21 is the new S^F ₀₀The process is performed. In other words, the signal Sp after the erasing process is obtained by the above equation (5-10).^F _uvAnd the signal S before processing^F _uvIs different only when u = v = 0.^F ₀₀If only (1−ρ) is multiplied, bokeh image erasure processing is completed.
[0302]
After that, each process by the DCT processing unit 532 and the out-of-focus image erasing processing unit 533 is performed.^F _uvWhen JPEG normal processing such as processing by the quantization processing means 534 is performed, S^F _uvSince it becomes almost zero for higher-order u and v, the amount of data is greatly compressed.
[0303]
Further, the S thus obtained is obtained.^F _uvAre stored in the memory by the encoding processing means 535 in a set with the number of zero elements so far in order of increasing u + v (JPEG processing).
[0304]
Then, the above series of processing by the DCT processing unit 532, the defocused image erasing processing unit 533, the quantization processing unit 534, and the encoding processing unit 535 is repeated for all unit screens on the image sensor 24 (JPEG format). processing). With these processes, it is possible to obtain a JPEG file of an image from which a defocused image has been deleted.
[0305]
According to such 5th Embodiment, there exist the following effects. That is, the process by the defocused image erasure processing unit 533 is the S obtained by performing the DCT process.^F _uvComponent S of zero^F ₀₀Multiply only the value of (1−ρ) and the value obtained by this multiplication is a new S^F ₀₀Since the remaining processing is the same as the normal JPEG image compression processing, a series of processing can be executed with a small amount of calculation.
[0306]
In other words, by using a JPEG compression method mainly consisting of DCT, it is possible to easily incorporate a defocused image erasure process in the middle of the process. It can be performed.
[0307]
For this reason, in a short time, it is possible to erase a blurred image and obtain a focused image to improve the quality of the image and to reduce the amount of calculation. Even a CPU having a capability of being mounted on a portable information terminal device such as an information terminal can be executed in a short time. Therefore, if the present invention is applied to a portable information terminal device including the bifocal lens 21, the usability and performance of the information terminal device can be improved.
[0308]
[Sixth Embodiment]
FIG. 12 shows an overall configuration of an imaging system 600 including an image modification processing device 630 according to the sixth embodiment of the present invention. Since the imaging system 600 is different only in the configuration of the imaging system 10 of the first embodiment and the image modification processing device 630, the same parts are denoted by the same reference numerals, detailed description thereof is omitted, and the following is different. Only the part will be described.
[0309]
In FIG. 12, an imaging system 600 includes an imaging mechanism 20 that captures an image of an object, an image modification processing device 630 that improves the quality of an image captured by the imaging mechanism 20, and a quality that is improved by the image modification processing device 630. Display means 40 for displaying the improved image. Among these, the configurations of the imaging mechanism 20 and the display means 40 are the same as those in the first embodiment.
[0310]
The image modification processing device 630 includes an output signal storage unit 631, a moving average calculation unit 632, and an image correction unit 633.
[0311]
The output signal storage unit 631 extracts and stores the output signal value Z (h, k) of each element of the image obtained by imaging the subject with the bifocal lens 21 from the imaging device 24.
[0312]
The moving average calculation means 632 calculates each output signal value in the unit screen F of Q pixels × Q pixels centered on coordinates (h, k) as shown in FIG. 13 based on the following equation (6-1). A process of calculating an average value Zmean (h, k) of Z (h, k) is performed. Since the Q pixel × Q pixel unit screen F moves with the movement of the output signal value Z (h, k) to be processed, Zmean (h, k) is a moving average value.
[0313]

[0314]
Here, Q is an odd natural number of 3 or more, h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N, x and y are integers, (1-Q) / 2 ≦ x ≦ (Q−1) / 2, (1−Q) / 2 ≦ y ≦ (Q−1) / 2, and Σ_xIs the sum of x = (1-Q) / 2 to (Q-1) / 2, Σ_yIs the sum of y = (1-Q) / 2 to (Q-1) / 2.
[0315]
The image correcting unit 633 performs image modification processing on Z (h, k) based on the following equation (6-2) using the moving average value Zmean (h, k) calculated by the moving average calculating unit 632. The signal value Znew (h, k) obtained in this way is calculated. This process is equivalent to subtracting the defocused signal and then returning the subtracted signal to the original signal level.
[0316]

[0317]
Here, c is a proportional coefficient, which is a value of the ratio of the area of the lens part that forms an in-focus image to the entire area of the bifocal lens 21, k is a normalization coefficient, and Znew (h, This is a value for setting the maximum value of k) to 1. If the split ratio of the amount of light does not coincide with the area ratio of the lens, the value of c is not determined by the area ratio but actually passes through the focused lens portion of the bifocal lens 21. The ratio between the amount of light reaching the image sensor 24 or the signal amount of the image sensor 24 and the amount of light passing through the entire bifocal lens 21 and actually reaching the image sensor 24 or the signal amount of the image sensor 24 It may be obtained as a value.
[0318]
The output signal storage unit 631 is realized by a RAM, a hard disk, or the like.
[0319]
The moving average calculation means 632 and the image correction means 633 may be realized by a central processing unit (CPU) and one or a plurality of programs that define the operation procedure of the CPU, or may be realized by a digital filter circuit. Good. In the case of the digital filter circuit, since the processing is performed by hardware, the calculation processing time can be further shortened. At this time, the digital filter circuit is constituted by a multiplier circuit, an adder circuit, and the like, and the value multiplied by the multiplier circuit is {− (1−c) / (c × Q²)} And {(1 / c)-(1-c) / (c × Q²)}.
[0320]
In the sixth embodiment as described above, the image modification processing device 630 improves the quality of the image obtained by imaging the subject using the bifocal lens 21 as follows.
[0321]
First, the output signal value Z (h, k) of each element of the image obtained by imaging the subject is stored in the output signal storage means 631.
[0322]
Next, the unit screen F of Q pixels × Q pixels centered on the coordinates (h, k) based on the equation (6-1) for Z (h, k) to be processed by the moving average calculation means 632. The average value Zmean (h, k) of each output signal value Z (h, k) is calculated.
[0323]
Subsequently, using the moving average value Zmean (h, k) calculated by the moving average calculating unit 632, the image correcting unit 633 converts Z (h, k) into an image modification process based on the equation (6-2). The signal value Znew (h, k) obtained in this way is calculated. Note that the processing by the moving average calculation unit 632 based on the equation (6-1) and the processing by the image correction unit 633 based on the equation (6-2) may be integrally performed by one equation.
[0324]
Then, the above processing is repeated for each output signal value Z (h, k). At this time, as the Z (h, k) moves, the Q pixel × Q pixel unit screen F to be averaged also moves, so that Zmean (h, k) takes a moving average value. become.
[0325]
Thereafter, using the obtained value of Znew (h, k), the subject to be imaged is displayed on the screen of the display means 40. If necessary, the subject may be printed by an output unit such as a printer (not shown).
[0326]
According to the sixth embodiment, there are the following effects. That is, since the image correction unit 633 performs processing, it is possible to remove the defocused image, thereby improving the image quality.
[0327]
In addition, since it is a simple calculation process that is simply reduced by taking a moving average, the calculation amount is small and the process can be performed in a short time. For this reason, it can be suitably used for a portable information terminal device or the like.
[0328]
[Deformation form]
Note that the present invention is not limited to the above-described embodiments, and modifications and the like within a range in which the object of the present invention can be achieved are included in the present invention.
[0329]
That is, in each of the above embodiments, the bifocal lens 21 constituting the imaging mechanism 20 has the long focal lens portion 22 disposed on the inner side and the short focal lens portion 23 disposed on the outer side. The target of the quality processing is not limited to the image captured by the bifocal lens having such an arrangement. For example, the reverse arrangement, that is, the short focus lens unit is disposed inside, and the long focus lens unit is disposed outside. May be an image by a bifocal lens in which is arranged.
[0330]
In each of the above embodiments, the long focus lens portion 22 and the short focus lens portion 23 constituting the bifocal lens 21 are arranged concentrically, but the present invention is not limited to this, and the focus in the present invention is not limited. The one lens part that forms an image with a good image and the other lens part that forms an image that is out of focus may or may not be arranged concentrically.
[0331]
In the first embodiment, the case where the out-of-focus image is formed by the lens unit arranged on the outer side has been described. However, in the present invention, the out-of-focus image is formed by the lens unit arranged on the inner side. Can also be applied. In this case, the out-of-focus image is not in a ring shape, but in a shape such as a circle, an ellipse, or a polygon according to the front shape of the lens unit disposed inside.
[0332]
Further, in the first embodiment, the case where the defocused image is formed by the short focus lens unit has been described. However, the present invention can also be applied to the case where the defocused image is formed by the long focus lens unit. it can. In this case, the subject is, for example, a close subject such as a two-dimensional barcode, an iris, or a character.
[0333]
In the description of the fifth embodiment, information on the subject is almost completely lost in the defocused image screen, and the amount of received light on the screen, that is, the fluctuation of the output signal level for each pixel of the image sensor 24 can be ignored. However, this condition is not always necessary, and the present invention can be suitably applied as long as there is no variation in the output signal level for each pixel in the range of the unit screen when performing JPEG processing.
[0334]
【The invention's effect】
As described above, according to the present invention, a convolution operation is performed using the convolution operation matrix Q, a defocused image is erased using a JPEG process or a process similar thereto, or a moving average is performed. Since the process of reducing the signal for defocusing is performed, the quality of the image captured by the bifocal lens can be improved in a short time, and it is at a standard distance without using a focusing mechanism. There is an effect that a clear image can be obtained for both a normal subject and a close subject closer than this.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an imaging system including an image modification processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a detailed configuration diagram of a bifocal lens that forms an image to be processed by the image modification processing apparatus of the first embodiment.
FIG. 3 is an explanatory diagram of a relationship between a subject in the first embodiment and an image obtained by imaging the subject with a bifocal lens.
FIG. 4 is an explanatory diagram of a convolution operation matrix W according to the first embodiment.
FIG. 5 is an explanatory diagram of a conversion giant matrix (cU + Δ) according to the first embodiment.
FIG. 6 is an explanatory diagram of a giant inverse matrix T according to the first embodiment.
FIG. 7 is an explanatory diagram of a convolution operation matrix Q according to the first embodiment.
FIG. 8 is an overall configuration diagram of an imaging system including an image modification processing device according to a second embodiment of the present invention.
FIG. 9 is an overall configuration diagram of an imaging system including an image modification processing apparatus according to a third embodiment of the present invention.
FIG. 10 is a detailed configuration diagram of a digital filter circuit constituting a part of an image modification processing apparatus according to a fourth embodiment of the present invention.
FIG. 11 is an overall configuration diagram of an imaging system including an image modification processing device according to a fifth embodiment of the present invention.
FIG. 12 is an overall configuration diagram of an imaging system including an image modification processing device according to a sixth embodiment of the present invention.
FIG. 13 is an explanatory diagram of a process for taking a moving average in the sixth embodiment.
[Explanation of symbols]
21 Bifocal lens
22 Long focal length lens section corresponding to one or the other lens section
23 Short-focus lens part corresponding to one or the other lens part
24 Image sensor
30, 230, 330, 430, 530, 630 Image modification processing apparatus
32, 232, 332 Convolution calculation matrix storage means
33, 233, 333 Reproduction calculation means
234,334 Shading correction matrix storage means
235, 335 Shading correction means
401-409 multiplication circuit
411-418 Adder circuit
421 to 428 delay circuit
433 Digital filter circuit as reproduction calculation means
531 Output signal storage means
532 Discrete cosine transform processing means (DCT processing means)
533 Defocused image erasing processing means
534 Quantization processing means
535 Encoding processing means
632 Moving average calculation means
633 Image correction means
E, H Matrix part containing non-zero elements
M Number of pixels in the vertical direction of the image sensor
N Number of pixels in the horizontal direction of the image sensor
Q convolution matrix
Φ Shading correction matrix

Claims (9)

An image modification for obtaining an in-focus image from an image in which an in-focus image formed by one lens portion constituting a bifocal lens overlaps an in-focus image formed by the other lens portion. A quality treatment method,
The size of the image sensor is M pixels × N pixels, the matrix of M rows and N columns indicating the brightness of light emitted from the subject is A, and an output signal of an image obtained by imaging the subject with the bifocal lens When the matrix of M rows and N columns indicating
The value of the matrix part including at least a non-zero element among the values of each element Q (x, y) of the (2M-1) row (2N-1) column convolution arithmetic matrix Q for performing the convolution operation processing is expressed by the following equation. Pre-calculated based on (1) and stored in the convolution matrix storage means;
When the subject is imaged by the bifocal lens, at least a part of the values of each element Q (x, y) stored in the convolution calculation matrix storage means and the output signal of the image by the reproduction calculation means The value of each element A (s, t) of the matrix A of the subject is calculated based on the following equation (2) using the value of each element Z (h, k) of the matrix Z: Modification processing method.
Q (x, y) = 1 / c- (W (0,0) -c) / ^cpower
(When x = 0, y = 0)
= -W (x, y) / c ^power
(When other than x = 0, y = 0)
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ （1）
A (s, t) = Σ _h Σ _k Q (s−h, tk) Z (h, k)
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ (2)
here,
x and y are integers, (1-M) ≦ x ≦ (M−1), (1-N) ≦ y ≦ (N−1),
s and t are natural numbers, 1 ≦ s ≦ M, 1 ≦ t ≦ N,
h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N,
W (x, y) is the value of each element of the matrix W of (2M-1) rows (2N-1) columns, and this matrix W is 1 indicated by coordinates (m, n) excluding the ends. A matrix Zmn of M rows and N columns indicating an output signal of an image formed by the one and the other lens unit when an object having a bright spot only at a point is imaged by the bifocal lens is expressed as x = hm , By coordinate conversion from coordinates (h, k) satisfying y = k−n to coordinates (x, y), by parallel translation so that W (0, 0) = Zmn (m, n), A matrix portion including non-zero elements of Zmn (h, k) is disposed in the central portion of the matrix W, and an outer portion of the matrix portion including the non-zero elements disposed in the central portion is defined as a zero element. Composed by filling,
c is a proportional coefficient, which is a value of the ratio of the area of the one lens part to the entire area of the bifocal lens;
power is a real number that is a power of c, and 1 ≦ power ≦ 2.
Σ _h is the sum of h = 1~M, Σ _k is the sum of k = 1~N. The image modification processing method according to claim 1,
For each element Φ (s, t) of the M-row N-column shading correction matrix Φ for correcting the influence of shading that reduces the amount of light received at the periphery of the image due to the non-uniform incidence angle of light on the bifocal lens. The value is stored in the shading correction matrix storage means,
After the processing by the reproduction calculating means, the value of each element Φ (s, t) stored in the shading correction matrix storage means and each element A (s, t) of the subject matrix A are processed by the shading correction means. ) To calculate each element A ^sh (s, t) of the subject matrix A ^sh that has been subjected to shading correction based on the following equation (3) using the value of
A ^sh (s, t) = A (s, t) × Φ (s, t) (3)
Here, s and t are natural numbers, and 1 ≦ s ≦ M and 1 ≦ t ≦ N. The image modification processing method according to claim 1,
For each element Φ (h, k) of the M-by-N shading correction matrix Φ for correcting the influence of shading that reduces the amount of light received at the periphery of the image due to the non-uniform incidence angle of light on the bifocal lens. The value is stored in the shading correction matrix storage means,
Before performing the processing by the reproduction calculating means, the value of each element Φ (h, k) stored in the shading correction matrix storage means and each element Z ( Each element Z ^sh (h, k) of the matrix Z ^sh of the output signal of the image subjected to the shading correction based on the following equation (4) using the value of h, k) is calculated, and the obtained Z ^sh An image modification processing method, wherein a value of (h, k) is used as a new Z (h, k) for processing by the reproduction calculation means based on the equation (2).
Z ^sh (h, k) = Z (h, k) × Φ (h, k) (4)
Here, h and k are natural numbers, and 1 ≦ h ≦ M and 1 ≦ k ≦ N. In the image modification processing method according to any one of claims 1 to 3,
The processing by the reproduction calculation means based on the equation (2) is performed by a digital filter circuit,
The digital filter circuit includes a plurality of multiplication circuits that multiply the value of each element Z (h, k) of the matrix Z of the output signal of the image by the value of each element Q (x, y) of the convolution matrix Q. A plurality of addition circuits for adding the output signals from these multiplication circuits, and a plurality of delay circuits for adjusting the speed of the signal flow of each element Z (h, k) sequentially input. An image modification processing method characterized by comprising: An image modification for obtaining an in-focus image from an image in which an in-focus image formed by one lens portion constituting a bifocal lens overlaps with an in-focus image formed by the other lens portion. Quality processing equipment,
The size of the image sensor is M pixels × N pixels, the matrix of M rows and N columns indicating the brightness of light emitted from the subject is A, and an output signal of an image obtained by imaging the subject with the bifocal lens When the matrix of M rows and N columns indicating
At least non-zero among the values of each element Q (x, y) of the (2M-1) row (2N-1) column convolution calculation matrix Q for performing the convolution calculation processing calculated based on the following equation (5) A convolution matrix storage means for storing values of matrix parts including elements;
Using at least a part of the values of each element Q (x, y) stored in the convolution calculation matrix storage means and the value of each element Z (h, k) of the matrix Z of the output signal of the image. An image modification processing apparatus comprising: a reproduction calculation unit that calculates a value of each element A (s, t) of the matrix A of the subject based on the following equation (6).
Q (x, y) = 1 / c- (W (0,0) -c) / ^cpower
(When x = 0, y = 0)
= -W (x, y) / c ^power
(When other than x = 0, y = 0)
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ （5）
A (s, t) = Σ _h Σ _k Q (s−h, tk) Z (h, k)
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ （6）
here,
x and y are integers, (1-M) ≦ x ≦ (M−1), (1-N) ≦ y ≦ (N−1),
s and t are natural numbers, 1 ≦ s ≦ M, 1 ≦ t ≦ N,
h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N,
W (x, y) is the value of each element of the matrix W of (2M-1) rows (2N-1) columns, and this matrix W is 1 indicated by coordinates (m, n) excluding the ends. A matrix Zmn of M rows and N columns indicating an output signal of an image formed by the one and the other lens unit when an object having a bright spot only at a point is imaged by the bifocal lens is expressed as x = hm , By coordinate conversion from coordinates (h, k) satisfying y = k−n to coordinates (x, y), by parallel translation so that W (0, 0) = Zmn (m, n), A matrix portion including non-zero elements of Zmn (h, k) is disposed in the central portion of the matrix W, and an outer portion of the matrix portion including the non-zero elements disposed in the central portion is defined as a zero element. Composed by filling,
c is a proportional coefficient, which is a value of the ratio of the area of the one lens part to the entire area of the bifocal lens;
power is a real number that is a power of c, and 1 ≦ power ≦ 2.
Σ _h is the sum of h = 1~M, Σ _k is the sum of k = 1~N. The image modification processing apparatus according to claim 5,
For each element Φ (s, t) of the M-row N-column shading correction matrix Φ for correcting the influence of shading that reduces the amount of light received at the periphery of the image due to the non-uniform incidence angle of light on the bifocal lens Shading correction matrix storage means for storing values;
The value of each element Φ (s, t) stored in the shading correction matrix storage means and the value of each element A (s, t) of the subject matrix A obtained by performing the processing by the reproduction calculation means And a shading correction means for calculating each element A ^sh (s, t) of the matrix A ^sh of the subject subjected to the shading correction based on the following equation (7) using: apparatus.
A ^sh (s, t) = A (s, t) × Φ (s, t) (7)
Here, s and t are natural numbers, and 1 ≦ s ≦ M and 1 ≦ t ≦ N. The image modification processing apparatus according to claim 5,
Each element Φ (h, k) of the M-row N-column shading correction matrix Φ for correcting the influence of shading that reduces the amount of light received at the periphery of the image due to the nonuniformity of the incident angle of light to the bifocal lens. Shading correction matrix storage means for storing values;
Using the value of each element Φ (h, k) stored in the shading correction matrix storage means and the value of each element Z (h, k) of the matrix Z of the image output signal, the following equation (8) is obtained. based each element Z ^sh (h, k) of the matrix Z ^sh of the output signal of the image subjected to shading correction is calculated, and the resulting Z ^sh (h, k) values a new Z of (h, k) An image modification processing apparatus comprising: a shading correction unit configured to be used for processing by the reproduction calculation unit based on the formula (6).
Z ^sh (h, k) = Z (h, k) × Φ (h, k) (8)
Here, h and k are natural numbers, and 1 ≦ h ≦ M and 1 ≦ k ≦ N. In the image modification processing apparatus according to any one of claims 5 to 7,
The reproduction calculation means is constituted by a digital filter circuit that performs calculation processing based on the equation (6),
The digital filter circuit includes a plurality of multiplication circuits that multiply the value of each element Z (h, k) of the matrix Z of the output signal of the image by the value of each element Q (x, y) of the convolution matrix Q. A plurality of addition circuits for adding the output signals from these multiplication circuits, and a plurality of delay circuits for adjusting the speed of the signal flow of each element Z (h, k) sequentially input. An image modification processing apparatus characterized by comprising: An image modification for obtaining an in-focus image from an image in which an in-focus image formed by one lens portion constituting a bifocal lens overlaps an in-focus image formed by the other lens portion. A program for causing a computer to function as a quality processing device,
The size of the image sensor is M pixels × N pixels, the matrix of M rows and N columns indicating the brightness of light emitted from the subject is A, and an output signal of an image obtained by imaging the subject with the bifocal lens When the matrix of M rows and N columns indicating
At least non-zero among the values of each element Q (x, y) of the (2M-1) row (2N-1) column convolution calculation matrix Q for performing the convolution calculation processing calculated based on the following equation (9): A convolution matrix storage means for storing values of matrix parts including elements;
Using at least a part of the values of each element Q (x, y) stored in the convolution calculation matrix storage means and the value of each element Z (h, k) of the matrix Z of the output signal of the image. In order to cause a computer to function as an image modification processing apparatus, comprising: a reproduction calculation unit that calculates a value of each element A (s, t) of the subject matrix A based on the following equation (10): Program.
Q (x, y) = 1 / c- (W (0,0) -c) / ^cpower
(When x = 0, y = 0)
= -W (x, y) / c ^power
(When other than x = 0, y = 0)
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ (9)
A (s, t) = Σ _h Σ _k Q (s−h, tk) Z (h, k)
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ （10）
here,
x and y are integers, (1-M) ≦ x ≦ (M−1), (1-N) ≦ y ≦ (N−1),
s and t are natural numbers, 1 ≦ s ≦ M, 1 ≦ t ≦ N,
h and k are natural numbers, 1 ≦ h ≦ M, 1 ≦ k ≦ N,
W (x, y) is the value of each element of the matrix W of (2M-1) rows (2N-1) columns, and this matrix W is 1 indicated by coordinates (m, n) excluding the ends. A matrix Zmn of M rows and N columns indicating an output signal of an image formed by the one and the other lens unit when an object having a bright spot only at a point is imaged by the bifocal lens is expressed as x = hm , By coordinate conversion from coordinates (h, k) satisfying y = k−n to coordinates (x, y), by parallel translation so that W (0, 0) = Zmn (m, n), A matrix portion including non-zero elements of Zmn (h, k) is disposed in the central portion of the matrix W, and an outer portion of the matrix portion including the non-zero elements disposed in the central portion is defined as a zero element. Composed by filling,
c is a proportional coefficient, which is a value of the ratio of the area of the one lens part to the entire area of the bifocal lens;
power is a real number that is a power of c, and 1 ≦ power ≦ 2.
Σ _h is the sum of h = 1~M, Σ _k is the sum of k = 1~N.

Images