WO2005017829A1

WO2005017829A1 - 画像改質処理方法およびその装置

Info

Publication number: WO2005017829A1
Application number: PCT/JP2004/002646
Authority: WO
Inventors: Tsutomu Fujita; Katsuhiko Mishima; Jun Sugano; Masatomo Kanegae; Kyotake Uchiumi
Original assignee: Waseda University
Priority date: 2003-08-19
Filing date: 2004-03-03
Publication date: 2005-02-24
Also published as: JP3855079B2; JP2005063323A

Abstract

ぼけの形状が各画素で異なることを考慮した画像改質処理を行うことができ、画像改質効果をより一層高めることができる画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体である。各座標（ｍ，ｎ）についての畳み込み演算行列Ｑm,nの各要素Ｑm,n（ｘ，ｙ）のうち少なくとも非零要素を含む行列部分の値を畳み込み演算行列記憶手段（３２），（３３）に記憶しておき、二焦点レンズ（２１）で被写体を撮像した際に、再生演算手段（３６）により、画像素子（２４）の出力信号Ｚ（ｍ＋ｘ，ｎ＋ｙ）の値と、畳み込み演算行列記憶手段（３２），（３３）に記憶したＱm,n（ｘ，ｙ）とを用いて畳み込み演算処理を行うことにより被写体行列Ａの各要素Ａ（ｍ，ｎ）の値を算出し、ピントの合った画像を求めるようにした。

Description

画像改質処理方法およびその装置技術分野

本発明は、レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理方法およびその装置、プログラム、並びにデータ記録媒明

体に係り、例えば、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが書

重なった画像から、ピントの合った画像を求める画像改質処理、あるいは単焦点レンズのピントのぼけを取り除く画像改質処理などに利用できる。

背景技術

従来より、焦点距離の異なる二つのレンズ部を有する二焦点レンズが遠近両用コンタクトレンズとして使用されている。このような二焦点レンズにより構成されるコンタクトレンズを人間が装着した場合には、二つの各レンズ部により形成されるピントの合った画像とピントの合わない画像（いわゆるピンぼけ画像）とを人間が無意識のうちに選択し、ピントの合った画像のみを見るようにしていると考えられる。

ところで、このような二焦点レンズを、例えば携帯電話機や携帯情報端末等の情報端末装置に設ければ、焦点深度下限（例えば、 0 . 3 m) から無限遠までの標準的な距離にある通常の被写体（例えば、人物や風景等）を、長い焦点距離を有する長焦点レンズ部により撮像し、一方、それよりも近い距離に配置された近接被写体（例えば、 2次元パーコードや虹彩や文字等）を、短い焦点距離を有する短焦点レンズ部により撮像することにより、それぞれ高い解像度の画像を得ることができる。そして、このよ!)な二焦点レンズを備えた情報端末装置は、本願の発明者により、既に開発されている（特開 2002— 123825号公報（段落 [0007] 、 [0008] 、 [0027] 、 [0042] 、図 3、要約）参照）。

し力し、二焦点レンズを備えた情報端末装置では、例えば液晶シャツタ等の光学シャツタをニ焦点レンズと撮像素子との間に設けることにより長焦点レンズ部と短焦点レンズ部とを切替可能な構成とした場合等には、コントラストの髙い画像を得ることができるものの、そのようなレンズ部の切替を行わない場合には、二つの各レンズ部により形成されるピントの合った画像とピントの合わない画像とが重なってしまうため、画像が不鮮明になるという問題がある。

この際、前述したように二焦点レンズを使用した遠近両用コンタクトレンズを人間が装着した場合には、ピントの合った画像とピントの合わない画像とを人間が無意識のうちに選択し、ピントの合った画像のみを見るようにしていると考えられるが、このような人間の脳内における画像の選択処理と類似の処理を、通常の携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度の性能を有する中央演算処理装置（CPU) により短時間で実行できれば、情報端末装置の使い勝手や性能の向上を図ることができ、しかも低コストで実現できるので便利である。

また、このような処理を行うことができれば、携帯電話機や携帯情報端末等の携帯型の情報端末装置に二焦点レンズを設けた場合に限らず、広く一般的に二焦点レンズによる撮像を行う場合、例えば、パーソナル ' コンピュータに二焦点レンズを有するカメラを接続した場合や、監視カメラとして二焦点レンズを用いる場合等においても、画像の質の改善が図られるため好都合である。

そこで、本願の発明者により、二焦点レンズで撮像された画像の質を短時間の処理で改善することができ、ピント合わせ機構を用いることなく、標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれもについても鮮明な画像を得ることができる画像改質処理装置が既に提案されている（特願 2 0 0 3— 3 1 7 3 4号参照）。

ところで、前述した特願 2 0 0 3 - 3 1 7 3 4号で提案されている画像改質処理装置では、全ての画素で同じ形状のぼけが発生すると仮定し、画像改質処理を行っている。すなわち、被写体の任意の 1点から出た光が二焦点レンズの作用により撮像素子上で拡がる状態（ぼけの形状）は、被写体の別の 1点から出た光が二焦点レンズの作用により撮像素子上で拡がる状態（ぼけの形状）と同じであると仮定している。

し力し、実際の二焦点レンズによる撮像では、全ての画素で完全に同じ形状のぼけとなることはない。従って、より画像改質効果を高めるためには、各画素で異なる形状のぼけが発生することを考慮した処理を行う必要がある。

また、二焦点レンズによる撮像を行う場合のみならず、単焦点レンズによる撮像を行う場合であっても、全ての画素について完全にピントが合うことはなく、ピンぼけを生じる画素があり、しかも各画素でのぼけの形状は、異なっているのが通常である。従って、このような単焦点レンズによるピントのぼけを取り除くことができれば便利である。

本発明の目的は、ぼけの形状が各画素で異なることを考慮した画像改質処理を行うことができ、画像改質効果をより一層高めることができる画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体を提供するところにある。発明の開示

本発明は、レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理方法であって、撮像素子の大きさを M画素 X N画素とし、被写体の発する光の明るさを示す M行 N列の行列を Aとし、被写体をレンズにより撮像して得られた画像の出力信号を示す M行 N列の行列を Zとし、被写体座標系の 1点（m， n ) から出た光の結像位置が画像座標系の 1点（m， n ) となるように被写体座標系およぴ画像座標系を設定したとき、畳み込み演算処理を行うための座標 (m, n) についての（2M—1) 行（2N—1) 列の畳み込み演算行列 Q_m, _nの各要素 Q_ra, _n (x, y) の値のうち少なくとも非零要素を含む行列部分の値を、各座標 (m, n) の全部または一部について、下式（A—1) に基づき予め算出して畳み込み演算行列記憶手段に記憶しておき、被写体をレンズにより撮像した際に、再生演算手段により、畳み込み演算行列記憶手段に記憶された各要素 Q_m, _n (x, y) のうちの少なくとも一部の値と画像の出力信号の行列 Zの各要素 Z (m+x, n + y) の値とを用いて下式（A— 2) に基づき被写体の行列 Aの各要素 A (m, n) の値を算出することを特徴とするものである。

Q_m, _n ( , y) = 1 /W_{m> n} (0， 0)

(x = 0, y = 0の場合）

= _W_m, _n (- X , 一 y) /W_m, _n (0， 0) ^power

(x = 0, y = 0以外の場合）

(A— 1)

A (m, n) =∑_x∑_yQ_m, _n (x, y) Z (m+x, n + y)

(A- 2) ここで、 xおよび yは整数で、（1— M) ≤x≤ (M- 1) 、 (1 -N) ≤y ≤ (N- 1) であり、 mおよび nは自然数で、 l≤m≤M、 l≤n≤Nであり、 W_m, _n (x, y) は、（2M— 1) 行（2N— 1) 列の行列 W_m, _nの各要素の値であり、この行列 W_m, _nは、被写体の 1点（m, n) から出た光がレンズの作用により撮像素子上で拡がる状態を示すボイント 'スプレッド ' ファンクション行列であり、 W_m, _n (0, 0) は、拡がりの中心部分に位置する画素の出力信号の値であり、 W_m, _n (— x， -y) は、周囲のぼけ部分に位置する画素の出力信号の値であり、 p owe rは、 W_m, _n (0, 0) のべき乗数となる実数で、 l≤p owe r≤ 2であり、 ∑_xは、 x= ( 1— M) 〜（M— 1 ) の和であり、 ∑_yは、 y= ( 1 -N) 〜（N— 1) の和である。

また、「レンズ」は、二焦点レンズでもよく、単焦点レンズでもよい。さらに、「撮像素子」としては、具体的には、例えば、相補性金属酸化膜半導体 (CMOS ： Complementary Metal-oxide Semiconductor) や電荷結合素子 ( CCD： Charge Coupled Device) 等を探用することができる。

そして、 p owe rの値は、 W_m, _n (0, 0) の値に応じて決定すればよい。この際、 W_m, _n (0, 0) の値が、 0. 5近傍（0. 5を含む。以下、同様）のときには、 p owe rの値を 2以外の値とする必要がある。より具体的には、 W m, _n (0， 0) の値が、 0. 5近傍のときには、 p owe rの値を 1以上 2未満 ' とし、より好ましくは 1とする。一方、 W_m, _n (0, 0) の値が、 0. 5近傍以外のときには、 1以上 2以下とする。以下の発明においても、同様である。

また、「各座標（m, n) の全部または一部について」とは、畳み込み演算行列記憶手段に記憶させておく畳み込み演算行列 Q_m, _nは、全ての座標（m， n) についての畳み込み演算行列 Q_m, _nでもよく、一部の座標（m， n) についての畳み込み演算行列 Q_m, _nのみでもよい趣旨である。但し、一部の座標（m, n) についての畳み込み演算行列 Q_m, _nのみを記憶させる場合は、その記憶させる一部の座標（m, n) についての畳み込み演算行列 Q_m, _nに基づき、計算により全ての座標（m, n) についての畳み込み演算行列 Q_m, _nを求めることができることが前提となる。

さらに、「（2M— 1) 行（2N— 1) 列の畳み込み演算行列 Q_m, _nの各要素

Q_m, _n (χ， y) の値のうち少なくとも非零要素を含む行列部分の値」とは、座標（m， n) についての畳み込み演算行列 Q_m, _nを畳み込み演算行列記憶手段に記憶させる際には、（2M—1) X (2N- 1) 個の全ての要素の値を記憶させておく必要はなく、非零要素を含む行列部分の値を記憶させておけばよい趣旨である。なお、前述した如く、式（A— 2) において、 ∑_xは、 x= ( 1 -M) 〜 (M— 1) の和であり、 ∑_yは、 y= ( 1 -N) 〜（N— 1) の和であると説明されているが、これは、畳み込み演算行列記憶手段に（2M— 1) 行（2N— 1 ) 列の畳み込み演算行列 Q_m,。の各要素 Q_m, _η (χ, y) の値を全て記憶させた場合の処理を意味し、一部分の値（非零要素を含む行列部分の値）のみを記憶させた場合には、その記憶させた分についての和とすればよい。以下の発明においても同様である。

このような本発明の画像改質処理方法においては、被写体をレンズにより撮像した際に、再生演算手段により、畳み込み演算行列記憶手段に記憶された畳み込み演算行列 Q_m, _nの各要素 Q_m, _η (χ, y) のうちの少なくとも一部の値と、撮像して得られた画像の出力信号の行列 Zの各要素 Z (m+x, n + y) の値とを用い、前記式（A— 2) に基づき被写体の行列 Aの各要素 A (m, n) の値を算出する。

この際、再生演算手段による演算処理は、前記式（A_ l) に基づき予め算出されて畳み込み演算行列記憶手段に記憶された畳み込み演算行列 Q_m, _nの各要素 Q_{m> n} (x, y) の値を用いて行われるので、 MX N行 MX N列の巨大逆変換行列 Tg— ¹を用いて演算処理を行う場合に比べ、非常に少ない計算量で、被写体の行列 Aの各要素 A (m， n) の値を算出することが可能となる。

つまり、被写体の行列 Aの要素数は、 MX N個であり、画像の出力信号の行列 Zの要素数も、 MX N個である。従って、被写体の行列 Aの各要素に対応する各座標から出た光が、画像の出力信号の行列 Zの各要素に対応する画素に影響を与えるものと考えると、この対応関係（被写体の行列 Aの各要素の値から画像の出力信号の行列 Zの各要素の値を導く関係）は、 MX N行 MX N列の巨大変換行列 T_gを用いて示すことができるので、この MX N行 MX N列の巨大変換行列 T_g の逆行列 T_g一¹を求めることができれば、この巨大逆変換行列丁 ¹を用いて、逆に、画像の出力信号の行列 Zの各要素の値から被写体の行列 Aの各要素の値を導くことができる。し力し、 MXN行 MXN列の巨大逆変換行列 T_g一¹を用いた演算処理は、計算量が多いので、例えば、通常の携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度の性能を有する中央演算処理装置（ CPU) では、短時間での処理が困難であるため、現実的ではない。これに対し、本発明では、再生演算手段による演算処理は、計算量が非常に少ないので、 C P Uに要求される性能の条件が緩和される。従って、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度の C P Uの能力でも短時間の処理で実行することが可能である。このため、携帯型の情報端末装置に本発明を適用すれば、画像改質機能を備えた携帯型の情報端末装置を実現でき、情報端末装置の使い勝手や性能の向上を図ることができるようになる。また、畳み込み演算行列記憶手段には、各座標（m， n ) についての畳み込み演算行列 Q_m, _nが記憶されているので、再生演算手段により、ぼけの形状が各画素で異なることを考慮した画像改質処理を行うことが可能となる。このため、全ての画素で同じ形状のぼけが発生すると仮定した画像改質処理を行う場合に比べ、画像改質効果をより一層高めることができるようになり、これらにより前記目的が達成される。

また、前述した画像改質処理方法において、各座標（m， n ) についての畳み. 込み演算行列 Q_m, _nのうち、光軸位置から一方向に延びる直線上に並ぶ座標についての畳み込み演算行列 Q_m, _nをサンプリング行列として選択し、畳み込み演算行列記憶手段には、サンプリング行列 Q_m, _nの各要素 Q_m, _n ( x， y ) の値のみを記憶させておき、その他の座標についての畳み込み演算行列 Q_m, _nの各要素 Q _m, _n ( x， y ) の値は、畳み込み演算行列回転算出手段により、レンズの軸対称を利用して、サンプリング行列 Q_m, _nの各要素 Q_m, _n ( x , y ) の値の配置を光軸位置を中心として回転させることにより算出することが望ましい。

このように畳み込み演算行列記憶手段にサンプリング行列 Q_m,。のみを記憶させ、その他の畳み込み演算行列 Q_m, _nについてはサンプリング行列 Q_m, _nを回転させて算出するようにした場合には、畳み込み演算行列記憶手段に記憶させるデ一タ量を減らすことが可能となる。

さらに、上記のように畳み込み演算行列記憶手段にサンプリング行列 Q_m, _nのみを記憶させ、その他の畳み込み演算行列 Q_{m> n}についてはサンプリング行列 Q _m, _nを回転させて算出するようにした場合において、畳み込み演算行列回転算出手段によりその他の座標についての畳み込み演算行列 Q_m, _nの各要素 Q_m, _η (χ ， y) の値を算出する際には、サンプリング行列 Q_m, _nの各要素 Q_m, _n (x, y ) の値の配置を回転させたときに、算出対象となる畳み込み演算行列 Q_m, _nの要素 Q_m, _n (χ， y) に対応する第一区画領域の所定位置に重なる回転後のサンプリング行列 Q_m, _nの要素 Q_m, _η (χ, y) に対応する第二区画領域を求め、求めた第二区画領域に対応する要素 Q_m, _n (x, y) の値を、算出対象となる畳み込み演算行列 Q_m, _nの要素 Q_m, _η (χ, _y) の値として採用する力 \ または、第二区画領域の所定位置が重なっている第一区画領域を求め、求めた第一区画領域に対応する要素 Q_m, _n (x, y) の値として、この第一区画領域に所定位置が重なつている第二区画領域に対応する要素 Q_m, _n (x, y) の値を採用することが望ましい。

ここで、「第一区画領域の所定位置」および「第二区画領域の所定位置」は、求める各要素 Q_m, _n (x, y) の値を厳密値に近づけるという観点から、それぞれ第一区画領域の中央位置および第二区画領域の中央位置とすることが好ましい、これに限定されるものではなく、例えば、第一区画領域おょぴ第二区画領域の角部や辺部等であつてもよい。

このように第一区画領域の所定位置に重なる第二区画領域、または第二区画領域の所定位置が重なっている第一区画領域を求め、サンプリング行列 Q_m, _n以外の畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x， y) の値を算出決定するようにした場合には、第一区画領域に重なる各第二区画領域の面積割合に基づき各第二区画領域に対応する各要素 Q_m, _n (x, y) の値を加重平均することにより第一区画領域に対応する要素 Q_m, _n (x, y) の値を厳密に算出する場合（第 1 0図参照）に比べ、処理内容が簡単になり、処理時間の短縮が図られる。

そして、以上に述べた画像改質処理方法において、レンズは、二焦点レンズであり、行列 Zは、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像の出力信号を示す行列であり、ポイント 'スプレッド .ファンクション行列 w_{m> n}は、主として一方のレンズ部の作用により w_m, _n ( 0 , 0 ) の値が定まり、主として他方のレンズ部の作用により W_m, _n ( - X , - y ) の値が定まるようにしてもよい。

ここで、「二焦点レンズ」とは、標準的な距離（焦点深度下限 (例えば、 0 . 3 m) から無限遠までの距離）にある通常の被写体（例えば、人物や風景等）を撮像するための長レ、焦点距離を有する長焦点レンズ部と、標準的な距離にある被写体よりも近距離にある近接被写体（例えば、 2次元バーコ一ドゃ虹彩や文字等 ) を撮像するための短い焦点距離を有する短焦点レンズ部とが、同一の面に一体化されて形成された撮像レンズである。なお、長焦点レンズ部と短焦点レンズ部とを別部材により別々に形成してから一体ィ匕してもよく、あるいは、一つの部材を用いて長焦点レンズ部および短焦点レンズ部を加工して形成してもよい。また、同一の面は、撮像レンズの光軸に直交する面であることが最も好ましい。また、「一方のレンズ部」とは、ピントの合った画像を形成するレンズ部であり、標準的な距離にある通常の被写体を撮像する際には、長焦点レンズ部が該当し、通常の被写体よりも近距離にある近接被写体を撮像する際には、短焦点レンズ部が該当する。これに対し、「他方のレンズ部」とは、ピントのぼけた画像を形成するレンズ部であり、標準的な距離にある通常の被写体を撮像する際には、短焦点レンズ部が該当し、通常の被写体よりも近距離にある近接被写体を撮像する際には、長焦点レンズ部が該当する。

さらに、「二焦点レンズ」を構成する長焦点レンズ部の正面形状（レンズの光軸に沿う方向から見た形状）は、円形、楕円形、または多角形のいずれかであり、短焦点レンズ部の正面形状は、環状であり、短焦点レンズ部は、長焦点レンズ部の外側に配置され、かつ、長焦点レンズ部と同心に配置（各レンズ部の光軸同士が一致する状態で配置）されていることが、構造の簡易化、製造の容易化、質の高い画像の取得の容易化、解読精度の向上等の観点から望ましく、特に、長焦点レンズ部の正面形状を円形とし、短焦点レンズ部の正面形状を円環状とした同心円型構造とすると、極めて好ましい結果が得られる。なお、長焦点レンズ部と短焦点レンズ部との配置関係を逆にし（従って、正面形状を逆にし）、短焦点レンズ部を内側に長焦点レンズ部を外側に配置するようにしてもよい。

そして、「主として一方のレンズ部の作用により W_{m> n} ( 0， 0 ) の値が定まり、主として他方のレンズ部の作用により W_m, _n ( - X , - y ) の値が定まる」という意味は、ピントの合った画像を形成する一方のレンズ部の作用により、多少のぼけが形成され、それが W_m, _n ( - X , - y ) の値に影響することがあり、また、ピントのぼけた画像を形成する他方のレンズ部の正面形状（要するに、ぼけの形状）次第では、他方のレンズ部の作用によるピントのぼけが W_m, _n ( 0， 0 ) の値に影響することがあることを意味する。

このように本発明を二焦点レンズに適用した場合には、二焦点レンズを構成する一方のレンズ部により形成されるピントの合つた画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理を、短時間の処理で実現可能となり、ピント合わせ機構を用いることなく、標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のレヽずれもについても鮮明な画像を得ることができるようになる。また、以上に述べた本発明の画像改質処理方法を実現する画像改質処理装置として、以下のような本発明の画像改質処理装置を挙げることができる。

すなわち、本発明は、レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理装置であって、撮像素子の大きさを M画素 X N画素とし、被写体の発する光の明るさを示す M行 N列の行列を Aとし、被写体をレンズにより撮像して得られた画像の出力信号を示す M行 N列の行列を Zとし、被写体座標系の 1点（m， n ) から出た光の結像位置が画像座標系の 1点（m , n ) となるように被写体座標系および画像座標系を設定したとき、各座標（m ， n) の全部または一部について、下式（B— 1) に基づき算出された畳み込み演算処理を行うための座標（m， n) についての（2M_1) 行（2N—1) 列の畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x, y) の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、この畳み込み演算行列記憶手段に記憶された各要素 Q_m, _n (x， y) のうちの少なくとも一部の値と画像の出力信号の行列 Zの各要素 Z (m+x, n + y) の値とを用いて下式（B_2) に基づき被写体の行列 Aの各要素 A (m, n) の値を算出する再生演算手段とを備えたことを特徴とするものである。

Q_m, _n (χ, y) = 1 /W_m, _n (0, 0)

(x = 0, y = 0の場合）

= -W_{m> n} (— x， -y) ZW_m, _n (0， 0) ^er

(x = 0, y = 0以外の場合）

(B-l)

A (m， n) =∑ _x∑ _y Q_{m n} (x, y ) Z (m+x, n + y)

(B- 2) ここで、 xおよび yは整数で、（1_M) ≤x≤ (M- 1) 、 (1 -N) ≤y ≤ (N- 1) であり、 mおよび nは自然数で、 l≤m≤M、 l≤n≤Nであり、 W_m, _n (x, y) は、（2M—1) 行（2N— 1) 列の行列 W_m, _nの各要素の値であり、この行列 W_m, _nは、被写体の 1点（m, n) から出た光がレンズの作用により撮像素子上で拡がる状態を示すボイント 'スプレッド ' ファンクション行列であり、 W_m, _n (0, 0) は、拡がりの中心部分に位置する画素の出力信号の値であり、 W_m, _n (― x，一 y) は、周囲のぼけ部分に位置する画素の出力信号の値であり、 p owe rは、 W_ra, _n (0， 0) のべき乗数となる実数で、 l≤p owe r≤ 2であり、 ∑_xは、 = ( 1一 M) 〜（M— 1 ) の和であり、 ∑_yは、 y= (1—N) 〜（N— 1) の和である。

このような本発明の画像改質処理装置においては、前述した本発明の画像改質処理方法で得られる作用 ·効果がそのまま得られ、これにより前記目的が達成される。

また、前述した画像改質処理装置において、畳み込み演算行列記憶手段には、各座標（m, n) についての畳み込み演算行列 Q_{mi n}のうち光軸位置から一方向に延びる直線上に並ぶ座標についての畳み込み演算行列 Q_m, _nがサンプリング行列として選択されてこのサンプリング行列 Q_m, _nの各要素 Q_m, _η (χ, y) の値のみが記憶され、その他の座標についての畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x， y) の値を、レンズの軸対称を利用して、サンプリング行列 Q_m, _nの各要素 Q_m, _n (x, y) の値の配置を光軸位置を中心として回転させることにより算出する畳み込み演算行列回転算出手段を備えた構成とすることが望ましい。さらに、上記のように畳み込み演算行列回転算出手段を備えた構成とする場合において、畳み込み演算行列回転算出手段は、サンプリング行列 Q_m, _nの各要素 Q_m, _n (x, y) の値の配置を回転させたときに、算出対象となる畳み込み演算行列 Qm, _nの要素 Qm, _η (χ， y ) に対応する第一区画領域の所定位置に重なる回転後のサンプリング行列 Q_m, _nの要素 Q_m, _n (x, y) に対応する第二区画領域を求め、求めた第二区画領域に対応する要素 Q_m, _n (x, y) の値を、算出対象となる畳み込み演算行列 Q_m, _nの要素 Q_m, _n (x， y) の値として採用する力、または、第二区画領域の所定位置が重なっている第一区画領域を求め、求めた第一区画領域に対応する要素 Q_m, _n (x, y) の値として、この第一区画領域に所定位置が重なっている第二区画領域に対応する要素 Q_ra, _n (x, y) の値を採用する構成とされていることが望ましい。

そして、以上に述べた画像改質処理装置において、レンズは、二焦点レンズであり、行列 Zは、二焦点レンズを構成する一方のレンズ部により形成されるピントの合つた画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なつた画像の出力信号を示す行列であり、ポイント ·スプレッド · ファンクション行列 w_m, _nは、主として一方のレンズ部の作用により W_m, _n (0, 0) の値が定まり、主として他方のレンズ部の作用により W_{m> n} (— X，一 y) の値が定まる構成としてもよい。

また、本発明は、レンズにより形成されたピントのぼけた画像をピントの合つた画像に改質する画像改質処理装置として、コンピュータを機能させるためのプログラムであって、撮像素子の大きさを M画素 XN画素とし、被写体の発する光の明るさを示す M行 N列の行列を Aとし、被写体をレンズにより撮像して得られた画像の出力信号を示す M行 N列の行列を Zとし、被写体座標系の 1点（m， n ) から出た光の結像位置が画像座標系の 1点（m, n) となるように被写体座標系おょぴ画像座標系を設定したとき、各座標（m， n) の全部または一部について、下式（C一 1) に基づき算出された畳み込み演算処理を行うための座標（m ， n) についての（2M— 1) 行（2N— 1) 列の畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x, y) の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み算行列記憶手段と、この畳み込み演算行列記憶手段に記憶された各要素 Q_m, _n (χ， y) のうちの少なくとも一部の値と画像の出力信号の行列 Z の各要素 Z (m+x, n + y) の値とを用いて下式（C— 2) に基づき被写体の行列 Aの各要素 A (m, n) の値を算出する再生演算手段とを備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのものである。

Q_ra, _n (x, y) = 1 /W_m, _n (0, 0)

(x = 0， y = 0の場合）

=一 W_m, _n (— x，一 y) /W_m, _n (0, 0) ^power

(x = 0, y = 0以外の場合）

(C一 1)

A (m, n ) =∑ _x∑ _y Q_{m n} (x , y ) Z (m+ x , n + y)

(C-2) ここで、 xおよび yは整数で、（l—M) ≤x≤ (M— 1 ) 、（l—N) ≤y ≤ (N- 1) であり、 mおよび nは自然数で、 l≤m≤M、 l≤n≤Nであり、 W_m, _n (x, y) は、（2M— 1) 行（2N—1) 列の行列 W_m, _nの各要素の値であり、この行列 W_m, _nは、被写体の 1点（m, n) から出た光がレンズの作用により撮像素子上で拡がる状態を示すポイント 'スプレッド · ファンクション行列であり、 W_m, _n (0, 0) は、拡がりの中心部分に位置する画素の出力信号の値であり、 W_m, _n (― x，一 y) は、周囲のぼけ部分に位置する画素の出力信号の値であり、 p owe rは、 W_m, _n (0， 0) のべき乗数となる実数で、 l ^p owe r≤ 2であり、 ∑_xは、 x= ( 1 _M) 〜（M_ 1 ) の和であり、 ∑_yは、 y = (1 -N) 〜（N— 1) の和である。

なお、上記のプログラムまたはその一部は、例えば、光磁気ディスク（M〇）、コンパクトディスク（CD) を利用した読出し専用メモリ（CD— ROM) 、 CDレコーダブル (CD— R) 、 CDリライタブル (CD-RW) 、デジタル · バーサタイル.ディスク（DVD) を利用した読出し専用メモリ（DVD— R〇 M) 、 DVDを利用したランダム ·アクセス ' メモリ (DVD-RAM) 、フレキシブルディスク (FD) 、磁気テープ、ハードディスク、読出し専用メモリ ( ROM) 、電気的消去および書換可能な読出し専用メモリ（EE PROM) 、フラッシュ ' メモリ、ランダム ·アクセス · メモリ (RAM) 等の記録媒体に記録して保存や流通等させることが可能であるとともに、例えば、ローカル 'エリア •ネットワーク (LAN) 、メトロポリタン 'エリア 'ネットワーク (MAN) 、ワイド .エリア .ネットワーク (WAN) 、ィンターネット、イントラネット、ェクストラネット等の有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用レ、て伝送することが可能であり、また、搬送波に載せて搬送することも可能である。さらに、上記のプログラムは、他のプロダラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

さらに、本発明は、レンズにより形成されたピントのぼけた画像をピントの合つた画像に改質する画像改質処理で使用されるデータを記録したコンピュータ読取り可能なデータ記録媒体であって、撮像素子の大きさを M画素 XN画素とし、被写体の発する光の明るさを示す M行 N列の行列を Aとし、被写体をレンズにより撮像して得られた画像の出力信号を示す M行 N列の行列を Zとし、被写体座標系の 1点（m， n) から出た光の結像位置が画像座標系の 1点（m, n) となるように被写体座標系および画像座標系を設定したとき、行列 Zから行列 Aを算出するために用いる行列として、各座標（m， n) の全部または一部について、下式（D— 1) に基づき算出された畳み込み演算処理を行うための座標（m, n) についての（2M— 1) 行（2N— 1) 列の畳み込み演算行列 Q_m, _nの各要素 Q _m, _n (x, y) の値のうち少なくとも非零要素を含む行列部分の値を記録したものである。

Q_m, _n (x, y) =1/W_m, _n (0， 0)

(x = 0, y = 0の場合）

= -W_m, _n (_x， -y) /W_m, _n (0, 0) ^power

(x = 0, y = 0以外の場合）

(D- 1) ここで、 xおよび yは整数で、（1 _M) ≤x≤ (M— 1) 、 (1 -N) ≤y ≤ (N- 1) であり、 mおよび nは自然数で、 l≤m≤M、 l≤n≤Nであり、 W_{m> n} (x, y) は、（2M— 1) 行（2N—1) 列の行列 W_m, _nの各要素の値であり、この行列 W_{m> n}は、被写体の 1点（m, n) から出た光がレンズの作用により撮像素子上で拡がる状態を示すボイント 'スプレッド ' ファンクション行列であり、 W_m, _n (0, 0) は、拡がりの中心部分に位置する画素の出力信号の値であり、 W_m, _n (— x， -y) は、周囲のぼけ部分に位置する画素の出力信号の値であり、 p o w e rは、 W_m, _n (0， 0) のべき乗数となる実数で、 l≤p owe r≤2でめる。

なお、上記の本発明のデータ記録媒体としては、例えば、光磁気ディスク（M 〇）、コンパクトディスク（CD) を利用した読出し専用メモリ（CD— ROM ) 、 CDレコーダブル（CD— R) 、 CDリライタプル（CD— RW) 、デジタル.バーサタイル.ディスク（DVD) を利用した読出し専用メモリ（DVD— ROM) 、 DVDを利用したランダム 'アクセス 'メモリ（DVD— RAM) 、フレキシブルディスク（FD) 、磁気テープ、ハードディスク、読出し専用メモリ（ROM) 、電気的消去および書換可能な読出し専用メモリ（EE PROM) 、フラッシュ ·メモリ、ランダム ·アクセス 'メモリ (RAM) 、あるいはこれらの組合せ等を採用することができる。

以上に述べたように本発明によれば、再生演算手段により、畳み込み演算行列記憶手段に記憶された畳み込み演算行列 Q_m, _nを用いて画像改質処理を行うので、 MX N行 MX N列の巨大逆変換行列 Tg ¹を用いて演算処理を行う場合に比べ、非常に少ない計算量で、被写体の行列 Aの各要素 A (m， n) の値を算出することができるうえ、畳み込み演算行列記憶手段には各座標（m, n) についての畳み込み演算行列 Q_m,„が記憶されているので、再生演算手段により、ぼけの形状が各画素で異なることを考慮した画像改質処理を行うことができ、全ての画素で同じ形状のぼけが発生すると仮定した画像改質処理を行う場合に比べ、画像改質効果をより一層高めることができるという効果がある。図面の簡単な説明

第 1図は、本発明の一実施形態の画像改質処理装置を含む撮像システムの全体構成図である。

第 2図は、前記実施形態の画像改質処理装置による処理対象となる画像を形成する二焦点レンズの詳細構成図である。

第 3図は、被写体とこの被写体を二焦点レンズにより撮像して得られる画像との関係の説明図である。

第 4図は、被写体行列 Aと画像行列 Zとの変換関係の説明図である。

第 5図は、 PSF行列 W_m, _nの各要素 W_m, _n (x, y) の分布状況の例示図である。

第 6図は、畳み込み演算行列 Q_m, _nの各要素 Q_m, _n ( x , y ) の分布状況の例示図である。

第 7図は、各座標（m, n ) についての P S F行列 W_ra, _nの各要素 W_m, _n ( x , y ) の分布状況の説明図である。

第 8図は、各座標（m, n ) についての畳み込み演算行列 Q_m, _nの各要素 Q_m> _n ( x , y ) の分布状況の説明図である。

第 9図は、第 6図に示した水平方向のライン上に並ぶ各座標についての畳み込み演算行列 Q_m, _nの各要素 Q_m, _η ( χ , y ) を 4 5度回転させた配置の例示図である。

第 1 0図は、第 9図の配置のうち太枠で囲った 9つの画素分の領域の拡大図である。

第 1 1図は、第 1 0図の各第一区画領域の中央位置に重なる第二区画領域を求め、求めた第二区画領域の値により各第一区画領域の値を算出決定した結果を示す図である。

第 1 2図は、畳み込み演算行列 Q_m, _nの回転情報の説明図である。

第 1 3図は、二焦点レンズおよび単焦点レンズのぼけの形状（単一輝点からの光の拡がりを示す P S F行列 W_m, _nの分布）の比較結果を示す図である。発明を実施するための最良の形態

本発明をより詳細に説述するために、添付の図面に従ってこれを説明する。第 1図には、本発明の一実施形態の画像改質処理装置 3 0を含む撮像システム 1 0の全体構成が示されている。また、第 2図には、画像改質処理装置 3 0による処理対象となる画像を形成する二焦点レンズ 2 1の詳細構成が示されている。撮像システム 1 0は、例えば、携帯電話機や携帯情報端末等の携帯型の情報端末装置に設けられた撮像システム、あるいはパーソナル' コンピュータおよびそれに接続されたカメラにより構成される撮像システム等である。

第 1図において、撮像システム 1 0は、被写体を撮像する撮像機構 2 0と、この撮像機構 2 0により撮像された画像の質を改善する画像改質処理装置 3 0と、この画像改質処理装置 3 0により質の改善を行った画像を表示する表示手段 4 0 とを備えている。

撮像機構 2 0は、被写体を撮像する二焦点レンズ 2 1と、この二焦点レンズ 2 1により形成された画像を取り込む撮像素子 2 4とを含んで構成されている。第 2図において、二焦点レンズ 2 1は、例えばガラス製の長焦点レンズ部 2 2 と、例えばガラス製の短焦点レンズ部 2 3とにより構成され、これらの長焦点レンズ部 2 2および短焦点レンズ部 2 3は、同一の面に配置されて一体化されている。長焦点レンズ部 2 2は、例えば円形の正面形状を有し、中心に配置され、一方、短焦点レンズ部 2 3は、例えば円環状（ドーナツ型）の正面形状を有し、長焦点レンズ部 2 2の外側に長焦点レンズ部 2 2の外縁部に接する状態で配置されている。そして、これらの長焦点レンズ部 2 2およぴ短焦点レンズ部 2 3は、両者の光軸が一致するように、すなわち同心に配置されて一体化され、これにより二焦点レンズ 2 1は、同心円型の二焦点レンズとなっている。また、これらの各レンズ部 2 2 , 2 3が配置された面は、二焦点レンズ 2 1の光軸に直交しているここで、長焦点レンズ部 2 2は、焦点深度下限（例えば、 0 . 3 m) から無限遠までの標準的な距離にある通常の被写体（例えば、人物や風景等）を撮像するのに適した長い焦点距離を有するレンズ部である。一方、短焦点レンズ部 2 3は、通常の被写体よりも近い距離に配置された近接被写体（例えば、 2次元バーコ一ドゃ虹彩や文字等）を撮像するのに適した短い焦点距離を有するレンズ部である。なお、長焦点レンズ部と短焦点レンズ部との配置関係を逆にし、長焦点レンズ部を外側に、短焦点レンズ部を内側に配置してもよい。

撮像素子 2 4としては、例えば、相補性金属酸化膜半導体（CMO S ： Comple mentary Metal-oxide Semiconductor) や電荷結合素子 ( C C D : Charge Couple d Device) 等を採用することができる。撮像素子 2 4の大きさは、縦方向 M画素横方向 N画素であるものとする。

画像改質処理装置 3 0は、出力信号記憶手段 3 1と、標準画像再生用の畳み込み演算行列記憶手段 3 2と、接写画像再生用の畳み込み演算行列記憶手段 3 3と、回転情報記憶手段 3 4と、畳み込み演算行列回転算出手段 3 5と、再生演算手段 3 6と、切替操作手段 3 7とを備えている。

出力信号記憶手段 3 1は、撮像素子 2 4の出力信号を引き出して記憶するものである。

標準画像再生用の畳み込み演算行列記憶手段 3 2は、標準的な距離にある通常の被写体（例えば、人物や風景等）を二焦点レンズ 2 1により撮像する場合、従つて、本実施形態では、内側の長焦点レンズ部 2 2によりピントの合つた画像が形成され、外側の環状の短焦点レンズ部 2 3によりピントのぼけた画像が形成される場合に、ピントの合った画像を求める再生演算処理に用いられる畳み込み演算行列 Q_m, _n (第 6図参照）を記憶するものである。

接写画像再生用の畳み込み演算行列記憶手段 3 3は、通常の被写体よりも近い距離に配置された近接被写体（例えば、 2次元バーコ一ドゃ虹彩や文字等) を撮像する場合、従って、本実施形態では、外側の環状の短焦点レンズ部 2 3によりピントの合つた画像が形成され、内側の長焦点レンズ部 2 2によりピントのぼけた画像が形成される場合に、ピントの合った画像を求める再生演算処理に用いられる畳み込み演算行列 Q _m, _nを記憶するものである。なお、この場合のポイント 'スプレッド ' ファンクション行列 W_m, _nにおけるぼけ部分の形状は、後述する第 5図のようなリング状とはならず、略中実円形状または略中実楕円形状（内部が非零要素で埋まった状態）となるので（後述する第 1 3図のぼけ部分 8 3参照 ) 、畳み込み演算行列 Q _m, _nについても、ぼけ部分に対応する部分の形状は、後述する第 6図のようなリング状とはならず、略中実円形状または略中実楕円形状 (内部が非零要素で埋まった状態）となる。

そして、標準画像再生用および接写画像再生用の畳み込み演算行列記憶手段 3 2 , 3 3は、後述する式（1 8 ) に基づき予め算出された各座標（m, n ) についての畳み込み演算行列 Q_m, _n (第 4図参照）の各要素 Q_m, _n ( x , y ) の値のうちの少なくとも一部を、 X， yの並ぴ順に従って表の如く整列させて記憶するものである。少なくとも一部であるから、全部を記憶しておいてもよいが、計算容量およびメモリ容量を小さくするため、非零要素を含む行列部分（第 4図の行列部分 H) のみを記憶しておくことが好ましい。従って、ここでは、非零要素を含む行列部分 Hのみを記憶するものとして説明を行う。

また、標準画像再生用および接写画像再生用の畳み込み演算行列記憶手段 3 2 , 3 3は、各座標 (m, n ) の全部についての畳み込み演算行列 Q_m, _n (つまり、 M X N個の Q_m, _n) を記憶するのではなく、二焦点レンズ 2 1の軸対称性を考慮し、一部の座標（一直線上に並ぶ座標）についての畳み込み演算行列 Q_m, _nのみをサンプリング行列として記憶する。本実施形態では、一例として、後述する第 8図のライン 6 0上に並ぶ各座標についての畳み込み演算行列 Q_m, _nのみを記憶するものとする。従って、本実施形態では、サンプリング行列として記憶する畳み込み演算行列 Q_m, _nの分布が上下対称になるので、上記の非零要素を含む行列部分 Hのうち、更に半分（例えば、上側半分）のみを記憶する。

回転情報記憶手段 3 4は、畳み込み演算行列記憶手段 3 2， 3 3に記憶されたサンプリング行列としての畳み込み演算行列 Q_m, _nの各要素 Q_m, _n ( χ， y ) の値の配置を回転させてサンプリング行列以外の畳み込み演算行列 Q_m, _nの各要素 Q_m, _n ( x , y ) の値を算出決定するときに用いる回転情報を記憶するものである。この回転情報は、求める畳み込み演算行列 Q_m, _n (サンプリング行列以外の畳み込み演算行列 Q_m, J の全て（但し、軸対称性を考慮すると、全座標の 1 4でよレ、。 ) について用意され、求める畳み込み演算行列 Q_m, _nの座標（m, n ) についての中心座標 (M/ 2 , N/ 2 ) からの距離 rおよび角度 0により構成される（第 12図参照）。角度 0とは、サンプリング行列 Q_m, _nの座標（m, n ) が並ぶ直線（後述する第 8図のライン 60) に対し、求める畳み込み演算行列 Q_m, _nの座標 (m, n) と中心座標 (M/2, N/2) とを結ぶ直線がなす角度である。

畳み込み演算行列回転算出手段 35は、畳み込み演算行列記憶手段 32, 33 に記憶されたサンプリング行列としての畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x, y) の値と、回転情報記憶手段 34に記憶された回転情報とを用いて、サンプリング行列以外の畳み込み演算行列 Q_m, _nの各要素 Q_{m> n} (x, y) の値を算出決定する処理を行うものである。

再生演算手段 36は、被写体を再生する演算処理を行うものであり、畳み込み演算行列記憶手段 32， 33に記憶されたサンプリング行列としての畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (χ， y) の値（行列部分 Hの各値）、または畳み込み演算行列回転算出手段 35により算出決定されたサンプリング行列以外の畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x, y) の値と、出力信号記憶手段 31 に記憶された画像の出力信号を示す行列 Zの各要素 Z (m， n) の値とを用い、後述する式（1 9) に基づき、被写体の行列 Aの各要素 A (m, n) の値を算出する処理を行うものである。なお、畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x ' y) のうちの非零要素を含む行列部分（第 4図の行列部分 H) 以外の部分、すなわち、畳み込み演算行列記憶手段 32 , 33に記憶されない部分については、零要素であるので、計算は行われない。

切替操作手段 37は、畳み込み演算行列回転算出手段 35および再生演算手段 36による演算処理で、畳み込み演算行列記憶手段 32, 33のいずれのデータを用いる力、すなわち通常の被写体か近接被写体のいずれを撮像するのかを切替選択するための操作を行うものであり、例えば押ボタン式、トダル式、スライド式のスィツチ等である。

出力信号記憶手段 31、畳み込み演算行列記憶手段 32, 33、および回転情報記憶手段 34としては、例えば、ハードディスク、 ROM、 EE PROM, フラッシュ · メモリ、 RAM、 MO、 CD-ROM, CD— R、 CD— RW、 DV D— ROM、 DVD-RAM, FD、磁気テープ、あるいはこれらの組合せ等を揉用することができる。

畳み込み演算行列回転算出手段 35および再生演算手段 36は、撮像システム 10を構成する各種の情報端末装置 (例えば、携帯電話機や携帯情報端末等の携帯型の情報端末装置、あるいはカメラを接続したパーソナル ·コンピュータ、監視力メラ装置等）の内部に設けられた中央演算処理装置（CPU) 、およびこの CPUの動作手順を規定する一つまたは複数のプログラムにより実現される。表示手段 40としては、例えば、液晶ディスプレイ、 CRTディスプレイ、プロジェクタおよびスクリーン、あるいはこれらの組合せ等を採用することができる。

以下には、畳み込み演算行列記憶手段 32 , 33に記憶される畳み込み演算行列 Q_ra, _nの各要素 Q_m, _η (χ， y) の算出方法およびその根拠、並びに再生演算手段 36により行われる演算処理の根拠を説明する。

前提条件として、ここでは、標準的な距離にある通常の被写体（例えば、人物や風景等）を二焦点レンズ 21により撮像する場合、従って、内側の長焦点レンズ部 22によりピントの合つた画像が形成され、外側の環状の短焦点レンズ部 2 3によりピントのぼけた画像が形成される場合の説明を行うものとする。但し、本発明の適用は、このような場合に限定されるものではない。

先ず、被写体と画像に関する基本的な事項について説明を行う。第 3図は、被写体と、この被写体を二焦点レンズ 21により撮像して得られる画像との関係の説明図である。なお、レンズによって形成される像は、一般には倒立像であるため、第 3図では、物体と像とで座標軸の向きを逆にとることにより、互いに対応する物体の位置と像の位置とが同じ座標になるようにしている。ここでは、第 3 図に示すように、 s軸（縦軸）と t軸（横軸）とにより構成される被写体座標系 ( s , t) 、および h軸（縦軸）と k軸（横軸）とにより構成される画像座標系 (h, k) を設定するものとする。

また、撮像素子 24の縦方向の画素数を Mとし、横方向の画素数を Nとする。このとき、被写体の各点（s , t) (被写体座標系における座標（s , t) の部分）がそれぞれ A (s, t) の明るさを持つとすると、被写体の発する光の全体は、 s行 t歹 IJ (sおよび tは自然数、 l≤ s ^M、 1≤ t≤N) に A (s， t) の値の要素を持つ MX N (M行 N列）の行列 Aで表現できる（第 4図参照）。これを被写体行列 Aと呼ぶものとする。

一方、撮像素子 24上の各点（h, k) (画像座標系における座標 (h, k) に位置する画素）の出力信号の大きさがそれぞれ Z (h, k) であるとすると、被写体を二焦点レンズ 21により撮像して得られる画像全体は、 h行 k列（hおよび kは自然数、 1≤h≤M, 1≤k≤N) に Z (h, k) の値の要素を持つ M XN (M行 N列）の行列 Zで表現できる（第 4図参照）。これを画像行列 Zと呼ぶものとする。

<単一輝点の像による二焦点レンズ 21の特性の表現 >

第 3図に示すように、 1点（座標（m, n) ) のみに輝点のある被写体を二焦点レンズ 21で撮像すると、撮像素子 24上には、座標（m, n) を拡がりの中心として、内側の長焦点レンズ部 22により形成されるピントの合った像と、外側の環状の短焦点レンズ部 23により形成される環状のボケ画像とが重なった像が形成される。ここで、 mおよび nは自然数で、 l≤m≤M、 1≤n≤N, 但し、 Mおよび Nは撮像素子 24の縦横の画素数である。また、被写体上の座標 (m , n) とは、撮像素子 24上の座標（m， n) に投影される被写体上の対応する点を意味する。つまり、被写体座標系（s, t) における 1点（m, n) 力ら出た光は、画像座標系（h, k) における同じ数値で示される点（m, n) に結像するようになつている。

ここで、画像座標系において、第 3図に示すように、座標（m， n) を中心として h軸（縦軸）および k軸（横軸）にそれぞれ平行な X軸（縦軸）および y軸 (横軸）をとり、これらの X軸と y軸とにより構成される座標系を設定する。この座標系（X, y) は、被写体上の単一輝点（座標（m， n) ) が動けば、これに対応する撮像素子 24上の座標（m， n) も動くので、各座標（m， n) についてそれぞれ設定される相対座標系である。

そして、相対座標系（X , y) における各点（X , y) に位置する画素の出力信号の大きさを W_m, _n (x, y) とすると、被写体の 1点（_m, _n) から出た光が二焦点レンズ 21の作用により撮像素子 24上で拡がる状態（P S F ： Point Spread Function) は、 W_m, _n (x, y) の値を要素に持つ（2M— 1) 行（2 N- 1) 列の行列 W_m, _nで表現できる（第 4図参照）。これを座標 (m, n) についてのポイント ·スプレツド ·ファンクション (PSF) 行列と呼ぶものとする。

なお、 W_m, _n (x, y) の値を全ての x, y ( Xおよび yは整数で、（ 1—M ) ≤x≤ (M- 1) 、 (1 -N) ≤y≤ (N- 1) ) について合計した値は、被写体の 1点（m， n) から出た光の総量であり、この合計値が 1になるように各要素 W_m, _n (x， y) の値を正規化しておく。

また、 P S F行列 W_m, _nを (2M- 1 ) 行（2N— 1) 列の行列、つまり被写体行列 Aや画像行列 Zの略 4倍の要素数を持つ行列としているのは、被写体の端部の 1点（例えば、座標（1， 1) の点とする。）から出た光が、撮像素子 24 上において、対応する端部の 1点（1， 1) を中心として、対角方向の反対側の端部の 1点（M, N) まで含めて全体的に拡がる状態を示すためである。但し、実際には、ぼけの部分が撮像素子 24上における対角方向の一方の端部から他方の端部まで広範に拡がることはなく、第 4図に示すように、（2M— 1) 行（2 N— 1) 列の P S F行列 W_ra, _nの各要素 W_m, _n (x, y) のうち、非零要素を含む部分は、 W_m, _n (0, 0) を含む一部の行列部分 Eのみである。

<被写体行列 Aから画像行列 Zを導くための畳み込み演算 > 第 4図は、被写体行列 Aと画像行列 Zとの変換関係の説明図である。一般に、被写体行列 Aから画像行列 Zを求める演算は、単純な行列演算ではなく、次の式 ( 1 ) で示される PSF行列 W_m, _nを用いた畳み込み演算となる。

Z m, n

=∑_x∑_y {W_m+X, _{n + y} (— x，一 y) *A (m+x, n + y) }

=W_m, _n (0, 0) *A (m, n)

+∑_x, _y {W_m+X, _{n + y} (- X , 一 y) *A (m+x, n + y) }

(1) ここで、 ∑_xは、 x= (1 -M) 〜（M— l) の和であり、 ∑_yは、 y= (1 -N) 〜（N— 1) の和である。また、 ∑χ, _yは、（x， y) = (0, 0) の点を除く全ての x， yについての和である。伹し、 ∑_xおよび∑_y並びに∑_x, _yは、 P S F行列 W_m+X, _{n + y} (― x， -y) のうちの非零要素を含む行列部分 E (第 4図参照）のみの和を考えればよい。なお、上記式（1) では、光量の単位およぴ画像の出力信号の単位を適当にとることにより、光量と画像の出力信号との変換係数を 1としている。

また、上記式（1) の下側右辺は、上側右辺を、（X , y) = (0， 0) の点と、それ以外の点とに分けたものである。

ところで、 Z (m, n) は、撮像素子 24上の点（m, n) に位置する画素の出力信号の値であるが、この点（m， n) には、被写体上の対応する点（m， n ) からのピントの合った光だけではなく、その点の周辺、すなわち、被写体座標系 ( s , t ) で考えたとき、 S方向について Xピクセルに対応する距離、 t方向について yピクセルに対応する距離だけ離れた点（m+x， n + y) からのピントのぼけた光も集まる。従って、 Z (m, n) の値は、被写体上の 1点（m, n ) から出た明るさ A (m, n) の光による出力信号 W_m, _n (0， 0) *A (m， n) の値のみならず、この値に、その周辺の点（m+x， n + y) から出た明るさ A (m+x, n + y) の光による出力信号 W_m+X, _{n + y} (― x, -y) *A ( m+x, n + y) の値を加えた値となる。そして、上記式（1) の下側右辺は、そのことを意味している。

従って、上記式（1) とは逆に、画像行列 Zから被写体行列 Aを導くためには、上記式（ 1 ) における P S F行列 W_m, _nに相当するような畳み込み演算処理を行うための畳み込み演算行列 Q_m, _nを求めることができればよい。し力し、このような畳み込み演算行列 Q_m, _nは、逆行列を求める場合のように簡単に P S F行列 W_m, _nから求めることはできない。

<被写体行列 Aと画像行列 Zとの変換を行うための巨大行列の検討〉一方、被写体行列 Aの要素数は、 MX N個であり、画像行列 Zの要素数も、 M XN個である。従って、 M行 N列の被写体行列 Aの各要素を縦一列に並べて MX N個の要素数の巨大べクトル（縦べクトル） A_gとし、 M行 N列の画像行列 Zの各要素を縦一列に並べて MX N個の要素数の巨大ベクトル（縦ベクトル） Z_gとすれば、これらの巨大ベクトル A_gから Z _gへの変換関係は、 MXN行 MXN列の巨大変換行列 T_gを用いて、次の式（2) のように表わすことができる。

Z_g = T_gA_g (2) 従って、上記式（2) における巨大変換行列 T_gの逆行列 T_g一¹を求めることができれば、巨大ベクトル Z_gから A_gへの変換関係は、巨大逆変換行列 T_g一¹を用いて、次の式（3) のように表わすことができる。

Ag ⁼ T_g Zg しノこのため、巨大逆変換行列 Tg— ¹を予め求めておき、被写体の撮像時に、上記式（3) の演算を行えば、巨大ベクトル A_gの各要素の値、すなわち被写体行列 Aの各要素の値を求めることができ、被写体を再現することができる。

しかし、 MX N行 MX N列の巨大逆変換行列 T_g一¹を用いた演算処理は、計算量が多いので、例えば、通常の携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度の性能を有する中央演算処理装置（CPU) では、短時間での処理が困難であるため、現実的ではない。例えば、通常の画像である V GA (Video Graphics array) では、 M= 640画素、 N=480画素として、画素数 M X Nは、約 30万個であるため、巨大逆変換行列 T _g— ¹は、行数および列数とも画素数の約 30万個となり、その大きさ（要素数）は、画素数の 2乗で (MXN) ²= 900億個となる。

そこで、以下では、上記式（3) による演算に比べ、少ない計算量で被写体を再生できるようにするため、画像行列 Zから被写体行列 Aを導くための畳み込み演算行列 Q_m, _nを求めることにする。

く画像行列 Zから被写体行列 Aを導くための畳み込み演算 >

先ず、前述した式（1) の下側右辺の第 2項を左辺に移項した後、左辺と右辺を入れ替えると、次の式 (4) のようになる。

W_{¾ n} (0， 0) *A (m, n)

=Z (m， n) —∑_x, _y {W_m+X_ _n+y (— x， -y) *A (m+x， n+y) }

(4) 上記式（4) の簡易な近似方法として、次のような近似を行うことができる。すなわち、第 1ステップでは、被写体と、撮像された画像が大きく変わらないと仮定し、 A (m+x, n + y) を Z (m+ x, n + y) で近似する。この結果、上記式（4) は、次の式（5) のようになる。

n (0, 0) *A (m， n)

=Z (m， n) 一∑_x, _y {W_{m+X> n+y} (— x， -y) *Z (m+x, n + y) }

(5) 続いて、第 2ステップでは、各点でのボケの状態は、近所の点どうしでは似ていると仮定し、 W_m+X, _{n + y} (- X , -y) =W_m, _n (- X , — y) と考える。この結果、上記式（5) は、次の式（6) のようになる。

W_{m> n} (0, 0) * A (m， n)

二 Z (m， n) —∑_x, _y {W_m, _n (一 x， _y) *Z (m+x, n + y) }

(6) 従って、上記式（6) の左辺および右辺を W_m, _n (0， 0) で除すると、次の式（7) のようになる。

A (m， n)

=Z (m, n) /W_{m n} (0, 0)

一∑_x, _y {W_{m n} (— x， -y) *Z (m+x, n + y) } W_{¾ n} (0， 0)

(7) ここで、次の式（8) で示すように Q_m, _n (x, y) を定義し、上記式（7) における W_m, _n (x, y) を Q_m, _n (x, y) を用いて镡きかえると、次の式（ 9) のようになる。但し、次の式（8) において、 W_m, _n (0， 0) のべき乗数は、 p owe r = lとする。

Q_m, _n (x, y) = 1 /W_m, _n (0， 0)

(x = 0, y = 0の場合）

= -W_m, _n (- X, -y) /W_m, _n (0， 0) ^porer

(x = 0, y = 0以外の場合）

(8)

A (m， n) =Q_m, _n (0, 0) * Z (m， n)

+∑_x, _y {Q_m, _n (x, y) * Z (m+x, n + y) } =∑_x∑_y {Q_m, _n (x, y) * Z (m+x, n + y) }

(9) ここで、 ∑_xは、 x= ( 1 -M) 〜（M— 1) の和であり、 ∑_yは、 y = (1 — N) 〜（N_ l) の和である。また、 ∑_x, _yは、（x， y) = (0, 0) の点を除く全ての x, yについての和である。

そして、上記式（9) は、前述した式（1) に対応する畳み込み演算を行う式となっており、上記式（9) における Q_ra, _n ( , y) 、前述した式（1) における W_m+X, _{n + y} (一 x, -y) に対応している。従って、行列 Q_m, _nは、 P S F行列 W_{m n}に対応する畳み込み演算行列であり、画像行列 Zから被写体行列 A を求める再生演算は、この畳み込み演算行列 Q_m, _nを用いて行うことができる。次に、前述した式（4) の、より高度な近似方法として、次のような近似を行うことができる。すなわち、前述した式（4) は、撮像素子 24上の点（m， n ) に位置する画素の出力信号 Z (m, n) の値を求めるための前述した式（1) を変形した式であるが、同様にして、撮像素子 24上で h方向に x、 k方向に y だけ離れた点（m+x, n + y) に位置する画素の出力信号 Z (m+x, n + y ) の値を求めるための式を変形した式を考える。

前述した式（4) において、 mを（m+x) に、 nを（n + y) に置き換えるとともに、新しい被写体の点（m+x, n + y ) から出た光によるボケを表現するための座標系として相対座標系（u， v) を設定し、 Xを uに、 yを Vに置き換えると、次の式（1 0) のようになる。

W_m+X, _n+y (0， 0) *A (m+x, n + y)

=Z (m+x, n + y) ·

一∑_u, _v {W_m+X+U, _n+y+v (— u, — v) *A (m+x + u, n + y + v) }

(1 0) ここで、 uおよび vは、整数で、 u= ( 1 -M) 〜（M— 1) 、 v = (1 -N ) 〜（N_ l ) であり、 ∑_u, _vは、（u， v) = (0, 0) の点を除く全ての u , νについての和である。

上記式（1 0) の左辺および右辺を W_m+X, _{n + y} (0, 0) で除した後、前述した式（4) における A (m+x, n + y) に代入すると、次の式（1 1) のようになる。

W_{¾ n} (0, 0) *A (m， n)

=Z (m, n)

-∑x, y {W_m+X, _n+y (—x， -y)

*Z (m+x, n + y) /W_m+X, _n+y (0， 0) }

+ x, y∑u, v [W_m+X, _n+y (-X, -Υ) * {W_{m+X+U> n+y+v} (-U, —V) *A (m+x+u, n+y + v) } W_{m n+y} (0, 0) ]

(1 1) そして、上記式 (1 1) の左辺および右辺を w_m, _n (0, 0) で除すると、次の式（1 2) のようになる。

A (m, n)

=Z (m， n) _n (0, 0)

-∑x, y {W_{m+X) n+y} (-X, -y)

*Z (m+x, n + y) W_{m+Xi n+y} (0, 0) } W_{m n} (0, 0)

+∑_x, _y∑u, v W^_x, _n+y (-X, — y) * {W_m+X+U, _n+y+v (-u, -v)

*A (m+x+u, n + y + v) } _m+X, _n+y (0， 0) ] _{m n} (0, 0)

(1 2) 上記式（1 2) を近似する。第 1ステップでは、右辺第 3項に、 W_m+X, _{n + y} (—x, - y ) と W_{m+X + U> n + y + v} (—u，一v) との積があるので、この右辺第 3項を無視すると、次の式'（1 3) のようになる。

A (m, n)

=Z (m, n) / _{m n} (0, 0)

-∑x, y {W_m+X, _n+y (-X, -y)

*Z (m+x, n + y) _m+X, _n+y (0, 0) } /W^ _n (0, 0)

(1 3) 続いて、第 2ステップでは、各点でのボケの状態は、近所の点どうしでは似ていると仮定し、 W_m+X, _{n + y} (- X , - y ) を W_m, _n (- X , - y) で近似する。この結果、上記式（1 3) は、次の式（14) のようになる。

A (m, n)

=Z (m, n) /W_{m n} (0， 0)

—∑_x, _y {W _n (—X, - y)

*Z (m+x, n + y) W_m. , _n+y (0, 0) } W_{m n} (0, 0) (14) さらに、第 3ステップでは、 W_m+X, _{n + y} (0, 0) も W_m, _n (0， 0) で近似する。この結果、上記式（14) は、次の式（1 5) のようになる。

A (m, n)

=Z (m, n) /W_{m n} (0, 0)

一∑_x, _y {W_{tn n} (-X, -y) *Z (m+x, n + y) } /W_{¾ n} (0, 0) ²

(1 5) ここで、次の式（16) で示すように Q_m, _n (x, y) を定義し、上記式（1 5) における W_m, _n (x, y) を Q_m, _n (x, y) を用いて置きかえると、次の式（1 7) のようになる。但し、次の式（1 6) において、 W_m, _n (0, 0) のべき乗数は、 p owe r = 2とする。

Q_m, _n (Χ , Υ) = 1 /W_m, _n (0， 0)

(x = 0, y = 0の場合）

= ~W_{m> n} (一 x， -y) /W_m, _n (0， 0)

(x = 0, y = 0以外の場合）

(1 6)

A (m, n) =Q_m, _n (0， 0) *Z (m， n)

+∑_x, _y {Q_m, _n (x, y) *Z (m+x, n + y) } =∑_x∑_y {Q_m, _n (x, y) *Z (m+x, n + y) }

(1 7) ここで、 ∑_xは、 x= ( 1 -M) 〜（M— 1) の和であり、 ∑_yは、 y = (1 一 N) 〜（N— 1) の和である。また、 ∑_x, _yは、（X, y) = (0, 0) の点を除く全ての X, yについての和である。

そして、上記式（17) は、前述した式（9) と同じ式である。従って、上記式（1· 7) における行列 Q_m, _nは、前述した式（1) における PSF行列 W_m, _n に対応する畳み込み演算行列であり、画像行列 Zから被写体行列 Aを求める再生演算は、この畳み込み演算行列 Q_m, _nを用いて行うことができる。

以上より、前述した式（8) および式（16) を考慮し、次の式（18) のように畳み込み演算行列 Q_m, _nを定義すれば、次の式（1 9) に基づき行列 Q_m, _n を用いて畳み込み演算を行うことにより、被写体を再生することができる。

Q_m, _n ( , y) - 1 /W_{m> n} (0, 0)

(x = 0, y = 0の場合）

= -W_{m> n} (- X, -y) ZW_m, _n (0, 0) ^POTer

(x二 0， y = 0以外の場合）

(18) A (m, n) =∑_x∑_y {Q_m, _n (x, y) * Z (m+x, n + y) }

(1 9) ここで、 xおよび yは整数で、（1_M) ≤ x≤ (M- 1) 、 (1 -N) ≤y ≤ (N- 1) であり、 mおよび nは自然数で、 l≤m≤M、 l≤n≤Nであり、 W_m, _n (x, y) は、（2M— 1) 行（2N— 1) 列の P S F行列 W_m， _nの各要素の値であり、 p o we rは、 W_m, _n (0, 0) のべき乗数となる実数で、 1≤ p owe r≤ 2であり、 ∑_xは、 = ( 1 _M) 〜（M— 1 ) の和であり、 ∑_y は、 y= ( 1 -N) 〜（N— 1) の和である。

また、 p owe rの値は、 W_m, _n (0， 0) の値に応じて決定すればよい。この際、 W_m, _n (0， 0) の値が、 0· 5近傍（0. 5を含む。以下、同様）のときには、 p o w e rの値を 2以外の値とする必要がある。より具体的には、 W_m , _n (0， 0) の値が、 0. 5近傍のときには、 p o w e rの値を 1以上 2未満とし、より好ましくは 1とする。一方、 W_ra, _n (0， 0) の値が、 0. 5近傍以外のときには、 1以上 2以下とする。

第 5図には、 P S F行列 W_m, _nの各要素 W_m, _n (x, y) の分布状況の一例が示されている。中心の W_m, _n (0, 0) には、標準的な距離にある通常の被写体の 1点（m, n ) から出て二焦点レンズ 2 1を構成する内側の長焦点レンズ部 2 2を通った光により、ピントの合った画像が形成されている。 W_m, _n ( 0， 0 ) の周囲.には、外側の環状の短焦点レンズ部 2 3を通った光により、環状（略円環状または略楕円環状）のピントのぼけた画像が形成されている。なお、空欄になつている部分は、零要素である。

第 5図では、中心の W_ra, _n ( 0 , 0 ) の値は、 cとなっているが、この cの値は、二焦点レンズ 2 1の全体面積に対する内側の長焦点レンズ部 2 2の面積の比の値である。但し、厳密には、光の分割が面積に比例しない場合もあるので、光の量の分割比がレンズの面積比と一致しない場合には、上記の cの値は、内側の長焦点レンズ部 2 2を通過して実際にセンサ（撮像素子 2 4 ) に到達する光の量またはセンサの信号量と、二焦点レンズ 2 1の全体（内側の長焦点レンズ部 2 2 および外側の短焦点レンズ部 2 3を合わせた全体）を通過して実際にセンサに到達する光の量またはセンサの信号量との比の値と考えることができる。なお、第 5図では、説明の簡易化のため、中心の W_m, _n ( 0 , 0 ) に隣接する各要素（例えば、 W_m, _n ( 1， 0 ) や W_{ra> n} ( 0， 1 ) 等）の値は、ゼロとなっているが、実際には、内側の長焦点レンズ部 2 2により形成される画像も、完全にピントの合った画像とはならず、多少のぼけが生じるのが通常であるため（ぼけの形状は、略中実円形形状または略中実楕円形状となる。）、 cの値は、 W_m, _n ( 0， 0 ) を中心として周囲の幾つかの要素に分散される（後述する第 1 3図のぼけ部分 8 0参照）。

また、第 5図では、環状のぼけ部分の各要素の値が、 e l〜e l 9により示されているが、これは、ぼけの形状の概略を示すものであり、実際には、ぼけ部分のリングの幅は、 1〜 2行または 1〜 2列分ではなく、より多くの行数または列数分の幅である。例えば、撮像素子 2 4の中央位置（画像座標系（h， k ) の中心座標）についての P S F行列 W_m, _nの場合には、 W_m, _n ( 0， 0 ) の周囲に例えば 7行または 7列分の幅で零要素が円環状に配置され、その外側に例えば 8行または 8列分の幅で非零要素が円環状に配置される等である。従って、この場合には、 W_m, _n (x, y) のうち非零要素を含む行列部分 E (第 4図参照）は、例えば、 31画素 X 31画素分に収まる程度の大きさ等である。そして、この場合には、 W_m, _n (x， y) のぼけ部分のリングの内径と外径との比は、二焦点レンズ 21を構成する外側の短焦点レンズ部 23の内径と外径との比に等しい。なお、 W_m, _n (x, y) のぼけ部分のリングの大きさ、幅、形状は、各座標（m， n ) によって異なる（第 7図参照）。

さらに、外側の短焦点レンズ部 23により形成されるボケは広範囲に拡がるので、 P S F行列 W_m, _nにおいて、環状のぼけ部分の各要素の値（第 5図では、 e l〜e 1 9の値）は、中央のピントの合った部分の値（第 5図では、 W_m, _n (0 ， 0) =cの値）に比べ、十分小さい値となる。具体的には、 cの値は、例えば 0. 8等であり、 e l〜e 1 9の値は、例えば 0. 001 3等である。但し、これらの数値に限定されるものではない。

<畳み込み演算行列 Q_m, _nの各要素 Q_m, _n ( , y) の分布 >

第 6図には、前述した式（18) で定義される畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x， y) の分布状況の一例が示されている。畳み込み演算行列 Q_m, _n の各要素 Q_m, _n (x, y) の分布も、 P S F行列 W_m, _nの各要素 W_m, _n (x, y ) の分布（第 5図参照）に対応し、中心の Q_m, _n (0, 0) に非零要素があり、その周囲に非零要素が環状'（略円環状または略楕円環状）に配置される分布となつている。なお、空欄になっている部分は、零要素である。

但し、第 6図の畳み込み演算行列 Q_m, _nの各要素 Q_ra, _n (x, y) の分布は、第 5図の P S F行列 W_m, _nの各要素 W_m, _n (x, y) の分布に対し、 x, yが反転して、一x，一 yとなっている。前述した式（18) による定義に従って反転したものである。

く各座標 (m, n) についての P S F行列 W_m, _nどうしの関係〉

第 7図には、各座標（m, n) についての P S F行列 W_m, _nの各要素 W_{ff n} ( x, y) の分布状況が示されている。撮像素子 24の中央位置（画像座標系（h , k) の中心座標（MZ2, N/2) ) についての P S F行列 W_{ff n}の場合には、ぼけの形状は、円環状である。一方、画像座標系（h， k) の中心以外の座標では、ぼけの形状は、略楕円環状になり、画像座標系（h， k) の中心から外側に離れるにつれ、ぼけ部分の全体的な大きさやリングの幅が大きくなる。

また、二焦点レンズ 21は、軸対称性を有しているので、各座標（m, n) についての P S F行列 W_m, _nの分布（ぼけの形状）についても軸対称性が保持される。従って、撮像素子 24の中央位置（画像座標系（h， k) の中心座標（M/ 2， N/2) ) から放射状に延びる各直線を考えると、いずれの直線上でも放射方向について見れば、中心から外側に向って同じように分布（ぼけの形状）が変ィ匕し、撮像素子 24の中央位置からの距離で P S F行列 W_m, _nの分布（ぼけの形状）が定まり、かつ、いずれの P S F行列 W_m, _nの分布も放射直線に対して対称である。つまり、撮像素子 24の中央位置からの距離が同じ座標についての P S F行列 W_ra, _nの分布（ぼけの形状）は、全て同じとなり、単に回転しているだけの関係となる。例えば、画像座標系（h, k) におけるライン 50上に並ぶ各座標（m, n) についての P S F行列 W_m, _nの各要素 W_m, _n (x， y) の配置を、画像座標系（h, k) の中心座標 (M/2, N/2) を中心として回転させれば、画像座標系（h, k) における他のライン 51， 52, 53， 54上に並ぶ各座標（m， n) についての P S F行列 W_m, _nの各要素 W_m, _n (x, y) の配置を算出することができる。

<各座標（m, n) についての畳み込み演算行列 Q_{m> n}どうしの関係〉第 8図には、各座標（m, n) についての畳み込み演算行列 Q_m, _nの各要素 Q _m, _n (x, y) の分布状況が示されている。畳み込み演算行列 Q_m, _nの分布も、前述した式（1 8) で定義されることから、 P S F行列 W_m, _nの分布と同様に、軸対称性が保持される。従って、中心座標（M/2, N/2) からの距離が同じ座標についての畳み込み演算行列 <3_σ の分布は、全て同じとなり、単に回転しているだけの関係となる。例えば、第 8図中の一点鎖線で示されるライン 60上に並ぶ各座標（m, n) についての畳み込み演算行列 Q_m, _nの各要素 Q_m, _η (χ ， y) の配置を、中心座標 (M/2, N/2) を中心として回転させれば、第 8 図中の点線で示される他のライン 61， 62， 63, 64上に並ぶ各座標（m, n) についての畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x, y) の配置を算出することができる。なお、第 8図の各座標 (m, n) についての畳み込み演算行列 Q_m, _nの個々の分布が、第 7図の同じ座標についての P S F行列 W_m, _nの分布に対し、 X, yについて反転しているのは、前述した第 5図と第 6図との関係と同める。

このため、畳み込み演算行列記憶手段 32， 33には、全ての座標（m, n) (1≤m≤M, 1≤n≤N) についての畳み込み演算行列 Q_m, _nを記憶させる必要はなく、中心座標（M/2, N/2) から放射状に延びる各直線のうちの一つの直線上に並ぶ座標についての畳み込み演算行列 Q_m, _nをサンプリング行列として記憶させ、その他の座標についての畳み込み演算行列 Q_m, _nは、サンプリング行列を回転させればよい。本実施形態では、記憶させる個々の Q_m, _n (x， y) の配置（ぼけの形状）自体の上下の対称性を確保するため、第 8図中の一点鎖線で示される水平方向のライン 60上に並ぶ各座標についての畳み込み演算行列 Q _{m> n} (前述した第 6図に示すような上下対称の分布となる畳み込み演算行列 Q_m, J を記憶させるものとする。

但し、対角方向のライン 6 1〜64力最も中心座標 (M/2, N/2) から離れた座標を有するので、つまり対角方向のライン 6 1〜64上の各座標についての畳み込み演算行列 Q_m, _nをサンプリングすれば、全ての座標 (m, n) (1 ≤m≤M 1≤n≤N) についての畳み込み演算行列 Q_m, _nを代表させることができるので、.水平方向のライン 60上に並ぶ各座標についての畳み込み演算行列 Q_m, _nを記憶させる際には、第 8図に示す如く、対角方向のライン 6 1〜64と同じ長さ（画角の最大値の半分に対応する長さ）になるように、ライン 60を仮想的に延長してサンプリングする。

また、サンプリング行列として畳み込み演算行列記憶手段 32, 33に記憶させる畳み込み演算行列 Q_m,。は、実験により求めた P S F行列 W_m, _nに基づき算出することが好ましいが、二焦点レンズ 21を構成する各レンズ部 22, 23の内外径、各レンズ部 22, 23の焦点距離、および二焦点レンズ 21と撮像素子 24との間の距離等を用いて計算により求めた P S F行列 W_m, _nに基づき算出してもよい。

このように水平方向のライン 60上に並ぶ各座標（m, n) についての畳み込み演算行列 Q_m, _nのみを記憶させるようにすれば、記憶する情報量を減少させることができる。例えば、 VGA (Video Graphics array) の場合には、 M= 64 0画素、 N=480画素として、 MXN= 307， 200箇所のデータ（約 30 万の全座標のそれぞれについての Q_m, _n (x， y) の分布）を記憶するのではなく、対角方向の半分の長さ（画角の最大値の半分に対応する長さ）分だけを記憶するものとすれば、（M² + N²) ^1/2Z2 = 400箇所のデータを記憶すれば済むので、記憶する情報量を約 770分の 1にすることができる。さらに、第 6図に示す如く、水平方向のライン 60上に並ぶ各座標についての畳み込み演算行列

Q_m, _nの Qm, _η (χ， y) の個々の分布は、いずれもライン 60に対して上下対称なので、上側半分（または下側半分）のみを記憶すればよい。このため、記憶する情報量は、更に半分になり、約 1 540分の 1にすることができる。また、このように第 6図の分布の上側半分（下側半分でも同じことである。）を記憶する際には、第 4図に示した非零要素を含む行列部分 Hに相当する部分のみを記憶すればよいのは、前述した通りである。

なお、メモリ容量に余裕がある場合等には、全ての座標 (m, n) (1≤m≤ M、 1≤n≤N) についての畳み込み演算行列 Q_m, _nを畳み込み演算行列記憶手段 32， 33に記憶させてもよい。

<畳み込み演算行列 Q_m, _nの回転 > 第 9図には、第 6図に示した水平方向のライン 6 0 (第 8図参照）上に並ぶ各座標についての畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x, y) を、一例として 45度回転させた配置が示されている。第 1 0図には、第 9図の配置のうち、太枠で囲った 9つの画素分の領域 70を拡大した状態が示されている。本願明細書では、算出対象となる畳み込み演算行列 Q_m, _n (サンプリング行列以外の行列 ) の要素 Q_m, _n (x, y) に対応する領域（第 9図の水平 ·鉛直方向の点線で区画された領域）を第一区画領域と呼び、回転後のサンプリング行列 Q_{m> n}の要素 Q_m, _n (x， y) に対応する領域（第 9図の斜め方向の実線で区画された領域）を第二区画領域と呼ぴ、説明を行うものとする。

第 1 0図において、 f 1 5〜 f 1 9の値は、これらの値が記載されている各第二区画領域に対応する要素 Q_m, _n (x, y) の値である。第 1 0図の領域 70に含まれる 9つの第一区画領域のうちの中央の第一区画領域（ハッチングされた領域）に対応する要素 Q_m, _n (x， y) の値は、次のように算出することができる先ず、正確に算出するには、ハッチングされた第一区画領域に重なる全ての第二区画領域を把握する。第 1 0図の場合には、 f l 6， f 1 7, f 1 8, f 1 9 の各値を有する 4つの要素に対応する 4つの第二区画領域が重なっている。ここで、ハッチングされた第一区画領域と f 1 6の第二区画領域との重なり部分の面積をひ 1とし、同様に、ハッチングされた第一区画領域と f 1 7， f 1 8, f 1 9の第二区画領域との重なり部分の面積を、それぞれ ο; 2, a 3, ひ 4とすると、ハッチングされた第一区画領域に対応する要素 Q_m, _η (χ, y) の値は、次の式（20) により、面積割合に基づく加重平均により算出される。

Q_{m n} (X, y) = {f l 6Xal + f l 7Xa2+f l 8Xa3

+ f 19Xa4} / (α1 + α2 + α3 + α4) · . · (20) し力し、上記式（20) による面積割合に基づく加重平均の算出を行うと、計算量が多くなる。そこで、ハッチングされた第一区画領域の所定位置 (本実施形態では、一例として中央位置 71とする。）に重なる第二区画領域を求め、求めた第二区画領域に対応する要素 Q_m, _n (x， y) の値を、算出対象となる畳み込み演算行列 Q_m, _nの要素 Q_m, _n (x, y) の値として採用する。つまり、サンプリング行列 Q_m, _nの各要素 Q_m, _n (x， y) の値を、そのまま採用する。第 10 図の場合には、ハッチングされた第一区画領域の中央位置 71には、 f l 6の第二区画領域が重なっているので、ハッチングされた第一区画領域に対応する要素

Q_m, _n (x, y) の値は、 f 16とする。

第 1 1図には、ハッチングされた第一区画領域の場合と同様にして、第 10図の領域 70に含まれる他の 8つの第一区画領域についても、それらの中央位置に重なる第二区画領域をそれぞれ求め、各要素 Q_m, _n (x, y) の値を算出決定した結果が示されている。第 1 1図において、領域 70に含まれる 9つの第一区画領域のうち、右上および左下の第一区画領域については、これらの領域の中央位置に重なる第二区画領域が零要素となっているので、右上および左下の第一区画領域に対応する要素 Q_m, _n (x, y) の値は、ゼロとする。

なお、例えば、高性能の CPUを用いる場合や、処理速度に制約が無い場合等には、前述した式（20) による面積割合に基づく加重平均の算出を行ってもよい。

そして、以上のようにして、畳み込み演算行列回転算出手段 35によりサンプリング行列 Q_m, _nを回転させて算出されるのは、畳み込み演算行列記憶手段 32 , 33にサンプリング行列 Q_m, _nのうち非零要素を含む行列部分 H (第 4図参照 ) の対称性を考慮した略半分（第 6図の分布の場合には、上側半分）の値のみが記憶されていることから、これに対応し、算出対象となる畳み込み演算行列 Q_m , _nのうち非零要素を含む行列部分 Hの値のみである。

また、畳み込み演算行列回転算出手段 35によりサンプリング行列 Q_m, _nを回転させてサンプリング行列以外の畳み込み演算行列 Q_m,。を算出する際には、算出対象となる各畳み込み演算行列 Q_m, _nについて、予め回転情報を回転情報記憶手段 34に記憶させておく。

第 12図は、畳み込み演算行列 Q_m, _nの回転情報の説明図である。第 12図に示すように、畳み込み演算行列 Q_m, _nを算出する際には、回転情報として、算出対象となる畳み込み演算行列 Q_m, _nの座標（m, n) と中心座標 (MX 2, N/ 2) との距離]:、および畳み込み演算行列 Q_{m> n}の座標 (m, n) と中心座標 ( M/2, N/2) とを結ぶ線がライン 60となす角度 Θがあればよい。

r = { (m-M/2) ²+ (n-N/2) ²} ^1/2 (21)

0 = a r c t a n { (m-M/2) / (n-N/2) ·} (22) 算出対象となる各畳み込み演算行列 Q_m, _nについての回転情報は、上記式（2 1) およぴ式（22) により算出される距離 rおよび角度 Θである。そして、回転情報記憶手段 34には、これらの距離 rおよび角度 0を、算出対象となる各畳み込み演算行列 Q_m, _nについて記憶させておけばよいが、二焦点レンズ 21が軸対称性を有することから、各畳み込み演算行列 Q_m, _nの分布についても軸対称性が保持されるので、実際には、 4象限のうちの 1象限のみの各座標について記憶させておけばよい。従って、記憶させる情報量は、 4分の 1となる。

また、距離 rを記憶する際に、端数が出た場合には、四捨五入等により整数化して記憶しておく。距離 rは、ライン 60上のいずれのサンプリング行列を回転させるかを決めるために記憶するものである。なお、端数があるままの状態で記憶しておき、畳み込み演算行列回転算出手段 35による演算処理を行う際に、四捨五入等により整数化し、いずれのサンプリング行列を回転させるかを決めてもよい。また、いずれのサンプリング行列を回転させるかを決めることができればよいので、距離 rではなく、サンプリング行列を特定するための番号等の識別情報を記憶しておいてもよい。

さらに、上記のようにサンプリング行列を特定するための番号等の識別情報（距離 r以外の識別情報）を回転情報記憶手段 34に記憶させる場合には、ライン 60上の全ての座標についての畳み込み演算行列 Q_ra, _nをサンプリング行列として畳み込み演算行列記憶手段 32， 33に記憶してく必要はなく、各畳み込み演算行列 Q_m, _nの分布が略同じになる範囲の各座標については、それらのうちの一つの畳み込み演算行列 Q_{m> n}のみを記憶させてもよい。つまり、ライン 60上において間隔を置いて定められた特定座標についての畳み込み演算行列 Q_m,。のみを記憶してもよい。

そして、上記の場合と同様に、ライン 60上において間隔を置いて定められた特定座標についての畳み込み演算行列 Q_m, _nのみを、サンプリング行列として畳み込み演算行列記憶手段 32， 33に記憶させる場合には、回転情報記憶手段.3 4に記憶させる距離を、次のように決めてもよい。すなわち、前述した式（21 ) による距離 rの算出処理で端数が出たか否かにかかわらず、式（21) により算出された距離 rをそのまま記憶するのではなく、各サンプリング行列 Q_m, _nに対応する複数の特定距離の中から、式（21) により算出された距離 rが最も近いものを選択し、その選択された特定距離を、回転情報記憶手段 34に記憶させるようにしてもよい。例えば、特定距離 3， 6， 9， 12, …の複数のサンプリング行列 Q_m, _nが用意されているものとすると、式（21) により算出された距離 r力 6. 5や 7の場合には、 6が近いので特定距離 6を記憶し、 8や 8. 5 の場合には、 9が近いので特定距離 9を記憶する。なお、式（21) により算出された距離 r力特定距離のいずれかと丁度同じになった場合には、その特定距離を記憶する。

なお、以上の説明では、被写体座標系（s， t) および画像座標系（h, k) は、被写体行列 Aおよび画像行列 Zの行番号や列番号に対応させて各座標値が正の値のみをとるように設定され、これらの被写体座標系（s， t) および画像座標系（h, k) における 1点を示す座標 (m, n) は、 l ^m≤M、 1≤n≤N の範囲で動くものとされていた。従って、被写体や撮像素子 24の中央位置の座標は（M/2, N/2) として説明されていた。し力し、回転計算の簡易化や対称位置の把握容易性等の観点から、被写体座標系（s, t) および画像座標系（ h, k) を、各座標値が正負の値をとるように設定し、例えば、被写体や撮像素子 24の中央位置の座標が（0， 0) になるようにして、座標（m, n) が一 M /2≤m≤M/2, 一 N/2 n≤Nノ 2の範囲で動くようにしてもよい。従つて、本願の請求項における各座標系の設定も、説明のための便宜上の設定であり、本発明は、請求項に記載された表現形式の設定に限定されるものではなく、実質的に同様な処理を行うことができる設定であればよい。

このような本実施形態においては、以下のようにして画像改質処理装置 30により、二焦点レンズ 21を用いて被写体を撮像して得られた画像の質の改善が図られる。

先ず、被写体の撮像を行う前に、式（18) に基づき、ライン 50 (第 7図参照）上の各座標（m, n) についての P S F行列 W_m, _nの各要素 W_m, _n (x, y ) の値を用い、ライン 60 (第 8図参照）上の各座標（m， n) についての畳み込み演算行列 Q_m, _nの各要素 Q_∞, _η (χ, y) の値を予め算出し、サンプリング行列として画像改質処理装置 30の畳み込み演算行列記憶手段 32, 33に記憶しておく。なお、記憶するのは、非零要素を含む行列部分 H (第 4図参照）の各値のみでよく、しかもライン 60上では第 6図に示すように上下対称の分布なので、上側半分の各値のみでよい。

また、式（21) および式（22) により、サンプリング行列以外の畳み込み演算行列 Q_m, _nの回転情報（距離 rおよび角度 0) を予め算出し、画像改質処理装置 30の回転情報記憶手段 34に記憶させておく。

次に、通常の被写体または近接被写体のいずれを撮像するのかを判断し、切替操作手段 37の切替選択操作を行つた後、撮像機構 20により被写体を撮像する。この際、被写体から発せられた光は、二焦点レンズ 21の各レンズ部 22, 2 3を通過して撮像素子 24に至る。そして、被写体からの光を受けた撮像素子 2 4の出力信号を引き出して画像改質処理装置 30に取り込み、出力信号記憶手段 31に記憶する。続いて、畳み込み演算行列回転算出手段 35により、畳み込み演算行列記憶手段 32, 33のいずれかに記憶されたサンプリング行列 Q_m, _nの各要素 Q_m, _n ( x， y) の値（第 6図のような上下対称な分布のうち、第 4図に示した非零要素を含む行列部分 Hに相当する部分の上側半分の各値）と、回転情報記憶手段 34 に記憶された回転情報とを用い、サンプリング行列以外の畳み込み演算行列 Q_m , _nの各要素 Q_m, _n (χ， y) の値を算出する。

さらに、再生演算手段 36により、畳み込み演算行列記憶手段 32, 33のいずれかに記憶された各要素 Q_m, _n (x, y) の値おょぴ畳み込み演算行列回転算出手段 35により算出された各要素 Q_m, _n (x, y) の値（第 4図の行列部分 H の各値）と、出力信号記憶手段 31に記憶された画像の出力信号を示す画像行列 Zの各要素 Z (m+x, n + y) の値とを用い、式（1 9) に基づき被写体行列 Aの各要素 A (m, n) の値を算出する。

その後、求めた被写体行列 Aの各要素 A (m， n) の値を用い、撮像対象となつた被写体を表示手段 40の画面上に表示する。また、必要に応じ、図示されないプリンタ一等の出力手段により、被写体の印刷を行ってもよい。

このような本実施形態によれば、次のような効果がある。すなわち、画像改質処理装置 30は、再生演算手段 36を備えているので、被写体を二焦点レンズ 2 1により撮像した際に、畳み込み演算行列記憶手段 32, 33に記憶された畳み込み演算行列 Q_{m> n}の各要素 Q_m, _n (x, y) のうちの少なくとも一部の値と、撮像して得られた画像の出力信号を示す画像行列 Zの各要素 Z (m+x, n + y ) の値とを用い、式（19) に基づき被写体行列 Aの各要素 A (m, n) の値を算出することができる。

この際、再生演算手段 36による演算処理は、式（1 9) に基づき予め算出されて畳み込み演算行列記憶手段 32, 33に記憶された畳み込み演算行列 Q_m, _n の各要素 Q_m, _n (x, y) の値を用いて行われるので、式（3) に示すような M X N行 MX N列の巨大逆変換行列 T ¹を用いて演算処理を行う場合に比べ、非常に少ない計算量で、被写体行列 Aの各要素 A (m, n ) の値を算出することができる。

従って、 C P Uに要求される性能の条件が緩和されるので、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度の C P Uの能力でも、被写体の再生を短時間の処理で実行することができる。このため、携帯型の情報端末装置に画像改質処理装置 3 0を搭載すれば、画像改質機能を備えた携帯型の情報端末装置を実現でき、情報端末装置の使い勝手や性能の向上を図ることができる。

また、畳み込み演算行列記憶手段 3 2， 3 3には、ライン 6 0 (第 8図参照）上の各座標（m， n ) についての畳み込み演算行列 Q_m, _nが記憶されているので、再生演算手段 3 6により、ぼけの形状が各画素で異なることを考慮した画像改質処理を行うことができる。このため、全ての画素で同じ形状のぼけが発生すると仮定した画像改質処理を行う場合に比べ、画像改質効果をより一層高めることができる。

さらに、画像改質処理装置 3 0は、回転情報記憶手段 3 4およぴ畳み込み演算行列回転算出手段 3 5を備えているので、二焦点レンズ 2 1の軸対称を利用し、光軸位置（被写体や撮像素子 2 4の中央位置）を中心として、サンプリング行列として畳み込み演算行列記憶手段 3 2， 3 3に記憶されたライン 6 0 (第 8図参照）上の各座標 (m, n ) についての畳み込み演算行列 Q_m, _nを回転させることにより、その他の座標についての畳み込み演算行列 Q_m, _nを算出することができる。このため、畳み込み演算行列記憶手段 3 2， 3 3に記憶させるデータ量を減らすことができる。

そして、畳み込み演算行列回転算出手段 3 5は、第 1 0図に示すように、第一区画領域の所定位置（本実施形態では、中央位置）に重なる第二区画領域を求め、その第二区画領域の値によりサンプリング行列以外の畳み込み演算行列 Q_m, _n の各要素 Q_{m n} ( , y ) の値を算出決定する構成とされているので、式（2 0 ) により面積割合に基づく加重平均を算出して第一区画領域に対応する要素 Q_m , _n ( x , y ) の値を厳密に算出する場合に比べ、処理内容を簡単にすることができ、処理時間の短縮を図ることができる。

また、画像改質処理装置 3 0は、切替操作手段 3 7を備えているので、撮像する被写体の距離に応じ、畳み込み演算行列記憶手段 3 2， 3 3のデータを切替選択して被写体の再生演算を行うことができる。このため、被写体が標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれの場合であっても、二焦点レンズ 2 1を構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なつた画像から、ピントの合った画像を求める画像改質処理を、短時間の処理で実現することができ、通常の被写体おょぴ近接被写体のいずれについても鮮明な画像を得ることができる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。

すなわち、前記実施形態では、畳み込み演算行列回転算出手段 3 5は、第 1 0 図に示すように、第一区画領域の所定位置（本実施形態では、中央位置）に重なる第二区画領域を求め、求めた第二区画領域の値により第一区画領域に対応する要素 Q_m, _n ( x， y ) の値を算出決定する構成とされていたが、本発明における畳み込み演算行列回転算出手段は、第二区画領域の所定位置 (例えば、中央位置 ) が重なっている第一区画領域を求め、求めた第一区画領域に対応する要素 Q_m , _n ( x , y ) の値として、この第一区画領域に所定位置が重なっている第二区画領域の値を採用する構成としてもよい。例えば、第 1 0図の場合には、 f 1 6 の第二区画領域の中央位置が重なつている第一区画領域は、ハッチングきれた中央の第一区画領域であるから、この中央の第一区画領域の値として、 f l 6を採用する。

また、前記実施形態では、二焦点レンズ 2 1に本発明が適用されていたが、本発明は、単焦点レンズに適用してもよい。第 1 3図には、二焦点レンズ 2 1およぴ単焦点レンズ 9 0のぼけの形状（単一輝点からの光の拡がりを示す P S F行列 W_m, _nの分布）の比較結果が示されている。

第 1 3図において、標準的な距離にある通常被写体を二焦点レンズ 2 1により撮像した場合の P S F行列 W_m, _nの分布は、長焦点レンズ部 2 2を理想的なレンズであると考えたときにこの長焦点レンズ部 2 2によりピントの合った画像が形成される W_m, _n ( 0， 0 ) を中心とし、実際の長焦点レンズ部 2 2により W_m, _n ( 0 , 0 ) の周囲に形成される略中実円形状または略中実楕円形状の若干のぼけ部分 8 0と、短焦点レンズ部 2 3により形成されるリング状（略円環状または略楕円環状）のぼけ部分 8 1とを備えている。

また、標準的な距離よりも近い距離にある近接被写体を二焦点レンズ 2 1により撮像した場合の P S F行列 W_m, _nの分布は、短焦点レンズ部 2 3を理想的なレンズであると考えたときにこの短焦点レンズ部 2 3によりピントの合つた画像が形成される W_m， _n ( 0， 0 ) を中心とし、実際の短焦点レンズ部 2 3により W_ra> _n ( 0， 0 ) の周囲に形成される略中実円形状または略中実楕円形状の若干のぼけ部分 8 2と、長焦点レンズ部 2 2により形成される略中実円形状または略中実楕円形状のぼけ部分 8 3とを備えている。これらのぼけ部分 8 2， 8 3は、重なつている。

さらに、標準的な距離にある通常の被写体またはこれよりも近い距離にある近接被写体を単焦点レンズ 9 0により撮像した場合の P S F行列 W_m, _nの分布は、単焦点レンズ 9 0を理想的なレンズであると考えたときにこの単焦点レンズ 9 0 によりピントの合った画像が形成される W_m, _n ( 0， 0 ) を中心とし、実際の単焦点レンズ 9 0により W_m, _n ( 0 , 0 ) の周囲に形成される略中実円形状または略中実楕円形状の若干のぼけ部分 9 1を備えている。単焦点レンズ 9 0によるぼけ部分 9 1の形成は、通常の被写体を二焦点レンズ 2 1により撮像した場合における長焦点レンズ部 2 2によるぼけ部分 8 0の形成、および近接被写体を二焦点レンズ 21により撮像した場合における短焦点レンズ部 23によるぼけ部分 82 の形成と原理的には同様の意味合！/、を持つものである。

本発明では、再生演算手段 36による被写体の再生演算処理で用いる畳み込み演算行列 Q_m, _η (χ, y) を定義するための PS F行列 W_m, _n (x, y) を、次のように定めることができる。先ず、通常の被写体を二焦点レンズ 21により撮像した場合には、ぼけ部分 80については、ぼけ部分 81と同等に取り扱ってもよく、あるいは、ぼけ部分 80の各要素の値を合計して W_ra, _n (0, 0) の値を置き換え、かつ、 W_m, _n (0， 0) を除くぼけ部分 80の各要素の値をゼロにしてもよい。後者の場合は、理想的な長焦点レンズ部 22により W_m, _n (0, 0) に完全にピントが合つた画像が形成された場合と同様な分布にするものである。次に、近接被写体を二焦点レンズ 21により撮像した場合には、ぼけ部分 82 については、ぼけ部分 83と同等に取り扱ってもよく、あるいは、ぼけ部分 82 の各要素の値（実際には、長焦点レンズ部 22によるぼけ部分 83の画像の出力信号値が重なっているが、この値の大きさは小さいので、短焦点レンズ部 23によるぼけ部分 82の画像の出力信号^ tのみであると考えてよい。）を合計して W _m, _n (0, 0) の値を置き換え、かつ、 W_m, _n (0, 0) を除くぼけ部分 82の各要素の値をゼ口にしてもよい。後者の場合は、理想的な短焦点レンズ部 23により W_m, _n (0， 0) に完全にピントが合った画像が形成された場合と同様な分布にするものである。

さらに、通常の被写体または近接被写体を単焦点レンズ 90により撮像した場合には、ぼけ部分 91の各要素の値を合計して W_m, _n (0， 0) の値を置き換えると、ぼけの部分が無くなってしまい、意味を成さないので、この方法は採用せず、 W_{m n} (0, 0) の値はそのままの値とする。産業上の利用可能性

以上のように、本努明の画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体は、例えば、携帯情報端末（PDA： Personal Digital Assis tants) 、携帯電話機 (PHS ： Personal Handy phone System を含む。）、テレビジョンゃビデオ等の家電機器の操作用のリモート · コント口ール装置、力メラ付パソナル . コンピュータ、および監視カメラ装置等の二焦点レンズや単焦点レンズによる画像入力機能を持つ情報端末装置などに適用することができる。

Claims

請求の範囲

1. レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理方法であって、

撮像素子の大きさを M画素 XN画素とし、被写体の発する光の明るさを示す M 行 N列の行列を Aとし、前記被写体を前記レンズにより撮像して得られた画像の出力信号を示す M行 N列の行列を Zとし、被写体座標系の 1点（m, n) から出た光の結像位置が画像座標系の 1点（m, n) となるように前記被写体座標系および前記画像座標系を設定したとき、

畳み込み演算処理を行うための座標（m, n) についての（2M—1) 行（2 N- 1) 列の畳み込み演算行列 Q_m, _nの各要素 Q_{m> n} (x, y) の値のうち少なくとも非零要素を含む行列部分の値を、各座標（m n) の全部または一部について、下式（A— 1) に基づき予め算出して畳み込み演算行列記憶手段に記憶しておき、

前記被写体を前記レンズにより撮像した際に、再生演算手段により、前記畳み込み演算行列記憶手段に記憶された各要素 Q_m, （χ, y) のうちの少なくとも一部の値と前記画像の出力信号の行列 Zの各要素 Z (m+x, n + y) の値とを用いて下式（A— 2) に基づき前記被写体の行列 Aの各要素 A (m n) の値を算出することを特徴とする画像改質処理方法。

Q_m, _n (x, y) = 1 ZW_m, _n (0, 0)

(x = 0, y = 0の場合）

= -W_m, _n (- X , -y) ZW_{m> n} (0 0) P

(x = 0, y = 0以外の場合）

(A— 1) A (m, n) =∑_x∑_yQ_m, _n (x, y) Z (m+x, n + y)

(A- 2) ここで、

xおよび yは整数で、（l—M) ≤x≤ (M— 1) 、 (1 -Ν) ≤γ≤ (Ν— 1) であり、

mおよび ηは自然数で、 l≤m≤M、 l≤n≤Nであり、

W_{mi n} (x, y) は、（2M— 1) 行（2N— 1) 列の行列 W_m, _nの各要素の値であり、この行列 W_m, _nは、前記被写体の 1点（m， n ) カゝら出た光が前記レンズの作用により前記撮像素子上で拡がる状態を示すボイント ·スプレツド ·フアンクシヨン行列であり、 W_m, _n (0, 0) は、拡がりの中心部分に位置する画素の出力信号の値であり、 W_m, _n (- X , -y) は、周囲のぼけ部分に位置する画素の出力信号の値であり、

p o w e rは、 W_m, _n (0, 0) のべき乗数となる実数で、 l≤p owe r 2であり、

∑_xは、 x= (l—M) 〜（M— 1) の和であり、 ∑_yは、 y = ( 1 -N) 〜 (N— 1) の和である。

2. 各座標（m， n) についての畳み込み演算行列 Q_m, _nのうち、光軸位置から一方向に延びる直線上に並ぶ座標についての畳み込み演算行列 Q _m, _nをサンプリング行列として選択し、

前記畳み込み演算行列記憶手段には、前記サンプリング行列 Q_{m> n}の各要素 Q _m, _n ( , y) の値のみを記憶させておき、

その他の座標についての畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x， y) の値は、畳み込み演算行列回転算出手段により、前記レンズの軸対称を利用して、前記サンプリング行列 Q_m, _nの各要素 Q_m, _n (x, y) の値の配置を前記光軸位置を中心として回転させることにより算出する

ことを特徴とする請求の範囲第 1項記載の画像改質処理方法。

3. 前記畳み込み演算行列回転算出手段により前記その他の座標についての畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (χ, y) の値を算出する際には、

前記サンプリング行列 Q_m, _nの各要素 Q_m, _n ( , y) の値の配置を回転させたときに、

算出対象となる畳み込み演算行列 Q_m, _nの要素 Q_m, _n (x， y) に対応する第一区画領域の所定位置に重なる回転後の前記サンプリング行列 Q_m, _nの要素 Q_m, _n (x, y) に対応する第二区画領域を求め、求めた第二区画領域に対応する要素 Q_m, _n (x, y) の値を、算出対象となる畳み込み演算行列 Q_m, _nの要素 Q_m, _n (x, y) の値として採用する力 \

または、前記第二区画領域の所定位置が重なっている前記第一区画領域を求め、求めた前記第一区画領域に対応する要素 Q_m, _n (x， y) の値として、この第一区画領域に前記所定位置が重なっている前記第二区画領域に対応する要素 Q_m , _n (x, y) の値を採用する

ことを特徴とする請求の範囲第 2項記載の画像改質処理方法。

4. 前記レンズは、二焦点レンズであり、

前記行列 Zは、前記二焦点レンズを構成する一方のレンズ部により形成されるピントの合つた画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像の出力信号を示す行列であり、

前記ポィント · スプレツド · ファンクション行列 W_m, _nは、主として前記一方のレンズ部の作用により W_m, _n (0, 0) の値が定まり、主として前記他方のレンズ部の作用により W_m, _n (-X, -y) の値が定まる

ことを特徴とする請求の範囲第 1項〜第 3項のいずれかに記載の画像改質処理方法。

5. レンズにより形成されたピントのぼけた画像をピントの合つた画像に改質する画像改質処理装置であって、

撮像素子の大きさを M画素 XN画素とし、被写体の発する光の明るさを示す M 行 N列の行列を Aとし、前記被写体を前記レンズにより撮像して得られた画像の出力信号を示す M行 N列の行列を Zとし、被写体座標系の 1点（m， n) から出た光の結像位置が画像座標系の 1点（m， n) となるように前記被写体座標系および前記画像座標系を設定したとき、

各座標（m， n) の全部または一部について、下式（B— 1) に基づき算出された畳み込み演算処理を行うための座標（m， n) についての（2M—1) 行（ 2N- 1) 列の畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (x, y) の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、この畳み込み演算行列記憶手段に記憶された各要素 Q_m, _n (x, y) のうちの少なくとも一部の値と前記画像の出力信号の行列 Zの各要素 Z (m+x, n + y ) の値とを用いて下式 (B-2) に基づき前記被写体の行列 Aの各要素 A (m， n) の値を算出する再生演算手段と

を備えたことを特徴とする画像改質処理装置。

Q_m, _n ( , y) = 1 /W_{m> n} (0， 0)

(x = 0, y = 0の場合）

= -W_m, _n (- X, 一 y) ZW_m, _n (0, 0) ^power

(x = 0, y = 0以外の場合）

(B- 1)

A (m, n) =∑_x∑_yQ_m, _n (x, y) Z (m+x, n + y)

(B-2) ここで、

xおよび yは整数で、（l—M) ≤x≤ (M- 1) 、 (1 -N) ≤y≤ (N— 1) であり、

mおよび nは自然数で、 l≤m≤M、 l ^n^Nであり、 W_{m> n} (x, y) は、（2M— 1) 行（2N— 1) 列の行列 W_m, _nの各要素の値であり、この行列 W_m, _nは、前記被写体の 1点（m, n) から出た光が前記レンズの作用により前記撮像素子上で拡がる状態を示すポイント .スプレッド .フアンクシヨン行列であり、 W_{m> n} (0， 0) は、拡がりの中心部分に位置する画素の出力信号の値であり、 W_m, _n (- X , 一 y) は、周囲のぼけ部分に位置する画素の出力信号の値であり、

p o w e rは、 W_m, _n (0, 0) のべき乗数となる実数で、 l≤p owe r≤ 2であり、

∑_xは、 x= ( 1 -M) 〜（M— 1) の和であり、 ∑_yは、 y = ( 1 -N) 〜 (N- 1) の和である。

6. 前記畳み込み演算行列記憶手段には、各座標（m， n) についての畳み込み演算行列 Q_{m> n}のうち光軸位置から一方向に延びる直線上に並ぶ座標についての畳み込み演算行列 Q_m, _nがサンプリング行列として選択されてこのサンプリング行列 Q_ra, _nの各要素 Q_m, _n ( , y) の値のみが記憶され、

その他の座標についての畳み込み演算行列 Q_m, _nの各要素 Q_m, _n (_x, y) の値を、前記レンズの軸対称を利用して、前記サンプリング行列 Q_ra, _nの各要素 Q _m, _n (x, y) の値の配置を前記光軸位置を中心として回転させることにより算出する畳み込み演算行列回転算出手段を備えた

ことを特徴とする請求の範囲第 5項記載の画像改質処理装置。

7. 前記畳み込み演算行列回転算出手段は、

前記サンプリング行列 Q_m, _nの各要素 Q_m, _n (x, y) の値の配置を回転させたときに、

算出対象となる畳み込み演算行列 Q_m, _nの要素 Q_m, _n (x, y) に対応する第一区画領域の所定位置に重なる回転後の前記サンプリング行列 Q_m, _nの要素 Q_m, _n (x, y) に対応する第二区画領域を求め、求めた第二区画領域に対応する要素 Q_m, _η (χ, y) の値を、算出対象となる畳み込み演算行列 Q_m, _nの要素 Q_m, _n (x， y) の値として採用する力、

または、前記第二区画領域の所定位置が重なっている前記第一区画領域を求め、求めた前記第一区画領域に対応する要素 Q_m, _n (x, y) の値として、この第一区画領域に前記所定位置が重なっている前記第二区画領域に対応する要素 Q_m , _n (x, y) の値を採用する構成とされている

ことを特徴とする請求の範囲第 6項記載の画像改質処理装置。

8. 前記レンズは、二焦点レンズであり、

前記行列 Zは、前記二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像の出力信号を示す行列であり、

前記ポィント ·スプレツド · ファンクション行列 w_m, _nは、主として前記一方のレンズ部の作用により W_m, _n (0, 0) の値が定まり、主として前記他方のレンズ部の作用により W_m, _n (-X, -y) の値が定まる

ことを特徴とする請求の範囲第 5項〜第 7項のいずれかに記載の画像改質処理装置。

9. レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理装置として、コンピュータを機能させるためのプログラムであつて、

各座標（m， n) の全部または一部について、下式（C— 1) に基づき算出された畳み込み演算処理を行うための座標（m， n) についての（2M—1) 行（ 2N— 1) 列の畳み込み演算行列 Q_{m> n}の各要素 Q_m, _n (x, y) の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、この畳み込み演算行列記憶手段に記憶された各要素 Q_m, _n (x, y) のうちの少なくとも一部の値と前記画像の出力信号の行列 Zの各要素 Z (m+x, n + y ) の値とを用いて下式（C_2) に基づき前記被写体の行列 Aの各要素 A (m, n) の値を算出する再生演算手段と

を備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのプログラム。

Q_m, _n (x, y) = 1 /W_m, _n (0, 0)

(x = 0, y = 0の場合）

= -W_m, _n (一 x， -y) /W_m, _n (0, 0) ^POTer

(x = 0， y = 0以外の場合）

• · (c-i)

A (m， n ) =∑ _x∑ _y Q_{m> n} ( , y ) Z (m+ x , n + y)

(C-2) ここで、

xおよび yは整数で、（l—M) ≤ x≤ (M- 1) 、（1— N) ≤y≤ (N— 1) であり、

mおよび nは自然数で、 l≤m≤M、 l≤n≤Nであり、

W_m, _n (x, y) は、（2M— 1) 行（2N— 1) 列の行列 W_m, _nの各要素の値であり、この行列 W_m, _nは、前記被写体の 1点（m, n) から出た光が前記レンズの作用により前記撮像素子上で拡がる状態を示すボイント ·スプレツド ·フアンクシヨン行列であり、 W_ra, _n (0， 0) は、拡がりの中心部分に位置する画素の出力信号の値であり、 W_m, _n (— x -y) は、周囲のぼけ部分に位置する画素の出力信号の値であり、

p ο w e rは、 W_m, _n (0 0) のべき乗数となる実数で、 l≤p owe r≤ 2であり、

∑ ¾ x= ( 1 -M) （M— 1) の和であり、 ∑_yは、 y= ( 1 -N) (N- 1) の和である。

1 0. レンズにより形成されたピントのぼけた画像をピントの合った画像に改質する画像改質処理で使用されるデータを記録したコンピュータ読取り可能なデータ記録媒体であって、

行列 Zから行列 Aを算出するために用いる行列として、各座標（m n) の全部または一部について、下式（D— 1) に基づき算出された畳み込み演算処理を行うための座標（m n) についての（2M—1) 行（2N—1) 列の畳み込み演算行列 Q_m, _nの各要素 Q_m, _η (χ, _y) の値のうち少なくとも非零要素を含む行列部分の値を記録したコンピュータ読取り可能なデータ記録媒体。

Q_m, _n ( , y) = 1 /W_m, _n (0 0)

(x = 0, y = 0の場合）

= -W_m, _n (- X , 一 y) ZW_m, _n (0, 0)

(x = 0, _y = 0以外の場合）

(D— 1) ここで、 xおよび yは整数で、（1— M) ≤x≤ (M- 1) 、（1— N) ≤y≤ (N— 1) であり、

mおよび nは自然数で、 l≤m≤M、 l≤n≤Nであり、

W_m, _n (x， y) は、（2M— 1) 行（2N— 1) 列の行列 W_m, _nの各要素の値であり、この行列 W_{m> n}は、前記被写体の 1点（m, n) から出た光が前記レンズの作用により前記撮像素子上で拡がる状態を示すポイント 'スプレッド 'フアンクシヨン行列であり、 W_{m> n} (0， 0) は、拡がりの中心部分に位置する画素の出力信号の値であり、 W_m, _n (— x， -y) は、周囲のぼけ部分に位置する画素の出力信号の値であり、

p o w e rは、 W_m, _n (0, 0) のべき乗数となる実数で、 I p owe r 2である。