JP3699921B2 - 画像再構成法及び画像再構成装置 - Google Patents
画像再構成法及び画像再構成装置 Download PDFInfo
- Publication number
- JP3699921B2 JP3699921B2 JP2001337227A JP2001337227A JP3699921B2 JP 3699921 B2 JP3699921 B2 JP 3699921B2 JP 2001337227 A JP2001337227 A JP 2001337227A JP 2001337227 A JP2001337227 A JP 2001337227A JP 3699921 B2 JP3699921 B2 JP 3699921B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reduced
- object image
- shift amount
- image reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000005314 correlation function Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 9
- 150000001875 compounds Chemical class 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000008707 rearrangement Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 1
- 206010027146 Melanoderma Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，複数のマイクロレンズを利用した複眼画像入力装置を用いて取得した複数の低解像な物体縮小像から，高解像な単一の物体像を再構成する手法に関する。
【０００２】
【従来の技術】
様々な画像情報を，効率的且つ高品質に取得する画像入力装置としては，デジタルカメラ，ビデオカメラ等，被写体である物体に対向する単一の光学系によって物体像を取得する構成の画像入力装置が広く用いられている。しかし，近年，画像入力装置の更なる小型，薄型化を図るために，昆虫等に見られる複眼構造を模倣した複眼画像入力装置が開発されている。
該複眼画像入力装置は，複数のマイクロレンズを配列したマイクロレンズアレイと平面状に形成された受光素子とを具備して概略構成されており，上記マイクロレンズアレイによって上記受光素子上に結像される複数の低解像な物体縮小像を信号処理することにより単一の物体像を再構成する構造である。従って，単一の光学系を用いた画像入力装置に較べて小型，薄型の構成であるにも拘わらず，明るい光学系を実現するものであるが，一つづつの物体縮小像は解像度が低い欠点を有しており，これら複数の物体縮小像を用いて解像度の高い画像を再構成することが行われている。
上記のような複数の低解像な物体縮小像から単一の物体像を再構成する複眼画像入力装置の画像再構成法としては，例えば熊谷の修士論文“複眼光学系を用いた画像入力システムに関する研究”（大阪大学，２０００），谷田，熊谷等の論文“Ｔｈｉｎ ｏｂｓｅｒｖａｔｉｏｎ ｍｏｄｕｌｅ ｂｙ ｂｏｕｎｄ ｏｐｔｉｃｓ （ＴＯＭＢＯ）：ｃｏｎｃｅｐｔ ａｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｖｅｒｉｆｉｃａｔｉｏｎ” Ａｐｐｌ．Ｏｐｔ．４０，１８０６−１８１３（２００１）において相加平均法と擬似逆行列法が開示されている。
前者の相加平均法は，上記物体縮小像の重心位置を基準として重ね合わせることにより，単一の物体像を再構成する手法である。
後者の擬似逆行列法は，先ず，被写体である物体と物体縮小像とをベクトルで表現し，光学系の点像分布関数を行列で記述する。続いて，該点像分布関数の逆行列を数学的に演算することにより，単一の物体像を再構成する手法である。
【０００３】
【発明が解決しようとする課題】
しかしながら，上記複眼画像入力装置は，同一物体を異なる視点から複数の微小光学系で撮像するものであり，上記複数の物体縮小像には視差が含まれるが，上述の相加平均法は，受光素子上に形成された複数の低解像な物体縮小像を単に重ねる手法であるため，上記物体縮小像間の視差が物体情報の位置ゆらぎとなり，再構成される物体像の解像度は向上せず，高い解像度を得ることはできない。一方，上述の擬似逆行列法では，理論上，上記点像分布関数を正確に記述することによって再構成される物体像の解像度を高くすることが可能となる。しかし，実際には物体と上記マイクロレンズアレイとの距離，或いは上記マイクロレンズアレイと上記受光素子との距離を正確に取得すること，及び上記マイクロレンズアレイ及び上記受光素子のアライメント誤差による影響を正確に取得することは困難である。このため，上記点像分布関数を，正確に記述することは出来ない。更には，逆行列を求める演算においても，該点像分布関数の逆行列は厳密に求めることができないため，近似的な逆行例である擬似逆行列を用いざるを得ない。このため，該擬似逆行列法を用いて再構成し，取得される物体像の解像度の低下を回避できない。
そこで，本発明は上記課題に鑑みて成されたものであり，その目的とするところは，上記マイクロレンズアレイによって上記受光素子上に結像する複数の低解像度な物体縮小像から単一の物体像を回復する画像再構成法において，物体と上記マイクロレンズアレイとの距離が不定である場合や，上記マイクロレンズアレイ及び上記受光素子のアライメント誤差がある場合にも，高解像な単一の物体像を形成する再構成手法を提供することにある。
【０００４】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明は，複数のマイクロレンズが配列されたマイクロレンズアレイにより，受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成法において，上記物体縮小像間の相対位置を，上記物体縮小像間のシフト量に関する相関演算によって算定する第１の工程と，上記物体縮小像の画素を，上記第１の工程により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第２の工程と，上記第２の工程により再配置された上記単一の物体像の欠失した画素を，補間処理により得る第３の工程とを具備してなることを特徴とする画像再構成法として構成されている。
このように構成することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて，該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため，高い解像度を得ることができる。
【０００５】
また，上記第１，第２の工程のみでは，情報が得られない画素の発生を招くこともあるが，補間処理（第３の工程）によって美しい再構成画像を得ることができる。
【０００６】
更に，上記補間処理で得られた単一の物体像を鮮鋭化処理する第４の工程を具備しているものも考えられる。
このように構成することによって，請求項１に記載の画像再構成法で得られた再構成画像に対してエッジ強調等の鮮鋭化処理を施すことが可能となり，更に解像度の高い再構成画像を得ることができる。
【０００７】
ここで，上記シフト量を上記相関演算に用いられる相関関数における相関ピークとして算定することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記物体縮小像の画像情報から，該物体縮小像間の相対位置情報を算定することが可能となる。
【０００８】
また，上記シフト量を上記相関関数を所定の範囲で積分して得られる領域を２等分するシフト量に基づいて決定する形態も考えられる。
このような形態によれば，上記相関関数として離散的な相関関数を線形補間した相関関数を適用した場合等，相関ピークを示すシフト量を相関関数から直接的に読み取ることが困難である場合にも，相関ピークを示すシフト量を算定することが可能となる。
【０００９】
ここで，複眼画像入力装置を用いて取得する物体縮小像は，物体の画像情報を受光素子によって取得した離散的な点の集合である。また，算定すべきシフト量は離散点の間隔より小さい。
このため，物体縮小像間の相関演算には，離散的な相関関数が適用され，且つ該相関関数における相関ピークを示すシフト量の算定には，上記離散的な相関関数を線形補間したものが用いられることになる。
【００１０】
請求項１に記載の発明を画像再構成装置として捉えると，複数のマイクロレンズが配列されたマイクロレンズアレイにより，受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成装置において，上記物体縮小像間の相対位置を，上記物体縮小像間のシフト量に関する相関演算によって算定する第１の手段と，上記物体縮小像の画素を，上記第１の手段により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第２の手段と，上記第２の手段により再配置された上記単一の物体像の欠失した画素を，補間処理により得る第３の手段とを具備してなることを特徴とする画像再構成装置となる。
このように構成することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて，該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため，高い解像度を得ることができる。
例えば，各手段の一実施例としては，上述した請求項１における各工程を実行可能であって，コンピュータ等に格納されたプログラムであることが望ましい。
【００１１】
また，上記画像再構成装置によれば，欠失した画素を含む再構成画像を補間処理することが可能となり，美しい再構成画像を得ることができる。
【００１２】
更にまた，請求項２に記載の発明についても，上記補間処理で得られた単一の物体像を鮮鋭化処理する第４の手段を更に具備してなる形態として考えられよう。
このような形態によれば，ぼけのある再構成画像をエッジ強調等の鮮鋭化処理することが可能となり，更に解像度の高い再構成画像を得ることができる。
【００１３】
【発明の実施の形態】
以下添付図面を参照しながら，本発明の実施の形態及び実施例について説明し，本発明の理解に供する。尚，以下の実施の形態及び実施例は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
ここに，図１は本実施の形態に係る画像再構成法の流れを示す図，図２はマイクロレンズアレイによって受光素子上に結像され，画像情報に変換された物体縮小像を示す図（（ａ）は全体図，（ｂ）は拡大図），図３は物体縮小像間の相関関数を示す図，図４は画像の再配置についての概略説明図，図５は相対位置に従って上記物体縮小像の画素を単一の物体像として再配置した画像を示す図，図６は再配置された単一の物体像の欠失した画素を補間処理した画像を示す図，図７は補間処理された単一の物体像を鮮鋭化処理した画像を示す図である。
【００１４】
ここで，図１を用いて，本発明に係る画像再構成法の手順の概要を説明する。以下Ｓ１，Ｓ２，，は処理手順（ステップ）の番号を示す。
先ず，図１の処理が開始される前に，複数のマイクロレンズが配列されたマイクロレンズアレイによって複数の物体縮小像が，受光素子上に結像されているものとする。図２（ａ）は，被写体である「Ａ」の複数の物体縮小像が上記受光素子上に結像し，画像情報に変換された様子を示している。また，該物体縮小像は，該物体縮小像を拡大した図２（ｂ）が示すように，解像度の低い粗い画像情報である。
上記複数の物体縮小像が結像されると，先ずステップＳ１では，上記物体縮小像間のシフト量に関する相関演算を実施し，上記物体縮小像間の相対位置を算出する。
続いて，ステップＳ２では，上記物体縮小像の画素を，上記相対位置のずれの修正された単一の物体像を同一領域上に再配置する。この上記相対位置のずれ量は各光学系（マイクロレンズ）間の視差によって生じるものである。
このように，本発明に係る画像再構成法は，上記受光素子上に結像された上記物体縮小像のシフト量に関する相関演算を利用して，該物体縮小像間の相対位置を算出することにより，視差によるずれが解消された単一な物体像を再構成することが可能である。
これにより，被写体である物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく鮮明な単一画像を取得することが出来る。
続いて，ステップＳ３では，上記再配置された上記単一の物体像の欠失した画素の補間処理を行う。
これにより，欠失画素のない美しい画像を得ることが出来る。
最後に，ステップＳ４では，上記補間処理で得られた上記単一の物体像を，鮮鋭化処理することにより，さらに高い解像度の物体像を取得することができる。
【００１５】
以下に，上述した各処理手順の詳細について，ステップＳ１から説明する。
（Ｓ１）
ステップＳ１では，上記物体縮小像間の相対位置を算出している。
ここで，本発明に係る画像再構成法は，上記物体縮小像間の相対位置を算出するために相関演算を用いている。即ち，上記物体縮小像間のシフト量に関する相関演算によって算出される相関ピークを示すシフト量に基づいて，上記物体縮小像間の相対位置を算定している。
以下に，上記物体縮小像間の相対的なシフト量に関する相関演算の詳細について説明する。
先ず，簡単のため，上記物体縮小像の相対的なシフト量を平行移動のみであると仮定して考える。
一般に，２つの２変数関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）の正規化相互相関関数Ｒｃ（ｘ，ｙ）は下記式１で定義される。
【００１６】
【数１】
【００１７】
ここで，上記物体縮小像は同一形状であるため，上記２変数関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）を同一と考えると，上記相関信号波形Ｒｃ（ｘ，ｙ）は，図３（ａ）の破線で示すように，相関ピーク（図３ではｘ＿ｐｅａｋ）を中心として左右対象となる。この場合，Ｒｃ（ｘ，ｙ）とｘ＿ｐｅａｋの間に，下記式２の関係が成り立つことは容易に理解できる。ここで，簡単のために，下記式２は一次元で表している。
【００１８】
【数２】
【００１９】
従って，上記複眼画像入力装置における上記物体縮小像に対して上述した式１及び式２を適用することによって，該物体縮小像間の相関ピークを算出すれば，該物体縮小像間の相対位置を算定できる。
しかしながら，上記複眼画像入力装置における上記物体縮小像は，上記受光素子によってサンプリングされた離散した点によって構成されるため，正規化相互相関関数は離散的となり，下記式３で定義される離散的な相関関数Ｒｄ（ｘi，ｙj）が適用される。（図３（ａ）には矢印で示す）
ここで，サンプリングされたシフト位置を｛ｘi：ｉ＝０，１，２，…，Ｎ，ｙj：ｊ＝０，１，２，…，Ｍ｝とした。
【００２０】
【数３】
【００２１】
更に，上記相関関数Ｒｄ（ｘi，ｙj）の相関ピークを示すシフト量を求めるために，下記式４に従って線形補間し，図３（ａ）に実線で示す相関関数Ｒｃ’（ｘ，ｙ）を得る。
ここで，［ｘ］はｘの整数部分を示す。
【００２２】
【数４】
【００２３】
しかしながら，図３（ａ）に示すように，上記式４によって得られた相関関数Ｒｃ'（ｘ，ｙ）は，離散的な相関関数を線形補間したものであるため，該相関関数Ｒｃ'（ｘ，ｙ）から直接的に正確なｘ＿ｐｅａｋを識別することが出来ない。
そこで，上記物体縮小像が同一であるために，上記相関信号波形Ｒｃ'（ｘ，ｙ）がｘ＿ｐｅａｋを中心として左右対象となることを利用する。即ち，上述の式２に対して上記Ｒｃ'（ｘ，ｙ）を適用することにより，図３（ｂ）に示すように，Ｒｃ'（ｘ，ｙ）を所定の範囲で積分して得られる領域を２等分するシフト量に基づいてｘ＿ｐｅａｋを算出する。
これにより，上記各物体縮小像間の相対位置を算定することが可能となる。
同様の手順を全ての物体縮小像について繰り返すことによって，ある規準とする物体縮小像に対する，全ての物体縮小像の相対位置を算定する。
ここで，図３（ｂ）に示すように，上記ｘ＿ｐｅａｋを算出の際に，所定の閾値Ｔを設けて，該閾値を上回るデータについてのみ積分を施しても良い。上記閾値Ｔを設けることにより，上記物体縮小像間の相関ピーク近傍のデータを用いて相対位置を算定可能となり，より正確な相対位置を算出することができる。
ここで，上述したステップＳ１を実行可能であって，コンピュータ等の記憶装置に格納されたプログラムが，請求項６〜７に記載した第１の手段の一実施例である。
【００２４】
（Ｓ２）
ステップＳ２では，上記ステップＳ１で算出した上記相対位置のずれの修正された単一の物体像として，上記物体縮小像の画素を同一領域上に再配置を行う。
上記再配置の手順について図４を用いて説明する。
ここで，図４に示すＡ，Ｂ，Ｃは，上記受光素子上に結像された３×３の画素を持つ物体縮小像であり，更にＤは単一の物体像が再配置される領域（上記物体縮小像よりも解像度の高い領域）であって，画素数は受光素子全体と同数とする。
ステップＳ２では，先ず，上記ステップＳ１において，上記物体縮小像間の相対位置を演算の基準とした物体縮小像（図４ではＢで表す）の画素を領域Ｄのスケールを併せて，矢印で示すように配置する。
続いて，他の物体縮小像（図４ではＡ，Ｃで表す）の画素を，上記ステップＳ１で算出した上記物体縮小像Ｂに対する相対位置に基づいて領域Ｄに再配置する。
これにより，領域Ｄ上に，上記相対位置のずれの修正された単一の物体像として再配置することが可能となる。また，再配置の際に画素値自体に操作は行わないため，ノイズ成分の不要な増幅が見られることも無い。
実際に図２（ａ）から再構成した単一の物体像を図５に示す。図２（ｂ）に示した上記物体縮小像と較べて，解像度が著しく向上していることが理解される。
ここで，上述したＳ１と同様に上記ステップＳ２を実行可能なプログラムが，請求項６〜７に記載した第２の手段の一実施例である。
【００２５】
（Ｓ３）
ステップＳ３では，上記再配置された上記単一の物体像の欠失した画素の補間処理を行う。
上記ステップＳ２で得られた単一の物体像は，各物体縮小像の画素を拡大された同一領域内に再配置しただけの画像であるため，物体と上記マイクロレンズアレイとの物体距離によっては，図５に示すように黒い斑点で示される欠失画素を含む場合がある。
そのため，上記のように欠失画素がある場合，その周辺の画素値を用いて補間する。この際，欠失画素では水平，或いは垂直方向に対して線形的に画素値が変化すると仮定すると，欠失画素がＮdel個連続している場合，そのｉ番目の欠失画素に対して補間する画素値Ｐdel（ｉ）は下記式５を適用して算出可能である。
ここで，Ｐ１，Ｐ２は欠失画素に隣接する画素の画素値である。
【００２６】
【数５】
【００２７】
そこで，対象とする欠失画素に対して，水平及び垂直方向に上記式５を適用し，得られた値の平均値を該欠失画素に対する画素値とする。
これにより，図５に示す単一の物体像に含まれる欠失画素に対して，上述した補間処理を施すことによって得られる単一の物体像は，図６に示すように，より物体形状に近い画像とすることが出来る。
ここで，上述したＳ１或いはＳ２と同様に上記ステップＳ３を実行可能なプログラムが，請求項６〜７に記載した第３の手段の一実施例である。
【００２８】
（Ｓ４）
ステップＳ４では，上記補間処理で得られた上記単一の物体像を，鮮鋭化処理する。
ここで，上記ステップＳ３で得られた単一の物体像は，図６に示すようにぼけのある画像である。
そこで，周知である高域強調フィルタ等の手法を用いて高い周波数成分を強調することによって、エッジ強調を行い画像を鮮鋭化する。
これにより得られる単一の物体像は，図７に示すようにエッジ強調された，高解像度な画像とすることが可能となる。
ここで，上述したＳ１〜Ｓ３と同様に上記ステップＳ４を実行可能なプログラムが，請求項７に記載した第４の手段の一実施例である。
【００２９】
【発明の効果】
以上説明したように，上記目的を達成するために請求項１に記載の発明は，複数のマイクロレンズが配列されたマイクロレンズアレイにより，受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成法において，上記物体縮小像間の相対位置を，上記物体縮小像間のシフト量に関する相関演算によって算定する第１の工程と，上記物体縮小像の画素を，上記第１の工程により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第２の工程と，上記第２の工程により再配置された上記単一の物体像の欠失した画素を，補間処理により得る第３の工程とを具備してなることを特徴とする画像再構成法として構成されている。
このように構成することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて，該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため，高い解像度を得ることができる。
【００３０】
また，上記第１，第２の工程のみでは，情報が得られない画素の発生を招くこともあるが，補間処理（第３の工程）によって美しい再構成画像を得ることができる。
【００３１】
更に，上記補間処理で得られた単一の物体像を鮮鋭化処理する第４の工程を具備しているものも考えられる。
このように構成することによって，請求項１に記載の画像再構成法で得られた再構成画像に対してエッジ強調等の鮮鋭化処理を施すことが可能となり，更に解像度の高い再構成画像を得ることができる。
【００３２】
ここで，上記シフト量を上記相関演算に用いられる相関関数における相関ピークとして算定することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記物体縮小像の画像情報から，該物体縮小像間の相対位置情報を算定することが可能となる。
【００３３】
また，上記シフト量を上記相関関数を所定の範囲で積分して得られる領域を２等分するシフト量に基づいて決定する形態も考えられる。
このような形態によれば，上記相関関数として離散的な相関関数を線形補間した相関関数を適用した場合等，相関ピークを示すシフト量を相関関数から直接的に読み取ることが困難である場合にも，相関ピークを示すシフト量を算定することが可能となる。
【００３４】
ここで，複眼画像入力装置を用いて取得する物体縮小像は，物体の画像情報を受光素子によって取得した離散的な点の集合である。また，算定すべきシフト量は離散点の間隔より小さい。
このため，物体縮小像間の相関演算には，離散的な相関関数が適用され，且つ該相関関数における相関ピークを示すシフト量の算定には，上記離散的な相関関数を線形補間したものが用いられることになる。
【００３５】
請求項１に記載の発明を画像再構成装置として捉えると，複数のマイクロレンズが配列されたマイクロレンズアレイにより，受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成装置において，上記物体縮小像間の相対位置を，上記物体縮小像間のシフト量に関する相関演算によって算定する第１の手段と，上記物体縮小像の画素を，上記第１の手段により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第２の手段と，上記第２の手段により再配置された上記単一の物体像の欠失した画素を，補間処理により得る第３の手段とを具備してなることを特徴とする画像再構成装置となる。
このように構成することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて，該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため，高い解像度を得ることができる。
例えば，各手段の一実施例としては，上述した請求項１における各工程を実行可能であって，コンピュータ等に格納されたプログラムであることが望ましい。
【００３６】
また，上記画像再構成装置によれば，欠失した画素を含む再構成画像を補間処理することが可能となり，美しい再構成画像を得ることができる。
【００３７】
更にまた，請求項２に記載の発明についても，上記補間処理で得られた単一の物体像を鮮鋭化処理する第４の手段を更に具備してなる形態として考えられよう。
このような形態によれば，ぼけのある再構成画像をエッジ強調等の鮮鋭化処理することが可能となり，更に解像度の高い再構成画像を得ることができる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像再構成法の流れを示す図。
【図２】マイクロレンズアレイによって受光素子上に結像され，画像情報に変換された物体縮小像を示す図。
【図３】物体縮小像間の相関関数を示す図。
【図４】画像の再配置についての概略説明図。
【図５】相対位置に従って上記物体縮小像の画素を単一の物体像として再配置した画像を示す図。
【図６】再配置された単一の物体像の欠失した画素を補間処理した画像を示す図。
【図７】補間処理された単一の物体像を鮮鋭化処理した画像を示す図。
【符号の説明】
Ａ …物体縮小像
Ｂ …物体縮小像
Ｃ …物体縮小像
Ｄ …単一な物体像を形成する領域
Ｓ１，Ｓ２，，…処理手順（ステップ）の番号
【発明の属する技術分野】
本発明は，複数のマイクロレンズを利用した複眼画像入力装置を用いて取得した複数の低解像な物体縮小像から，高解像な単一の物体像を再構成する手法に関する。
【０００２】
【従来の技術】
様々な画像情報を，効率的且つ高品質に取得する画像入力装置としては，デジタルカメラ，ビデオカメラ等，被写体である物体に対向する単一の光学系によって物体像を取得する構成の画像入力装置が広く用いられている。しかし，近年，画像入力装置の更なる小型，薄型化を図るために，昆虫等に見られる複眼構造を模倣した複眼画像入力装置が開発されている。
該複眼画像入力装置は，複数のマイクロレンズを配列したマイクロレンズアレイと平面状に形成された受光素子とを具備して概略構成されており，上記マイクロレンズアレイによって上記受光素子上に結像される複数の低解像な物体縮小像を信号処理することにより単一の物体像を再構成する構造である。従って，単一の光学系を用いた画像入力装置に較べて小型，薄型の構成であるにも拘わらず，明るい光学系を実現するものであるが，一つづつの物体縮小像は解像度が低い欠点を有しており，これら複数の物体縮小像を用いて解像度の高い画像を再構成することが行われている。
上記のような複数の低解像な物体縮小像から単一の物体像を再構成する複眼画像入力装置の画像再構成法としては，例えば熊谷の修士論文“複眼光学系を用いた画像入力システムに関する研究”（大阪大学，２０００），谷田，熊谷等の論文“Ｔｈｉｎ ｏｂｓｅｒｖａｔｉｏｎ ｍｏｄｕｌｅ ｂｙ ｂｏｕｎｄ ｏｐｔｉｃｓ （ＴＯＭＢＯ）：ｃｏｎｃｅｐｔ ａｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｖｅｒｉｆｉｃａｔｉｏｎ” Ａｐｐｌ．Ｏｐｔ．４０，１８０６−１８１３（２００１）において相加平均法と擬似逆行列法が開示されている。
前者の相加平均法は，上記物体縮小像の重心位置を基準として重ね合わせることにより，単一の物体像を再構成する手法である。
後者の擬似逆行列法は，先ず，被写体である物体と物体縮小像とをベクトルで表現し，光学系の点像分布関数を行列で記述する。続いて，該点像分布関数の逆行列を数学的に演算することにより，単一の物体像を再構成する手法である。
【０００３】
【発明が解決しようとする課題】
しかしながら，上記複眼画像入力装置は，同一物体を異なる視点から複数の微小光学系で撮像するものであり，上記複数の物体縮小像には視差が含まれるが，上述の相加平均法は，受光素子上に形成された複数の低解像な物体縮小像を単に重ねる手法であるため，上記物体縮小像間の視差が物体情報の位置ゆらぎとなり，再構成される物体像の解像度は向上せず，高い解像度を得ることはできない。一方，上述の擬似逆行列法では，理論上，上記点像分布関数を正確に記述することによって再構成される物体像の解像度を高くすることが可能となる。しかし，実際には物体と上記マイクロレンズアレイとの距離，或いは上記マイクロレンズアレイと上記受光素子との距離を正確に取得すること，及び上記マイクロレンズアレイ及び上記受光素子のアライメント誤差による影響を正確に取得することは困難である。このため，上記点像分布関数を，正確に記述することは出来ない。更には，逆行列を求める演算においても，該点像分布関数の逆行列は厳密に求めることができないため，近似的な逆行例である擬似逆行列を用いざるを得ない。このため，該擬似逆行列法を用いて再構成し，取得される物体像の解像度の低下を回避できない。
そこで，本発明は上記課題に鑑みて成されたものであり，その目的とするところは，上記マイクロレンズアレイによって上記受光素子上に結像する複数の低解像度な物体縮小像から単一の物体像を回復する画像再構成法において，物体と上記マイクロレンズアレイとの距離が不定である場合や，上記マイクロレンズアレイ及び上記受光素子のアライメント誤差がある場合にも，高解像な単一の物体像を形成する再構成手法を提供することにある。
【０００４】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明は，複数のマイクロレンズが配列されたマイクロレンズアレイにより，受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成法において，上記物体縮小像間の相対位置を，上記物体縮小像間のシフト量に関する相関演算によって算定する第１の工程と，上記物体縮小像の画素を，上記第１の工程により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第２の工程と，上記第２の工程により再配置された上記単一の物体像の欠失した画素を，補間処理により得る第３の工程とを具備してなることを特徴とする画像再構成法として構成されている。
このように構成することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて，該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため，高い解像度を得ることができる。
【０００５】
また，上記第１，第２の工程のみでは，情報が得られない画素の発生を招くこともあるが，補間処理（第３の工程）によって美しい再構成画像を得ることができる。
【０００６】
更に，上記補間処理で得られた単一の物体像を鮮鋭化処理する第４の工程を具備しているものも考えられる。
このように構成することによって，請求項１に記載の画像再構成法で得られた再構成画像に対してエッジ強調等の鮮鋭化処理を施すことが可能となり，更に解像度の高い再構成画像を得ることができる。
【０００７】
ここで，上記シフト量を上記相関演算に用いられる相関関数における相関ピークとして算定することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記物体縮小像の画像情報から，該物体縮小像間の相対位置情報を算定することが可能となる。
【０００８】
また，上記シフト量を上記相関関数を所定の範囲で積分して得られる領域を２等分するシフト量に基づいて決定する形態も考えられる。
このような形態によれば，上記相関関数として離散的な相関関数を線形補間した相関関数を適用した場合等，相関ピークを示すシフト量を相関関数から直接的に読み取ることが困難である場合にも，相関ピークを示すシフト量を算定することが可能となる。
【０００９】
ここで，複眼画像入力装置を用いて取得する物体縮小像は，物体の画像情報を受光素子によって取得した離散的な点の集合である。また，算定すべきシフト量は離散点の間隔より小さい。
このため，物体縮小像間の相関演算には，離散的な相関関数が適用され，且つ該相関関数における相関ピークを示すシフト量の算定には，上記離散的な相関関数を線形補間したものが用いられることになる。
【００１０】
請求項１に記載の発明を画像再構成装置として捉えると，複数のマイクロレンズが配列されたマイクロレンズアレイにより，受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成装置において，上記物体縮小像間の相対位置を，上記物体縮小像間のシフト量に関する相関演算によって算定する第１の手段と，上記物体縮小像の画素を，上記第１の手段により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第２の手段と，上記第２の手段により再配置された上記単一の物体像の欠失した画素を，補間処理により得る第３の手段とを具備してなることを特徴とする画像再構成装置となる。
このように構成することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて，該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため，高い解像度を得ることができる。
例えば，各手段の一実施例としては，上述した請求項１における各工程を実行可能であって，コンピュータ等に格納されたプログラムであることが望ましい。
【００１１】
また，上記画像再構成装置によれば，欠失した画素を含む再構成画像を補間処理することが可能となり，美しい再構成画像を得ることができる。
【００１２】
更にまた，請求項２に記載の発明についても，上記補間処理で得られた単一の物体像を鮮鋭化処理する第４の手段を更に具備してなる形態として考えられよう。
このような形態によれば，ぼけのある再構成画像をエッジ強調等の鮮鋭化処理することが可能となり，更に解像度の高い再構成画像を得ることができる。
【００１３】
【発明の実施の形態】
以下添付図面を参照しながら，本発明の実施の形態及び実施例について説明し，本発明の理解に供する。尚，以下の実施の形態及び実施例は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
ここに，図１は本実施の形態に係る画像再構成法の流れを示す図，図２はマイクロレンズアレイによって受光素子上に結像され，画像情報に変換された物体縮小像を示す図（（ａ）は全体図，（ｂ）は拡大図），図３は物体縮小像間の相関関数を示す図，図４は画像の再配置についての概略説明図，図５は相対位置に従って上記物体縮小像の画素を単一の物体像として再配置した画像を示す図，図６は再配置された単一の物体像の欠失した画素を補間処理した画像を示す図，図７は補間処理された単一の物体像を鮮鋭化処理した画像を示す図である。
【００１４】
ここで，図１を用いて，本発明に係る画像再構成法の手順の概要を説明する。以下Ｓ１，Ｓ２，，は処理手順（ステップ）の番号を示す。
先ず，図１の処理が開始される前に，複数のマイクロレンズが配列されたマイクロレンズアレイによって複数の物体縮小像が，受光素子上に結像されているものとする。図２（ａ）は，被写体である「Ａ」の複数の物体縮小像が上記受光素子上に結像し，画像情報に変換された様子を示している。また，該物体縮小像は，該物体縮小像を拡大した図２（ｂ）が示すように，解像度の低い粗い画像情報である。
上記複数の物体縮小像が結像されると，先ずステップＳ１では，上記物体縮小像間のシフト量に関する相関演算を実施し，上記物体縮小像間の相対位置を算出する。
続いて，ステップＳ２では，上記物体縮小像の画素を，上記相対位置のずれの修正された単一の物体像を同一領域上に再配置する。この上記相対位置のずれ量は各光学系（マイクロレンズ）間の視差によって生じるものである。
このように，本発明に係る画像再構成法は，上記受光素子上に結像された上記物体縮小像のシフト量に関する相関演算を利用して，該物体縮小像間の相対位置を算出することにより，視差によるずれが解消された単一な物体像を再構成することが可能である。
これにより，被写体である物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく鮮明な単一画像を取得することが出来る。
続いて，ステップＳ３では，上記再配置された上記単一の物体像の欠失した画素の補間処理を行う。
これにより，欠失画素のない美しい画像を得ることが出来る。
最後に，ステップＳ４では，上記補間処理で得られた上記単一の物体像を，鮮鋭化処理することにより，さらに高い解像度の物体像を取得することができる。
【００１５】
以下に，上述した各処理手順の詳細について，ステップＳ１から説明する。
（Ｓ１）
ステップＳ１では，上記物体縮小像間の相対位置を算出している。
ここで，本発明に係る画像再構成法は，上記物体縮小像間の相対位置を算出するために相関演算を用いている。即ち，上記物体縮小像間のシフト量に関する相関演算によって算出される相関ピークを示すシフト量に基づいて，上記物体縮小像間の相対位置を算定している。
以下に，上記物体縮小像間の相対的なシフト量に関する相関演算の詳細について説明する。
先ず，簡単のため，上記物体縮小像の相対的なシフト量を平行移動のみであると仮定して考える。
一般に，２つの２変数関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）の正規化相互相関関数Ｒｃ（ｘ，ｙ）は下記式１で定義される。
【００１６】
【数１】
ここで，上記物体縮小像は同一形状であるため，上記２変数関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）を同一と考えると，上記相関信号波形Ｒｃ（ｘ，ｙ）は，図３（ａ）の破線で示すように，相関ピーク（図３ではｘ＿ｐｅａｋ）を中心として左右対象となる。この場合，Ｒｃ（ｘ，ｙ）とｘ＿ｐｅａｋの間に，下記式２の関係が成り立つことは容易に理解できる。ここで，簡単のために，下記式２は一次元で表している。
【００１８】
【数２】
従って，上記複眼画像入力装置における上記物体縮小像に対して上述した式１及び式２を適用することによって，該物体縮小像間の相関ピークを算出すれば，該物体縮小像間の相対位置を算定できる。
しかしながら，上記複眼画像入力装置における上記物体縮小像は，上記受光素子によってサンプリングされた離散した点によって構成されるため，正規化相互相関関数は離散的となり，下記式３で定義される離散的な相関関数Ｒｄ（ｘi，ｙj）が適用される。（図３（ａ）には矢印で示す）
ここで，サンプリングされたシフト位置を｛ｘi：ｉ＝０，１，２，…，Ｎ，ｙj：ｊ＝０，１，２，…，Ｍ｝とした。
【００２０】
【数３】
更に，上記相関関数Ｒｄ（ｘi，ｙj）の相関ピークを示すシフト量を求めるために，下記式４に従って線形補間し，図３（ａ）に実線で示す相関関数Ｒｃ’（ｘ，ｙ）を得る。
ここで，［ｘ］はｘの整数部分を示す。
【００２２】
【数４】
しかしながら，図３（ａ）に示すように，上記式４によって得られた相関関数Ｒｃ'（ｘ，ｙ）は，離散的な相関関数を線形補間したものであるため，該相関関数Ｒｃ'（ｘ，ｙ）から直接的に正確なｘ＿ｐｅａｋを識別することが出来ない。
そこで，上記物体縮小像が同一であるために，上記相関信号波形Ｒｃ'（ｘ，ｙ）がｘ＿ｐｅａｋを中心として左右対象となることを利用する。即ち，上述の式２に対して上記Ｒｃ'（ｘ，ｙ）を適用することにより，図３（ｂ）に示すように，Ｒｃ'（ｘ，ｙ）を所定の範囲で積分して得られる領域を２等分するシフト量に基づいてｘ＿ｐｅａｋを算出する。
これにより，上記各物体縮小像間の相対位置を算定することが可能となる。
同様の手順を全ての物体縮小像について繰り返すことによって，ある規準とする物体縮小像に対する，全ての物体縮小像の相対位置を算定する。
ここで，図３（ｂ）に示すように，上記ｘ＿ｐｅａｋを算出の際に，所定の閾値Ｔを設けて，該閾値を上回るデータについてのみ積分を施しても良い。上記閾値Ｔを設けることにより，上記物体縮小像間の相関ピーク近傍のデータを用いて相対位置を算定可能となり，より正確な相対位置を算出することができる。
ここで，上述したステップＳ１を実行可能であって，コンピュータ等の記憶装置に格納されたプログラムが，請求項６〜７に記載した第１の手段の一実施例である。
【００２４】
（Ｓ２）
ステップＳ２では，上記ステップＳ１で算出した上記相対位置のずれの修正された単一の物体像として，上記物体縮小像の画素を同一領域上に再配置を行う。
上記再配置の手順について図４を用いて説明する。
ここで，図４に示すＡ，Ｂ，Ｃは，上記受光素子上に結像された３×３の画素を持つ物体縮小像であり，更にＤは単一の物体像が再配置される領域（上記物体縮小像よりも解像度の高い領域）であって，画素数は受光素子全体と同数とする。
ステップＳ２では，先ず，上記ステップＳ１において，上記物体縮小像間の相対位置を演算の基準とした物体縮小像（図４ではＢで表す）の画素を領域Ｄのスケールを併せて，矢印で示すように配置する。
続いて，他の物体縮小像（図４ではＡ，Ｃで表す）の画素を，上記ステップＳ１で算出した上記物体縮小像Ｂに対する相対位置に基づいて領域Ｄに再配置する。
これにより，領域Ｄ上に，上記相対位置のずれの修正された単一の物体像として再配置することが可能となる。また，再配置の際に画素値自体に操作は行わないため，ノイズ成分の不要な増幅が見られることも無い。
実際に図２（ａ）から再構成した単一の物体像を図５に示す。図２（ｂ）に示した上記物体縮小像と較べて，解像度が著しく向上していることが理解される。
ここで，上述したＳ１と同様に上記ステップＳ２を実行可能なプログラムが，請求項６〜７に記載した第２の手段の一実施例である。
【００２５】
（Ｓ３）
ステップＳ３では，上記再配置された上記単一の物体像の欠失した画素の補間処理を行う。
上記ステップＳ２で得られた単一の物体像は，各物体縮小像の画素を拡大された同一領域内に再配置しただけの画像であるため，物体と上記マイクロレンズアレイとの物体距離によっては，図５に示すように黒い斑点で示される欠失画素を含む場合がある。
そのため，上記のように欠失画素がある場合，その周辺の画素値を用いて補間する。この際，欠失画素では水平，或いは垂直方向に対して線形的に画素値が変化すると仮定すると，欠失画素がＮdel個連続している場合，そのｉ番目の欠失画素に対して補間する画素値Ｐdel（ｉ）は下記式５を適用して算出可能である。
ここで，Ｐ１，Ｐ２は欠失画素に隣接する画素の画素値である。
【００２６】
【数５】
そこで，対象とする欠失画素に対して，水平及び垂直方向に上記式５を適用し，得られた値の平均値を該欠失画素に対する画素値とする。
これにより，図５に示す単一の物体像に含まれる欠失画素に対して，上述した補間処理を施すことによって得られる単一の物体像は，図６に示すように，より物体形状に近い画像とすることが出来る。
ここで，上述したＳ１或いはＳ２と同様に上記ステップＳ３を実行可能なプログラムが，請求項６〜７に記載した第３の手段の一実施例である。
【００２８】
（Ｓ４）
ステップＳ４では，上記補間処理で得られた上記単一の物体像を，鮮鋭化処理する。
ここで，上記ステップＳ３で得られた単一の物体像は，図６に示すようにぼけのある画像である。
そこで，周知である高域強調フィルタ等の手法を用いて高い周波数成分を強調することによって、エッジ強調を行い画像を鮮鋭化する。
これにより得られる単一の物体像は，図７に示すようにエッジ強調された，高解像度な画像とすることが可能となる。
ここで，上述したＳ１〜Ｓ３と同様に上記ステップＳ４を実行可能なプログラムが，請求項７に記載した第４の手段の一実施例である。
【００２９】
【発明の効果】
以上説明したように，上記目的を達成するために請求項１に記載の発明は，複数のマイクロレンズが配列されたマイクロレンズアレイにより，受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成法において，上記物体縮小像間の相対位置を，上記物体縮小像間のシフト量に関する相関演算によって算定する第１の工程と，上記物体縮小像の画素を，上記第１の工程により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第２の工程と，上記第２の工程により再配置された上記単一の物体像の欠失した画素を，補間処理により得る第３の工程とを具備してなることを特徴とする画像再構成法として構成されている。
このように構成することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて，該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため，高い解像度を得ることができる。
【００３０】
また，上記第１，第２の工程のみでは，情報が得られない画素の発生を招くこともあるが，補間処理（第３の工程）によって美しい再構成画像を得ることができる。
【００３１】
更に，上記補間処理で得られた単一の物体像を鮮鋭化処理する第４の工程を具備しているものも考えられる。
このように構成することによって，請求項１に記載の画像再構成法で得られた再構成画像に対してエッジ強調等の鮮鋭化処理を施すことが可能となり，更に解像度の高い再構成画像を得ることができる。
【００３２】
ここで，上記シフト量を上記相関演算に用いられる相関関数における相関ピークとして算定することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記物体縮小像の画像情報から，該物体縮小像間の相対位置情報を算定することが可能となる。
【００３３】
また，上記シフト量を上記相関関数を所定の範囲で積分して得られる領域を２等分するシフト量に基づいて決定する形態も考えられる。
このような形態によれば，上記相関関数として離散的な相関関数を線形補間した相関関数を適用した場合等，相関ピークを示すシフト量を相関関数から直接的に読み取ることが困難である場合にも，相関ピークを示すシフト量を算定することが可能となる。
【００３４】
ここで，複眼画像入力装置を用いて取得する物体縮小像は，物体の画像情報を受光素子によって取得した離散的な点の集合である。また，算定すべきシフト量は離散点の間隔より小さい。
このため，物体縮小像間の相関演算には，離散的な相関関数が適用され，且つ該相関関数における相関ピークを示すシフト量の算定には，上記離散的な相関関数を線形補間したものが用いられることになる。
【００３５】
請求項１に記載の発明を画像再構成装置として捉えると，複数のマイクロレンズが配列されたマイクロレンズアレイにより，受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成装置において，上記物体縮小像間の相対位置を，上記物体縮小像間のシフト量に関する相関演算によって算定する第１の手段と，上記物体縮小像の画素を，上記第１の手段により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第２の手段と，上記第２の手段により再配置された上記単一の物体像の欠失した画素を，補間処理により得る第３の手段とを具備してなることを特徴とする画像再構成装置となる。
このように構成することによって，物体とマイクロレンズアレイとの距離や，マイクロレンズアレイ及び受光素子におけるアライメント誤差とは関係なく，上記受光素子上に結像された上記物体縮小像から算定可能な相対位置情報に基づいて，該相対位置のずれの修正された単一の物体像として物体像を再構成可能であるため，高い解像度を得ることができる。
例えば，各手段の一実施例としては，上述した請求項１における各工程を実行可能であって，コンピュータ等に格納されたプログラムであることが望ましい。
【００３６】
また，上記画像再構成装置によれば，欠失した画素を含む再構成画像を補間処理することが可能となり，美しい再構成画像を得ることができる。
【００３７】
更にまた，請求項２に記載の発明についても，上記補間処理で得られた単一の物体像を鮮鋭化処理する第４の手段を更に具備してなる形態として考えられよう。
このような形態によれば，ぼけのある再構成画像をエッジ強調等の鮮鋭化処理することが可能となり，更に解像度の高い再構成画像を得ることができる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像再構成法の流れを示す図。
【図２】マイクロレンズアレイによって受光素子上に結像され，画像情報に変換された物体縮小像を示す図。
【図３】物体縮小像間の相関関数を示す図。
【図４】画像の再配置についての概略説明図。
【図５】相対位置に従って上記物体縮小像の画素を単一の物体像として再配置した画像を示す図。
【図６】再配置された単一の物体像の欠失した画素を補間処理した画像を示す図。
【図７】補間処理された単一の物体像を鮮鋭化処理した画像を示す図。
【符号の説明】
Ａ …物体縮小像
Ｂ …物体縮小像
Ｃ …物体縮小像
Ｄ …単一な物体像を形成する領域
Ｓ１，Ｓ２，，…処理手順（ステップ）の番号
Claims (7)
- 複数のマイクロレンズが配列されたマイクロレンズアレイにより，受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成法において，
上記物体縮小像間の相対位置を，上記物体縮小像間のシフト量に関する相関演算によって算定する第１の工程と，
上記物体縮小像の画素を，上記第１の工程により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として上記物体縮小像よりも解像度の高い一の領域上に再配置する第２の工程と，
上記第２の工程により再配置された上記単一の物体像の欠失した画素を，補間処理により得る第３の工程と，
を具備してなることを特徴とする画像再構成法。 - 上記第３の工程で得られた上記単一の物体像を鮮鋭化処理する第４の工程を更に具備してなる請求項１に記載の画像再構成法。
- 上記シフト量を，上記相関演算に用いられる相関関数における相関ピークとして算定する請求項１又は２のいずれかに記載の画像再構成法。
- 上記シフト量を，上記相関関数を所定の範囲で積分して得られる領域を２等分するシフト量に基づいて決定する請求項１〜３のいずれかに記載の画像再構成法。
- 上記相関関数として，線形補間された離散的な相関関数を用いてなる請求項１〜４のいずれかに記載の画像再構成法。
- 複数のマイクロレンズが配列されたマイクロレンズアレイにより，受光素子上に結像される複数の物体縮小像から単一の物体像を再構成する画像再構成装置において，
上記物体縮小像間の相対位置を，上記物体縮小像間のシフト量に関する相関演算によって算定する第１の手段と，
上記物体縮小像の画素を，上記第１の手段により得られたシフト量に基づいて上記相対位置のずれの修正された単一の物体像として，上記物体縮小像よりも解像度の高い一の領域上に再配置する第２の手段と，
上記第２の手段により再配置された上記単一の物体像の欠失した画素を，補間処理により得る第３の手段と，
を具備してなることを特徴とする画像再構成装置。 - 上記第３の手段で得られた上記単一の物体像を鮮鋭化処理する第４の手段を更に具備してなる請求項６に記載の画像再構成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001337227A JP3699921B2 (ja) | 2001-11-02 | 2001-11-02 | 画像再構成法及び画像再構成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001337227A JP3699921B2 (ja) | 2001-11-02 | 2001-11-02 | 画像再構成法及び画像再構成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003141529A JP2003141529A (ja) | 2003-05-16 |
| JP3699921B2 true JP3699921B2 (ja) | 2005-09-28 |
Family
ID=19151907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001337227A Expired - Lifetime JP3699921B2 (ja) | 2001-11-02 | 2001-11-02 | 画像再構成法及び画像再構成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3699921B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007312314A (ja) * | 2006-05-22 | 2007-11-29 | Ricoh Co Ltd | 画像シフト検出方法および装置および画像入力装置 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4235539B2 (ja) | 2003-12-01 | 2009-03-11 | 独立行政法人科学技術振興機構 | 画像構成装置及び画像構成方法 |
| US7639293B2 (en) | 2004-08-20 | 2009-12-29 | Sony Corporation | Imaging apparatus and imaging method |
| JP4645358B2 (ja) * | 2004-08-20 | 2011-03-09 | ソニー株式会社 | 撮像装置および撮像方法 |
| JP4826152B2 (ja) * | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
| JP4673202B2 (ja) * | 2005-12-06 | 2011-04-20 | 株式会社リコー | 画像入力装置 |
| JP2007304525A (ja) * | 2006-05-15 | 2007-11-22 | Ricoh Co Ltd | 画像入力装置および電子機器および画像入力方法 |
| JP4953292B2 (ja) * | 2006-10-12 | 2012-06-13 | 株式会社リコー | 画像入力装置、個人認証装置及び電子機器 |
| JP2008181220A (ja) * | 2007-01-23 | 2008-08-07 | Ricoh Co Ltd | 個人認証装置及び個人認証方法 |
| JP4803676B2 (ja) * | 2007-03-09 | 2011-10-26 | 株式会社リコー | 画像入力装置及び個人認証装置 |
| JP5882789B2 (ja) | 2012-03-01 | 2016-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP2019029913A (ja) * | 2017-08-01 | 2019-02-21 | キヤノン株式会社 | 撮像装置 |
| JP6569769B2 (ja) * | 2018-04-25 | 2019-09-04 | 株式会社ニコン | 任意視点画像合成方法及び画像処理装置 |
-
2001
- 2001-11-02 JP JP2001337227A patent/JP3699921B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007312314A (ja) * | 2006-05-22 | 2007-11-29 | Ricoh Co Ltd | 画像シフト検出方法および装置および画像入力装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003141529A (ja) | 2003-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Designing a practical degradation model for deep blind image super-resolution | |
| JP4235539B2 (ja) | 画像構成装置及び画像構成方法 | |
| US10944960B2 (en) | Free-viewpoint video generating method and free-viewpoint video generating system | |
| Bishop et al. | The light field camera: Extended depth of field, aliasing, and superresolution | |
| TWI510086B (zh) | 數位重對焦方法 | |
| JP3699921B2 (ja) | 画像再構成法及び画像再構成装置 | |
| US8773550B2 (en) | Range measurement using multiple coded apertures | |
| JP4782899B2 (ja) | 視差検出装置、測距装置及び視差検出方法 | |
| US8743245B2 (en) | Image processing method, image pickup apparatus, image processing apparatus, and non-transitory computer-readable storage medium | |
| KR101600681B1 (ko) | 집적 영상시스템의 3차원 영상 표시깊이변환방법 | |
| JP2007074079A (ja) | 画像入力装置 | |
| CN115086550B (zh) | 元成像系统 | |
| CN104735360A (zh) | 光场图像处理方法和装置 | |
| KR20120020821A (ko) | 영상 왜곡 보정 장치 및 방법 | |
| KR101293576B1 (ko) | 3차원 집적 영상디스플레이의 깊이조절시스템 | |
| CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
| KR101166719B1 (ko) | 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법 | |
| JP2020031327A (ja) | レンズレス撮像装置 | |
| KR100927236B1 (ko) | 영상 복원 방법, 영상 복원 장치 및 영상 복원 방법을 실행하는 프로그램이 기록된 컴퓨터에서 판독될 수 있는 기록매체 | |
| JP4695557B2 (ja) | 要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラム | |
| KR20090025420A (ko) | 크기가변 매핑 기술을 사용하는 부피형 3차원 영상 재생장치 | |
| Liu et al. | DCM-CNN: Densely connected multiloss convolutional neural networks for light field view synthesis | |
| KR100843099B1 (ko) | 영상을 복원하기 위한 장치 및 방법 | |
| JP5553863B2 (ja) | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム | |
| Balure et al. | A Survey--Super Resolution Techniques for Multiple, Single, and Stereo Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050711 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3699921 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130715 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |