JP4645358B2

JP4645358B2 - 撮像装置および撮像方法

Info

Publication number: JP4645358B2
Application number: JP2005237139A
Authority: JP
Inventors: 忠邦奈良部
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-08-20
Filing date: 2005-08-18
Publication date: 2011-03-09
Anticipated expiration: 2025-08-18
Also published as: US20100220218A1; US8264590B2; US8274584B2; JP2006087088A; US20070177040A1

Description

本発明は、撮像装置および撮像方法に関し、特に被写体からの光を光電変換する撮像素子を用いた撮像装置およびその撮像方法に関する。

撮像装置として、暗箱の１面に穿設されたピンホールと称される穴を通して被写体からの光を暗箱内のフィルム等の感光体上に導いて撮像するピンホールカメラが広く知られている。このピンホールカメラの場合には、感光体の一点に到来する光は、ピンホールを通過してきたわずかな光でしかない。したがって、光量が少なく、特に暗いところでの撮像を考えると実用的ではない。

このため、従来の一般的な撮像装置では、図２４に示すように、撮像レンズ１０１を用い、この撮像レンズ１０１の焦点位置に撮像デバイス１０２を配置し、撮像レンズ１０１で取り込んだ被写体からの光を、撮像デバイス１０２で電気信号に変換しやすいように光学系１０３において光学的な処理を施した後、撮像デバイス１０２の光電変換側に導き、当該撮像デバイス１０２によって光電変換して得られる電気信号に対して、後段の信号処理回路１０４で所定の信号処理を施す構成となっている（例えば、非特許文献１参照）。

竹村裕夫著，「ＣＣＤカメラ技術入門」，初版，コロナ社，１９９８年８月，ｐ．２−４

この種の撮像装置はデジタルスチルカメラなどのカメラシステムとして単体で用いられる他に、近年、携帯電話などの小型携帯機器に組み込まれて用いられるようになってきている。そのため、携帯電話などに組み込むに当たって、撮像装置の小型化、軽量化、低コスト化が強く求められているのが現状である。すなわち、小型、軽量、低コストの撮像装置を組み込むことで、携帯電話などの小型携帯機器の小型化、軽量化、低コスト化に大きく寄与できることになる。

しかしながら、撮像レンズ１０１を使用した撮像装置は、撮像レンズ１０１の大きさ分だけ大型になるとともに、撮像レンズ１０１の重さ分だけ重くなり、さらには撮像レンズ１０１のコストによって高価になる。また、撮像レンズ１０１のシェーディングによって周辺光量が落ちる。さらに、広ダイナミックレンジの被写体を撮像すると、撮像デバイス１０２の画素間の信号電荷量に大きな差異が生じ、この差異により撮像デバイス１０２のダイナミックレンジを大きく設計する必要がある。

本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、撮像レンズを不要にすることで、小型化、軽量化、低コスト化を可能とし、しかも被写体を所望の光量で撮像可能な撮像装置および撮像方法を提供することにある。

上記目的を達成するために、本発明では、被写体からの光を撮像素子の光電変換側に導く所定の距離で離間された複数の窓を含む導光手段と、前記導光手段により導光された被写体からの光を光電変換する、複数の画素を含む撮像素子と、を備え、前記撮像素子に含まれる画素のうちの一つの画素に、前記導光手段に含まれる複数の窓のうちの少なくとも二つの窓によって導光された光が入射される構成を採っている。
また、前記導光手段の各窓を通じて前記撮像素子に導光された光の光強度分布に基づいて決定される係数を要素に持つ行列の逆行列を用い、前記撮像素子の各画素から出力される電気信号に対して演算処理する信号処理手段、を更に備えると好適である。

上記の構成において、被写体からの光を複数の窓の各々を通して撮像素子の光電変換側に導くことで、当該光電変換側には窓の数だけ被写体が結像される。これにより、撮像素子の光電変換側に入射する光のエネルギーとしては、結像された被写体の数に応じたエネルギー、即ち窓の数に応じたエネルギーが得られる。したがって、窓の数を適当に設定することで必要な光量を得ることができる。ただし、被写体の各々は、撮像素子の光電変換側に、窓のピッチに応じたずれ量だけ相互にずれて結像される。この被写体像のずれについては、後段の信号処理系で補正が行われる。その結果、ボケのない画像を所望の光量で撮像できる。

本発明によれば、撮像レンズを使用しなくても、ボケのない画像を所望の光量で撮像できるため、撮像装置の小型化、軽量化、低コスト化を図ることができる。また、撮像レンズを使用していないことから、広ダイナミックレンジの被写体を撮像しても、撮像素子の画素間における信号電荷量の差異が少ないため、撮像素子のダイナミックレンジを有効に使用できる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係る撮像装置の基本構成を示す概略構成図である。図１において、装置本体１１は一方の主面が開口している。この装置本体１１の開口部には、例えば矩形状のパッケージ１２が配置されている。このパッケージ１２は、装置本体１１の開口部側の主面が開口しており、この開口部に遮光板１３が配されることによって暗箱を形成している。

パッケージ１２内には、撮像素子１４が配置されている。撮像素子１４としては、ＣＣＤ(Charge Coupled Device)イメージャに代表される電荷転送型撮像素子や、ＭＯＳ(Metal Oxide Semiconductor)イメージャに代表されるＸＹアドレス型撮像素子など、入射して来た光をその光量に応じた電気信号に画素単位で光電変換する構成の固体撮像デバイスが用いられる。

本例では、遮光板１３として例えば平板を用いている。この遮光板１３には、複数の窓１５が例えば撮像素子１４の画素数と同じ数だけ形成されている。この複数の窓１５は、例えば、遮光板１３に穿設されたいわゆるピンホールと称される微小な径の穴形状となっている。

遮光板１３および当該遮光板１３に形成された複数の窓１５、即ちアパーチャーシート（ＡｐｅｒｔｕｒｅＳｈｅｅｔ）は、被写体１７からの光を撮像素子１４の光電変換側に導く導光手段としての機能を持つ。これにより、被写体１７からの光は、複数の窓１５の各々を通過することで、ピンホール効果によって撮像素子１４の撮像面上に被写体の情報として窓１５の数だけ結像される。

撮像素子１４は、撮像面上に結像された被写体の情報を画素単位で光電変換して電気信号として出力する。撮像素子１４の後段には、信号処理回路１６が配置されている。この信号処理回路１６は、撮像素子１４から出力される電気信号に対して、複数の窓１５の各々を通して撮像素子１４の光電変換側に導かれた各被写体の情報を基に所望の信号処理を施す、具体的には各被写体の情報間のずれ補正、被写体の画像検知や被写体の動体検知や認識などを含めた信号処理を施す。この信号処理の詳細については後述する。

次に、上記構成の本実施形態に係る撮像装置の撮像原理について説明する。

被写体１７からの光は、遮光板１３の複数の窓１５を通して暗箱であるパッケージ１２内に導かれる。その際、複数の窓１５の各々は、ピンホール効果によって撮像素子１４の撮像面上に被写体の像を結像させる。このとき、撮像素子１４の撮像面上には窓１５の数だけ被写体の像が結像されることになる。これにより、撮像面全体では、結像された被写体の像の数、即ち窓１５の数に応じた光量が得られる。

ここで、従来のレンズを用いた光学系の場合と、本実施形態の光学系、即ち複数の窓１５を導光手段として用いた光学系の場合における撮像素子に入射する光のエネルギー（明るさ）について、図２および図３を用いて比較する。図２は、レンズを用いた従来例に係る光学系の概念図である。図３は、複数の窓１５を用いた本発明に係る光学系の概念図である。

従来、デジタルスチルカメラや携帯電話などに使用されている撮像装置のレンズのＦ値（焦点距離／入射ひとみ径）は、Ｆ＝２．８前後である。一方、本実施形態に係る撮像装置において、一例として、窓１５の径ｐをｐ＝３μｍ、遮光板１３と撮像素子１４の撮像面との間の距離ＬをＬ＝３ｍｍとすると、この場合のＦ値は、次式で求められる。
Ｆａ＝Ｌ／ｐ＝３０００μｍ／３μｍ＝１０００

したがって、Ｆ＝２．８のレンズを使用した場合と、レンズに代えて窓１５を使用した場合のＦ値の比は、次式で与えられる。
Ｆ／Ｆａ＝２．８／１０００
この場合の撮像素子１４に入射する光のエネルギーの比は次のようになる。
（Ｆ／Ｆａ）² ＝０．０００００７８４
この逆数は、１２７，５５１である。

したがって、撮像素子１４として、例えば、画素サイズが３μｍ□、水平方向の画素数が１０００画素、垂直方向の画素数が１０００画素、総画素数が１，０００，０００画素のデバイスを用いた場合、撮像素子１４に入射する光のエネルギーが、Ｆ＝２．８のレンズを用いた光学系と同等になるときの窓１５の数は１２７，５５１個となる。

以上の比較結果から明らかなように、遮光板１３に１０万個程度の窓１５を穿設することで、従来、デジタルスチルカメラや携帯電話などに使用されている撮像装置と同程度の光のエネルギー（明るさ）を得ることができる。したがって、本実施形態に係る撮像装置の場合のように、撮像素子１４の総画素数と同じ数の窓１５を設けることで、撮像素子１４に入射する光のエネルギーとして、デジタルスチルカメラや携帯電話などに使用されている撮像装置以上の十分なエネルギーが得られることがわかる。

窓１５の数については以上の通りであるが、複数の窓１５が穿設される遮光板１３上の穴形成領域の広さについては、撮像素子１４の有効画素部（実際に撮像情報として用いられる画素部）の周縁部の画素にも中央部の画素と同程度の光のエネルギーを入射させるためには、撮像素子１４の有効画素部の広さよりも広い、例えば有効画素部に対して面積比で９倍程度の広さにするのが好ましい。

ただし、撮像素子１４の有効画素部に対する遮光板１３上の穴形成領域の広さは、遮光板１３と撮像素子１４の撮像面との間の距離Ｌと撮像素子１４の画角との関係にも依存する。例えば、有効画素部が３ｍｍ（水平）×３ｍｍ（垂直）の撮像素子で、Ｌ＝３ｍｍの場合、画角を９０度にすると、遮光板１３上の穴形成領域を有効画素部に対して９倍の面積に設定することで、有効画素部の全ての画素に入射する光のエネルギーをほぼ均一にすることができる。

上述したように、複数の窓１５の各々を通して撮像素子１４の撮像面上に被写体の情報を結像させることで、撮像面全体で窓１５の数に応じた光のエネルギーを得ることができるため、窓１５の数を適当に設定することによって必要な光量を得ることができる。ただし、撮像面上には、被写体情報の各々が窓１５のピッチに応じたずれ量だけ相互にずれて結像されることになる。この撮像面上に結像された各被写体情報間のずれは、信号処理回路１６での信号処理によって補正される。この信号処理の詳細については後述する。

［窓の形状］
ここで、複数の窓１５の形状について説明する。複数の窓１５としては、種々の形状のものが考えられる。以下に、窓１５の形状例をいくつか示す。

（形状例１）
図４は、形状例１に係る窓１５Ａの断面形状を示す断面図である。本形状例１に係る窓１５Ａは、断面積の大きさが被写体１７側から撮像素子１４側に至る過程で、即ち遮光板１３の被写体１７側の面から撮像素子１４側の面に至る過程で同様で、かつ遮光板１３の面に対して中心線Ｏが垂直になる形状となっている。すなわち、複数の窓１５Ａの形状が全て同じとなっている。

（形状例２）
図５は、形状例２に係る窓１５Ｂの断面形状を示す断面図である。本形状例２に係る窓１５Ｂは、断面積の大きさが遮光板１３の被写体１７側の面から撮像素子１４側の面に至る過程で同様で、かつ各窓１５Ｂの中心線Ｏが被写体１７側から撮像素子１４側に向けて収束する形状となっている。すなわち、各窓１５Ｂの中心線Ｏの遮光板１３に対する傾きが当該窓１５Ｂの形成位置に応じて異なり、したがって複数の窓１５Ｂの形状も形成位置によって異なっている。

（形状例３）
図６は、形状例３に係る窓１５Ｃの断面形状を示す断面図である。本形状例３に係る窓１５Ｃは、断面積の大きさが遮光板１３の被写体１７側の面から撮像素子１４側の面に至る過程で同様で、かつ各窓１５Ｃの中心線Ｏが被写体１７側から撮像素子１４側に向けて拡散する形状となっている。すなわち、各窓１５Ｃの中心線Ｏの遮光板１３に対する傾きが当該窓１５Ｃの形成位置に応じて異なり、したがって複数の窓１５Ｂの形状も形成位置によって異なっている。

（形状例４）
図７は、形状例４に係る窓１５Ｄの断面形状を示す断面図である。本形状例４に係る窓１５Ｄは、断面積の大きさが遮光板１３の被写体１７側の面から撮像素子１４側の面に至る過程で異なる、具体的には被写体１７側の面から撮像素子１４側の面に向かうにつれて漸次大きくなる形状となっている。また、窓１５Ｄの各々の中心線Ｏは、遮光板１３の面に対して垂直になっている。すなわち、複数の窓１５Ｄの形状が全て同じとなっている。

（形状例５）
図８は、形状例５に係る窓１５Ｅの断面形状を示す断面図である。本形状例５に係る窓１５Ｅは、形状例５に係る窓１５Ｄと同様に、断面積の大きさが被写体１７側の面から撮像素子１４側の面に向かうにつれて漸次大きくなり、かつ窓１５Ｅの各々の中心線Ｏが遮光板１３の面に対して垂直になる形状となっている。ただし、窓１５Ｅの撮像素子１４側の開口面積が、形状例５に係る窓１５Ｄに比べて広い形状となっている。

（形状例６）
図９は、形状例６に係る窓１５Ｆの断面形状を示す断面図である。本形状例６に係る窓１５Ｆは、窓の向きが形状例４に係る窓１５Ｄと逆向き、即ち断面積の大きさが被写体１７側の面から撮像素子１４側の面に向かうにつれて漸次小さくなり、かつ窓１５Ｆの各々の中心線Ｏが遮光板１３の面に対して垂直になる形状となっている。

（形状例７）
図１０は、形状例７に係る窓１５Ｇの断面形状を示す断面図である。本形状例７に係る窓１５Ｇは、窓の向きが形状例５に係る窓１５Ｅと逆向き、即ち形状例６に係る窓１５Ｆと同様に、断面積の大きさが被写体１７側の面から撮像素子１４側の面に向かうにつれて漸次小さくなり、かつ窓１５Ｇの各々の中心線Ｏが遮光板１３の面に対して垂直になる形状となっている。ただし、窓１５Ｇの被写体１７側の開口面積が、形状例６に係る窓１５Ｆに比べて広い形状となっている。

ここでは、窓１５の形状として７種類の形状例を挙げたが、これらは一例に過ぎず、これらに限られるものではない。そして、各種の形状の窓１５Ａ〜１５Ｇの中から、撮像環境等に適した形状のものが適宜選定されることになる。特に、断面積の大きさが被写体１７側から撮像素子１４側に至る過程で異なる形状、即ち形状例４〜７に係る窓１５Ｄ〜１５Ｇを用いることで、撮像素子１４に入射する光の損失が減少するため、本撮像装置の感度を向上できる。

なお、形状例４，５のように広い方の開口が撮像素子１４側となっている窓１５Ｄ，１５Ｅを撮像素子向き、形状例６，７のように広い方の開口が被写体１７側となっている窓１５Ｆ，１５Ｇを被写体向きとすると、上記形状例４〜７では、複数の窓１５Ｄ〜１５Ｇの向きが全て同じ向きとしたが、複数の窓１５Ｄ〜１５Ｇの向きを変える、即ち撮像素子向きの窓と被写体向きの窓とを混在させる構成を採ることも可能である。

このように、複数の窓１５Ｄ〜１５Ｇの向きを変えた構成、即ち複数の窓１５Ｄ〜１５Ｇが撮像素子向きの窓と被写体向きの窓と含む構成を採ることで、撮像素子１４の周辺部の光強度を強くし、シェーディングを改善することが可能になる。

また、上述した窓１５の各形状例１〜７では、遮光板１３として平板を用い、当該遮光板１３に窓１５を形成する場合を例に挙げて説明したが、窓１５を形成する遮光板１３としては平板に限られるものではなく、例えば湾曲板を用いることも可能である。

具体的には、図１１（Ａ）に示すように、被写体１７側に凸の遮光板１３Ａを用いて当該遮光板１３Ａに上記形状例１〜７の窓１５Ａ〜１５Ｇを形成したり、図１１（Ｂ）に示すように、撮像素子１４側に凸の遮光板１３Ｂを用いて当該遮光板１３Ｂに上記形状例１〜７の窓１５Ａ〜１５Ｇを形成したりすることも可能である。

このように、遮光板１３として湾曲板を用いる構成を採ることで、撮像素子１４の周辺部の光強度を強くし、シェーディングを改善することが可能になる。

（変形例）
なお、上記実施形態では、複数の窓１５を遮光板１３に等ピッチで形成することを前提として説明したが、必ずしも等ピッチである必要はなく、部分的にピッチを変えることも可能である。

また、上記実施形態では、複数の窓１５の数を撮像素子１４の画素数と同じにするとしたが、必ずしも撮像素子１４の画素数と同じである必要はなく、その数については任意に設定可能であり、例えば、図１２（Ａ）に示すように１２個の場合、図１２（Ｂ）に示すように４個の場合、図１２（Ｃ）に示すように２個の場合なども可能である。

窓１５の穴の大きさについても、決められた１種類の大きさの窓に限られるものではなく、図１３に示すように、相対的に穴の大きさが中程度の窓（Ａ）、大きい窓（Ｂ）、小さい窓（Ｃ）など任意に設定可能である。また、図１４（Ａ）に示すように、穴の大きさが例えば３種類の窓をあらかじめ用意しておき、同図（Ｂ）に示すように、小大の窓を遮光して中の窓を使用したり、同図（Ｃ）に示すように、中大の窓を遮光して小の窓を使用したり、同図（Ｄ）に示すように、小中の窓を遮光して大の窓を使用したりすることも可能である。

また、窓１５の光透過率についても、決められた１種類の光透過率に限られるものではなく、図１５に示すように、光透過率が最大の窓（Ａ）、中程度の窓（Ｂ）、最小の窓（Ｃ）など、任意に設定可能である。さらには、光透過率が少なくとも２種類の窓、例えば同図（Ｄ）に示すように、最大、中程度、小の３種類の窓を混在させた構成を採ることも可能である。

このように、光透過率が少なくとも２種類の窓を混在させることで、各光透過率に応じた光強度分布で被写体像を撮像素子１４の撮像面上に結像させることができる。なお、最小の光透過率を０％、即ち完全遮光とした場合に、窓１５の透過率最小を実現する手段として、窓１５にシャッターを設置することにより、カメラとしてのシャッターが不要となるために、本撮像装置の小型、軽量化を図ることができる。

次に、窓１５の分光透過特性について図１６を用いて説明する。窓１５が完全な透孔であれば、当該分光透過特性が全域（全波長域）となる。また、特定の波長域に対して分光透過特性を持たせることも可能である。例えば、赤の波長域に対して分光透過特性を持たせたり（Ｂ）、緑の波長域に対して分光透過特性を持たせたり（Ｃ）、青の波長域に対して分光透過特性を持たせたり（Ｄ）することも可能である。このように、窓１５に分光透過特性を持たせることで、３板式のプリズムが不要になるために、本撮像装置の小型、軽量化を図ることができる。

また、窓１５にレンズを装着した構成を採ることも可能である。レンズを装着することで、撮像素子１４に入射する光の立体角、強度、角度に対してレンズの設計に由来する自由度を持たせることができる。窓１５にレンズを装着するにあたっては、図１７（Ａ）に示すように、全ての窓１５にレンズを装着した構成や、同図（Ｂ）に示すように、レンズを装着した窓と装着しない窓とを混在させた構成を採ることが可能である。図１７（Ｂ）において、例えば大径の窓をレンズが装着された窓とする。

特に、レンズを装着した窓と装着しない窓とを混在させた構成を採ることで、周囲環境が暗いときには、Ｆ値が小さい明るいレンズからの光を使用し、明るいときには、レンズからの光を抑制して、レンズが装着されていない窓からの光を利用することにより、光量について実用的には、Ｆ１．４〜Ｆ１０００程度までの広い可変範囲を実現することができる。

また、レンズからの光が強すぎて、撮像素子１４の一部の画素が飽和してしまっても、レンズが装着されていない窓からの光により得られた撮像素子１４の出力信号を基に信号処理を行うことにより、広ダイナミックレンジな画像を得ることができる。しかも、電子ズーム、立体化、高解像度化、広ダイナミックレンジ化、色特性、デモザイク処理、低ノイズ化、高感度化などの処理を実現する際に、ひとつのカメラシステムの中で対応できることになる。

［信号処理回路］
続いて、複数の窓１５によって撮像素子１４の撮像面上に結像された各被写体情報間のずれを補正する信号処理回路１６の具体的な処理内容について以下に説明する。

信号処理回路１６は、撮像素子１４に入射する光強度分布に基づいて決定される係数を用いて演算処理することによって被写体の情報を求める。ここで、撮像素子１４に入射する光強度分布は、複数の窓１５のピッチ、窓１５の大きさ、窓１５の形状、窓１５の断面形状、窓１５の向き、窓１５の位置、窓１５の光透過率分布、窓１５と撮像素子１４との間の距離、窓１５と被写体１７との間の距離、窓１５における光の回折、窓１５による光の干渉などで決まる。

そして、特に、窓１５の光透過率分布を変化させることで、光が窓１５を通過することによる回折の影響、具体的には回折による解像度低下を抑えることができる。この点については、窓１５の数が複数である場合に限らず、窓１５の数が１つの場合にも同様のことが言える。

図１８〜図２０に窓１５の光透過率分布の例を示す。図１８はアポダイゼーション（Ａｐｏｄｉｚａｔｉｏｎ）関数がユニフォーム（Ｕｎｉｆｏｒｍ）の場合を、図１９はアポダイゼーション関数がブラックマン（Ｂｌａｃｋｍａｎ）の場合を、図２０はアポダイゼーション関数がバートレット（Ｂａｒｔｌｌｅｔ）の場合をそれぞれ示している。

ここに、アポダイゼーションとは、光学系の結像特性改良の一手法であり、点光源の無収差の結像であるエアリーディスクの光強度分布のうち、周囲のリングの強度を減らすため、窓１５の開口に透過率分布を与えるなどの方法で実現する。

図２１に、他の光透過率分布の関数の例を示す。ここで、アポダイゼーション関数Ｂ_A（ｘ），Ｂ_I（ｋ），Ｈｍ_A（ｘ），Ｈｍ_I（ｋ），Ｈｎ_A（ｘ），Ｈｎ_I（ｋ），Ｗ_I（ｋ）は数１の式で表される。

ここでは、信号処理回路１６での信号処理について理解を容易にするために、撮像素子１４として、画素が一次元配列されてなる図２２に示す一次元モデルの場合を例に挙げて説明するものとする。図２２において、Ｌは遮光板１３と撮像素子１４の撮像面との間の距離、Ｐは窓１５のピッチ、ｐは窓１５の径、Ａは開口比率（＝ｐ／Ｐ）、ｍは係数である。ここでは、一例として、ピッチＰが撮像素子１４の画素ピッチと同じであるとする。

撮像素子１４の画素Ｓｉ（ｉは画素の番号）に入ってくる情報Ｓｉは数２の式で表される。

数２の式において、ｋ_ijが窓１５のピッチＰおよび窓１５の径ｐで決まる係数である。

被写体１７から発せられた情報(ここでは、光。光といっても、可視光だけでなく近赤外、赤外、紫外の電磁波なども同様に適用することができる。)Ｂｊを演算処理により求める。情報Ｓｉが被写体１７の輝度情報だけであれば、情報Ｂｊとして輝度情報を演算処理により再現できる。情報Ｓｉが被写体１７の色情報であれば、情報Ｂｊとして色情報を演算処理により再現できる。

輝度情報だけであれば、入力情報Ｓｉを基に、数３の式の演算処理により、被写体１７の輝度情報Ｂｊを算出することができる。被写体１７の色を再現するには、赤、青、緑などのように、数種類に分けられた色の情報を画素の出力信号として得られるようにすることにより、数３の式の演算処理と同様にして、被写体１７の色の情報を算出することができる。

色の情報を画素の出力信号として得られるようにする手段としては、従来の色分離の手法が全て使用できる。例えば、プリズムで色分離をして３チップ（３板）の撮像素子を使用する方法、撮像素子にオンチップカラーフィルタを使用する方法、窓１５に色フィルタを配置する方法、撮像素子の画素部で色分離をする方法などが挙げられる。

以上のようにして、信号処理回路１６での演算処理によって求めた、被写体１７の輝度情報や色情報である情報Ｂｊをディスプレイに表現すれば、被写体１７の画像を一次元画像として再現できる。

なお、ここでは、理解を容易にするために、一次元モデルの場合を例に挙げて説明したが、図２３に示す二次元モデルの場合には、一次元モデルの場合の数２、数３の各式に対応する演算式が数４、数５の各式となり、これら各式の演算処理を信号処理回路１６で実行することによって求めた、被写体１７の輝度情報や色情報である情報Ｂｊｋをディスプレイに表現すれば、被写体１７の画像を二次元画像として再現できる。

数４の式において、ｋ_hijkが窓１５のピッチＰおよび窓１５の径ｐで決まる係数である。

以上説明したように、撮像素子１４の光電変換側に配された遮光板１３に形成された複数の窓１５の各々を通して、被写体１７からの光を撮像素子１４の光電変換側に導き、撮像素子１４で被写体１７からの光を光電変換して得られる電気信号に対して、複数の窓１５の各々に対応する各被写体の情報を基に所望の信号処理、具体的には各被写体の情報間のずれを補正する信号処理を施すことにより、撮像レンズを使用しなくても、ボケのない画像を所望の光量で撮像できるため、撮像装置の小型化、軽量化、低コスト化を図ることができる。

また、撮像レンズを使用しないため、広ダイナミックレンジの被写体を撮しても、撮像素子１４の画素間における信号電荷量の差異が少ないため、撮像素子１４のダイナミックレンジを有効に使用できる。さらに、レンズを使用しない本撮像装置では、適切な構造により、レンズを使用した場合のような、周辺の画素に入力される光量低下を防ぐことができる。

ここで説明した信号処理回路１６については、窓１５の数が複数個である撮像装置への適用に限られるものではなく、窓１５の数が１つである撮像装置に対しても適用可能である。

なお、上記実施形態では、信号処理回路１６において複数の窓１５の各々を通して撮像面上に結像された各被写体の情報間のずれを補正する信号処理について述べたが、当該ずれの補正を行って被写体の画像を得るだけでなく、被写体の動体検知や認識などを含む種々の信号処理を行うようにしても良い。

本実施形態に係る撮像装置は、デジタルスチルカメラ等の一般的なカメラシステムとして単体で用いることができる他、デバイスの小型化、軽量化、低コスト化が図れることから、携帯電話などの小型携帯機器に組み込むカメラモジュールとして用いることで、小型携帯機器の小型化、軽量化、低コスト化に大きく寄与できることになる。

本発明の一実施形態に係る撮像装置の基本構成を示す概略構成図である。レンズを用いた従来例に係る光学系の概念図である。複数の窓を用いた本発明に係る光学系の概念図である。形状例１に係る窓の断面形状を示す断面図である。形状例２に係る窓の断面形状を示す断面図である。形状例３に係る窓の断面形状を示す断面図である。形状例４に係る窓の断面形状を示す断面図である。形状例５に係る窓の断面形状を示す断面図である。形状例６に係る窓の断面形状を示す断面図である。形状例７に係る窓の断面形状を示す断面図である。遮光板の他の形状例を示す断面図である。窓の数が異なる場合の説明図である。窓の大きさが異なる場合の説明図である（その１）。窓の大きさが異なる場合の説明図である（その２）。窓の光透過率が異なる場合の説明図である。窓の分光透過特性が異なる場合の説明図である。窓にレンズを装着した場合の説明図である。窓の光透過率分布の例を示す図（その１）。窓の光透過率分布の例を示す図（その２）。窓の光透過率分布の例を示す図（その３）。他の光透過率分布関数の例を示す図である。被写体と撮像装置との関係を一次元モデルで示した図である。被写体と撮像装置との関係を一次元モデルで示した図である。撮像レンズを用いた撮像装置の基本構成を示す概略構成図である。

符号の説明

１１…装置本体、１２…パッケージ、１３，１３Ａ，１３Ｂ…遮光板、１４…撮像素子、１５，１５Ａ〜１５Ｇ…窓、１６…信号処理回路、１７…被写体

Claims

被写体からの光を撮像素子の光電変換側に導く所定の距離で離間された複数の窓を含む導光手段と、
前記導光手段により導光された被写体からの光を光電変換する、複数の画素を含む撮像素子と、を備え、
前記撮像素子に含まれる画素のうちの一つの画素に、前記導光手段に含まれる複数の窓のうちの少なくとも二つの窓によって導光された光が入射される
撮像装置。
前記導光手段の各窓を通じて前記撮像素子に導光された光の光強度分布に基づいて決定される係数を要素に持つ行列の逆行列を用い、前記撮像素子の各画素から出力される電気信号に対して演算処理する信号処理手段、を更に備える
請求項１に記載の撮像装置。
前記信号処理手段は、前記撮像素子の各画素から出力される電気信号を表す行列と前記逆行列との積を含む演算処理を行い、被写体から発せられる輝度情報及び／又は色情報を求める
請求項２記載の撮像装置。
前記複数の窓は、その光透過率分布が前記複数の窓の間で異なる
請求項１記載の撮像装置。
前記複数の窓が形成される領域の広さは、前記撮像素子の有効画素部の広さよりも広い
請求項１記載の撮像装置。
前記複数の窓は、断面積の大きさが前記被写体側から前記撮像素子側に至る過程で同様である
請求項１記載の撮像装置。
前記複数の窓は、断面積の大きさが前記被写体側から前記撮像素子側に至る過程で異なる
請求項１記載の撮像装置。
前記複数の窓は、断面積の大きさが前記被写体側から前記撮像素子側に向かうにつれて漸次大きくなる
請求項７記載の撮像装置。
前記複数の窓は、断面積の大きさが前記被写体側から前記撮像素子側に向かうにつれて漸次小さくなる
請求項７記載の撮像装置。
前記複数の窓は、断面積の大きさが前記被写体側から前記撮像素子側に向かうにつれて漸次大きくなる窓と、断面積の大きさが前記被写体側から前記撮像素子側に向かうにつれて漸次小さくなる窓とを含む
請求項７記載の撮像装置。
前記複数の窓は、平板に形成されている
請求項１記載の撮像装置。
前記複数の窓は、湾曲板に形成されている
請求項１記載の撮像装置。
前記複数の窓は、少なくとも２種類の光透過率を持つ窓からなる
請求項１記載の撮像装置。
前記複数の窓は、特定の波長域に対して分光透過特性を持っている
請求項１記載の撮像装置。
前記特定の波長域が赤の波長域である
請求項１４記載の撮像装置。
前記特定の波長域が緑の波長域である
請求項１４記載の撮像装置。
前記特定の波長域が青の波長域である
請求項１４記載の撮像装置。
前記複数の窓は、レンズが装着されている窓からなる
請求項１記載の撮像装置。
前記複数の窓は、レンズが装着されている窓とレンズが装着されていない窓からなる
請求項１記載の撮像装置。
被写体からの光を所定の距離で離間された複数の窓を含む導光手段を介して複数の画素を含む撮像素子の光電変換側に導くステップと、
前記導光手段により導光された被写体からの光を前記撮像素子により光電変換するステップと、を有し、
前記撮像素子に含まれる画素のうちの一つの画素に、前記導光手段に含まれる複数の窓のうちの少なくとも二つの窓によって導光された光が入射される
撮像方法。
信号処理手段により、前記導光手段の各窓を通じて前記撮像素子に導光された光の光強度分布に基づいて決定される係数を要素に持つ行列の逆行列を用い、前記撮像素子の各画素から出力される電気信号に対して演算処理する

請求項２０記載の撮像方法。
前記信号処理では、前記撮像素子の各画素から出力される電気信号を表す行列と前記逆行列との積を含む演算処理を行い、被写体から発せられる輝度情報及び／又は色情報を求める
請求項２１記載の撮像方法。