JP6060659B2 - 撮像装置 - Google Patents

Description

本発明は、被写体の光情報を取得する撮像装置に関する。

被写体の光情報を取得する撮像装置に関して、例えば、通常画像（可視光画像）と偏光画像を得るための撮像装置が既に知られている。この撮像装置は、例えば医療分野の内視鏡装置において用いられている。

具体的には、体腔内に挿入され、通常画像と偏光画像を撮像する内視鏡と、この内視鏡に照明光を供給する光源装置と、内視鏡に内蔵された撮像素子に対する信号処理を行うプロセッサと、プロセッサから出力される映像信号を表示するモニタとから構成される内視鏡装置において用いられている。通常画像の他に偏光画像を用いるのは、被写体の表面或いは深部の情報を抽出するためである。

しかし、従来の撮像装置では、フィルタや光源を切り替えることで異なる光情報を取得しているため、被写体の同一点から発した複数の光情報を含む光線を同時に効率よく取得できないという問題があった。上記内視鏡装置の例においても、通常画像を取得するモードと偏光画像を取得するモードとは排他的であるため、通常画像と偏光画像とを同時に取得することはできない。

本発明は、上記の点に鑑みてなされたものであり、被写体の同一点から発した複数の光情報を含む光線を同時に効率よく取得可能な撮像装置を提供することを課題とする。

本撮像装置は、被写体から出射する光線を捕捉する撮像レンズと、前記撮像レンズを介して入射する前記光線から、各々が異なる光情報を有する光線を生成するフィルタが複数個配置されたフィルタ部と、前記撮像レンズを介して入射する前記光線が前記フィルタ部を通過する領域において、隣接する前記フィルタの境界部が露出するように前記フィルタを保持するフィルタ保持部と、前記フィルタを通過した前記異なる光情報を有する光線を、各々複数の領域に分割する領域分割手段と、前記領域分割手段により複数の領域に分割された各光線を受光して画像情報を出力する撮像素子アレイと、前記フィルタ部を、前記撮像レンズを介して入射する前記光線の光軸に垂直な方向に移動させる移動手段と、を有することを要件とする。

開示の技術によれば、被写体の同一点から発した複数の光情報を含む光線を同時に効率よく取得可能な撮像装置を提供できる。

第１の実施の形態に係る撮像装置を例示する図である。 第１の実施の形態に係るフィルタ部及びフィルタ保持部を例示する図である。 第１の実施の形態に係るマクロピクセルを例示する図である。 第１の実施の形態に係るフィルタの境界部を例示する図である。 比較例に係るフィルタ部及びフィルタ保持部を例示する図である。 比較例に係るマクロピクセルを例示する図である。 第２の実施の形態に係る撮像装置を例示する図である。 第３の実施の形態に係るフィルタの境界部を例示する図である。 第３の実施の形態に係るマクロピクセルを例示する図である。 第４の実施の形態に係る撮像装置を例示する図である。 移動手段の一例を示す図である。 第４の実施の形態に係るマクロピクセルを例示する図である。 第５の実施の形態に係る撮像装置を例示する図である。 画像処理手段が２次元画像を作製する方法を例示するフローチャートである。 撮像素子アレイを簡略化して例示する図である。 フィルタの境界部が移動する場合に画像処理手段が２次元画像を作製する方法を例示するフローチャートである。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

〈第１の実施の形態〉
図１は、第１の実施の形態に係る撮像装置を例示する図である。図１を参照するに、撮像装置１０は大略すると、第１のレンズ２０と、フィルタ部３０と、フィルタ保持部４０と、第２のレンズ５０と、レンズアレイ６０と、撮像素子アレイ７０とを有する。１００は、被写体を示している。

第１のレンズ２０は、被写体１００の任意の点から出射する光線を捕捉し、略平行光線に変換してフィルタ部３０に伝達する機能を有する。なお、第１のレンズ２０は、本発明に係る撮像レンズの代表的な一例である。

フィルタ部３０は、撮像レンズを介して入射する光線から、各々が異なる光情報を有する光線を生成するフィルタが複数個配置された構造を有し、フィルタ保持部４０により保持されている。第１のレンズ２０からの略平行光線は、フィルタ部３０を透過して第２のレンズ５０に入射する。フィルタ部３０及びフィルタ保持部４０の詳細については、後述する。

第２のレンズ５０はフィルタ部３０を透過する略平行光線を収束させ、レンズアレイ６０の位置で結像させる機能を有する。レンズアレイ６０は複数のマイクロレンズ６１により構成されている。各マイクロレンズ６１は、第２のレンズ５０からの収束光線を複数の領域に分割し、再び発散させて撮像素子アレイ７０に伝達する機能を有する。

このように、レンズアレイ６０で第２のレンズ５０からの収束光線を複数の領域に分割することにより、撮像素子アレイ７０において、隣接する信号同士が重複しないように領域分割された画像が得られる。なお、レンズアレイ６０は、本発明に係る領域分割手段の代表的な一例である。

撮像素子アレイ７０は、各マイクロレンズ６１により発散された光線を受光して電気信号に変換し、画像情報を出力する機能を有する。撮像素子アレイ７０としては、例えばＭＯＳ（Metal Oxide Semiconductor Device）、ＣＭＯＳ（Complimentary Metal Oxide Semiconductor Device）、ＣＣＤ（Charge CoupＬＥＤ Device）、ＣＩＳ（Contact Image Sensor）等を用いることができる。

なお、撮像素子アレイ７０の一部をマクロピクセル７１と称する。マイクロレンズアレイ６０を構成する各マイクロレンズ６１毎に、対応するマクロピクセル７１が存在する。各マクロピクセル７１は、複数の画素を有する。各画素の大きさは、例えば、数μｍ程度とすることができる。

このように、撮像装置１０において、被写体１００の任意の点から発した光線は第１のレンズ２０で略平行光線に変換され、フィルタ部３０を経由して第２のレンズ５０に入射し、第２のレンズ５０で収束光線に変換されて、レンズアレイ６０の位置で結像する。そして、レンズアレイ６０の各マイクロレンズ６１は、第２のレンズ５０からの収束光線を再び発散させて撮像素子アレイ７０の各マクロピクセル７１に伝達し、撮像素子アレイ７０により画像情報が得られる。

撮像装置１０において、第１のレンズ２０及び第２のレンズ５０の各々の焦点距離はＦ、レンズアレイ６０を構成する各マイクロレンズ６１の焦点距離はｆである。被写体１００の中心部と第１のレンズ２０の中心部との間の距離Ｄａは、第１のレンズ２０の焦点距離Ｆと等しい。又、第２のレンズ５０とレンズアレイ６０との間の距離はＤｂは第２のレンズ２０の焦点距離Ｆと等しい。

レンズアレイ６０と撮像素子アレイ７０との間の距離Ｄｃは、マイクロレンズ６１の焦点距離ｆと等しい。又、第１のレンズ２０、第２のレンズ５０、及びレンズアレイ６０を構成する各マイクロレンズ６１のＦナンバーは等しい。

撮像装置１０を図１に示すような構成とすることにより、プレノプティックカメラを構築できる。なお、プレノプティックカメラは、マイクロレンズによってカメラに入射する光を分割することにより、異なる視点の画像を一度の撮影で取得可能とするカメラである。そのため、プレノプティックカメラで撮影した画像に基づき計算処理を行うことで、任意の視点、開口径、フォーカス距離の画像を生成できる。又、プレノプティックカメラの構成とすることで、撮像素子アレイ７０は被写体１００から発した光線の明るさ情報のみならず、方向情報も検出できる。

次に、フィルタ部３０及びフィルタ保持部４０について、更に詳しく説明する。図２は、第１の実施の形態に係るフィルタ部及びフィルタ保持部を例示する図である。図２（ａ）はフィルタ部のみを例示し、図２（ｂ）はフィルタ部がフィルタ保持部に保持されている状態（図１と同様の状態）を例示している。

図２を参照するに、フィルタ部３０は、所定位置に配置されたフィルタ３１、３２、３３、及び３４を有する。又、フィルタ保持部４０は、枠部４１と、枠部４１の内側に固定された押さえ部４２とを有する。押さえ部４２の中央部近傍には、平面形状が略円形状の開口部４２ｘが形成されている。

開口部４２ｘ内にはフィルタ３１、３２、３３、及び３４の各々の一部が露出しており、フィルタ部３０に入射する光線は開口部４２ｘ内に露出するフィルタ３１、３２、３３、及び３４を透過する。なお、第１のレンズ２０から入射する光線がフィルタ部３０を通過する領域において、フィルタ３１、３２、３３、及び３４の各々の境界部にはフィルタ保持部４０が設けられていない。

つまり、フィルタ保持部４０は、第１のレンズ２０から入射する光線がフィルタ部３０を通過する領域において、フィルタ３１、３２、３３、及び３４の各々の境界部が露出するようにフィルタ３１、３２、３３、及び３４を保持している。具体的には、押さえ部４２が、開口部４２ｘ内にフィルタ３１、３２、３３、及び３４の各々の境界部の少なくとも一部が露出するように、フィルタ３１、３２、３３、及び３４を保持している。そして、第１のレンズ２０を介して入射する光線は、開口部４２ｘを通過する。

フィルタ３１、３２、３３、及び３４は、各々例えば平面形状が略矩形状のガラス板に所定の特性を有する多層膜を蒸着した構成等とすることができる。フィルタ３１、３２、３３、及び３４は、各々特性が異なるフィルタである。一例を挙げれば、フィルタ３１は赤色光線を透過させるフィルタ、フィルタ３２は緑色光線を透過させるフィルタ、フィルタ３３は青色光線を透過させるフィルタ、フィルタ３４は可視光線を透過させるフィルタである。

フィルタ３１、３２、３３、及び３４は、各々の２つの側面が他のフィルタ部の側面と接するように、フィルタ保持部４０の枠部４１の内側に配置されている。各々の２つの側面が他のフィルタ部の側面と接する部分は接着等はされていなく、単に側面同士が接触している状態である。

フィルタ３１、３２、３３、及び３４において、各々の第１のレンズ２０側の面（入射側の面）の光線が透過しない領域の少なくとも一部は、フィルタ保持部４０の押さえ部４２に接して押さえられている。

フィルタ３１、３２、３３、及び３４の各々の枠部４１側の側面は、枠部４１の内側面と接着されていてもよいし、枠部４１にばね部材等を設け、フィルタ３１、３２、３３、及び３４を各々枠部４１の中心側に向かって押圧する構造等としてもよい。又、フィルタ３１、３２、３３、及び３４の各々の第１のレンズ２０側の面の押さえ部４２に接している部分は、接着されていてもよい。このように、枠部４１及び押さえ部４２を設けることにより、フィルタ３１、３２、３３、及び３４の脱落を防止できる。

又、押さえ部４２は、フィルタ３１、３２、３３、及び３４の各々の第２のレンズ５０側の面（出射側の面）に設けてもよい。この場合には、フィルタ３１、３２、３３、及び３４において、各々の第２のレンズ５０側の面（出射側の面）の光線が透過しない領域の少なくとも一部が、フィルタ保持部４０の押さえ部４２に接して押さえられる。

又、フィルタ３１、３２、３３、及び３４の各々の第１のレンズ２０側の面（入射側の面）に押さえ部４２を設け、更に、フィルタ３１、３２、３３、及び３４の各々の第２のレンズ５０側の面（出射側の面）に、押さえ部４２と同様の形状又は異なる形状の他の部材（開口部が形成されている）を設け、枠部４１と押さえ部４２と他の部材により、フィルタ３１、３２、３３、及び３４を挟み込んで保持する構造としてもよい。

開口部４２ｘは、第１のレンズ２０から入射する光線を妨げない範囲で小さく形成することが好ましい。押さえ部４２がフィルタ３１、３２、３３、及び３４の各々の第１のレンズ２０側の面と接する面積を大きくし、フィルタ保持部４０がフィルタ部３０を安定的に保持するためである。なお、開口部４２ｘの平面形状は、略円形状には限定されず、例えば、略楕円形状、略矩形状、略多角形状等の任意の形状として構わない。

なお、例えば、第１のレンズ２０から入射する光線の外縁部が不要である場合等は、開口部４２ｘを第１のレンズ２０から入射する光線の断面積よりも小さく開口し、開口部４２ｘを絞りとして機能させてもよい。この場合には、第１のレンズ２０からフィルタ部３０に入射する光線の一部は遮光され、残部が第２のレンズ５０側に透過することになる。

フィルタ保持部４０の枠部４１及び押さえ部４２は、例えば、樹脂や金属等から形成できる。又、図１及び図２（ｂ）では、フィルタ保持部４０の枠部４１と押さえ部４２とは別体として図示しているが、枠部４１と押さえ部４２を同一材料で一体に形成してもよい。

なお、ここでは、フィルタ部３０を縦２×横２（フィルタ３１、３２、３３、及び３４）に空間分割する例を示したが、これには限定されない。複数の光情報を同時に取得するためには、最低限２つのフィルタを有していればよい。例えば、平面形状が略長方形状の２つのフィルタを接するように配置して、フィルタ保持部４０で保持する構造とすることができる。

次に、レンズアレイ６０を通過した光束が複数の光情報に分離される過程について説明する。なお、ここでは、マイクロレンズ６１に対応するマクロピクセル７１が２１×２１画素である場合を例に取り説明する。

図３は、第１の実施の形態に係るマクロピクセルを例示する図である。図３を参照するに、マクロピクセル７１は、部分領域７１ａ、７１ｂ、７１ｃ、及び７１ｄを有する。フィルタ部３０を透過した光線はマイクロレンズ６１を通過する際に上下左右が反転するため、部分領域７１ａ、７１ｂ、７１ｃ、及び７１ｄは、各々図２のフィルタ３４、３３、３２、及び３１に対応した光情報を受光する領域となる。

十字状の７１ｘは、フィルタ３１、３２、３３、及び３４が接している領域により生じる影である（以降、影７１ｘと称する）。一般的に、取り扱い時に指等を傷つけないために、フィルタの外縁部には図４に示すような面取りが施されている。図４では、フィルタ３１及び３２の外縁部両面に各々面取り３１ｘ及び３２ｘが施されている例を示しているが、フィルタ３３及び３４にも同様の面取りが施されている。フィルタ３１、３２、３３、及び３４において、面取りが施された領域は光が直進しないため、図３に示すような影７１ｘが生じる。

しかしながら、本実施の形態では、第１のレンズ２０から入射する光線がフィルタ部３０を通過する領域において、フィルタ３１、３２、３３、及び３４の各々の境界部が露出しているため、影７１ｘが生じる領域を縮小でき、光情報を効率よく取得することが可能である。

この点について、比較例を用いながら、より詳しく説明する。図５は、比較例に係るフィルタ部及びフィルタ保持部を例示する図である。図５を参照するに、フィルタ保持部４００は、枠部４１０と、枠部４１０の内側に固定された押さえ部４２０とを有し、フィルタ部３０を構成するフィルタ３１、３２、３３、及び３４を保持している。

押さえ部４２０は、押さえ部４２（図２（ｂ）参照）とは異なり、フィルタ３１、３２、３３、及び３４の各々の境界部を覆うように十字状に形成されている。つまり、第１のレンズ２０から入射する光線がフィルタ部３０を通過する領域において、フィルタ３１、３２、３３、及び３４の各々の境界部は露出していない。

図６は、比較例に係るマクロピクセルを例示する図である。図６は、図１に示す撮像装置１０において、フィルタ保持部４０をフィルタ保持部４００に置換した場合の様子を示している。

図６を参照するに、マクロピクセル７１に生じた十字状の影７１ｙは、フィルタ保持部４００の押さえ部４２０による影である。フィルタ保持部４００には十字状の押さえ部４２０が存在しているため、それに対応する十字状の影７１ｙが発生し、影７１ｙの部分は受光素子（画素）があるにも関わらず光情報を取得できない。つまり、影７１ｙにより光情報の損失が生じる。

例えば、フィルタ３１、３２、３３、及び３４に入射する光線の断面形状が直径２ｍｍの円形であり、押さえ部４２０の幅が０．５ｍｍであるとすると、マクロピクセル７１の有する画素の１／４程度を覆うように影７１ｙが発生し、その部分で光情報の損失が生じる。

一方、前述のように、図２（ｂ）に示す本実施の形態に係るフィルタ保持部４０には十字状の押さえ部は設けられていなく、第１のレンズ２０から入射する光線がフィルタ部３０を通過する領域において、フィルタ３１、３２、３３、及び３４の各々の境界部が露出している。そのため、図３に示す影７１ｘが生じる領域は、図６に示す影７１ｙが生じる領域に比べて大幅に縮小し、光情報を効率よく取得することが可能となるのである。

このように、第１の実施の形態に係る撮像装置１０では、複数の光情報に対応した空間分割フィルタであるフィルタ３１、３２、３３、及び３４を設け、第１のレンズ２０から入射する光線がフィルタ部３０を通過する領域において、フィルタ３１、３２、３３、及び３４の各々の境界部を露出させている。これにより、各マクロピクセル上の影が生じる領域を縮小でき、被写体１００の同一点から発した複数の光情報を含む光線を同時に効率よく取得することが可能となる。

〈第２の実施の形態〉
第２の実施の形態では、レンズアレイに代えてピンホールアレイを用いる例を示す。なお、第２の実施の形態において、既に説明した実施の形態と同一構成部分についての説明は省略する。

図７は、第２の実施の形態に係る撮像装置を例示する図である。図７を参照するに、撮像装置１０Ａは、レンズアレイ６０がピンホールアレイ６０Ａに置換された点が、撮像装置１０（図１参照）と相違する。

ピンホールアレイ６０Ａは、遮光部材に複数の開口部６１ｘが例えば格子状に配置された構造を有する。第２のレンズ５０からの収束光線は、ピンホールアレイ６０Ａの各開口部６１ｘにより複数の領域に分割され、発散光が撮像素子アレイ７０の各マクロピクセル７１に伝達される。ピンホールアレイ６０Ａの各開口部６１ｘ毎に、対応するマクロピクセル７１が存在する。各開口部６１ｘは、例えば、第１の実施の形態のレンズアレイ６０を構成する各マイクロレンズ６１の中心に対応する位置に配置することができる。

このように、ピンホールアレイ６０Ａで第２のレンズ５０からの収束光線を複数の領域に分割することにより、撮像素子アレイ７０において、隣接する信号同士が重複しないように領域分割された画像が得られる。なお、ピンホールアレイ６０Ａは、本発明に係る領域分割手段の代表的な一例である。

ピンホールアレイ６０Ａとしては、ガラス等の透明部材に金属膜や黒色樹脂による遮光部を設け、その一部に開口部６１ｘが形成された部材や、金属薄板等からなる遮光部に開口部６１ｘが形成された部材等を用いることができる。開口部６１ｘの平面形状は、円形や楕円形、矩形或いは他のより複雑な形状とすることができる。

このように、レンズアレイ６０に代えてピンホールアレイ６０Ａを用いることにより、第１の実施の形態の効果に加えて、回折現象を除く光学的収差が皆無になるという効果を奏する。但し、そのトレードオフとして像が暗くなるが、十分な光量が期待できる撮影状況ならば上記効果が発揮できる。

〈第３の実施の形態〉
第３の実施の形態では、第１の実施の形態よりも更に光情報を効率よく取得できる例を示す。なお、第３の実施の形態において、既に説明した実施の形態と同一構成部分についての説明は省略する。

図８は、第３の実施の形態に係るフィルタの境界部を例示する図である。図９は、第３の実施の形態に係るマクロピクセルを例示する図である。第１の実施の形態では、図４に示すようにフィルタ３１及び３２の外縁部両面に各々面取り３１ｘ及び３２ｘが施されており、フィルタ３３及び３４にも同様の面取りが施されていた。そのため、面取りが施された領域で光が直進しないため、図３に示すような影７１ｘが生じていた。

一方、第３の実施の形態では、図８に示すように、フィルタ３１及び３２の外縁部両面には面取りが施されていない。又、図示はしないが、フィルタ３３及び３４にも外縁部両面には面取りが施されていない。そのため、光が直進しない部分が最小限となり、図９に示す影７１ｚが生じる領域は、図３に示す影７１ｘが生じる領域に比べて更に縮小し、光情報を更に効率よく取得することが可能となる。なお、フィルタ３１、３２、３３、及び３４において、他のフィルタと接しない面には図４と同様な面取りが施されていても構わない。

なお、図８に示すようにフィルタ３１、３２、３３、及び３４において、他のフィルタと接する面に面取りが施されていない場合にも図９に示すような影７１ｚが生じる理由は、各フィルタの境界部において入射光線の反射や減衰が生じるためである。

このように、第３の実施の形態では、フィルタ３１、３２、３３、及び３４において、他のフィルタと接する面に面取りを施さないことにより、第１の実施の形態と比較して、光情報を更に効率よく取得することが可能となる。

〈第４の実施の形態〉
第４の実施の形態では、フィルタ部３０を移動可能に構成する例を示す。なお、第４の実施の形態において、既に説明した実施の形態と同一構成部分についての説明は省略する。

図１０は、第４の実施の形態に係る撮像装置を例示する図である。図１０を参照するに、撮像装置１０Ｂは、移動手段８０が追加された点が、撮像装置１０（図１参照）と相違する。

移動手段８０は、フィルタ部３０及びフィルタ保持部４０を第１のレンズ２０を介して入射する光線の光軸に略垂直な方向に移動させ、任意の位置で保持する機能を有する。例えば、フィルタ部３０及びフィルタ保持部４０を移動自在な状態で固定部に保持し、固定部に光軸に略垂直な面内で互いに直交する２つの送りねじを設けることにより移動手段８０を実現できる。

但し、必ずしもフィルタ保持部４０をフィルタ部３０と一緒に移動させる必要はない。例えば、フィルタ保持部４０を固定部とし、フィルタ部３０を移動自在な状態でフィルタ保持部４０に保持し、フィルタ保持部４０に対してフィルタ部３０のみを移動させる構造としても構わない。

図１１は移動手段の一例を示す図であり、第１のレンズ２０を介して入射する光線の光軸方向から視た図である。図１１（ａ）はフィルタ部及びフィルタ保持部を固定部に対して移動自在に構成する例を示している。なお、図１１（ａ）において、便宜上、立設部１１２を梨地模様で示している。

図１１（ａ）を参照するに、フィルタ部３０及びフィルタ保持部４０は、移動自在な状態で固定部１１０に保持されている。固定部１１０は、例えば平面形状が略矩形状の板状部１１１と、板状部１１１の外縁部に枠状に突起するように設けられた立設部１１２とを有する。なお、板状部１１１と立設部１１２とは、一体に形成されていてもよいし、別体を接着等したものであってもよい。

固定部１１０には、移動手段８０の一例である、ねじ８１及び８２、並びに弾性体８３及び８４が設けられている。より具体的には、ねじ８１及び８２は、立設部１１２の上側部分と左側部分に設けられたねじ穴（図示せず）と噛み合うように挿入されている。

弾性体８３は、立設部１１２の下側部分の内壁とフィルタ保持部４０の枠部４１の下側部分の外壁との間の、フィルタ保持部４０を介してねじ８１と対向する位置に配置されている。又、弾性体８４は、立設部１１２の右側部分の内壁とフィルタ保持部４０の枠部４１の右側部分の外壁との間の、フィルタ保持部４０を介してねじ８２と対向する位置に配置されている。弾性体８３及び８４としては、例えば、スポンジや板ばね等を用いることができる。

ねじ８１の先端部は、フィルタ保持部４０の枠部４１の上側部分の外壁と接してフィルタ保持部４０を弾性体８３側に押圧して弾性体８３を収縮させ、フィルタ部３０及びフィルタ保持部４０を上下方向に挟んで保持している。又、ねじ８２の先端部は、フィルタ保持部４０の枠部４１の左側部分の外壁と接してフィルタ保持部４０を弾性体８４側に押圧して弾性体８４を収縮させ、フィルタ部３０及びフィルタ保持部４０を左右方向に挟んで保持している。

ねじ８１を回転させると固定部１１０に対してフィルタ部３０及びフィルタ保持部４０が上下方向（垂直方向）に移動し、ねじ８２を回転させると固定部１１０に対してフィルタ部３０及びフィルタ保持部４０が左右方向（水平方向）に移動する。なお、ねじ８１及び８２は手動で回転させてもよいし、ステッピングモータ等を用いて電動で回転させてもよい。例えば、数μｍ程度のピッチで移動できるように構成すると好適である。

図１１（ｂ）はフィルタ部を固定部であるフィルタ保持部に対して移動自在に構成する例を示している。図１１（ｂ）を参照するに、フィルタ部３０は、移動自在な状態で固定部であるフィルタ保持部４０に保持されている。

フィルタ保持部４０には、移動手段８０の一例である、ねじ８１及び８２、並びに弾性体８３及び８４が設けられている。より具体的には、ねじ８１及び８２は、フィルタ保持部４０の枠部４１の上側部分と左側部分に設けられたねじ穴（図示せず）と噛み合うように挿入されている。

弾性体８３は、フィルタ保持部４０の枠部４１の下側部分の内壁とフィルタ部３０のフィルタ３３及び３４の下側部分の外壁との間の、フィルタ部３０を介してねじ８１と対向する位置に配置されている。又、弾性体８４は、フィルタ保持部４０の枠部４１の右側部分の内壁とフィルタ部３０のフィルタ３２及び３４の右側部分の外壁との間の、フィルタ部３０を介してねじ８２と対向する位置に配置されている。

ねじ８１の先端部は、フィルタ部３０のフィルタ３１及び３２の上側部分の外壁と接してフィルタ部３０を弾性体８３側に押圧して弾性体８３を収縮させ、フィルタ部３０を上下方向に挟んで保持している。又、ねじ８２の先端部は、フィルタ部３０のフィルタ３１及び３３の左側部分の外壁と接してフィルタ部３０を弾性体８４側に押圧して弾性体８４を収縮させ、フィルタ部３０を左右方向に挟んで保持している。なお、ねじ８１及び８２の先端部を鋭利にせずに平坦部を設け、該当するフィルタの外壁と面で接するようにすることが好ましい。

ねじ８１を回転させるとフィルタ保持部４０に対してフィルタ部３０が上下方向（垂直方向）に移動し、ねじ８２を回転させるとフィルタ保持部４０に対してフィルタ部３０が左右方向（水平方向）に移動する。なお、図１１（ａ）の場合と同様に、ねじ８１及び８２は手動で回転させてもよいし、ステッピングモータ等を用いて電動で回転させてもよい。例えば、数μｍ程度のピッチで移動できるように構成すると好適である。

なお、図１１（ａ）及び図１１（ｂ）において、押さえ部４２の開口部４２ｘを絞りとして使用しない場合には、フィルタ部３０が移動してもフィルタ部３０に入射する光線を遮らない程度に予め開口部４２ｘを大きく形成しておく必要がある。

図１２は、第４の実施の形態に係るマクロピクセルを例示する図であり、図１０に示す移動手段８０によりフィルタ部３０（又は、フィルタ部３０及びフィルタ保持部４０）を移動させた場合の例を示している。つまり、フィルタ３１、３２、３３、及び３４の各境界部の交点の位置（以降、単に各境界部の交点の位置と称する）を光軸に対してずらした場合の例を示している。

各境界部の交点の位置を光軸に対してずらしたことにより、部分領域７１ａ、７１ｂ、７１ｃ、及び７１ｄの各々の面積が異なり、影７１ｘの位置が移動している。例えば、部分領域７１ａに対応するフィルタ３４の光情報を多く取得したい場合は、図１２のように（部分領域７１ａの面積が他の部分領域よりも広くなるように）、移動手段８０を用いて各境界部の交点の位置を移動させればよい。なお、光情報を効率よく取得できる点については、第１の実施の形態と同様である。

このように、第４の実施の形態では、移動手段８０を設け、フィルタ部３０（又は、フィルタ部３０及びフィルタ保持部４０）を光軸に略垂直な面内で移動させることにより、所定のフィルタからの光情報を他のフィルタからの光情報よりも多く取得することが可能となる。

例えば、フィルタ３１、３２、３３、及び３４の各々の透過率の違いや、撮像素子アレイ７０の波長に対する感度の違い等を補正するために、特定のフィルタからの光情報を多く取得したい場合等に有効である。又、特定のフィルタから光情報を、他のフィルタから光情報よりも高Ｓ／Ｎで取得したい場合等に、特定のフィルタからの光情報を多く取得して平均化することも有効である。

〈第５の実施の形態〉
第５の実施の形態では、２次元画像を作製する例を示す。なお、第５の実施の形態において、既に説明した実施の形態と同一構成部分についての説明は省略する。

図１３は、第５の実施の形態に係る撮像装置を例示する図である。図１３を参照するに、撮像装置１０Ｃは、画像処理手段９０が追加された点が、撮像装置１０（図１参照）と相違する。

画像処理手段９０は、撮像素子アレイ７０から出力された電気信号（画像情報）に基づいて２次元画像を作製する機能を有する。画像処理手段９０は、例えばＣＰＵ、ＲＯＭ、メインメモリ等を含み、画像処理手段９０の各種機能は、ＲＯＭ等に記録されたプログラムがメインメモリに読み出されてＣＰＵにより実行されることによって実現できる。但し、画像処理手段９０の一部又は全部は、ハードウェアのみにより実現されてもよい。又、画像処理手段９０は、物理的に複数の装置により構成されてもよい。

図１４及び図１５を参照しながら、図１３に示す画像処理手段９０が２次元画像を作製する方法について説明する。まず、図１４に示すフローチャートの説明をし、その後、図１５を参照しながら補足する。

図１４において、まず、ステップＳ２０１では、被写体１００から出射した光線を第１のレンズ２０で捕捉する。次に、ステップＳ２０２では、ステップＳ２０１で第１のレンズ２０で捕捉した光線を、フィルタ部３０、第２のレンズ５０、及びレンズアレイ６０により複数の光情報を含む光線に分離する。

次に、ステップＳ２０３では、ステップＳ２０２で分離した複数の光情報を含む光線を撮像素子アレイ７０で受光する。次に、ステップＳ２０４では、画像処理手段９０は、撮像素子アレイ７０から受光光量に対応した電気信号を入手する。次に、ステップＳ２０５では、画像処理手段９０は、撮像素子アレイ７０から入手した電気信号を再配列する。次に、ステップＳ２０６では、画像処理手段９０は、所定の光情報を含む２次元画像を複数出力する。

図１５は、撮像素子アレイを簡略化して例示する図である。図１５では、説明の便宜上、撮像素子アレイ７０はマクロピクセル７１を中心とした３×３のマクロピクセルにより構成されているものとする。太線で囲まれた部分が各マクロピクセルである。

なお、図３等ではマクロピクセル７１が２１×２１画素である場合を例に取り説明したが、図１５では説明の便宜上マクロピクセル７１を含む各マクロピクセルが横２画素×縦２画素で構成されているものとする。すなわち、マクロピクセル７１を含む各マクロピクセルは、フィルタ３１、３２、３３、及び３４に対応する部分領域を１つずつ備えている。

図１４のステップＳ２０５及びＳ２０６で説明したように、画像処理手段９０が撮像素子アレイ７０から出力された電気信号を再配列することにより、所定の光情報を含む２次元画像を複数作製できる。例えば、各マクロピクセルの左上の画素の電気信号を、図１５中の矢印のように再配列することにより、図２のフィルタ３４に対応する光情報を含む９画素の２次元画像１５０を作製できる。

同様に、各マクロピクセルの右上の画素の電気信号を再配列することにより図２のフィルタ３３に対応する光情報を含む９画素の２次元画像を、各マクロピクセルの左下の画素の電気信号を再配列することにより図２のフィルタ３２に対応する光情報を含む９画素の２次元画像を、各マクロピクセルの右下の画素の電気信号を再配列することにより図２のフィルタ３１に対応する光情報を含む９画素の２次元画像を作製できる。

なお、実際には各マクロピクセルの各部分領域には多数の画素が存在するが、各部分領域に属する画素から１画素を抜き出して、その画素の出力値を再配列してもよいし、各部分領域に属する画素の出力値の総和或いは平均値を算出して再配列してもよい。各部分領域に属する画素の出力値の総和或いは平均値を算出して再配列する方法は、１画素を抜き出して再配列する方法に対して、信号とノイズとの比（ＳＮ比）を大きくできる点で、つまり、ノイズの影響を小さくできる点で好ましい。

又、各部分領域に属する画素から１画素を抜き出して再配列する方法では、視差を有する複数の２次元画像を作製できる。作製した複数の２次元画像からシフト量を求め、求めたシフト量に基づいて、被写体までの距離を推定できる。

又、図１５では、簡単のために非常に少ないマクロピクセル数（３×３）で説明したが、実際はレンズアレイ６０を構成するマイクロレンズ６１の数を増やすことにより、つまり、マクロピクセル数を増やすことにより、意味のある２次元画像を取得することが可能である。

〈第６の実施の形態〉
第６の実施の形態では、移動手段を有する場合において、２次元画像を作製する例を示す。なお、第６の実施の形態において、既に説明した実施の形態と同一構成部分についての説明は省略する。

図１０に示す撮像装置１０Ｂの撮像素子アレイ７０に図１３に示す画像処理手段９０を接続し、移動手段８０を動作させながら画像を取得する場合の画像処理手段９０による処理について、図１６のフローチャートを参照しながら説明する。

図１６において、まず、ステップＳ３０１では、移動手段８０により、フィルタ部３０及びフィルタ保持部４０を、固定部１１０に対して第１のレンズ２０を介して入射する光線の光軸に略垂直な方向に移動させる（図１１（ａ）参照）。或いは、移動手段８０により、フィルタ部３０を、固定部であるフィルタ保持部４０に対して第１のレンズ２０を介して入射する光線の光軸に略垂直な方向に移動させる（図１１（ｂ）参照）。

次に、ステップＳ３０２〜Ｓ３０４において、各領域の同定を行う。まず、ステップＳ３０２において、均一な明るさの面光源を第１のレンズ２０の直前に配置して発光させ、ステップＳ３０３において、校正用の画像の撮像を行う。なお、取得した画像をライトフィールド画像と称する。ライトフィールド画像は、マクロピクセルがレンズアレイを構成するマイクロレンズの数だけ並んだ画像である。

ここでは、ステップＳ３０１での移動手段８０によるフィルタ部３０（又は、フィルタ部３０及びフィルタ保持部４０）の移動にともなって、マクロピクセル７１の中をフィルタの境界部の像である影７１ｘが移動し、前述の図１２に示した画像が得られたとする。図１２の例では、各境界部の交点の位置は、マクロピクセル７１の中央ではなく右下に移動している。

ステップＳ３０３では、フィルタの境界部に対応する影７１ｘが暗く、部分領域７１ａ、７１ｂ、７１ｃ、及び７１ｄの影７１ｘを除く領域が明るいライトフィールド画像（以降、校正画像と称する）が得られる。なお、面光源の大きさは、第１のレンズ２０の開口よりも大きいことが好ましい。

次に、ステップＳ３０４において、ステップＳ３０３で撮像した校正画像に二値化処理及びラベリング処理を行う。二値化処理を行うことにより、例えば、図１２に示すマクロピクセル７１において、影７１ｘに対応する領域が黒、部分領域７１ａ、７１ｂ、７１ｃ、及び７１ｄの影７１ｘを除く領域が白となる。

ラベリング処理とは、連結している画素で同じ色情報を持った集合に同一のラベル番号を付加する処理である。例えば、まず、マクロピクセル７１において、ラベルが付加されていない画素に対し新しいラベル番号を付加する。次に、新しいラベル番号を付加した画素と連結して同じ色情報を有する画素に対し同じラベル番号を付加する。次に、同じラベル番号を付加した画素と連結して同じ色情報有する画素に対して同じラベル番号を付加する。

上記操作を繰り返すことにより、一つの連結成分に同じラベル番号が付加される。次に、ラベル番号が付加されていない画素に対して同様の処理を行い、全画素にラベル番号が付加されたとき、ラベリング処理は終了する。ラベリング処理を行うことにより、例えば、部分領域７１ａ、７１ｂ、７１ｃ、及び７１ｄの影７１ｘを除く領域に各々ラベル番号１、２、３、及び４が付加され、影７１ｘに対応する領域にラベル番号０が付加される。以上により、各領域の同定が完了する。

つまり、移動手段８０によるフィルタ部３０（又は、フィルタ部３０及びフィルタ保持部４０）の移動にともなってフィルタの境界部の像が各マクロピクセル中を移動した場合に、各マクロピクセル中のフィルタ３１〜３４に対応する画素領域が認識された。

次に、ステップＳ３０５において、実際に光情報を測定したい被写体を撮像装置１０Ｂで撮像し、ライトフィールド画像を取得する。そして、ラベリング処理した部分領域７１ａ、７１ｂ、７１ｃ、及び７１ｄについて（ラベル番号１、２、３、及び４が付加された各画素領域について）、それぞれ画素値の平均値を算出する（平均値算出処理）。なお、ステップＳ３０４の二値化処理及びラベリング処理、並びにステップＳ３０５の平均値算出処理は、全てのマクロピクセルについて行う。

次に、ステップＳ３０６において、図１４のステップＳ２０５及び図１５と同様にして電気信号の再配列を行い、ステップＳ３０７において、フィルタ３１〜３４に対応する異なる光情報を含む複数の２次元画像を形成する。

なお、二値化処理及びラベリング処理、並びに平均値算出処理は、例えば、画像処理手段９０の図示しないＲＯＭ等に記録されたプログラムがメインメモリに読み出されてＣＰＵにより実行されることによって、自動的に行うことが可能である。但し、二値化処理及びラベリング処理、並びに平均値算出処理は、画像処理手段９０を構成するハードウェアのみにより、自動的に行うようにしてもよい。二値化処理を行わずに、モニタに映した画像を見ながら手動でラベリング処理を行う方法も考えられるが、手間がかかるため、画像処理手段９０により自動化することが好ましい。

このようにして、第６の実施の形態では、画像処理手段９０が、移動手段８０によるフィルタ部３０の移動にともなってフィルタの境界部の像が各マクロピクセル中を移動した場合に、各マクロピクセル中のフィルタ３１〜３４に対応する画素領域を認識する。そして、画像処理手段９０が、認識した画素領域から得られるフィルタ３１〜３４に対応する異なる光情報に基づいて、フィルタ３１〜３４に対応する異なる光情報を含む複数の２次元画像を形成する。

つまり、画像処理手段９０が、移動手段８０によるフィルタ部３０の移動にともなって各マクロピクセル中を移動するフィルタの境界部の像に対応して、各マクロピクセルにおいて異なる光情報を受光する領域を変化させる。これにより、移動手段８０によりフィルタ部３０が移動した場合にも、異なる光情報を含む複数の２次元画像を形成できる。

以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。

例えば、フィルタ部３０は分光情報を取得するフィルタには限定されず、例えば偏光情報を取得するフィルタ等としても構わない。又、各実施の形態は、適宜組み合わせることができる。

１０、１０Ａ、１０Ｂ、１０Ｃ 撮像装置
２０ 第１のレンズ
３０ フィルタ部
３１、３２、３３、３４ フィルタ
３１ｘ、３２ｘ 面取り
４０ フィルタ保持部
４１ 枠部
４２ 押さえ部
４２ｘ 開口部
５０ 第２のレンズ
６０ レンズアレイ
６０Ａ ピンホールアレイ
６１ マイクロレンズ
６１ｘ 開口部
７０ 撮像素子アレイ
７１ マクロピクセル
７１ａ、７１ｂ、７１ｃ、７１ｄ 部分領域
７１ｘ、７１ｙ、７１ｚ 影
８０ 移動手段
８１、８２ ねじ
８３、８４ 弾性体
９０ 画像処理手段
１００ 被写体
１１０ 固定部
１１１ 板状部
１１２ 立設部
１５０ ２次元画像

特開２００３−４７５８８号公報

Claims (9)

1. 被写体から出射する光線を捕捉する撮像レンズと、
   前記撮像レンズを介して入射する前記光線から、各々が異なる光情報を有する光線を生成するフィルタが複数個配置されたフィルタ部と、
   前記撮像レンズを介して入射する前記光線が前記フィルタ部を通過する領域において、隣接する前記フィルタの境界部が露出するように前記フィルタを保持するフィルタ保持部と、
   前記フィルタを通過した前記異なる光情報を有する光線を、各々複数の領域に分割する領域分割手段と、
   前記領域分割手段により複数の領域に分割された各光線を受光して画像情報を出力する撮像素子アレイと、
   前記フィルタ部を、前記撮像レンズを介して入射する前記光線の光軸に垂直な方向に移動させる移動手段と、を有する撮像装置。
2. 複数の領域に分割された前記各光線は、前記撮像素子アレイの前記各光線に対応する領域である各マクロピクセルにより受光され、
   前記移動手段による前記フィルタ部の移動にともなって前記フィルタの境界部の像が前記各マクロピクセル中を移動した場合に、前記各マクロピクセル中の各々の前記フィルタに対応する画素領域を認識し、認識した前記画素領域から得られる前記異なる光情報に基づいて、前記異なる光情報を含む複数の２次元画像を形成する画像処理手段を有する請求項１記載の撮像装置。
3. 前記フィルタ部及び前記フィルタ保持部は、移動自在な状態で固定部に保持され、
   前記移動手段は、前記フィルタ部及び前記フィルタ保持部を、前記固定部に対して、前記光軸に垂直な方向に移動させる請求項１又は２記載の撮像装置。
4. 前記フィルタ部は、移動自在な状態で前記フィルタ保持部に保持され、
   前記移動手段は、前記フィルタ部を、前記フィルタ保持部に対して、前記光軸に垂直な方向に移動させる請求項１又は２記載の撮像装置。
5. 前記移動手段は、前記フィルタ保持部を前記光軸に垂直な所定方向に押圧して、前記フィルタ部及び前記フィルタ保持部を前記光軸に垂直な方向に移動させるねじと、
   前記光軸に平行な方向から視て、前記フィルタ保持部を介して前記ねじと対向する位置に配置され、前記ねじの押圧に対して前記所定方向に収縮する弾性体と、を有し、
   前記フィルタ保持部は、前記ねじと前記弾性体に挟まれて保持されている請求項３記載の撮像装置。
6. 前記移動手段は、前記フィルタ部を前記光軸に垂直な所定方向に押圧して、前記フィルタ部を前記光軸に垂直な方向に移動させるねじと、
   前記光軸に平行な方向から視て、前記フィルタ部を介して前記ねじと対向する位置に配置され、前記ねじの押圧に対して前記所定方向に収縮する弾性体と、を有し、
   前記フィルタ部は、前記ねじと前記弾性体に挟まれて保持されている請求項４記載の撮像装置。
7. 前記フィルタ保持部は、隣接する前記フィルタの境界部を露出する開口部を有し、
   前記撮像レンズを介して入射する前記光線は、前記開口部を通過する請求項１乃至６の何れか一項記載の撮像装置。
8. 前記フィルタ保持部は、前記フィルタの各々の入射側の面又は出射側の面の少なくとも一方の面と接して前記フィルタの各々を押さえる押さえ部を有し、
   前記開口部は、前記押さえ部に形成されている請求項７記載の撮像装置。
9. 隣接する前記フィルタの境界部には面取りが施されていない請求項１乃至８の何れか一項記載の撮像装置。

Images