JP5446834B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関し、特に被写体からの光を光電変換する撮像素子を用いた多重光学系の撮像装置およびその撮像方法に関するものである。

撮像装置として、暗箱の１面に穿設されたピンホールと称される穴を通して被写体からの光を暗箱内のフィルム等の感光体上に導いて撮像するピンホールカメラが広く知られている。
このピンホールカメラの場合には、感光体の一点に到来する光は、ピンホールを通過してきたわずかな光でしかない。
したがって、光量が少なく、特に暗いところでの撮像を考えると実用的ではない。

このため、一般的な撮像装置では、撮像レンズを用い、この撮像レンズの焦点位置に撮像デバイスを配置する。
そして、撮像レンズで取り込んだ被写体からの光を、撮像デバイスで電気信号に変換しやすいように光学系において光学的な処理を施す。その後、撮像デバイスの光電変換側に導き、撮像デバイスによって光電変換して得られる電気信号に対して、後段の信号処理回路で所定の信号処理を施す（たとえば、非特許文献１参照）。

この種の撮像装置はデジタルスチルカメラなどのカメラシステムとして単体で用いられる他に、近年、携帯電話などの小型携帯機器に組み込まれて用いられるようになってきている。
そのため、携帯電話などに組み込むに当たって、撮像装置の小型化、軽量化、低コスト化が強く求められているのが現状である。
すなわち、小型、軽量、低コストの撮像装置を組み込むことで、携帯電話などの小型携帯機器の小型化、軽量化、低コスト化に大きく寄与できることになる。

しかしながら、撮像レンズを使用した撮像装置は、撮像レンズの大きさ分だけ大型になり、撮像レンズの重さ分だけ重くなり、さらには撮像レンズのコストによって高価になる。
また、撮像レンズのシェーディングによって周辺光量が落ちる。さらに、広ダイナミックレンジの被写体を撮像すると、撮像デバイスの画素間の信号電荷量に大きな差異が生じ、この差異により撮像デバイスのダイナミックレンジを大きく設計する必要がある。

このような状況に対応して、特許文献１に、撮像レンズを不要にすることで、小型化、軽量化、低コスト化を可能とし、しかもボケのない画像を所望の光量で撮像可能な多重光学系撮像装置が提案されている。

特開２００６−８７０８８号公報

竹村裕夫著，「ＣＣＤカメラ技術入門」，初版，コロナ社，１９９８年８月，ｐ．２−４

Tadakuni Narabu, "A novel image-acquisition system using the optical-multiplex system", IS&T/SPIE Annual Symposium Electric Imaging Science and Technology, Proceedings of SPIE Electric Imaging Vols. 6501, Jan. 2007

上記多重光学系撮像装置において、無限遠点にある被写体を前提にしたコンピュータシミュレーション（Computer Simulation）による動作原理の確認とＳ／Ｎ向上の確認をしたものは、容易に実現出来る手法が確認されている（たとえば、非特許文献２参照）。
すなわち、多重光学系による結像において、同じ画像を平行移動したものを加算した画像を前提としたものは、その動作が確認されている。
この多重光学系撮像装置は、有限の距離にある被写体と無限遠点にある被写体が混在する被写体に関しては、所望の画像を再現する具体的な手法については明記されていない。
したがって、有限の距離にある被写体と多重光学系撮像装置との距離に関する情報に関しては何の処理も行わず、距離情報を算出することも考慮されていない。

また、多重光学系撮像装置以外で距離情報を算出する構造や手法が公開されているものとしては、いわゆるアクティブ（Active型）とパッシブ（Passive型）の２種類の撮像装置がある。
アクティブ型撮像装置では、カメラ側から近赤外光などの光を被写体に照射してその反射光からの情報を検出してカメラと被写体との距離を算出する。
パッシブ型撮像装置では、被写体からの光の情報だけを基にカメラと被写体との距離を算出する。

まず、三角測量の原理に基づき、近赤外光などをカメラ側から被写体に照射し、被写体からの近赤外光の反射情報を検出して、カメラと被写体との距離を算出するアクティブ型撮像装置は、カメラ側から近赤外などの光を被写体に向けて照射することを行う。

被写体からの光の情報だけを基にカメラと被写体との距離を算出するパッシブ型には、次の撮像装置が提案されている。
すなわち、パッシブ型には、複数のカメラを用いるもの、複眼式撮像装置を用いるもの、マイクロレンズアレイを用いるもの、レンズそのものに特殊な加工を施すものなどが撮像装置の構造として提案されている。
これらの撮像装置の構造を活かした手法を構築することにより、撮像装置と被写体までの距離を算出することが可能であるものと推察される。
しかしながら、これら全てのパッシブ型撮像装置は、その撮像装置に使用している撮像素子の一つの画素には、一つの光学系からの入射光しか入射されないという状態となっている。

アクティブ型距離情報算出撮像装置においては、撮像装置側から被写体に向けて近赤外光などの光を照射する必要があり、光照射のためのハードウェアが必要となるため、装置が大がかりとなるとともに、装置のコストが高くなる。
また、カメラ側から照射する光が被写体に届き、被写体からの反射光がカメラ側に届く情報を受光できるまでの距離しか距離情報を算出することができない。

パッシブ型距離情報算出撮像装置においては、撮像装置として幾つかの構成や手法が提案されているが、それらの問題点は次のようなものである。

まず、複数のカメラを使用して距離情報を算出する装置および方式においては、複数のカメラが必要となるために、撮像装置が大がかりになるとともに、装置のコストが高くなる。
また、複数のカメラの特性の差異が画質および距離の精度に悪影響を与え、カメラに求められるばらつきの範囲が厳しくなる。あるいは、ばらつきを補正するための信号処理が複雑になる。それらの結果コストが高くなる。

複眼式撮像装置を使用して距離情報を算出する装置および方式においては、各個眼の画素数を大きく取れないため、高解像度の画像を取得することが困難になる。

マイクロレンズアレイを使用して距離情報を算出する装置および方式においては、各個眼に距離情報を算出するための画素数を割り当てるために、撮像素子の総画素数から得られる解像度が低下する。
また、距離情報の精度を上げるには、主レンズの口径を大きく取る必要があり、主レンズが大きく重くなるとともに主レンズのコストが高くなる。主レンズを軽く小さく、コストを抑えようとすると、距離情報の精度が劣化する。

レンズそのものに特殊な加工を施した撮像装置を使用して距離情報を算出する装置および方式においては、距離情報の精度を上げるには、主レンズの口径を大きく取る必要があり、主レンズが大きく重くなり、主レンズのコストが高くなる。
主レンズを軽く小さく、コストを抑えようとすると、距離情報の精度が劣化する。

本発明は、大型化、コスト増を抑止しつつ、被写体と装置の距離情報を高精度の得ることができ、距離情報を応じた画像を得ることができる撮像装置および撮像方法を提供することにある。

本発明の第１の観点の撮像装置は、光電変換機能を有する複数の画素が配列された撮像素子と、被写体からの光を上記撮像素子の各画素に導光する複数の光学系窓を含む導光部と、上記撮像素子の撮像情報を基に被写体の距離情報を求め、当該距離情報を基に被写体の距離に応じた画像を生成する信号処理を行う信号処理部と、を有し、上記信号処理部は、無限遠あるいは無限遠に近似できる被写体と有限の距離にある被写体が混在している場合に、画素および画素領域に関して、上記複数の光学系窓の各光学系窓の形成位置に基づく相関性から距離に応じて変化する関数の係数を選定して上記被写体までの距離情報を決定して、上記撮像情報から被写体の画像情報と被写体までの距離情報を取得する。

本発明の第２の観点の撮像方法は、被写体からの光を、光電変換機能を有する複数の画素が配列された撮像素子の各画素に複数の光学系窓を通して導光する導光ステップと、上記撮像素子の撮像情報を基に被写体の距離情報を求め、当該距離情報を基に被写体の距離に応じた画像を生成する信号処理を行う信号処理ステップと、を有し、上記信号処理ステップは、無限遠あるいは無限遠に近似できる被写体と有限の距離にある被写体が混在している場合に、画素および画素領域に関して、上記複数の光学系窓の各光学系窓の形成位置に基づく相関性から距離に応じて変化する関数の係数を選定して上記被写体までの距離情報を決定して、上記撮像情報から被写体の画像情報と被写体までの距離情報を取得する。

本発明によれば、大型化、コスト増を抑止しつつ、被写体と装置の距離情報を高精度の得ることができ、距離情報を応じた画像を得ることができる。

本発明の実施形態に係る多重光学系撮像装置の基本構成を示す概略構成図である。 本発明の実施形態に係る多重光学系撮像装置のシミュレーションモデルを示す簡略断面を示す図である。 本実施形態に係る信号処理部における主要な機能ブロックを示す図である。 本実施形態に係る多重光学系撮像装置の第１の有限距離被写体情報算出処理を説明するためのフローチャートを示す第１図である。 本実施形態に係る多重光学系撮像装置の第１の有限距離被写体情報算出処理を説明するためのフローチャートを示す第２図である。 本実施形態に係る多重光学系撮像装置の第２の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。 本実施形態に係る多重光学系撮像装置の第３の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。 本実施形態に係る多重光学系撮像装置の第４の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。 本実施形態に係る多重光学系撮像装置の第５の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。 ５つのピンホールである光学系を通した撮像素子による出力ロウデータの撮像画像を示す図である。 ５つのピンホールである光学系を通した撮像素子による出力ロウデータの各撮像画像を示す図である。 ５つのピンホールである光学系を通した撮像素子による出力ロウデータの信号処理後の画像を示す図である。 中央の光学系による被写体画像を示す図である。 撮像装置と被写体の両方に向かって正立した位置関係で右側光学系による被写体画像を示す図である。 撮像装置と被写体の両方に向かって正立した位置関係で左側光学系による被写体画像を示す図である。 撮像装置と被写体の両方に向かって正立した位置関係で上側光学系による被写体画像を示す図である。 撮像装置と被写体の両方に向かって正立した位置関係で下側光学系による被写体画像を示す図である。

以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．多重光学系撮像装置の基本構成
２．信号処理の概要
３．信号処理の具体例

＜１．多重光学系撮像装置の基本構成＞
図１は、本発明の実施形態に係る多重光学系撮像装置の基本構成を示す概略構成図である。
図２は、本発明の実施形態に係る多重光学系撮像装置のシミュレーションモデルを示す簡略断面を示す図である。

本実施形態に係る多重光学系撮像装置１０は、複数の画素が行列状に配列された撮像素子２０、複数の光学系窓が形成された導光部３０、および信号処理部４０を主構成要素として有している。
ここで、多重光学系撮像装置１０とは、複数の光学系と撮像素子と信号処理系を含む撮像装置であって、撮像素子の一つの画素への入射光が複数の光学系からの入射光により形成される撮像装置をいう。

本実施形態に係る多重光学系撮像装置１０は、後で詳述するように、信号処理部４０において、被写体ＯＢＪの距離情報を算出する機能を有し、この距離情報を基に、被写体ＯＢＪとの距離に応じて非合焦画像と合焦画像とを作成する機能を有する。
本多重光学系撮像装置１０は、無限遠あるいは無限遠に近似できる被写体と有限の距離にある被写体が混在している場合において、撮像情報から画像としての被写体情報と被写体までの距離情報の両方を算出する機能を有する。

撮像装置１０は、主構成要素である撮像素子２０、導光部３０、および信号処理部４０が、図２に示すように、一方の主面が開口した装置本体５０に搭載されている。
この装置本体５０の開口部には、たとえば矩形状のパッケージ５１が配置されている。このパッケージ５１は、装置本体５０の開口部側の主面が開口しており、この開口部に遮光板５２が配置されることによって暗箱が形成されている。

パッケージ５１内には、撮像素子２０が配置されている。
撮像素子２０としては、ＣＣＤ(Charge Coupled Device)イメージャに代表される電荷転送型撮像素子や、ＭＯＳ(Metal Oxide Semiconductor)イメージャに代表されるＸＹアドレス型撮像素子などが適用される。
すなわち、撮像素子２０は、複数の画素２１が行列状に配列され、導光部３０の光学系窓３２を通して入射した光をその光量に応じた電気信号に画素単位で光電変換する。
撮像素子２０は、素子の中央部に複数の画素２１が配列されている有効画素領域（実際に撮像情報として用いられる画素部）２２を有する。
撮像素子２０は、たとえばタイミングジェネレータおよびをアナログ／デジタルコンバータ（ＡＤＣ）を含むアナログフロントエンド部を有する。
タイミングジェネレータでは、撮像素子２０の駆動タイミングを生成しており、ＡＤＣは、画素から読み出されるアナログ信号をデジタル信号に変換し、信号処理部４０に出力する。

導光部３０は、遮光板５２の機能を含むアパーチャーシート（Ａｐｅｒｔｕｒｅ Ｓｈｅｅｔ）３１を有する。
アパーチャーシート３１に、複数（図１の例では５）の光学系窓３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌが形成されている。
光学系窓３２Ｃはアパーチャーシート３１の略中央部に形成されている。
光学系窓３２Ｕは、中央の光学系窓３２Ｃに対して図中の直交座標系におけるＸ方向プラス側の上部領域に所定間隔をおいて形成されている。
光学系窓３２Ｂは、中央の光学系窓３２Ｃに対して図中の直交座標系におけるＸ方向マイナスの下部領域に所定間隔をおいて形成されている。
光学系窓３２Ｒは、中央の光学系窓３２Ｃに対して図中の直交座標系におけるＹ方向プラス側の右部領域に所定間隔をおいて形成されている。
光学系窓３２Ｌは、中央の光学系窓３２Ｃに対して図中の直交座標系におけるＹ方向マイナス側の左領域に所定間隔をおいて形成されている。

光学系窓３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌは、たとえばピンホールとして形成される。ただし、レンズが配置されていてもよい。
基本的に、光学系窓は複数あって、撮像素子２０の一つの画素２１への入射光が複数の光学系窓からの入射光により形成され構成であればよい。したがって、光学系窓の数は本実施形態のように５個に限られるものではない。
光学系窓３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌは、その形状は、たとえばピンホールとして形成される場合、微小な径の穴形状にとなっている。
本実施形態の光学系窓３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌは、微小な径の穴形状であるが、被写体ＯＢＪ側面（前面）から撮像素子２０との対向面（背面）に向かって径が徐々に大きくなるように形成されている。
また、中央の光学系窓３２Ｃは、その径が周囲の光学系窓３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌの径より大きく設定されており、より多くの光量が得られるように形成されている。
被写体ＯＢＪからの光は、複数の光学系窓３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌの各々を通過することで、ピンホール効果によって撮像素子２０の撮像面上に被写体の情報として光学系窓の数だけ結像される。
これにより、撮像面全体では、結像された被写体の像の数、すなわち光学系窓３２の数に応じた光量が得られる。
なお、同発明者による特許文献１にて開示されているように、光学系窓の構成は目的に応じて選択することができ、本実施形態に限られるものではない。

光学系窓３２の数、形状については以上の通りである。
複数の光学系窓３２が形成される遮光板５２上の光学系窓形成領域の広さについては、撮像素子２０の有効画素部２２の周縁部の画素にも中央部の画素と同程度の光のエネルギーを入射させるためには、撮像素子２０の有効画素部２２の広さよりも広い方がよい。
たとえば、光学系窓形成領域の広さは、有効画素部２２に対して面積比で９倍程度の広さにするのが好ましい。

ただし、撮像素子２０の有効画素部２２に対する遮光板５２上の穴形成領域の広さは、遮光板５２と撮像素子２０の撮像面との間の距離Ｌと撮像素子２０の画角との関係にも依存する。
たとえば、有効画素部２２が３ｍｍ（水平）×３ｍｍ（垂直）の撮像素子で、Ｌ＝３ｍｍの場合、画角を９０度にすると、遮光板５２上の穴形成領域を有効画素部２２に対して９倍の面積に設定する。これにより、有効画素部２２の全ての画素に入射する光のエネルギーをほぼ均一にすることができる。

上述したように、複数の光学系窓３２の各々を通して撮像素子２０の撮像面上に被写体ＯＢＪの情報を結像させることで、撮像面全体で光学系窓３２の数に応じた光のエネルギーを得ることができる。
このため、光学系窓３２の数を適当に設定することによって必要な光量を得ることができる。
ただし、撮像面上には、被写体情報の各々が光学系窓３２のピッチに応じたずれ量だけ相互にずれて結像されることになる。
この撮像面上に結像された各被写体情報間のずれは、信号処理部４０での信号処理によって補正される。この信号処理の詳細については後述する。

撮像素子２０は、撮像面上に結像された被写体ＯＢＪの情報を画素単位で光電変換して電気信号として出力する。
撮像素子２０の後段には、信号処理部４０が接続されている。

＜２．信号処理の概要＞
この信号処理部４０は、撮像素子２０から出力される電気信号に対して、複数の光学系窓３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌ各々を通して撮像素子２０の受光面に導かれた各被写体の情報を基に所望の信号処理を行う。
信号処理部４０は、被写体ＯＢＪの距離情報を算出する機能を有し、この距離情報を基に、被写体ＯＢＪとの距離に応じて非合焦画像と合焦画像とを作成する機能を有する。
本多重光学系撮像装置１０は、無限遠あるいは無限遠に近似できる被写体と有限の距離にある被写体が混在している場合において、撮像情報ＩＦＩＭＧから画像としての被写体情報ＩＦＯＢＪと被写体までの距離情報ｚの両方を算出する機能を有する。

以下に、この信号処理部４０の信号処理について説明する。
なお、以下の説明では、光学系窓を単に光学系と呼ぶこととする。

無限遠あるいは無限遠に近似できる被写体と有限の距離にある被写体が混在している場合において、撮像情報ＩＦＩＭＧから画像としての被写体情報ＩＦＯＢＪと被写体までの距離情報ｚの両方を算出する方法として、次の方法を採用可能である。
一つ目は行列を求める手法により分類する方法である。この方法は２種類ある。
二つ目は多重光学系による撮像情報の数による分類する方法である。この方法は３種類ある。

［行列を求める手法による分類」
この場合、たとえば画素、および、画素領域に関して多重光学系の各光学系の位置に基づく相関性から行列の要素を選定していく方法が採用可能である。
あるいは、あらかじめ、距離に応じた行列を複数用意しておき、それらを用いた算出画像とリファレンス（Reference）画像との相関性から、行列の要素を選定していく方法を採用可能である。
［多重光学系による撮像情報の数による分類］
この場合、たとえば多重光学系撮像装置１０によるひとつの撮像情報だけから求める方法を採用可能である。
あるいは、多重光学系による撮像情報に加え、多重光学系を構成している中央の光学系による撮像情報も取得して求める方法を採用可能である。
あるいは、多重光学系による撮像情報に加え、多重光学系を構成している複数の光学系による独立した撮像情報を取得して求める方法を採用可能である。
この場合、中央の光学系による撮像情報をリファレンス情報として採用する。
または、多重光学系による複数の撮像情報をリファレンス情報として採用する。

図３は、本実施形態に係る信号処理部における主要な機能ブロックを示す図である。

図３の信号処理部４０は、保存部４１、補正部４２、相関距離処理部４３、演算処理部４４、および演算結果保存部４５を含んで構成される。

保存部４１は、撮像素子２０による２次元（ｘｙ）のロウデータ（Raw data）情報を保存する。

補正部４２は、必要に応じてロウデータに対するシェーディング補正等を行って、撮像情報を取得する。

相関距離処理部４３は、補正された撮像情報の画素間相関を確認する。相関距離処理部４３は、領域ごとの相関をとる機能も有する。
相関距離処理部４３は、相関が最大となる点を２次元情報と被写体までの距離のそれぞれにおいて求める機能を有する。

演算処理部４４は、あらかじめ設定した行列あるいは作成した行列の逆関数から画像情報を作成し、この画像情報を基に個々の画像を作成する機能を有する。
演算処理部４４は、得られた個々の光学系の画像を加算し、多重光学系を用いて得られる画像を算出する機能を有する。
ここで得られた画像情報は、相関距離処理部４３において、最初から撮像によって得られている画像との相関がとられ、この相関がたとえば１００％近くになるまで、規定回数だけ、一連の演算処理等が行われる。

以上の機能ブロックを含む信号処理部４０を含む多重光学系撮像装置１０は、被写体との距離に応じてフォーカス（Focus）および、またはディフォーカス（Defocus）画像を算出する機能を有する。すなわち、演算処理部４４は、被写体ＯＢＪとの距離に応じて非合焦画像および合焦画像のうちの少なくとも一方を作成する機能を有する。
多重光学系撮像装置１０は、被写体ＯＢＪとの距離との相関のあるデータを算出する機能を有する。
多重光学系撮像装置１０において、被写体ＯＢＪとの距離に応じて左右の視差との相関のあるデータを算出する機能を有する。
多重光学系撮像装置１０において、被写体ＯＢＪとの距離に応じたデータを基に左右の視差との相関のある画像を作成する機能を有する。
多重光学系撮像装置１０において、被写体ＯＢＪとの距離に応じたデータを基に左右のみならず上下を含めた視点間差との相関のある画像を作成する機能を有する。

ここで、以上の機能ブロックを有する信号処理部４０における基本的処理の一例と、有限距離被写体情報算出アルゴリズムの一例を説明する。
より具体的な複数の処理については、後で図面に関連付けて詳述する。

［基本的処理の一例］
ａ．光学系から被写体ＯＢＪまでの距離に応じた逆関数(逆行列(視差補正行列))を用意しておく。
ｂ．距離に応じた画像を算出する。たとえば主画像に逆関数をかけて距離に応じた画像を得る。
ｃ．リファレンスデータとの差分を取る。リファレンスデータとしては、上述したように、中央の光学系のみ画像を取得しておく、または多重光学系により撮像情報をリファレンス情報として取得する。
ｄ．差分量の相関性により距離値と各画素情報とを関連付ける。
ｅ．距離に応じた画像処理を行い、所望の画像を算出する。

［有限距離被写体情報算出アルゴリズムの一例］
ａ．被写体ＯＢＪの距離(ｚ)に応じた複数の２次元(ｘｙ)のロウデータ（Raw data）情報を多重光学系の位置情報・シェーディング（Shading）情報を用いて演算することにより得られた複数の情報と、リファンレス情報との差異検出を行う。
ｂ．被写体ＯＢＪとの距離ｚにおいて、視差を補正する行列を用いて計算した画像データとリファレンスデータとの差分を取り、その相関性を確認する。
ｃ．画素ごとの相関、領域ごとの相関も確認する。局所空間相関、全体相関などの情報を計算する。
演算結果の情報とリファンレスデータの差分を取ると、極小になる部分と差異が残っている部分がある。
ｄ．差異が極小、即ち、相関が最大となる点を２次元(ｘｙ)情報と被写体までの距離(ｚ)の それぞれにおいて求める。
ｅ．ｘｙｚの３次元空間において相関が最大となる点を繋いでいくと合焦画像が得られる。
ｆ．極小になった部分は、視差が無い画像である。その時に使用した行列の距離情報により、距離が判明する。
ｇ．上記の極小の程度に関しては、多重光学系の数の空間分布の相関性の程度で判断する。
ｈ．画素単位、領域ごとに距離情報を関連付ける。
ｉ．ディフォーカス（Defocus）は画素加算を行い、視差情報に基づいた位置変換を行うなど所望の画像合成を行う。

ここで、図２のシミュレーションモデルの応じた多重光学系撮像装置１０におけるアルゴリズムについて示す。
次式は、多重光学系撮像装置１０におけるアルゴリズムを相対的に示している。

Ｓijは座標（i, j）の画素における撮像情報（信号成分）を、ａijklは行列に関する係数を、Ｂijは被写体情報を、ｂijklは逆行列に関する係数を、Ｎは垂直方向の画素数を、Ｍは水平方向の画素数を、それぞれ示している。

無限遠点近似の距離にある被写体の情報Ｂlkと撮像情報Ｓijとの関係は、次式のように、一つの係数ａijklで関係付けられる。

有限の距離にある被写体の情報Ｂlkdと撮像情報Ｓijとの関係は、次式のように、一つの係数ａijkldで関係付けられる。

なお、以上は、多重光学系撮像装置１０を前提としており、合焦しており、視差があることを前提条件としている。

＜３．信号処理の具体例＞
以上、本実施形態に係る多重光学系撮像装置１０の信号処理部４０における信号処理の概要ついて説明した。
以下では、多重光学系撮像装置１０の動作を、信号処理部４０における有限距離被写体情報算出処理を中心に、複数の具体的例を示して説明する。

［有限距離被写体情報算出処理の第１例］
図４は、本実施形態に係る多重光学系撮像装置の第１の有限距離被写体情報算出処理を説明するためのフローチャートを示す第１図である。
図５は、本実施形態に係る多重光学系撮像装置の第１の有限距離被写体情報算出処理を説明するためのフローチャートを示す第２図である。

この第１例は、画素、および、画素領域に関して、多重光学系の各光学系の位置に基づく相関性から行列の要素を選定していく方法を採用した例であり、多重光学系によるひとつの撮像情報だけから求める場合である。

まず、多重光学系撮像装置１０により被写体ＯＢＪを、導光部３０の各光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌを通して撮像素子２０で撮像し（ＳＴ１）、そのロウデータを信号処理部４０に供給する。信号処理部４０は、入力されたロウデータは保存部に保存する（ＳＴ２）。
信号処理部４０は、多重光学系撮像装置１０の各光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌの位置に基づいてシェーディング補正を行い（ＳＴ３）、補正された撮像情報の画素間の相関をとる（ＳＴ４〜ＳＴ１５）。
この場合、１画素ずつずらしながらｉ画素までの画素相関をとり、それらの相関値を保存しておき、相関の最大値を検出して、画素ごとの距離を決定する。
なお、iは、例えば、視差から導き出される画素のずれ量を表す数値である。この例では整数値を取っている。必要に応じて各光学系の位置の差分に相当する数値や水平画素数、垂直画素数などを取る。
そして、相関の低い画素領域は多重光学系との位置との領域相関をとる（ＳＴ１６〜ＳＴ２７）
この場合、水平、垂直方向の領域における相関値を算出し、１画素ずつずらしながらｉ画素までの画素相関をとり、それらの相関値を保存しておき、相関の最大値を検出して、画素ごとの距離を決定する。このとき、領域相関の大きさで中央光学系による領域の位置を選定する。
次に、画素相関の程度により距離に応じた行列の要素を選定する（ＳＴ２８）。
相関の低い画素領域は多重光学系の位置との領域相関をとる。
中央光学系３２Ｃではない周辺光学系３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌによる領域は、その周辺の行列の要素に設定する。
相関の低い画素領域に画素相関が高くなる方向の有限距離に対応する要素を設定する。
そして、行列を作成し（ＳＴ２８）、逆行列を求める（ＳＴ２９）。
撮像画像と逆行列から画像情報を作成する（ＳＴ３０）。
作成した画像情報を基に、多重光学系の位置、および、シェーディング特性などを使用し、まず、多重光学系における個々の光学系による画像を作成する。
得られた個々の光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌの画像を加算し、多重光学系を用いて得られる画像を算出する（ＳＴ３１）。
ここで得られた画像情報と、最初から撮像によって得られている画像との相関を取る（ＳＴ３２）。
ここで、相関が所定の閾値α％以上であれば（ＳＴ３３）、処理を完了する。
繰り返し回数が規定以上であれば（ＳＴ３４）、処理を終了する。
繰り返し回数が規定以上でない場合には、水平、垂直方向の領域を拡大して相関値を算出し（ＳＴ３５）、ステップＳＴ１７の処理に戻り繰り返す。

［有限距離被写体情報算出処理の第２例］
図６は、本実施形態に係る多重光学系撮像装置の第２の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。

第２例は、画素、および、画素領域に関して、多重光学系の各光学系の位置に基づく相関性から行列の要素を選定していく方法を採用した例であり、多重光学系を構成している中央の光学系３２Ｃによる撮像情報をも取得して求める場合である。
中央の光学系３２Ｃによる撮像情報をも取得し計算するので、第１例と比較すると計算時間が速い。

まず、多重光学系撮像装置１０により被写体ＯＢＪを、導光部３０の各光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌを通して撮像素子２０で撮像し（ＳＴ４１）、そのロウデータを信号処理部４０に供給する。信号処理部４０は、入力されたロウデータは保存部に保存する（ＳＴ４２）。
導光部３０の中央の各光学系３２Ｃを通して撮像素子２０で撮像し（ＳＴ４３）、そのロウデータを信号処理部４０に供給する。信号処理部４０は、入力されたロウデータは保存部に保存する（ＳＴ４４）。
多重光学系の各光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌの光学情報とステップＳＴ４３で取得した中央の光学系３２Ｃによる撮像情報を基に、画像処理を被写体との距離情報をパラメータとして算出する。
信号処理部４０は、各光学系３２（Ｃ〜Ｌ）の位置と各光学系のシェーディング特性に関して、ステップＳＴ４１で取得した複数の光学系による撮像情報と等価な画像情報を、被写体との距離情報をパラメータにして算出する（ＳＴ４５〜ＳＴ４７）。
この場合、中央の光学系３２Ｃによる撮像情報を基に、無限遠前提情報を算出する。そして、中央の光学系３２Ｃによる撮像情報を基に、ｉ画素ずつずらして、（ｉ＋１）画素までの画像情報を算出する。
被写体ＯＢＪとの距離情報をパラメータにして、上記得られた画像情報とステップＳＴ４１で取得した撮像情報との相関を取る（ＳＴ４８〜ＳＴ５０）。
差が一番小さい位置、すなわち相関の最も大きいところを各画素の被写体情報における被写体までの距離とする（ＳＴ５１，ＳＴ５２）。
各光学系の位置、各光学系のシェーディング特性、各画素の距離情報の３種類の情報と取得した中央の光学系による撮像情報を基に、ステップＳＴ４１で取得した複数の光学系による撮像情報と等価な画像情報を算出する。
以下では、第１例と同様の処理が行われる（図５参照）。
ここで得られた画像情報と上記ステップＳＴ４１で取得した撮像情報との相関を取る。
あらゆる画素で相関が充分大きいことを確認し、距離情報に基づいた係数(行列)が求められたものと判断する。
そして、逆行列を求める。
撮像画像と逆行列から画像情報を作成する。
計算した画像情報を基に、多重光学系の位置、および、シェーディング特性などを使用し、まず、多重光学系における個々の光学系による画像を作成する。
得られた個々の光学系の画像を加算し、多重光学系を用いて得られる画像を算出する。
ここで得られた画像情報と、最初から撮像によって得られている画像との相関を取る。
相関が１００％近くであれば、処理が完了する。
繰り返し回数が規定以上であれば、処理を終了する。
繰り返し回数が規定以上でない場合には、ステップＳＴ５１、ＳＴ５２の処理の戻り以降の処理を繰り返す。

［有限距離被写体情報算出処理の第３例］
図７は、本実施形態に係る多重光学系撮像装置の第３の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。

第３例は、画素、および、画素領域に関して、多重光学系の各光学系の位置に基づく相関性から行列の要素を選定していく方法を採用した例であり、多重光学系を構成している複数の光学系３２（Ｃ〜Ｌ）による撮像情報をも取得して求める場合である。
複数の光学系３２（Ｃ〜Ｌ）による撮像情報をも取得して計算するので、第１例、第２例と比較すると計算時間が速い。

まず、多重光学系撮像装置１０により被写体ＯＢＪを、導光部３０の各光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌを通して撮像素子２０で撮像し（ＳＴ５１）、そのロウデータを信号処理部４０に供給する。信号処理部４０は、入力されたロウデータは保存部に保存する（ＳＴ５２）。
導光部３０の中央の光学系３２Ｃを通して撮像素子２０で撮像し（ＳＴ５３）、そのロウデータを信号処理部４０に供給する。信号処理部４０は、入力されたロウデータは保存部に保存する（ＳＴ５４）。
信号処理部４０は、中央の光学系３２Ｃによる撮像情報に対してシェーディング補正を行い（ＳＴ５５）、その画像情報を保存する（ＳＴ５６）。
導光部３０の各光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌを通して撮像素子２０で撮像し（ＳＴ５７）、そのロウデータを信号処理部４０に供給する。信号処理部４０は、入力されたロウデータは保存部に保存する（ＳＴ５８）。
信号処理部４０は、複数の光学系それぞれの撮像情報を基に、それぞれシェーディング補正した画像情報を計算する（ＳＴ５９）。
ステップＳＴ５７で取得したそれぞれの光学系の画像情報を基に、被写体との距離情報をパラメータにして、それぞれの光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌの画像情報を算出する（ＳＴ６０〜ＳＴ６２）。
この場合、ステップＳＴ５９の撮像情報を基に、無限遠前提情報を算出する。そして、中央の光学系３２Ｃによる撮像情報を基に、ｉ画素ずつずらして、（ｉ＋１）画素までの画像情報を算出する。
被写体ＯＢＪとの距離情報をパラメータにして、上記得られた画像情報とステップＳＴ５５で取得した中央の光学系３２Ｃの画像情報との相関を取る（ＳＴ６３〜ＳＴ６５）。
差が一番小さい位置、すなわち相関の最も大きいところを各画素の被写体情報における被写体までの距離とする（ＳＴ６６，ＳＴ６７）。
以下では、第１例および第２例と同様の処理が行われる（図５参照）。
各画素に応じた距離情報に基づき、行列が求まる。
そして、逆行列を求める。
撮像画像と逆行列から画像情報を作成する。
計算した画像情報を基に、多重光学系の位置、および、シェーディング特性などを使用し、まず、多重光学系における個々の光学系による画像を作成する。
得られた個々の光学系の画像を加算し、多重光学系を用いて得られる画像を算出する。
ここで得られた画像情報と、最初から撮像によって得られている画像との相関を取る。
相関が１００％近くであれば、処理が完了する。
繰り返し回数が規定以上であれば、処理を終了する。
繰り返し回数が規定以上でない場合には、ステップＳＴ６６、ＳＴ６７の処理の戻り以降の処理を繰り返す。

［有限距離被写体情報算出処理の第４例］
図８は、本実施形態に係る多重光学系撮像装置の第４の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。

本第４例は、あらかじめ、距離に応じた行列を複数用意しておき、それらを用いた算出画像のリファレンス画像との相関性から、行列の要素を選定していく方法を採用した場合である。
すなわち、基本的処理の一例として示した、以下の基本処理を含んで行う。
ａ．光学系から被写体ＯＢＪまでの距離に応じた逆関数(逆行列(視差補正行列))を用意しておく。
ｂ．距離に応じた画像を算出する。たとえば主画像に逆関数をかけて距離に応じた画像を得る。
ｃ．リファレンスデータとの差分を取る。リファレンスデータとしては、上述したように、中央の光学系のみ画像を取得しておく、または多重光学系により撮像情報をリファレンス情報として取得する。
ｄ．差分量の相関性により距離値と各画素情報とを関連付ける。
ｅ．距離に応じた画像処理を行い、所望の画像を算出する。
第４例では、リファレンスデータとして、多重光学系により撮像情報（ロウデータ）をリファレンス情報として取得する。
第４例は、考え方は単純であり理解し易いが、全ての画素、全ての距離の計算をするので計算時間がかかる。

まず、多重光学系撮像装置１０により被写体ＯＢＪを、導光部３０の各光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌを通して撮像素子２０で撮像し（ＳＴ７１）、そのロウデータを信号処理部４０に供給する。信号処理部４０は、入力されたロウデータは保存部に保存する（ＳＴ７２）。
距離に応じた画像を算出する。主画像に逆関数をかけて距離に応じた画像を得る（ＳＴ７３〜ＳＴ７５）、それらの演算結果を保存する（ＳＴ７６〜ＳＴ７８）。
この場合、ステップＳＴ７２の撮像情報を基に、無限遠点近似被写体用逆関数に演算を行い保存する（ＳＴ７３，ＳＴ７６）。
ステップＳＴ７２の撮像情報を基に、有限距離（ｉ）被写体用逆関数に演算を行い保存する（ＳＴ７４，ＳＴ７７）。
ステップＳＴ７２の撮像情報を基に、有限距離（ｉ＋１）被写体用逆関数に演算を行い保存する（ＳＴ７５，ＳＴ７８）。
そして、各演算結果を基に、多重光学系関数による演算を行う（ＳＴ７９〜ＳＴ８１）。
多重光学系により撮像情報（ロウデータ）をリファレンス情報としてステップＳＴ７９〜ＳＴ８１の演算結果との差をとる（ＳＴ８２〜ＳＴ８４）。
その差が一番小さい位置、すなわち相関の最も大きいところを各画素の被写体情報における被写体までの距離とする（ＳＴ８５，ＳＴ８６）。
以下では、第１例、第２例、および第３例と同様の処理が行われる。

［有限距離被写体情報算出処理の第５例］
図９は、本実施形態に係る多重光学系撮像装置の第５の有限距離被写体情報算出処理を説明するためのフローチャートを示す図である。

本第５例は、あらかじめ、距離に応じた行列を複数用意しておき、それらを用いた算出画像のリファレンス画像との相関性から、行列の要素を選定していく方法を採用した場合である。
第４例との違いは、リファレンスデータとしては、中央の光学系３２Ｃのみ画像を取得し、ステップＳＴ７９〜ＳＴ８１の処理が省略されていることにある。
第５例は、考え方が単純であり理解し易く、リファレンスデータとして、中央の光学系３２Ｃの画像を取得するので、第４例よりも計算時間が短い。

すわち、図８のステップに、導光部３０の中央の各光学系３２Ｃを通して撮像素子２０で撮像し（ＳＴ８７）、そのロウデータを信号処理部４０に供給する。信号処理部４０は、入力されたロウデータは保存部に保存する（ＳＴ８８）。
そして、中央の光学系３２Ｃの撮像情報（ロウデータ）をリファレンス情報としてステップＳＴ７９〜ＳＴ８１の演算結果との差をとる（ＳＴ８２〜ＳＴ８４）。
その差が一番小さい位置、すなわち相関の最も大きいところを各画素の被写体情報における被写体までの距離とする（ＳＴ８５，ＳＴ８６）。
以下では、第１例、第２例、および第３例と同様の処理が行われる。

ここで、上記信号処理を行う信号処理部４０の処理結果により得られる画像の例を図１０〜図１７に示しておく。

図１０は、５つのピンホールである光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌを通した撮像素子２０による出力ロウデータの撮像画像を示している。
図１１は、５つのピンホールである光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌを通した撮像素子２０による出力ロウデータの各撮像画像を示している。
図１２は、５つのピンホールである光学系３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌを通した撮像素子２０による出力ロウデータの信号処理後の画像を示している。

以下では、無限遠あるいは無限遠に近似できる被写体と有限距離にある被写体が混在している場合の各光学系における撮像画像を示す。
以下に示す画像は、被写体ＯＢＪとアパーチャーシート３１との距離を無限遠点近似（５．４ｃｍ以上）したものである。また、アパーチャーシート３１と撮像面との距離を２００μｍ、アパーチャーシート３１における光学系窓間の距離を２７０μｍ、画素ピッチ１０μｍとした場合である。

図１３は、中央の光学系３２Ｃによる被写体画像を示している。
図１４は、撮像装置１０と被写体の両方に向かって正立した位置関係で右側光学系３２Ｒによる被写体画像を示している。
図１５は、撮像装置１０と被写体の両方に向かって正立した位置関係で左側光学系３２Ｌによる被写体画像を示している。
図１６は、撮像装置１０と被写体の両方に向かって正立した位置関係で上側光学系３２Ｕによる被写体画像を示している。
図１７は、撮像装置１０と被写体の両方に向かって正立した位置関係で下側光学系３２Ｂによる被写体画像を示している。

以上説明したように、本実施形態に係る多重光学系撮像装置によれば、以下の効果を得ることができる。
すなわち、多重光学系を使用して撮像装置と被写体との距離情報を算出する本実施形態に係る撮像装置は、パッシブ型であるため、アクティブ型に必要な撮像装置側から被写体に向けて照射する近赤外光などの照射装置が不要である。
その結果、撮像装置全体の小型化、低コスト化が実現できる。
被写体からの光が撮像装置に入射し、受光できれば距離情報を算出できるので、近距離から無限遠までの距離を算出することができる。

また、本実施形態に係る撮像装置は、パッシブ型撮像装置で比較すると、次のような問題点が解決される。
まず、複数のカメラを使用して距離情報を算出する装置および方式で問題となる装置がおおがかりになり、高コスト化に関しては、本実施形態では一つの多重光学系撮像装置で距離情報を算出できるので、装置全体が小型になり、低コストになる。
また、一つの多重光学系撮像装置で良いので、ばらつきは小さくなり、撮像装置に必要なばらつき仕様は緩くなる。ばらつきを補正するための信号処理も相対的に複雑ではなく、それらの結果、低コストとなる。

複眼式撮像装置を使用して距離情報を算出する装置および方式において問題となる解像度を高く取れない、という点に関しては、本実施形態では、解像度を支配する主レンズに割り当てる画素数を削減する必要が無い。
したがって、多重光学系撮像装置を使用した距離情報算出装置は、高解像度を実現することができる。

マイクロレンズアレイを使用して距離情報を算出する装置および方式において問題となる解像度の低下、主レンズの開口を大きく取る必要性に関しては、本実施形態では、解像度を支配する主レンズに割り当てる画素数を削減する必要が無い。
したがって、多重光学系撮像装置を使用した距離情報算出装置は、高解像度が実現でき、距離情報の精度は、多重光学系の距離を大きく取ることにより高くできるので、大口径の主レンズを使用する必要がなく、主レンズの小型化と低コスト化を図ることができる。

レンズそのものに特殊な加工を施した撮像装置を使用して距離情報を算出する装置および方式の問題である主レンズの開口を大きく取る必要性に関しては、本実施形態では、多重光学系の距離を大きく取ることにより距離情報の精度を高くすることができる。
したがって、大口径の主レンズを使用する必要がなく、レンズの小型化と低コスト化を図ることができる。

１０・・・撮像装置、２０・・・撮像素子、２１・・・画素、２２・・・有効画素部、３０・・・導光部、３１・・・アパーチャーシート、３２，３２Ｃ，３２Ｕ，３２Ｂ，３２Ｒ，３２Ｌ・・・光学系窓、４０・・・信号処理部、４１・・・保存部、４２・・・補正部、４３・・・相関距離処理部、４４・・・演算処理部、４５・・・保存部、５０・・・装置本体、５１・・・パッケージ、５２・・・遮光板。

Claims (16)

1. 光電変換機能を有する複数の画素が配列された撮像素子と、
   被写体からの光を上記撮像素子の各画素に導光する複数の光学系窓を含む導光部と、
   上記撮像素子の撮像情報を基に被写体の距離情報を求め、当該距離情報を基に被写体の距離に応じた画像を生成する信号処理を行う信号処理部と、を有し、
   上記信号処理部は、
   無限遠あるいは無限遠に近似できる被写体と有限の距離にある被写体が混在している場合に、画素および画素領域に関して、上記複数の光学系窓の各光学系窓の形成位置に基づく相関性から距離に応じて変化する関数の係数を選定して上記被写体までの距離情報を決定して、上記撮像情報から被写体の画像情報と被写体までの距離情報を取得する
   撮像装置。
2. 上記信号処理部は、
   上記距離情報を基に、合焦画像および非合焦画像の少なくともいずれかを生成する
   請求項１記載の撮像装置。
3. 上記信号処理部は、
   上記複数の光学系窓による一つの撮像情報を画像情報の作成に適用する
   請求項１または２記載の撮像装置。
4. 上記複数の光学系窓は、ひとつが中央に位置するように配置され、
   上記信号処理部は、
   上記複数の光学系窓による複数の撮像情報に加えて、上記中央に位置する光学系窓の撮像情報をも取得して画像情報の作成に適用する、あるいは上記中央に位置する光学系窓の撮像情報に加えて、上記複数の光学系窓による複数の撮像情報をも取得して画像情報の作成に適用する
   請求項１または２記載の撮像装置。
5. 上記信号処理部は、
   あらかじめ距離に応じたが関数が複数用意され、当該関数と撮像情報から画像情報を作成し、当該画像情報とリファレンス画像との相関性から距離に応じて変化する関数の係数を選定して距離情報を決定する
   請求項１または２記載の撮像装置。
6. 上記リファレンス画像のデータは、上記複数の光学系窓によるロウデータである
   請求項５記載の撮像装置。
7. 上記リファレンス画像のデータは、上記複数の光学系窓のうちの一つの光学系窓によるロウデータである
   請求項５記載の撮像装置。
8. 上記信号処理部は、
   上記選定した関数に関する逆関数と撮像情報から画像情報を作成し、当該画像情報を基に、少なくとも各光学系窓の位置情報を適用して各光学系窓の画像を作成し、各光学系窓の画像を加算して画像を作成する
   請求項１から７のいずれか一に記載の撮像装置。
9. 上記信号処理部は、
   上記加算して得られた画像情報と当初に取得した画像情報との相関をとり、この相関をとった相関値が規定値以上になるまで処理を所定回数繰り返す
   請求項８記載の撮像装置。
10. 被写体からの光を、光電変換機能を有する複数の画素が配列された撮像素子の各画素に複数の光学系窓を通して導光する導光ステップと、
    上記撮像素子の撮像情報を基に被写体の距離情報を求め、当該距離情報を基に被写体の距離に応じた画像を生成する信号処理を行う信号処理ステップと、を有し、
    上記信号処理ステップは、
    無限遠あるいは無限遠に近似できる被写体と有限の距離にある被写体が混在している場合に、画素および画素領域に関して、上記複数の光学系窓の各光学系窓の形成位置に基づく相関性から距離に応じて変化する関数の係数を選定して上記被写体までの距離情報を決定して、上記撮像情報から被写体の画像情報と被写体までの距離情報を取得する
    撮像方法。
11. 上記信号処理ステップは、
    上記距離情報を基に、合焦画像および非合焦画像の少なくともいずれかを生成する
    請求項１０記載の撮像方法。
12. 上記信号処理ステップは、
    上記複数の光学系窓による一つの撮像情報を画像情報の作成に適用する
    請求項１０または１１記載の撮像方法。
13. 上記複数の光学系窓は、ひとつが中央に位置するように配置され、
    上記信号処理ステップは、
    上記複数の光学系窓による複数の撮像情報に加えて、上記中央に位置する光学系窓の撮像情報をも取得して画像情報の作成に適用する、あるいは、上記中央に位置する光学系窓の撮像情報に加えて、上記複数の光学系窓による複数の撮像情報をも取得して画像情報の作成に適用する
    請求項１０または１１記載の撮像方法。
14. 上記信号処理ステップは、
    あらかじめ距離に応じた関数が複数用意され、当該関数と撮像情報から画像情報を作成し、当該画像情報とリファレンス画像との相関性から行列の要素を選定して距離情報を決定する
    請求項１０または１１記載の撮像方法。
15. 上記リファレンス画像のデータは、上記複数の光学系窓によるロウデータ、あるいは上記複数の光学系窓のうちの一つの光学系窓によるロウデータである
    請求項１４記載の撮像方法。
16. 上記信号処理ステップは、
    上記選定した関数に関する逆関数と撮像情報から画像情報を作成し、当該画像情報を基に、少なくとも各光学系窓の位置情報を適用して各光学系窓の画像を作成し、各光学系窓の画像を加算して画像を作成する
    請求項１０から１５のいずれか一に記載の撮像方法。

Images