JP7096144B2 - 複眼撮像装置 - Google Patents

Description

この発明は、複眼撮像装置に関する。

従来、レンズアレイと、レンズアレイのレンズ毎の画像を撮像するイメージセンサとを備える複眼撮像装置が知られている（たとえば、特許文献１参照）。

上記特許文献１には、レンズアレイと、レンズアレイのレンズ毎の画像を撮像する受光素子アレイとを備える画像入力装置（複眼撮像装置）が開示されている。この複眼撮像装置では、レンズアレイの複数のレンズの各々によって結像された画像が、単一の受光素子アレイによって撮像される。これにより、単一の受光素子アレイを用いて、あたかも複数のカメラが存在するようなマルチカメラを疑似的に構成することが可能になる。

特許４４９２５３３号公報

ここで、上記特許文献１には明確には記載されていないが、単一の受光素子アレイによって、複数のレンズにより各々結像される複数の画像を撮像した場合、単一の受光素子アレイからの出力信号が、後段の計算処理用の計算機に出力される。つまり、撮像された複数のレンズにより各々結像される複数の画像（複数の個眼画像）が１枚の画像内に複数のレンズの空間配置に対応して集約された状態（複眼画像）で、単一の受光素子アレイからの出力信号が、計算処理用の計算機の画像メモリ（単一の画像メモリ）に記憶される。また、計算処理用の計算機において、単一の画像メモリに出力（記憶）された出力信号が複数のレンズの各々に対応する個別の画像のデータにソフトウェア上で分割される。すなわち、従来の複眼撮像装置では、複眼画像に含まれる個々の個眼画像のデータを対象に画像処理を実施するための前処理として、複眼画像のデータを個々の個眼画像のデータに分割する処理を前提としていた。このため、計算機のメモリに複眼画像のデータを一旦記憶して、さらにソフトウェアによって個々の個眼画像のデータに分割するための計算機処理を前提としていた。その結果、高速性や実時間性の点で劣るという問題点がある。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、高速性および実時間性を向上させることが可能な複眼撮像装置を提供することである。

上記目的を達成するため、この発明の一の局面による複眼撮像装置は、複数のレンズを含むレンズアレイと、レンズアレイのレンズごとに結像された画像を撮像するイメージセンサと、レンズごとに結像された画像のデータを個別に記憶する複数のメモリとを備え、複数のメモリに記憶されたレンズごとに結像された画像のデータが、並行かつ同時に読み出されるように構成されている。

この発明の一の局面による複眼撮像装置では、上記のように、レンズごとに結像された画像のデータを個別に記憶する複数のメモリを備え、複数のメモリに記憶されたレンズごとに結像された画像のデータが、並行かつ同時に読み出されるように構成されている。これにより、個々のレンズごとに結像された画像のデータ（個眼画像のデータ）が、レンズの数と同じ数の複数カメラが並列動作しているかのように、並行かつ同時に読み出されるので、計算機のメモリに記憶する以前に、或いは計算機のメモリに記憶することなく、ハードウェアによる演算回路によって個眼画像データに対する演算処理を実施できるようになる。その結果、高速性および実時間性を向上させることができる。また、複眼画像のデータ（複数の画像が１枚の画像内に複数のレンズの空間配置に対応して集約された状態）として時系列にデータが読み出される場合と異なり、個眼画像のデータの分離処理が不要になるので、個々の個眼画像のデータに対して演算処理等のデータ処理を直接施せるようになる。また、個眼画像に対する演算処理を高速に行うことができるので、イメージセンサの画素数が比較的多い場合でも、１フレームの時間内において、１フレーム分の画像のデータを読み出すことができる。また、複眼撮像装置自体の高速性および実時間性が向上するので、比較的高速に動いている被写体の撮像を行うことができるとともに、比較的高速に動く機体などに複眼撮像装置自体を配置して、被写体の撮像を行うことができる。

上記一の局面による複眼撮像装置において、好ましくは、複数のメモリの各々は、書き込み用および読み出し用のうちの一方として使用される第１メモリと、書き込み用および読み出し用のうちの他方として使用される第２メモリとを含み、書き込み用としての第１メモリまたは第２メモリに対して、イメージセンサのレンズごとに撮像された画像に対応する位置の書き込みアドレスを生成する書き込みアドレス生成部と、読み出し用としての第１メモリまたは第２メモリに対して、複数のメモリに共通のタイミングで、記憶されている画像のデータを読み出す読み出しアドレスを生成する読み出しアドレス生成部とをさらに備える。このように構成すれば、第１メモリと第２メモリとのうちの一方に画像のデータを書き込みながら、第１メモリと第２メモリとのうちの他方から以前に書き込まれた画像のデータを読み出すことができるので、画像のデータの書き込みが終了してから画像のデータの読み出しを行う場合と比べて、画像のデータをさらに高速に読み出すことができる。

この場合、好ましくは、第１メモリおよび第２メモリは、読み出し用および書き込み用に切り替える切替信号に基づいて、書き込み用または読み出し用に切り替えられるように構成されている。このように構成すれば、第１メモリおよび第２メモリを読み出し用および書き込み用に切り替えることができるので、第１メモリ（第２メモリ）に対する書き込みと、第１メモリ（第２メモリ）に対する読み出しとを連続して行うことができる。

上記一の局面による複眼撮像装置において、好ましくは、イメージセンサに対するレンズの光軸の位置ずれに起因して生じるレンズごとに結像される画像の空間的な位置ずれのずれ量に基づいて、イメージセンサにおける画像のデータの読み出しの領域を補正するように構成されている。このように構成すれば、イメージセンサに対するレンズの光軸の位置ずれに起因して、イメージセンサ上に結像する画像の位置がずれた場合でも、適切に、イメージセンサから画像のデータの読み出しを行うことができる。

この場合、好ましくは、レンズごとに結像された画像に対応するイメージセンサの領域を読み出しの有効期間とする有効期間信号を生成する有効期間信号生成部をさらに備え、有効期間信号生成部は、レンズごとに結像される画像の空間的な位置ずれのずれ量に基づいて、有効期間信号を補正するように構成されている。このように構成すれば、補正された有効期間信号に基づいて、容易に、イメージセンサから画像のデータの読み出しを行うことができる。

本発明によれば、上記のように、複数のレンズの各々に対応する個別の画像のデータの分離処理が不要になり、複数のレンズの各々に対応する個別の画像のデータを並列かつ同時に読み出すことができる。その結果、複眼撮像装置の高速性および実時間性を向上させることができる。

第１（第２）実施形態による複眼撮像装置を示した斜視図である。 第１（第２）実施形態による複眼撮像装置を示した分解斜視図である。 第１実施形態による複眼撮像装置のイメージセンサの読み出しのタイミングを説明するための図である。 第１実施形態による複眼撮像装置のイメージセンサの個眼領域（像）の読み出しのタイミングを説明するための図である。 第１実施形態による複眼撮像装置のメモリ制御機構部を説明するための図である。 第１実施形態による複眼撮像装置の書き込みアドレス生成部を説明するための図である。 第１実施形態による複眼撮像装置の読み出しアドレス生成部を説明するための図である。 個眼メモリ（複数のメモリの各々）の読み出しのタイミングを説明するための図である。 第１実施形態による複眼撮像装置の切替信号を説明するための図である。 第１実施形態による複眼撮像装置の画像のデータの処理を説明するための模式図である。 第２実施形態による複眼撮像装置の有効期間信号生成部を説明するための図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

［第１実施形態］
（複眼撮像装置の構成）
図１～図１０を参照して、第１実施形態による複眼撮像装置１００の構成について説明する。以下の説明では、Ｚ方向を光軸方向とする。なお、光軸方向とは、後述するレンズ３１ａの光軸が延びる方向である。

図１および図２に示すように、複眼撮像装置１００は、単一のイメージセンサ２に対して、複数のレンズ３１ａ（複数の個眼）の各々による複数の像（複数の個眼像）を一度に結像させる装置である。これにより、複眼撮像装置１００は、単一のイメージセンサ２により、複数のレンズ３１ａの各々による複数の画像Ｉ（図１０参照）を一度に撮像可能に構成されている。また、複眼撮像装置１００は、互いに同じ視点の複数の画像Ｉを一度に撮像可能に構成されている。たとえば、複眼撮像装置１００は、互いに分光特性が異なる互いに同じ視点の複数の画像Ｉを一度に撮像可能である。これにより、被写体の分光特性に関する様々な情報を一度の撮像により取得可能である。

複眼撮像装置１００は、複眼光学系１と、イメージセンサ２とを備えている。複眼光学系１は、フィルタ部１０と、絞り部２０と、レンズ部３０と、隔壁部４０とを備えている。フィルタ部１０と、絞り部２０と、レンズ部３０と、隔壁部４０と、イメージセンサ２とは、光軸方向（Ｚ方向）の一方側（Ｚ１方向側）から他方側（Ｚ２方向側）に向かって、この順に配置されている。絞り部２０の配置は、必ずしもフィルタ部１０とレンズ部３０の間に配置されるとは限らず、光学性能上妥当な配置であれば良い。フィルタ部１０は、レンズ部２０に対してイメージセンサ2側とは反対側に配置される方が、光路長を変化させないことと、取り替えの容易性からも、物体側（被写体側）に配置されることが好ましい。フィルタ部１０は、所定の性質を有する光を選択的に透過するために設けられている。絞り部２０（絞り開口部２０ａ）は、フィルタ部１０を通過した光の光量調整と収差補正や焦点深度調整などの結像性能向上のために設けられている。レンズ部３０は、絞り部２０を通過した光を結像させるために設けられている。隔壁部４０は、レンズ部３０を通過した光をイメージセンサ２に導き、かつ隣接する個眼像がイメージセンサ上で互いに干渉することを防止するために設けられている。イメージセンサ２は、隔壁部４０を通過した光により画像Ｉを撮像するために設けられている。

フィルタ部１０は、レンズアレイ３１の複数（１６個）のレンズ３１ａに対応するように、複数（１６個）のフィルタ１１ａを含んでいる。フィルタ１１ａは、偏光用のフィルタ、分光用のフィルタ（バンドパスフィルタ、ハイパスフィルタ、ローパスフィルタ）、減光用のフィルタ（ＮＤ（Neutral Density）フィルタ）などの光学フィルタである。

絞り部２０は、板状に設けられている。絞り部２０は、光軸方向（Ｚ方向）から見て、略矩形形状を有している。また、絞り部２０は、レンズ部３０のレンズアレイ３１の複数（１６個）のレンズ３１ａに対応するように、複数（１６個）の絞り開口部２０ａを含んでいる。絞り開口部２０ａは、円形状を有しており、絞り部２０を光軸方向に貫通する貫通孔により構成されている。

レンズ部３０は、レンズアレイ３１と、レンズ保持部３２と、レンズ押さえ部材３３および３４とを含んでいる。レンズアレイ３１は、複数（１６個）のレンズ３１ａを含んでいる。複数のレンズ３１ａは、４行×４列の行列状に配列されている。複数のレンズ３１ａの各々は、イメージセンサ２に個別に光を結像させるように設けられている。複数のレンズ３１ａの各々は、複眼を構成する１つ１つの目である個眼として機能する。

隔壁部４０は、隣接する個眼像（個々のレンズ３１ａによって結像された像）が相互に干渉するのを防ぐために、レンズアレイ３１のレンズ３１ａ毎の光の光路を区画するように設けられている。これにより、レンズアレイ３１のレンズ３１ａ毎の光が互いに干渉することを抑制することができるので、レンズアレイ３１のレンズ３１ａ毎の画像Ｉを精度良く取得可能である。隔壁部４０は、略直方体状に設けられている。隔壁部４０は、光軸方向（Ｚ方向）から見て、略矩形形状を有している。また、隔壁部４０は、レンズアレイ３１の複数（１６個）のレンズ３１ａに対応するように、複数（１６個）の区画部４０ａを含んでいる。

イメージセンサ２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔｒａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサなどの半導体イメージセンサである。イメージセンサ２は、レンズアレイ３１のレンズ３１ａごとに結像された画像を撮像するように構成されている。イメージセンサ２は、プリント基板２ａに設けられている。

たとえば、図３に示すように、イメージセンサ２の有効画素領域には、４ｎ行×４ｍ列の画素が配置されている。また、図４に示すように、イメージセンサ２は、複数（たとえば、１６個）のレンズ３１ａに対応するように、複数（たとえば、１６個）の領域Ｓ（個眼領域）を含むように構成されている。具体的には、イメージセンサ２の有効画素領域には、４行×４列の行列状に配置された、１６個のレンズ３１ａ（レンズ＃０～レンズ＃１５）に対応する領域Ｓが設けられている。なお、「＃」は、番号を意味する。

ここで、第１実施形態では、図５に示すように、複眼撮像装置１００は、レンズ３１ａごとに結像された画像Ｉ（個眼画像）のデータを個別に記憶する複数のメモリ５０（個眼メモリ）を備えている。複数のメモリ５０は、複数（たとえば、１６個）のレンズ３１ａに対応するように、複数（たとえば、１６個）設けられている。そして、複数のメモリ５０に記憶されたレンズ３１ａごとに結像された画像Ｉのデータが、並行かつ同時に読み出されるように構成されている。なお、図５では、１つのメモリ５０と、このメモリ５０を制御するメモリ制御機構部１０１とが示されている。つまり、複眼撮像装置１００には、図５に示されるメモリ５０およびメモリ制御機構部１０１が、複数のレンズ３１ａと同じ数（１６個）設けられている。以下、具体的に説明する。

図５に示すように、複数のメモリ５０の各々は、書き込み用および読み出し用のうちの一方として使用されるメモリ５０ａと、書き込み用および読み出し用のうちの他方として使用されるメモリ５０ｂとを含む。なお、メモリ５０ａとメモリ５０ｂとは、同様の構成を有しており、書き込み用および読み出し用の両方に使用される。また、メモリ５０ａおよびメモリ５０ｂは、それぞれ、特許請求の範囲の「第１メモリ」および「第２メモリ」の一例である。

また、複眼撮像装置１００には、図６に示すように、書き込みアドレス生成部６０が設けられている。書き込みアドレス生成部６０は、書き込み用としてのメモリ５０ａまたはメモリ５０ｂに対して、イメージセンサ２のレンズ３１ａごとに撮像された画像Ｉに対応する位置の書き込みアドレスを生成するように構成されている。具体的には、書き込みアドレス生成部６０には、複数（たとえば、１６個）の書き込みアドレスカウンタ６１（＃０～＃１５）が設けられている。複数の書き込みアドレスカウンタ６１は、複数の領域Ｓに対応するように設けられている。そして、書き込みアドレスカウンタ６１には、後述する個眼領域水平有効期間信号と、個眼領域垂直有効期間信号と、イメージセンサ画素クロックとが入力されるように構成されている。

また、複眼撮像装置１００には、図７に示すように、読み出しアドレス生成部７０が設けられている。読み出しアドレス生成部７０は、読み出し用としてのメモリ５０ａまたはメモリ５０ｂに対して、複数のメモリ５０に共通のタイミングで、記憶されている画像Ｉのデータを読み出す読み出しアドレスを生成するように構成されている。具体的には、読み出しアドレス生成部７０には、読み出しアドレスカウンタ７１が設けられている。読み出しアドレスカウンタ７１は、複数のメモリ５０に対して共通に（１つのみ）設けられている。そして、読み出しアドレスカウンタ７１には、個眼メモリ読み出し水平有効期間信号（図８参照）と、個眼メモリ読み出し垂直有効期間信号（図８参照）と、個眼メモリ読み出し画素クロックとが入力されるように構成されている。

また、第１実施形態では、図５に示すように、メモリ５０ａおよびメモリ５０ｂは、読み出し用および書き込み用に切り替える切替信号に基づいて、書き込み用または読み出し用に切り替えられるように構成されている。図９に示すように、切替信号は、論理が１（Ｈレベル）の状態と、論理が０（Ｌレベル）の状態とを交互に繰り返すように構成されている。また、切替信号は、垂直同期信号の立ち上がりとともに論理が反転するように構成されている。つまり、垂直同期信号が立ち上がる際に、論理が１となり、垂直同期信号が次に立ち上がる際に、論理が０となるように構成されている。

そして、図５に示すように、切替信号は、メモリ５０ａに入力されるとともに、論理反転部５１を介して、論理が反転された切替信号がメモリ５０ｂに入力される。そして、切替信号の論理が１である場合に、メモリ５０ａ（メモリ５０ｂ）は、読み出し用とされ、切替信号の論理が０である場合に、メモリ５０ａ（メモリ５０ｂ）は、書き込み用とされる。メモリ５０ａとメモリ５０ｂとには、それぞれ、論理が反転された切替信号が入力されるので、メモリ５０ａが読み出し用および書き込み用の一方とされ、メモリ５０ｂが読み出し用および書き込み用の他方とされる。

また、図５に示すように、メモリ５０ａに対応するように、バッファ５２ａとセレクタ５３ａとが設けられている。イメージセンサ２からの画像Ｉのデータは、バッファ５２ａを介してメモリ５０ａに入力される。また、読み出しアドレスおよび書き込みアドレスが、セレクタ５３ａに入力される。また、セレクタ５３ａからの出力（アドレス）が、メモリ５０ａに入力される。同様に、メモリ５０ｂに対応するように、バッファ５２ｂとセレクタ５３ｂとが設けられている。

また、バッファ５２ａには、切替信号が入力され、バッファ５２ｂには、論理反転部５１により論理が反転された切替信号が入力される。そして、バッファ５２ａに入力される切替信号の論理が１の場合、バッファ５２ａは、有効となり、イメージセンサ２からの画像Ｉのデータが、バッファ５２ａを介してメモリ５０ａに入力される。同様に、バッファ５２ｂに入力される切替信号の論理が１の場合、バッファ５２ｂは、有効となり、イメージセンサ２からの画像Ｉのデータが、バッファ５２ｂを介してメモリ５０ｂに入力される。

また、バッファ５２ａに入力される切替信号の論理が０の場合、バッファ５２ａは、無効とされる。これにより、バッファ５２ａを介した画像Ｉのデータのメモリ５０ａへの入力が禁止される。同様に、バッファ５２ｂに入力される切替信号の論理が０の場合、バッファ５２ｂは、無効とされる。これにより、バッファ５２ｂを介した画像Ｉのデータのメモリ５０ｂへの入力が禁止される。

また、セレクタ５３ａには、読み出しアドレスおよび書き込みアドレスの一方が入力され、入力された読み出しアドレスおよび書き込みアドレスの一方がメモリ５０ａに出力される。セレクタ５３ａに読み出しアドレスが入力された場合、メモリ５０ａに読み出しアドレスが入力され、入力された読み出しアドレスに対応するメモリ５０ａのアドレスに記憶されたデータが読み出される。また、セレクタ５３ａに書き込みアドレスが入力された場合、書き込みアドレスがメモリ５０ａに入力され、入力された書き込みアドレスに対応するメモリ５０ａのアドレスに画像Ｉのデータが書き込まれる。また、セレクタ５３ａに対して切替信号Ａ（論理１）またはＢ（論理０）が入力されることにより、セレクタ５３ａに読み出しアドレスまたは書き込みアドレスが入力される。なお、セレクタ５３ｂの構成（動作）も、セレクタ５３ａの構成と同様である。

また、複眼撮像装置１００には、個眼メモリ読み出し水平有効期間信号と、個眼メモリ読み出し垂直有効期間信号との論理積を出力する論理積回路５４ａが設けられている。論理積回路５４ａは、個眼メモリ読み出し水平有効期間信号の論理が１の場合でかつ、個眼メモリ読み出し垂直有効期間信号の論理が１の場合に、論理が１の信号を出力する。

また、複眼撮像装置１００には、個眼領域水平有効期間信号と、個眼領域垂直有効期間信号との論理積を出力する論理積回路５４ｂが設けられている。論理積回路５４ｂは、個眼領域水平有効期間信号の論理が１の場合でかつ、個眼領域垂直有効期間信号の論理が１の場合に、論理が１の信号を出力する。

また、複眼撮像装置１００には、論理積回路５４ａと論理積回路５４ｂとの出力の論理和を出力する論理和回路５５が設けられている。論理和回路５５は、論理積回路５４ａの出力の論理と、論理積回路５４ｂの出力の論理とのうちの少なくとも一方が１である場合に、論理が１の信号を出力する。そして、論理和回路５５から論理が１の信号がメモリ５０ａおよびメモリ５０ｂに入力された場合（チップセレクトされた場合）、メモリ５０ａまたはメモリ５０ｂに画像Ｉのデータを書き込むこと、または、メモリ５０ａまたはメモリ５０ｂから画像Ｉのデータを読み出すことが可能になる。

また、複眼撮像装置１００には、メモリ５０ａおよびメモリ５０ｂに共通のセレクタ５６が設けられている。セレクタ５６には、切替信号と、メモリ５０ａからの画像Ｉのデータと、メモリ５０ｂからの画像Ｉのデータとが入力される。なお、切替信号Ａが入力されることにより、メモリ５０ａから画像Ｉのデータが入力され、切替信号Ｂが入力されることにより、メモリ５０ｂから画像Ｉのデータが入力される。そして、セレクタ５６から画像Ｉのデータ（個眼メモリからの読み出しデータ）が出力される。

なお、上記のメモリ５０ａ、メモリ５０ｂ、論理反転部５１、バッファ５２ａ、バッファ５２ｂ、セレクタ５３ａ、セレクタ５３ｂ、論理積回路５４ａ、論理積回路５４ｂ、論理和回路５５、および、セレクタ５６は、ハードウェアによって構成されている。

（複眼撮像装置の制御動作）
次に、複眼撮像装置１００の制御動作について説明する。

まず、図１０に示すように、複眼撮像装置１００によって被写体（図１０のＡ）が撮像される。複眼撮像装置１００には、１６個のレンズ３１ａ（個眼レンズ）が設けられているので、イメージセンサ２の撮像面には、１６個の被写体（Ａ）の画像Ｉが撮像される。

次に、図４を参照して、イメージセンサ２からの画像Ｉのデータの読み出しについて説明する。複眼撮像装置１００では、水平同期信号、垂直同期信号、水平有効期間信号、および、垂直有効期間信号が生成される。水平同期信号とは、走査線の移動のタイミングを計る信号である。垂直同期信号とは、画面の書き換えの開始のタイミングを計る信号である。また、水平有効期間信号とは、イメージセンサ２おいて、有効画素の水平方向の一方端から他方端まで走査されている期間に論理が１となる信号である。また、垂直有効期間信号とは、イメージセンサ２おいて、有効画素の垂直方向の一方端から他方端まで走査されている期間に論理が１となる信号である。なお、図４において、各々の領域Ｓ（個眼領域）において、角部のアドレス（ｘ，ｙ）が記載されている。たとえば、＃０の領域Ｓの左上の角部のアドレスは、（０，０）であり、右下の角部のアドレスは、（ｍ－１，ｎ－１）である。また、ｍおよびｎは、自然数である。

そして、ラスタスキャンによって、イメージセンサ２から画像Ｉのデータが読み出される。たとえば、まず、イメージセンサ２上の、０行目の４ｍ個の画素（（０，０）、（１，０）、（２，０）～（４ｍ－１，０））からデータが読み出される。その後、１行目の４ｍ個の画素（（０，１）、（１，１）、（２，１）～（４ｍ－１，１））からデータが読み出される。その後、３行目以降が読み出される。最後に、４ｎ－１行目の４ｍ個の画素（（０，４ｎ－１）、（１，４ｎ－１）、（２，４ｎ－１）～（４ｍ－１，４ｎ－１））からデータが読み出される。なお、上記のデータの読み出しの説明においては、各行の読み出しの間に挿入される無効なデータ、および、最終画素と次のフレームの先頭画素との読み出しの間に挿入される無効なデータは、無視されている。

また、複眼撮像装置１００では、個眼領域水平有効期間信号と、個眼領域垂直有効期間信号とが生成される。個眼領域水平有効期間信号は、個眼領域＃０・４・８・１２水平有効期間信号と、個眼領域＃１・５・９・１３水平有効期間信号と、個眼領域＃２・６・１０・１４水平有効期間信号と、個眼領域＃３・７・１１・１５水平有効期間信号とを含む。たとえば、個眼領域＃０・４・８・１２水平有効期間信号は、＃０のレンズ３１ａ、＃４のレンズ３１ａ、＃８のレンズ３１ａ、および、＃１２のレンズ３１ａに対応する領域Ｓが走査される際に論理が１になる信号である。また、個眼領域＃０・４・８・１２水平有効期間信号は、ｍ個の水平方向に配置された画素からの画像Ｉのデータが読み出されている間、論理が１になる信号である。他の個眼領域＃１・５・９・１３水平有効期間信号、個眼領域＃２・６・１０・１４水平有効期間信号、および、個眼領域＃３・７・１１・１５水平有効期間信号も同様に、各番号のレンズ３１ａに対応する領域Ｓが走査される際に論理が１になる信号である。

また、個眼領域垂直有効期間信号は、個眼領域＃０・１・２・３垂直有効期間信号と、個眼領域＃４・５・６・７垂直有効期間信号と、個眼領域＃８・９・１０・１１垂直有効期間信号と、個眼領域＃１２・１３・１４・１５垂直有効期間信号とを含む。たとえば、個眼領域＃０・１・２・３垂直有効期間信号は、＃０のレンズ３１ａ、＃１のレンズ３１ａ、＃２のレンズ３１ａ、および、＃３のレンズ３１ａに対応する領域Ｓが走査される際に論理が１になる信号である。また、個眼領域＃０・１・２・３垂直有効期間信号は、ｎ個の垂直方向（行）に配置された画素からの画像Ｉのデータが読み出されている間、論理が１になる信号である。他の個眼領域＃４・５・６・７垂直有効期間信号、個眼領域＃８・９・１０・１１垂直有効期間信号、個眼領域＃１２・１３・１４・１５垂直有効期間信号も同様に、各番号のレンズ３１ａに対応する領域Ｓが走査される際に論理が１になる信号である。

そして、図１０に示すように、個々のレンズ３１ａごとに結像された画像Ｉのデータ（個眼画像のデータ）が、レンズ３１ａの数と同じ数の複数カメラが並列動作しているかのように、並行かつ同時に読み出されて、各々、メモリ５０に書き込まれる。つまり、ハードウェアによって、イメージセンサ２に撮像された画像（複眼画像データ）が複数の画像Ｉに分離する処理が行われる。また、ハードウェアによる処理の分担範囲が拡大されるので、複眼撮像装置１００の高速性および実時間性を向上させることが可能になる。また、個々の画像Ｉのデータが分割（分離）されているので、複眼画像のデータを伝送する場合と比べて、データ量を削減することが可能になる。

次に、イメージセンサ２からの画像Ｉのデータの書き込みについて具体的に説明する。

図６に示すように、書き込みアドレス生成部６０に、たとえば、論理が１である個眼領域＃０・４・８・１２水平有効期間信号と、論理が１である個眼領域＃０・１・２・３垂直有効期間信号とが入力されたとする。この場合、＃０～＃１５のうち、＃０の書き込みアドレスカウンタ６１にのみ、論理が１である個眼領域＃０・４・８・１２水平有効期間信号と、論理が１である個眼領域＃０・１・２・３垂直有効期間信号とが入力される。他の書き込みアドレスカウンタ６１には、論理が共に０か、論理の一方が１であり他方が０である信号が入力される。これにより、＃０の書き込みアドレスカウンタ６１から、書き込みアドレス＃０の信号（書き込みアドレス）が出力される。この場合、書き込みアドレス＃０の信号は、＃０のメモリ５０に出力され、＃０のメモリ５０においてメモリ５０ａまたはメモリ５０ｂの一方に画像Ｉのデータが書き込まれる。このように、イメージセンサ２の＃０～＃１５の各領域Ｓの画像Ｉのデータが、それぞれ、＃０～＃１５のメモリ５０に分割された状態で書き込まれる。また、書き込みアドレスの出力は、イメージセンサ画素クロックの周期ごとに行われる。

そして、図１０に示すように、メモリ５０に書き込まれた画像Ｉのデータが読み出される。次に、メモリ５０ａまたはメモリ５０ｂに書き込まれた画像Ｉのデータの読み出しについて具体的に説明する。

図７に示すように、読み出しアドレスカウンタ７１には、個眼メモリ水平有効期間信号と、個眼メモリ垂直有効期間信号と、個眼メモリ読み出し画素クロックとが入力されるように構成されている。図８に示すように、個眼メモリ水平有効期間信号、および、個眼メモリ垂直有効期間信号は、たとえば、各メモリ５０（＃０～＃１５）の有効画素領域の画像Ｉのデータが読み出される際に論理が１になる信号である。また、各メモリ５０（＃０～＃１５）から画像Ｉのデータを読み出すための垂直同期信号の周期は、上記イメージセンサ２のラスタスキャンに用いられる垂直同期信号の周期と同じであると仮定する。また、上記イメージセンサ２の画像Ｉのデータの書き込みに用いられるイメージセンサ画素クロックの周期と、個眼メモリ読み出し画素クロックの周期とは、約１：１６の関係となる。

そして、論理が１である個眼メモリ水平有効期間信号と、論理が１である個眼メモリ垂直有効期間信号とが、読み出しアドレスカウンタ７１に入力されることにより、読み出しアドレスカウンタ７１から読み出しアドレスが出力される。なお、読み出しアドレスは、全てのメモリ５０（＃０～＃１５）に対して並行かつ同時に出力される。これにより、本実施形態では、複数のメモリ５０（＃０～＃１５）に記憶されたレンズ３１ａごとに結像された画像Ｉのデータが、並行かつ同時に読み出される。なお、読み出しアドレスの出力は、個眼メモリ読み出し画素クロックの周期ごとに行われる。また、複数のメモリ５０（＃０～＃１５）に記憶された画像Ｉのデータが、分割された状態（個別に）読み出されるので、読み出されたデータを個別に（または、取捨選択して）、利用することが可能になる。また、読み出されたデータに対して、専用回路によって後段の処理が行われる。

（第１実施形態の効果）
第１実施形態では、以下のような効果を得ることができる。

第１実施形態では、上記のように、レンズ３１ａごとに結像された画像Ｉのデータを個別に記憶する複数のメモリ５０を備え、複数のメモリ５０に記憶されたレンズ３１ａごとに結像された画像Ｉのデータが、並行かつ同時に読み出されるように構成されている。これにより、個々のレンズ３１ａごとに結像された画像Ｉのデータ（個眼画像のデータ）が、レンズ３１ａの数と同じ数の複数カメラが並列動作しているかのように、並行かつ同時に読み出されるので、計算機のメモリに記憶する以前に、或いは計算機のメモリに記憶することなく、ハードウェアによる演算回路によって個眼画像データに対する演算処理を実施できるようになる。その結果、高速性および実時間性を向上させることができる。また、複眼画像のデータ（複数の画像Ｉが１枚の画像内に複数のレンズ３１ａの空間配置に対応して集約された状態）として時系列にデータが読み出される場合と異なり、個眼画像のデータの分離処理が不要になるので、個々の個眼画像のデータに対して演算処理等のデータ処理を直接施せるようになる。また、画像Ｉに対する演算処理を高速に行うことができるので、イメージセンサ２の画素数が比較的多い場合でも、１フレームの時間内において、１フレーム分の画像のデータを読み出すことができる。また、複眼撮像装置１００自体の高速性および実時間性が向上するので、比較的高速に動いている被写体の撮像を行うことができるとともに、比較的高速に動く機体などに複眼撮像装置１００自体を配置して、被写体の撮像を行うことができる。

また、第１実施形態では、上記のように、書き込み用としてのメモリ５０ａまたはメモリ５０ｂに対して、イメージセンサ２のレンズ３１ａごとに撮像された画像Ｉに対応する位置の書き込みアドレスを生成する書き込みアドレス生成部６０と、読み出し用としてのメモリ５０ａまたはメモリ５０ｂに対して、複数のメモリ５０に共通のタイミングで、記憶されている画像Ｉのデータを読み出す読み出しアドレスを生成する読み出しアドレス生成部７０とを設ける。これにより、メモリ５０ａとメモリ５０ｂとのうちの一方に画像Ｉのデータを書き込みながら、メモリ５０ａとメモリ５０ｂとのうちの他方から以前に書き込まれた画像Ｉのデータを読み出すことができるので、画像Ｉのデータの書き込みが終了してから画像Ｉのデータの読み出しを行う場合と比べて、画像Ｉのデータをさらに高速に読み出すことができる。

また、第１実施形態では、上記のように、メモリ５０ａおよびメモリ５０ｂは、読み出し用および書き込み用に切り替える切替信号に基づいて、書き込み用または読み出し用に切り替えられるように構成されている。これにより、メモリ５０ａおよびメモリ５０ｂを読み出し用および書き込み用に切り替えることができるので、メモリ５０ａ（メモリ５０ｂ）に対する書き込みと、メモリ５０ａ（メモリ５０ｂ）に対する読み出しとを連続して行うことができる。

［第２実施形態］
次に、図１１を参照して、第２実施形態の複眼撮像装置２００（図１参照）について説明する。

ここで、上記の図４に示すように、個眼領域水平有効期間信号は、垂直方向に隣接する４つの領域Ｓに対して共通である。また、個眼領域垂直有効期間信号は、水平方向に隣接する４つの領域Ｓに対して共通である。しかしながら、イメージセンサ２に対する複数のレンズ３１ａの各々の配置位置が、加工精度や組み立て精度などに起因してばらつく場合がある。この場合、イメージセンサ２上の各領域Ｓの中心とレンズ３１ａの光軸とが一致しない。イメージセンサ２上の各領域Ｓの中心とレンズ３１ａの光軸とが一致する場合では、無限遠方において被写体を撮像した際には、イメージセンサ２上の各領域Ｓに互いに同じ被写体の画像Ｉが結像する。しかしながら、上記のように、イメージセンサ２に対する複数のレンズ３１ａの各々の配置位置が、加工精度や組み立て精度などに起因してばらつく場合、レンズ３１ａの光軸のずれ量（シフト量）に対応して、各領域Ｓに結像される被写体の画像Ｉがシフトする。その結果、個眼領域水平有効期間信号（４種類、図４参照）と、個眼領域垂直有効期間信号（４種類、図４参照）との組み合わせによって、合計１６個の有効期間信号を適切に生成することが困難になる。

そこで、第２実施形態では、イメージセンサ２に対するレンズ３１ａの光軸の位置ずれに起因して生じるレンズ３１ａごとに結像される画像Ｉの空間的な位置ずれのずれ量に基づいて、イメージセンサ２における画像Ｉのデータの読み出しの領域Ｓを補正するように構成されている。具体的には、図１１に示すように、複眼撮像装置２００は、有効期間信号生成部２１０を備えている。有効期間信号生成部２１０は、レンズ３１ａごとに結像される画像Ｉの空間的な位置ずれのずれ量に基づいて、有効期間信号（個眼領域水平有効期間信号、個眼領域垂直有効期間信号）を補正するように構成されている。

具体的には、複眼撮像装置２００は、複数のレンズ３１ａ（＃０～＃１５）に対応するように、複数（＃０～＃１５）の個眼領域水平有効期間補正部２１１と、複数（＃０～＃１５）の個眼領域垂直有効期間補正部２１２とを含む。個眼領域水平有効期間補正部２１１および個眼領域垂直有効期間補正部２１２は、たとえば、可変ディレイ回路により構成されている。可変ディレイ回路は、入力された信号を所定の時間遅延させて出力するように構成されている。また、可変ディレイ回路は、遅延させる所定の時間を変更可能に構成されている。

そして、個眼領域水平有効期間補正部２１１には、個眼領域水平有効期間信号と、イメージセンサ画素クロックと、個眼領域水平補正情報（シフト量）とが入力される。たとえば、個眼領域＃０水平有効期間補正部２１１には、個眼領域＃０・４・８・１２水平有効期間信号と、イメージセンサ画素クロックと、個眼領域＃０水平補正情報とが入力される。

ここで、個眼領域水平補正情報について説明する。たとえば、イメージセンサ２の中心に対向する位置に配置されたテストパターンなどを予め撮像することにより、イメージセンサ２上の＃０～＃１５の各領域Ｓに対する、結像された画像Ｉの空間的なシフト量（Δｘ０、Δｙ０、・・・、Δｘ１５、Δｙ１５）を取得する。シフト量は、イメージセンサ２に対するレンズ３１ａの光軸の位置ずれのずれ量（バラツキ）に相当する。また、シフト量は、シフト量に基づいた補正が行われていない状態で撮像された１６個の画像Ｉ間における相関演算に基づいて算出される。

そして、個眼領域水平有効期間補正部２１１では、シフト量が０であると想定された理想的な個眼領域水平有効期間信号に対して、予め算出された空間的なシフト量（Δｘ０など）が補正値（画素値）として加算される。これにより、個眼領域水平有効期間補正部２１１から、補正済みの個眼領域水平有効期間信号が出力される。具体的には、個眼領域水平有効期間補正部２１１では、イメージセンサ画素クロックを単位として、シフト量（Δｘ０など）に対応する分、個眼領域水平有効期間信号を時間軸方向にずらす（ディレイさせる）ことにより、補正済みの個眼領域水平有効期間信号が生成される。

同様に、個眼領域垂直有効期間補正部２１２では、シフト量が０であると想定された理想的な個眼領域垂直有効期間信号に対して、予め算出された空間的なシフト量（Δｙ０など）が補正値（行）として加算される。これにより、個眼領域垂直有効期間補正部２１２から、補正済みの個眼領域垂直有効期間信号が出力される。具体的には、個眼領域垂直有効期間補正部２１２では、水平同期信号の周期を単位として、シフト量（Δｙ０など）に対応する分、個眼領域垂直有効期間信号を時間軸方向にずらす（ディレイさせる）ことにより、補正済みの個眼領域垂直有効期間信号が生成される。そして、補正済みの個眼領域水平有効期間信号と、補正済みの個眼領域垂直有効期間信号とが、書き込みアドレス生成部６０（図６参照）に入力される。

なお、可変ディレイ回路では、時間軸方向の正の方向にのみ、個眼領域水平有効期間信号および個眼領域垂直有効期間信号を補正する（ディレイさせる）ことしかできない。そこで、シフト量のうち、時間軸方向の負の方向の最大値を基準とするように、予め、個眼領域水平有効期間信号および個眼領域垂直有効期間信号を補正する（つまり、時間軸方向の負の方向にずらす）ことにより、可変ディレイ回路によって適切に個眼領域水平有効期間信号および個眼領域垂直有効期間信号を補正することが可能になる。

（第２実施形態の効果）
第２実施形態では、以下のような効果を得ることができる。

第２実施形態では、上記のように、イメージセンサ２に対するレンズ３１ａの光軸の位置ずれに起因して生じるレンズ３１ａごとに結像される画像Ｉの空間的な位置ずれのずれ量に基づいて、イメージセンサ２における画像Ｉのデータの読み出しの領域Ｓを補正するように構成されている。これにより、イメージセンサ２に対するレンズ３１ａの光軸の位置ずれに起因して、イメージセンサ２上に結像する画像Ｉの位置がずれた場合でも、適切に、イメージセンサ２から画像Ｉのデータの読み出しを行うことができる。

また、第２実施形態では、上記のように、有効期間信号生成部２１０は、レンズ３１ａごとに結像される画像Ｉの空間的な位置ずれのずれ量に基づいて、有効期間信号を補正するように構成されている。このように構成すれば、補正された有効期間信号に基づいて、容易に、イメージセンサ２から画像Ｉのデータの読み出しを行うことができる。

［変形例］
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記第１および第２実施形態では、レンズアレイ３１に１６個のレンズ３１ａが設けられている例を示したが、本発明はこれに限られない。たとえば、レンズアレイ３１に１６個以外の数（複数）のレンズ３１ａが設けられていてもよい。

また、上記第２実施形態では、撮像された１６個の画像Ｉ間における相関演算に基づいてシフト量が算出される例を示したが、本発明はこれに限られない。たとえば、イメージセンサ２に対するレンズ３１ａの光軸の物理的な位置ずれ量を計測するとともに、計測された位置ずれ量に基づいて、シフト量を算出してもよい。

また、上記第１および第２実施形態では、書き込み用および読み出し用のうちの一方として使用されるメモリ５０ａと、書き込み用および読み出し用のうちの他方として使用されるメモリ５０ｂとが、別個のメモリとして設けられている例を示したが、本発明はこれに限られない。たとえば、１つのメモリにおいて、書き込み用および読み出し用のうちの一方として使用される第１の領域と、書き込み用および読み出し用のうちの他方として使用される第２の領域とを設けてもよい。そして、このメモリの第１の領域と第２の領域とを、それぞれ、書き込み用と読み出し用に交互に使用する。また、このメモリに対する書き込みアドレスに基づいて、書き込み用としての第１の領域と第２の領域との一方に画像のデータを書き込み、このメモリに対する読み出しアドレスに基づいて、読み出し用としての第１の領域と第２の領域との他方から画像のデータを読み出す。

なお、上記のように、１つのメモリにおいて、書き込み用および読み出し用のうちの一方として使用される第１の領域と、書き込み用および読み出し用のうちの他方として使用される第２の領域とを設ける場合には、メモリの読み出し動作および書き込み動作の動作速度、および、応答速度が比較的高速のメモリが使用される。なお、動作速度および応答速度が比較的高速のメモリを使用する方法とは別の方法として、イメージセンサ２において複数の画素のデータをまとめて読み出すこと、および、複数の画素のデータをまとめて書き込むことによって、１画素当たりの動作速度および応答速度を疑似的に高速化する方法がある。

また、上記第２実施形態では、イメージセンサ２に対するレンズ３１ａの光軸の位置ずれに起因して生じるレンズ３１ａごとに結像される画像Ｉの空間的な位置ずれのずれ量に基づいて、イメージセンサ２における画像Ｉのデータの読み出しの領域Ｓを補正するように構成されている例を示したが、本発明はこれに限られない。たとえば、読み出しの領域Ｓを補正する代わりに、メモリ５０に対する書き込み領域を補正するように構成してもよい。これよっても、上記第２実施形態と同様の効果が得られる。

２ イメージセンサ
３１ レンズアレイ
３１ａ レンズ
５０ メモリ
５０ａ メモリ（第１メモリ）
５０ｂ メモリ（第２メモリ）
６０ 書き込みアドレス生成部
７０ 読み出しアドレス生成部
１００、２００ 複眼撮像装置
２１０ 有効期間信号生成部
Ｉ 画像
Ｓ 領域

Claims (5)

1. 複数のレンズを含むレンズアレイと、
   前記レンズアレイの前記レンズごとに結像された画像を撮像するイメージセンサと、
   前記レンズごとに結像された前記画像のデータを個別に記憶する複数のメモリとを備え、
   前記複数のメモリに記憶された前記レンズごとに結像された前記画像のデータが、並行かつ同時に読み出されるように構成されている、複眼撮像装置。
2. 複数の前記メモリの各々は、
   書き込み用および読み出し用のうちの一方として使用される第１メモリと、
   書き込み用および読み出し用のうちの他方として使用される第２メモリとを含み、
   前記書き込み用としての前記第１メモリまたは前記第２メモリに対して、前記イメージセンサの前記レンズごとに撮像された前記画像に対応する位置の書き込みアドレスを生成する書き込みアドレス生成部と、
   前記読み出し用としての前記第１メモリまたは前記第２メモリに対して、前記複数のメモリに共通のタイミングで、記憶されている前記画像のデータを読み出す読み出しアドレスを生成する読み出しアドレス生成部とをさらに備える、請求項１に記載の複眼撮像装置。
3. 前記第１メモリおよび前記第２メモリは、読み出し用および書き込み用に切り替える切替信号に基づいて、書き込み用または読み出し用に切り替えられるように構成されている、請求項２に記載の複眼撮像装置。
4. 前記イメージセンサに対する前記レンズの光軸の位置ずれに起因して生じる前記レンズごとに結像される前記画像の空間的な位置ずれのずれ量に基づいて、前記イメージセンサにおける前記画像のデータの読み出しの領域を補正するように構成されている、請求項１～３のいずれか１項に記載の複眼撮像装置。
5. 前記レンズごとに結像された前記画像に対応する前記イメージセンサの領域を読み出しの有効期間とする有効期間信号を生成する有効期間信号生成部をさらに備え、
   前記有効期間信号生成部は、前記レンズごとに結像される前記画像の空間的な位置ずれのずれ量に基づいて、前記有効期間信号を補正するように構成されている、請求項４に記載の複眼撮像装置。
   
   

Images