JP6126474B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関し、特に撮影後にリフォーカス可能な画像データを生成する撮像装置及びその制御方法に関する。

近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。

例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対してひとつのマイクロレンズを対応させることで、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される。

このように取得された画素信号（光線情報）に対して、通常の撮影画像を生成するほかに、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面にピントを合わせた画像（以下、リフォーカス画像）を撮影後に再構成することができる。

特許文献１では、複数のレンズが配置されたレンズ群の各レンズの位置を検出する方法が提案されている。また、特許文献２では、レンズ交換式カメラを使用して、レンズとカメラの接合部に着脱式のマイクロレンズアレイを配置する構成を提案している。このような構成とすることで、マイクロレンズアレイを装着したときのみリフォーカス画像を撮影でき、マイクロレンズアレイを装着しないときは、通常の画像の撮影ができるとしている。

特開２００４−３３３６９１号公報 特開２０１０−１０２２３０号公報

Ｒｅｎ．Ｎｇ、他７名，「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

ライトフィールドカメラにおいては、マイクロレンズアレイの各マイクロレンズに対応する撮像素子の個数及び配置が決まっている。図１７は、ライトフィールドカメラにおける撮像素子とマイクロレンズの個数および配置を表した例であり、１つのマイクロレンズに対して、５ｘ５の撮像素子が関係付けられている。

特許文献２に開示された交換レンズとカメラレンズアダプタを装着したカメラの場合、ユーザーによるカメラレンズアダプタの装着操作のために、マイクロレンズアレイと撮像素子の回転方向の位置関係にずれが生じることがある。また、交換レンズとカメラレンズアダプタを装着したカメラの場合、ユーザーによるズーム制御等のレンズ操作により、カメラレンズアダプタも動き、マイクロレンズアレイと撮像素子の回転方向の位置関係にずれが生じることがある。

撮像素子とマイクロレンズの位置関係にずれが生じた場合、ライトフィールドデータを撮像することが困難になる。図１８は、ライトフィールドカメラにおける撮像素子とマイクロレンズの位置関係がずれた例を示している。このような位置ズレが生じてしまった場合、画像処理の単位が崩れてしまい、処理が煩雑になる。

また、レンズ位置の検出方法に関して、特許文献１では、点像群やテンプレートを用いた位置検出方法が提案されている。しかし、ライトフィールドカメラでは撮像素子とマイクロレンズの関係が決められており、点像を適用することは困難である。

本発明は上記問題点を鑑みてなされたものであり、ライトフィールドカメラとして用いるためのマイクロレンズと撮像素子の回転方向の位置関係が所定の位置関係になるように位置合わせを行えるようにすることを目的とする。また、ライトフィールドカメラに適した、マイクロレンズと撮像素子の位置関係の検出方法を提案することを目的とする。

ライトフィールドカメラに適した方法でマイクロレンズと撮像素子の位置関係を検出するとともに、マイクロレンズと撮像素子の回転方向の位置関係が所定の位置関係になるように位置合わせを行えるようにすることを目的とする。

上記目的を達成するために、マイクロレンズを２次元に配列したマイクロレンズアレイを通過した光の強度分布及び光の入射方向を示す光線情報から、撮影後に再構成することが可能な画像を生成する本発明の撮像装置は、前記光線情報を電気信号に変換する複数の光電変換素子を含む撮像素子と、前記撮像素子の予め決められた検知領域に含まれる光電変換素子から得られた電気信号を用いて、前記マイクロレンズアレイと前記撮像素子との、予め決められた位置関係からの回転ズレの方向及びズレ量を示す回転ズレ情報を検出する検出手段と、前記マイクロレンズアレイのうち、前記検知領域に対応するマイクロレンズに隣接するマイクロレンズを遮光する遮光手段と、前記検出手段により検出した回転ズレ情報に基づいて、前記回転ズレを補正するように前記マイクロレンズアレイ及び前記撮像素子の少なくともいずれか一方を駆動する駆動手段とを有する。

本発明によれば、ライトフィールドカメラに適した方法でマイクロレンズと撮像素子の位置関係を検出するとともに、マイクロレンズと撮像素子の回転方向の位置関係が所定の位置関係になるように位置合わせを行うことができる。

本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図。 回転ズレ検知部の構成を示すブロック図。 撮像素子とマイクロレンズアレイとの位置関係が適切な場合の撮像素子とマイクロレンズアレイとの対応を示した図。 撮像素子とマイクロレンズアレイとの位置関係が適切な場合の検知領域における強度値の積分値の一例を示す図。 撮像素子とマイクロレンズアレイとの位置関係が適切な場合の強度値の積分結果の差の一例を示す図。 撮像素子に対してマイクロレンズアレイが右に回転した場合の撮像素子とマイクロレンズアレイとの対応を示した図。 撮像素子に対してマイクロレンズアレイが右に回転した場合の検知領域における強度値の積分値の一例を示す図。 撮像素子に対してマイクロレンズアレイが右に回転した場合の強度値の積分結果の差の一例を示す図。 撮像素子に対してマイクロレンズアレイが左に回転した場合の撮像素子とマイクロレンズアレイとの対応を示した図。 撮像素子に対してマイクロレンズアレイが左に回転した場合の検知領域における強度値の積分値の一例を示す図。 撮像素子に対してマイクロレンズアレイが左に回転した場合の強度値の積分結果の差の一例を示す図。 第１の実施形態における撮像装置の全体処理を示すフローチャート。 回転ズレ検知処理のフローチャート。 検知領域の別の例を示す図。 第２の実施形態に係る撮像装置の概略構成を示すブロック図。 第２の実施形態における撮像装置の全体処理を示すフローチャート。 従来の撮像素子とマイクロレンズの対応例を示す図。 従来の撮像素子とマイクロレンズの位置関係がズレた場合の例を示す図。 第３の実施形態に係る撮像装置の概略構成を示すブロック図。 第３の実施形態に係る撮像素子とマイクロレンズアレイとの位置関係が適切な場合の撮像素子とマイクロレンズアレイと遮光部との対応を示した図。 第３の実施形態に係る撮像素子に対してマイクロレンズアレイが左に回転した場合の撮像素子とマイクロレンズアレイと遮光部との対応を示した図。 第３の実施形態に係る撮像素子に対してマイクロレンズアレイが左に回転した場合の検知領域における強度値の積分値の一例を示す図。 本発明の第３の実施形態に係る別の撮像装置の概略構成を示すブロック図。 本発明の第４の実施形態に係る撮像装置の概略構成を示すブロック図。 第４の実施形態に係る撮像素子に対してマイクロレンズアレイが左に回転した場合の撮像素子とマイクロレンズアレイと遮光部との対応を示した図。 第４の実施形態における撮像装置の全体処理を示すフローチャート。 本発明の第４の実施形態に係る別の撮像装置の概略構成を示すブロック図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１を参照して、本発明の第１の実施形態に係る撮像装置について説明する。本第１の実施形態における撮像装置１００であり、以下のように動作する。

メインレンズ１０１及び複数のマイクロレンズを２次元状に配列したマイクロレンズアレイ１０２を通過した光の強度分布及び光の入射方向を示す光線情報は、光電変換素子を２次元状に配列した撮像素子１０３にて電気信号に変換される。以下、撮像素子１０３にて電気信号に変換されたデータを画像データと呼ぶ。なお、マイクロレンズアレイ１０２はマイクロレンズ間の隙間およびマイクロレンズアレイの外を通った光が撮像素子１０３に当たらないように遮光されているものとする。また、撮像素子１０３は光に応じた信号を出力するための有効画素領域１３１と黒基準信号を出力するための光学的黒領域（不図示）とを有する。更に、本実施形態において、マイクロレンズアレイ１０２上の各マイクロレンズと撮像素子１０３の光電変換素子は、非特許文献１で示されている構成と同様に、１対１で対応しているのではなく、１対複数で対応している。このように対応させることにより、光電変換素子により生成された電気信号に基づいて、撮影後に任意の焦点位置に合焦した画像を再構成することが可能となる。

記録画像処理部１４０は、有効画素領域１３１から出力された画像データを入力とし、記録するためのデータを生成するための画像処理を行う。回転ズレ検知部１０４は、有効画素領域１３１の一部の領域である検知領域１３０から出力される検知用画像データを入力として、撮像素子１０３とマイクロレンズアレイ１０２の回転ズレを検知する。回転駆動部１０５は、マイクロレンズアレイ１０２を回転させるための駆動用モーター１１０と、駆動用モーター１１０を回転させるための駆動信号を発生させる駆動信号発生部１２０とを有し、マイクロレンズアレイ１０２を回転方向に駆動する。

図２は、第１の実施形態における回転ズレ検知部１０４の構成を示すブロック図である。縦方向強度積分部１０４１は、撮像素子１０３の検知領域１３０から出力される画像データを入力とし、縦方向（第１の方向）の強度値の積分を行う。同様に、横方向強度積分部１０４２は、撮像素子１０３の検知領域１３０から出力される画像データを入力とし、横方向（第２の方向）の強度値の積分を行う。ここで強度値とは、撮像素子１０３における光電変換結果、得られる信号値である。ライトフィールドカメラにおいては、撮像素子１０３の各素子に対応する方向からの光線が大きい、もしくは輝度が大きければ強度値は大きくなる。反対に、撮像素子１０３の各素子に対応する方向からの光線が小さい、もしくは輝度が小さければ強度値は小さくなる。

光量判定部１０４３は、縦方向強度積分部１０４１の出力である縦方向積分結果および横方向強度積分部１０４２の出力である横方向積分結果を入力とし、撮像素子１０３とマイクロレンズアレイ１０２の位置関係の判定のために光量が十分かどうかを判定する。光量判定部１０４３は、光量判定用閾値を保持している。

縦方向ズレ検知部１０４４は、縦方向強度積分部１０４１からの出力である縦方向積分結果を入力とし、縦方向のズレを検知する。同様に、横方向ズレ検知部１０４５は、横方向強度積分部１０４２からの出力である横方向積分結果を入力とし、横方向のエッジを求める。ズレ情報生成部１０４７は、縦方向ズレ検知部１０４４の出力である縦方向エッジ情報及び横方向ズレ検知部１０４５の出力である横方向エッジ情報を入力とし、回転ズレ情報に変換して出力する。

次に、上記構成を有する回転ズレ検知部１０４における回転ズレ情報の生成処理について説明する。

図３は、マイクロレンズアレイ１０２と撮像素子１０３との位置関係が適切な場合を示した図である。図３（ａ）は、２５（＝５×５）のマイクロレンズと、対応する光電変換素子を示しており、図３（ｂ）は、１つのマイクロレンズと対応する光電変換素子を示しており、ここでは、５×５の２５の光電変換素子に対応しているものとする。なお、図３（ａ）のマイクロレンズアレイ１０２において、左上のマイクロレンズに対応する５×５の光電変換素子からなるブロックを検知領域１３０として説明する。

また、図３（ｂ）において、ｘ１〜ｘ５は、検知領域１３０のｘ軸方向、ｙ１〜ｙ５は、ｙ軸方向の座標である。網掛けしている光電変換素子１１０１、１１０２、１１０３、１１０４は、遮光され、光が当たっていない領域が大半を占める光電変換素子を示している。

図４は検知領域１３０における強度値の積分値をヒストグラムで表した図である。図４（ａ）は縦方向の積分値のヒストグラムであり、縦方向強度積分部１０４１の出力結果である。図４（ａ）の縦軸は強度値、横軸はＸ軸方向の座標であり、図３（ｂ）の座標に対応している。縦軸の強度値は、Ｘ軸方向の強度値の積分結果である。図４（ａ）において網掛けしている強度１２０１、１２０２、１２０３、１２０４は、図３（ｂ）において網掛けしている光電変換素子１１０１、１１０２、１１０３、１１０４からの出力に対応している。上述したように、光電変換素子１１０１、１１０２、１１０３、１１０４の大半の領域は遮光されているため、全面に光が当たっているその他の光電変換素子よりも強度が小さくなる。

また、図４（ａ）の光量判定用閾値１９０１は光量判定部１０４３が光量が十分かどうかを判定するために用いる閾値であり、強度値の積分結果が光量判定用閾値１９０１を超えた場合、回転ズレを検知するのに十分な光量であると判定する。積分結果が閾値以下の場合、回転ズレを検知するのに十分な光量では無いと判定する。

また、図４（ｂ）は横方向の積分値をヒストグラムであり、横方向強度積分部１０４２の出力結果である。図４（ｂ）の横軸は強度値、縦軸はＹ軸方向の座標であり、図３（ｂ）の座標に対応している。横軸の強度値は、Ｙ軸方向の強度値の積分結果である。図４（ａ）と同様に、光電変換素子１１０１、１１０２、１１０３、１１０４からの出力には網掛けをしている。

縦方向ズレ検知部１０４４は、縦方向積分結果を用いて縦方向のエッジを検出する。縦方向のエッジは、対象列の積分結果と１列手前の積分結果との差が閾値を超えるかで判定する。この閾値を縦方向エッジ検出用閾値とする。また、エッジを求める際、ｘ１列目は１列手前が無いので例外として、そのままｘ１列目の積分結果を差として用いる。

図５は、撮像素子１０３とマイクロレンズアレイ１０２との位置関係が適切な場合である図４（ａ）の積分結果を入力とした場合の、１列隣の列との差をヒストグラムで表したものである。横軸は、Ｘ軸方向の座標であり、ｘ１列目はｘ１列目、それ以降はｘ２列目−ｘ１列目のように、１つ前列との差であることを示している。縦軸は、１つ前列との強度値の差であり、この縦方向エッジ検出用閾値２００１を超えた個所を縦方向エッジ情報とする。

図５に示す例の場合、撮像素子１０３とマイクロレンズアレイ１０２の位置関係が適切なので、四隅を除く検知領域１３０のほぼ全域に光が照射している。そのため、ｘ１列目の値が最も大きくなる。この場合、縦方向のエッジ情報を「０」とする。

横方向ズレ検知部１０４５も同様に、エッジ検出量閾値を保持し、積分結果が閾値を超えた点を横方向のエッジ情報として出力する。図４（ｂ）に示す積分結果を入力とした場合、撮像素子１０３とマイクロレンズアレイ１０２の位置関係が適切なので、ｙ１行目の差の値が最も大きくなる。この場合、横方向のエッジ情報を「０」とする。

図６は、撮像素子１０３に対してマイクロレンズアレイ１０２が右に回転した場合を示した図である。図６（ａ）は、２５（＝５×５）のマイクロレンズと、図３（ａ）と同じ領域の光電変換素子を示しており、図６（ｂ）は、検知領域１３０と、検知領域１３０にかかるマイクロレンズを示している。また、図６（ｂ）において、網掛けしている光電変換素子は、遮光され、光が当たっていない光電変換素子または、光が当たっていない領域の割合が大きい光電変換素子である。

図７は、図６に示す位置関係である場合の、検知領域１３０における強度値の縦方向及び横方向の積分値をヒストグラムで表したものである。

図８は、図７（ａ）に示す積分結果を入力とした場合の、１列隣の列との差をヒストグラムで表したものである。縦方向ズレ検知部１０４４は、縦方向エッジ検出用閾値２００１を用いて縦方向のエッジを検出する。この場合、マイクロレンズアレイ１０２が右にズレていることにより、撮像素子のｘ１列目とｘ２列目は遮光されている部分が多い。そのため、光が照射されるｘ３列目と遮光されている部分が多いｘ２列目との差が大きくなる。この場合、縦方向のエッジ情報を「２」とする。

横方向ズレ検知部１０４５も同様に、エッジ検出量閾値を用いて積分結果が閾値を超えた点を横方向のエッジ情報として出力する。図８（ｂ）に示す積分結果を入力とした場合、マイクロレンズアレイ１０２が右にズレていることにより、撮像素子のｘ１列目とｘ２列目は遮光されている部分が多い。しかし、横方向の積分としては、各行に遮光されている個所があるために大きな差が現れない。この場合、横方向のエッジ情報は「０」となる。

図９は、撮像素子１０３に対してマイクロレンズアレイ１０２が左に回転した場合を示した図である。図９（ａ）は、２５（＝５×５）のマイクロレンズと、図３（ａ）と同じ領域の光電変換素子を示しており、図９（ｂ）は、検知領域１３０と、検知領域１３０にかかるマイクロレンズを示している。また、図９（ｂ）において、網掛けしている光電変換素子は、遮光され、光が当たっていない光電変換素子または、光が当たっていない領域の割合が大きい光電変換素子である。

図１０は、図９に示す位置関係である場合の、検知領域１３０における強度値の縦方向及び横方向の積分値をヒストグラムで表したものである。

図１１は、図１０（ａ）に示す積分結果を入力とした場合の、１列隣の列との差をヒストグラムで表したものである。縦方向ズレ検知部１０４４は、縦方向エッジ検出用閾値２００１を用いて縦方向のエッジを検出する。この場合、マイクロレンズアレイ１０２が左にズレていることにより、撮像素子のｙ１行目とｙ２行目は遮光されている部分が多い。しかし、縦方向の積分としては、各列に遮光されている個所があるために大きな差が現れない。この場合、縦方向のエッジ情報を「０」とする。

横方向ズレ検知部１０４５も同様に、エッジ検出量閾値を用いて積分結果が閾値を超えた点を横方向のエッジ情報として出力する。図１０（ｂ）に示す積分結果を入力とした場合、マイクロレンズアレイ１０２が左にズレていることにより、撮像素子のｙ１行目とｙ２行目は遮光されている部分が多い。そのため、光が照射されるｙ３行目と遮光されているｙ２行目の差が大きくなる。この場合、横方向のエッジ情報を「２」とする。

以上のようにして得られた縦方向及び横方向のエッジ情報に基づいて、ズレ情報生成部１０４７はズレ方向を判断し、回転ズレ情報を生成して出力する。縦方向エッジ情報と横方向エッジ情報がともに「０」の場合、ズレが無いと判断する。また、縦方向エッジ情報が正の値を示した場合（例えば「２」）、マイクロレンズアレイ１０２が撮像素子１０３に対して右に「２」の回転ズレ量だけずれていると判断する。横方向エッジ情報が正の値を示した場合（例えば「２」）、マイクロレンズアレイ１０２が撮像素子１０３に対して左に「２」の回転ズレ量だけずれていると判断する。これらの判断した結果を回転ズレ情報として、回転駆動部１０５に出力する。

次に、本発明の第１の実施形態における処理について説明する。図１２は、第１の実施形態における撮像装置の全体処理を示すフローチャートである。Ｓ１０１において、ユーザーによる不図示の電源スイッチの押下により撮像装置１００の電源をＯＮにする。

Ｓ１０２において、回転ズレ検知部１０４にて、回転ズレ検知処理を行う。なお、Ｓ１０２における回転ズレ検知処理では、上述した方法により回転ズレ情報を取得するが、その手順は図１３を参照して後述する。

Ｓ１０３において、回転駆動部１０５内の駆動信号発生部１２０は、回転ズレ情報を入力として、回転ズレを補正するようにマイクロレンズアレイ１０２を回転させるために駆動用モーター１１０を駆動させる駆動信号を出力する。駆動用モーター１１０はマイクロレンズアレイ１０２を回転させたのち、マイクロレンズアレイ１０２の位置を保持する。駆動用モーター１１０は電源が投入されている限り撮像素子１０３とマイクロレンズアレイ１０２の位置関係がずれないように（回転ズレ情報が「ズレが無い」ことを示すように）保持し続ける。

Ｓ１０５はマイクロレンズアレイ１０２と撮像素子１０３との位置関係が適切、即ち、ズレが無い状態になり、撮影が可能な状態にあるということを示している。Ｓ１０６では、ユーザーにより撮影が指示されると、撮影処理として露光が行われ、不図示の記録媒体に画像が記録される。この撮影処理は１回でも良いし、繰り返し行っても構わない。

次に、図１３のフローチャートを参照して、Ｓ１０２で行われる回転ズレ検知処理の手順について説明する。

まず、Ｓ２０１において、縦方向強度積分部１０４１は、検知領域１３０における縦方向の強度値の積分を行う。Ｓ２０２において、横方向強度積分部１０４２は、検知領域１３０における横方向の強度値の積分を行う。なお、Ｓ２０１とＳ２０２の処理は並行して行っても、逆の順に行ってもよい。

Ｓ２０３において、光量判定部１０４３は、回転ズレを検知するための光量が不足しているかどうかの判定を行う。具体的には、縦方向及び横方向の強度値の積分値の最大値が光量判定用閾値１９０１以下かどうかの判定を行う。

強度値の積分値の最大が光量判定用閾値１９０１以下であった場合、回転ズレを検知するための光量が少ないと判定され、Ｓ２０４に移行する。Ｓ２０４において不図示の液晶パネル等の表示部に、回転ズレを検知するための光量が不足している旨の警告表示を行い、処理を終了する。

強度値の積分値の最大が光量判定用閾値１９０１以上であった場合、回転ズレを検知するための光量が十分と判定され、Ｓ２０５に移行する。Ｓ２０５において、縦方向ズレ検知部１０４４は、検知領域１３０における縦方向の強度値の積分値を入力として、縦方向のエッジを検知する。次にＳ２０６において、横方向ズレ検知部１０４５は、検知領域１３０における横方向の強度値の積分値を入力として、横方向のエッジを検知する。なお、Ｓ２０５とＳ２０６の処理は並行して行っても、逆の順に行ってもよい。

Ｓ２０８において、ズレ情報生成部１０４７は、縦方向ズレ検知部１０４４の出力である縦方向のエッジ情報と、横方向ズレ検知部１０４５の出力である横方向のエッジ情報を入力として、回転ズレ情報を生成し、回転駆動部１０５に出力する。

このように、本第１の実施形態によれば、撮像装置の電源を投入した後、マイクロレンズアレイと撮像素子の回転ズレを検知し、検知した結果に基づきマイクロレンズアレイを回転方向の適切な位置関係に合わせる。これにより、適切なライトフィールド撮影を行うことが可能となる。

なお、本第１の実施形態では、検知領域として撮像素子の左上の領域を用いたが、本発明はこれに限るものではない。例えば、図１４（ａ）の１７０１、１７０２、１７０３、１７０４のように撮像素子１０３の四隅（角部）でも良い。また、図１４（ｂ）の１７１０のように撮像素子１０３の水平方向に位置する一列の複数の光電変換素子上でも良い。また、図１４（ｃ）の１７２０のように撮像素子１０３の対角方向上に位置する複数の光電変換素子上でも良い。

撮像素子１０３の四隅に位置する複数の光電変換素子を用いた場合、本第１の実施形態のように左上の１か所のみを使用する場合と比べ、回転ズレ情報を求めるための処理の工数は増える。しかしながら、判断するための情報が増加するため、検出精度を高めることが可能である。撮像素子１０３の水平方向または垂直方向に並ぶ複数の光電変換素子を用いた場合、及び、撮像素子１０３の対角線上に位置する複数の光電変換素子を用いた場合も同様である。

また、本第１の実施形態では、マイクロレンズアレイと撮像素子の位置関係のズレがあった場合に、マイクロレンズアレイを回転させることにより位置関係を合わせるように説明したが、撮像素子を回転させることにより位置関係を合わせるようにしても良い。また、マイクロレンズアレイと撮像素子の両方を回転させても良い。即ち、マイクロレンズアレイと撮像素子の少なくともいずれか一方を駆動すれば良い。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態では、電源を投入した後、撮像素子とマイクロレンズアレイの位置関係を合わせる場合について説明した。本第２の実施形態では、カメラレンズアダプタに設計公差があり、ユーザーのレンズ操作により撮像素子とマイクロレンズアレイの位置関係にズレが生じてしまう場合の実施形態について記載する。

以下、図１５を参照して第２の実施形態にかかる撮像装置について説明する。図１５は、マイクロレンズを内蔵したカメラレンズアダプタを装着する撮像装置である。図１と同じ機能の個所には同じ参照番号を付している。

第２の実施形態における撮像装置は、図１５に示すように、主に、カメラ本体１００’と、レンズユニット１８００と、カメラレンズアダプタ１８０３とから成る。レンズユニット１８００はメインレンズ１０１を内蔵し、カメラレンズアダプタ１８０３はマイクロレンズアレイ１０２を内蔵していており、レンズマウント１８０２を介してカメラ本体１００'に接続される。また、本第２の実施形態における撮像装置の撮影指示部は、撮影準備を指示する第１の撮影指示部と、撮影を指示する第２の撮影指示部の２段階になっているものとする。

次に、第２の実施形態における撮像装置の全体処理の流れについて、図１６のフローチャートを参照して説明する。なお、図１６においてＳ１０１、Ｓ１０２、Ｓ１０５、S１０３、Ｓ１０６は第１の実施形態で図１２を参照して説明した処理と同様である。

Ｓ３０６において、ユーザーによるズームレンズなどの操作や、合焦制御によるフォーカスレンズの駆動により、レンズユニット１８００のレンズ位置が変更される。本第２の実施形態では、このレンズ位置の変化により、カメラレンズアダプタ１８０３も動いてしまい、撮像素子１０３とマイクロレンズアレイ１０２との間に回転方向の位置関係にズレが生じる。

次に、Ｓ３０７において、ユーザーによる第１の撮影指示部が押下されるのを待つ。Ｓ３０７において第１の撮影指示部が押下された場合、Ｓ３０８に移行し、改めて回転ズレ検知処理を行う。

その後Ｓ１０３で回転方向の位置合わせを行い、Ｓ１０６でユーザーにより第２の撮影指示部が押下されると、撮影処理として露光が行われ、不図示の記録媒体に画像が記録される。

以上、本第２の実施形態によれば、カメラレンズアダプタにマイクロレンズが内蔵された撮像装置において、設計公差があるためにユーザーがズーム等の操作のためにレンズを触ることにより生じる回転ズレを、撮影の前に改めて位置合わせを行う。これにより、適切な位置関係での撮影が可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図１９は本第３の実施形態における撮像装置の構成を示すブロック図である。なお、第１の実施形態で説明した図１と同様の構成には同じ参照番号を付し、説明を省略する。図１９に示す撮像装置は、図１を参照して上述した撮像装置に、遮光部２３０１が追加されている点が異なる。遮光部２３０１は、メインレンズ１０１とマイクロレンズアレイ１０２との間に配置する。

次に、遮光部２３０１について説明する。図２０は遮光部２３０１を設けた場合の撮像素子１０３とマイクロレンズアレイ１０２との関係を示した図である。図２０において、２４０１は、検知領域１３０に対応するマイクロレンズ、２４１０、２４１１、２４１２は、それぞれ検知領域１３０に隣接する領域に対応するマイクロレンズである。

検知領域１３０に対応するマイクロレンズ２４０１からの光線情報は撮像素子１０３の一部である検知領域１３０に入力される。それに対し、検知領域１３０に隣接した領域に対応するマイクロレンズ２４１０、２４１１、２４１２からの光線情報は遮光部２３０１により遮光される。

図２１は、遮光部２３０１を設けた場合の撮像素子１０３に対してマイクロレンズアレイ１０２が左に回転した場合を示している。また、図２１（ｂ）は、図２１（ａ)における検知領域１３０のみを抽出した図である。

また、図２２（ａ）、（ｂ）は、それぞれ検知領域１３０における強度値の縦方向および横方向の積分値をヒストグラムで表したものである。図２２に示すように、マイクロレンズ２４１２からの光線情報は遮光部２３０１により遮光されており、検知領域１３０には検知領域に対応したマイクロレンズ２４０１からの光線情報のみが入力される。

これにより、回転ずれを検知する際に、検知領域１３０に隣接した領域に対応するマイクロレンズ２４１２からの光線情報の影響が無くなり、回転ずれの検知精度を向上させることが可能となる。
なお、本第３の実施形態では、遮光部２３０１はマイクロレンズアレイ１０２と別体の構成で説明したが、本発明はこれに限るものではなく、図２３に示すようにマイクロレンズアレイ１０２の一部を遮光しても良い。図２３の２８０１はマイクロレンズアレイ、２８１０、２８２０は遮光部である。このように、遮光部２８１０、２８２０をマイクロレンズアレイ２８０１の一部として埋め込んだ構成としても良い。

＜第４の実施形態＞
次に、本発明の第４の実施の形態について説明する。図２４は本第４の実施形態における撮像装置の構成を示すブロック図である。なお、第１の実施形態で説明した図１と同様の構成には同じ参照番号を付し、説明を省略する。図２４に示す撮像装置は、図１を参照して上述した撮像装置に、遮光部２９０１と遮光制御部２９０２が追加されている点が異なる。遮光部２９０１は、例えば液晶シャッターのように、入力される光線情報の通過状態と遮光状態とを部分的に切り替えられる部材で構成される。遮光制御部２９０２は、回転ズレ検知部１０４の出力であるズレ情報を入力とし、遮光部２９０１の通過状態と遮光状態とを切り替える制御を行う。

次に、遮光部２９０１について説明する。図２５は遮光部２９０１を遮光制御部２９０２により「遮光」状態に設定した場合の撮像素子１０３とマイクロレンズアレイ１０２との関係を示した図である。図２５において、中央部の水平ライン上の光電変換素子を検知領域１３０とし、検知領域１３０に対応するマイクロレンズに隣接するマイクロレンズの領域２９０３を遮光部としている。

なお、本発明は図２５に示す例に限るものではなく、例えば、第３の実施形態で図２０及び図２１を参照して説明したように、検知領域１３０に隣接する領域に対応するマイクロレンズ２４１０、２４１１、２４１２の領域を遮光部としてもよい。

次に、本発明の第４の実施形態における処理について説明する。図２６は、第４の実施形態における撮像装置の全体処理を示すフローチャートである。Ｓ１０１において、ユーザーによる不図示の電源スイッチの押下により撮像装置１００の電源をＯＮにする。

Ｓ４１０において、遮光制御部２９０２は遮光部２９０１を「遮光」状態に設定する。Ｓ１０２において、回転ズレ検知部１０４にて、回転ズレ検知処理を行う。なお、Ｓ１０２における回転ズレ検知処理では、図１３を参照して上述した手順で、回転ズレ情報を取得する。ただし、本第４の実施形態では、遮光部２９０１により遮光された状態で撮像素子１０３の検知領域１３０から得られた信号値を用いて、演算を行う。

Ｓ１０３において、回転駆動部１０５内の駆動信号発生部１２０は、回転ズレ検知部１０４の出力であるズレ情報を入力として、マイクロレンズアレイ１０２を回転させるために駆動用モーター１１０を駆動させる駆動信号を出力する。駆動用モーター１１０はマイクロレンズアレイ１０２を回転させたのち、マイクロレンズアレイ１０２の位置を保持する。駆動用モーター１１０は電源が投入されている限り撮像素子１０３とマイクロレンズアレイ１０２の位置関係がずれないように（回転ズレ情報が「ズレが無い」ことを示すように）保持し続ける。

次にＳ４３０において、回転ズレ検知部１０４からのズレ情報を受けた遮光制御部２９０２は、遮光部２９０１を「通過」状態に設定する。Ｓ４４０はマイクロレンズアレイ１０２と撮像素子１０３との位置関係がズレが無い適切な状態になり、かつ、遮光部２９０１が「通過」状態に切り替わり、撮影が可能な状態にあるということを示している。Ｓ１０６では、ユーザーにより撮影が指示されると、撮影処理として露光が行われ、不図示の記録媒体に画像が記録される。この撮影処理は１回でも良いし、繰り返し行っても構わない。

上記の通り本第４の実施形態によれば、回転ずれを合わせる際には遮光部を遮光し、回転ずれを合わせた後には遮光部を通過するように制御する。これにより、回転ずれの検知精度を向上しつつ、撮像素子への情報の欠落を少なくすることができる。

また、本第４の実施形態においては、遮光制御部２９０２は回転ズレ情報を受けて、遮光部２９０１の遮光状態から通過状態への切り替えを行う構成について説明したが、本発明はこれに限るものではない。

例えば、図２７に示す撮像装置を用いて、次のように制御しても良い。回転駆動部３２０５の位置合わせ完了通知部３２０６は、回転軸方向の位置合わせが完了した際に、完了した旨を遮光制御部２９０２に通知する。遮光制御部２９０２は位置合わせ完了通知部３２０６からの通知を受け、遮光部２９０１の遮光状態から通過状態への切り替えを行う。

以上、第１〜第４の実施形態と本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (13)

1. マイクロレンズを２次元に配列したマイクロレンズアレイを通過した光の強度分布及び光の入射方向を示す光線情報から、撮影後に再構成することが可能な画像を生成する撮像装置であって、
   前記光線情報を電気信号に変換する複数の光電変換素子を含む撮像素子と、
   前記撮像素子の予め決められた検知領域に含まれる光電変換素子から得られた電気信号を用いて、前記マイクロレンズアレイと前記撮像素子との、予め決められた位置関係からの回転ズレの方向及びズレ量を示す回転ズレ情報を検出する検出手段と、
   前記マイクロレンズアレイのうち、前記検知領域に対応するマイクロレンズに隣接するマイクロレンズを遮光する遮光手段と、
   前記検出手段により検出した回転ズレ情報に基づいて、前記回転ズレを補正するように前記マイクロレンズアレイ及び前記撮像素子の少なくともいずれか一方を駆動する駆動手段と
   を有することを特徴とする撮像装置。
2. 前記遮光手段は、光を遮光する遮光状態と光を通過させる通過状態とに切り替えることができ、
   前記検出手段により前記回転ズレ情報を検出する場合に、前記遮光手段を前記遮光状態に制御する制御手段を更に有することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記検出手段からの前記回転ズレ情報の入力に応じて、前記遮光手段を前記遮光状態から前記通過状態に変更することを特徴とする請求項２に記載の撮像装置。
4. 前記駆動手段は、前記回転ズレの補正が完了したしたことを示す完了通知を出力し、
   前記制御手段は、前記駆動手段からの前記完了通知の入力に応じて、前記遮光手段を前記遮光状態から前記通過状態に変更することを特徴とする請求項２に記載の撮像装置。
5. マイクロレンズを２次元に配列したマイクロレンズアレイを通過した光の強度分布及び光の入射方向を示す光線情報から、撮影後に再構成することが可能な画像を生成する撮像装置であって、
   前記光線情報を電気信号に変換する複数の光電変換素子を含む撮像素子と、
   前記撮像素子の予め決められた検知領域に含まれる光電変換素子から得られた電気信号を用いて、前記マイクロレンズアレイと前記撮像素子との、予め決められた位置関係からの回転ズレの方向及びズレ量を示す回転ズレ情報を検出する検出手段と、
   前記検出手段により検出した回転ズレ情報に基づいて、前記回転ズレを補正するように前記マイクロレンズアレイ及び前記撮像素子の少なくともいずれか一方を駆動する駆動手段とを有し、
   前記マイクロレンズアレイのうち、前記検知領域に対応するマイクロレンズに隣接するマイクロレンズが光を遮光する構成を有することを特徴とする撮像装置。
6. 前記検出手段は、
   前記検知領域に含まれる光電変換素子からの電気信号から、第１の方向のエッジを検知する第１の検知部と、
   前記検知領域に含まれる光電変換素子からの電気信号から、前記第１の方向と異なる第２の方向のエッジを検知する第２の検知部と、
   前記予め決められた位置関係にある場合に検出される前記第１の方向及び前記第２の方向のエッジの位置に対する、前記検出された第１の方向及び前記第２の方向のエッジの位置から、前記回転ズレ情報を生成する生成手段と
   を含むことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記検出手段は、
   前記検知領域に含まれる光電変換素子からの電気信号を前記第１の方向に積分する第１の積分手段と、
   前記検知領域に含まれる光電変換素子からの電気信号を前記第２の方向に積分する第２の積分手段とを更に有し、
   前記第１の検知部は、前記第１の積分手段により積分された値から前記第１の方向のエッジを検知し、前記第２の検知部は、前記第２の積分手段により積分された値から前記第２の方向のエッジを検知することを特徴とする請求項６に記載の撮像装置。
8. 前記第１の積分手段により積分された値の最大値または前記第２の積分手段により積分された値の最大値が予め決められた閾値以下の場合に、前記検出手段は光量が不足していることを警告することを特徴とする請求項７に記載の撮像装置。
9. 前記検知領域は、前記撮像素子において光に応じた信号を出力する有効画素領域の、角部、または、前記第１の方向または前記第２の方向に並ぶ複数の光電変換素子を含む領域、または、対角線上に位置する複数の光電変換素子を含む領域であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記検出手段は、前記撮像装置の電源を投入した時に前記回転ズレ情報を検出することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 撮影準備を指示する第１の撮影指示手段と、
    撮影を指示する第２の撮影指示手段とを更に有し、
    前記検出手段は、前記第１の撮影指示手段による指示に応じて、前記回転ズレ情報を検出し、前記駆動手段を用いて前記回転ズレを補正した後に、前記第２の撮影指示手段による撮影の指示を受け付けることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. マイクロレンズを２次元に配列したマイクロレンズアレイと、光を遮光する遮光状態と光を通過させる通過状態とに切り替えられる遮光手段とを通過した光の強度分布及び光の入射方向を示す光線情報を電気信号に変換する複数の光電変換素子を含む撮像素子を有し、撮影後に再構成することが可能な画像を生成する撮像装置の制御方法であって、
    制御手段が、前記遮光手段を前記遮光状態に設定する設定工程と、
    検出手段が、前記撮像素子の予め決められた検知領域に含まれる光電変換素子から得られた電気信号を用いて、前記マイクロレンズアレイと前記撮像素子との、予め決められた位置関係からの回転ズレの方向及びズレ量を示す回転ズレ情報を検出する検出工程と、
    前記制御手段が、前記回転ズレ情報の検出の終了に伴って、前記遮光手段を前記遮光状態から前記通過状態に変更する変更工程と、
    駆動手段が、前記検出工程で検出した回転ズレ情報に基づいて、回転ズレを補正するように前記マイクロレンズアレイ及び前記撮像素子の少なくともいずれか一方を駆動する駆動工程とを有し、
    前記遮光手段は、前記遮光状態において、前記マイクロレンズアレイのうち、前記検知領域に対応するマイクロレンズに隣接するマイクロレンズを遮光することを特徴とする制御方法。
13. マイクロレンズを２次元に配列したマイクロレンズアレイと、光を遮光する遮光状態と光を通過させる通過状態とに切り替えられる遮光手段とを通過した光の強度分布及び光の入射方向を示す光線情報を電気信号に変換する複数の光電変換素子を含む撮像素子を有し、撮影後に再構成することが可能な画像を生成する撮像装置の制御方法であって、
    制御手段が、前記遮光手段を前記遮光状態に設定する設定工程と、
    検出手段が、前記撮像素子の予め決められた検知領域に含まれる光電変換素子から得られた電気信号を用いて、前記マイクロレンズアレイと前記撮像素子との、予め決められた位置関係からの回転ズレの方向及びズレ量を示す回転ズレ情報を検出する検出工程と、
    駆動手段が、前記検出工程で検出した回転ズレ情報に基づいて、回転ズレを補正するように前記マイクロレンズアレイ及び前記撮像素子の少なくともいずれか一方を駆動する駆動工程と、
    前記制御手段が、前記回転ズレの補正の完了に伴って、前記遮光手段を前記遮光状態から前記通過状態に変更する変更工程とを有し、
    前記遮光手段は、前記遮光状態において、前記マイクロレンズアレイのうち、前記検知領域に対応するマイクロレンズに隣接するマイクロレンズを遮光することを特徴とする制御方法。

Images