JPWO2015132831A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JPWO2015132831A1
JPWO2015132831A1 JP2016505945A JP2016505945A JPWO2015132831A1 JP WO2015132831 A1 JPWO2015132831 A1 JP WO2015132831A1 JP 2016505945 A JP2016505945 A JP 2016505945A JP 2016505945 A JP2016505945 A JP 2016505945A JP WO2015132831 A1 JPWO2015132831 A1 JP WO2015132831A1
Authority
JP
Japan
Prior art keywords
light
image sensor
respect
microlens array
rotation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016505945A
Other languages
English (en)
Inventor
智英 石上
智英 石上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2015132831A1 publication Critical patent/JPWO2015132831A1/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示は、再構成時の解像度が高い撮像装置を提供することを目的とする。本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。

Description

本開示は、マイクロレンズにより光線方向を分離して記録するライトフィールドカメラに関する。
近年、光学系と撮像素子を一体化し、撮影後に好みの位置にピントを合わせ、任意の焦点位置の画像を生成するリフォーカス処理が可能なライトフィールドカメラ（Ｌｉｇｈｔ−ｆｉｅｌｄ ｃａｍｅｒａ）が登場している。ライトフィールドカメラは、例えば、非特許文献１に開示されている。
ライトフィールドカメラは、メインレンズとマイクロレンズアレイと撮像素子で構成される。被写体から入射した光はメインレンズを通過した後、マイクロレンズアレイを通過し撮像素子に入射する。撮像素子では光の方向毎に区別され記録されるため、一般的なカメラと異なり、撮像素子の受光面には光の強度に加えて、その光の進行方向の情報も含む。
そのため、撮影後に任意の焦点位置の画像を生成するリフォーカス処理が可能である。例えば、撮像素子の受光した光を電気信号に変換した各画素から、仮想撮像面へ光線方向にしたがって投影することで、仮想撮像面に撮像素子を置いた場合のリフォーカス画像を生成できる。
Ｒｅｎ． Ｎｇ， ｅｔ ａｌ， "Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２
本開示は、ライトフィールドカメラで画像を再構成して任意の焦点位置に合わせたリフォーカス画像を生成する際、画像の解像度を向上する撮像装置を提供する。
本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。
本開示の撮像装置は、ライトフィールドカメラで画像を再構成してリフォーカス画像を生成する際、画像の解像度を向上することができる。
図１は、実施の形態１におけるライトフィールドカメラの構成を示すブロック図である。 図２は、仮想撮像面上の光線中心の分布を示す図である。 図３は、実施の形態１における仮想撮像面上の光線中心の位置の計算方法を説明する図である。 図４は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順を示すフローチャートである。 図５は、実施の形態１におけるコスト関数の一例を説明する図である。 図６は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。 図７は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する垂直方向の回転角が０度と６．６度におけるリフォーカス距離に対するコスト関数の平均値を示す図である。 図８は、実施の形態１におけるリフォーカス距離が＋４．５付近における光線中心の分布を示す図である。 図９は、実施の形態１におけるリフォーカス距離が＋２．５付近における光線中心の分布を示す図である。 図１０は、実施の形態１におけるリフォーカス距離が−３．５付近における光線中心の分布を示す図である。 図１１は、実施の形態１における別のマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。 図１２は、実施の形態１におけるさらに別のマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
以下、図１〜１２を用いて、実施の形態１を説明する。
［１−１．光線中心と画像の解像度の関係］
まず、光線中心と画像の解像度の関係について説明する。ライトフィールドカメラでは、撮像素子で受光した光を電気信号に変換した画素を処理して画像を再構成してリフォーカス画像を生成する場合、光線中心が重要な役割を果たす。光線中心とは、任意の焦点位置に合わせて画像を再構成する仮想撮像面へ、撮像素子から光線方向に従って仮想撮像面に投影した光線の交わる点である。従って、再構成する画像の各画素は、撮像素子から光線方向に従って、仮想撮像面に投影した仮想撮像面上の光線中心のうち、再構成する画像内のそれぞれの画素に近い光線中心を用いて補完する。この時、光線中心の数は、撮像素子の画素数で固定されるため、仮想撮像面上の光線中心が一箇所に固まると、仮想撮像面上の光線中心の混みあいの程度を示す密度が低い領域では再構成時の画像の解像度が低くなってしまう。
［１−２．ライトフィールドカメラの構成］
実施の形態１において、撮像装置としてライトフィールドカメラを用いて説明する。図１は、実施の形態１にかかるライトフィールドカメラの構成図である。図１において、ライトフィールドカメラ１００は、被写体１０１を撮影する。ライトフィールドカメラ１００は、撮像部３１０と、信号処理部３２０で構成される。撮像部３１０は、メインレンズ１０２、マイクロレンズアレイ１０３、撮像素子１０４で構成される。信号処理部３２０は、ＬＳＩ（ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などのプロセッサを用いて実現される。
被写体１０１を通過する光は、メインレンズ１０２、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。この時、撮像素子１０４の各画素は、光の強度だけでなく、光の進行方向も同時に記録される。
撮像素子１０４で受光した光を電気信号に変換した各画素は、信号処理部３２０に送られる。信号処理部３２０は、任意の焦点位置で撮影した時の画像を再構成するために、撮像素子１０４を任意の空間上の平面へ仮想的に配置した仮想撮像面１０５が設定されると、撮像素子１０４の各画素から、仮想撮像面１０５へ光線方向に従って投影した光線中心１０６の位置を計算する。その後、光線中心１０６を用いて画像を再構成することで、仮想撮像面１０５におけるリフォーカス画像を生成する。
図２は、仮想撮像面上の光線中心の分布を示す図である。マイクロレンズアレイ１０３は、直径が約１８画素で、ハニカム構造（ｈｏｎｅｙｃｏｍｂ ｓｔｒｕｃｔｕｒｅ）で配置されており、撮像素子１０４は、ベイヤ構造（Ｂａｙｅｒ ｓｔｒｕｃｔｕｒｅ）で配置されている。光線中心の分布２１０は、本実施の形態のライトフィールドカメラ１００の光線中心の分布である。
図２において、光線中心の分布２１０は、マイクロレンズアレイ１０３を構成するマイクロレンズ２０１のうち、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ａ−Ａと、撮像素子１０４の水平方向Ｂ−Ｂとが、互いに平行でなく所定の角度を有し、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ａ−Ａは撮像素子１０４の水平方向Ｂ−Ｂに対して傾いている。すなわち、マイクロレンズアレイ１０３は撮像素子１０４に対して垂直方向に所定の回転角を有している。
図２において、光線中心の分布２２０は、従来のライトフィールドカメラの光線中心の分布である。光線中心の分布２２０は、マイクロレンズアレイ１０３を構成するマイクロレンズ２０１のうち、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ｃ−Ｃと、撮像素子１０４の水平方向Ｂ−Ｂとが、互いに平行であり、傾いていない。すなわち、マイクロレンズアレイが撮像素子に対して垂直方向に回転していない。
図２において、光線中心の分布２１０と光線中心の分布２２０を比較すると、光線中心の分布２１０のほうが、光線中心の重なりが少なく、仮想撮像面１０５に対して光線中心の密度が高い。仮想撮像面１０５に対して光線中心の密度が高いと、画像を再構成してフォーカス画像を生成する際、画像の解像度がより高くなる。すなわち、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有することで、仮想撮像面１０５に投影した光線中心の密度は、より高くなる。
以上のように構成されたライトフィールドカメラ１００において、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な回転角を算出したので、以下説明する。
［１−３．最適な回転角］
［１−３−１．光線中心の位置］
まず、仮想撮像面１０５上の光線中心の位置の計算方法について説明する。
図３は、実施の形態１における仮想撮像面上の光線中心の位置の計算方法を説明する図である。図３において、マイクロレンズアレイ１０３と撮像素子１０４の距離をｂ、マイクロレンズアレイ１０３と仮想撮像面１０５の距離をｂｂとする。
マイクロレンズアレイ１０３のｉ番目のマイクロレンズ４０１の中心位置を撮像素子１０４の方向に水平に伸ばして撮像素子１０４と交差する位置である中心位置４０２の座標を、
とする。
撮像素子１０４上の任意の画素を画素４０３、中心位置４０２から画素４０３までの方向ベクトル４０４を、
とする。また、ｉ番目のマイクロレンズ４０１の直径をｄとする。
ここで、撮像素子１０４上の画素４０３の仮想撮像面１０５上に投影した際の光線中心の座標４０５は、ｉ番目のマイクロレンズ４０１の中心を通過して直線に光が進むと仮定すると、
となる。
また仮想撮像面１０５における光線の幅をｄｄとすると、ｉ番目のマイクロレンズ４０１の直径ｄで捉えた光線が撮像素子１０４の画素４０３へ集光されると考えると、ｄｄ＝ｄとなる。これにより、撮像素子１０４上の各画素から、仮想撮像面１０５に投影した光線中心の位置および、光線の幅を計算できる。
［１−３−２．コスト値の算出］
マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を算出するため、コスト関数を用いて評価を行った。具体的には、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角を、０度から３０度までの間で０．１度刻みに変化させ、それぞれの回転角に対してコスト関数を用いてコスト値を算出する。算出したコスト値を用いて評価を行い、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を見出した。
ここで、マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順について説明する。図４は、マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順を示すフローチャートである。
マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角のコスト値は、想定される全ての仮想撮像面に対して算出する。想定される全ての仮想撮像面１０５は、撮像素子１０４から所定の焦点距離内で予め設定された間隔で決定されるリフォーカス距離の仮想撮像面１０５の全てである。
（Ｓ５０１）まず、コスト関数のコスト値や変数等をゼロに初期化する。
（Ｓ５０２）次に、想定される仮想撮像面を全てに対して処理が完了したか否かを判定する。全て処理した場合（Ｙｅｓの場合）は、コスト値とコスト値の算出を実施した回転角を出力して終了する。想定される仮想撮像面を全て処理してない場合（Ｎｏの場合）、ステップＳ５０３へ処理を進める。
（Ｓ５０３）予め設定された間隔に従って、対象とするリフォーカス距離の仮想撮像面を設定する。
（Ｓ５０４）次に、設定された仮想撮像面上の指定範囲内において、指定範囲内のすべての画素に対しコスト値を計算したか否かを判定する。全ての画素に対してコスト値を計算した場合（Ｙｅｓの場合）は、ステップＳ５０２に戻る。指定範囲内の全ての画素に対してコスト値を計算してない場合（Ｎｏの場合）、ステップＳ５０５へ処理を進める。
（Ｓ５０５）仮想撮像面上の指定範囲内の計算してない画素の位置を取得する。
（Ｓ５０６）次に、撮像素子１０４上の各画素から予め計算しておいた仮想撮像面１０５へ投影した光線中心の位置に対し、ステップＳ５０５で取得した画素の位置から最も近い光線中心を探索し、光線中心の位置を特定する。
（Ｓ５０７）次に、ステップＳ５０６で求めた光線中心の位置と、ステップＳ５０５で取得した画素の位置の距離を、コスト値に追加し、ステップＳ５０４へ戻る。
［１−３−３．コスト関数の一例］
次に、コスト値を算出するコスト関数の詳細について説明する。図５は、実施の形態１におけるコスト関数の一例を説明する図である。図５において、仮想撮像面１０５上に、コスト関数を計算する範囲を特定するための指定範囲をＲとし、指定範囲Ｒ内に存在するｒ番目の注目画素Ｐ（ｒ）の位置を、
と定義する。
次に仮想撮像面１０５の位置をｆとし、撮像素子１０４上のｎ番目の画素を、位置fにある仮想撮像面１０５へ投影した場合の光線中心の位置Ｒａｙ（ｆ，ｎ）を、
と定義する。
この時、注目画素の位置Ｐ（ｒ）と、光線中心の位置Ｒａｙ（ｆ，ｎ）との距離Ｄｉｓｔ（Ｐ（ｒ），Ｒａｙ（ｆ、ｎ））は、例えば、最小距離の２乗誤差として定義すれば、
となる。
想定される仮想撮像面全ての集合をｆｏｃｕｓ、指定範囲をＲ、撮像素子１０４上の画素全体の集合をＮとした場合、コスト関数Ｃｏｓｔ（ｆｏｃｕｓ，Ｒ，Ｎ）は、
と定義できる。
（数７）で定義したコスト関数は、想定される仮想撮像面１０５全てにおいて、指定範囲Ｒ、つまり、再構成する画像の範囲で、それぞれの再構成する画素の位置と再構成時に用いる光線中心の位置の距離を評価することと等価である。そして、再構成時の画素と光線中心の距離が全体的に近いほど、仮想撮像面１０５に対して光線中心の密度が高く、高い解像度を得られることに基づく式となっている。
［１−３−４．最適な回転角の算出］
（数７）のコスト関数を用いて、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を見出した。図６から図１０を用いて説明する。
図６は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。図６において、横軸をマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角、縦軸をコスト関数の平均値とする。
コスト関数の平均値は、算出したコスト値を、計算に用いた仮想撮像面１０５上の画素数で割った値である。コスト関数の平均値は、値が低いほど高い解像度で画像の再構成ができる。
図６において、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度から３０度の範囲で０．１度刻みにコスト関数の平均値をプロットしており、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の時に最もコスト関数の平均値が高く、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の時が最もコスト関数の平均値が低い結果となった。また、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約１．７度から約２８．３度の間であればマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の時よりもコスト関数の平均値が低いので、高い解像度で画像の再構成ができ、さらにマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約１．７度、約６．６度、約１２．４度、約１７．６度、及び約２３．４度でコスト関数の平均値が極小値となり、より高い解像度で画像の再構成ができる。
次に、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度と６．６度における、撮像素子１０４から仮想撮像面１０５までの距離であるリフォーカス距離に対するコスト関数の平均値の関係について説明する。
図７は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度と６．６度におけるリフォーカス距離に対するコスト関数の平均値を示す図である。横軸のリフォーカス距離は、マイクロレンズアレイ１０３と撮像素子１０４の距離を１としたときの相対距離を示している。図７において、リフォーカス距離を−５から＋５まで変化させた時の、コスト関数の平均値をグラフ化している。なお、リフォーカス距離が−１〜＋１の区間は評価しない。図７におけるリフォーカス距離が＋４．５付近、＋２．５付近、−３．５付近に対する仮想撮像面１０５上の光線中心の分布について説明する。
図８は、リフォーカス距離が＋４．５付近の光線中心の分布を示す図である。図８において、左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合の光線中心の分布を示している。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合におけるコスト関数の平均値は１．４であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合におけるコスト関数の平均値は４．８である。
図９は、リフォーカス距離が＋２．５付近の光線中心の分布を示す図である。図９において、左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合の光線中心の分布を示している。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合におけるコスト関数の平均値は１．５であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合におけるコスト関数の平均値は１．１である。
図１０は、リフォーカス距離が−３．５付近の光線中心の分布を示す図である。左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の光線中心の分布を示している。マイクロレンズアレイ１０３の回転角が６．６度におけるコスト関数の平均値は１．４であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度におけるコスト関数の平均値は３．９である。
図８、９、１０より、コスト関数の平均値が１．４の光線中心の分布とコスト関数の平均値が３．９の光線中心の分布を比較すると、コスト関数の平均値が１．４の光線中心の分布のほうがコスト関数の平均値３．９の光線中心の分布よりも光線中心が重ならず、仮想撮像面１０５に対して密度が高く配置されていることが分かる。同様に、コスト関数の平均値が１．１、１．５の光線中心の分布は、仮想撮像面１０５に対して密度が高く配置され、コスト関数の平均値が４．８の光線中心の分布は光線中心が重なっている。
従って、図８、９、１０コスト関数の平均値が低いほど、光線中心の分布が、仮想撮像面１０５に対して密度が高いことが視覚的に確認できる。すなわち、コスト関数の平均値が低いほど、画像を再構成する際、再構成して求めたい画素付近に光線中心が存在するので、リフォーカス画像の解像度が高くなる。
また、図７から、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合に比べ、リフォーカス距離が−５から＋５までの全般にわたって、概ねコスト関数の平均値が低いことがわかる。
これにより、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有していると、画像の再構成時において、リフォーカス画像の解像度が向上する。
なお、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度であるとしたが、実際には製造時の精度の制約等により０．２度以下の回転角となることがあり得る。しかしながら、本実施の形態では、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有するとは、製造時の制度の制約を超えた、約１度以上の回転角であることを意図している。
さらに、マイクロレンズアレイ１０３の構造が別の構成である場合についても最適な回転角を見出した。図１１は、実施の形態１における別のマイクロレンズアレイの撮像素子に対する回転角に対するコスト関数の平均値を示す図であり、図１２は、実施の形態１におけるさらに別のマイクロレンズアレイの撮像素子に対する回転角に対するコスト関数の平均値を示す図である。
図１１は、マイクロレンズアレイ１０３は直径が約１７画素で、ハニカム構造で配置されており、撮像素子１０４の画素はベイヤ構造で配置された構成における、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角約６．６度及び約２３．４度でコスト関数の平均値が極小値となり、リフォーカス画像の解像度が向上することを見出した。
さらに、図１２は、マイクロレンズアレイ１０３は直径が約１６画素で、ハニカム構造で配置されており、撮像素子１０４の画素はベイヤ構造で配置された構成における、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約３．９度、約１３．８度、約１６．２度、及び約２６．１度でコスト関数の平均値が極小値となり、リフォーカス画像の解像度が向上することを見出した。
［１−４．効果等］
以上のように、本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。
これにより、画像を再構成してリフォーカス画像を生成する際、画像の解像度を向上できる。
本開示の撮像装置は、ライトフィールドカメラに適応可能である。具体的には、車載カメラや監視カメラ、デジタルカメラ、ムービー、ウェアラブルカメラなどに用いるライトフィールドカメラに適用可能である。
１００ ライトフィールドカメラ
１０１ 被写体
１０２ メインレンズ
１０３ マイクロレンズアレイ
１０４ 撮像素子
１０５ 仮想撮像面
１０６ 光線中心
２０１ マイクロレンズ
２１０，２２０ 光線中心の分布
３１０ 撮像部
３２０ 信号処理部
４０１ ｉ番目のマイクロレンズ
４０２ 中心位置
４０３ 画素
４０４ 方向ベクトル
４０５ 光線中心の座標
本開示は、マイクロレンズにより光線方向を分離して記録するライトフィールドカメラに関する。
近年、光学系と撮像素子を一体化し、撮影後に好みの位置にピントを合わせ、任意の焦点位置の画像を生成するリフォーカス処理が可能なライトフィールドカメラ（Ｌｉｇｈｔ−ｆｉｅｌｄ ｃａｍｅｒａ）が登場している。ライトフィールドカメラは、例えば、非特許文献１に開示されている。
ライトフィールドカメラは、メインレンズとマイクロレンズアレイと撮像素子で構成される。被写体から入射した光はメインレンズを通過した後、マイクロレンズアレイを通過し撮像素子に入射する。撮像素子では光の方向毎に区別され記録されるため、一般的なカメラと異なり、撮像素子の受光面には光の強度に加えて、その光の進行方向の情報も含む。
そのため、撮影後に任意の焦点位置の画像を生成するリフォーカス処理が可能である。例えば、撮像素子の受光した光を電気信号に変換した各画素から、仮想撮像面へ光線方向にしたがって投影することで、仮想撮像面に撮像素子を置いた場合のリフォーカス画像を生成できる。
Ｒｅｎ． Ｎｇ， ｅｔ ａｌ， "Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２
本開示は、ライトフィールドカメラで画像を再構成して任意の焦点位置に合わせたリフォーカス画像を生成する際、画像の解像度を向上する撮像装置を提供する。
本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。回転角は、仮想撮像面へ撮像素子から光線方向に従って仮想撮像面に投影した光線の交わる点である光線中心の位置と、リフォーカス画像を構成する画素の位置との距離を評価するコスト関数の極小値を探索することで決定される角度である。
本開示の撮像装置は、ライトフィールドカメラで画像を再構成してリフォーカス画像を生成する際、画像の解像度を向上することができる。
図１は、実施の形態１におけるライトフィールドカメラの構成を示すブロック図である。 図２は、仮想撮像面上の光線中心の分布を示す図である。 図３は、実施の形態１における仮想撮像面上の光線中心の位置の計算方法を説明する図である。 図４は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順を示すフローチャートである。 図５は、実施の形態１におけるコスト関数の一例を説明する図である。 図６は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。 図７は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する垂直方向の回転角が０度と６．６度におけるリフォーカス距離に対するコスト関数の平均値を示す図である。 図８は、実施の形態１におけるリフォーカス距離が＋４．５付近における光線中心の分布を示す図である。 図９は、実施の形態１におけるリフォーカス距離が＋２．５付近における光線中心の分布を示す図である。 図１０は、実施の形態１におけるリフォーカス距離が−３．５付近における光線中心の分布を示す図である。 図１１は、実施の形態１における別のマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。 図１２は、実施の形態１におけるさらに別のマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
以下、図１〜１２を用いて、実施の形態１を説明する。
［１−１．光線中心と画像の解像度の関係］
まず、光線中心と画像の解像度の関係について説明する。ライトフィールドカメラでは、撮像素子で受光した光を電気信号に変換した画素を処理して画像を再構成してリフォーカス画像を生成する場合、光線中心が重要な役割を果たす。光線中心とは、任意の焦点位置に合わせて画像を再構成する仮想撮像面へ、撮像素子から光線方向に従って仮想撮像面に投影した光線の交わる点である。従って、再構成する画像の各画素は、撮像素子から光線方向に従って、仮想撮像面に投影した仮想撮像面上の光線中心のうち、再構成する画像内のそれぞれの画素に近い光線中心を用いて補完する。この時、光線中心の数は、撮像素子の画素数で固定されるため、仮想撮像面上の光線中心が一箇所に固まると、仮想撮像面上の光線中心の混みあいの程度を示す密度が低い領域では再構成時の画像の解像度が低くなってしまう。
［１−２．ライトフィールドカメラの構成］
実施の形態１において、撮像装置としてライトフィールドカメラを用いて説明する。図１は、実施の形態１にかかるライトフィールドカメラの構成図である。図１において、ライトフィールドカメラ１００は、被写体１０１を撮影する。ライトフィールドカメラ１００は、撮像部３１０と、信号処理部３２０で構成される。撮像部３１０は、メインレンズ１０２、マイクロレンズアレイ１０３、撮像素子１０４で構成される。信号処理部３２０は、ＬＳＩ（ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などのプロセッサを用いて実現される。
被写体１０１を通過する光は、メインレンズ１０２、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。この時、撮像素子１０４の各画素は、光の強度だけでなく、光の進行方向も同時に記録される。
撮像素子１０４で受光した光を電気信号に変換した各画素は、信号処理部３２０に送られる。信号処理部３２０は、任意の焦点位置で撮影した時の画像を再構成するために、撮像素子１０４を任意の空間上の平面へ仮想的に配置した仮想撮像面１０５が設定されると、撮像素子１０４の各画素から、仮想撮像面１０５へ光線方向に従って投影した光線中心１０６の位置を計算する。その後、光線中心１０６を用いて画像を再構成することで、仮想撮像面１０５におけるリフォーカス画像を生成する。
図２は、仮想撮像面上の光線中心の分布を示す図である。マイクロレンズアレイ１０３は、直径が約１８画素で、ハニカム構造（ｈｏｎｅｙｃｏｍｂ ｓｔｒｕｃｔｕｒｅ）で配置されており、撮像素子１０４は、ベイヤ構造（Ｂａｙｅｒ ｓｔｒｕｃｔｕｒｅ）で配置されている。光線中心の分布２１０は、本実施の形態のライトフィールドカメラ１００の光線中心の分布である。
図２において、光線中心の分布２１０は、マイクロレンズアレイ１０３を構成するマイクロレンズ２０１のうち、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ａ−Ａと、撮像素子１０４の水平方向Ｂ−Ｂとが、互いに平行でなく所定の角度を有し、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ａ−Ａは撮像素子１０４の水平方向Ｂ−Ｂに対して傾いている。すなわち、マイクロレンズアレイ１０３は撮像素子１０４に対して垂直方向に所定の回転角を有している。
図２において、光線中心の分布２２０は、従来のライトフィールドカメラの光線中心の分布である。光線中心の分布２２０は、マイクロレンズアレイ１０３を構成するマイクロレンズ２０１のうち、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ｃ−Ｃと、撮像素子１０４の水平方向Ｂ−Ｂとが、互いに平行であり、傾いていない。すなわち、マイクロレンズアレイが撮像素子に対して垂直方向に回転していない。
図２において、光線中心の分布２１０と光線中心の分布２２０を比較すると、光線中心の分布２１０のほうが、光線中心の重なりが少なく、仮想撮像面１０５に対して光線中心の密度が高い。仮想撮像面１０５に対して光線中心の密度が高いと、画像を再構成してフォーカス画像を生成する際、画像の解像度がより高くなる。すなわち、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有することで、仮想撮像面１０５に投影した光線中心の密度は、より高くなる。
以上のように構成されたライトフィールドカメラ１００において、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な回転角を算出したので、以下説明する。
［１−３．最適な回転角］
［１−３−１．光線中心の位置］
まず、仮想撮像面１０５上の光線中心の位置の計算方法について説明する。
図３は、実施の形態１における仮想撮像面上の光線中心の位置の計算方法を説明する図である。図３において、マイクロレンズアレイ１０３と撮像素子１０４の距離をｂ、マイクロレンズアレイ１０３と仮想撮像面１０５の距離をｂｂとする。
マイクロレンズアレイ１０３のｉ番目のマイクロレンズ４０１の中心位置を撮像素子１０４の方向に水平に伸ばして撮像素子１０４と交差する位置である中心位置４０２の座標を、
とする。
撮像素子１０４上の任意の画素を画素４０３、中心位置４０２から画素４０３までの方向ベクトル４０４を、
とする。また、ｉ番目のマイクロレンズ４０１の直径をｄとする。
ここで、撮像素子１０４上の画素４０３の仮想撮像面１０５上に投影した際の光線中心の座標４０５は、ｉ番目のマイクロレンズ４０１の中心を通過して直線に光が進むと仮定すると、
となる。
また仮想撮像面１０５における光線の幅をｄｄとすると、ｉ番目のマイクロレンズ４０１の直径ｄで捉えた光線が撮像素子１０４の画素４０３へ集光されると考えると、ｄｄ＝ｄとなる。これにより、撮像素子１０４上の各画素から、仮想撮像面１０５に投影した光線中心の位置および、光線の幅を計算できる。
［１−３−２．コスト値の算出］
マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を算出するため、コスト関数を用いて評価を行った。具体的には、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角を、０度から３０度までの間で０．１度刻みに変化させ、それぞれの回転角に対してコスト関数を用いてコスト値を算出する。算出したコスト値を用いて評価を行い、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を見出した。
ここで、マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順について説明する。図４は、マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順を示すフローチャートである。
マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角のコスト値は、想定される全ての仮想撮像面に対して算出する。想定される全ての仮想撮像面１０５は、撮像素子１０４から所定の焦点距離内で予め設定された間隔で決定されるリフォーカス距離の仮想撮像面１０５の全てである。
（Ｓ５０１）まず、コスト関数のコスト値や変数等をゼロに初期化する。
（Ｓ５０２）次に、想定される仮想撮像面を全てに対して処理が完了したか否かを判定する。全て処理した場合（Ｙｅｓの場合）は、コスト値とコスト値の算出を実施した回転角を出力して終了する。想定される仮想撮像面を全て処理してない場合（Ｎｏの場合）、ステップＳ５０３へ処理を進める。
（Ｓ５０３）予め設定された間隔に従って、対象とするリフォーカス距離の仮想撮像面を設定する。
（Ｓ５０４）次に、設定された仮想撮像面上の指定範囲内において、指定範囲内のすべての画素に対しコスト値を計算したか否かを判定する。全ての画素に対してコスト値を計算した場合（Ｙｅｓの場合）は、ステップＳ５０２に戻る。指定範囲内の全ての画素に対してコスト値を計算してない場合（Ｎｏの場合）、ステップＳ５０５へ処理を進める。
（Ｓ５０５）仮想撮像面上の指定範囲内の計算してない画素の位置を取得する。
（Ｓ５０６）次に、撮像素子１０４上の各画素から予め計算しておいた仮想撮像面１０５へ投影した光線中心の位置に対し、ステップＳ５０５で取得した画素の位置から最も近い光線中心を探索し、光線中心の位置を特定する。
（Ｓ５０７）次に、ステップＳ５０６で求めた光線中心の位置と、ステップＳ５０５で取得した画素の位置の距離を、コスト値に追加し、ステップＳ５０４へ戻る。
［１−３−３．コスト関数の一例］
次に、コスト値を算出するコスト関数の詳細について説明する。図５は、実施の形態１におけるコスト関数の一例を説明する図である。図５において、仮想撮像面１０５上に、コスト関数を計算する範囲を特定するための指定範囲をＲとし、指定範囲Ｒ内に存在するｒ番目の注目画素Ｐ（ｒ）の位置を、
と定義する。
次に仮想撮像面１０５の位置をｆとし、撮像素子１０４上のｎ番目の画素を、位置fにある仮想撮像面１０５へ投影した場合の光線中心の位置Ｒａｙ（ｆ，ｎ）を、
と定義する。
この時、注目画素の位置Ｐ（ｒ）と、光線中心の位置Ｒａｙ（ｆ，ｎ）との距離Ｄｉｓｔ（Ｐ（ｒ），Ｒａｙ（ｆ、ｎ））は、例えば、最小距離の２乗誤差として定義すれば、
となる。
想定される仮想撮像面全ての集合をｆｏｃｕｓ、指定範囲をＲ、撮像素子１０４上の画素全体の集合をＮとした場合、コスト関数Ｃｏｓｔ（ｆｏｃｕｓ，Ｒ，Ｎ）は、
と定義できる。
（数７）で定義したコスト関数は、想定される仮想撮像面１０５全てにおいて、指定範囲Ｒ、つまり、再構成する画像の範囲で、それぞれの再構成する画素の位置と再構成時に用いる光線中心の位置の距離を評価することと等価である。そして、再構成時の画素と光線中心の距離が全体的に近いほど、仮想撮像面１０５に対して光線中心の密度が高く、高い解像度を得られることに基づく式となっている。
［１−３−４．最適な回転角の算出］
（数７）のコスト関数を用いて、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を見出した。図６から図１０を用いて説明する。
図６は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。図６において、横軸をマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角、縦軸をコスト関数の平均値とする。
コスト関数の平均値は、算出したコスト値を、計算に用いた仮想撮像面１０５上の画素数で割った値である。コスト関数の平均値は、値が低いほど高い解像度で画像の再構成ができる。
図６において、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度から３０度の範囲で０．１度刻みにコスト関数の平均値をプロットしており、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の時に最もコスト関数の平均値が高く、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の時が最もコスト関数の平均値が低い結果となった。また、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約１．７度から約２８．３度の間であればマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の時よりもコスト関数の平均値が低いので、高い解像度で画像の再構成ができ、さらにマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約１．７度、約６．６度、約１２．４度、約１７．６度、及び約２３．４度でコスト関数の平均値が極小値となり、より高い解像度で画像の再構成ができる。
次に、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度と６．６度における、撮像素子１０４から仮想撮像面１０５までの距離であるリフォーカス距離に対するコスト関数の平均値の関係について説明する。
図７は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度と６．６度におけるリフォーカス距離に対するコスト関数の平均値を示す図である。横軸のリフォーカス距離は、マイクロレンズアレイ１０３と撮像素子１０４の距離を１としたときの相対距離を示している。図７において、リフォーカス距離を−５から＋５まで変化させた時の、コスト関数の平均値をグラフ化している。なお、リフォーカス距離が−１〜＋１の区間は評価しない。図７におけるリフォーカス距離が＋４．５付近、＋２．５付近、−３．５付近に対する仮想撮像面１０５上の光線中心の分布について説明する。
図８は、リフォーカス距離が＋４．５付近の光線中心の分布を示す図である。図８において、左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合の光線中心の分布を示している。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合におけるコスト関数の平均値は１．４であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合におけるコスト関数の平均値は４．８である。
図９は、リフォーカス距離が＋２．５付近の光線中心の分布を示す図である。図９において、左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合の光線中心の分布を示している。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合におけるコスト関数の平均値は１．５であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合におけるコスト関数の平均値は１．１である。
図１０は、リフォーカス距離が−３．５付近の光線中心の分布を示す図である。左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の光線中心の分布を示している。マイクロレンズアレイ１０３の回転角が６．６度におけるコスト関数の平均値は１．４であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度におけるコスト関数の平均値は３．９である。
図８、９、１０より、コスト関数の平均値が１．４の光線中心の分布とコスト関数の平均値が３．９の光線中心の分布を比較すると、コスト関数の平均値が１．４の光線中心の分布のほうがコスト関数の平均値３．９の光線中心の分布よりも光線中心が重ならず、仮想撮像面１０５に対して密度が高く配置されていることが分かる。同様に、コスト関数の平均値が１．１、１．５の光線中心の分布は、仮想撮像面１０５に対して密度が高く配置され、コスト関数の平均値が４．８の光線中心の分布は光線中心が重なっている。
従って、図８、９、１０コスト関数の平均値が低いほど、光線中心の分布が、仮想撮像面１０５に対して密度が高いことが視覚的に確認できる。すなわち、コスト関数の平均値が低いほど、画像を再構成する際、再構成して求めたい画素付近に光線中心が存在するので、リフォーカス画像の解像度が高くなる。
また、図７から、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合に比べ、リフォーカス距離が−５から＋５までの全般にわたって、概ねコスト関数の平均値が低いことがわかる。
これにより、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有していると、画像の再構成時において、リフォーカス画像の解像度が向上する。
なお、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度であるとしたが、実際には製造時の精度の制約等により０．２度以下の回転角となることがあり得る。しかしながら、本実施の形態では、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有するとは、製造時の制度の制約を超えた、約１度以上の回転角であることを意図している。
さらに、マイクロレンズアレイ１０３の構造が別の構成である場合についても最適な回転角を見出した。図１１は、実施の形態１における別のマイクロレンズアレイの撮像素子に対する回転角に対するコスト関数の平均値を示す図であり、図１２は、実施の形態１におけるさらに別のマイクロレンズアレイの撮像素子に対する回転角に対するコスト関数の平均値を示す図である。
図１１は、マイクロレンズアレイ１０３は直径が約１７画素で、ハニカム構造で配置されており、撮像素子１０４の画素はベイヤ構造で配置された構成における、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角約６．６度及び約２３．４度でコスト関数の平均値が極小値となり、リフォーカス画像の解像度が向上することを見出した。
さらに、図１２は、マイクロレンズアレイ１０３は直径が約１６画素で、ハニカム構造で配置されており、撮像素子１０４の画素はベイヤ構造で配置された構成における、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約３．９度、約１３．８度、約１６．２度、及び約２６．１度でコスト関数の平均値が極小値となり、リフォーカス画像の解像度が向上することを見出した。
［１−４．効果等］
以上のように、本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。
これにより、画像を再構成してリフォーカス画像を生成する際、画像の解像度を向上できる。
本開示の撮像装置は、ライトフィールドカメラに適応可能である。具体的には、車載カメラや監視カメラ、デジタルカメラ、ムービー、ウェアラブルカメラなどに用いるライトフィールドカメラに適用可能である。
１００ ライトフィールドカメラ
１０１ 被写体
１０２ メインレンズ
１０３ マイクロレンズアレイ
１０４ 撮像素子
１０５ 仮想撮像面
１０６ 光線中心
２０１ マイクロレンズ
２１０，２２０ 光線中心の分布
３１０ 撮像部
３２０ 信号処理部
４０１ ｉ番目のマイクロレンズ
４０２ 中心位置
４０３ 画素
４０４ 方向ベクトル
４０５ 光線中心の座標

Claims (4)

  1. 光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、
    メインレンズと、
    撮像素子と、
    前記メインレンズと前記撮像素子の間に配置され、前記撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、
    任意の焦点位置の仮想撮像面に、前記光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える、
    撮像装置。
  2. 前記回転角は、略１．０度以上である、
    請求項１記載の撮像装置。
  3. 前記回転角は、前記仮想撮像面へ前記撮像素子から光線方向に従って前記仮想撮像面に投影した光線の交わる点である光線中心の位置と、前記リフォーカス画像を構成する画素の位置との距離を評価するコスト関数の極小値を探索することで決定される角度である、
    請求項１記載の撮像装置。
  4. 前記任意の焦点位置は、前記マイクロレンズアレイと前記撮像素子の距離に対して±５の範囲である、
    請求項３記載の撮像装置。
JP2016505945A 2014-03-03 2014-12-04 撮像装置 Pending JPWO2015132831A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014040455 2014-03-03
JP2014040455 2014-03-03
PCT/JP2014/006065 WO2015132831A1 (ja) 2014-03-03 2014-12-04 撮像装置

Publications (1)

Publication Number Publication Date
JPWO2015132831A1 true JPWO2015132831A1 (ja) 2017-03-30

Family

ID=54054676

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016505945A Pending JPWO2015132831A1 (ja) 2014-03-03 2014-12-04 撮像装置

Country Status (4)

Country Link
US (1) US20160309074A1 (ja)
EP (1) EP3116216A4 (ja)
JP (1) JPWO2015132831A1 (ja)
WO (1) WO2015132831A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6385241B2 (ja) * 2014-10-27 2018-09-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN106161922B (zh) * 2015-04-22 2019-05-14 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
US9955057B2 (en) * 2015-12-21 2018-04-24 Qualcomm Incorporated Method and apparatus for computational scheimpflug camera
EP3193305B1 (en) * 2016-01-12 2018-09-12 Continental Automotive GmbH Method and device for displaying a front-view of a vehicle's surrounding and respective vehicle
CN108093237A (zh) * 2017-12-05 2018-05-29 西北工业大学 高空间分辨率光场采集装置与图像生成方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
JP4538766B2 (ja) * 2008-08-21 2010-09-08 ソニー株式会社 撮像装置、表示装置および画像処理装置
WO2010077625A1 (en) * 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
JP2015019119A (ja) * 2011-11-10 2015-01-29 パナソニック株式会社 画ブレ補正装置
EP2820838B1 (en) * 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
JP5968102B2 (ja) * 2012-06-15 2016-08-10 キヤノン株式会社 画像記録装置および画像再生装置

Also Published As

Publication number Publication date
EP3116216A1 (en) 2017-01-11
WO2015132831A1 (ja) 2015-09-11
EP3116216A4 (en) 2017-02-15
US20160309074A1 (en) 2016-10-20

Similar Documents

Publication Publication Date Title
US8929677B2 (en) Image processing apparatus and method for synthesizing a high-resolution image and a refocused image
JP5988790B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US8305485B2 (en) Digital camera with coded aperture rangefinder
US8390728B2 (en) Image processing apparatus and method
RU2570349C1 (ru) Устройство обработки изображений, способ обработки изображений и программа, и устройство съемки изображений, включающее в себя устройство обработки изображений
WO2015132831A1 (ja) 撮像装置
JP7264624B2 (ja) 映像復元装置及び方法
JP2014011526A (ja) 画像処理装置、撮像装置および画像処理方法
US8947585B2 (en) Image capturing apparatus, image processing method, and storage medium
JP2014155121A5 (ja)
JP2016082574A (ja) 複数ピクセルピッチ超解像技術
RU2020112458A (ru) Устройство и способ формирования изображения и устройство и способ обработки изображения
US9319579B2 (en) Image processing apparatus, control method, and program for the same with focus state specification and deletion confirmation of image data
JP2015188251A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US20160255294A1 (en) Image capturing apparatus and image processing apparatus
JP6847097B2 (ja) 光学取得系によりキャプチャされた画像を符号化するための装置及び方法
US20160307303A1 (en) Image capture device
KR102156998B1 (ko) 비디오 시퀀스에서 모션을 감지하기 위한 방법
JP2014155071A5 (ja)
JP6114229B2 (ja) 画像生成装置及び画像生成プログラム
US9936121B2 (en) Image processing device, control method of an image processing device, and storage medium that stores a program to execute a control method of an image processing device
JP2019056759A5 (ja)
JP5721891B2 (ja) 撮像装置
WO2019012657A1 (ja) 画像処理装置およびライトフィールド撮像装置
JP6294751B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160630