JP7039265B2 - マルチレンズ基盤の撮影装置及び方法 - Google Patents

Description

本発明は、マルチレンズ基盤の撮影装置及び方法に関する。

光学技術及び映像処理技術の発達に伴って、マルチメディアコンテンツ、セキュリティ、及び認識などの広範囲な分野に撮影装置が活用されている。例えば、撮影装置は、モバイル機器、カメラ、車両及びコンピュータなどに搭載されて映像を撮影したり、オブジェクトを認識したり、機器を制御するためのデータを取得する。撮影装置の体積は、レンズのサイズ、レンズの焦点距離、及びセンサのサイズなどによって決定される。例えば、レンズのサイズとセンサのサイズに基づいて撮影装置の体積が調整される。センサのサイズの減少に応じてセンサに入射される光量が減少する。そのため、映像の解像度が低くなったり、低照度環境における撮影が難しいこともある。撮影装置の体積を減少させるために、小型レンズで構成されたマルチレンズを用いてもよい。レンズのサイズが減少する場合、レンズの焦点距離を減らし得る。したがって、マルチレンズを介して撮影装置の体積を減少させることができる。

本発明の目的は、マルチレンズ基盤の撮影装置及び方法を提供することにある。

一実施形態によれば、撮影装置は、複数のレンズを含むレンズアレイと、複数の検出ピクセルを含むセンサとを含み、前記センサ内の前記複数の検出ピクセルのうち少なくとも一部は、前記レンズアレイの互いに異なるレンズを介して入射される光に基づいて検出情報を生成し、前記複数の検出ピクセルの前記一部のうち各検出ピクセルに入射される光は、全て異なる組み合わせの視点に対応する。

前記センサ内の前記複数の検出ピクセルの数と前記レンズアレイ内の前記複数のレンズの数は互いに素であり得る。前記複数の検出ピクセルの数と前記複数のレンズの数の比は実数であり得る。前記複数の検出ピクセルの前記一部及び前記視点の間の対応関係を指示する行列はフルランク（ｆｕｌｌ ｒａｎｋ）であり得る。

前記撮影装置は、前記検出情報及び前記複数の検出ピクセルの前記一部と前記視点の間の対応関係に基づいて決定された変換行列を用いて撮影映像を生成するプロセッサをさらに含み得る。前記プロセッサは、前記検出情報に基づいて検出情報行列を生成し、前記検出情報行列及び前記変換行列を用いてピクセル値行列に含まれた前記視点に対応するピクセル値を決定し、前記ピクセル値に基づいて前記撮影映像を生成し得る。

前記レンズアレイの焦点距離は、前記レンズアレイに含まれたレンズの数に基づいて決定され得る。前記レンズアレイに含まれたレンズの数が増加するほど、前記レンズアレイの焦点距離は短くなる。例えば、同一の視野角範囲を撮影する場合、同一の面積内レンズの個数が増加すれば個別レンズのサイズは減少し、減少した個別レンズのサイズに比例して焦点距離が減少する。

一実施形態に係る撮影方法は、複数の検出ピクセルから検出情報を取得するステップと、前記検出情報に基づいて撮影映像を生成するステップとを含み、前記複数の検出ピクセルの少なくとも一部の検出ピクセルは、レンズアレイの互いに異なるレンズを介して入射される光に基づいて前記検出情報を生成し、前記複数の検出ピクセルの前記一部のうち各検出ピクセルに入射される光は、全て異なる組み合わせの視点に対応する。

撮影映像を生成するステップは、前記検出情報、及び前記複数の検出ピクセルの前記一部と前記視点との間の対応関係に基づいて決定された変換行列を用いて撮影映像を生成するステップを含み得る。撮影映像を生成するステップは、前記検出情報に基づいて検出情報行列を生成するステップと、前記検出情報行列及び前記変換行列を用いて、ピクセル値行列に含まれた前記視点に対応するピクセル値を決定するステップと、前記ピクセル値に基づいて前記撮影映像を生成するステップとを含み得る。

他の一実施形態に係る撮影装置は、プロセッサ及びコンピュータで読み込み可能な命令語を含むメモリを含み、前記命令語が前記プロセッサで実行されると、前記プロセッサは、複数の検出ピクセルから検出情報を取得して前記検出情報に基づいて撮影映像を生成し、前記検出情報は、複数のレンズを含むレンズアレイの互いに異なるレンズを介して入射される光に基づいて、前記複数の検出ピクセルの少なくとも一部によって生成され、前記複数の検出ピクセルの前記一部のうち各検出ピクセルに入射される光は全て異なる組み合わせの視点に対応する。

本発明によれば、マルチレンズ基盤の撮影装置及び方法を提供することができる。

一実施形態に係る撮影装置を示す図である。 一実施形態に係るレンズサイズの影響を示す図である。 一実施形態に係るレンズアレイによって検出ピクセルに入射される光を示す図である。 他の実施形態に係るレンズアレイによって検出ピクセルに入射される光を示す図である。 一実施形態に係るレンズの数と焦点距離の関係を示す図である。 一実施形態に係るレンズアレイ及びセンサの断面を示す図である。 一実施形態に係るピンホールマスク及びセンサの断面を示す図である。 一実施形態に係るモバイル機器を示す図である。 一実施形態に係る曲がったレンズアレイを示す図である。 一実施形態に係るスマート車両を示す図である。 一実施形態に係る撮影装置を示すブロック図である。 一実施形態に係る撮影方法を示した動作フローチャートである。

本明細書で開示されている本発明の概念による実施形態に対して特定の構造的又は機能的な説明は、単に本発明の概念による実施形態を説明することを目的として例示しただけのものであり、本発明の概念による実施形態は様々な形態で実施され、本明細書に説明された実施形態に限定されることはない。

第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素とも命名することができる。

単数の表現は、文脈上、明らかに異なる意味をもたない限り、複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解されねばならない。

異なるように定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同じ参照符号は同じ部材を示し、これに対する重複説明は省略することにする。

図１は、一実施形態に係る撮影装置を示す図である。

一実施形態に係る撮影装置の説明に先立って、撮影装置により撮影される映像の品質及び撮影装置の体積を決定する要素を簡略に説明する。

撮影装置によって撮影される映像の品質は、センサに含まれた検出ピクセルの数、及び検出ピクセルに入射される光量によって決定される。例えば、映像の解像度は、センサに含まれた検出ピクセルの数によって決定され、映像の漂う検出ピクセルに入射される光量によって決定される。検出ピクセルに入射される光量は、検出ピクセルのサイズに基づいて決定される。検出ピクセルのサイズが大きいほど、検出ピクセルに入射される光量は増加し、センサの動的範囲は増加する。したがって、センサに含まれた検出ピクセル数の増加によりセンサは高解像度映像を撮影でき、検出ピクセルのサイズが増加することによりセンサは低照度で高感度映像撮影に有利である。

撮影装置の体積は、レンズの焦点距離によって決定される。より具体的に、撮影装置の体積は、レンズとセンサとの間の間隔によって決定されるが、レンズによって屈折された光を収集するために、センサはレンズの焦点距離に位置する必要があることから、撮影装置に含まれたレンズとセンサはレンズの焦点距離だけ離隔して配置されなければならない。レンズの焦点距離は、撮影装置の視野角とレンズのサイズ（例えば、レンズの口径の半径）によって決定される。例えば、視野角が固定されている場合、レンズのサイズに比例して焦点距離が長くなる。また、レンズのサイズはセンサのサイズに基づいて決定される。例えば、一定の視野角範囲の映像を撮影するためには、センサのサイズが増加するにつれてレンズのサイズが増加される」必要がある。

前述のように、視野角及び映像の解像度を保持しながら映像の感度を増加させるためには撮影装置の体積が増加する。例えば、映像の解像度を保持しながら映像の感度を増加させるためには、センサに含まれた検出ピクセルの数を保持しながら各検出ピクセルのサイズを増加させなければならないため、センサのサイズが増加してしまうのである。ここで、視野角を保持するには、センサのサイズの増加につれてレンズのサイズが増加してレンズの焦点距離が長くなるため、撮影装置の体積が増加してしまう。

撮影装置の体積を減少させるためには、センサの解像度を保持しながら検出ピクセルのサイズを減少させたり、検出ピクセルのサイズを保持しながらセンサの解像度を減少させる設計方法が考慮される。ただし、センサの解像度を保持しながら検出ピクセルのサイズを減少する場合、センサのサイズが減少してレンズの焦点距離が短くなり撮影装置の体積を減少し得るものの、映像の感度は低下する。この場合、低照度画質が減少する。また、検出ピクセルのサイズを保持しながらセンサの解像度を減少する場合、センサのサイズが減少してレンズの焦点距離が短くなり撮影装置の体積を減少し得るものの、映像の解像度は低下する。

以下で説明する実施形態は、所望する視野角、解像度、及び感度を満足しながら、撮影装置の体積を減少させる技術を提供する。図１を参照すると、撮影装置は、レンズアレイ１１０及びセンサ１２０を含む。レンズアレイ１１０はレンズを含み、センサ１２０は検出ピクセルを含む。

一実施形態によれば、レンズアレイ１１０に含まれたレンズそれぞれのサイズを減少するほど、言い換えれば、同一の広さに含まれるレンズの数を増加させるほどレンズの焦点距離は小さくなり、撮影装置の厚さは減少する。この場合、各レンズアレイで撮影された低解像度映像を組み合わせてオリジナルの高解像度映像を復元することができる。したがって、レンズアレイ１１０に含まれたレンズを分割することで薄型カメラの実現を可能にする。

レンズアレイ１１０の個別レンズは、自身のサイズに対応するセンサ１２０の一定領域をカバーする。言い換えれば、当該領域に含まれたセンサ１２０の検出ピクセルには、当該の個別レンズを通過した光が入射される。センサ１２０の検出ピクセルのそれぞれは、レンズアレイ１１０のレンズを通過した光に基づいて検出情報を生成する。例えば、検出ピクセル１２１及び検出ピクセル１２２は、レンズ１１１を介して入射される光に基づいて検出情報を生成し、検出ピクセル１２３は、レンズ１１１及びレンズ１１２を介して入射される光に基づいて検出情報を生成する。撮影装置は、センサ１２０で出力された検出情報に基づいて、撮影装置の視野に含まれた視点に関するピクセル値を決定し、決定されたピクセル値に基づいて撮影映像を生成する。ここで、検出情報の多様性によって識別可能な視点の数が決定され得る。検出情報が様々であるほど識別可能な視点の数は増加し、撮影映像の解像度は増加する。

検出情報の多様性は、各検出ピクセルに入射される光が表現する視点の組み合わせに基づいて決定される。例えば、検出ピクセル１２１～１２３に第１視点に対応する光が入射される場合に比べて、検出ピクセル１２１～１２３に第１視点ないし第３視点に対応する光が提供される場合、検出情報の多様性は増加する。

検出情報の多様性を十分に確保し、撮影装置の視野に含まれた視点に対応するピクセル値と検出情報との間にフルランク（ｆｕｌｌ ｒａｎｋ）関係が形成されるとき、センサ１２０の最大解像度に対応する撮影映像が導き出される。検出情報の多様性は、レンズアレイ１１０に含まれたレンズの数及びセンサ１２０に含まれた検出ピクセルの数のような撮影装置のパラメータに基づいて確保され得る。

図２は、一実施形態に係るレンズサイズの影響を示す図である。図２を参照すると、レンズ２１０による視野とレンズ２３０による視野は同一であり、レンズ２３０の数はレンズ２１０の数の３倍である。この場合、レンズ２３０の焦点距離はレンズ２１０の焦点距離の１／３に減少する。

検出ピクセルＡ_１～Ａ_９には、レンズ２１０を介して光が入射される。検出ピクセルＡ_１～Ａ_９には撮影装置の視野に含まれた視点Ｘ_１～Ｘ_９に対応する光が等しく入射される。例えば、検出ピクセルＡ_５には視点Ｘ_５に対応する光が入射される。したがって、検出ピクセルＡ_５で出力された検出情報に基づいて視点Ｘ_５に対応するピクセル値が復元される。

検出ピクセルＢ_１～Ｂ_９にはレンズ２３０を介して光が入射される。検出ピクセルＢ_１～Ｂ_９には視野に含まれた視点Ｘ_１～Ｘ_９に対応する光が重複的に入射される。例えば、検出ピクセルＢ_５には視点Ｘ４～Ｘ_６に対応する光が入射される。したがって、検出ピクセルＢ_５で出力された検出情報に基づいて視点Ｘ_４～Ｘ_６に対応するピクセル値が復元される。

レンズ２１０を使用する場合、レンズ２３０が用いられる場合に比べて視点を細かく識別することができる。言い換えれば、レンズ２１０による撮影映像の解像度がレンズ２３０による撮影映像の解像度に比べて高い。したがって、マルチレンズが用いられる場合、撮影装置のパラメータを適切に調整して解像度の低下を防止することが必要である。

図３は、一実施形態に係るレンズアレイによって検出ピクセルに入射される光を示す図である。図３を参照すると、検出ピクセルＳ_１～Ｓ_９にはレンズ３１０、３２０、３３０を介して光が入射される。

検出ピクセルＳ_１～Ｓ_３、検出ピクセルＳ_４～Ｓ_６及び検出ピクセルＳ_７～Ｓ_９は重複的な検出情報を生成する。したがって、撮影装置が図３に示された構造で実現される場合、撮影装置は、撮影視点Ｘ_１～Ｘ_９に対応するピクセル値を全て求めることができず、最大解像度よりも低い解像度で撮影映像を復元することになる。検出ピクセルＳ_１～Ｓ_９によって生成される検出情報は、数式（１）のように示すことができる。

数式（１）で、Ｉ_１～Ｉ_９は検出ピクセルＳ_１～Ｓ_９によって生成された検出情報を示し、Ｐ_１～Ｐ_９は視点Ｘ_１～Ｘ_９に対応するピクセル値を示す。ピクセル値行列Ｐを検出情報行列Ｉに変換する変換行列Ｔの逆行列Ｔ^－１が存在する場合、ピクセル値Ｐ_１～Ｐ_９を全て求めることができるため、検出情報Ｉ_１～Ｉ_９から最大解像度の撮影映像を復元し得る。変換行列Ｔの逆行列が存在するためには、変換行列Ｔがフルランクを有しなければならない。したがって、撮影装置のパラメータは、変換行列Ｔがフルランクを有するように調整される。

図４は、他の実施形態に係るレンズアレイによって検出ピクセルに入射される光を示す図である。図４を参照すると、検出ピクセルＳ_１～Ｓ_９にはレンズ４１０、４２０を介して光が入射される。

全ての検出ピクセルに異なるパターンの光が入射されることにつれて、変換行列Ｔがフルランクを有する。言い換えれば、各検出ピクセルに入射される光が全て異なる組み合わせの視点に対応することによって変換行列Ｔがフルランクを有する。例えば、検出ピクセルＳ_１に入射される光は視点Ｘ_１、Ｘ_２の組み合わせに対応し、検出ピクセルＳ_２に入射される光は視点Ｘ_３、Ｘ_４の組み合わせに対応する。このように、検出ピクセルＳ_１～Ｓ_９に入射される光は全て異なる組み合わせの視点Ｘ_１～Ｘ_９に対応する。検出ピクセルＳ_１～Ｓ_９によって生成される検出情報は、数式（２）のように示すことができる。

数式（２）で、Ｉ_１～Ｉ_９は検出ピクセルＳ_１～Ｓ_９によって生成された検出情報を示し、Ｐ_１～Ｐ_９は視点Ｘ_１～Ｘ_９に対応するピクセル値を示す。数式（２）により互いに異なる関係式が未知数に該当するピクセル値Ｐ_１～Ｐ_９の数だけ確保される。したがって、数式（２）で変換行列Ｔがフルランクを有するものと解することができる。

撮影装置は、ピクセル値行列Ｐを検出情報行列Ｉに変換する変換行列Ｔの逆行列Ｔ^－１を求めることができる。撮影装置は数式（３）に基づいて、ピクセル値Ｐ_１～Ｐ_９を全て求めることができ、ピクセル値Ｐ_１～Ｐ_９に基づいて最大解像度の撮影映像を復元し得る。

逆行列Ｔ^－１は検出ピクセルＳ_１～Ｓ_９と視点Ｘ_１～Ｘ_９の対応関係に基づいて決定され、撮影装置に予め格納される。撮影装置は、予め格納された逆行列Ｔ^－１及び検出情報行列Ｉに基づいてピクセル値行列Ｐを決定する。

図４に示す実施形態のように、検出ピクセルが９個であり、レンズが２個であれば、レンズ当たり４．５個のピクセルに光を提供する。もし、検出ピクセルが４００１個であり、レンズが１００個であれば、レンズ当たり４０．０１個のピクセルに光を提供する。この場合、最初のレンズは０～４０．０１のレンズオフセットをカバーし、２番目のレンズは４０．０１～８０．０２のレンズオフセットをカバーし、３番目のレンズは８０．０２～１２０．０３のレンズオフセットをカバーする。最後の百番目のレンズは３９６０．９９～４００１のレンズオフセットをカバーする。このように、検出ピクセルの数とレンズの数が互いに素（ｒｅｌａｔｉｖｅｌｙ ｐｒｉｍｅ）である場合、言い換えれば、検出ピクセルの数とレンズの数の比が整数でない実数である場合、変換行列Ｔがフルランクを有する。

検出ピクセルの数とレンズの数が互いに素であり、検出ピクセルの数とレンズの数の比が整数でない実数である場合、センサの少なくとも一部の検出ピクセルはレンズアレイの互いに異なるレンズを介して入射される光に基づいて検出情報を生成する。例えば、検出ピクセルＳ_５は、レンズ４１０を介して入射される光とレンズ４２０を介して入射される光に基づいて検出情報を生成する。したがって、センサの少なくとも一部の検出ピクセルがレンズアレイの互いに異なるレンズを介して入射される光に基づいて検出情報を生成する場合、変換行列Ｔがフルランクを有する。

したがって、一実施形態によれば、撮影装置のパラメータは、全ての検出ピクセルに異なるパターンの光が入射されるよう、あるいは各検出ピクセルに入射される光が全て異なる組み合わせの視点に対応するように決定される。また、撮影装置のパラメータは、センサの少なくとも一部の検出ピクセルがレンズアレイの互いに異なるレンズを介して入射される光に基づいて、検出情報を生成するように決定される。一実施形態によれば、撮影装置のパラメータは、検出ピクセルの数及びレンズの数を含んでもよい。この場合、検出ピクセルの数とレンズの数は、互いに素として決定されたり、検出ピクセルの数とレンズの数の比は整数ではない実数として決定される。したがって、実施形態によれば、マルチレンズを介して最大解像度の撮影映像を導き出すことができる。

図５は、一実施形態に係るレンズの数と焦点距離の関係を示す図である。図５を参照すると、レンズ５３０の数と検出ピクセル５４０の数、レンズ５５０の数と検出ピクセル５６０の数、及びレンズ５７０の数と検出ピクセル５８０の数はそれぞれ互いに素である。したがって、レンズ５３０、５５０、５７０及び検出ピクセル５４０、５６０、５８０によって変換行列Ｔがフルランクを有する。変換行列Ｔがフルランクを有する場合、撮影装置が適用されるアプリケーションの特性に応じてレンズアレイの焦点距離が決定される。例えば、カメラのセンサが決定され、レンズまでの厚さ目標値とカメラの視野角が決定されれば、レンズアレイの個数が決定される。

図５を参照すると、レンズ５１０、５３０、５５０、５７０による視野は全て同一である。この場合、レンズ５１０、５３０、５５０、５７０の焦点距離とレンズ５１０、５３０、５５０、５７０の数は反比例する。例えば、レンズ５３０の数がレンズ５１０の数に２倍であるため、レンズ５３０の焦点距離はレンズ５１０の焦点距離の１／２になる。同様に、レンズ５５０の焦点距離はレンズ５１０の焦点距離の１／４になり、レンズ５７０の焦点距離はレンズ５１０の焦点距離の１／５になる。したがって、レンズアレイに含まれたレンズの数に基づいてレンズアレイの焦点距離が調整される。上述した例示で、レンズアレイに含まれたレンズの数を調整することにより、レンズアレイの焦点距離を短くして超薄型カメラを製造することができる。

図６は、一実施形態に係るレンズアレイ及びセンサの断面を示す図である。図６を参照すると、Ｌはレンズアレイ６１０に含まれたレンズの数を示し、Ｐはセンサ６２０に含まれた検出ピクセルの数を示す。したがって、Ｐ／Ｌは検出ピクセルの数とレンズの数の比を示す。それぞれのレンズは、Ｐ／Ｌに該当するピクセルオフセットだけの検出ピクセルをカバーする。上述したように、Ｐ／Ｌが整数でない実数である場合、撮影映像の解像度は最大化される。したがって、撮影装置の設計過程で、Ｐ／Ｌが整数ではない実数になるよう、Ｐ及びＬのうち少なくとも１つが調整される。図６において、Ｐは３７であり、Ｌは６であるため、図６に示す実施形態により撮影映像の解像度は最大化される。

図７は、一実施形態に係るピンホールマスク７１０及びセンサ７２０の断面を示す図である。図７を参照すると、Ｐはセンサ７２０に含まれた検出ピクセルの数を示し、Ｈはピンホールマスク（ｐｉｎｈｏｌｅ ｍａｓｋ）７１０に含まれたピンホールの数を示す。上述した内容は、レンズ以外の光学系に適用される。図７は、レンズの代わりにピンホールが適用されている実施形態である。Ｐ／Ｈは検出ピクセルの数とピンホールの数の比を示す。それぞれのピンホールは、Ｐ／Ｈに該当するピクセルオフセットだけの検出ピクセルをカバーする。上述したものと同様に、Ｐ／Ｈが整数でない実数である場合、撮影映像の解像度は最大化する。したがって、撮影装置の設計過程で、Ｐ／Ｈが整数ではない実数になるよう、Ｐ及びＨのうち少なくとも１つが調整される。図７において、Ｐは３７であり、Ｈは６である。したがって、図７の実施形態により撮影映像の解像度は最大化される。

図８は、一実施形態に係るモバイル機器を示す図である。図８を参照すると、モバイル機器８００は撮影装置８１０を含む。モバイル機器８００の場合、体積を減少させることが重要な設計要素の１つである。図８には、モバイル機器８００がスマートフォンとして図示されているが、モバイル機器８００は、スマートウォッチ、スマートバンド及びスマートメガネなどのウェアラブルデバイスを含んでもよい。ウェアラブルデバイスの場合、体積はより重要な要素である。上述したように、撮影装置８１０はマルチレンズを含んでもよく、撮影装置８１０の厚さはマルチレンズに含まれた個別レンズの数に基づいて調整され得る。したがって、モバイル機器８００は、撮影装置８１０の厚さによる体積の制約から自由になる。

図９は、一実施形態に係る曲がったレンズアレイを示す図である。上述したように、レンズアレイは複数のレンズを含んでいるため、レンズ間の締結部位によって曲がるよう設計される。この場合、曲がったレンズアレイ９１０は曲がった状態で各検出ピクセルに入射される光が全て異なる組み合わせの視点に対応するよう設計される。曲がったレンズアレイ９１０は、曲がったスマートフォンのような曲がっている機器に用いられる。

図１０は、一実施形態に係るスマート車両を示す図である。図１０を参照すると、スマート車両は地点１０１０～１０３０に撮影装置を含む。撮影装置の厚さは、マルチレンズに含まれた個別レンズの数に基づいて調整され得るため、デザイン的な側面や安全性の側面を阻害することなく、スマート車両に設けられることができる。

図１１は、一実施形態に係る撮影装置を示すブロック図である。図１１を参照すると、撮影装置１１００はプロセッサ１１１０及びメモリ１１２０を含む。

プロセッサ１１１０は、上述した少なくとも１つの方法を行うことができる。例えば、プロセッサ１１１０は上述した撮影動作を処理する。より具体的に、プロセッサ１１１０は、検出ピクセルから検出情報を取得し、前記検出情報に基づいて撮影映像を生成する。メモリ１１２０は、コンピュータで読み出し可能な命令語を格納する。メモリ１１２０に格納された命令語がプロセッサ１１１０で実行されれば、プロセッサ１１１０は上述した撮影動作を処理する。また、メモリ１１２０は、検出ピクセルと視点の対応関係に基づいて決定された逆行列のような撮影のためのデータを格納する。

プロセッサ１１１０は、命令語やプログラムを実行したり、撮影装置を制御する。撮影装置は、入出力装置（図示せず）によって外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続され、データを交換する。撮影装置は、移動電話、スマートフォン、ＰＤＡ、ネットブック、タブレットコンピュータ、ラップトップコンピュータなどのようなモバイル装置、デスクトップなどのようなコンピューティング装置、テレビ、スマートテレビ、ゲート制御のためのセキュリティ装置などのような電子製品、及びスマート車両などの少なくとも一部に実現することができる。その他に、撮影装置に関しては上述した内容が適用され得るため、より詳細な説明は省略する。

図１２は、一実施形態に係る撮影方法を示した動作フローチャートである。図１２を参照すると、ステップＳ１２１０において、撮影装置は検出ピクセルから検出情報を取得する。ステップＳ１２２０において、撮影装置は検出情報に基づいて撮影映像を生成する。ここで、前記検出ピクセルの少なくとも一部の検出ピクセルは、レンズアレイの互いに異なるレンズを介して入射される光に基づいて前記検出情報を生成し、各検出ピクセルに入射される光は全て異なる組み合わせの視点に対応する。その他に、撮影方法について上述した内容が適用され得るため、より詳細な説明は省略する。

上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現化される。例えば、実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現化される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組み合わせを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明しても、当技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。

１１０ レンズアレイ
１２０ センサ
２１０、２３０ レンズ
５３０、５５０、５７０ レンズ
５４０、５６０、５８０ 検出ピクセル
８００ モバイル機器
９１０ レンズアレイ

Claims (23)

1. 複数のレンズを含むレンズアレイと、
   複数の検出ピクセルを含むセンサと、
   を含み、
   前記センサ内の前記複数の検出ピクセルのうち少なくとも一部は、前記レンズアレイの互いに異なるレンズを介して入射される光に基づいて検出情報を生成し、
   前記複数の検出ピクセルの前記一部のうち各検出ピクセルに入射される光は、全て異なる組み合わせの視点に対応する、
   撮影装置。
2. 前記センサ内の前記複数の検出ピクセルの数と前記レンズアレイ内の前記複数のレンズの数は互いに素である、
   請求項１に記載の撮影装置。
3. 前記複数の検出ピクセルの数と前記複数のレンズの数の比は実数である、
   請求項１または２に記載の撮影装置。
4. 前記複数の検出ピクセルの前記一部及び前記視点の間の対応関係を指示する行列はフルランクを有する、
   請求項１乃至３いずれか一項に記載の撮影装置。
5. 前記検出情報及び前記複数の検出ピクセルの前記一部と前記視点の間の対応関係に基づいて決定された変換行列を用いて撮影映像を生成するプロセッサをさらに含む、
   請求項１乃至４いずれか一項に記載の撮影装置。
6. 前記プロセッサは、前記検出情報に基づいて検出情報行列を生成し、前記検出情報行列及び前記変換行列を用いてピクセル値行列に含まれた前記視点に対応するピクセル値を決定し、前記ピクセル値に基づいて前記撮影映像を生成する、
   請求項５に記載の撮影装置。
7. 前記レンズアレイの焦点距離は、前記レンズアレイに含まれたレンズの数に基づいて決定される、
   請求項１に記載の撮影装置。
8. 前記レンズアレイに含まれたレンズの数が増加するほど、前記レンズアレイの焦点距離は短くなる、
   請求項１に記載の撮影装置。
9. 複数の検出ピクセルから検出情報を取得するステップと、
   前記検出情報に基づいて撮影映像を生成するステップと、
   を含み、
   前記複数の検出ピクセルの少なくとも一部の検出ピクセルは、レンズアレイの互いに異なるレンズを介して入射される光に基づいて前記検出情報を生成し、
   前記複数の検出ピクセルの前記一部のうち各検出ピクセルに入射される光は、全て異なる組み合わせの視点に対応する、
   撮影方法。
10. 前記複数の検出ピクセルの数と前記レンズアレイ内の前記複数のレンズの数は、互いに素である、
    請求項９に記載の撮影方法。
11. 前記複数の検出ピクセルの数と前記複数のレンズの数の比は実数である、
    請求項９または１０に記載の撮影方法。
12. 前記複数の検出ピクセルの前記一部及び前記視点の間の対応関係を指示する行列はフルランクを有する、
    請求項９乃至１１いずれか一項に記載の撮影方法。
13. 撮影映像を生成するステップは、前記検出情報、及び前記複数の検出ピクセルの前記一部と前記視点の間の対応関係に基づいて決定された変換行列を用いて撮影映像を生成するステップを含む、
    請求項９乃至１２いずれか一項に記載の撮影方法。
14. 撮影映像を生成するステップは、
    前記検出情報に基づいて検出情報行列を生成するステップと、
    前記検出情報行列及び前記変換行列を用いて、ピクセル値行列に含まれた前記視点に対応するピクセル値を決定するステップと、
    前記ピクセル値に基づいて前記撮影映像を生成するステップと、
    を含む、請求項１３に記載の撮影方法。
15. 前記レンズアレイの焦点距離は、前記レンズアレイに含まれたレンズの数に基づいて決定される、
    請求項９に記載の撮影方法。
16. 前記レンズアレイに含まれたレンズの数が増加するほど、前記レンズアレイの焦点距離は短くなる、
    請求項９に記載の撮影方法。
17. ハードウェアと結合して請求項９～１６のうちいずれか一項に記載の方法を実行させるために媒体に格納されたコンピュータプログラム。
18. プロセッサ及びコンピュータで読み込み可能な命令語を含むメモリを含み、
    前記命令語が前記プロセッサで実行されると、前記プロセッサは、複数の検出ピクセルから検出情報を取得して前記検出情報に基づいて撮影映像を生成し、
    前記検出情報は、複数のレンズを含むレンズアレイの互いに異なるレンズを介して入射される光に基づいて、前記複数の検出ピクセルの少なくとも一部によって生成され、
    前記複数の検出ピクセルの前記一部のうち各検出ピクセルに入射される光は全て異なる組み合わせの視点に対応する、
    撮影装置。
19. 前記複数の検出ピクセルの数と前記レンズアレイ内の前記複数のレンズの数は互いに素である、
    請求項１８に記載の撮影装置。
20. 前記複数の検出ピクセルの数と前記複数のレンズの数の比は実数である、
    請求項１８または１９に記載の撮影装置。
21. 前記複数の検出ピクセルの前記一部及び前記視点の間の対応関係を指示する行列はフルランクを有する、
    請求項１８乃至２０いずれか一項に記載の撮影装置。
22. 前記プロセッサは、前記検出情報及び前記複数の検出ピクセルの前記一部と前記視点の間の対応関係に基づいて決定された変換行列を用いて撮影映像を生成する、
    請求項１８乃至２１いずれか一項に記載の撮影装置。
23. 前記プロセッサは、前記検出情報に基づいて検出情報行列を生成し、前記検出情報行列及び前記変換行列を用いてピクセル値行列に含まれた前記視点に対応するピクセル値を決定し、前記ピクセル値に基づいて前記撮影映像を生成する、
    請求項２２に記載の撮影装置。

Images