JP5593913B2 - 画像生成装置、画像生成プログラム、及び画像生成方法 - Google Patents

Description

本発明は、画像生成装置、画像生成プログラム、及び画像生成方法に関する。

非特許文献１には、図１４に示すようなメインレンズＬＭによる原画像ＩＯの結像を、主走査方向及び副走査方向（つまり、縦方向及び横方向）に配列された複数のマイクロレンズで構成されるマイクロレンズアレイＬＡでさらに結像した画像（以下、レンズアレイ画像という）を、設定された各種のパラメータと原画像ＩＯとに基づいて生成する技術が開示されている。

トム・イー・ビショップ（Tom E. Bishop）、他２名、"Light Field Superresolution"、ICCP 09 (IEEE International Conference on Computational Photography)、２００９年４月

ここで、非特許文献１に係る技術では、原画像ＩＯの全画素について、それぞれの画素から発せられた光がメインレンズＬＭを通過することで結像面ＰＩに生じるブラー（つまり、被写体ブレ）ＢＭと、光がさらにレンズアレイＬＡを通過することで撮像素子面ＤＰに生じるブラーＢＤ１からＢ３とが算出される。また、非特許文献１に係る技術では、撮像素子面ＤＰを構成する全撮像素子について、それぞれの素子がブラーに含まれるか否かが計算され、ブラーの範囲内に含まれる撮像素子に対して、当該ブラーの算出に用いられた原画像ＩＯの画素値が代入される。このため、レンズアレイ画像を生成するために、原画像ＩＯの画素数と撮像素子の画素数との積算値の回数だけ演算が必要であるので計算量が多いという問題があった。

そこで、本発明は、このような点に鑑み、その目的とするところは、少ない計算量でレンズアレイ画像を生成できる画像生成装置、画像生成プログラム、及び画像生成方法を提供することにある。

上記目的を達成するため、本発明の第１の観点に係る画像生成装置は、
原画像を表す原画像情報を取得する画像情報取得手段と、
複数のレンズの配列で構成されるレンズアレイであって、前記画像情報取得手段で取得された原画像情報で表される原画像のメインレンズによる光学像を結像するレンズアレイの焦点距離を表す設定情報を取得する設定情報取得手段と、
前記設定情報取得手段で取得された設定情報で表される焦点距離だけ前記レンズアレイから離れた撮像素子の位置において結像される光の軌跡を、前記撮像素子の位置から辿ることで特定する軌跡特定手段と、
前記軌跡特定手段で特定された軌跡に基づいて前記撮像素子から出力される画素値を算出することで、前記原画像のメインレンズによる光学像を前記レンズアレイが結像したレンズアレイ画像を生成する画像生成手段と、を備える、
ことを特徴とする。

第１の観点に係る画像生成装置において、
前記設定情報取得手段は、前記レンズアレイを構成するレンズのサイズを表す設定情報を、さらに取得し、
前記軌跡特定手段は、
前記設定情報取得手段で取得された設定情報で表されるレンズアレイの焦点距離とサイズとに基づいて、前記レンズアレイを構成するレンズで光が結像される結像範囲を特定する第１特定手段と、
前記第１特定手段で特定された結像範囲に含まれる撮像素子の位置において結像される光の出発点が含まれる原画像の画素範囲を、前記レンズアレイを構成するレンズの中心を通過した後に前記撮像素子の位置において結像した光の軌跡を前記撮像素子の位置から前記原画像まで辿った結果と前記レンズのサイズとに基づいて特定する第２特定手段と、を有し、
前記画像生成手段は、前記第２特定手段で特定された画素範囲に含まれる前記原画像の画素の値に基づいて、前記撮像素子の画素値を算出する、
としても良い。

また、第１の観点に係る画像生成装置において、
前記レンズアレイの焦点距離を表す焦点距離情報と、前記レンズアレイを構成するレンズのサイズを表すサイズ情報とを、前記サイズのレンズが光を結像する結像範囲を表す結像範囲情報に対応付けて記憶する情報記憶手段、をさらに備え、
前記軌跡特定手段が有する第１特定手段は、前記設定情報取得手段で取得された設定情報によって設定される焦点距離を表す焦点距離情報及びサイズを表すサイズ情報に基づいて、前記情報記憶手段に記憶された結像範囲情報を特定する、
としても良い。

さらに、第１の観点に係る画像生成装置において、
前記設定情報取得手段で取得された設定情報で表されるレンズアレイを構成するレンズの焦点距離とサイズとに基づいて、前記レンズアレイを構成するレンズで光が結像される結像範囲を算出する第１算出手段と、
前記第１算出手段で算出された結像範囲を表す結像範囲情報を、前記焦点距離を表す焦点距離情報と前記レンズのサイズを表すサイズ情報とに対応付けて前記情報記憶手段に保存する第１保存手段を、さらに備える、
としても良い。

またさらに、第１の観点に係る画像生成装置において、
前記設定情報取得手段で取得された設定情報によって表されるレンズの焦点距離とサイズとに基づいて、前記情報記憶手段に記憶された結像範囲情報を検索する情報検索手段と、
前記情報検索手段で検索された結像範囲情報によって表される結像範囲に含まれる撮像素子の位置で結像される光の出発点が含まれる原画像の画素範囲を、前記レンズの中心を通過した後に前記撮像素子の位置において結像した光の軌跡を前記撮像素子の位置から前記原画像まで辿った結果と前記レンズのサイズとに基づいて算出する第２算出手段と、
前記第２算出手段で算出された画素範囲を表す画素範囲情報と、前記撮像素子を識別する素子識別情報とを対応付けて前記情報記憶手段に保存する第２保存手段と、をさらに備え、
前記軌跡特定手段が有する第２特定手段は、前記第１特定手段で特定された結像範囲に含まれる撮像素子を識別する素子識別情報に基づいて、前記情報記憶手段に記憶された画素範囲情報で表される画素範囲を特定する、
としても良い。

またさらに、第１の観点に係る画像生成装置において、
前記画像生成手段で生成されたレンズアレイ画像のコントラストに基づいて、前記レンズアレイ画像の視認性を評価する画像評価手段と、
前記画像評価手段による評価結果と、前記画像評価手段によって評価されたレンズアレイ画像と、前記レンズアレイ画像の生成に用いられたレンズアレイの焦点距離とのいずれか２つ以上を対応付けて表示する表示手段と、をさらに備える、
としても良い。

また上記目的を達成するため、本発明の第２の観点に係る画像生成プログラムは、
画像生成装置を制御するコンピュータを、
原画像を表す原画像情報を取得する画像情報取得手段、
複数のレンズの配列で構成されるレンズアレイであって、前記画像情報取得手段で取得された原画像情報で表される原画像のメインレンズによる光学像を結像するレンズアレイの焦点距離を表す設定情報を取得する設定情報取得手段、
前記設定情報取得手段で取得された設定情報で表される焦点距離だけ前記レンズアレイから離れた撮像素子の位置において結像される光の軌跡を、前記撮像素子の位置から辿ることで特定する軌跡特定手段、
前記軌跡特定手段で特定された軌跡に基づいて前記撮像素子から出力される画素値を算出することで、前記原画像のメインレンズによる光学像を前記レンズアレイが結像したレンズアレイ画像を生成する画像生成手段、として機能させる、
ことを特徴とする。

また上記目的を達成するため、本発明の第３の観点に係る画像生成方法は、
画像生成装置での画像生成方法であって、
原画像を表す原画像情報を取得する画像情報取得ステップと、
複数のレンズの配列で構成されるレンズアレイであって、前記画像情報取得ステップで取得された原画像情報で表される原画像のメインレンズによる光学像を結像するレンズアレイの焦点距離を表す設定情報を取得する設定情報取得ステップと、
前記設定情報取得ステップで取得された設定情報で表される焦点距離だけ前記レンズアレイから離れた撮像素子の位置において結像される光の軌跡を、前記撮像素子の位置から辿ることで特定する軌跡特定ステップと、
前記軌跡特定ステップで特定された軌跡に基づいて前記撮像素子から出力される画素値を算出することで、前記原画像のメインレンズによる光学像を前記レンズアレイが結像したレンズアレイ画像を生成する画像生成ステップと、を含む、
ことを特徴とする。

本発明に係る画像生成装置、画像生成プログラム、及び画像生成方法によれば、少ない計算量でレンズアレイ画像を生成できる。

本実施形態に係る画像生成装置が模擬する撮像装置の一構成例を表す図である。 （ａ）は、原画像の一例を表す図であり、（ｂ）は、原画像に基づいて生成されたレンズアレイ画像の一例を表す図であり、（ｃ）は、レンズアレイ画像の部分拡大図である。 画像生成装置の一構成例を表すハードウェア構成図である。 画像生成装置が実行する画像生成処理の一例を表すフローチャートである。 （ａ）は、画像生成装置が有する機能の一例を表す機能ブロック図、（ｂ）は、処理対象画素テーブル生成部の一構成例を表す図、（ｃ）は、積分対象画素テーブル生成部の一構成例を表す図、（ｄ）は、軌跡特定部の一構成例を表す図である。 （ａ）は、設定情報取得部が実行する第１設定情報取得処理の一例を表すフローチャート、（ｂ）は、設定情報取得部が実行する第２設定情報取得処理の一例を表すフローチャートである。 （ａ）は、処理対象画素テーブルの一例を表す図、（ｂ）は、第１設定テーブルの一例を表す図、（ｃ）は、積分対象画素テーブルの一例を表す図、（ｄ）は、第２設定テーブルの一例を表す図である。 処理対象画素テーブル生成部が実行する処理対象画素テーブル生成処理の一例を表すフローチャートである。 第１投影サイズの算出方法の一例を説明するための図である。 （ａ）は、第１相対範囲テーブルの生成方法の一例を説明するための図、（ｂ）は、第１相対範囲テーブルの生成方法の他例を説明するための図である。 処理対象画素相対範囲テーブル（第１相対範囲テーブル）の一例を表す図である。 積分対象画素テーブル生成部が実行する積分対象画素テーブル生成処理の一例を表すフローチャートである。 画像生成部が実行するアレイ画像生成処理の一例を表すフローチャートである。 従来におけるレンズアレイ画像の生成方法の一例を説明するための図である。

以下、本発明の最良の実施形態について添付図面を参照しつつ説明する。

本発明の実施形態に係る画像生成装置１００は、図１に示すようなメインレンズＬＭによって結像された被写体の光学像を、複数のマイクロレンズが主走査方向及び副走査方向に配列されたマイクロレンズアレイ（以下単に、レンズアレイという）ＬＡを用いてさらに結像させた画像を撮影する撮影装置を模擬し、模擬した撮影装置で得られる撮影画像（以下、レンズアレイ画像という）を、被写体を表す原画像ＩＯ及びレンズアレイＬＡの焦点距離ｆａなどを表すパラメータに基づいて生成する。

具体的には、画像生成装置１００は、図２（ａ）に示すような原画像ＩＯの各画素から出発した光がメインレンズＬＭ及びレンズアレイＬＡを介して撮像素子面ＤＰに到達するまでの軌跡を、撮像素子面ＤＰ側（つまり、光の進行方向と逆側）から辿って特定する。次に、画像生成装置１００は、特定した軌跡の始点である原画像ＩＯの画素値に基づいて軌跡の終点である撮像素子から出力される画素値を特定することで、図２（ｂ）に示すようなレンズアレイ画像を生成する。尚、図２（ｃ）は、図２（ｂ）に示すＡ部の部分拡大図である。

画像生成装置１００は、図３に示すように、ＣＰＵ（Central Processing Unit）１００ａ、ＲＯＭ（Read Only Memory）１００ｂ、ＲＡＭ（Random Access Memory）１００ｃ、ハードディスク１００ｄ、メディアコントローラ１００ｅ、ＬＡＮ（Local Area Network）カード１００ｆ、ビデオカード１００ｇ、ＬＣＤ（Liquid Crystal Display）１００ｈ、及びキーボード１００ｉを備える。

ＣＰＵ１００ａは、ＲＯＭ１００ｂ又はハードディスク１００ｄに保存されたプログラムに従ってソフトウェア処理を実行することで、画像生成装置１００の全体制御を行う。ＲＡＭ１００ｃは、ＣＰＵ１００ａによるプログラムの実行時において、処理対象とする情報（データ）を一時的に記憶する。

メディアコントローラ１００ｅは、例えば、フラッシュメモリカード等の記録媒体から各種の画像を表すデータを読み出す。メディアコントローラ１００ｅによってデータを読み書きされる記録媒体及びハードディスク１００ｄは、画像を表す画像データ、プログラム、及びプログラムの実行時に参照される各種のデータテーブルを記憶している。ＬＡＮカード１００ｆは、画像生成装置１００に接続する装置（又はインターネット）から画像データを受信（つまり、ダウンロード）する。ビデオカード１００ｇは、ＣＰＵ１００ａに制御されて、ＬＣＤ１００ｈの表示を制御する。ＬＣＤ１００ｈ及びキーボード１００ｉは、ユーザーインターフェースを提供する。

画像生成装置１００は、図３に示したハードウェアを用いて、図４に示すようなレンズアレイ画像を生成する画像生成処理を実行する。図３に示す画像生成装置１００のＣＰＵ１００ａは、画像生成処理を実行することで、図５（ａ）に示すような設定情報取得部１１０、処理対象画素テーブル生成部１２１、積分対象画素テーブル生成部１２２、画像情報取得部１４０、軌跡特定部１５０、画像生成部１６０、画像評価部１７０、及び画像表示制御部１８０として機能し、図３のハードディスク１００ｄと協働することで、図５（ａ）に示すような情報記憶部１３０として機能する。

図４の画像生成処理の実行が開始されると、図５（ａ）の設定情報取得部１１０は、図６（ａ）に示すような第１設定情報取得処理を実行する（ステップＳ０１）。

図６（ａ）の第１設定情報取得処理を開始すると、設定情報取得部１１０は、図３のキーボード１００ｉから出力される信号に基づいて、ユーザによって設定されたメインレンズＬＭとレンズアレイＬＡとの距離Ｚｍａを表す距離情報を取得する（ステップＳ１１）。次に、設定情報取得部１１０は、同様に、ユーザよって設定されたレンズアレイＬＡを構成するマイクロレンズの焦点距離（以下単に、レンズアレイＬＡの焦点距離という）ｆａを表す焦点距離情報を取得する（ステップＳ１２）。また同様に、設定情報取得部１１０は、レンズアレイＬＡを構成するレンズの直径ｄを表すサイズ情報を取得する（ステップＳ１３）。その後同様に、設定情報取得部１１０は、レンズアレイＬＡを構成するレンズの数Ｎを表すレンズ数情報を取得する（ステップＳ１４）。

その後、設定情報取得部１１０は、ステップＳ１１からＳ１４で取得した情報（距離情報、焦点距離情報、サイズ情報、及びレンズ数情報）を第１設定情報として、図５（ａ）の情報記憶部１３０へ保存した後に（ステップＳ１５）、第１設定取得処理の実行を終了する。

ここで、図５（ａ）の情報記憶部１３０は、レンズアレイ画像の画素値を算出する処理の処理対象とされる画素（以下、処理対象画素という）の範囲を表す情報を保存する、図７（ａ）に示すような処理対象画素テーブルを記憶している。また情報記憶部１３０は、第１設定情報と、第１設定情報で表される設定が行われた場合に使用される処理対象画素テーブルのテーブル番号とを対応付けて保存する、図７（ｂ）に示すような第１設定テーブルを記憶している。

このため、図４のステップＳ０１の後に、図５（ａ）の処理対象画素テーブル生成部１２１は、ステップＳ０１で取得された第１設定情報に基づいて第１設定テーブルからテーブル番号が検索されたか（つまり、取得された第１設定情報に対応する処理対象画素テーブルがあるか）否かを判別する（ステップＳ０２）。このときに、第１設定情報に対応する処理対象画素テーブルがないと判別すると（ステップＳ０２；Ｎｏ）、処理対象画素テーブル生成部１２１は、図８に示すような処理対象画素テーブル生成処理を実行する（ステップＳ０３）。尚、図５（ａ）の処理対象画素テーブル生成部１２１は、図５（ｂ）に示すような第１算出部１２１ａと第１保存部１２１ｂとを有する。

図８の処理対象画素テーブル生成処理の実行を開始すると、第１算出部１２１ａは、レンズアレイＬＡと撮像素子面ＤＰとの距離ＺａｄをレンズアレイＬＡの焦点距離ｆａに設定した後に、設定した距離Ｚａｄと、図６（ａ）のステップＳ１１で取得された距離Ｚｍａとに基づいて、メインレンズＬＭと撮像素子面ＤＰとの距離Ｚｍｄを算出する（ステップＳ２１）。

次に、第１算出部１２１ａは、図９に示すように、レンズアレイＬＡを構成するレンズの１つＬｉについて、メインレンズＬＭの中心位置ＯＭを通過した後にレンズＬｉを介さずに撮像素子面ＤＰに到達した光によって投影されるレンズＬｉのサイズ（以下、第１投影サイズという）ｄｐを算出する（ステップ２６）。具体的には、第１算出部１２１ａは、図６（ｂ）のステップＳ１１で取得された距離Ｚｍａと、ステップＳ２１で算出された距離Ｚｍｄと、図６（ｂ）のステップＳ１３で取得されたマイクロレンズのサイズｄとを以下の式（１）に用いることで、第１投影サイズｄｐを算出する（ステップＳ２２）。

ｄｐ＝ｄ×Ｚｍｄ／Ｚｍａ・・・（１）

ここで、メインレンズＬＭを通過した光がマイクロレンズＬｉによって結像される範囲（以下単に、結像範囲という）は、マイクロレンズＬｉの中心位置ＯＡが撮像素子面ＤＰに対して投影された位置ＯＤ（以下、第１投影位置という）から第１投影サイズｄｐの距離にある範囲であるため、この範囲に含まれる画素を処理対象画素とし、処理対象画素が含まれる範囲を処理対象画素範囲とする。

このため、第１算出部１２１ａは、図１０（ａ）及び（ｂ）に示すような、第１投影位置を原点とした相対座標系の座標軸Ｘｒ及びＹｒを用いて処理対象画素の相対範囲を表す座標値を保存する処理対象画素相対範囲テーブル（以下、第１相対範囲テーブルという）を、第１投影サイズｄｐを用いて生成する（ステップＳ２３）。

具体的には、第１算出部１２１ａは、図１０（ａ）に示すように撮像素子ＤＣを１６分割した領域の１つであって、インデックス番号「1」で識別される領域に中心位置ＯＡの第１投影位置ＯＤが含まれると仮定した場合に、第１投影位置ＯＤが含まれる領域の中心Ｏｃと、撮像素子ＤＥの中心Ｏｅとの距離Ｌｃｅが第１投影サイズｄｐの半分より小さいため（つまり、以下の条件式（２）を撮像素子ＤＥが満足するため）、撮像素子ＤＥは処理対象画素範囲に含まれると判別する。よって、第１算出部１２１ａは、撮像素子ＤＣの位置を原点とした撮像素子ＤＥの位置を表す座標値（−２，−３）を、第１投影位置ＯＤが含まれるとした領域を識別するインデックス「1」とを対応付けて、図１１に示すような第１相対範囲テーブルに保存する。尚、第１算出部１２１ａは、撮像素子ＤＣから所定距離にある他の撮像素子についても上記と同様の処理を実行する。

Ｌｃｅ ＜ ｄｐ／２・・・（２）

これに対して、第１算出部１２１ａは、図１０（ｂ）に示すような領域に第１投影位置ＯＤが含まれるとした場合には、第１投影位置ＯＤが含まれる領域の中心Ｏｃと、撮像素子ＤＥの中心Ｏｅとの距離Ｌｃｅが投影サイズｄｐの半分以上であるため（つまり、上記の条件式（２）を満足しないため）、撮像素子ＤＥは処理対象画素範囲に含まれないと判別する。尚、第１算出部１２１ａは、１６分割された領域の残りについても同様の処理を実行する。

ステップＳ２３の後に、第１算出部１２１ａは、ステップＳ２６からＳ２９の処理の対象とするマイクロレンズを識別する対象レンズ番号を値「1」として初期化する（ステップＳ２４）。尚、マイクロレンズは、番号「1」から、図６（ａ）のステップＳ１４で取得された「N」までの番号のいずれか１つによって識別される。

次に、第１算出部１２１ａは、対象レンズ番号の値が最大値である「N」であるか否かを判別する（ステップＳ２５）。このとき、対象レンズ番号の値が「N」でないと判別すると（ステップＳ２５；Ｎｏ）、第１算出部１２１ａは、対象レンズ番号で識別されるマイクロレンズ（以下単に、対象レンズという）の第１投影位置ＯＤを算出する。具体的には、第１算出部１２１ａは、対象レンズの中心位置ＯＡとメインレンズＬＭの中心位置ＯＭとを通る直線が撮像素子面ＤＰと交わる点を第１投影位置ＯＤとし、第１投影位置ＯＤの位置座標を、図６（ａ）のステップＳ１１で取得された距離Ｚｍａと、ステップＳ２１で算出した距離Ｚｍｄとを以下の式（３）に用いて算出する。

（Ｘ_ＯＤ，Ｙ_ＯＤ）＝（Ｘ_ＯＡ，Ｙ_ＯＡ）×Ｚｍｄ／Ｚｍａ・・・（３）

但し、（Ｘ_ＯＤ，Ｙ_ＯＤ）は第１投影位置ＯＤのＸＹ座標を表し、（Ｘ_ＯＡ，Ｙ_ＯＡ）は中心位置ＯＡのＸＹ座標を表す。また図９に示すように、ＸＹＺ座標軸の原点は、メインレンズＬＭの中心位置ＯＭであり、Ｘ軸方向は主走査方向（つまり、横方向）であり、Ｙ軸方向は副走査方向（つまり、縦方向）である。尚、図１０（ａ）及び（ｂ）の相対座標系における座標軸Ｘｒ及びＹｒは、それぞれ図９のＸ軸及びＹ軸と平行である。

その後、第１算出部１２１ａは、算出された第１投影位置ＯＤと、ステップＳ２３で生成された第１相対範囲テーブルとに基づいて、対象レンズの処理対象画素範囲を特定する（ステップＳ２７）。具体的には、第１算出部１２１ａは、対象レンズの第１投影位置ＯＤに在る撮像素子ＤＣを特定した後に、特定した撮像素子ＤＣを１６分割した領域のいずれに第１投影位置ＯＤが含まれるかを特定する。次に、第１算出部１２１ａは、特定した領域を識別するインデックス番号に基づいて、ステップＳ２３で生成された第１相対範囲テーブルから、処理対象画素相対範囲を表す座標値を１又は複数検索する。その後、第１算出部１２１ａは、処理対象画素相対範囲を表す座標値に対して第１投影位置ＯＤの座標値を加算することで、処理対象画素範囲を表す１又は複数の座標値を取得する。

ステップＳ２７の後に、図５（ｂ）の第１保存部１２１ｂは、マイクロレンズを識別するレンズ番号と、マイクロレンズの処理対象画素範囲を表す座標値とを対応付けて、図７（ａ）に示すような、情報記憶部１３０が記憶する処理対象画素テーブルに保存する。次に、第１保存部１２１ｂは、処理対象画素テーブルの生成に用いた第１設定情報を、処理対象画素テーブルのテーブル番号と対応付けて、情報記憶部１３０が記憶する、図７（ｂ）に示すような第１設定テーブルに保存する（ステップＳ２８）。

その後、第１算出部１２１ａは、対象レンズ番号を値「1」だけインクリメントした後に（ステップＳ２９）、ステップＳ２５から上記処理を繰り返す。

ステップＳ２５において、対象レンズ番号の値が「N」であると判別すると（ステップＳ２５；Ｙｅｓ）、第１算出部１２１ａは、処理対象画素テーブル生成処理の実行を終了する。

図４のステップＳ０２において、第１設定情報に対応する処理対象画素テーブルがあると判別した後（ステップＳ０２；Ｙｅｓ）、及びステップＳ０３の後のいずれかに、図５（ａ）の設定情報取得部１１０は、図６（ｂ）に示すような第２設定情報取得処理を実行する（ステップＳ０４）。

図６（ｂ）の第２設定情報取得処理を開始すると、設定情報取得部１１０は、図３のキーボード１００ｉから出力される信号に基づいて、被写体を表す原画像ＩＯからメインレンズＬＭまでの、ユーザによって設定された距離Ｚｉｍを表す距離情報を取得する（ステップＳ４１）。また同様に、設定情報取得部１１０は、メインレンズＬＭとメインレンズＬＭの結像面ＰＩとの距離Ｚｍｐを表す距離情報を取得する（ステップＳ４２）。その後、設定情報取得部１１０は、ステップＳ４１及びＳ４２で取得した距離情報を第２設定情報として、図５（ａ）の情報記憶部１３０へ保存した後に（ステップＳ４３）、第２設定取得処理の実行を終了する。

ここで、図５（ａ）の情報記憶部１３０は、処理対象画素の画素値を算出する処理において、積分計算の対象とされる原画像ＩＯの画素（以下、積分対象画素という）の画素範囲を表す情報を、処理対象画素の位置を表す情報と対応付けて保存する、図７（ｃ）に示すような積分対象画素テーブルを記憶している。また情報記憶部１３０は、第１設定情報及び第２設定情報と、第１設定情報及び第２設定情報（以下単に、設定情報という）で表される設定が行われた場合に使用される積分対象画素テーブルのテーブル番号とを対応付けて保存する、図７（ｄ）に示すような第２設定テーブルを記憶している。

このため、図４のステップＳ０４の後に、図５（ａ）の積分対象画素テーブル生成部１２２は、ステップＳ０１及びＳ０４で取得された設定情報に基づいて第２設定テーブルからテーブル番号が検索されたか（つまり、取得された設定情報に対応する積分対象画素テーブルがあるか）否かを判別する（ステップＳ０５）。このときに、設定情報に対応する積分対象画素テーブルがないと判別すると（ステップＳ０５；Ｎｏ）、積分対象画素テーブル生成部１２２は、図１２に示すような積分対象画素テーブル生成処理を実行する（ステップＳ０６）。尚、図５（ａ）の積分対象画素テーブル生成部１２２は、図５（ｃ）に示すような情報検索部１２２ａと第２算出部１２２ｂと第２保存部１２２ｃとを有する。

図１２に示す積分対象画素テーブル生成処理の実行を開始すると、第２算出部１２２ｂは、第１設定情報で設定された焦点距離ｆａをレンズアレイＬＡと撮像素子面Ｄとの距離Ｚａｄとする（ステップＳ５１）。その後、第２算出部１２２ｂは、第１設定情報で設定されたメインレンズＬＭとレンズアレイＬＡとの距離Ｚｍａと、図６（ｂ）のステップＳ４２で取得されたメインレンズＬＭと結像面ＰＩとの距離Ｚｍｐとから、結像面ＰＩとレンズアレイＬＡとの距離Ｚｐａを算出する（ステップＳ５２）。

次に、第２算出部１２２ｂは、図１に示すように、レンズアレイＬＡを構成するレンズＬｉから発せられた平行光が、レンズＬｉと同じサイズｄの像をメインレンズＬＭの結像面ＰＩに投影した後に、さらにメインレンズＬＭの中心を通過して原画像ＩＯに投影する像のサイズ（以下、第２投影サイズという）ｄｉを算出する（ステップ５３）。具体的には、第２算出部１２２ｂは、図６（ｂ）のステップＳ４１及びＳ４２で取得された距離Ｚｉｍ及びＺｍｐと、図４のステップＳ０１で取得された第１設定情報で表されるレンズＬｉのサイズｄを以下の式（４）に用いて、レンズＬｉの第２投影サイズｄｉを算出する。

ｄｉ＝ｄ×Ｚｉｍ／Ｚｍｐ・・・（４）

ここで、ある撮像素子ＤＣから出発した光がマイクロレンズＬｉの中心位置ＯＡを通って原画像ＩＯに到達する位置（つまり、マイクロレンズＬｉの中心位置ＯＡが原画像ＩＯに対して投影される位置であるため、以下、第２投影位置という）ＯＩから第２投影サイズｄｉの距離にある範囲を、撮像素子ＤＣの積分対象画素が含まれる画素範囲（以下、積分対象画素範囲という）とする。この積分対象画素範囲から出発した光が撮像素子ＤＣにおいて結像するためである。

このため、第２算出部１２２ｂは、第２投影位置ＯＩを原点とした相対座標系Ｘｒ及びＹｒで積分対象画素の相対範囲を表す座標値を保存する積分対象画素相対範囲テーブル（以下、第２相対範囲テーブルという）を生成する（ステップＳ５４）。尚、第２相対範囲テーブルの生成方法については、図８のステップＳ２３で説明した第１相対範囲テーブルの生成方法と同様であるため、繰り返しの説明を省略する。

その後、第２算出部１２２ｂは、ステップＳ５６からＳ６２の処理の対象とするマイクロレンズを識別する対象レンズ番号を値「1」として初期化する（ステップＳ５５）。次に、第２算出部１２２ｂは、対象レンズ番号の値が、ステップＳ５１で読み出された第１設定情報によって設定された最大値「N」であるか否かを判別する（ステップＳ５６）。このとき、対象レンズ番号の値が「N」でないと判別されると（ステップＳ５６；Ｎｏ）、情報検索部１２２ａは、図４のステップＳ０１で取得した第１設定情報に基づいて、図７（ａ）の第１設定テーブルから処理対象画素テーブルのテーブル番号を検索する。その後、情報検索部１２２ａは、検索されたテーブル番号の処理対象画素テーブルから、対象レンズ番号に基づいて処理対象画素範囲を検索する（ステップＳ５７）。

その後、第２算出部１２２ｂは、検出した処理対象画素範囲に含まれる全ての処理対象画素について、以下のステップＳ５９からＳ６２の処理を実行したか否かを判別する（ステップＳ５８）。このとき、全ての処理対象画素についてステップＳ５９からＳ６２の処理を実行していないと判別した場合には（ステップＳ５８；Ｎｏ）、第２算出部１２２ｂは、未処理の処理対象画素の１つを選択する（ステップＳ５９）。次に、第２算出部１２２ｂは、対象レンズ番号で識別される対象レンズの第２投影位置ＯＩを算出する（ステップＳ６０）。

具体的には、第２算出部１２２ｂは、選択された処理対象画素（以下、選択画素という）ＰＤと対象レンズＬｉの中心位置ＯＡとを通る直線が結像面ＰＩと交わる点の位置（以下、結像面ＰＩ上の投影位置という）ＯＰを、Ｓ５１で算出などされた距離Ｚａｄ及びＺｐａと、以下の式（５）とを用いて算出する。

（Ｘ_ＯＰ，Ｙ_ＯＰ）＝（Ｘ_ＯＡ，Ｙ_ＯＡ）＋（（Ｘ_ＯＡ，Ｙ_ＯＡ）−（Ｘ_ＰＤ，Ｙ_ＰＤ））／Ｚａｄ×Ｚｐａ・・・（５）
但し、（Ｘ_Ｏｐ，Ｙ_ＯＰ）は投影位置ＯＰのＸＹ座標を表し、（Ｘ_ＯＡ，Ｙ_ＯＡ）は中心位置ＯＡのＸＹ座標を表し、（Ｘ_ＰＤ，Ｙ_ＰＤ）は選択画素ＰＤのＸＹ座標を表す。

次に、第２算出部１２２ｂは、結像面ＰＩ上の投影位置ＯＰとメインレンズＬＭの中心位置ＯＭとを通る直線が、原画像ＩＯと交わる点を第２投影位置ＯＩとし、第２投影位置ＯＩの位置座標を、以下の式（６）と図６（ｂ）のステップＳ４１及びＳ４２で取得された距離Ｚｉｍ及びＺｍｐとを用いて算出する。

（Ｘ_ＯＩ，Ｙ_ＯＩ） ＝ −（Ｘ_ＯＰ，Ｙ_ＯＰ）×Ｚｉｍ／Ｚｍｐ・・・（６）
但し、（Ｘ_ＯＩ，Ｙ_ＯＩ）は第２投影位置ＯＩのＸＹ座標を表し、（Ｘ_ＯＰ，Ｙ_ＯＰ）は投影位置ＯＰのＸＹ座標を表す。

その後、第２算出部１２２ｂは、図８のステップＳ２７の処理と同様に、ステップＳ６０で算出された第２投影位置ＯＩと、ステップＳ５４で生成された第２相対範囲テーブルとに基づいて、選択画素ＰＤの積分対象画素範囲を特定する（ステップＳ６１）。

その後に、図５（ｃ）の第２保存部１２２ｃは、選択画素ＰＤの座標値と、選択画素ＰＤの積分対象画素範囲を表す座標値とを対応付けて、図７（ｃ）に示すような、情報記憶部１３０が記憶する積分対象画素テーブルに保存する。次に、第２保存部１２２ｃは、処理対象画素テーブルの生成に用いた第１設定情報と第２設定情報とを、積分対象画素テーブルのテーブル番号と対応付けて、情報記憶部１３０が記憶する、図７（ｄ）に示すような第２設定テーブルに保存する（ステップＳ６２）。その後、ステップＳ５８に戻り上記処理が繰り返される。

ステップＳ５８において、全ての処理対象画素についてステップＳ５９からＳ６２の処理を実行したと判別した場合には（ステップＳ５８；Ｙｅｓ）、第２算出部１２２ｂは、対象レンズ番号を値「1」だけインクリメントした後に（ステップＳ６３）、ステップＳ５６から上記処理を繰り返す。

ステップＳ５６において、対象レンズ番号の値が「N」であると判別すると（ステップＳ５６；Ｙｅｓ）、第１算出部１２１ａは、積分対象画素テーブル生成処理の実行を終了する。

図４のステップＳ０６の後に、図５（ａ）の画像情報取得部１４０は、原画像ＩＯを表す原画像情報を、図３のハードディスク１００ｄ、メディアコントローラ１００ｅ、及びＬＡＮカード１００ｆのいずれかから取得する（ステップＳ０７）。その後、図５（ａ）の軌跡特定部１５０と画像生成部１６０は、取得された設定情報と原画像を表す原画像情報とに基づいてアレイ画像を生成する、図１３に示すようなアレイ画像生成処理を実行する（ステップＳ０８）。尚、軌跡特定部１５０は、図５（ｄ）に示すように第１特定部１５１及び第２特定部１５２を有する。

図１３に示すアレイ画像の実行を開始すると、図５（ａ）の軌跡特定部１５０は、ステップＳ７３からＳ７８の処理の対象とするマイクロレンズを識別する対象レンズ番号を値「1」として初期化する（ステップＳ７１）。次に、軌跡特定部１５０は、対象レンズ番号の値が最大値「N」であるか否かを判別する（ステップＳ７２）。このとき、対象レンズ番号の値が「N」でないと判別されると（ステップＳ７２；Ｎｏ）、軌跡特定部１５０が有する第１特定部１５１は、第１設定情報に基づいて、図７（ｂ）の第１設定テーブルから処理対象画素テーブルのテーブル番号を検索し、設定情報に基づいて、図７（ｄ）の第２設定テーブルから積分対象画素テーブルのテーブル番号を検索する。その後、第１特定部１５１は、検索されたテーブル番号の処理対象画素テーブルから、対象レンズ番号に基づいて処理対象画素範囲を検索する（ステップＳ７３）。

その後、軌跡特定部１５０が有する第２特定部１５２は、検出した処理対象画素範囲に含まれる全ての処理対象画素について、以下のステップＳ７５からＳ７８の処理を実行したか否かを判別する（ステップＳ７４）。このとき、全ての処理対象画素についてステップＳ７５からＳ７８の処理を実行していないと判別した場合には（ステップＳ７４；Ｎｏ）、第２特定部１５２は、未処理の処理対象画素の１つを選択する（ステップＳ７５）。次に、第２特定部１５２は、選択された処理対象画素（以下、選択画素）の座標値に基づいて、上記で検索されたテーブル番号の積分対象画素テーブルから、積分対象画素範囲を検索する（ステップＳ７６）。

その後、画像生成部１６０は、検索された積分対象画素範囲に含まれる原画像ＩＯの画素値に対して積分演算を行い（ステップＳ７７）、算出された積分値を選択画素の画素値とする（ステップＳ７８）。その後、ステップＳ７４から上記処理が繰り返される。

ステップＳ７４において、全ての処理対象画素についてステップＳ７５からＳ７８の処理を実行したと判別した場合には（ステップＳ７４；Ｙｅｓ）、軌跡特定部１５０は、対象レンズ番号を値「1」だけインクリメントした後に（ステップＳ７９）、ステップＳ７２から上記処理を繰り返す。

ステップＳ７２において、対象レンズ番号の値が「N」であると判別すると（ステップＳ７２；Ｙｅｓ）、軌跡特定部１５０は、アレイ画像生成処理の実行を終了する。

図４のステップＳ０８の後に、画像評価部１７０は、ステップＳ０８で生成されたレンズアレイの視認性を評価する（ステップＳ０９）。具体的には、画像評価部１７０は、それぞれのマイクロレンズの結像範囲毎にコントラストを算出し、算出した複数のコントラストの平均値を用いてアレイ画像を評価する。画像評価部１７０は、コントラストの平均値が高いアレイ画像の生成に用いられた設定情報ほど、優先的にレンズアレイを備える撮像装置の設計に用いられると判別し、算出したコントラストの平均値を優先順位とする。コントラストが高い程、ユーザにとってレンズアレイ画像を視認し易いためである。その後、画像評価部１７０は、レンズアレイ画像を表すアレイ画像情報と、原画像ＩＯを表す原画像情報と、優先順位を表す優先順位情報と、レンズアレイ画像の生成に用いられた設定情報とを対応付けて、図５（ａ）の情報記憶部１３０に保存する。

その後、図５（ａ）の画像表示制御部１８０は、今回のステップＳ０７で取得された原画像を表す原画像情報と、今回のステップＳ０８で生成されたアレイ画像を表す画像情報と、今回のステップＳ０９で算出された優先順位（つまり、評価結果）と、今回のステップＳ０１及びＳ０４で取得された設定情報とのいずれか２つ以上をそれぞれ対応付けて、図３のＬＣＤ１００ｈに表示させる（ステップＳ１０）。また、画像表示制御部１８０は、図３のキーボード１００ｉから入力されたユーザの指定値よりも高い優先度を表す優先度情報と対応付けて情報記憶部１３０に保存されたアレイ画像情報と、原画像情報と、優先順位情報と、第１設定情報及び第２設定情報とのいずれか２つ以上をそれぞれ対応付けて、ＬＣＤ１００ｈに表示させても良い。その後、画像表示制御部１８０は、画像生成処理の実行を終了する。

これらの構成によれば、マイクロレンズアレイＬＡと撮像素子面ＤＰとの距離Ｚａｄをマイクロレンズの焦点距離ｆａとし、マイクロレンズに対して平行に入射された光の軌跡を、光が結像した撮像素子ＤＰの位置から辿るため、少ない計算量でレンズアレイ画像を生成できる。レンズに対して平行に入射する光線は、入射したレンズの焦点距離で結像するためである。

またこれらの構成によれば、レンズアレイＬＡを構成するレンズの結像範囲（つまり、処理対象画素範囲）を特定した後に、特定された結像範囲に含まれる撮像素子の位置において結像される光の軌跡の出発点が含まれる画素範囲（つまり、積分対象画素範囲）を特定し、特定した画素範囲に含まれる原画像ＩＯの画素に基づいて撮像素子の画素値を算出する。このため、演算処理の回数を撮像素子の画素数と積分対象画素範囲に含まれる原画像ＩＯの画素数との積算値にまで軽減できる。よって、例えば、原画像ＩＯの画素から光の軌跡を辿った軌跡結果に基づいて、撮像素子のそれぞれが、図１４に示すようなレンズアレイＬＡのブラーＢＤ１からＢＤ３に含まれるか否かを判別する処理が必要な従来の方法のように、原画像ＩＯの画素数と撮像素子の画素数との積算値の回数だけ演算を実行する必要がないため、レンズアレイ画像を生成するのに必要な計算量及び計算時間を削減できる。

またこれらの構成によれば、一旦、レンズアレイＬＡを構成するマイクロレンズＬＡの結像範囲（つまり、処理対象画素範囲）を第１算出部１２１ａが算出した後に、算出した結像範囲を表す情報と焦点距離ｆａを表す情報及びレンズサイズｄを表す情報とを第１保存部１２１ｂが対応付けて、図７（ａ）及び（ｂ）に示すデータテーブルへ保存してしまえば、次回に同じ焦点距離ｆａ及びレンズサイズｄが設定された場合には結像範囲を再度算出する必要がない。このため、レンズアレイ画像を生成するために必要な計算量を削減できる。

またこれらの構成によれば、軌跡特定部１５０は、焦点距離ｆａを表す情報及びレンズサイズｄを表す情報に基づいて、図７（ａ）及び（ｂ）に示すデータテーブルから結像範囲（つまり、処理対象画素範囲）を表す情報を検索した後に、検索された結像範囲で結像される光の軌跡を特定するため、軌跡を特定するために要する計算量を削減できる。さらにこれらの構成によれば、一旦、結像範囲に含まれる撮像素子毎に画素範囲（つまり、積分対象画素範囲）を第２算出部１２２ｂが算出した後に、算出した画素範囲を表す情報と焦点距離ｆａを表す情報及びレンズサイズｄを表す情報とを第２保存部１２２ｃが対応付けて、図７（ｃ）及び（ｄ）に示すデータテーブルへ保存してしまえば、次回に同じ焦点距離ｆａ及びレンズサイズｄが設定された場合に、画素範囲を再度算出する必要がない。このため、レンズアレイ画像を生成するために必要な計算量を削減できる。

またこれらの構成によれば、レンズアレイ画像と、レンズアレイ画像の評価結果と、レンズアレイ画像の生成に用いられた焦点距離ｆａなどを表す設定情報とを対応付けて表示するため、ユーザは、視認性の良いレンズアレイ画像を生成できるレンズアレイＬＡの設定情報を容易に確認できる。

尚、本発明に係る機能を実現するための構成を予め備えた画像生成装置として提供できることはもとより、プログラムの適用により、既存の画像生成装置を本発明に係る画像生成装置として機能させることもできる。すなわち、上記実施形態で例示した画像生成装置１００による各機能構成を実現させるための画像生成プログラムを、既存の画像生成装置を制御するコンピュータ（ＣＰＵなど）が実行できるように適用することで、本発明に係る画像生成装置１００として機能させることができる。また、本発明に係る画像生成方法は、画像生成装置１００を用いて実施できる。

このようなプログラムの配布方法は任意であり、例えば、メモリカード、ＣＤ−ＲＯＭ、又はＤＶＤ−ＲＯＭなどの記録媒体に格納して配布できる他、インターネットなどの通信媒体を介して配布することもできる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

ＩＯ・・・原画像、ＬＭ・・・メインレンズ、ＰＩ・・・結像面、ＬＡ・・・レンズアレイ、ＤＰ・・・撮像素子面、１００・・・画像生成装置、１００ａ・・・ＣＰＵ、１００ｂ・・・ＲＯＭ、１００ｃ・・・ＲＡＭ、１００ｄ・・・ハードディスク、１００ｅ・・・メディアコントローラ、１００ｆ・・・ＬＡＮカード、１００ｇ・・・ビデオカード、１００ｈ・・・ＬＣＤ、１００ｉ・・・キーボード、１１０・・・設定情報取得部、１２１・・・処理対象画素テーブル生成部、１２１ａ・・・第１算出部、１２１ｂ・・・第１保存部、１２２・・・積分対象画素テーブル生成部、１２２ａ・・・情報検索部、１２２ｂ・・・第２算出部、１２２ｃ・・・第２保存部、１３０・・・情報記憶部、１４０・・・画像情報取得部、１５０・・・軌跡特定部、１５１・・・第１特定部、１５２・・・第２特定部、１６０・・・画像生成部、１７０・・・画像評価部、１８０・・・画像表示制御部

Claims (8)

1. 原画像を表す原画像情報を取得する画像情報取得手段と、
   複数のレンズの配列で構成されるレンズアレイであって、前記画像情報取得手段で取得された原画像情報で表される原画像のメインレンズによる光学像を結像するレンズアレイの焦点距離を表す設定情報を取得する設定情報取得手段と、
   前記設定情報取得手段で取得された設定情報で表される焦点距離だけ前記レンズアレイから離れた撮像素子の位置において結像される光の軌跡を、前記撮像素子の位置から辿ることで特定する軌跡特定手段と、
   前記軌跡特定手段で特定された軌跡に基づいて前記撮像素子から出力される画素値を算出することで、前記原画像のメインレンズによる光学像を前記レンズアレイが結像したレンズアレイ画像を生成する画像生成手段と、を備える、
   ことを特徴とする画像生成装置。
2. 前記設定情報取得手段は、前記レンズアレイを構成するレンズのサイズを表す設定情報を、さらに取得し、
   前記軌跡特定手段は、
   前記設定情報取得手段で取得された設定情報で表されるレンズアレイの焦点距離とサイズとに基づいて、前記レンズアレイを構成するレンズで光が結像される結像範囲を特定する第１特定手段と、
   前記第１特定手段で特定された結像範囲に含まれる撮像素子の位置において結像される光の出発点が含まれる原画像の画素範囲を、前記レンズアレイを構成するレンズの中心を通過した後に前記撮像素子の位置において結像した光の軌跡を前記撮像素子の位置から前記原画像まで辿った結果と前記レンズのサイズとに基づいて特定する第２特定手段と、を有し、
   前記画像生成手段は、前記第２特定手段で特定された画素範囲に含まれる前記原画像の画素の値に基づいて、前記撮像素子の画素値を算出する、
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記レンズアレイの焦点距離を表す焦点距離情報と、前記レンズアレイを構成するレンズのサイズを表すサイズ情報とを、前記サイズのレンズが光を結像する結像範囲を表す結像範囲情報に対応付けて記憶する情報記憶手段、をさらに備え、
   前記軌跡特定手段が有する第１特定手段は、前記設定情報取得手段で取得された設定情報によって設定される焦点距離を表す焦点距離情報及びサイズを表すサイズ情報に基づいて、前記情報記憶手段に記憶された結像範囲情報を特定する、
   ことを特徴とする請求項２に記載の画像生成装置。
4. 前記設定情報取得手段で取得された設定情報で表されるレンズアレイを構成するレンズの焦点距離とサイズとに基づいて、前記レンズアレイを構成するレンズで光が結像される結像範囲を算出する第１算出手段と、
   前記第１算出手段で算出された結像範囲を表す結像範囲情報を、前記焦点距離を表す焦点距離情報と前記レンズのサイズを表すサイズ情報とに対応付けて前記情報記憶手段に保存する第１保存手段を、さらに備える、
   ことを特徴とする請求項３に記載の画像生成装置。
5. 前記設定情報取得手段で取得された設定情報によって表されるレンズの焦点距離とサイズとに基づいて、前記情報記憶手段に記憶された結像範囲情報を検索する情報検索手段と、
   前記情報検索手段で検索された結像範囲情報によって表される結像範囲に含まれる撮像素子の位置で結像される光の出発点が含まれる原画像の画素範囲を、前記レンズの中心を通過した後に前記撮像素子の位置において結像した光の軌跡を前記撮像素子の位置から前記原画像まで辿った結果と前記レンズのサイズとに基づいて算出する第２算出手段と、
   前記第２算出手段で算出された画素範囲を表す画素範囲情報と、前記撮像素子を識別する素子識別情報とを対応付けて前記情報記憶手段に保存する第２保存手段と、をさらに備え、
   前記軌跡特定手段が有する第２特定手段は、前記第１特定手段で特定された結像範囲に含まれる撮像素子を識別する素子識別情報に基づいて、前記情報記憶手段に記憶された画素範囲情報で表される画素範囲を特定する、
   ことを特徴とする請求項３又は４に記載の画像生成装置。
6. 前記画像生成手段で生成されたレンズアレイ画像のコントラストに基づいて、前記レンズアレイ画像の視認性を評価する画像評価手段と、
   前記画像評価手段による評価結果と、前記画像評価手段によって評価されたレンズアレイ画像と、前記レンズアレイ画像の生成に用いられたレンズアレイの焦点距離とのいずれか２つ以上を対応付けて表示する表示手段と、をさらに備える、
   ことを特徴とする請求項１から５のいずれか１項に記載の画像生成装置。
7. 画像生成装置を制御するコンピュータを、
   原画像を表す原画像情報を取得する画像情報取得手段、
   複数のレンズの配列で構成されるレンズアレイであって、前記画像情報取得手段で取得された原画像情報で表される原画像のメインレンズによる光学像を結像するレンズアレイの焦点距離を表す設定情報を取得する設定情報取得手段、
   前記設定情報取得手段で取得された設定情報で表される焦点距離だけ前記レンズアレイから離れた撮像素子の位置において結像される光の軌跡を、前記撮像素子の位置から辿ることで特定する軌跡特定手段、
   前記軌跡特定手段で特定された軌跡に基づいて前記撮像素子から出力される画素値を算出することで、前記原画像のメインレンズによる光学像を前記レンズアレイが結像したレンズアレイ画像を生成する画像生成手段、として機能させる、
   ことを特徴とする画像生成プログラム。
8. 画像生成装置での画像生成方法であって、
   原画像を表す原画像情報を取得する画像情報取得ステップと、
   複数のレンズの配列で構成されるレンズアレイであって、前記画像情報取得ステップで取得された原画像情報で表される原画像のメインレンズによる光学像を結像するレンズアレイの焦点距離を表す設定情報を取得する設定情報取得ステップと、
   前記設定情報取得ステップで取得された設定情報で表される焦点距離だけ前記レンズアレイから離れた撮像素子の位置において結像される光の軌跡を、前記撮像素子の位置から辿ることで特定する軌跡特定ステップと、
   前記軌跡特定ステップで特定された軌跡に基づいて前記撮像素子から出力される画素値を算出することで、前記原画像のメインレンズによる光学像を前記レンズアレイが結像したレンズアレイ画像を生成する画像生成ステップと、を含む、
   ことを特徴とする画像生成方法。
   

Images