JP5310837B2 - 画像生成装置、デジタルカメラ、方法、及びプログラム - Google Patents

画像生成装置、デジタルカメラ、方法、及びプログラム Download PDF

Info

Publication number
JP5310837B2
JP5310837B2 JP2011290175A JP2011290175A JP5310837B2 JP 5310837 B2 JP5310837 B2 JP 5310837B2 JP 2011290175 A JP2011290175 A JP 2011290175A JP 2011290175 A JP2011290175 A JP 2011290175A JP 5310837 B2 JP5310837 B2 JP 5310837B2
Authority
JP
Japan
Prior art keywords
image
sub
reconstructed
light field
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011290175A
Other languages
English (en)
Other versions
JP2013141100A (ja
Inventor
知明 長坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2011290175A priority Critical patent/JP5310837B2/ja
Priority to US13/714,864 priority patent/US8929685B2/en
Priority to CN201210587139.1A priority patent/CN103188443B/zh
Publication of JP2013141100A publication Critical patent/JP2013141100A/ja
Application granted granted Critical
Publication of JP5310837B2 publication Critical patent/JP5310837B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、画像生成装置、デジタルカメラ、方法及びプログラムに関する。
異なる視点から撮影した被写体の画像を取得することにより、被写体からカメラのレンズに侵入する全ての光線の向きと光量を取得する技術が知られている。
このような技術に関連して、特許文献１は被写体を撮影した複数の画像を取得して、該複数の画像から焦点距離・被写体深度等を変化させた被写体の画像を再構成する技術を開示している。特許文献１の技術では、再構成画像の画素（再構成画素）に対応するライトフィールド画像の画素を光線追跡により定め、対応する画素の画素値に基づいて再構成画像を生成する。
特表２００８−５１５１１０号公報
特許文献１の技術では、光線追跡により再構成画像の画素（再構成画素）に対応する撮影した画像の画素を定める。しかし、光線追跡の結果抽出した全てのライトフィールド画像上の画素が被写体の再構成に使用できるわけではない。再構成画素の画素値を正しく定めるためには、被写体が写っていない、あるいはノイズの強い画素については算出対象外としなければならない。しかし、光線追跡の結果抽出した画素が再構成のために使用できるか逐一判別すると、再構成画像を生成するための必要計算量が大きくなる。
本発明は上記事情に鑑みてなされたもので、複数の視点から得られたライトフィールド画像から再構成画像を生成するにあたって、必要計算量が少ない画像生成装置、デジタルカメラ、方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本願発明に係る画像生成装置は、
異なる視点で撮影された複数のサブ画像を含むライトフィールド画像から再構成画像を生成する画像生成装置において、
前記ライトフィールド画像を撮影した際の撮影パラメータを取得するパラメータ取得部と、
前記撮影パラメータに基づいて、前記ライトフィールド画像に含まれる前記サブ画像の領域を定めた領域情報を取得する情報取得部と、
前記再構成画像を構成する再構成画素と、前記領域情報によって定められたサブ画像の領域にあるサブ画素と、の対応を定義する定義部と、
前記再構成画素の画素値を、前記対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する生成部と、
撮影パラメータの条件が対応付けられた複数の領域情報を記憶する記憶部と、
を備え、
前記情報取得部は、前記記憶部に記憶された複数の領域情報から、前記パラメータ取得部が取得した撮影パラメータに合致する領域情報を取得する、
ことを特徴とする。
あるいは、上記目的を達成するため、本願発明に係る画像生成装置は、
異なる視点で撮影された複数のサブ画像を含むライトフィールド画像から再構成画像を生成する画像生成装置において、
前記ライトフィールド画像を撮影した際の撮影パラメータを取得するパラメータ取得部と、
前記撮影パラメータに基づいて、前記ライトフィールド画像に含まれる前記サブ画像の領域を定めた領域情報を取得する情報取得部と、
前記再構成画像を構成する再構成画素と、前記領域情報によって定められたサブ画像の領域にあるサブ画素と、の対応を定義する定義部と、
前記再構成画素の画素値を、前記対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する生成部と、
を備え、
前記ライトフィールド画像は、メインレンズと複数のマイクロレンズとを用いて撮影された画像であり、
前記撮影パラメータは、前記メインレンズの有効径、前記メインレンズを収めた鏡胴の被写体側の長さ、前記鏡胴のマイクロレンズ側の長さ、の少なくとも一つに対応するパラメータを含む、
ことを特徴とする。
本発明によれば、複数の視点から得られたライトフィールド画像から再構成画像を生成するにあたって、必要計算量を低減することができる。
本発明の実施形態１に係るデジタルカメラの構成を示す図である。 実施形態１に係るデジタルカメラの光学系の構成を示す図である。 実施形態１に係るライトフィールド画像の例を示す図であり、（ａ）はライトフィールド画像の概念図を、（ｂ）はライトフィールド画像と再構成画像の例を示す。 実施形態１に係る画像再構成装置の（ａ）物理的構成と（ｂ）機能的構成を示す図である。 実施形態１に係るデジタルカメラの光学系と光学像とマスクの例を示す図であり、（ａ）は光学系の例、（ｂ）は（ａ）によって撮影された光学像とマスクの例、（ｃ）は光学系の例、（ｄ）は（ｃ）によって撮影された光学像とマスクの例をそれぞれ示す。 実施形態１に係るマスクを説明するための図であり、（ａ）は全体図を、（ｂ）拡大図を、（ｃ）拡大図の形状を、それぞれ示す。 実施形態１に係るパラメータマスク対応表の例を示す図である。 実施形態１に係る再構成画像出力処理の流れを示すフローチャートである。 実施形態１に係る再構成画像生成処理の流れを示すフローチャートである。 実施形態１に係る光線追跡処理を説明するための図である。 実施形態１に係るマスク生成処理の流れを示すフローチャートである。 実施形態１に係る光学系の物理構造とサブ画像の形状との関係を説明するための図である。 実施形態１に係る光学系の物理構造とマスクの形状との関係を説明するための図であり、（ａ）は外側鏡胴長が短い場合のマスクの形状の例を、（ｂ）は外側鏡胴長が中程度の場合のマスクの形状の例を、（ｃ）は外側鏡胴長が長い場合のマスクの形状の例を、それぞれ示す。
以下、本発明を実施するための形態に係るデジタルカメラ及び画像再構成装置（再構成画像生成装置）を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。
（実施形態１）
実施形態１に係る画像再構成装置３０は、図１に示すデジタルカメラ１に搭載されている。デジタルカメラ１は、被写体を撮影して複数のサブ画像からなるライトフィールド画像を取得し、再構成画像を生成する機能を備える。画像再構成装置３０は、このうちサブ画像を含むライトフィールド画像から再構成画像を生成する機能を担当する。
デジタルカメラ１は、図１に示すように、撮像部１０と、画像再構成装置３０を含む情報処理部２０と、記憶部４０と、インターフェース部（Ｉ／Ｆ部）５０と、から構成される。デジタルカメラ１は、このような構成により、外部（被写体）からの光線情報を取得して、被写体を表す画像を再構成して表示する。
撮像部１０は、光学装置１１０と、イメージセンサ１２０と、から構成され、被写体を複数の視点から撮像する。
光学装置１１０は、図２に示すように、シャッタ１１１と、絞り１１２と、メインレンズＭＬと、サブレンズアレイＳＬＡ（マイクロレンズアレイ）と、から構成され、外部からの光線をメインレンズＭＬによって捉え、サブレンズアレイＳＬＡを構成する各サブレンズＳＬの光学中心を視点として得られる光学像をイメージセンサ１２０（撮像面ＩＥ）に投影する。
イメージセンサ１２０は、光学装置１１０が投影した光学像を電気信号に変換して情報処理部２０に伝達するもので、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｌｌｙ Ｍａｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子と、撮像素子が生成した電気信号を情報処理部２０に伝達する伝達部と、から構成される。
シャッタ１１１は、イメージセンサ１２０への外部光の入射と遮蔽を制御する。絞り１１２は、メインレンズに侵入する光の一部を遮蔽し、撮像設定が示す絞り値に相当するようにメインレンズの透過部位を限定する。
メインレンズＭＬは、一又は複数の凸レンズ、凹レンズ、非球面レンズ等から構成され、撮影時の被写体ＯＢの光を光学像としてメインレンズＭＬとサブレンズアレイＳＬＡとの間の仮想的な結像面ＭＩＰ上に結像させる。なお、撮影時の被写体ＯＢは一個の物体に限られず、図２に示すようにメインレンズＭＬからそれぞれ異なる距離だけ離れた複数の構成物であってよい。
サブレンズアレイＳＬＡは、平面上に格子状に配置されたＭ×Ｎ個のサブレンズ（マイクロレンズ）ＳＬから構成される。サブレンズアレイＳＬＡは、メインレンズＭＬが結像面ＭＩＰ上に結像させた光学像を、それぞれのサブレンズＳＬの光学中心を視点として観測した光学像として、イメージセンサ１２０を構成するイメージセンサの撮像面ＩＥ上に結像する。メインレンズＭＬが成す平面と撮像面ＩＥが成す平面とから構成される空間をライトフィールドと呼ぶ。
メインレンズＭＬについて、最大径ＬＤと、有効径ＥＤと、が定義できる。最大径ＬＤは、メインレンズＭＬの物理的な直径である。一方、有効径ＥＤはメインレンズＭＬのうち撮影に使用できる領域の直径である。メインレンズＭＬのうち、有効径ＥＤの外部は、メインレンズＭＬに貼り付けられた各種フィルタや絞り１１２、メインレンズＭＬ周辺の物理構造によってメインレンズに入出力する光線が遮られることにより、メインレンズＭＬのうち周辺部を通過する光線が有効でない領域（ノイズが大きい領域）、あるいは光が透過しない領域である。
有効径ＥＤは、上記フィルタ等の物理構造によって光線が遮られる部位を工場出荷時に測定し、また撮像設定が示す絞り１１２のＦ値を取得することで定義できる。
図２の例では、被写体ＯＢのある部分ＰＯＢからの光線がメインレンズＭＬの有効径ＥＤをなす部分（有効部）を通過し、複数のサブレンズＳＬ上に投影されている。このように、被写体ＯＢの部分ＰＯＢから発された光が、メインレンズＭＬの有効部を通過してサブレンズアレイＳＬＡ上に投影される領域を、部分ＰＯＢのメインレンズブラーＭＬＢ（図２の網掛け部分）と呼ぶ。
メインレンズＭＬは鏡胴ＬＢの内部に納められている。鏡胴ＬＢはメインレンズＭＬの光学中心で被写体側（外側鏡胴）と、結像面ＭＩＰ側（内側鏡胴）とに分かれる。図２では、外側鏡胴の長さをＬｏｌｂ、内側鏡胴の長さをＬｉｌｂとしている。また、メインレンズＭＬの光学中心からメインレンズの結像面ＭＩＰまでの距離をｂ１、結像面ＭＩＰからサブレンズアレイＳＬＡがなす面までの距離をａ２、サブレンズアレイＳＬＡからイメージセンサの撮像面ＩＥの距離をｃ２、メインレンズＭＬとサブレンズアレイＳＬＡとの距離をｃ１とする。
撮像部１０は、上記構成により、ライトフィールドを通過する全ての光線の情報を含んだライトフィールド画像（ＬＦＩ）を撮影する。
ブロック状の被写体ＯＢを撮影したＬＦＩの一例を図３（ａ）に示す。
このＬＦＩは、格子状に配置されたＭ×Ｎ個のサブレンズＳＬ（マイクロレンズ）のそれぞれに対応する画像（サブ画像Ｓ、Ｓ１１〜ＳＭＮ）から構成されている。例えば、左上のサブ画像Ｓ１１は、被写体ＯＢを左上から撮影した画像に相当し、右下のサブ画像ＳＭＮは被写体ＯＢを右下から撮影した画像に相当する。
第ｉ行のサブ画像（横の一列のサブ画像）Ｓｉ１〜ＳｉＮは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡの第ｉ行の横に並んだサブレンズＳＬで結像したステレオ画像に相当する。同様に、第ｊ列のサブ画像（縦の一列のサブ画像）Ｓ１ｊ〜ＳＭｊは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡ（マイクロレンズアレイ）の第ｊ列の縦に並んだサブレンズＳＬで撮影したステレオ画像に相当する。
デジタルカメラ１は、図３（ｂ）に示すように、ＬＦＩから被写体を再構成した再構成画像（ＲＩ）を生成する。
なお、本実施形態では各サブ画像Ｓはグレースケール画像であり、サブ画像を構成する各画素は画素値（スカラー値）を持つ。
図１に示す情報処理部２０は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、内部バスと、Ｉ／Ｏポートと、から構成され、画像処理部２１０、画像再構成装置３０、撮像制御部２２０、として機能する。
画像処理部２１０は、イメージセンサ１２０から電気信号を取得し、取得した電気信号を記憶部４０の撮像設定記憶部４１０が記憶する撮像設定情報に基づいて画像データに変換する。画像処理部２１０は、画像データと、撮像設定情報に所定の情報（固定パラメータ）を加えた撮影設定情報と、を画像再構成装置３０に伝達する。
画像再構成装置３０は、画像処理部２１０から伝達されたＬＦＩを用いて再構成画像を生成する。画像再構成装置３０が再構成画像を生成する処理については後述する。
画像再構成装置３０は、生成した再構成画像を記憶部４０の画像記憶部４２０に記憶する。
撮像制御部２２０は、記憶部４０の撮像設定記憶部４１０に記憶された撮像設定情報に基づいて撮像部１０を制御し、撮像部１０を用いて被写体ＯＢを撮影する。
記憶部４０は、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成される。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、情報処理部２０の作業領域として用いられる。
外部記憶装置は、後述する処理を情報処理部２０に行わせるための制御プログラムと情報とをあらかじめ記憶し、これらの制御プログラムや情報を情報処理部２０の指示に従って主記憶装置に伝達する。また、情報処理部２０の指示に従って、情報処理部２０の処理に基づく情報とインターフェース部５０から伝達された情報とを記憶する。
記憶部４０は、機能的には、撮像設定記憶部４１０と、画像記憶部４２０と、から構成される。
撮像設定記憶部４１０は、撮像設定情報を記憶する。
撮像設定記憶部４１０が記憶する撮像設定情報（撮像パラメータ）には、撮像時に変化しうる撮像パラメータとしてメインレンズＭＬとサブレンズアレイＳＬＡとの距離、メインレンズの焦点距離ｆＭＬ、メインレンズを収めた鏡胴ＬＢの内側の長さ（内側鏡胴長）及び外側の長さ（外側鏡胴長）、露光時間を特定する情報、絞り（Ｆ値、メインレンズの有効径ＥＤに対応）、シャッタ速度等が含まれる。本実施形態では、メインレンズの焦点距離ｆＭＬと、内側鏡胴長及び外側鏡胴長と、メインレンズＭＬとサブレンズアレイＳＬＡとの距離と、のそれぞれに一意に対応するパラメータとしてズーム値を用いることとする。撮像設定記憶部４１０は、さらに固定パラメータ（既存値）としてメインレンズの最大径ＬＤと、サブレンズアレイＳＬＡを構成する各サブレンズＳＬのメインレンズの光軸ＯＡに対する相対位置情報と、を含む。また、メインレンズＭＬからサブレンズアレイＳＬＡまでの距離ｃ１、サブレンズアレイＳＬＡから撮像素子の表面（撮像面ＩＥ）までの距離ｃ２、各サブレンズの径、各撮像素子のサブレンズに対する相対位置、等の情報を記憶している。
撮像設定記憶部４１０は、撮像パラメータを撮像制御部２２０に伝達する。
また、撮像設定記憶部４１０は、撮像部１０の撮像設定情報及び固定パラメータを示す情報を画像処理部２１０に伝達する。
画像記憶部４２０は、画像再構成装置３０が再構成した画像を記憶する。画像記憶部４２０は、インターフェース部５０のＩ／Ｏ部５１０と表示部５２０とに、記憶した画像を伝達する。
インターフェース部（図ではＩ／Ｆ部と記述する）５０は、デジタルカメラ１とその使用者（ユーザ）あるいは外部装置とのインターフェースに係る構成であり、Ｉ／Ｏ部５１０と、表示部５２０と、操作部５３０と、から構成される。
Ｉ／Ｏ部（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ部）５１０は、物理的にはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやビデオ出力端子と、入出力制御部と、から構成される。Ｉ／Ｏ部５１０は記憶部４０に記憶された情報を外部のコンピュータに出力し、外部から伝達された情報を記憶部４０に伝達する。
表示部５２０は、液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等から構成され、撮像設定記憶部４１０に記憶される撮像パラメータを入力するための画面や、デジタルカメラ１を操作するための画面を表示する。また、表示部５２０は、画像記憶部４２０に記憶された画像を表示する。
操作部５３０は、例えばデジタルカメラ１に備えられた各種ボタンや表示部５２０に備えられたタッチパネルと、各種ボタンやタッチパネルに行われた操作の情報を検出して記憶部４０と情報処理部２０とに伝達する伝達部を含み、ユーザ操作の情報を記憶部４０や情報処理部２０に伝達する。
デジタルカメラ１は上記構成により、図３（ｂ）に示すようにＬＦＩを撮影し、ＬＦＩから再構成画像ＲＩを生成して出力する。
次に、画像再構成装置３０の構成について、図４を参照して説明する。
画像再構成装置３０は、図４（ａ）に示すように情報処理部３１と、主記憶部３２と、外部記憶部３３と、入出力部３６と、内部バス３７と、から構成される。
情報処理部３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、内部キャッシュとして用いるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）から構成され、画像再構成装置３０のその他の部位を用いて後述する処理を実行する。
主記憶部３２は、記憶部４０の主記憶装置と同様の物理構成を持つ。外部記憶部３３は、記憶部４０の外部記憶装置と同様の物理構成を持ち、プログラム３８を記憶している。入出力部３６は、Ｉ/Ｏ部５１０と同様の物理構成を持つ。内部バス３７は、情報処理部３１と、主記憶部３２と、外部記憶部３３と、入出力部３６と、を接続する。
情報処理部３１、主記憶部３２と、外部記憶部３３と、入出力部３６と、内部バス３７と、はデジタルカメラ１の情報処理部２０の内部回路と、記憶部４０と、インターフェース部５０と、によって実現される機能ブロックであってもよい。
画像再構成装置３０は、外部記憶部３３に記憶されたプログラム３８及びデータを主記憶部３２にコピーして、情報処理部３１が、主記憶部３２を使用してプログラム３８を実行することにより、後述する画像を再構成するための処理を実行する。
画像再構成装置３０は、上記のような物理構成により、図４（ｂ）に示すように、ＬＦＩ取得部３００と、撮影設定取得部３１０と、情報処理部３２０と、記憶部３３０と、出力部３４０と、として機能する。情報処理部３２０はマスク取得部３２１０と原型定義部３２２０と再構成画素選択部３２３０と対応画素抽出部３２４０と画素値算出部３２５０とを含む。記憶部３３０はマスク記憶部３３１０と再構成設定記憶部３３２０と再構成画像記憶部３３３０とを含む。
ＬＦＩ取得部３００は、画像処理部２１０からＬＦＩを受け取り、情報処理部３２０のマスク取得部３２１０に伝達する。
撮影設定取得部３１０は画像処理部２１０から撮影設定情報を受け取り、情報処理部３２０のマスク取得部３２１０に伝達する。
情報処理部３２０は、ＬＦＩ取得部３００と撮影設定取得部３１０とから取得した情報と、記憶部３３０に記憶された情報と、を用いて、ＬＦＩから再構成画像を生成して再構成画像記憶部３３３０を通して出力部３４０に出力する。
記憶部３３０のマスク記憶部３３１０は、後述するマスクとパラメータマスク対応表とを記憶する。再構成設定記憶部３３２０は、再構成画像に写るべき被写体のメインレンズからの仮想的な距離ａ１を含む再構成設定を記憶する。再構成画像記憶部３３３０は、情報処理部３２０が算出する再構成画像の各画素の画素値を記憶する。また、生成を終えた再構成画像を出力部３４０に伝達する。
出力部３４０は伝達された再構成画像を外部（画像記憶部４２０）に出力する。
情報処理部３２０のマスク取得部３２１０は、ＬＦＩ取得部３００からＬＦＩを、撮影設定取得部３１０から撮影設定情報を取得すると、マスク記憶部３３１０に記憶されたマスクのうち、撮影設定情報に応じたマスクを取得する。
このマスクは、ＬＦＩを構成する画素について、サブ画像に含まれる領域（サブ画像内領域）と含まれない領域（サブ画像外領域）とを区別して定義する。
ここで、マスク記憶部３３１０が記憶し、マスク取得部３２１０が取得するマスクについて、図５〜図７を参照して説明する。
メインレンズＭＬは、鏡胴ＬＢに収められている（図５（ａ）、図５（ｃ））。メインレンズＭＬを通ってあるサブレンズ（ＳＬ１）を通じた光は撮像面ＩＥ上に被写体の像（サブ画像）を投影する。サブ画像は、メインレンズＭＬとサブレンズＳＬ１の光学中心を結んだ直線を通る光線を主光線とし、主光線を中心とした所定の角度からの光線の情報を含む。あるサブレンズを通る主光線と撮像面ＩＥとの交点が、そのサブレンズＳＬ１に対応するサブ画像の中心（サブ画像中心ＳＩＣ）となる（図５（ａ）のＳＩＣ１、図５（ｃ）のＳＩＣ２）。
撮像面ＩＥには、対応するサブレンズ（ＳＬ１、ＳＬ２）を通った光により、サブ画像中心（ＳＩＣ１、ＳＩＣ２）を中心とする境界が曖昧な像を投影する。この像は、サブレンズが円形である場合は、メインレンズＭＬの光軸ＯＡの近辺で略円形となる。この像はサブ画像に対応するが、その外辺部はメインレンズのうち有効径ＥＤ外の部分や鏡胴ＬＢ等のカメラの物理構成から影響を受けるためノイズを多く含む。さらに、外辺部ではマイクロレンズの収差の影響も大きい。そのため、外辺部はＳ／Ｎ比が小さく、再構成画像を生成する際にノイズの原因となる。
撮像面ＩＥ上のある画素のＳ／Ｎ比は、その他の条件が同じでも撮影設定（撮像パラメータ及びカメラの物理構造等）により変動する。そのため、再構成処理にあたって、撮影設定に基づき各画素のＳ／Ｎ比を推定し、許容範囲であるか判別する処理が必要となる。しかし、このような処理を再構成時に各画素について実行すると計算量が大きくなってしまう。
本実施形態ではＬＦＩの画素（ＬＦＩ画素）のうちＳ／Ｎ比が許容範囲である領域をサブ画像内領域、サブ画像内領域の画素をサブ画素と呼ぶ。本実施形態では、サブ画像内領域の画像をサブ画像とする。一方、許容範囲外である領域をサブ画像外領域、サブ画像外領域の画素を非サブ画素とする。本実施形態では、サブ画像内領域とサブ画像外領域を定義したマスクを、設計上想定される可変パラメータ（撮影設定のうち可変な設定）に対応して複数記憶しておく。複数のマスクのうち、再構成時に現在の撮影設定に応じたマスクを選択して用いることで、計算量を小さくする。以下、あるサブレンズに対応するサブ画素の集合を、そのサブレンズのサブ画像とする。
鏡胴ＬＢは入射する光を遮るが、光軸ＯＡに近いサブレンズ（ＳＬ１等）を通る光線については、その影響は小さい（図５（ａ））。そのため、ＬＦＩの光軸ＯＡに対応する部分（ＬＦＩ中心）に近い部分では、サブ画像ＳＩ１の形状が円形に近い（図５（ｂ）左）。そのため、マスクの定義するサブ画像もこの部分では円形に近い（図５（ｂ）右）。なお、図５（ｂ）右では、サブ画素を白で、非サブ画素を黒で、それぞれ示している。以下同様である。
一方、光軸ＯＡから遠いサブレンズ（ＳＬ２等）を通る光線については、特に周辺部で鏡胴ＬＢの影響を強く受けるため、サブ画像も歪んでいる（図５（ｄ）左）。図５（ｃ）に示すように、ＳＩ２上で光軸ＯＡに遠い部分は鏡胴ＬＢの外側（外側鏡胴）の部分の影響を主に受ける。一方、ＳＩ２上で光軸ＯＡに近い部分は鏡胴ＬＢの内側（内側鏡胴）の影響を主に受ける。
そのため、マスクの定義するサブ画像もこの部分では内側鏡胴の長さ（Ｌｉｌｂ）と外側鏡胴の長さ（Ｌｏｌｂ）に影響を受けて歪んでいる（図５（ｄ）右）。
マスク取得部３２１０が取得するマスクＭの具体的な形状を、図６を参照して説明する。マスクＭは、サブ画像の数に対応する数の窓（それぞれサブ画像内領域に対応）をもつ。マスクの中央は光軸ＯＡ（ＬＦＩ中心）に対応し、ＬＦＩ中心を原点として横軸をｘ、縦軸をｙとする座標系を定義する（図６（ａ））。この例では、マスクはｘ軸方向に６１個（−３０〜＋３０）個、ｙ軸方向に３９個（−１９〜＋１９）、の窓を持つ。以下、横にｘ個目、縦にｙ個目の窓をＷ（ｘ、ｙ）、Ｗ（ｘ、ｙ）に対応するサブ画像をＳＩ（ｘ、ｙ）と標記する。
一つのサブ画像に対応する窓の例として、図６（ａ）の左上の窓（Ｗ（−２９、＋１８））を図６（ｂ）に示す。
図６（ｂ）では、窓の中心（ＳＩ（−２９、＋１８）のサブ画像中心に対応）をＳＩＣ、ＳＩＣとＬＦＩ中心を通る直線をｃｘ、ＳＩＣを通りｃｘに垂直な直線をｐｘで示している。ｃｘの矢印はＬＦＩ中心の方向を示す。
図６（ｂ）の例では、Ｗ（−２９、＋１８）はＬＦＩ中心に向かって外側が内側と比して大きく潰れた歪な円形を示す。この形状は、図６（ｃ）に示したように、ｐｘから内側は長径がａで短軸がｂｉｎの楕円（点線）で近似できる。一方、外側は長軸がａで短軸がｂｏｕｔの楕円（２点鎖線）で近似できる。
マスクの各窓の形状およびサブ画像中心の位置は、以下のパラメータによって定まる。マスクを生成する具体的な方法については後述する。
（１）メインレンズの設定（メインレンズの最大径ＬＤ、有効径ＥＤ、内側鏡胴長Ｌｉｌｂ、外側鏡胴長Ｌｏｌｂ）
（２）メインレンズ・マイクロレンズ・撮像素子（撮像面ＩＥ）の位置関係（メインレンズとマイクロレンズとの距離（ｃ１）、マイクロレンズと撮像面ＩＥとの距離ｃ２）
（３）個々のマイクロレンズの、光軸ＯＡからの距離、大きさ及び形状
マスク記憶部３３１０は、上記パラメータのうち設定上固定されたパラメータに適合するように生成されたマスクを記憶している。また、撮影ごとに可変するパラメータについては、設定上想定される範囲でパラメータに適合するマスクを複数記憶している。各マスクにはインデックスとなる識別子（＃１〜＃Ｍ）が割り当てられている。マスク記憶部３３１０は、各マスクの識別子と、そのマスクに対応する各可変パラメータの範囲と、を対応付けて登録したパラメータマスク対応表（図７）をさらに記憶している。
パラメータマスク対応表の例を図７に示す。このパラメータマスク対応表は、考慮すべき可変パラメータが絞り値とズーム値（メインレンズの位置に対応）とである場合のパラメータマスク対応表の例である。ここで、絞り値はメインレンズの有効径ＥＤに１対１に対応する。また、ズーム値によりメインレンズの位置が定まれば、本実施形態のようにメインレンズの交換等を考慮しない場合の内側鏡胴長及び外側鏡胴長、焦点距離ｆＭＬが一意に定まる。この例では、ズームはデジタルにＮ段階（例えば２５段階）に設定でき、絞りは１（最小絞り）から１００（最大開放）まで設定可能である。パラメータマスク対応表はこれらの可変パラメータが取り得る値について、対応するマスクを一つ定義している。図７の例では、撮像設定が示すズームの値が２でありと、絞りの値が１８であれば、マスク取得部３２１０は対応するマスクとして＃ｍ＋２を取得する。
マスク取得部３２１０は、パラメータマスク対応表が定義する現在の撮影設定情報に合致するマスクを取得する。そして、取得したマスクをＬＦＩに重ねて、原型定義部３２２０に伝達する。
原型定義部３２２０は、再構成設定記憶部３３２０に記憶されている再構成設定に基づいて、再構成画像の原型（ひな形）をメインレンズＭＬから距離ａ１の面（再構成面）に配置する。ここで言う原型とは、画素値が全て０（あるいは未設定）の画像である。そして、定義した原型を再構成画素選択部３２３０に伝達する。
再構成画素選択部３２３０は、原型定義部３２２０が定義した再構成画像の画素（再構成画素）のうち一つを注目画素として定める。そして、対応画素抽出部３２４０に、注目画素の情報を伝達する。
対応画素抽出部３２４０は、再構成画素選択部３２３０が選択した注目画素から光線追跡して、注目画素からの光が届いたＬＦＩ上の画素（対応画素候補）をサブレンズ毎に抽出する。対応画素抽出部３２４０は、対応画素候補のうちそのサブレンズに対応する窓の内部（サブレンズ内領域）に位置する画素を、注目画素に対応する画素（対応画素）として抽出する。一方、対応画素候補のうち、そのサブレンズに対応する窓の外側（サブレンズ外領域）に位置する画素については後述の画素値算出処理の処理対象から除外する。
なお、本実施形態では想定される撮影設定及び再構成設定に対して、注目画素の対応画素は各サブレンズについて一つであるように調整されているとする。
対応画素抽出部３２４０は抽出した対応画素の情報を画素値算出部３２５０に伝達する。
画素値算出部３２５０は、対応画素の画素値に基づいて注目画素の画素値を算出する。この処理の具体的な内容については後述する。
画素値算出部３２５０は算出した注目画素の画素値を再構成画像記憶部３３３０に記憶する。再構成画素選択部３２３０から画素値算出部３２５０が再構成画像に含まれる全ての画素を順次注目画素として画素値を定め、再構成画素を算出する。
ここで、画像再構成装置３０が実行するＬＦＩから再構成画像を生成して出力するための処理（再構成画像出力処理）を、図８から図１０を参照して説明する。
ユーザがデジタルカメラ１を用いてＬＦＩを撮影し、画像処理部２１０がＬＦＩを生成して撮影設定情報と共に画像再構成装置３０に伝達すると、画像再構成装置３０は図８に示す再構成画像出力処理を開始する。
再構成画像出力処理では、まずＬＦＩ取得部３００がＬＦＩを取得する（ステップＳ１０１）。
そして、撮影設定取得部３１０が撮影設定情報を取得する（ステップＳ１０２）。
次に、マスク取得部３２１０が、パラメータマスク対応表が定める撮影設定情報に合致するマスクを取得する（ステップＳ１０３）。具体的には、撮影設定情報のうち撮影毎に変化し、マスクの取得にあたって考慮されるべく定められたパラメータ（ここでは絞り値とズーム値）を引数としてパラメータマスク対応表を参照し、マスクのインデックスを取得する。そして、マスク記憶部３３１０に記憶された複数のマスクのうち、取得したインデックスに合致するマスクを取得する。そしてマスクをＬＦＩに重ねて、ＬＦＩをサブ画像内領域とサブ画像外領域とに分別する。
そして、取得したマスクを用いて、再構成画像を生成するための処理（再構成画像生成処理）を実行する（ステップＳ１０５）。
ステップＳ１０５で実行される再構成画像生成処理を、図９と図１０を参照して説明する。
まず、再構成画素選択部３２３０は、再構成設定が指定するメインレンズと再構成面ＲＦとの距離を特定し（ステップＳ２０１）、再構成面ＲＦに再構成画像のひな形（原型）を設置する（ステップＳ２０２）。
そして再構成画素選択部３２３０が、ｋ２をカウンタ変数として、再構成画素の一つを注目画素とする（ステップＳ２０３）。このとき、注目画素は図１０における再構成面ＲＦ上の注目部位ＰＳに対応する。
次に、対応画素抽出部３２４０が注目部位ＰＳからの光線が撮影設定情報を用いてメインレンズの主点を通過してマイクロレンズアレイに到達した位置（サブレンズ上の到達位置ＰＳＬ）を特定する。対応画素抽出部３２４０が到達位置ＰＳＬを中心に、注目部位からの光が届いた範囲（メインレンズブラー、図１０の網線領域）を、レンズの特性からもとめる。メインレンズブラーの直径は、メインレンズＭＬと再構成面ＲＦとの距離ａ１、メインレンズと結像面ＭＩＰとの距離ｂ１（ａ１とメインレンズの焦点距離ｆＭＬから算出）、結像面ＭＩＰとサブレンズアレイＳＬＡとの距離ａ２と、メインレンズの有効径ＥＤと、から三角形の相似を用いて算出する。
対応画素抽出部３２４０がサブレンズアレイＳＬＡに含まれるサブレンズＳＬの内、一部又は全てがメインレンズブラーに含まれるサブレンズＳＬを特定する。図１０の例では、ＳＬ１〜ＳＬ５がメインレンズブラーに含まれる。そして、対応画素抽出部３２４０がｋ３をカウンタ変数として、特定されたサブレンズの内ｋ３番目のサブレンズを注目レンズとして選択する（ステップＳ２０４）。
注目画素からの光線が、選択されたサブレンズによって結像される位置にある、サブ画像上の画素（対応画素候補）を光線追跡により抽出する（ステップＳ２０５）。
具体的には、対応画素候補（到達点ＰＥに対応）を以下の手順で算出する。
まず、再構成面ＲＦに対応するメインレンズの焦点面までの距離ｂ１は既知の数値ａ１及びｆＭＬを用い、次の式（１）から算出することが出来る。
Figure 0005310837
また、ａ２は既知の数値ｃ１から、式（１）を用いて算出したｂ１を減算することで求めることができる。
さらに、被写体距離ａ１と、距離ｂ１と、既知の数値ｘ（ＰＳと光軸ＯＡとの距離）を以下の式（２）に用いて、注目部位ＰＳが、光軸ＯＡからメインレンズＭＬを通して結像する点（結像点ＰＦ）までの距離ｘ’を算出する
ｘ’＝ｘ・ｂ１／ａ１…（２）
さらに、光軸ＯＡからｋ３番目のサブレンズＳＬ（図１０の例ではＳＬ５）の主点までの距離ｄ、上記の式（２）を用いて算出された距離ｘ’、マイクロレンズアレイＬＡから撮像面ＩＥまでの距離ｃ２、及び距離ａ２を以下の式（３）に用いて、到達点ＰＥと光軸ＯＡとの距離ｘ’’を算出する。
Figure 0005310837
Ｙ軸方向にも同様に計算し、到達点ＰＥの位置を特定する。
そして、対応画素抽出部３２４０は対応画素候補がマスクが定義する注目サブレンズのサブ画像内領域の内部にある画素（サブ画素）であるか判別する（ステップＳ２０６）。
ステップＳ２０６で対応画素候補がサブ画像内領域にないと判別すると（ステップＳ２０６；ＮＯ）、その画素は注目画素について有効な情報を含まないと判断できる。そこで、ステップＳ２０７をスキップして、以後この画素については注目画素の画素値を求めるにあたって計算の対象としない。
そして、ｋ３をインクリメントして（ステップＳ２０９）、次のサブレンズを注目サブレンズとしてステップＳ２０４から処理を繰り返す。
サブ画像内領域の内部にあるサブ画素であると判別すると（ステップＳ２０６；ＹＥＳ）、その画素は対応画素であると判別する。そして、画素値算出部３２５０が注目サブレンズとメインレンズブラーとが重なっている面積を計算し、これをサブレンズの面積で割ってサブレンズの重み係数とする（ステップＳ２０７）。
そして、全てのメインレンズブラーと重なっているサブレンズについて上記処理済みであるか判別する（ステップＳ２０８）。未処理のサブレンズがある場合（ステップＳ２０８；ＮＯ）、ｋ３をインクリメントして（ステップＳ２０９）、次のサブレンズを注目サブレンズとしてステップＳ２０４から処理を繰り返す。
全てのメインレンズブラーと重なっているサブレンズについて処理済の場合（ステップＳ２０８；ＹＥＳ）、ステップＳ２０６で判別した各対応画素の画素値を抽出し、ステップＳ２０７で算出した重みを用いて重み付け加算する。
重み付け加算した値を、重なり面積の総和で除算して注目画像の画素値とする（ステップＳ２１０）。
ステップＳ２１０で注目画素の画素値を算出すると、次に全ての再構成画素について上記処理を実行したか判別する（ステップＳ２１１）。
未処理の再構成画素がある場合（ステップＳ２１１；ＮＯ）、ｋ２をインクリメントし（ステップＳ２１２）、次の再構成画素を注目画素としてステップＳ２０３から処理を繰り返す。
一方、全ての再構成画素について処理済であるとした場合は（ステップＳ２１１；ＹＥＳ）、再構成画像生成処理は終了する。
図８に戻って、ステップＳ１０５で再構成画像を生成すると、出力部３４０が生成した再構成画像を外部（画像記憶部４２０）に出力する（ステップＳ１０６）。そして、再構成画像出力処理は終了する。
その後、再構成画像は表示部５２０やＩ／Ｏ部５１０に出力される。
次に、マスク記憶部３３１０が記憶するマスクの生成処理の例を、図１１を参照して説明する。
デジタルカメラ１の画像再構成装置３０のマスク記憶部３３１０に記憶するためのマスクは、情報処理装置（以下、マスク生成装置）が図１１に示すマスク生成処理を実行することによって生成する。マスク生成装置は、図４（ａ）に示すような物理構成を持つ情報処理装置である。マスク生成装置は、デジタルカメラ１の情報処理部であってもよいし、一般的なコンピュータであっても良い。
マスク生成装置は、電源が入れられ、マスクを生成するための処理を開始するユーザの操作を受け付けると、図１１に示すマスク生成処理を開始する。
マスク生成処理では、まず生成すべきマスクの設定（ＬＦＩの解像度、サブ画像の縦・横それぞれの個数）を取得する（ステップＳ３０１）。ここでは、図６（ａ）に示す縦に３９個、横に６１個のサブ画像のための窓を持つマスクを生成する。合わせて、初期設定として全ての領域をサブ画像外領域として設定する。
そして、マスク生成装置はマスクを生成するための設定を取得する（ステップＳ３０２）。
ここでは、設定値としてデジタルカメラ１における以下の数値を取得する。
（１）生成するマスクが対応する絞り値（代表値）及び絞り値に対応するメインレンズの有効径ＥＤ。また、このマスクを適用しうる絞り値の範囲。
（２）メインレンズＭＬの最大径ＬＤ。
（３）生成するマスクが対応するズーム値。また、そのズーム値でメインレンズを設定した場合の焦点距離ｆＭＬ、内側鏡胴長Ｌｉｌｂ、外側鏡胴長Ｌｏｌｂ、メインレンズＭＬとサブレンズアレイＳＬＡとの距離（ｃ１）。
（４）各サブレンズの配置（サブレンズの光学中心の光軸ＯＡに対する相対位置）
（５）撮像面ＩＥとサブレンズアレイＳＬＡとの距離ｃ２。
これら（１）〜（５）の各パラメータは、それぞれ代表値と、適用できる許容範囲を定めたものであってよい。
この設定値は、デジタルカメラ１の物理的な構成を鑑みて今回のマスク生成処理で生成するマスクの設定値としてユーザが入力するものとする。
そして、各窓Ｗ（−３０、−１９）〜Ｗ（＋３０、＋１９）の長軸ａ（図６（ｃ）の軸ｐｘ方向の長さ）を算出する（ステップＳ３０３）。ａは絞り値に対応するメインレンズの有効径ＥＤが（他の条件は一定として）大きくなるほど大きくなる。また距離ｃ２が（他の条件は一定として）大きくなるほど大きくなる。さらに、距離ｃ１が（他の条件は一定として）小さくなると大きくなる。なおここでは、長軸ａは有効径ＥＤと、メインレンズＭＬとサブレンズアレイＳＬＡとの距離（ｃ１）と、撮像面ＩＥとサブレンズアレイＳＬＡとの距離ｃ２と、を用いて以下の式（４）で算出するとする。
ａ＝Ｄ×ｃ２／ｃ１・・・（４）
ここでは長軸ａは全ての窓について共通とする。
なお、ａはメインレンズの有効径ＥＤ又は距離ｃ２が大きくなるほど、また距離ｃ１が小さくなるほど、大きくなることを条件として任意の算出方法を用いて算出しても良い。例えば、Ｄ＾２×ｃ２＾２／ｃ１＾２といった式で代替可能である。また、教師画像をデジタルカメラ１に撮影させ、得られたＬＦＩ上のサブ画像の候補を教師画像と比較し、ノイズが一定以下である軸ｐｘ方向の領域の長さを平均して、得られた数値を各サブ画像の長軸ａとして設定しても良い。
そして、ｋ１をカウンタ変数とし、サブレンズアレイＳＬＡ上のｋ１番目のサブレンズＳＬを注目サブレンズとして選択する（ステップＳ３０４）
次に、注目サブレンズについて、サブ画像中心ＳＩＣの位置を求める（ステップＳ３０５）。サブ画像中心ＳＩＣは、メインレンズＭＬの光学中心と、注目サブレンズの光学中心とを結んだ直線が撮像面ＩＥと交わる点である。以下、注目サブレンズの光学中心と光軸ＯＡとの距離をｘ’’とする。
さらに、対応する部位の窓のＬＦＩ中心方向の軸ｃｘ方向の長さ（図６（ｃ）のｂｉｎ及びｂｏｕｔ）を算出する（ステップＳ３０６）。
あるサブレンズＳＬに対応するサブ画像ＳＩにおいて、ｂｏｕｔとｂｉｎを算出する方法を、図１２を参照して説明する。サブ画像ＳＩに到達する光は、メインレンズＭＬとサブレンズＳＬの光学中心を貫く直線Ｌを中心とした所定範囲の光線である。
ここで、サブレンズＳＬの光学中心と、内側鏡胴の端とを結ぶ線（内側線Ｌｉｎ）は、サブ画像の光軸ＯＡ側の領域に到達する光のうち、その主光線が鏡胴ＬＢに接触しない最も鏡胴ＬＢよりのラインである。
また、サブ画像ＳＩの光軸ＯＡから外側の点からサブレンズＳＬの光学中心を通って、メインレンズＭＬに到達する光について光路追跡を行うと、その主光線が外側鏡胴に接触する最も鏡胴ＬＢよりの線（外側線Ｌｏｕｔ）を求めることが出来る。
図１２に示すように、サブ画像ＳＩに到達する光のうち、主光線が鏡胴ＬＢに遮られない光線は、外側線Ｌｏｕｔと内側線Ｌｉｎの間の光である。
メインレンズＭＬの光軸ＯＡと、ＬｏｕｔとメインレンズＭＬの交点との距離をＤｏｕｔとする。ＬｉｎとメインレンズＭＬの交点との距離をＤｉｎとする。ＤｏｕｔとＤｉｎはメインレンズの屈折率（ズーム値に一対一に対応）と、ｃ１と、ｃ２と、Ｌｏｌｂと、Ｌｉｌｂと、サブレンズの光軸ＯＡからの相対位置（ｘ’）から求めることが出来る。
図１２が示すように、ｂｏｕｔは、サブ画像に到達する光が外側鏡胴に遮られる度合いが小さい（Ｄｏｕｔが大きい）ほど大きくなる。また、ｃ２が大きいほど大きくなる。一方、ｃ１が大きくなれば小さくなる。
ｂｉｎは、内側鏡胴に遮られる度合いが小さい（Ｄ ｉｎ が大きい）ほど大きくなる。また、ｃ２が大きいほど大きくなる。一方、ｃ１が大きくなれば小さくなる。また、有効径ＥＤの端部と鏡胴ＬＢとの距離が小さい（最大径ＬＤと有効径ＥＤとの差が小さい）ほど、鏡胴ＬＢに光が遮られる割合は大きい。そのため、最大径ＬＤが同じ場合、有効径ＥＤが小さくなるとサブ画像ＳＩの形の歪み（ｂｏｕｔとｂｉｎの差）が大きくなる。
本実施形態では外側線Ｌｏｕｔと内側線Ｌｉｎの間の領域を有効なサブ画像の領域とし、ｂｏｕｔとｂｉｎとを、図１２から導出できる次の式（５）、（６）を用いて算出する。
ｂｉｎ＝（Ｄｉｎ×ｃ２／ｃ１）×２…（５）
ｂｏｕｔ＝（Ｄｏｕｔ×ｃ２／ｃ１）×２…（６）
なお、ｂｉｎは内側鏡胴に遮られる度合いが小さいほど大きくなる（ｃ２が大きいほど大きくなり、ｃ１が大きくなれば小さくなる）ことを条件として任意の算出方法を用いて算出しても良い。例えば、式（５）はＤｉｎ＾２×ｃ２＾２／ｃ１＾２といった式で代替可能である。また、教師画像をデジタルカメラ１に撮影させ、得られたＬＦＩ上のサブ画像の候補を教師画像と比較し、ノイズが一定以下である軸ｃｘの内側方向の領域の長さを求め、得られた数値を各サブ画像の長さｂｉｎとして設定しても良い。
ｂｏｕｔについても同様の変形が可能である。
上記のようにステップＳ３０６で式（５）と式（６）とを用いてｂｉｎとｂｏｕｔを求めると、ステップＳ３０５で求めたサブ画像中心と光軸ＯＡとを結んだ軸ｃｘと、軸ｃｘと垂直に交わりサブ画像中心を通る軸ｐｘと、をマスク上で定める（ステップＳ３０７）。
さらに、上記方法で求めた形状で、マスク上に注目サブレンズに対応する窓（サブ画像内領域）を定義する（ステップＳ３０８）。
ここでは、サブ画像中心から軸ｐｘの光軸ＯＡ側が長軸ａで短軸がｂｉｎの楕円（図６（ｃ）の点線の楕円）であり、光軸ＯＡの逆側が長軸ａで短軸がｂｏｕｔの楕円（図６（ｃ）の２点鎖線の楕円）である領域を、注目サブレンズの対応窓（サブ画像内領域）としてマスク上に定義する。なお、このマスクを用いる場合は、たとえ形式上ここで求めたサブ画像内領域に到達したとしても、注目サブレンズ（対応サブレンズ）でないサブレンズを通った光線追跡の結果であれば、サブ画像外領域として扱う。
次に、全てのサブレンズについて、対応するサブ画像内領域を定義したか判別する（ステップＳ３０９）。
未処理のサブレンズが残っていた場合（ステップＳ３０９；ＮＯ）、カウンタ変数ｋ１をインクリメントし（ステップＳ３１０）、次のサブレンズを注目サブレンズとしてステップＳ３０４から処理を繰り返す。
一方、全てのサブレンズについて上記処理済であれば（ステップＳ３０９；ＹＥＳ）、現在のパラメータについてマスク生成処理を終了する。
このように生成されたマスクは、マスクのインデックスを与えられてマスク記憶部３３１０に記憶される。さらに、与えられたインデックスと、このマスクを適用できる範囲の対応する動的パラメータと、を対応付けてパラメータマスク対応表に登録される。
本実施形態で、外側鏡胴長Ｌｏｌｂが変化した場合にマスクに与える影響を、図１３を用いて説明する。外側鏡胴長Ｌｏｌｂが短い場合（図１３（ａ））、サブレンズＳＬ２が光軸ＯＡからやや大きい距離ｘ’だけ離れていた場合でも、対応するサブ画像（ＳＩ３）のｂｏｕｔは長軸ａに比べて小さくならない。
外側鏡胴長Ｌｏｌｂが図１３（ａ）より長くなると、（図１３（ｂ））、サブレンズＳＬ２が同じ距離ｘ’だけ離れていた場合に、サブレンズを通して対応サブ画像（ＳＩ４）の軸ｐｘの光軸ＯＡの逆方向の領域に届く光は外側鏡胴に遮られる。
その結果、対応するサブ画像（ＳＩ４）のｂｏｕｔは長軸ａに比べて小さくなる。
さらに外側鏡胴長Ｌｏｌｂが長くなり（図１３（ｃ））、外側鏡胴がサブレンズＳＬ２とメインレンズＭＬとを結ぶ直線に接触する場合は（図１３（ｃ））、軸ｐｘの光軸ＯＡの逆方向の領域に届くはずの光はほぼ遮断される。
その結果、ｂｏｕｔは非常に短くなる（ＳＩ５）。
この変化は、内側鏡胴長Ｌｉｌｂとｂｉｎについても同様に考えることが出来る。
以上の処理を設定上必要なパラメータについて実行して、マスク記憶部３３１０に記憶させる。このマスクを用いると、再構成画像生成及び表示のための処理を少ない必要計算量で実行することができる。
以上説明したように、上記実施形態では各サブ画素・サブ画像毎に光線追跡を行い、撮影パラメータと撮影に用いた光学系の物理構造に鑑みてＳ／Ｎ比の多寡を推定する必要が無い。また、サブ画素ごとの重み付け処理を、マスクが定義したサブ画像内領域の画素のみ対して実行することができる。そのため、本実施形態の画像再構成装置３０によれば、ＬＦＩを取得したパラメータに合致したマスクを用いてサブ画像内領域かサブ画像外領域かを高速に判定することが出来るため、再構成画像の生成のために必要な計算量が減少する。また、マスクが定義する、その撮影設定でＬＦＩを取得した場合にＳ／Ｎ比が許容範囲であると想定される画素のみを用いて画素値を決定するため、ノイズが少ない再構成画像を生成することが出来る。
また、本実施形態のデジタルカメラ１を用いれば、ＬＦＩを取得し、再構成画像を生成する処理が一つのハードウェアで高速に実行できる。また、最構成画像を生成するための処理量が少ないため、デジタルカメラ１を小型化することが出来る。
（変形例）
本発明は、上記実施形態に限定されず、さまざまな変形が可能である。
例えば、上記実施例ではマスクを図１１のマスク生成処理を用いて生成した。しかし、本発明で用いるマスクの生成方法はこれに限られない。
本発明のマスクは、次のような性質を持つマスクを生成する任意の方法を用いて生成されて良い。ある撮影パラメータに対応するマスクを生成するその他の方法の例として、教師データとなる被写体をデジタルカメラ１を用いてその撮影パラメータで撮影させる方法が考えられる。このような方法では、得られたＬＦＩの画素からＳ／Ｎ比が所定の許容範囲に収まる領域を求めてサブ画像内領域とする。
また、上記実施形態では図７のパラメータマスク対応表を用いてマスクを取得したが、本発明の実施形態ではこれに限らず、動的に設定が必要な任意のパラメータのそれぞれについてマスクを対応付けたパラメータマスク対応表を用いることが出来る。例えば、デジタルカメラ１がメインレンズやサブレンズを交換可能な場合には、鏡胴長とｆＭＬとをそれぞれ独立したパラメータとしたパラメータマスク対応表を用いてマスクのインデックスを取得してもよい。
また、パラメータのマスクを対応付ける方法はパラメータマスク対応表によらず、既知の任意の対応付け方法で代替可能である。
このようなパラメータとマスクとを対応付ける方法を用いてマスクを選択する構成により、撮影時のパラメータに合致するマスクを、高速に取得することが出来る。
望ましくは本発明のマスクはメインレンズの最大径（ＬＤ）が大きくなり、その他の設定が一定であれば、ＬＦＩの周辺部と中央部でマスク形状の差異が小さくなる。即ち、ＬＦＩの中心部周辺でサブ画像内領域が正円に近い場合に、ＬＤが大きければＬＦＩの周辺部でも正円に近い形状となる。
このような性質を持つことにより、マスクはメインレンズの最大径を反映するので、このマスクを用いるとメインレンズの大きさを織り込んだ精度の高い再構成画像を生成できる。
望ましくは本発明のマスクはメインレンズの有効径ＥＤが大きくなり、その他の設定が一定であれば、サブ画像内領域がそれぞれ大きくなる。このような性質を持つことにより、マスクはメインレンズの有効径を反映するので、このマスクを用いるとメインレンズの有効径を織り込んだ精度の高い再構成画像を生成できる。
望ましくは本発明のマスクはメインレンズの鏡胴長（内側及び外側）が長くなり、その他の設定が一定であれば、ＬＦＩの中心部周辺と周辺部でサブ画像内領域の形状の差異（上記実施例ではｂｉｎとｂｏｕｔの差）が大きくなる。このような性質を持つことにより、マスクは鏡胴により光線が遮られる程度を反映する。そのため、このようなマスクを用いると鏡胴により光線が遮られる程度を織り込んだ精度の高い再構成画像を生成できる。
望ましくは本発明のマスクはサブレンズが光軸ＯＡから遠くなるほど、対応するサブ画像内領域の形状の歪み（上記実施例ではｂｉｎとｂｏｕｔの差）が大きくなる。このような性質を持つことにより、マスクはサブレンズの位置を反映することとなるので、このマスクを用いるとサブレンズの位置を織り込んだ精度の高い再構成画像を生成できる。
望ましくは本発明のマスクはサブレンズとサブレンズとの間の距離が大きいほど、また、サブレンズと撮像面との距離が離れるほど、サブ画像中心同士の距離も離れる。一方、メインレンズとサブレンズの距離が離れるほど、サブ画像中心同士は密着する。このような性質を持つことにより、マスクはそのサブレンズ画像中心の位置をサブレンズと撮像面の位置を織り込んで定めたものとなる。そのため、このようなマスクを用いることにより、精度の高い再構成画像を生成できる。
なお、上記説明ではマスク記憶部３３１０は複数のマスクを記憶しおり、パラメータに基づいて好適なマスクを選択するものとした。しかし、ＬＦＩを撮影する設定によるマスクの形状の差が小さく、一つのマスクで設定全体をカバーできる場合は、マスクは一つだけでも良い。
また、上記説明では一つのサブレンズについて対応画素がひとつである場合について説明したが、本発明は一つのサブレンズについて複数の対応画素がある場合でも応用できる。このような場合は、光線追跡で一つのサブレンズにつき複数の対応画素候補を抽出し、それぞれについてサブ画像内領域にあるか否か判別して対応画素か否か定めればよい。
また、上記説明ではＬＦＩと同じ大きさのマスクを記憶するものとしたが、本発明はこれに限らず、マスク中で形状が同一視できる領域については省略した形で記憶するものとしても良い。例えば、左上の領域（全体の１／４）だけをデータとして記憶し、左上以外の部分は左右又は上下に反転して記憶したデータを配置しても良い。このような構成によれば、マスクを記憶する記憶領域を節約できる。
さらに、本発明のマスクを用いて対応画素候補から対応画素を抽出する方法は、ＬＦＩから再構成画像を生成する任意の方法（例えば特許文献１で例示された方法）に応用可能である。
また、上記実施例では、画像をグレースケール画像であるとして説明したが、本発明の処理対象となる画像はグレースケール画像に限らない。例えば、画像は各画素にＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）、の三つの画素値が定義されたＲＧＢ画像であってよい。この場合、画素値をＲＧＢのベクトル値として同様に処理する。また、Ｒ、Ｇ、Ｂ、の各値をそれぞれ独立したグレースケール画像として、それぞれ上記処理を行っても良い。この構成によれば、カラー画像であるライトフィールド画像からカラー画像である再構成画素を生成できる。
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
情報処理部３１、主記憶部３２、外部記憶部３３、などから構成される画像再構成のための制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）に格納して配布し、前記コンピュータプログラムをコンピュータにインストールし、を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に前記コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで画像再構成装置を構成してもよい。
画像再構成装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
（付記１）
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像から再構成画像を生成する再構成画像生成装置において、
前記ライトフィールド画像を取得する画像取得部と、
前記ライトフィールド画像を撮影した撮影パラメータを取得する撮影パラメータ取得部と、
前記撮影パラメータに基づいて、前記撮影したライトフィールド画像に含まれる前記サブ画像の領域であるサブ画像領域を定めたマスクを取得するマスク取得部と、
前記再構成画像を構成する再構成画素と、前記マスク取得部が取得したマスクが定めたサブ画像領域にある画素であるサブ画素と、の対応を定義する対応定義部と、
前記再構成画素の画素値を、前記対応定義部が定義した当該再構成画素に対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する画像生成部と、
を備えることを特徴とする再構成画像生成装置。
（付記２）
前記撮影パラメータの所定範囲について、複数の前記マスクのそれぞれに対応する前記撮影パラメータの条件を定義したマスク情報を記憶するマスク条件記憶部を備え、
前記マスク取得部は、前記マスク条件記憶部に記憶されたマスク情報に基づいて、前記撮影パラメータ取得部が取得した前記撮影パラメータに合致するマスクを抽出する、
ことを特徴とする付記１に記載の再構成画像生成装置。
（付記３）
前記ライトフィールド画像は、被写体からの光を捉えるメインレンズと、当該メインレンズがとらえた光をさらに捉える前記複数の視点にそれぞれ対応する複数のマイクロレンズと、を用いて撮影された画像であり、
前記撮影パラメータは、前記ライトフィールド画像を撮影したメインレンズの有効径、当該メインレンズを収めた鏡胴の被写体側の長さである外側鏡胴長、当該鏡胴のマイクロレンズ側の長さである内側鏡胴長、の少なくとも一つに対応するパラメータを含む、
ことを特徴とする付記１又は２に記載の再構成画像生成装置。
（付記４）
前記マスク取得部が取得するマスクは、前記撮影パラメータ及び前記ライトフィールド画像を撮影した光学機器の物理構成におけるその他の条件が同じであれば、前記メインレンズの最大径が大きくなるに従って、前記ライトフィールド画像のうち前記メインレンズの光軸に対応する部位に近い中央部と、遠い周辺部と、において前記サブ画像領域の形状の差が小さくなる、
ことを特徴とする付記３に記載の再構成画像生成装置。
（付記５）
前記マスク取得部が取得するマスクは、前記撮影パラメータ及び前記ライトフィールド画像を撮影した光学機器の物理構成におけるその他の条件が同じであれば、前記メインレンズの有効径が大きくなるに従って前記サブ画像領域も大きくなる、
ことを特徴とする付記３又は４に記載の再構成画像生成装置。
（付記６）
前記マスク取得部が取得するマスクは、前記撮影パラメータ及び前記ライトフィールド画像を撮影した光学機器の物理構成におけるその他の条件が同じであれば、前記メインレンズの内側鏡胴長又は外側鏡胴長のいずれかが長くなるに従って、前記ライトフィールド画像のうち前記メインレンズの光軸に対応する部位に近い中央部と、遠い周辺部と、において前記サブ画像領域の形状の差が大きくなる、
ことを特徴とする付記３乃至５のいずれか一つに記載の再構成画像生成装置。
（付記７）
前記マスク取得部が取得するマスクは、前記マイクロレンズのそれぞれに対して、一つのサブ画像領域を定義し、
前記マイクロレンズが前記メインレンズの光軸から遠いほど、対応するサブ画像領域の形状が大きくゆがむように定義されている、
ことを特徴とする付記３乃至６のいずれか一つに記載の再構成画像生成装置。
（付記８）
前記マスク取得部が取得するマスクは、前記マイクロレンズのそれぞれに対して、一つのサブ画像領域を定義し、
前記マイクロレンズ間の距離又はマイクロレンズと撮像面との距離の少なくとも何れか一方が大きくなると、対応するサブ画像領域の中心が大きく離れる、
ことを特徴とする付記３乃至６のいずれか一つに記載の再構成画像生成装置。
（付記９）
前記マスク取得部が取得するマスクは、前記撮影パラメータ取得部が取得した撮影パラメータでライトフィールド画像を撮影した場合に想定されるＳ／Ｎ比が許容範囲である範囲を前記サブ画像領域として定めたマスクである、
ことを特徴とする付記１乃至８のいずれか一つに記載の再構成画像生成装置。
（付記１０）
被写体からの光を捉えるメインレンズと、当該メインレンズがとらえた光をさらに捉える複数の視点にそれぞれ対応する複数のマイクロレンズと、を用いて、それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像を撮影する撮影部と、
前記ライトフィールド画像を撮影した撮影パラメータを取得する撮影パラメータ取得部と、
前記撮影パラメータに基づいて、前記撮影したライトフィールド画像に含まれる前記サブ画像の領域であるサブ画像領域を定めたマスクを取得するマスク取得部と、
前記ライトフィールド画像から生成する再構成画像を構成する再構成画素と、前記マスク取得部が取得したマスクが定めたサブ画像領域にある画素であるサブ画素と、の対応を定義する対応定義部と、
前記再構成画素の画素値を、前記対応定義部が定義した当該再構成画素に対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する画像生成部と、
を備えることを特徴とするデジタルカメラ。
（付記１１）
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像から再構成画像を生成する再構成画像生成方法であって、
前記ライトフィールド画像を取得する工程と、
前記ライトフィールド画像を撮影した撮影パラメータを取得する工程と、
前記取得した撮影パラメータに基づいて、前記撮影したライトフィールド画像に含まれる前記サブ画像の領域であるサブ画像領域を定めたマスクを取得する工程と、
前記再構成画像を構成する再構成画素と、前記取得したマスクが定めたサブ画像領域にある画素であるサブ画素と、の対応を定義する工程と、
前記再構成画素の画素値を、前記定義した当該再構成画素に対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する工程と、
を含むことを特徴とする再構成画像生成方法。
（付記１２）
それぞれ異なる視点から被写体を撮影した複数のサブ画像を含むライトフィールド画像から再構成画像を生成する再構成画像生成装置を制御するコンピュータに、
前記ライトフィールド画像を取得する処理、
前記ライトフィールド画像を撮影した撮影パラメータを取得する処理、
前記取得した撮影パラメータに基づいて、前記撮影したライトフィールド画像に含まれる前記サブ画像の領域であるサブ画像領域を定めたマスクを取得する処理、
前記再構成画像を構成する再構成画素と、前記取得したマスクが定めたサブ画像領域にある画素であるサブ画素と、の対応を定義する処理、
前記再構成画素の画素値を、前記定義した当該再構成画素に対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する処理、
を実行させることを特徴とするプログラム。
１…デジタルカメラ、１０…撮像部、１１０…光学装置、１１１…シャッタ、１１２…絞り、１２０…イメージセンサ、２０…情報処理部、３０…画像再構成装置、３１…情報処理部、３２…主記憶部、３３…外部記憶部、３６…入出力部、３７…内部バス、３８…プログラム、２１０…画像処理部、２２０…撮像制御部、３００…ＬＦＩ取得部、３１０…撮影設定取得部、３２０…情報処理部、３２１０…マスク取得部、３２２０…原型定義部、３２３０…注目再構成画素選択部、３２４０…対応画素抽出部、３２５０…画素値加算部、３３０…記憶部、３３１０…マスク記憶部、３３２０…再構成設定記憶部、３３３０…再構成画像記憶部、３４０…出力部、４０…記憶部、４１０…撮像設定記憶部、４２０…画像記憶部、５０…インターフェース部（Ｉ／Ｆ部）、５１０…Ｉ／Ｏ部、５２０…表示部、５３０…操作部、ＬＦＩ…ライトフィールド画像、ＯＡ…光軸、ＯＢ…被写体、ＰＯＢ…被写体の部分、ＰＳ…注目部位、ＬＢ…鏡胴、ＭＬ…メインレンズ、ＳＩＣ１〜ＳＩＣ２…サブ画像中心、ＰＳＬ…サブレンズ上の到達位置、ＰＦ…結像点、ＭＩＰ…メインレンズ結像面、ＰＥ…到達点、ＣＷ…窓の中心、ＩＥ…撮像面、ＳＬＡ…サブレンズアレイ、Ｍ…マスク、Ｍ１〜Ｍ２…マスク、ＳＬ…サブレンズ、ＳＬ１〜ＳＬ５…サブレンズ、ＭＬＢ…メインレンズブラー、Ｓ１１〜ＳＭＮ…サブ画像、ＳＩ、Ｌｏｕｔ…外側線、Ｌｉｎ…内側線、ＳＩ１〜ＳＩ５…サブ画像、ＲＩ…再構成画像、ＲＦ…再構成面

Claims (14)

  1. 異なる視点で撮影された複数のサブ画像を含むライトフィールド画像から再構成画像を生成する画像生成装置において、
    前記ライトフィールド画像を撮影した際の撮影パラメータを取得するパラメータ取得部と、
    前記撮影パラメータに基づいて、前記ライトフィールド画像に含まれる前記サブ画像の領域を定めた領域情報を取得する情報取得部と、
    前記再構成画像を構成する再構成画素と、前記領域情報によって定められたサブ画像の領域にあるサブ画素と、の対応を定義する定義部と、
    前記再構成画素の画素値を、前記対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する生成部と、
    撮影パラメータの条件が対応付けられた複数の領域情報を記憶する記憶部と、
    を備え、
    前記情報取得部は、前記記憶部に記憶された複数の領域情報から、前記パラメータ取得部が取得した撮影パラメータに合致する領域情報を取得する、
    ことを特徴とする画像生成装置。
  2. 異なる視点で撮影された複数のサブ画像を含むライトフィールド画像から再構成画像を生成する画像生成装置において、
    前記ライトフィールド画像を撮影した際の撮影パラメータを取得するパラメータ取得部と、
    前記撮影パラメータに基づいて、前記ライトフィールド画像に含まれる前記サブ画像の領域を定めた領域情報を取得する情報取得部と、
    前記再構成画像を構成する再構成画素と、前記領域情報によって定められたサブ画像の領域にあるサブ画素と、の対応を定義する定義部と、
    前記再構成画素の画素値を、前記対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する生成部と、
    を備え、
    前記ライトフィールド画像は、メインレンズと複数のマイクロレンズとを用いて撮影された画像であり、
    前記撮影パラメータは、前記メインレンズの有効径、前記メインレンズを収めた鏡胴の被写体側の長さ、前記鏡胴のマイクロレンズ側の長さ、の少なくとも一つに対応するパラメータを含む、
    ことを特徴とする画像生成装置。
  3. 前記領域情報では、前記撮影パラメータ及び光学系の他の物理構成が同じであれば、前記メインレンズの最大径が大きくなるに従って、前記メインレンズの光軸に近い中央部と、遠い周辺部と、において前記サブ画像の形状の差が小さくなる、
    ことを特徴とする請求項２に記載の画像生成装置。
  4. 前記領域情報では、前記撮影パラメータ及び光学系の他の物理構成が同じであれば、前記メインレンズの有効径が大きくなるに従って前記サブ画像の領域は大きくなる、
    ことを特徴とする請求項２又は３に記載の画像生成装置。
  5. 前記領域情報では、前記撮影パラメータ及び光学系の他の物理構成が同じであれば、前記鏡胴のマイクロレンズ側の長さ又は前記鏡胴の被写体側の長さいずれかが長くなるに従って、前記メインレンズの光軸に近い中央部と、遠い周辺部と、において前記サブ画像の形状の差が大きくなる、
    ことを特徴とする請求項２乃至４のいずれか一項に記載の画像生成装置。
  6. 前記領域情報では、前記マイクロレンズのそれぞれに対してサブ画像が定義され、
    前記マイクロレンズが前記メインレンズの光軸から遠いほど、前記マイクロレンズに対応するサブ画像の形状が大きくゆがむように定義されている、
    ことを特徴とする請求項２乃至５のいずれか一項に記載の画像生成装置。
  7. 前記領域情報では、前記マイクロレンズのそれぞれに対してサブ画像が定義され、
    前記マイクロレンズ間の距離又は前記マイクロレンズと撮像面との距離の何れかが大きくなると、対応するサブ画像の中心が大きく離れる、
    ことを特徴とする請求項２乃至５のいずれか一項に記載の画像生成装置。
  8. 前記領域情報は、前記対応する撮影パラメータでライトフィールド画像を撮影した場合にＳ／Ｎ比が許容される範囲を、前記サブ画像の領域として定めた領域情報である、
    ことを特徴とする請求項１乃至７のいずれか一項に記載の画像生成装置。
  9. メインレンズと複数のマイクロレンズとを用いて、異なる視点で撮影される複数のサブ画像を含むライトフィールド画像を撮影する撮影部と、
    前記ライトフィールド画像を撮影した際の撮影パラメータを取得するパラメータ取得部と、
    前記撮影パラメータに基づいて、前記ライトフィールド画像に含まれる前記サブ画像の領域を定めた領域情報を取得する情報取得部と、
    前記ライトフィールド画像から生成する再構成画像を構成する再構成画素と、前記領域情報によって定められたサブ画像の領域にあるサブ画素と、の対応を定義する定義部と、
    前記再構成画素の画素値を、前記対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する生成部と、
    撮影パラメータの条件が対応付けられた複数の領域情報を記憶する記憶部と、
    を備え、
    前記情報取得部は、前記記憶部に記憶された複数の領域情報から、前記パラメータ取得部が取得した撮影パラメータに合致する領域情報を取得する、
    ことを特徴とするデジタルカメラ。
  10. メインレンズと複数のマイクロレンズとを用いて、異なる視点で撮影される複数のサブ画像を含むライトフィールド画像を撮影する撮影部と、
    前記ライトフィールド画像を撮影した際の撮影パラメータを取得するパラメータ取得部と、
    前記撮影パラメータに基づいて、前記ライトフィールド画像に含まれる前記サブ画像の領域を定めた領域情報を取得する情報取得部と、
    前記ライトフィールド画像から生成する再構成画像を構成する再構成画素と、前記領域情報によって定められたサブ画像の領域にあるサブ画素と、の対応を定義する定義部と、
    前記再構成画素の画素値を、前記対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する生成部と、
    を備え、
    前記ライトフィールド画像は、メインレンズと複数のマイクロレンズとを用いて撮影された画像であり、
    前記撮影パラメータは、前記メインレンズの有効径、前記メインレンズを収めた鏡胴の被写体側の長さ、前記鏡胴のマイクロレンズ側の長さ、の少なくとも一つに対応するパラメータを含む、
    ことを特徴とするデジタルカメラ。
  11. 異なる視点で撮影された複数のサブ画像を含むライトフィールド画像から再構成画像を生成する方法において、
    前記ライトフィールド画像を撮影した際の撮影パラメータを取得する工程と、
    前記撮影パラメータに基づいて、前記ライトフィールド画像に含まれる前記サブ画像の領域を定めた領域情報を取得する工程と、
    前記再構成画像を構成する再構成画素と、前記領域情報によって定められたサブ画像の領域にあるサブ画素と、の対応を定義する工程と、
    前記再構成画素の画素値を、前記対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する工程と、
    を含み、
    前記領域情報を取得する工程では、撮影パラメータの条件が対応付けられた、記憶装置に記憶された複数の領域情報から、前記撮影パラメータに合致する領域情報を取得する、
    ことを特徴とする方法。
  12. 異なる視点で撮影された複数のサブ画像を含むライトフィールド画像から再構成画像を生成する方法において、
    前記ライトフィールド画像を撮影した際の撮影パラメータを取得する工程と、
    前記撮影パラメータに基づいて、前記ライトフィールド画像に含まれる前記サブ画像の領域を定めた領域情報を取得する工程と、
    前記再構成画像を構成する再構成画素と、前記領域情報によって定められたサブ画像の領域にあるサブ画素と、の対応を定義する工程と、
    前記再構成画素の画素値を、前記対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する工程と、
    を含み、
    前記ライトフィールド画像は、メインレンズと複数のマイクロレンズとを用いて撮影された画像であり、
    前記撮影パラメータは、前記メインレンズの有効径、前記メインレンズを収めた鏡胴の被写体側の長さ、前記鏡胴のマイクロレンズ側の長さ、の少なくとも一つに対応するパラメータを含む、
    ことを特徴とする方法。
  13. 異なる視点で撮影された複数のサブ画像を含むライトフィールド画像から再構成画像を生成する画像生成装置を制御するコンピュータに、
    前記ライトフィールド画像を撮影した際の撮影パラメータを取得する機能、
    前記撮影パラメータに基づいて、前記ライトフィールド画像に含まれる前記サブ画像の領域を定めた領域情報を取得する機能、
    前記再構成画像を構成する再構成画素と、前記領域情報によって定められたサブ画像の領域にあるサブ画素と、の対応を定義する機能、
    前記再構成画素の画素値を、前記対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する機能、
    を実現させるためのプログラムであって、
    前記領域情報を取得する機能は、撮影パラメータの条件が対応付けられた、記憶装置に記憶された複数の領域情報から、前記撮影パラメータに合致する領域情報を取得する、
    ことを特徴とするプログラム。
  14. 異なる視点で撮影された複数のサブ画像を含むライトフィールド画像から再構成画像を生成する画像生成装置を制御するコンピュータに、
    前記ライトフィールド画像を撮影した際の撮影パラメータを取得する機能、
    前記撮影パラメータに基づいて、前記ライトフィールド画像に含まれる前記サブ画像の領域を定めた領域情報を取得する機能、
    前記再構成画像を構成する再構成画素と、前記領域情報によって定められたサブ画像の領域にあるサブ画素と、の対応を定義する機能、
    前記再構成画素の画素値を、前記対応するサブ画素の画素値に基づいて決定することにより、前記再構成画像を生成する機能、
    を実現させるためのプログラムであって、
    前記ライトフィールド画像は、メインレンズと複数のマイクロレンズとを用いて撮影された画像であり、
    前記撮影パラメータは、前記メインレンズの有効径、前記メインレンズを収めた鏡胴の被写体側の長さ、前記鏡胴のマイクロレンズ側の長さ、の少なくとも一つに対応するパラメータを含む、
    ことを特徴とするプログラム。
JP2011290175A 2011-12-28 2011-12-28 画像生成装置、デジタルカメラ、方法、及びプログラム Expired - Fee Related JP5310837B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011290175A JP5310837B2 (ja) 2011-12-28 2011-12-28 画像生成装置、デジタルカメラ、方法、及びプログラム
US13/714,864 US8929685B2 (en) 2011-12-28 2012-12-14 Device having image reconstructing function, method, and recording medium
CN201210587139.1A CN103188443B (zh) 2011-12-28 2012-12-28 图像生成装置、数字照相机及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011290175A JP5310837B2 (ja) 2011-12-28 2011-12-28 画像生成装置、デジタルカメラ、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2013141100A JP2013141100A (ja) 2013-07-18
JP5310837B2 true JP5310837B2 (ja) 2013-10-09

Family

ID=48679391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011290175A Expired - Fee Related JP5310837B2 (ja) 2011-12-28 2011-12-28 画像生成装置、デジタルカメラ、方法、及びプログラム

Country Status (3)

Country Link
US (1) US8929685B2 (ja)
JP (1) JP5310837B2 (ja)
CN (1) CN103188443B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015185998A (ja) * 2014-03-24 2015-10-22 株式会社東芝 画像処理方法および撮像装置
CN111812838A (zh) * 2014-06-25 2020-10-23 技术创新动力基金（以色列）有限合伙公司 用于光场成像的系统和方法
CN106157356B (zh) * 2016-07-05 2018-12-28 北京邮电大学 一种图像处理方法及装置
EP3462410A1 (en) * 2017-09-29 2019-04-03 Thomson Licensing A user interface for manipulating light-field images
CN108668062A (zh) * 2018-05-23 2018-10-16 Oppo广东移动通信有限公司 图像数据生成方法、装置及电子装置
CN110636354A (zh) * 2019-06-10 2019-12-31 青岛海信电器股份有限公司 一种显示设备
KR20220105192A (ko) * 2021-01-18 2022-07-27 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
KR100914961B1 (ko) * 2008-01-23 2009-09-02 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
JP2009229125A (ja) * 2008-03-19 2009-10-08 Sharp Corp 距離測定装置および距離測定方法
JP4538766B2 (ja) * 2008-08-21 2010-09-08 ソニー株式会社 撮像装置、表示装置および画像処理装置
JP5195506B2 (ja) * 2009-02-24 2013-05-08 株式会社ニコン 撮像装置および画像合成方法
EP2242019B1 (en) * 2009-04-15 2016-01-13 Mitsubishi Electric R&D Centre Europe B.V. Image region interpolation
JP5515396B2 (ja) * 2009-05-08 2014-06-11 ソニー株式会社 撮像装置
CN101666631B (zh) * 2009-09-07 2010-12-29 东南大学 基于正反码彩色编码条纹的三维测量方法
US8558915B2 (en) * 2009-12-22 2013-10-15 Samsung Electronics Co., Ltd. Photographing apparatus and method
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US20120147247A1 (en) * 2010-12-14 2012-06-14 Samsung Electronics Co., Ltd. Optical system and imaging apparatus including the same
JP5906062B2 (ja) * 2010-12-17 2016-04-20 キヤノン株式会社 撮像装置およびその制御方法
JP5623313B2 (ja) * 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
JP5170276B2 (ja) * 2011-03-31 2013-03-27 カシオ計算機株式会社 画像再構成装置、画像再構成方法、及び画像再構成プログラム
JP5984493B2 (ja) * 2011-06-24 2016-09-06 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
JP5206853B2 (ja) * 2011-09-08 2013-06-12 カシオ計算機株式会社 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム
JP5943596B2 (ja) * 2011-12-19 2016-07-05 キヤノン株式会社 撮像装置
US8941750B2 (en) * 2011-12-27 2015-01-27 Casio Computer Co., Ltd. Image processing device for generating reconstruction image, image generating method, and storage medium
JP5687654B2 (ja) * 2012-03-29 2015-03-18 株式会社東芝 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
CN103188443B (zh) 2016-02-24
JP2013141100A (ja) 2013-07-18
CN103188443A (zh) 2013-07-03
US20130169837A1 (en) 2013-07-04
US8929685B2 (en) 2015-01-06

Similar Documents

Publication Publication Date Title
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
JP5310837B2 (ja) 画像生成装置、デジタルカメラ、方法、及びプログラム
JP4752918B2 (ja) 画像処理装置、画像照合方法、および、プログラム
JP6173156B2 (ja) 画像処理装置、撮像装置及び画像処理方法
CN109525774A (zh) 用于校正图像的电子装置及操作该电子装置的方法
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6452360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2014007730A (ja) 情報処理方法および装置、プログラム。
JP2012186790A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2017220780A (ja) 撮影装置および車両
KR20130061636A (ko) 멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법
JP5766077B2 (ja) ノイズ低減のための画像処理装置及び画像処理方法
JP5882789B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013031154A (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
JP2015213299A (ja) 画像処理装置および画像処理方法
US9319579B2 (en) Image processing apparatus, control method, and program for the same with focus state specification and deletion confirmation of image data
JP2013178684A (ja) 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
CN106919246A (zh) 一种应用界面的显示方法和装置
KR20190032101A (ko) 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
JP5310890B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2010154323A (ja) 画像処理装置、画像抽出方法、および、プログラム
JP6362433B2 (ja) 画像処理装置およびその制御方法、プログラム
JP5942428B2 (ja) 再構成画像生成装置、再構成画像生成方法、及びプログラム
JP2012073930A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130617

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5310837

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees