TWI752905B - 畫像處理裝置及畫像處理方法 - Google Patents

畫像處理裝置及畫像處理方法 Download PDF

Info

Publication number
TWI752905B
TWI752905B TW105112012A TW105112012A TWI752905B TW I752905 B TWI752905 B TW I752905B TW 105112012 A TW105112012 A TW 105112012A TW 105112012 A TW105112012 A TW 105112012A TW I752905 B TWI752905 B TW I752905B
Authority
TW
Taiwan
Prior art keywords
lens
image
light
unit
pixel
Prior art date
Application number
TW105112012A
Other languages
English (en)
Other versions
TW201707437A (zh
Inventor
早坂健吾
井藤功久
Original Assignee
日商新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商新力股份有限公司 filed Critical 日商新力股份有限公司
Publication of TW201707437A publication Critical patent/TW201707437A/zh
Application granted granted Critical
Publication of TWI752905B publication Critical patent/TWI752905B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本技術是有關使光學透鏡的模糊感能夠正確地再現的畫像處理裝置及畫像處理方法。
光線再現部是使從實空間內的實空間點射入假想透鏡的光線再現，該假想透鏡是將攝取複數的視點的畫像的複數的攝影部設為合成孔徑。集光處理部是依據從實空間點發出的主光線經由模擬透鏡而到達的假想感測器上的位置之像面移動位置來進行光線經由模擬(emulation)對象的模擬透鏡而集光於假想感測器上的位置的對位。進行將光線集光於假想感測器上的集光處理。本技術是例如可適用於從複數的視點的畫像，將利用各種的光學透鏡來進行攝影的畫像再構成的光場(Light Field)技術。

Description

畫像處理裝置及畫像處理方法
本技術是有關畫像處理裝置及畫像處理方法，特別是例如可使光學透鏡的模糊感正確地再現之畫像處理裝置及畫像處理方法。
由複數的視點的畫像來再構成例如進行重調焦距(refocus)的畫像，亦即變更光學系的焦點位置來進行攝影那樣的畫像等之光場技術被提案(例如參照專利文獻1)。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2013-238927號公報
有關光場技術是被要求再現使用實際的光學透鏡來進行攝影時的畫像所產生的模糊感。
本技術是有鑑於如此的狀況而研發者，使光 學透鏡的模糊感能夠正確地再現者。
本技術的畫像處理裝置係具備：光線再現部，其係使從實空間內的實空間點射入將攝取複數的視點的畫像之複數的攝影部設為合成孔徑的假想透鏡之光線再現；及集光處理部，其係依據從前述實空間點發出的主光線經由前述模擬透鏡而到達的前述假想感測器上的位置之像面移動位置來進行在前述光線再現部所再現的前述光線經由模擬對象的模擬透鏡來集光於假想感測器上的位置的對位，進行將前述光線集光於前述假想感測器上的集光處理。
本技術的畫像處理方法係包含：使從實空間內的實空間點射入將攝取複數的視點的畫像之複數的攝影部設為合成孔徑的假想透鏡之光線再現；及依據從前述實空間點發出的主光線經由前述模擬透鏡而到達的前述假想感測器上的位置之像面移動位置來進行前述光線經由模擬對象的模擬透鏡來集光於假想感測器上的位置的對位，進行將前述光線集光於前述假想感測器上的集光處理。
本技術的畫像處理裝置及畫像處理方法係從實空間內的實空間點射入將攝取複數的視點的畫像之複數 的攝影部設為合成孔徑的假想透鏡之光線會被再現。而且，依據從前述實空間點發出的主光線經由前述模擬透鏡而到達的前述假想感測器上的位置之像面移動位置來進行前述光線經由模擬對象的模擬透鏡來集光於假想感測器上的位置的對位，進行將前述光線集光於前述假想感測器上的集光處理。
另外，畫像處理裝置是可為獨立的裝置，或構成1個的裝置的內部區塊。
並且，畫像處理裝置是可藉由使程式實行於電腦來實現，該程式是經由傳送媒體來傳送，或記錄於記錄媒體來提供。
若根據本技術，則例如可將光學透鏡的模糊感正確地再現。
另外，在此被記載的效果是未必被限定者，亦可為記載於本案中的任一效果。
11:攝影裝置
12:畫像處理裝置
13:顯示裝置
211~217‧‧‧攝影機單元
31‧‧‧視差資訊生成部
32‧‧‧校準資料取得部
33‧‧‧飽和畫素復原部
34‧‧‧透鏡設計資料取得部
35‧‧‧透鏡模擬部
36‧‧‧入射光線再現部
37‧‧‧模擬透鏡資訊生成部
38‧‧‧集光處理部
41‧‧‧基準視差地圖生成部
42‧‧‧多層視差地圖生成部
51‧‧‧飽和判定部
52‧‧‧復原部
61‧‧‧標準亮度攝影畫像性支部
62‧‧‧低亮度攝影畫像生成部
71‧‧‧視差資訊取得部
72‧‧‧標準亮度攝影畫像生成部
73‧‧‧低亮度攝影畫像生成部
74‧‧‧飽和判定部
75‧‧‧復原部
101‧‧‧實空間點選擇部
102‧‧‧光線生成部
103‧‧‧衝突判定部
104‧‧‧亮度分配部
131‧‧‧實空間點選擇部
132‧‧‧資訊算出部
133‧‧‧焦點位置選擇部
141‧‧‧實空間點選擇部
142‧‧‧結像值算出部
143‧‧‧標度調整部
144‧‧‧結像位置辨識部
145‧‧‧加算部
231‧‧‧實空間點選擇部
242‧‧‧結像值算出部
244‧‧‧結像位置辨識部
245‧‧‧加算部
246‧‧‧旋轉處理部
401‧‧‧匯流排
402‧‧‧CPU
403‧‧‧ROM
404‧‧‧RAM
405‧‧‧硬碟
406‧‧‧輸出部
407‧‧‧輸入部
408‧‧‧通訊部
409‧‧‧驅動部
410‧‧‧輸出入介面
411‧‧‧可移動記錄媒體
圖1是表示適用本技術的畫像處理系統之一實施形態的構成例的方塊圖。
圖2是表示攝影裝置11的構成例的平面圖。
圖3是表示畫像處理裝置12的構成例的方塊圖。
圖4是說明畫像處理系統的處理例的流程圖。
圖5是表示視差資訊生成部31的構成例的方塊圖。
圖6是說明在基準視差地圖生成部41的基準視差地圖的生成例的圖。
圖7是說明周邊畫像PL#i的視差地圖的生成例的圖。
圖8是說明往周邊畫像PL#i的視差地圖的未登錄區域之視差的插補的圖。
圖9是說明多層視差地圖的生成例的圖。
圖10是說明在視差資訊生成部31的基準視差地圖及多層視差地圖各自的生成的處理例的流程圖。
圖11是表示利用實際的光學透鏡來攝取預定的被照體之實照畫像的例圖。
圖12是表示在畫像處理裝置12取得的模擬畫像的例圖。
圖13是說明不進行飽和畫素復原處理時，鮮明的模糊未被再現的原理的圖。
圖14是說明藉由進行飽和畫素復原處理，鮮明的模糊被再現的原理的圖。
圖15是說明取得標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i的第1取得方法的圖。
圖16是表示飽和畫素復原部33的第1構成例的方塊圖。
圖17是說明在飽和畫素復原部33進行的飽和畫素復 原處理例的流程圖。
圖18是表示飽和畫素復原部33的第2構成例的方塊圖。
圖19是說明在飽和畫素復原部33進行的飽和畫素復原處理例的流程圖。
圖20是表示攝影裝置11的其他構成例的平面圖。
圖21是表示飽和畫素復原部33的第3構成例的方塊圖。
圖22是說明視差地圖的視差的補正例的圖。
圖23是說明在飽和畫素復原部33進行的飽和畫素復原處理例的流程圖。
圖24是說明取得注目視點的HDR攝影畫像的注目畫素的畫素值之處理例的流程圖。
圖25是說明透鏡模擬部35的透鏡模擬處理的概要圖。
圖26是說明實際的光學透鏡之集光處理、及透鏡模擬處理的集光處理的圖。
圖27是表示入射光線再現部36的構成例的方塊圖。
圖28是說明實空間點的圖。
圖29是說明利用多層視差地圖來求取實空間點的求取方式的圖。
圖30是說明在光線生成部102進行的光線的生成的例圖。
圖31是說明在衝突判定部103進行的衝突判定、及 在亮度分配部104進行之對光線的亮度的分配的圖。
圖32是模式性地表示在入射光線再現部36所進行的入射光線再現處理取得的最大數的資料的圖。
圖33是說明入射光線再現部36所進行的入射光線再現處理例的流程圖。
圖34是說明衝突判定的處理例的流程圖。
圖35是說明光線亮度分配的處理例的流程圖。
圖36是說明在模擬透鏡資訊生成部37所生成的透鏡資訊的圖。
圖37是說明成為生成透鏡資訊的對象之實空間點及焦點位置的圖。
圖38是表示光學透鏡的PSF強度分布的例圖。
圖39是說明生成PSF強度分布的方法的例圖。
圖40是模式性地表示在模擬透鏡資訊生成部37所生成的PSF強度分布的圖。
圖41是模式性地表示在模擬透鏡資訊生成部37所生成的像面間距的圖。
圖42是說明生成PSF角度成分資訊的方法的例圖。
圖43是說明生成PSF角度成分資訊的方法的例圖。
圖44是說明PSF角度成分資訊的詳細圖。
圖45是模式性地表示在模擬透鏡資訊生成部37所生成的PSF角度成分資訊的圖。
圖46是說明像面移動資訊的圖。
圖47是說明生成PSF角度成分資訊的方法例的圖。
圖48是模式性地表示在模擬透鏡資訊生成部37所生成的像面移動資訊的圖。
圖49是表示生成透鏡資訊的模擬透鏡資訊生成部37的構成例的方塊圖。
圖50是說明模擬透鏡資訊生成部37所進行的模擬透鏡資訊生成處理例的流程圖。
圖51是說明在集光處理部38所進行的集光處理的概要圖。
圖52是說明集光處理之中求取結像值的處理例的圖。
圖53是說明集光處理之中求取結像值的處理的其他例的圖。
圖54是說明集光處理之中將結像值(的分布)加算於假想感測器上的處理例的圖。
圖55是表示集光處理部38的構成例的方塊圖。
圖56是說明集光處理部38所進行的集光處理例的流程圖。
圖57是說明光線加算處理例的流程圖。
圖58是說明透鏡資訊的資訊量的削減的概要圖。
圖59是表示透鏡資訊生成軸的具體例的圖。
圖60是表示只對於透鏡資訊生成軸的資訊點生成透鏡資訊時的模擬透鏡資訊生成部37的構成例的方塊圖。
圖61是說明模擬透鏡資訊生成部37所進行的模擬透鏡資訊生成處理例的流程圖。
圖62是說明利用對於透鏡資訊生成軸的資訊點(對應的實空間點)所生成的透鏡資訊來進行的集光處理例的圖。
圖63是表示光線旋轉法之集光處理例。
圖64是表示利用對於透鏡資訊生成軸所生成的透鏡資訊來進行集光處理的集光處理部38的構成例的方塊圖。
圖65是說明集光處理部38所進行的集光處理例的流程圖。
圖66是說明光線加算處理例的流程圖。
圖67是說明在進行光線旋轉法之集光處理時，求取旋轉前的光線所結像的假想感測器上的結像位置之像面移動位置的方法的圖。
圖68是說明像面移動資訊之資訊點的排列的方向的插補的圖。
圖69是說明像面移動資訊之視差方向的插補的圖。
圖70是表示透鏡模擬部35之透鏡模擬處理的結果取得的模擬畫像的例圖。
圖71是表示透鏡模擬部35之透鏡模擬處理的結果取得的模擬畫像的其他例圖。
圖72是表示適用本技術的電腦之一實施形態的構成例的方塊圖。
<適用本技術的畫像處理系統的一實施形態>
圖1是表示適用本技術的畫像處理系統的一實施形態的構成例的方塊圖。
在圖1中，畫像處理系統是具有攝影裝置11、畫像處理裝置12、及顯示裝置13。
攝影裝置11是從複數的視點來攝取被照體，將其結果取得的複數的視點的攝影畫像供給至畫像處理裝置12。
畫像處理裝置12是藉由進行利用來自攝影裝置11的複數的視點的攝影畫像之畫像處理，生成與利用模擬對象的光學透鏡之模擬透鏡來攝取被照體的情況同樣的模擬畫像，供給至顯示裝置13。
顯示裝置13是顯示來自畫像處理裝置12的模擬畫像。
模擬畫像是例如形成忠實地再現利用可裝卸於單眼相機(single-lens reflex camera)或無反光鏡可換鏡頭相機(Mirrorless camera)的光學透鏡來攝取被照體的畫像所產生的模糊感之畫像。因此，即使使用者不購入高價的光學透鏡，也可享受如此的高價的光學透鏡的模糊感。
另外，在圖1中，構成畫像處理系統的攝影裝置11、畫像處理裝置12、及顯示裝置13是可使該等的全部內藏於例如數位(靜止/視頻)相機或智慧型手機等 的行動終端機等那樣的獨立的裝置。
並且，攝影裝置11、畫像處理裝置12、及顯示裝置13是可使分別內藏於個別獨立的裝置。
而且，攝影裝置11、畫像處理裝置12、及顯示裝置13是可使該等的其中的任意的2個及剩下的1個分別地內藏於獨立的裝置。
例如，可使攝影裝置11及顯示裝置13內藏於使用者所持的行動終端機，使畫像處理裝置12內藏於雲端上的伺服器。
又，可使畫像處理裝置12的一部分的區塊內藏於雲端上的伺服器，使畫像處理裝置12的剩餘的區塊、及攝影裝置11和顯示裝置13內藏於行動終端機。
<攝影裝置11的構成例>
圖2是表示攝影裝置11的構成例的平面圖。
攝影裝置11是具有複數的攝影機單元21i，藉由該複數的攝影機單元21i來攝取複數的視點的攝影畫像。
在圖2中，攝影裝置11是具有複數例如7個的攝影機單元211，212，213，214，215，216、及217，該等7個的攝影機單元211~217是被配置於2次元平面上。
而且，在圖2中，7個的攝影機單元211~217是以該等的其中之一，例如攝影機單元211為中心，其他的6個的攝影機單元212~217則是在攝影機單元211的周 邊，配置成正6角形。
因此，在圖2中，7個的攝影機單元211~217之中，任意的1個攝影機單元21i(i=1，2，...，7)與最接近該攝影機單元21i的其他1個攝影機單元21j(i=1，2，...，7)的(光軸彼此間的)距離是形成同一距離L。
攝影機單元21i與21j的距離L是例如可採用20mm程度。此情況，攝影裝置11是可構成IC卡等的卡尺寸程度的大小。
另外，構成攝影裝置11的攝影機單元21i的數量是不限於7個，亦可採用2個以上6個以下的數量或8個以上的數量。
並且，在攝影裝置11中，複數的攝影機單元21i是除了配置成上述那樣構成正6角形等的正多角形以外，還可配置於任意的位置。
在此，以下，亦將攝影機單元211~217之中配置於中心的攝影機單元211稱為基準攝影機單元211，將配置於該基準攝影機單元211的周邊的攝影機單元212~217稱為周邊攝影機單元212~217。
<畫像處理裝置12的構成例>
圖3是表示圖1的畫像處理裝置12的構成例的方塊圖。
在圖3中，畫像處理裝置12是具有視差資訊生成部31、校準資料取得部32、飽和畫素復原部33、透 鏡設計資料取得部34、及透鏡模擬部35。
在畫像處理裝置12是從攝影裝置11供給在攝影機單元211~217所攝取的7視點的攝影畫像。
在此，作為攝影裝置11所供給至畫像處理裝置12的7視點的攝影畫像，有標準亮度攝影畫像PL1~PL7、及低亮度攝影畫像PH1~PH7。
標準亮度攝影畫像PL#i是在攝影機單元21i中，例如以攝影時被推定成適當之預定的曝光時間(快門速度)(以下亦稱為標準曝光時間)所攝取的畫像。標準曝光時間，例如可採用藉由自動曝光機能所設定的曝光時間等。
低亮度攝影畫像PH#i是在攝影機單元21i中，以比標準曝光時間更短的曝光時間(比對應於標準曝光時間的快門速度更快的快門速度)所攝取的畫像。
因此，在低亮度攝影畫像PH#i，大致映在標準亮度攝影畫像PL#i的被照體變暗。
在畫像處理裝置12中，標準亮度攝影畫像PL#i是被供給至視差資訊生成部31、及飽和畫素復原部33，低亮度攝影畫像PH#i是被供給至飽和畫素復原部33。
視差資訊生成部31是利用從攝影裝置11供給的標準亮度攝影畫像PL#i來求取視差資訊，供給至構成透鏡模擬部35之後述的入射光線再現部36、模擬透鏡資訊生成部37、及集光處理部38。
亦即，視差資訊生成部31是進行求取從攝影裝置11供給的標準亮度攝影畫像PL#i各自與其他標準亮度攝影畫像PL#j的視差資訊之處理，作為複數的視點的標準亮度攝影畫像PL#i的畫像處理。然後，視差資訊生成部31生成登錄有該視差資訊的視差地圖，供給至透鏡模擬部35。
而且，視差資訊生成部31是對於標準亮度攝影畫像PL#i之中以基準攝影機單元211所攝取的標準亮度攝影畫像PL1，生成後述的多層視差地圖，供給至透鏡模擬部35。
在此，視差資訊是除了視差(disparity)本身以外，可採用對應於視差的距離(深度)。本實施形態是採用視差及距離的其中，例如視差，作為視差資訊。
校準資料取得部32是取得攝影機單元211~217的光學透鏡的變形值及遮蔽(shading)係數作為校準資料。
在此，校準資料是例如被記憶於未圖示的記憶體，或從網際網路上的伺服器等提供。校準資料取得部32是從記憶體或網際網路上的伺服器來取得校準資料，供給至視差資訊生成部31及入射光線再現部36。
視差資訊生成部31及入射光線再現部36是利用從校準資料取得部32供給的校準資料，進行使在周邊攝影機單元212~217所被攝影的攝影畫像(標準亮度攝影畫像PL2~PL7或後述的HDR攝影畫像HD2~HD7)一 致於在基準攝影機單元211被被攝影的攝影畫像(標準亮度攝影畫像PL1或後述的HDR攝影畫像HD1)之校準處理。
亦即，視差資訊生成部31及入射光線再現部36是分別取代周邊攝影機單元212~217，對若利用基準攝影機單元211來進行攝影則可取得的攝影畫像，利用校準資料進行補正在周邊攝影機單元212~217所被攝影的攝影畫像之校準處理。
然後，視差資訊生成部31、及入射光線再現部36是針對在周邊攝影機單元212~217所攝取的攝影畫像，利用校準處理後的攝影畫像來進行處理。
另外，以下為了使說明簡單，有關校準處理是不言及。
飽和畫素復原部33是利用從攝影機單元21i供給的低亮度攝影畫像PH#i來復原從攝影機單元21i供給的標準亮度攝影畫像PL#i的畫素之中畫素值為飽和的飽和畫素的畫素值。
飽和畫素復原部33是藉由飽和畫素的畫素值的復原來將標準亮度攝影畫像PL#i變換成比該標準亮度攝影畫像PL#i更高動態範圍的(被分配於畫素值的位元數多)攝影畫像HD#i，供給至入射光線再現部36。
另外，在飽和畫素復原部33中，比標準亮度攝影畫像PL#i更高動態範圍的攝影畫像HD#i是除了入射光線再現部36以外，也可供給至視差資訊生成部31。
此情況，在視差資訊生成部31中，可取代標準亮度攝影畫像PL#i，利用高動態範圍的攝影畫像HD#i來進行求取視差資訊的畫像處理。利用高動態範圍的攝影畫像HD#i來求取視差資訊時，可更高精度求取視差資訊。
在此，以下，亦將藉由飽和畫素的畫素值的復原所取得的高動態範圍的攝影畫像HD#i稱為HDR(High Dynamic Range)攝影畫像HD#i。
又，以下，亦將在基準攝影機單元211所攝取的標準亮度攝影畫像PL1及低亮度攝影畫像PH1、以及(從該等的標準亮度攝影畫像PL1及低亮度攝影畫像PH1取得的)HDR攝影畫像HD1稱為基準畫像。
又，以下，亦將在周邊攝影機單元21i所攝取的標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i、以及(從該等的標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i取得的HDR攝影畫像HD#i稱為周邊畫像。
透鏡設計資料取得部34是取得模擬對象的光學透鏡之模擬透鏡的透鏡設計資料，供給至模擬透鏡資訊生成部37。
在此，透鏡設計資料是例如記憶於未圖示的記憶體，或從網際網路上的伺服器等提供。透鏡設計資料取得部34是從記憶體或網際網路上的伺服器取得透鏡設計資料，供給至模擬透鏡資訊生成部37。
另外，模擬透鏡是不必實際存在的光學透 鏡，亦可為不實際存在的光學透鏡。不實際存在的光學透鏡是亦可為理論上可能的光學透鏡，或理論上不可能的光學透鏡。
採用實際不存在的光學透鏡作為模擬透鏡時，其模擬透鏡的透鏡設計資料是例如藉由使用者操作未圖示的操作部來輸入。透鏡設計資料取得部34是取得使用者所輸入的透鏡設計資料。
透鏡模擬部35是進行透鏡模擬處理，將藉由該透鏡模擬處理所取得的模擬畫像供給至顯示裝置13(圖1)。
在透鏡模擬處理中，透鏡模擬部35是利用從視差資訊生成部31供給的視差地圖(因應所需，包含後述的多層視差地圖)、從飽和畫素復原部33供給的7視點的攝影畫像HD1~HD7、及從透鏡設計資料取得部34供給的透鏡設計資料，來生成若使用模擬透鏡攝取被照體則可取得的畫像之模擬畫像。
因此，透鏡模擬部35是作為進行具有模擬透鏡的攝影裝置(未圖示)的模擬之模擬器機能。
透鏡模擬部35是具有入射光線再現部36、模擬透鏡資訊生成部37、及集光處理部38。
入射光線再現部36是利用從飽和畫素復原部33供給的7視點的攝影畫像HD1~HD7及從視差資訊生成部31供給的視差地圖，進行再現從實空間內的實空間點射入假想的光學透鏡的假想透鏡的光線(的資訊)之射光 線再現處理，作為7視點的攝影畫像HD1~HD7的畫像處理。
在此，於入射光線再現部36再現的光線所射入的假想透鏡是將作為攝取被供給至入射光線再現部36的7視點的攝影畫像HD1~HD7(PL1~PL7)的複數的攝影部之攝影機單元211~217設為合成孔徑的假想的透鏡。
攝影機單元211~217例如圖2所示般被配置成正6角形狀，當1個攝影機單元21i與最接近該攝影機單元21i的其他1個攝影機單元21j的距離形成L時，假想透鏡的孔徑之合成孔徑是連結周邊攝影機單元212~217的光軸，直徑形成2L的大略圓形狀。
入射光線再現部36是將射入假想透鏡的光線再現，供給至集光處理部38。
模擬透鏡資訊生成部37是利用從視差資訊生成部31供給的視差地圖、及從透鏡設計資料取得部34供給的透鏡設計資料，來生成模擬透鏡的特性，亦即規定通過模擬透鏡的光線之模擬透鏡資訊，供給至集光處理部38。
在此，以下亦將模擬透鏡資訊簡稱為透鏡資訊。
由於透鏡資訊是具有與模擬透鏡等效的價值，因此可作為買賣的對象。透鏡資訊是電子性的資料，複製容易，因此為了防止違法的複製，在透鏡資訊的使用可規定必須認證。
集光處理部38是進行集光處理，其係利用從視差資訊生成部31供給的視差地圖、從入射光線再現部36供給的光線、及從模擬透鏡資訊生成部37供給的透鏡資訊，使光線經由模擬透鏡來集光(數位)於假想性的影像感測器之假想感測器上。
然後，集光處理部38是將集光處理的結果取得的模擬畫像供給至顯示裝置13(圖1)。
另外，畫像處理裝置12是亦可作為伺服器構成，或作為顧客構成。而且，畫像處理裝置12是亦可作為伺服器顧客系統(server client system)構成。將畫像處理裝置12作為伺服器顧客系統構成時，可以伺服器構成畫像處理裝置12的任意的一部分的區塊，以顧客構成剩下的區塊。
<畫像處理系統的處理>
圖4是說明圖1的畫像處理系統的處理例的流程圖。
在步驟S1中，攝影裝置11是攝取作為複數的視點之7視點的攝影畫像PL1~PL7及PH1~PH7。攝影畫像PL#i是被供給至畫像處理裝置12(圖3)的視差資訊生成部31及飽和畫素復原部33，攝影畫像PH#i是被供給至飽和畫素復原部33。
然後，處理是從步驟S1前進至步驟S2，視差資訊生成部31是利用從攝影裝置11供給的攝影畫像 PL#i來求取視差資訊，進行生成登錄該視差資訊的視差地圖(包含多層視差地圖)之視差資訊生成處理。
視差資訊生成部31是將藉由視差資訊生成處理所取得的視差地圖供給至構成透鏡模擬部35的入射光線再現部36、模擬透鏡資訊生成部37、及集光處理部38，處理是從步驟S2前進至步驟S3。
在步驟S3中，飽和畫素復原部33是進行飽和畫素復原處理，其係利用從攝影機單元21i供給的攝影畫像PH#i來復原從攝影機單元21i供給的攝影畫像PL#i的畫素之中的飽和畫素的畫素值。
飽和畫素復原部33是將藉由飽和畫素復原處理所取得的高動態範圍的攝影畫像HD#i供給至入射光線再現部36，處理是從步驟S3前進至步驟S4。
在步驟S4中，透鏡設計資料取得部34會取得模擬透鏡的透鏡設計資料，供給至模擬透鏡資訊生成部37。
而且，在步驟S4中，模擬透鏡資訊生成部37會利用從視差資訊生成部31供給的視差地圖、及從透鏡設計資料取得部34供給的透鏡設計資料，來進行生成模擬透鏡的透鏡資訊之模擬透鏡資訊生成處理。
模擬透鏡資訊生成部37是將藉由模擬透鏡資訊生成處理所取得的透鏡資訊供給至集光處理部38，處理是從步驟S4前進至步驟S5。
在步驟S5中，入射光線再現部36是利用從 飽和畫素復原部33供給的7視點的攝影畫像HD1~HD7、及從視差資訊生成部31供給的視差地圖，來進行使從實空間內的實空間點射入假想透鏡的光線再現之入射光線再現處理。
入射光線再現部36是將藉由入射光線再現處理所取得的光線(的資訊)供給至集光處理部38，處理是從步驟S5前進至步驟S6。
在步驟S6中，集光處理部38是利用從視差資訊生成部31供給的視差地圖、及從入射光線再現部36供給的光線、及從模擬透鏡資訊生成部37供給的透鏡資訊，來進行使光線經由模擬透鏡而集光於假想感測器上的集光處理。
集光處理部38是將集光處理的結果取得的模擬畫像供給至顯示裝置13，處理是從步驟S6前進至步驟S7。
在步驟S7中，顯示裝置13會顯示來自集光處理部38的模擬畫像。
<視差地圖的生成>
圖5是表示圖3的視差資訊生成部31的構成例的方塊圖。
在圖5中，視差資訊生成部31是具有基準視差地圖生成部41、及多層視差地圖生成部42。
在基準視差地圖生成部41是從攝影裝置11 供給攝影畫像PL1~PL7。
基準視差地圖生成部41是生成登錄了來自攝影裝置11的攝影畫像PL1~PL7之中的1畫像的基準畫像PL1之與其他的攝影畫像(周邊畫像)PL2~PL7的視差之視差地圖的基準視差地圖，且供給至多層視差地圖生成部42。
多層視差地圖生成部42是例如利用來自基準視差地圖生成部41的基準視差地圖來生成周邊畫像PL2~PL7的視差地圖。
而且，多層視差地圖生成部42是利用基準畫像PL1的基準視差地圖及周邊畫像PL2~PL7的視差地圖來生成登錄有以基準攝影機單元211的視點(位置)作為基準的視差之多層視差地圖。
基準畫像PL1的基準視差地圖、周邊畫像PL2~PL7的視差地圖、及多層視差地圖之中的必要的視差地圖是被供給至入射光線再現部36、模擬透鏡資訊生成部37、及集光處理部38(圖3)。
圖6是說明在圖5的基準視差地圖生成部41的基準視差地圖的生成例的圖。
亦即，圖6是表示攝影畫像PL1~PL7的例。
在圖6中，攝影畫像PL1~PL7是在預定的背景的前側映現有作為前景的預定的物體obj。有關攝影畫像PL1~PL7各自是視點不同，例如分別映在周邊畫像PL2~PL7的物體obj的位置是僅視點不同的部分偏離映在 基準畫像PL1的物體obj的位置。
基準視差地圖生成部41是將基準畫像PL1的畫素依序選擇成注目畫素，從其他的攝影畫像PL2~PL7，亦即周邊畫像PL2~PL7各自檢測出對應於該注目畫素的對應畫素(對應點)。
檢測出對應於基準畫像PL1的注目畫素之周邊畫像PL2~PL7各自的對應畫素的方法，例如可採用區塊匹配等的任意的方法。
在此，將從基準畫像PL1的注目畫素往周邊畫像PL#i的對應畫素之向量，亦即表示注目畫素與對應畫素的位移之向量稱為視差向量v#i，1。
基準視差地圖生成部41是分別針對周邊畫像PL2~PL7來求取視差向量v2，1~v7，1。然後，基準視差地圖生成部41是進行以視差向量v2，1~v7，1的大小作為的多數決，求取剩餘該多數決的視差向量v#i，1的大小，作為注目畫素(的位置)的視差。
在此，在攝影裝置11中，如在圖2說明般，攝取基準畫像PL1的基準攝影機單元211與攝取周邊畫像PL#2~PL#7的周邊攝影機單元212~217各自的距離形成同一的距離L時，當映在基準畫像PL1的注目畫素的部分在周邊畫像PL#2~PL#7也映現時，方向不同，但大小相等的向量會被求取，作為視差向量v2，1~v7，1。
亦即，此情況，視差向量v2，1~v7，1是對應於周邊畫像PL#2~PL#7(相對於基準攝影機單元211) 的位置(視點)的方向的大小相等的向量。
但，由於攝影畫像PL1~PL7各自的視點不同，因此在周邊畫像PL#2~PL#7之中產生遮蔽的畫像，亦即可能有映在基準畫像PL1的注目畫素的部分會被前景隱蔽而未映現的畫像。
有關映在基準畫像PL1的注目畫素的部分未映現的周邊畫像(以下亦稱為遮蔽畫像)PL#i是難以檢測出正確的畫素，作為對應於注目畫素的對應畫素。
因此，有關遮蔽畫像PL#i是與映在基準畫像PL1的注目畫素的部分會映現的周邊畫像PL#j的視差向量v#j，1不同大小的視差向量v#i，1會被求取。
周邊畫像PL#2~PL#7之中，有關注目畫素，產生遮蔽的畫像是被推定比未產生遮蔽的畫像更少。於是，基準視差地圖生成部41是如上述般，進行以視差向量v2，1~v7，1的大小作為對象的多數決，求取勝於該多數決的視差向量v#i，1的大小，作為注目畫素的視差。
在圖6中，視差向量v2，1~v7，1之中，3個的視差向量v2，1，v3，1，v7，1為大小形成相等的向量。又，有關視差向量v4，1，v5，1，v6，1各自不存在大小相等的視差向量。
因此，3個的視差向量v2，1，v3，1，v7，1大小可作為注目畫素的視差求取。
另外，基準畫像PL1的注目畫素之與任意的周邊畫像PL#i的視差的方向是可由基準攝影機單元211 與周邊攝影機單元21i的位置關係來辨識。
基準視差地圖生成部41是將基準畫像PL1的畫素依序選擇成注目畫素，求取視差。然後，基準視差地圖生成部41是對於基準畫像PL1的各畫素的位置(xy座標)，生成登錄該畫素的視差的視差地圖，作為基準視差地圖。因此，視差地圖是使畫素的位置與該畫素的視差有所對應的地圖(表)。
在此，除了基準畫像PL1的視差地圖(基準視差地圖)以外，周邊畫像PL#i的視差地圖也可同樣地生成。
但，周邊畫像PL#i的視差地圖的生成時，視差向量的多數決是根據周邊畫像PL#i與其他的攝影畫像PL#j的視點的關係(與攝影機單元21i及21j的位置關係)，調整視差向量的大小來進行。
亦即，例如生成周邊畫像PL5的視差地圖時，例如在周邊畫像PL5與基準畫像PL1之間取得的視差向量是形成在周邊畫像PL5與周邊畫像PL2之間取得的視差向量的2倍的大小。
這是因為攝取周邊畫像PL5的周邊攝影機單元215與攝取基準畫像PL1的基準攝影機單元211的光軸彼此間的距離之基線長為距離L，相對的，攝取周邊畫像PL5的周邊攝影機單元215與攝取周邊畫像PL2的周邊攝影機單元212的基線長是形成距離2L。
於是，此時，例如若將周邊攝影機單元215與 基準攝影機單元211的基線長之距離L設為基準基線長，則視差向量的多數決是以基線長能夠被換算成基準基線長L的方式，調整視差向量的大小來進行。
亦即，例如，攝取周邊畫像PL5的周邊攝影機單元215及攝取基準畫像PL1的基準攝影機單元211的基線長L是相等於基準基線長L，因此在周邊畫像PL5與基準畫像PL1之間取得的視差向量是其大小會被調整成1倍。
又，例如，攝取周邊畫像PL5的周邊攝影機單元215及攝取周邊畫像PL2的周邊攝影機單元212的基線長2L是相等於基準基線長L的2倍，因此在周邊畫像PL5與基準畫像PL1之間取得的視差向量是其大小會被調整成1/2倍(基準基線長與周邊攝影機單元215及周邊攝影機單元212的基線長的比的倍值)。
有關在周邊畫像PL5與其他的攝影畫像PL#i之間取得的視差向量也同樣其大小會被調整成與基準基線長L的比的倍值。
然後，利用大小的調整後的視差向量來進行視差向量的多數決。
另外，在基準視差地圖生成部41中，基準畫像PL1(的各畫素)的視差是可例如以在攝影裝置11所被攝影的攝影畫像的畫素的精度求取。並且，基準畫像PL1的視差是可例如以比在攝影裝置11所被攝影的攝影畫像的畫素還細的精度(以下亦稱為畫素以下精度)亦即 例如1/4畫素等的精度求取。
以畫素以下精度求取視差時，利用視差的處理是可原封不動使用該畫素以下精度的視差，或將畫素以下精度的視差的小數點以下捨去、進位或四捨五入等整數化使用。
本實施形態是以畫素以下精度求取視差，除非另有規定，否則為了計算的容易化，將畫素以下精度的視差整數化使用。
圖7是說明周邊畫像PL#i的視差地圖的生成例的圖。
周邊畫像PL#i的視差地圖是除了可與基準畫像PL1的視差地圖(基準視差地圖)同樣生成以外，還可利用基準視差地圖來簡易地生成。
多層視差地圖生成部42(圖5)是可利用基準視差地圖來生成周邊畫像PL#i的視差地圖。
圖7是利用基準視差地圖來生成周邊畫像PL2及PL5各自的視差地圖。
在此，圖7中顯示基準畫像PL1、周邊畫像PL2及PL5、以及該基準畫像PL1、周邊畫像PL2及PL5各自的視差地圖。
基準畫像PL1的視差地圖(基準視差地圖)是顯示有以濃淡來表現各畫素的視差之視差地圖的平面圖、及以橫軸作為畫素的水平位置，且以縱軸作為視差的視差地圖。
有關周邊畫像PL2及PL5的視差地圖也同樣。
多層視差地圖生成部42是利用基準視差地圖來生成周邊畫像PL#i的視差地圖時，在基準視差地圖中，在對應於攝取基準畫像的攝影機單元211與攝取周邊畫像PL#i的攝影機單元21i的位置關係之方向(以下亦稱為攝影機位置關係方向)，將被登錄於各畫素的位置之視差，僅該視差移動，藉此生成周邊畫像PL#i的視差地圖。
例如，在生成周邊畫像PL2的視差地圖時，以由攝取周邊畫像PL2的攝影機單元212來看攝取基準畫像的攝影機單元211的方向之左方向作為攝影機位置關係方向，被登錄於基準視差地圖的各畫素的位置之視差會僅該視差移動於攝影機位置關係方向之左方向，藉此生成周邊畫像PL2的視差地圖。
又，例如，在生成周邊畫像PL5的視差地圖時，以從攝取周邊畫像PL5的攝影機單元215來看攝取基準畫像的攝影機單元211的方向之右方向作為攝影機位置關係方向，被登錄於基準視差地圖的各畫素的位置之視差會僅該視差移動於攝影機位置關係方向之右方向，藉此生成周邊畫像PL5的視差地圖。
如以上般，利用基準視差地圖來生成周邊畫像PL#i的視差地圖時，在該周邊畫像PL#i的視差地圖中，映在周邊畫像PL#i，但對於未映在基準畫像P1的部 分的畫素之區域會形成未登錄有視差的未登錄區域(在圖7中，附上斜線的部分)。
於是，多層視差地圖生成部42是藉由在利用基準視差地圖來生成的周邊畫像PL#i的視差地圖的未登錄區域插補視差，使完成周邊畫像PL#i的視差地圖。
圖8是說明往周邊畫像PL#i的視差地圖的未登錄區域之視差的插補的圖。
在此，圖8也是與圖7同樣，顯示基準畫像PL1、周邊畫像PL2及PL5、以及該基準畫像PL1、周邊畫像PL2及PL5各自的視差地圖。
多層視差地圖生成部42是在周邊畫像PL#i的視差地圖中，從未登錄區域的畫素，檢測出使延伸於攝影機位置關係方向的直線之攝影機位置關係方向直線分別追尋1方向及相反方向，最初到達之登錄有視差的畫素之視差登錄畫素。
而且，多層視差地圖生成部42是將攝影機位置關係方向直線的1方向的視差登錄畫素的視差及相反方向的視差登錄畫素的視差之中較小的視差(對應於更遠距離的視差)選擇成使用在未登錄區域的畫素的插補之插補視差。
然後，多層視差地圖生成部42是以插補視差來插補未登錄區域的畫素的視差(作為未登錄區域的畫素的視差，登錄插補視差)，使周邊畫像PL#i的視差地圖完成。
在圖8中，有關周邊畫像PL2的視差地圖是在未登錄區域(圖7)的右側的境界鄰接的畫素(視差登錄畫素)中所被登錄的視差會被選擇成插補視差，未登錄區域的畫素的視差會被插補成插補視差(插補視差會作為未登錄區域的畫素的視差被傳播)。
並且，在圖8中，有關周邊畫像PL5的視差地圖是在未登錄區域(圖7)的左側的境界鄰接的畫素(視差登錄畫素)中所被登錄的視差會被選擇成插補視差，未登錄區域的畫素的視差會被插補成插補視差。
圖9是說明多層視差地圖的生成例的圖。
在此，圖9也與圖7及圖8同樣，顯示基準畫像PL1、周邊畫像PL2及PL5、以及該基準畫像PL1、周邊畫像PL2及PL5各自的視差地圖。
多層視差地圖生成部42是利用基準畫像PL1的基準視差地圖及周邊畫像PL2~PL7的視差地圖(的1以上)來生成多層視差地圖。
亦即，多層視差地圖生成部42是將周邊畫像PL#i的各畫素依序選擇成注目畫素，檢測出對應於該注目畫素之基準畫像的對應畫素。
例如，從周邊畫像PL#i的注目畫素的位置，僅被登錄於周邊畫像PL#i的視差地圖的注目畫素之視差，移動於攝影機位置關係方向(在此是由攝影機單元211來看攝影機單元22i的方向)之位置的基準畫像PL1的畫素會被檢測出，作為對應於周邊畫像PL#i的注目畫 素之基準畫像PL1的對應畫素。
然後，在基準視差地圖中，對於基準畫像PL1的對應畫素，登錄有周邊畫像PL#i的注目畫素的視差。
多層視差地圖的生成是在基準視差地圖中，對於基準畫像PL1的對應畫素，視差已被登錄，但周邊畫像PL#i的注目畫素的視差與對於對應畫素已被登錄的視差不同時，是已追加於該已登錄的視差的形式登錄。
如以上般，以被登錄於周邊畫像PL#i的視差地圖之視差追加於基準視差地圖的形式，可以說是被反映，該反映後的基準視差地圖會成為多層視差地圖。
其結果，多層視差地圖是成為除了由基準攝影機單元211的視點(以下亦稱為基準視點)來看的部分的視差以外，從基準視點是被前景遮蔽而看不見的部分(產生遮蔽(occlusion)的部分)的至少一部分的視差會被登錄的視差地圖。
在多層視差地圖中，例如在前景的領域的畫素中，對應於至該前景為止的距離之視差、及從基準視點是對應於至被該前景的陰影遮蔽而看不見的背景為止的距離之視差那樣可說是多層的視差(複數的視差)會被登錄。
圖10是說明在圖5的視差資訊生成部31之基準視差地圖及多層視差地圖各自生成的處理例的流程圖。
生成基準視差地圖的基準視差地圖生成處理，在步驟S11中，基準視差地圖生成部41是將來自攝影裝置11的周邊畫像PL2~PL7之中尚未被選擇成注目畫像的畫像之一個選擇成注目畫像，處理是前進至步驟S12。
在步驟S12中，基準視差地圖生成部41是針對來自攝影裝置11的基準畫像PL1的各畫素，檢測出與注目畫像的視差向量v(圖6)，處理是前進至步驟S13。
在步驟S13中，基準視差地圖生成部41判定是否將周邊畫像PL2~PL7的全部選擇成注目畫像。
在步驟S13中，被判定成尚未將周邊畫像PL2~PL7的全部選擇成注目畫像時，處理是回到步驟S11，以下同樣的處理會被重複。
並且，在步驟S13中，被判定成將周邊畫像PL2~PL7的全部選擇成注目畫像時，處理是前進至步驟S14。
在步驟S14中，基準視差地圖生成部41是如在圖6說明般，針對基準畫像的各畫素，分別對於周邊畫像PL2~PL7進行以視差向量v2，1~v7，1的大小作為對象的多數決，將勝於該多數的視差向量v#i，1的大小決定成視差。
然後，基準視差地圖生成部41是對於基準畫像的各畫素，生成登錄了視差的基準視差地圖，且供給至 多層視差地圖生成部42，而完成基準視差地圖生成處理。
生成多層視差地圖的多層視差地圖生成處理，在步驟S21中，多層視差地圖生成部42是如在圖7說明般，利用來自基準視差地圖生成部41的基準視差地圖，生成周邊畫像PL2~PL7的視差地圖，處理是前進至步驟S22。
在步驟S22中，多層視差地圖生成部42是如在圖8說明般，藉由在周邊畫像PL#i的視差地圖的未登錄區域中插補視差，使周邊畫像PL#i的視差地圖完成，處理是前進至步驟S23。
在步驟S23中，多層視差地圖生成部42是如在圖9說明般，藉由將周邊畫像PL2~PL7的視差地圖反映至基準視差地圖，生成多層視差地圖，多層視差地圖生成處理終了。
<飽和畫素的復原>
圖11是模式性地表示利用實際的光學透鏡來攝取預定的被照體之實照畫像的例圖。
圖11的A是表示將焦點設定成全焦點的實照畫像的例子。
在圖11的A的實照畫像中，位於內側的電燈泡是比較不模糊鮮明地照出。
圖11的B是表示將焦點(從光學透鏡的主 點)設定於比較的前面的位置，例如1m的距離之實照畫像的例子。
在圖11的B的實照畫像中，位於1m的距離之被照體(圖11是罐)不模糊鮮明地照出，但位於其他距離的被照體是模糊照出。並且，在圖11的B的實照畫像中，位於內側的電燈泡雖模糊，但由於亮度高，因此比較鮮明地照出。
圖12是表示在圖3的畫像處理裝置12取得的模擬畫像的例圖。
圖12的A是表示在畫像處理裝置12中，不進行飽和畫素復原處理時取得的模擬畫像的例子。
圖12的A的模擬畫像是與圖11的B的情況同樣，焦點被設定於前面的位置，因此位於內側的電燈泡會模糊。
但，圖12的A的模擬畫像，雖位於內側的電燈泡模糊，但與圖11的B的情況不同，不太鮮明。
圖12的B是表示在畫像處理裝置12中，進行飽和畫素復原處理時取得的模擬畫像的例子。
圖12的B的模擬畫像是與圖11的B的情況同樣，焦點被設定於前面的位置，因此位於內側的電燈泡會模糊。
而且，圖12的B的模擬畫像，位於內側的電燈泡會與圖11的B的情況同樣，鮮明地模糊。
因此，若根據飽和畫素復原處理，則在之後 進行的透鏡模擬處理中，可正確地再現實際的光學透鏡的模糊感。
亦即，若根據飽和畫素復原處理，則可再現與利用實際的光學透鏡來攝取的實照畫像同樣的鮮明的模糊。
圖13是說明在不進行飽和畫素復原處理時，鮮明的模糊未被再現的原理的圖。
圖13的A是表示被照體的光強度的例子。
在圖13的A，橫軸是表示構成攝影機單元21i之未圖的影像感測器的水平方向的位置(水平座標)，縱軸是表示被照射至其影像感測器之來自被照體的光的光強度。
在圖13的A是非常大的光強度S0的光會被照射至攝影機單元21i(的影像感測器)。
圖13的B是表示在攝影機單元21i中，接受光強度S0的光時被輸出的攝影畫像的亮度的例子。
在圖13的B，橫軸是表示接受光強度S0的光之攝影機單元21i所輸出的攝影畫像的水平方向的畫素的位置，縱軸是表示該攝影畫像的畫素的亮度。
對應於光強度S0的光之亮度是超過攝影機單元21i所能作為畫素值輸出的最大值之攝影限度亮度THL，因此在攝影畫像中，發出光強度S0的光之被照體的亮度會被切(壓)成攝影限度亮度THL。
在此，將對應於攝影限度亮度THL的光強度 表示成S1(<S0)。
圖13的C是表示利用對應於光強度S0的光之亮度被切成對應於光強度S1的攝影限度亮度THL之攝影畫像，在透鏡模擬處理所被生成的模擬畫像的例子。
在圖13的C，橫軸是表示模擬畫像的水平方向的畫素的位置，縱軸是表示該模擬畫像的畫素的亮度。
在模擬畫像的生成中，映在具有對應於光強度S1的攝影限度亮度THL作為畫素值的畫素之被照體模糊時，形成光強度S1分散於該被照體所映現的畫素的周邊之形式，被照體的亮度是從攝影限度亮度THL更降低。
如以上般，發出比對應於攝影限度亮度THL的光強度S1更大的光強度S0的光之被照體(例如電燈泡等)是在攝影畫像中，作為發出對應於攝影限度亮度THL的光強度S1的光之被照體映現。
然後，在利用如此發出對應於攝影限度亮度THL的光強度S1的光之被照體所映現的攝影畫像之模擬畫像的生成中，一旦被照體模糊，則比原本的光強度S0更小的光強度S1會分散，鮮明度不會出現於被照體。
圖14是說明藉由進行飽和畫素復原處理，鮮明的模糊被再現的原理的圖。
圖14的A是表示在攝影機單元21i中，接受光強度S0的光時被輸出的攝影畫像的亮度的例子。
圖14的A的攝影畫像的亮度是與圖13的B 同樣，發出光強度S0的光之被照體的亮度被切成對應於比該光強度S0更小的光強度S1之攝影限度亮度THL。
圖14的B是表示飽和畫素復原處理後的攝影畫像的亮度的例子。
飽和畫素復原處理是在攝影畫像中，對應於符合式S1+S2≒S0的光強度S2之亮度被加在攝影限度亮度THL的亮度會被復原，作為畫素值被切成攝影限度亮度THL之被照體的畫素值。
其結果，在飽和畫素復原處理後的攝影畫像中，畫素值被切成攝影限度亮度THL之畫素是大致具有對應於原本的光強度S0≒S1+S2之亮度作為畫素值。
圖14的C是表示利用飽和畫素復原處理後的攝影畫像所生成的模擬畫像的例子。
在圖14的C，橫軸是表示模擬畫像的水平方向的畫素的位置，縱軸是表示該模擬畫像的畫素的亮度。
在模擬畫像的生成中，映在具有對應於光強度S1+S2的亮度作為畫素值的畫素之被照體模糊時，雖光強度S1+S2是分散於該被照體所映現的畫素的周邊，但由於光強度S1+S2是非常大，因此即使分散，被照體的亮度還是形成比不進行飽和畫素復原處理時更高的亮度。
如以上般，若藉由飽和畫素復原處理，則畫素值被切成攝影限度亮度THL之發出大的光強度S0的光之被照體(例如電燈泡等)的亮度會被復原成(大致)對應於原本的大的光強度S0之亮度。
而且，在利用對應於如此大的光強度S0之亮度的被照體所照出的攝影畫像之模擬畫像的生成(透鏡模擬處理)中，當被照體被弄模糊，在被照體出現鮮明的模糊。
因此，可再現與使用實際的光學透鏡所攝取的實照畫像同樣的鮮明的模糊。
在此，飽和畫素復原部33是如在圖3說明般，進行利用從攝影機單元21i供給的低亮度攝影畫像PH#i來復原從攝影機單元21i供給的標準亮度攝影畫像PL#i的畫素之中的畫素值為飽和的飽和畫素的畫素值之飽和畫素復原處理。
所謂標準亮度攝影畫像PL#i的畫素的畫素值飽和是如在圖13及圖14說明般意味標準亮度攝影畫像PL#i的畫素的畫素值被切成攝影限度亮度THL，或標準亮度攝影畫像PL#i的畫素的畫素值接近攝影限度亮度THL。
並且，在飽和畫素復原處理時，同一被照體映現的標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i成為必要。作為取得同一被照體映現的標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i的方法，可採用任意的方法。
以下，針對第1取得方法、第2取得方法、及第3取得方法來說明作為取得映現同一被照體的標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i的方法。
另外，作為飽和畫素復原處理的對象之攝影畫像為了保持Raw資料的畫像或亮度的線形性，最好是伽馬校正前的逆馬賽克(demosaic)畫像。
圖15是說明取得標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i的第1取得方法的圖。
第1取得方法是在構成攝影裝置11的所有的攝影機單元211~217中，變更曝光時間(快門速度)，例如短時間進行2次等的複數次的攝影。
亦即，第1取得方法是在構成攝影裝置11的所有的攝影機單元211~217中，在標準曝光時間(攝影時被推定成適當之例如藉由自動曝光機能所設定的曝光時間等)的攝影及在比該標準曝光時間更短的曝光時間的攝影會連續被進行。
在標準曝光時間所被攝取的攝影畫像會成為標準亮度攝影畫像PL#i，在比標準曝光時間更短的曝光時間所被攝取的攝影畫像會成為低亮度攝影畫像PH#i。
因此，在第1取得方法所取得的標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i是在不同的時機所攝取的畫像。
此時，若將標準曝光時間表示成X[秒]，則比該標準曝光時間X更短，低亮度攝影畫像PH#i的曝光時間是例如可採用X/16[秒]等。
圖15是表示在攝影機單元211，212及215各自被攝取的標準亮度攝影畫像PL1，PL2及PL5、以及低 亮度攝影畫像PH1，PH2及PH5的例子。
由於低亮度攝影畫像PH#i的曝光時間是比標準亮度攝影畫像PL#i的標準曝光時間更短，因此在低亮度攝影畫像PH#i是被照體會比標準亮度攝影畫像PL#i更暗。
圖16是表示圖3的飽和畫素復原部33的第1構成例的方塊圖。
亦即，圖16是表示標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i藉由第1取得方法來取得時的飽和畫素復原部33的構成例。
在圖16中，飽和畫素復原部33是具有飽和判定部51及復原部52。
從攝影裝置11(圖1)供給標準亮度攝影畫像PL#i至飽和判定部51。
飽和判定部51是進行判定來自攝影裝置11的標準亮度攝影畫像PL#i的各畫素是否為飽和畫素之飽和判定，且將該飽和判定的判定結果供給至復原部52。
在復原部52，除了從飽和判定部51供給飽和判定的判定結果以外，還從攝影裝置11供給標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i。
復原部52是按照來自飽和判定部51的飽和判定的判定結果(飽和判定結果)來特定來自攝影裝置11的標準亮度攝影畫像PL#i的畫素之中的飽和畫素。
而且，復原部52是因應所需利用來自攝影裝 置11的低亮度攝影畫像PL#i，將飽和畫素的畫素值復原，且將藉由該復原而取得之比標準亮度攝影畫像PL#i更高動態範圍的HDR攝影畫像HD#i供給至入射光線再現部36(圖3)。
圖17是說明在圖16的飽和畫素復原部33所進行的飽和畫素復原處理例的流程圖。
在步驟S31中，飽和判定部51是從7個的攝影機單元211~217的視點(位置)之中，將尚未選擇成注目視點的視點之1個選擇成注目視點，處理是前進至步驟S32。
在步驟S32中，飽和判定部51是從由攝影裝置11供給的7視點的標準亮度攝影畫像PL1~PL7之中的注目視點的標準亮度攝影畫像PL#i的畫素之中，將尚未選擇成注目畫素的畫素之1個選擇成注目畫素，處理是前進至步驟S33。
在步驟S33中，飽和判定部51是進行：注目視點的標準亮度攝影畫像PL#i的注目畫素的畫素值之標準畫素值是否為預定的臨界值TH1以上之飽和判定。
在步驟S33中，當注目視點的標準亮度攝影畫像PL#i的注目畫素的標準畫素值被判定成不是臨界值TH1以上時，亦即注目視點的標準亮度攝影畫像PL#i的注目畫素的標準畫素值未飽和時，飽和判定部51是將標準畫素值為未飽和的意旨的飽和判定結果供給至復原部52，處理是前進至步驟S34。
在步驟S34中，復原部52是按照來自飽和判定部51之標準畫素值為未飽和的意旨的飽和判定結果，將來自攝影裝置11的注目視點的標準亮度攝影畫像PL#i的注目畫素的標準畫素值選擇成注目視點的HDR攝影畫像HD#i之注目畫素的位置的畫素(此畫素也以下亦稱為注目畫素)的畫素值，處理是前進至步驟S37。
另一方面，在步驟S33中，被判定成注目視點的標準亮度攝影畫像PL#i的注目畫素的標準畫素值為臨界值TH1以上時，亦即，注目視點的標準亮度攝影畫像PL#i的注目畫素的標準畫素值為飽和或飽和的可能性高時，飽和判定部51是將標準畫素值為飽和的意旨的飽和判定結果供給至復原部52，處理是前進至步驟S35。
在步驟S35中，復原部52是按照來自飽和判定部51之標準畫素值為飽和的意旨的飽和判定結果，判定來自攝影裝置11的注目視點的低亮度攝影畫像PH#i之注目畫素的位置的畫素(此畫素也在以下亦稱為注目畫素)的畫素值之低亮度畫素值是否為比臨界值TH1更小的預定的臨界值TH2以上。
在步驟S35中，被判定成注目視點的低亮度攝影畫像PH#i的注目畫素的低亮度畫素值不是臨界值TH2以上時，亦即注目視點的低亮度攝影畫像PH#i的注目畫素的低亮度畫素值小，雜訊的可能性高時，處理是前進至步驟S34。
在步驟S34中，如上述般，復原部52會將注 目視點的標準亮度攝影畫像PL#i的注目畫素的標準畫素值選擇成注目視點的HDR攝影畫像HD#i的注目畫素的畫素值，處理是前進至步驟S37。
另一方面，在步驟S35中，被判定成注目視點的低亮度攝影畫像PH#i的注目畫素的低亮度畫素值為臨界值TH2以上時，亦即注目視點的低亮度攝影畫像PH#i的注目畫素的低亮度畫素值可視為非雜訊，形成某程度的值時，處理是前進至步驟S36。
在步驟S36中，復原部52是求取將注目視點的低亮度攝影畫像PH#i的注目畫素的低亮度畫素值形成預定數倍的畫素值，作為復原飽和畫素的復原畫素值。而且，復原部52是將復原畫素值選擇成注目視點的HDR攝影畫像HD#i的注目畫素的畫素值，處理是從步驟S36前進至步驟S37。
在此，作為求取復原畫素值時使用的預定數倍(以下亦稱為復原增益)是採用標準亮度攝影畫像PL#i的曝光時間(標準曝光時間)與低亮度攝影畫像PH#i的曝光時間的比的值。
因此，例如在圖15說明般，標準曝光時間為X[秒]，低亮度攝影畫像PH#i的曝光時間為X/16[秒]時，復原增益是形成16=X/(X/16)倍。
在步驟S37中，飽和判定部51是判定是否將注目視點的標準亮度攝影畫像PL#i的畫素的全部選擇成注目畫素。
在步驟S37中，被判定成尚未將注目視點的標準亮度攝影畫像PL#i的畫素的全部選擇成注目畫素時，處理是返回至步驟S32，以下同樣的處理會被重複。
並且，在步驟S37中，被判定成將注目視點的標準亮度攝影畫像PL#i的畫素的全部選擇成注目畫素時，處理是前進至步驟S38。
在步驟S38中，飽和判定部51判定是否將7視點的全部選擇成注目視點。
在步驟S38中，被判定成尚未將7視點的全部選擇成注目視點時，處理是回到步驟S31，以下同樣的處理會被重複。
並且，在步驟S38中，被判定成將7視點的全部選擇成注目視點時，復原部52是將藉由以上的處理所取得的7視點的HDR攝影畫像HD1~HD7供給至入射光線再現部36(圖3)，飽和畫素復原處理終了。
另外，低亮度攝影畫像PH#i是採用曝光時間比標準曝光時間短的第1低亮度攝影畫像、及曝光時間比第1低亮度攝影畫像更短的第2低亮度攝影畫像。
第1取得方法是在攝影裝置11中，變更曝光時間，連續進行3次的攝影，藉此可取得標準亮度攝影畫像PL#i、第1低亮度攝影畫像、及第2低亮度攝影畫像。
第2低亮度攝影畫像是當標準亮度攝影畫像的畫素值為飽和，且第1低亮度攝影畫像的畫素值也飽和 時，可使用在該畫素值為飽和的飽和畫素的復原。
圖18是表示飽和畫素復原部33的第2構成例的方塊圖。
亦即，圖18是表示藉由第2取得方法來取得映現同一被照體的標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i時的飽和畫素復原部33的構成例。
另外，圖中，有關與圖16的情況對應的部分是附上同一符號，以下其說明是適當省略。
第2取得方法是在構成攝影裝置11的全部的攝影機單元211~217中，以比標準曝光時間更小的一定的曝光時間，進行以短時間進行複數次的攝影之高速攝影。
而且，第2取得方法是僅不同的張數加算藉由攝影機單元21i的高速攝影所取得的複數的高速攝影畫像，藉此生成(取得)標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i。
例如，當高速攝影的曝光時間為1/4000秒時，將標準亮度攝影畫像PL#i的曝光時間(標準曝光時間)設為1/60秒，且將低亮度攝影畫像PH#i的曝光時間設為1/1000秒時，標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i是可如以下般生成。
亦即，標準亮度攝影畫像PL#i是可藉由僅66張或67張加算高速攝影畫像來生成。並且，低亮度攝影畫像PH#i是可藉由僅4張加算高速攝影畫像來生成。
在圖18中，飽和畫素復原部33是以從攝影 裝置11供給高速攝影畫像為前提，從該高速攝影畫像，藉由第2取得方法來取得(生成)標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i。然後，飽和畫素復原部33是利用該標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i來進行飽和畫素復原處理。
亦即，在圖18中，飽和畫素復原部33是具有飽和判定部51、復原部52、標準亮度攝影畫像生成部61、及低亮度攝影畫像生成部62。
因此，圖18的飽和畫素復原部33是具有飽和判定部51及復原部52的點，與圖16的情況共通。
但，圖18的飽和畫素復原部33是具有標準亮度攝影畫像生成部61及低亮度攝影畫像生成部62的點，與圖16的情況不同。
在標準亮度攝影畫像生成部61及低亮度攝影畫像生成部62是從攝影裝置11供給藉由高速攝影所取得的7視點的高速攝影畫像。
標準亮度攝影畫像生成部61是分別針對7視點，僅預定的張數加算來自攝影裝置11的高速攝影畫像，藉此生成標準亮度攝影畫像PL#i，供給至飽和判定部51及復原部52。
低亮度攝影畫像生成部62是分別針對7視點，僅比標準亮度攝影畫像生成部61少的張數加算來自攝影裝置11的高速攝影畫像，藉此生成低亮度攝影畫像PH#i，供給至飽和判定部51及復原部52。
圖19是說明在圖18的飽和畫素復原部33所進行的飽和畫素復原處理例的流程圖。
在步驟S41中，標準亮度攝影畫像生成部61是分別針對7視點，加算來自攝影裝置11的高速攝影畫像，藉此生成標準亮度攝影畫像PL#i，且供給至飽和判定部51及復原部52。
而且，在步驟S41中，低亮度攝影畫像生成部62是分別針對7視點，加算來自攝影裝置11的高速攝影畫像，藉此生成低亮度攝影畫像PH#i，且供給至飽和判定部51及復原部52。
然後，處理是從步驟S41前進至步驟S42，以下，在步驟S42~S49中，進行分別與圖17的步驟S31~S38同樣的處理。
圖20是表示攝影裝置11的其他的構成例的平面圖。
亦即，圖20是表示藉由第3取得方法來取得映現同一被照體的標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i時的攝影裝置11的構成例。
在圖20中，攝影裝置11是以19個的攝影機單元所構成。
亦即，在圖20中，將1個的攝影機單元設為基準攝影機單元，以基準攝影機單元作為中心，在水平方向配置有5個的攝影機單元。
而且，分別在以基準攝影機單元為中心的5 個的攝影機單元的上下配置有排列於水平方向的4個的攝影機單元。
並且，在以基準攝影機單元為中心的5個的攝影機單元的上側的4個的攝影機單元上配置有排列於水平方向的3個的攝影機單元。
而且，在以基準攝影機單元為中心的5個的攝影機單元的下側的4個的攝影機單元下配置有排列於水平方向的3個的攝影機單元。
並且，在圖20中，構成攝影裝置11的19個的攝影機單元之中，分別鄰接於基準攝影機單元的左上、左下、右上、及右下的4個的攝影機單元是形成安裝有ND(Neutral Density)濾光片之附ND濾光片的攝影機單元。
在此，以下亦將未安裝有ND濾光片的攝影機單元稱為通常攝影機單元。
在圖20中，U1是表示通常攝影機單元，U2是表示附ND濾光片的攝影機單元。
在第1及第2取得方法中，藉由進行複數次的攝影，取得同一被照體映現之曝光時間不同的標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i，但在第3取得方法是僅1次的攝影(1shot攝影)，取得標準亮度攝影畫像PL#i及低亮度攝影畫像PH#i。
亦即，第3取得方法是在攝影裝置11的15=19-4個的通常攝影機單元U1、及4個的附ND濾光片 的攝影機單元U2中，例如進行標準曝光時間的攝影。
在通常攝影機單元U1中，藉由進行標準曝光時間的攝影，可取得標準曝光時間的標準亮度攝影畫像。
另一方面，此時，在4個的附ND濾光片的攝影機單元U2各自中，經由ND濾光片來觀測的光的亮度為不經由ND濾光片時的例如1/16，1/256，1/4096，1/65536。亦即，相對於4個的附ND濾光片的攝影機單元U2各自的光之感度為通常攝影機單元U1的1/16，1/256，1/4096，1/65536。
此情況，分別在4個的附ND濾光片的攝影機單元U2中，進行標準曝光時間的攝影，藉此可等效地取得標準曝光時間的1/16，1/256，1/4096，1/65536的曝光時間的第1低亮度攝影畫像、第2低亮度攝影畫像、第3低亮度攝影畫像、及第4低亮度攝影畫像。
因此，以第3取得方法取得的標準亮度攝影畫像、及第1~第4低亮度攝影畫像是在同一時機，不同的感度所被攝影之不同的視點的畫像。
圖21是表示飽和畫素復原部33的第3構成例的方塊圖。
亦即，圖21是表示藉由第3取得方法來取得映現同一被照體的標準亮度攝影畫像及低亮度攝影畫像時的飽和畫素復原部33的構成例。
在圖21中，飽和畫素復原部33是具有視差資訊取得部71、標準亮度攝影畫像生成部72、低亮度攝 影畫像生成部73、飽和判定部74、及復原部75。
視差資訊取得部71是取得在構成攝影裝置11(圖20)的19視點(19個)的攝影機單元所被攝影的攝影畫像(標準亮度攝影畫像、第1~第4低亮度攝影畫像)各自的視差地圖，且供給至標準亮度攝影畫像生成部72及低亮度攝影畫像生成部73。
在視差資訊取得部71中，在19視點的攝影機單元所被攝影的攝影畫像各自的視差地圖是可利用在19視點的攝影機單元所被攝影的攝影畫像來與視差資訊生成部31(圖3)的情況同樣生成。並且，在視差資訊取得部71中，在19視點的攝影機單元所被攝影的攝影畫像各自的視差地圖是可從視差資訊生成部31取得。
在標準亮度攝影畫像生成部72是除了從視差資訊取得部71供給視差地圖以外，還從攝影裝置11供給在15視點的通常攝影機單元U1所被攝影的標準亮度攝影畫像。
標準亮度攝影畫像生成部72是利用來自攝影裝置11的15個通常攝影機單元U1的15視點(以下亦稱為通常攝影機視點)的標準亮度攝影畫像及來自視差資訊取得部71的視差地圖，來生成4個的附ND濾光片的攝影機單元U2的4視點(以下亦稱為ND攝影機視點)的標準亮度攝影畫像，與來自攝影裝置11的15個通常攝影機視點的標準亮度攝影畫像一起供給至飽和判定部74及復原部75。
亦即，標準亮度攝影畫像生成部72是將ND攝影機視點的(第1~第4)低亮度攝影畫像的畫素依序選擇成注目畫素，參照來自視差資訊取得部71的視差地圖，藉此檢測出對應於注目畫素之通常攝影機視點的標準亮度攝影畫像的對應畫素。而且，標準亮度攝影畫像生成部72是採用通常攝影機視點的標準亮度攝影畫像的對應畫素的畫素值，作為ND攝影機視點的標準亮度攝影畫像的注目畫素的畫素值，藉此生成ND攝影機視點的標準亮度攝影畫像。
另外，對應於ND攝影機視點的低亮度攝影畫像的注目畫素的對應畫素是可分別由15個的通常攝影機視點的標準亮度攝影畫像來檢測出。
ND攝影機視點的通常亮度攝影畫像的注目畫素的畫素值是可採用分別從15個的通常攝影機視點的標準亮度攝影畫像檢測出的15個的對應畫素之中例如基準攝影機單元(19個的攝影機單元的中心的攝影機單元)的標準亮度攝影畫像的對應畫素的畫素值。
又，ND攝影機視點的通常亮度攝影畫像的注目畫素的畫素值是採用分別從15個的通常攝影機視點的標準亮度攝影畫像檢測出的15個的對應畫素之中例如畫素值接近的對應畫素的集合之中，對應畫素的數量最多的集合的對應畫素的畫素值的平均值。
在低亮度攝影畫像生成部73是除了從視差資訊取得部71供給視差地圖以外，還從攝影裝置11供給在 4個ND攝影機視點的附ND濾光片的攝影機單元U2所攝影的第1~第4低亮度攝影畫像。
低亮度攝影畫像生成部73是利用來自攝影裝置11的4個ND攝影機視點的第1~第4低亮度攝影畫像及來自視差資訊取得部71的視差地圖，來生成15個的通常攝影機視點的第1~第4低亮度攝影畫像，與來自攝影裝置11的4個ND攝影機視點的第1~第4低亮度攝影畫像一起供給至復原部75。
亦即，低亮度攝影畫像生成部73是將通常攝影機視點的標準亮度攝影畫像的畫素依序選擇成注目畫素，藉由參照來自視差資訊取得部71的視差地圖，檢測出對應於注目畫素之ND攝影機視點的第1~第4低亮度攝影畫像各自的對應畫素。然後，低亮度攝影畫像生成部73是採用ND攝影機視點的第1~第4低亮度攝影畫像各自的對應畫素的畫素值，作為通常攝影機視點的第1~第4低亮度攝影畫像各自的注目畫素的畫素值，藉此生成通常攝影機視點的第1~第4低亮度攝影畫像。
如以上般，在標準亮度攝影畫像生成部72中，生成4個ND攝影機視點的標準亮度攝影畫像，且在低亮度攝影畫像生成部73中，生成15個通常攝影機視點的第1~第4低亮度攝影畫像，藉此可針對構成攝影裝置11(圖20)的19個攝影機單元的19的視點的全部來取得標準亮度攝影畫像及第1~第4低亮度攝影畫像。
另外，在本實施形態中，為了使說明簡單， 而將4個ND攝影機視點的標準亮度攝影畫像及15個通常攝影機視點的第1~第4低亮度攝影畫像設為預先生成，但4個ND攝影機視點的標準亮度攝影畫像的畫素值及15個通常攝影機視點的第1~第4低亮度攝影畫像的畫素值是可針對必要的畫素來必要時生成。
飽和判定部74是進行判定來自標準亮度攝影畫像生成部72的19視點的標準亮度攝影畫像各自的各畫素是否為飽和畫素之飽和判定，且將該飽和判定的判定結果(飽和判定結果)供給至復原部75。
如上述般，在復原部75是從飽和判定部74供給飽和判定的判定結果。而且，如上述般，在復原部75是從標準亮度攝影畫像生成部72供給19視點的標準亮度攝影畫像，且從低亮度攝影畫像生成部73供給19視點的第1~第4低亮度攝影畫像。
並且，在復原部75是例如從圖20的攝影裝置11供給第1~第4低亮度攝影畫像用的復原增益。
在此，所謂第1低亮度攝影畫像用的復原增益，是利用第1低亮度攝影畫像來進行飽和畫素的復原時被使用之圖17所說明的復原增益。
因此，第1低亮度攝影畫像用的復原增益是標準亮度攝影畫像的曝光時間(標準曝光時間)與第1低亮度攝影畫像的曝光時間的比的值。
例如，在圖20說明般，當第1低亮度攝影畫像的曝光時間為(等效性)標準曝光時間的1/16倍時， 第1低亮度攝影畫像用的復原增益是形成16=1/(1/16)倍。
第2~第4低亮度攝影畫像用的復原增益也可與第1低亮度攝影畫像用的復原增益同樣求取。
復原部75是分別針對來自標準亮度攝影畫像生成部72的19視點的標準亮度攝影畫像，按照來自飽和判定部74的飽和判定結果，特定飽和畫素。
而且，復原部75是因應所需利用來自低亮度攝影畫像生成部73的第1~第4低亮度攝影畫像、及來自攝影裝置11(圖20)的第1~第4低亮度攝影畫像用的復原增益，將飽和畫素的畫素值復原，且將藉由該復原而取得之比標準亮度攝影畫像更高動態範圍的HDR攝影畫像供給至入射光線再現部36(圖3)。
圖22是說明視差地圖的視差的補正例的圖。
在圖21的飽和畫素復原部33中，如上述般，在標準亮度攝影畫像生成部72中，藉由參照在視差資訊取得部71所取得的視差地圖，檢測出對應於ND攝影機視點的低亮度攝影畫像的注目畫素之通常攝影機視點的標準亮度攝影畫像的對應畫素。並且，在低亮度攝影畫像生成部73中，藉由參照在視差資訊取得部71所取得的視差地圖，檢測出對應於通常攝影機視點的標準亮度攝影畫像的注目畫素之ND攝影機視點的(第1~第4)低亮度攝影畫像的對應畫素。
在標準亮度攝影畫像生成部72及低亮度攝影 畫像生成部73中，如以上般，在對應於某1視點的畫像的注目畫素之檢測出其他的1視點的畫像的對應畫素時所被參照的視差地圖中登錄的視差是因應所需被補正。
在此，為了使說明簡單，攝影裝置11如圖22所示般，以排列於水平方向的3個的攝影機單元Ua，Ub、及、Uc所構成。
並且，將3個的攝影機單元Ua，Ub、及、Uc之中，例如最左側的攝影機單元Ua設為攝取生成多層視差地圖的對象的基準畫像之基準攝影機單元。
而且，基準攝影機單元Ua及最右側的攝影機單元Uc是通常攝影機單元，中央的攝影機單元Ub是附ND濾光片的攝影機單元。在基準攝影機單元Ua及通常攝影機單元Uc是攝取標準亮度攝影畫像，在附ND濾光片的攝影機單元Ub是攝取低亮度攝影畫像。
在此，將在基準攝影機單元Ua所攝取的標準亮度攝影畫像亦稱為基準畫像Ua或標準亮度攝影畫像Ua。並且，將在附ND濾光片的攝影機單元Ub所攝取的低亮度攝影畫像亦稱為低亮度攝影畫像Ub。而且，將在通常攝影機單元Uc所攝取的標準亮度攝影畫像亦稱為標準亮度攝影畫像Uc。
此時，在視差資訊取得部71中，以基準攝影機單元Ua及通常攝影機單元Uc的基線長(光軸彼此間的距離)作為基準基線長，生成在基準攝影機單元Ua所攝取的標準亮度攝影畫像(基準畫像)Ua的視差地圖 (基準視差地圖)。
基準攝影機單元Ua的視點(基準視點)以外的視點的視差地圖，亦即例如在通常攝影機單元Uc所被攝影的標準亮度攝影畫像Uc的視差地圖是如在圖7及圖8所說明般，可利用基準視差地圖來簡易地生成。
具體而言，在通常攝影機單元Uc所被攝影的標準亮度攝影畫像Uc的視差地圖是在基準視差地圖中，如在圖7所說明般，在對應於基準攝影機單元Ua與通常攝影機單元Uc的位置關係之攝影機位置關係方向，將被登錄於各畫素的位置之視差，僅該視差移動，而且，如在圖8所說明般，可藉由將插補視差插補於未登錄區域來生成。
如此，在利用基準視差地圖來生成的標準亮度攝影畫像Uc的視差地圖中所被登錄的視差是相對於僅基準攝影機單元Ua與通常攝影機單元Uc的基線長之基準基線長分離的2點之視差。
因此，在檢測出對應於標準亮度攝影畫像Uc的注目畫素之低亮度攝影畫像Ub的對應畫素時，在標準亮度攝影畫像Uc的視差地圖中所被登錄的視差會被補正成相對於僅攝取標準亮度攝影畫像Uc的通常攝影機單元Uc與攝取低亮度攝影畫像Ub的附ND濾光片的攝影機單元Ub的基線長分離的2點之視差。
亦即，此時，若將基準攝影機單元Ua與通常攝影機單元Uc的基線長之基準基線長表示成ac，且將附 ND濾光片的攝影機單元Ub與通常攝影機單元Uc的基線長表示成bc，則在標準亮度攝影畫像Uc的視差地圖中所被登錄的視差是被補正成基線長bc與基準基線長的比的值bc/ac倍。
例如，基準攝影機單元Ua與附ND濾光片的攝影機單元Ub的基線長ab、及附ND濾光片的攝影機單元Ub與通常攝影機單元Uc的基線長bc皆為5mm。
此情況，基準攝影機單元Ua與通常攝影機單元Uc的基線長ac之基準基線長是形成10mm。
此時，利用基準視差地圖所生成之登錄於標準亮度攝影畫像Uc的視差地圖的注目畫素的視差若例如為10(畫素)，則其視差10是基線長bc=5mm與基準基線長ac=10mm的比的值5/10倍，被補正成視差5。
然後，從注目畫素的位置檢測出僅視差5偏移的位置的低亮度攝影畫像Ub的畫素，作為對應於標準亮度攝影畫像Uc的注目畫素之低亮度攝影畫像Ub的對應畫素。
圖23是說明在圖21的飽和畫素復原部33進行的飽和畫素復原處理例的流程圖。
在步驟S61中，視差資訊取得部71是取得在構成攝影裝置11(圖20)的19視點的攝影機單元所被攝影的攝影畫像(標準亮度攝影畫像、第1~第4低亮度攝影畫像)各自的視差地圖，且供給至標準亮度攝影畫像生成部72及低亮度攝影畫像生成部73。
而且，在步驟S61中，標準亮度攝影畫像生成部72為利用構成攝影裝置11(圖20)的19視點的攝影機單元之中的15個通常攝影機視點的標準亮度攝影畫像及來自視差資訊取得部71的視差地圖，來生成4個ND攝影機視點的標準亮度攝影畫像，與15個通常攝影機視點的標準亮度攝影畫像一起供給至飽和判定部74及復原部75。
並且，在步驟S61中，低亮度攝影畫像生成部73為利用來自攝影裝置11的4個ND攝影機視點的第1~第4低亮度攝影畫像及來自視差資訊取得部71的視差地圖，來生成15個通常攝影機視點的第1~第4低亮度攝影畫像，與4個ND攝影機視點的第1~第4低亮度攝影畫像一起供給至復原部75。
然後，處理是從步驟S61前進至步驟S62，飽和判定部74是將從構成攝影裝置11(圖20)的19個攝影機單元的19視點之中尚未選擇成注目視點的視點之1個選擇成注目視點，處理是前進至步驟S63。
在步驟S63中，飽和判定部74是將從標準亮度畫像生成部72供給的19視點的標準亮度攝影畫像之中的注目視點的標準亮度攝影畫像的畫素之中尚未選擇成注目畫素的畫素之1個選擇成注目畫素，處理是前進至步驟S64。
在步驟S64中，進行取得注目視點的HDR攝影畫像的注目畫素(與注目視點的標準亮度攝影畫像的注 目畫素同一位置的畫素)的畫素值之處理，處理是前進至步驟S65。
在步驟S65中，飽和判定部74是判定是否將注目視點的標準亮度攝影畫像的畫素的全部選擇成注目畫素。
在步驟S65中，被判定成尚未將注目視點的標準亮度攝影畫像的畫素的全部選擇成注目畫素時，處理是回到步驟S63，以下同樣的處理會被重複。
並且，在步驟S65中，被判定成將注目視點的標準亮度攝影畫像的畫素的全部選擇成注目畫素時，處理是前進至步驟S66。
在步驟S66中，飽和判定部74是判定是否將構成攝影裝置11(圖20)的19個攝影機單元的19視點的全部選擇成注目視點。
在步驟S66中，被判定成尚未將19視點的全部選擇成注目視點時，處理是回到步驟S62，以下同樣的處理會被重複。
並且，在步驟S66中，被判定成將19視點的全部選擇成注目視點時，復原部52是將藉由以上的處理所取得的19視點的HDR攝影畫像供給至入射光線再現部36(圖3)，完成飽和畫素復原處理。
另外，在圖23中，以構成攝影裝置11的19個攝影機單元的19視點的全部為對象，進行飽和畫素復原處理，但飽和畫素復原處理是可只以19視點之中的15 個通常攝影機視點為對象進行。
此情況，在飽和畫素復原處理中所取得的HDR攝影畫像，不是19視點的HDR攝影畫像，而是成為15個通常攝影機視點的HDR攝影畫像，但圖21的飽和畫素復原部33是可構成不設標準亮度攝影畫像生成部72。
圖24是說明在圖23的步驟S64所被進行之取得注目視點的HDR攝影畫像的注目畫素的畫素值之處理例的流程圖。
在步驟S71中，飽和畫素判定部74是取得來自標準亮度攝影畫像生成部72的注目視點的標準亮度攝影畫像的注目畫素的畫素值，作為注目畫素的標準畫素值，處理是前進至步驟S72。
在步驟S72中，飽和判定部74是進行注目視點的標準亮度攝影畫像的注目畫素的標準畫素值是否為臨界值TH1以上的飽和判定。
在步驟S72中，被判定成注目視點的標準亮度攝影畫像的注目畫素的標準畫素值不為臨界值TH1以上時，亦即注目視點的標準亮度攝影畫像的注目畫素的標準畫素值為未飽和時，飽和判定部74是將標準畫素值為未飽和的意旨的飽和判定結果供給至復原部75(圖21)，處理是前進至步驟S73。
在步驟S73中，復原部75是按照來自飽和判定部74之標準畫素值為未飽和的意旨的飽和判定結果， 將來自標準亮度攝影畫像生成部72的注目視點的標準亮度攝影畫像的注目畫素的標準畫素值選擇成注目視點的HDR攝影畫像的注目畫素(與注目視點的標準亮度攝影畫像的注目畫素同一位置的畫素)的畫素值，處理返回。
另一方面，在步驟S72中，被判定成注目視點的標準亮度攝影畫像的注目畫素的標準畫素值為臨界值TH1以上時，亦即注目視點的標準亮度攝影畫像的注目畫素的標準畫素值為飽和或飽和的可能性高時，飽和判定部74是將標準畫素值為飽和的意旨的飽和判定結果供給至復原部75，處理是前進至步驟S74。
在步驟S74中，復原部75是按照來自飽和判定部74之標準畫素值為飽和的意旨的飽和判定結果，分別取得來自低亮度攝影畫像生成部73的注目視點的第1~第4低亮度攝影畫像的注目畫素(與注目視點的標準亮度攝影畫像的注目畫素同一位置的畫素)的畫素值，作為注目畫素的第1~第4低亮度畫素值v1~v4。
而且，復原部75是從攝影裝置11取得第1~第4低亮度攝影畫像用的復原增益g1~g4，處理是從步驟S74前進至步驟S75。
在步驟S75中，復原部75是判定注目視點的第1低亮度攝影畫像的注目畫素的畫素值之第1低亮度畫素值v1是否符合使用臨界值TH1及比臨界值TH1小的臨界值TH2之式TH2<v1<TH1。
在步驟S75中，被判定成第1低亮度畫素值 v1符合式TH2<v1<TH1時，亦即，第1低亮度畫素值v1不為雜訊般小的值，且亦未飽和時，處理是前進至步驟S76。
在步驟S76中，復原部75是求取注目視點的第1低亮度攝影畫像的注目畫素的畫素值之第1低亮度畫素值v1、第1低亮度攝影畫像用的復原增益g1倍的畫素值，作為復原飽和畫素的復原畫素值。而且，復原部75是將復原畫素值選擇成注目視點的HDR攝影畫像的注目畫素的畫素值，處理返回。
並且，在步驟S75中，被判定成第1低亮度畫素值v1未符合式TH2<v1<TH1時，處理是前進至步驟S77。
在步驟S77中，復原部75是判定注目視點的第2低亮度攝影畫像的注目畫素的畫素值之第2低亮度畫素值v2是否符合式TH2<v2<TH1。
在步驟S77中，被判定成第2低亮度畫素值v2符合式TH2<v2<TH1時，亦即第2低亮度畫素值v2不為雜訊般小的值，且亦未飽和時，處理是前進至步驟S78。
在步驟S78中，復原部75是求取注目視點的第2低亮度攝影畫像的注目畫素的畫素值之第2低亮度畫素值v2、第2低亮度攝影畫像用的復原增益g2倍的畫素值，作為復原飽和畫素的復原畫素值。而且，復原部75是將復原畫素值選擇成注目視點的HDR攝影畫像的注目 畫素的畫素值，處理返回。
並且，在步驟S77中，被判定成第2低亮度畫素值v2不符合式TH2<v2<TH1時，處理是前進至步驟S79。
在步驟S79中，復原部75是判定注目視點的第3低亮度攝影畫像的注目畫素的畫素值之第3低亮度畫素值v3是否符合式TH2<v3<TH1。
在步驟S79中，被判定成第3低亮度畫素值v3符合式TH2<v3<TH1時，亦即第3低亮度畫素值v3不為雜訊般小的值，且亦未飽和時，處理是前進至步驟S80。
在步驟S80中，復原部75是求取注目視點的第3低亮度攝影畫像的注目畫素的畫素值之第3低亮度畫素值v3、第3低亮度攝影畫像用的復原增益g3倍的畫素值，作為復原飽和畫素的復原畫素值。而且，復原部75是將復原畫素值選擇成注目視點的HDR攝影畫像的注目畫素的畫素值，處理返回。
並且，在步驟S79中，被判定成第3低亮度畫素值v3不符合式TH2<v3<TH1時，處理是前進至步驟S81。
在步驟S81中，復原部75是求取注目視點的第4低亮度攝影畫像的注目畫素的畫素值之第4低亮度畫素值v4、第4低亮度攝影畫像用的復原增益g4倍的畫素值，作為復原飽和畫素的復原畫素值。而且，復原部75 是將復原畫素值選擇成注目視點的HDR攝影畫像的注目畫素的畫素值，處理返回。
另外，飽和畫素復原處理的結果取得之高動態範圍的複數的視點的(HDR)攝影畫像是除了在視差資訊生成部31的視差資訊的生成、或在透鏡模擬部35的模擬畫像的生成以外，複數的視點的攝影畫像可作為必要的任意的畫像處理的對象。
並且，飽和畫素復原處理是除了以具有複數的攝影機單元21i的攝影裝置11等所攝影的複數的視點的攝影畫像以外，還以可適用光場技術的任意的畫像作為對象進行，藉此可再現鮮明的模糊。
作為攝取可適用光場技術的畫像之方法，除了使用具有複數的攝影機單元21i的攝影裝置11來攝取複數的視點的攝影畫像之方法以外，例如有利用Ren.Ng等其他7名，"Light Field Photography with a Hand-Held Plenoptic Camera"，Stanford Tech Report CTSR 2005-02中記載的MLA(Micro Lens Array)來進行攝影的方法。
<透鏡模擬部35的透鏡模擬處理的概要>
圖25是說明圖3的透鏡模擬部35的透鏡模擬處理的概要圖。
透鏡模擬處理是在入射光線再現部36(圖3)中，從成為攝影裝置11的攝影的被照體之存在於實空間內的物體上的點等的實空間點所發出的光線(實空間點 本身發光時，除了該實空間點所發出的光以外，還包含在實空間點被反射的反射光)之中的射入假想透鏡的光線會被再現。
假想透鏡是將構成攝影裝置11(圖2)的攝影機單元211~217設為合成孔徑之假想的透鏡，其實體為攝影機單元211~217。
並且，透鏡模擬處理是在模擬透鏡資訊生成部37(圖3)中，規定通過模擬透鏡的光線之透鏡資訊(模擬透鏡資訊)會被生成。
如在圖3說明般，模擬透鏡是可為實際存在的光學透鏡，或實際不存在的光學透鏡。
又，透鏡資訊有表示模擬透鏡對於點光源的回應之PSF(Point Spread Function)強度分布等。
透鏡模擬處理是在集光處理部38(圖3)中，利用在模擬透鏡資訊生成部37所取得的透鏡資訊，進行作為使在入射光線再現部36被再現的光線經由模擬透鏡來集光於假想感測器上的集光處理之數位訊號處理。
假想感測器的實體是例如未圖示的記憶體，在集光處理中，利用透鏡資訊，對應於光線的亮度的值會被加算於記憶體(的記憶值)，藉此生成模擬畫像。
圖26是說明實際的光學透鏡之集光處理、及透鏡模擬處理的集光處理的圖。
圖26的A是表示實際的光學透鏡之集光處理。
實際的光學透鏡是將從實空間內的物體所發出的無數的光線取樣，按照實際的光學透鏡的透鏡特性來結像於結像面。
實際的光學透鏡是例如藉由光圈來變化在光學透鏡所被取樣的光線的角度。
亦即，在縮小光圈時，從物體對光軸，以大的角度w來擴展的光線是在光學透鏡未被取樣。另一方面，在擴大光圈時，從物體對光軸，以大的角度w來擴展的光線會在光學透鏡被取樣。
圖26的A的畫像picA是縮小光圈來攝影的畫像，景深深，全體對焦那樣的畫像。並且，畫像picA是在右上的兒童人物之後存在電燈泡，但從該電燈泡對於光軸，以大的角度來擴展的光線在光學透鏡未被取樣，因此在兒童人物之後是電燈泡未映現。
圖26的A的畫像picB是擴大光圈來攝影的畫像，景深淺，僅一部分對焦，其他大部分形成模糊的畫像。並且，畫像picB是在右上的兒童人物之後存在電燈泡，從該電燈泡對於光軸，以大的角度來擴展的光線會在光學透鏡被取樣，因此在兒童人物之後，電燈泡的一部分會映現。
圖26的B是表示透鏡模擬處理的集光處理。
透鏡模擬處理的集光處理是利用從在攝影裝置11的複數的攝影機單元21i中被攝影(記錄)的實空間內的物體所發出的光線來射入將該複數的攝影機單元21i 設為合成孔徑的假想透鏡之光線會被再現(生成)。
在此，圖26的B是在複數的3個的攝影機單元211，212及215攝取3條的光線。然後，射入假想透鏡的光線會被再現，使能夠該插補該3條的光線之間。
透鏡模擬處理的集光處理是如以上般，射入假想透鏡的光線被再現後，該光線會按照模擬透鏡的透鏡資訊，被集光於假想感測器上。藉此，在該集光的結果取得的模擬畫像中，與實際利用模擬透鏡來攝影時同樣的模糊感會被再現。
<射入假想透鏡的光線的再現>
圖27是表示圖3的入射光線再現部36的構成例的方塊圖。
在圖27中，入射光線再現部36是具有實空間點選擇部101、光線生成部102、衝突判定部103、及亮度分配部104。
在實空間點選擇部101是從視差資訊生成部31供給視差地圖。
實空間點選擇部101是利用來自視差資訊生成部31的視差地圖之中的多層視差地圖，將在攝影裝置11所被攝影的實空間內的空間點選擇成注目實空間點，供給至光線生成部102。
光線生成部102是從來自實空間點選擇部101的注目實空間點生成射入假想透鏡的光線(直線)，供給 至衝突判定部103。
在衝突判定部103是除了從光線生成部103供給光線以外，還從視差資訊生成部31供給視差地圖。
衝突判定部103是進行利用來自視差資訊生成部31的視差地圖之中的多層視差地圖，判定來自光線生成部103的光線射入假想透鏡為止，是否衝突於實空間內的物體之衝突判定。
然後，衝突判定部103是將衝突判定的結果剩下的光線供給至亮度分配部104。
在亮度分配部104是除了從衝突判定部103供給光線以外，還從視差資訊生成部31供給視差地圖，且從飽和畫素復原部33供給複數的7視點的(HDR)攝影畫像HD#i。
亮度分配部104是利用來自視差資訊生成部31的視差地圖、及來自飽和畫素復原部33的攝影畫像HD#i，由衝突判定部103來對光線，亦即衝突判定的結果剩下的光線分配亮度，且將該亮度的分配後的光線供給至集光處理部38(圖3)。
圖28是說明實空間點的圖。
亦即，圖28是由上來看以構成作為假想透鏡的攝影裝置11之攝影機單元21i所攝取的實空間時的概略的平面圖。
在此，利用將假想透鏡或模擬透鏡的主點設為原點，且分別將由正面來看攝影裝置11(圖2)時的水 平方向及垂直方向設為x軸及y軸，及從原點到深度方向(被照體的方向)為z軸的3次元座標系，作為規定實空間內的位置(實空間點)之3次元座標系。
映在基準畫像的某畫素p的物體(被照體)的實空間內的位置之實空間點(x，y，z)是可由畫素p的基準畫像上的位置(攝影機單元211之未圖示的影像感測器上的位置)及其畫素p的視差d來求取。
於是，實空間點選擇部101是由被登錄於多層視差地圖的畫素p的位置及視差d來求取對應於有該視差d的畫素p之實空間點(可映在畫素p的物體的實空間內的位置)。
此時，若將被登錄於多層視差地圖之有視差d的實空間點(的集合)設為視差登錄位置，則實空間點選擇部101會將構成視差登錄位置的實空間點依序選擇成注目實空間點。
另外，在圖28中，THETA是表示基準畫像(基準攝影機單元211)的水平方向的畫角。視差登錄位置是以假想透鏡的光軸為中心，存在於以畫角THETA擴大的範圍。
假想透鏡的光軸是通過基準畫像的中心之與基準畫像垂直的直線(基準攝影機單元211的光軸)。
圖29是說明利用多層視差地圖來求取實空間點的求取方式的圖。
此時，使用將基準畫像的水平方向及垂直方 向的位置設為x軸及y軸，且將在視差資訊生成部31(圖3)所取得的視差的取得值設為z軸之3次元空間，作為表現多層視差地圖的多層視差地圖空間。
在如此的多層視差地圖空間中，位置(x，y)的畫素的視差d是可藉由在位置(x，y，d)建立登錄視差的意旨的視差旗標來登錄。
在此，本實施形態是將可登錄於多層視差地圖的視差的最大值表示成Dmax，且將最小值表示成Dmin。此情況，多層視差地圖空間的z軸方向的尺寸是成為Dmax-Dmin+1。另外，Dmin是例如可採用0(無限遠)。
並且，被登錄於多層視差地圖的視差d是例如可按照式z=37.4/d，變換成來自假想透鏡的主點(基準攝影機單元211)之深度方向的實空間內的距離z。
另外，將視差d變換成距離z的式是不限於式z=37.4/d，依基準攝影機單元211的解像度或畫角、焦點距離而異。
此時，若注目基準畫像之x座標為Xpic的某畫素p作為注目畫素p，則在圖29的多層視差地圖中，對於注目畫素p，登錄有視差D1及D2。
實空間點選擇部101是將相對於注目畫素p的視差D1及D2依序選擇成注目的注目視差，且將對應於有該注目視差的注目畫素p之實空間點選擇成注目實空間點。
此時，視差D1及D2之中的視差D1會被選擇成注目視差。
並且，將基準畫像(視差地圖)的水平方向(x軸方向)的畫素數表示成width，且將基準畫像的水平方向的畫角表示成THEATA。而且，將對應於有注目視差D1的注目畫素p的實空間點P1之來自光軸的x軸方向的位置(距離)表示成x1。
實空間點選擇部101是首先將注目視差D1變換成實空間的距離z=z1。
然後，實空間點選擇部101是利用對應於注目視差D1的距離z=z1來求取對應於有注目視差D1的注目畫素p的實空間點P1之來自光軸的x軸方向的位置(距離)x1。
亦即，實空間的距離x1與多層視差地圖空間的畫素數Xpic-width/2是對應。而且，實空間之表示水平方向的畫角的1/2的距離z1×tan(THEATA/2)與多層視差地圖空間之表示水平方向的畫角的1/2的畫素數width/2是對應。
由於x1與Xpic-width/2的比和z1×tan(THEATA/2)與width/2的比是一致，因此式x1：Xpic-width/2=z1×tan(THEATA/2)：width/2成立。
因此，對應於有注目視差D1的注目畫素p的實空間點P1之來自光軸的x軸方向的位置x1是可按照式x1=((Xpix-width/2)(z1×tan(THEATA/2))/(width/2) 來求取。
實空間點選擇部101是如以上般求取對應於有注目視差D1的注目畫素p的實空間點P1之來自光軸的x軸方向的位置x1。
實空間點選擇部101是同樣求取對應於有注目視差D1的注目畫素p的實空間點P1之來自光軸的y軸方向的位置，藉此求取對應於有注目視差D1的注目畫素p的實空間點P1(的xyz座標)。
對應於有視差D2的畫素p的實空間點也可同樣求取。
圖30是說明在圖27的光線生成部102所進行的光線的生成的例圖。
亦即，圖30是由正面(被照體側)來看假想透鏡的正面圖。
光線生成部102是將包含假想透鏡(的合成孔徑)的區域設定為透鏡區域。
在圖30中，包圍假想透鏡之例如最小的矩形的區域會被設定成透鏡區域。
光線生成部102是將透鏡區域(所包圍的假想透鏡)分割成小領域的透鏡區域單元，將實空間點視為點光源，進行從作為該點光源的實空間點射入各透鏡區域單元(例如中心)的光線的生成，亦即作為從實空間點射入各透鏡區域單元的光線之直線的算出。
在圖30中，透鏡區域是被分割成水平方向為 Lx個，垂直方向為Ly個，合計Lx×Ly個的透鏡區域單元。
此情況，在光線生成部102中，針對1個的實空間點，連結該實空間點與Lx×Ly個的透鏡區域單元各自的Lx×Ly條的直線會被緻密地生成，作為射入假想透鏡的光線。
在此，將在水平方向或垂直方向鄰接的透鏡區域單元(的中心)彼此的距離設為可區別從實空間點發出的2條光線的角度之角度分解能。
例如，若合成孔徑(假想透鏡的直徑)設為40mm，透鏡區域的水平方向及垂直方向的透鏡區域單元的數量Lx及Ly設為21個，則角度分解能是40/21mm。
並且，把將透鏡區域分割成透鏡區域單元之水平方向的直線與垂直方向的直線的交點的格子點記載為格子點LP#i(i=1，2，...，(Lx+1)(Ly+1))。
在水平方向或垂直方向鄰接的格子點LP#i與LP#j的距離是表示角度分解能。
圖31是說明在圖27的衝突判定部103所進行的衝突判定、及在亮度分配部104所進行之對光線的亮度的分配的圖。
亦即，圖31是由上來看以構成作為假想透鏡的攝影裝置11之攝影機單元21i所攝取的實空間時的概略的平面圖。
衝突判定部103是利用多層視差地圖來進行 衝突判定，該衝突判定是判定來自光線生成部103之從實空間點發出，朝假想透鏡的Lx×Ly個的透鏡區域單元之Lx×Ly條的光線至射入假想透鏡為止，是否衝突於實空間內的物體。
亦即，衝突判定部103是從實空間點發出，朝假想透鏡的透鏡區域單元的光線至射入該透鏡區域單元為止，與視差登錄位置衝突(交叉)時，判定成光線衝突。
另一方面，衝突判定部103是從實空間點發出，朝假想透鏡的透鏡區域單元的光線至射入該透鏡區域單元為止，不與視差登錄位置衝突時，判定成光線不衝突。
然後，衝突判定部103是將衝突判定的結果剩下的光線，亦即被判定成不衝突的線供給至亮度分配部104。
另外，衝突判定部103是在衝突判定的結果剩下的光線中分配對應於發出該光線的實空間點(x，y，z)之視差d=D，在被判定成衝突的光線中分配對應於該光線所衝突的視差登錄位置之視差d=D'。
衝突判定之後，從某實空間點(x，y，z)發出的光線是否不衝突於物體地射入假想透鏡，可由被分配於該光線的視差是否與發出該光線的實空間點(x，y，z)的視差一致來辨識。
亦即，當被分配於光線的視差與發出該光線 的實空間點(x，y，z)的視差一致時，該光線是不衝突於物體，射入假想透鏡。另一方面，當被分配於光線的視差不與發出該光線的實空間點(x，y，z)的視差一致時，該光線是在對應於被分配於光線的視差之深度的位置，衝突於物體，不到達假想透鏡。
亮度分配部104是利用多層視差地圖及攝影畫像HD#i，對來自衝突判定部103之衝突判定的結果剩下的光線分配亮度。
亦即，亮度分配部104是分別針對7視點的攝影畫像HD1~HD7，求取對應於發出衝突判定的結果剩下的光線的實空間點(x，y，z)之對應畫素。
而且，亮度分配部104是藉由參照視差地圖，在攝影畫像HD1~HD7的對應畫素之中，檢測出登錄有與對應於實空間點(x，y，z)的深度z之視差d=D一致的視差之畫素，作為使用於亮度的分配之光線亮度分配用畫素。
然後，亮度分配部104是利用作為光線亮度分配用畫素的畫素值之R(Red)，G(Green)，B(Blue)的值來對光線分配亮度。
亦即，亮度分配部104是例如以光線亮度分配用畫素的畫素值(R，G，B的值)的平均值作為光線的亮度，分配給光線。
如以上般，從實空間點(x，y，z)發出的光線衝突於物體，不射入假想透鏡時，在衝突判定部103 中，對於該光線，分配對應於該光線所衝突的視差登錄位置之視差。
另一方面，從實空間點(x，y，z)發出的光線未衝突於物體，射入假想透鏡時，在衝突判定部103中，對於該光線，分配對應於發出該光線的實空間點(x，y，z)的視差。
而且，對於不衝突於物體，射入假想透鏡的光線是在亮度分配部104中，分配作為亮度的畫素值(R，G，B的值)。
圖32是模式性地表示在圖27的入射光線再現部36進行的入射光線再現處理所能取得的最大數的資料的圖。
此時，基準畫像HD1是以N個的畫素pix1，pix2，...，pix#N所構成，可登錄於視差地圖(多層視差地圖)的視差d為從最小值Dmin到最大值Dmax之每1畫素的DPN=Dmax-Dmin+1個的整數值。
此情況，在入射光線再現處理中，最大，如圖32所示般，對於對應於N個的畫素pix1，pix2，...，pix#N之中的任意的畫素pix#n與DPN個的視差Dmin，Dmin+1，...，Dmax之中的任意的視差d的組合(pix#n，d)之實空間點，登錄畫素值表。
在相對於實空間點(該實空間點是對應於組合(pix#n，d))的畫素值表中，如圖32所示般，登錄有被分配給從對應於組合(pix#n，d)的實空間點往透鏡 區域(圖30)的Lx×Ly個的透鏡區域單元之中，從左到第i個，從上到第j個的透鏡區域單元(i，j)的光線之視差D。
而且，從對應於組合(pix#n，d)的實空間點往透鏡區域單元(i，j)的光線中被分配有作為亮度的R，G，B的值時，在相對於實空間點(該實空間點是對應於組合(pix#n，d))的畫素值表中，登錄有作為該亮度的R，G，B的值。
圖33是說明圖27的入射光線再現部36所進行的入射光線再現處理例的流程圖。
在步驟S101中，入射光線再現部36(圖27)的實空間點選擇部101、衝突判定部103、及亮度分配部104是從視差資訊生成部31取得視差地圖，處理是前進至步驟S102。
在步驟S102中，實空間點選擇部101是將基準畫像HD1的畫素之中尚未選擇成注目畫素的畫素之1個選擇成注目畫素，處理是前進至步驟S103。
在步驟S103中，實空間點選擇部101是參照來自視差資訊生成部31的視差地圖(多層視差地圖)，將被登錄於注目畫素的視差之中尚未選擇成注目視差的視差之1個選擇成注目視差，處理是前進至步驟S104。
在步驟S104中，實空間點選擇部101是將對應於注目視差的注目畫素(有注目視差的注目畫素)的實空間點(x，y，z)=(x0，y0，z0)選擇成注目實空間 點，供給至光線生成部102，處理是前進至步驟S105。
在步驟S105中，光線生成部102是將假想透鏡的透鏡區域單元(圖30)之中尚未選擇成注目透鏡區域單元的透鏡區域單元之1個選擇成注目透鏡區域單元，處理是前進至步驟S106。
在步驟S106中，光線生成部102是從注目實空間點(x0，y0，z0)生成朝向注目透鏡區域單元的中心點(1x，1y，0)的光線(直線式)作為注目光線，供給至衝突判定部103，處理是前進至步驟S107。
在此，作為從注目實空間點(x0，y0，z0)朝向注目透鏡區域單元的中心點(1x，1y，0)的光線之直線是以式(x-1x)/(x0-1x)=(y-1y)/(y0-1y)=z/z0來表示。
在步驟S107中，衝突判定部103是進行以來自光線生成部102的注目光線作為對象的衝突判定，處理是前進至步驟S108。
在步驟S108中，亮度分配部104是根據在衝突判定部103的衝突判定的判定結果(衝突判定結果)，判定注目光線是否衝突。
在步驟S108中，被判定成注目光線不衝突時，亦即，在衝突判定部103之步驟S107的衝突判定中，對注目光線分配與對應於注目實空間點的視差(注目視差)相等的視差時，處理是前進至步驟S109。
在步驟S109中，亮度分配部104是進行對注 目光線分配亮度的光線亮度分配，供給至集光處理部38，處理是前進至步驟S110。
另一方面，在步驟S108中，被判定成注目光線衝突時，亦即在衝突判定部103之步驟S107的衝突判定中，對注目光線分配與對應於注目實空間點的視差(注目視差)不相等的視差時，處理是跳過步驟S109，前進至步驟S110。
因此，當注目光線衝突時，有關該注目光線是步驟S109的光線亮度分配未被進行。
在步驟S110中，光線生成部102判定是否在注目透鏡區域單元選擇了假想透鏡的透鏡區域單元的全部。
在步驟S110中，被判定成在注目透鏡區域單元尚未選擇假想透鏡的透鏡區域單元的全部時，處理是回到步驟S105，以下同樣的處理會被重複。
並且，在步驟S110中，被判定成在注目透鏡區域單元選擇了假想透鏡的透鏡區域單元的全部時，處理是前進至步驟S111。
在步驟S111中，實空間點選擇部101判定是否在注目視差選擇了多層視差地圖中被登錄於注目畫素的視差的全部。
在步驟S111中，被判定在注目視差尚未選擇多層視差地圖中被登錄於注目畫素的視差的全部時，處理是回到步驟S103，以下同樣的處理會被重複。
並且，在步驟S111中，被判定在注目視差選擇了多層視差地圖中被登錄於注目畫素的視差的全部時，處理是前進至步驟S112。
在步驟S112中，實空間點選擇部101判定是否在注目畫素選擇了基準畫像HD1的畫素的全部。
在步驟S112中，被判定在注目畫素尚未選擇基準畫像HD1的畫素的全部時，處理是回到步驟S102，以下同樣的處理會被重複。
並且，在步驟S112中，被判定成在注目畫素選擇了基準畫像HD1的畫素的全部時，入射光線再現處理終了。
圖34是說明圖33的步驟S107的衝突判定的處理例的流程圖。
在步驟S121中，衝突判定部103是將衝突判定用的判定用視差d設定成作為初期值的最大值Dmax，處理是前進至步驟S122。
在步驟S122中，衝突判定部103是求取對應於判定用視差d的深度(距離)Z，處理是前進至步驟S123。
在步驟S123中，衝突判定部103是判定對應於判定用視差d的深度Z是否為等於注目實空間點(x0，y0，z0)的深度z0。
在步驟S123中，被判定對應於判定用視差d的深度Z為等於注目實空間點(x0，y0，z0)的深度z0 時，處理是前進至步驟S124。
在步驟S124以後，確認從注目實空間點(x0，y0，z0)往注目透鏡區域單元的中心點(1x，1y，0)的注目光線是否在對應於判定用視差d的深度Z衝突於物體。
亦即，在步驟S124中，衝突判定部103是將以式z=Z所表示的平面，亦即將與位在深度Z的位置的光軸垂直的平面設定成作為衝突判定用的平面之判定層，處理是前進至步驟S125。
在此，以下亦將與位在對應於視差d的深度(距離)Z的光軸垂直之以式z=Z所示的平面稱為z=Z的視差平面。在步驟S124中，z=Z的視差平面會被設定成判定層。
在步驟S125中，衝突判定部103是求取注目光線與判定層的交點(Px，Py，Z)，處理是前進至步驟S126。
在此，如在圖33所說明般，作為注目光線的直線是以(x-1x)/(x0-1x)=(y-1y)/(y0-1y)=z/z0來表示。
因此，注目光線的x座標及y座標是分別以式x=z/z0(x0-1x)+1x及式y=z/z0(y0-1y)+1y來表示。
藉由將Z代入式x=z/z0(x0-1x)+1x及式y=z/z0(y0-1y)+1y的z，可求取以式z=Z來表示的判定層上的注目光線的x座標及y座標，亦即注目光線與判定 層的交點(Px，Py，Z)的x座標Px及y座標Py。
因此，x座標Px及y座標Py是分別可按照式x=Z/z0(x0-1x)+1x及式y=Z/z0(y0-1y)+1y來求取。
在步驟S126中，衝突判定部103是對應於注目光線與判定層的交點(Px，Py，Z)之基準畫像的畫素(以下亦稱為交點畫素)，處理是前進至步驟S127。
在步驟S127中，衝突判定部103判定多層視差地圖中，是否判定用視差d被登錄於交點畫素(的位置)(被登錄於交點畫素的視差是否與判定用視差d相等)。
在步驟S127中，被判定成在交點畫素未登錄有判定用視差d時，亦即在注目光線與判定層的交點(Px，Py，Z)無物體，注目光線在交點(Px，Py，Z)不衝突時，處理是前進至步驟S128。
在步驟S128中，衝突判定部103是只將判定用視差d遞減1(使減少)，處理是回到步驟S122，以下同樣的處理會被重複。
在此，在步驟S128中，藉由判定用視差d被遞減，判定層是從對應於視差的最大值Dmax之最接近假想透鏡的位置往注目實空間點(x0，y0，z0)移動。
並且，在步驟S127中，被判定成判定用視差d被登錄於交點畫素時，亦即，在注目光線與判定層的交點(Px，Py，Z)有物體，注目光線在交點(Px，Py，Z)衝突時，處理是前進至步驟S129。
在步驟S129中，衝突判定部103是在注目光線到達假想透鏡之前，為了表示衝突於物體的意旨的衝突判定結果，對注目光線分配判定用視差d，處理返回。
另一方面，在步驟S123中，被判定成對應於判定用視差d的深度Z相等於注目實空間點(x0，y0，z0)的深度z0時，亦即從對應於視差的最大值Dmax之最接近假想透鏡的位置到注目實空間點(x0，y0，z0)之間，注目光線不衝突於物體時，處理是前進至步驟S130。
在步驟S130中，衝突判定部103是至注目光線到達假想透鏡為止，為了表示不衝突於物體的意旨的衝突判定結果，對注目光線分配注目視差(亦為在此時間點的判定用視差d)，亦即對應於注目實空間點(x0，y0，z0)的視差d，處理返回。
另外，在圖34中，以視差的最大值Dmax作為初期值，且以對應於注目實空間點(x0，y0，z0)的視差作為目標(goal)，將判定用視差從初期值遞減至成為目標的視差，但判定用視差是從視差的最大值Dmax到對應於注目實空間點(x0，y0，z0)的視差為止的範圍，怎麼樣改變值皆可。
圖35是說明圖33的步驟S109的光線亮度分配的處理例的流程圖。
在步驟S131中，亮度分配部104是分別從7視點的攝影畫像HD1~HD7來檢測出對應於注目實空間點 (x0，y0，z0)的對應畫素，處理是前進至步驟S132。
在步驟S132中，亮度分配部104是例如參照攝影畫像HD1~HD7各自的視差地圖，藉此檢測攝影畫像HD1~HD7的對應畫素之中，對應於注目實空間點(x0，y0，z0)的深度z0之視差d，亦即登錄有與注目視差一致的視差之畫素，作為使用於亮度的分配之光線亮度分配用畫素，處理是前進至步驟S133。
在步驟S133中，亮度分配部104是例如以光線亮度分配用畫素的畫素值(R，G，B的值)的平均值作為光線的亮度，分配給注目光線，處理返回。
如以上般，入射光線再現部36(圖27)是在光線生成部102中生成從視差被登錄於多層地圖的實空間點，亦即在攝影裝置11所進行攝影的實空間的物體上的點，射入將構成該攝影裝置11的7視點的攝影機單元211~217設為合成孔徑的假想透鏡之作為光線的直線。亦即，在入射光線再現部36中，求取幾何學地記述該光線的直線，作為從實空間點射入假想透鏡的光線。
而且，入射光線再現部36是在衝突判定部103中，進行判定光線是否至射入假想透鏡為止衝突於物體的衝突判定。
然後，入射光線再現部36是在亮度分配部104中，利用以攝影機單元211~217所攝取的7視點的攝影畫像HD1~HD7，對衝突判定的結果剩下的光線分配亮度。
因此，利用7視點的攝影畫像HD1~HD7，可再現射入假想透鏡，進而射入模擬透鏡的光線群。
亦即，藉由使構成模擬透鏡之例如所謂的前玉的透鏡對應於假想透鏡，射入假想透鏡的光線群是亦成為射入模擬透鏡的光線群。因此，藉由再現射入假想透鏡的光線群，可再現射入模擬透鏡的光線群。
其結果，可在後述的集光處理再現藉由射入模擬透鏡的光線群在該模擬透鏡集光而產生的模糊感。
<透鏡資訊的生成>
圖36是說明在圖3的模擬透鏡資訊生成部37所生成的透鏡資訊的圖。
透鏡資訊(模擬透鏡資訊)是有PSF強度分布、像面間距、PSF角度成分資訊、及像面移動資訊。
PSF強度分布是表示模擬透鏡之對於從點光源發出的光線的回應。
像面間距是表示PSF強度分布的標度(scale)。
PSF角度成分資訊是表示從點光源發出的光線經由模擬透鏡到達的PSF強度分布的位置。
像面移動資訊是表示從實空間點發出的光線之中，主光線經由模擬透鏡到達的假想感測器上的位置之像面移動位置。
圖37是說明生成透鏡資訊的對象之實空間點 及焦點位置的圖。
亦即，圖37是表示對於攝影裝置的正面而言由右來看以構成作為假想透鏡的攝影裝置11之攝影機單元21i所攝取的實空間時的概略。
透鏡資訊是規定通過模擬透鏡的光線之資訊，該光線是從實空間點發出。
並且，通過模擬透鏡的光線是被集光於假想感測器上，但光線的集光的做法是依模擬透鏡的焦點位置(焦點距離)f而異。
因此，透鏡資訊是可按每個模擬透鏡的焦點位置f，僅最大等於在畫像處理裝置12(圖3)所應處理的實空間點的最大數(以下亦稱為最大實空間點數)的數量生成。
此時，如在圖32說明般，基準畫像HD1為以N個的畫素pix1，pix2，...，pix#N所構成，可登錄於視差地圖(多層視差地圖)的視差d為從最小值Dmin到最大值Dmax，每1畫素，DPN=Dmax-Dmin+1個的整數值。
此情況，最大實空間點數是形成N×DPN個。
並且，現在可取得f1，f2，...，f#Fmax的Fmax個的位置，作為模擬透鏡的焦點位置f。
此情況，透鏡資訊是最大僅Fmax×N×DPN個可生成。
在此，本實施形態中，假想感測器的尺寸 (標度)是根據模擬透鏡來規定。
例如，當模擬透鏡為35mm全尺寸的影像感測器用的光學透鏡時，根據如此的模擬透鏡，假想感測器的尺寸被設定成35mm全尺寸。亦即，假想感測器的橫及縱的尺寸是例如分別被設定成36mm及24mm。
而且，在本實施形態中，假想感測器的畫素間距是根據基準畫像的畫素數(解像度)，規定成假想感測器具有與基準畫像的畫素數同一的畫素數(或未滿基準畫像的畫素數的畫素數)。
例如，模擬透鏡為35mm全尺寸的影像感測器用的光學透鏡，當基準畫像的水平方向的畫素數為Nx畫素時，如上述般，假想感測器的橫的尺寸是36mm，因此假想感測器的畫素間距是成為36mm/Nx。
另外，某實空間點(X，Y，Z)是對應於具有對應於深度z=Z的視差d=D之基準畫像的某畫素。
又，由於假想感測器的畫素間距是根據基準畫像的畫素數(解像度)來規定，因此假想感測器的畫素是可使對應於基準畫像的畫素。當假想感測器為具有與基準畫像的畫素數同一畫素數時，基準畫像的畫素與位於和該畫素同一位置的假想感測器的畫素會對應。
又，若原封不動採用基準畫像的某畫素的視差，作為對應於該畫素的假想感測器的畫素的視差，則實空間點(X，Y，Z)是對應於具有對應於深度z=Z的視差d=D之假想感測器的某畫素。
此情況，相對於某實空間點的透鏡資訊是可視為相對於假想感測器(該假想感測器是對應於該實空間點)的畫素(位置)與視差的組合之透鏡資訊。
圖38是表示某光學透鏡的PSF強度分布的例圖。
在圖38中，水平方向是表示光學透鏡的焦點位置f，垂直方向是表示來自光學透鏡的光所結像的結像面上的結像位置之離光學中心的距離之像高。
在此，結像面是相當於假想感測器的面。並且，有關圖38的水平方向，左方向是表示對於光學透鏡接近的焦點位置f，右方向是表示對於光學透鏡遠離的焦點位置f。而且，有關圖38的垂直方向，上方向是表示小的像高，下方向是表示大的像高。
如圖38所示般，PSF強度分布是依光學透鏡的焦點位置f而不同。
並且，PSF強度分布是依結像位置的像高，亦即假想感測器的平面上的位置而異。
而且，PSF強度分布是從光學透鏡的主點到被照體(在此是點光源)的距離，亦即亦依被照體的視差而異。
因此，PSF強度分布是例如依焦點位置f、假想感測器的畫素(的位置)、及被照體的視差的組合而異。
圖39是說明生成PSF強度分布的方法的例 圖。
圖39是與圖37同樣，表示對於攝影裝置的正面而言由右來看以構成作為假想透鏡的攝影裝置11之攝影機單元21i所攝取的實空間時的概略。
模擬透鏡資訊生成部37是分別針對最大Fmax個的焦點位置f，對於最大實空間點數N×DPN的實空間點，亦即對應於構成假想感測器的畫素的最大數N與可登錄於多層視差地圖的DPN個的視差d各自的組合之實空間點生成PSF強度分布。
在此，構成假想感測器的畫素的最大數N是與構成基準畫像HD1的畫素pix1~pix#N的數N相等。如在圖37說明般，在本實施形態中，為了使說明簡單，假想感測器是與基準畫像HD1同樣，以畫素pix1~pix#N的N個來構成。
模擬透鏡資訊生成部37是對於實空間點設定點光源，利用模擬透鏡的透鏡設計資料來進行追跡設定於該實空間點的點光源發出的光線之光線追跡，藉此生成PSF強度分布。
在光線追跡中，以從點光源發出的光線作為入射向量，算出該入射向量與模擬透鏡的最被照體側的折射面的交點，作為從該交點射入的光線之入射向量在折射面被折射而射出的向量會作為射出向量被算出。
而且，在光線追跡中，以射出向量作為往其次的折射面的入射向量，算出該入射向量與其次的折射面 的交點。
光線追跡是以上的處理會被重複至模擬透鏡的最後的折射面。
然後，在模擬透鏡資訊生成部37中，在假想感測器上觀測從模擬透鏡的最後的折射面射出的射出向量，記錄作為該觀測的結果取得的射出向量之光線的光強度，藉此生成PSF強度分布。
此時，模擬透鏡資訊生成部37是將以從實空間點(的點光源)發出的主光線，亦即從實空間點發出的光線之中通過模擬透鏡的主點O的光線之主光線所到達假想感測器的位置作為中心(重心)的矩形的區域稱為分布區域。
分布區域是例如可採用以從實空間點發出的主光線作為中心的矩形的區域，包圍從實空間點發出的光線經由模擬透鏡而到達的假想感測器上的點之最小的(或接近最小)的矩形的區域。而且，分布區域是形成可以橫×縱為PX×PY的解像度來記錄資訊的區域。PX及PY是例如可採用255。
模擬透鏡資訊生成部37是在分布區域中以橫×縱為PX×PY的解像度來記錄成為PSF強度分布的光強度，藉此生成PSF強度分布。
圖40是模式性地表示在模擬透鏡資訊生成部37所生成的PSF強度分布的圖。
如在圖39說明般，PSF強度分布是分別針對 最大Fmax個的焦點位置f，對於對應於構成假想感測器的N個的畫素pix1~pix#N各自與可登錄於視差地圖的DPN個的視差d各自的N×DPN個的組合之實空間點生成。
此時，例如圖40所示般，將以橫方向作為DPN個的視差d，且以縱方向作為構成假想感測器的N個的畫素pix1~pix#N，登錄相對於實空間點(該實空間點是對應於某視差d與某畫素pix#n的組合)的PSF強度分布之表稱為焦點位置f的強度分布表。
模擬透鏡資訊生成部37是生成Fmax個的焦點位置f各自的強度分布表。
被登錄於強度分布表的PSF強度分布是如在圖39說明般，在分布區域以橫×縱為PX×PY的解像度來記錄。
因此，配列記錄PSF強度分布時，其PSF強度分布的配列數，最大是形成Fmax×N×DPN×PX×PY。
在此，於分布區域中，將記錄有PSF強度分布的1光強度的單位(PSF強度分布的取樣的單位)稱為分布區域單元。分布區域單元是例如可當作正方形區域的觀念。
分布區域是如在圖39說明般，由於為包圍從實空間點發出的光線所到達的假想感測器上的點之最小的矩形區域，因此形成可變的尺寸。
並且，如在圖38說明般，PSF強度分布是依 焦點位置f、或結像位置的像高(實空間點(點光源)與光軸的距離)、至被照體(實空間點(點光源))的距離(視差)而異。
而且、包圍如此的PSF強度分布的最小的分布區域的尺寸(標度)也是按每個PSF強度分布而異。
在集光處理中，如後述般，藉由加算對應於被記錄在尺寸不同的分布區域的PSF強度分布之結像於假想感測器上的光線的結像值來生成模擬畫像。
加算對應於PSF強度分布的結像值時，需要使對應於被記錄在尺寸不同的分布區域的PSF強度分布之結像值的分布的標度與假想感測器的標度一致。而且，為此，需要表示PSF強度分布的標度的資訊。
於是，模擬透鏡資訊生成部37會求取構成記錄有PSF強度分布的分布區域之分布區域單元的尺寸(間距)的像面間距，作為表示PSF強度分布的標度的資訊。
此時，若像面間距為IP，假想感測器的畫素間距為PP，則在集光處理中，從PSF強度分布求取的光線的結像值的分布會被縮小(或擴大)成IP/PP倍，在假想感測器上被加算。
另外，PSF強度分布是可在不是可變的尺寸而是固定的尺寸的分布區域中以PX×PY的解像度記錄。
將設為不是可變的尺寸而是固定的尺寸的分布區域時，像面間距是該固定的尺寸的1個即可。
但，由於分布區域的固定的尺寸是至少分布 需要配合離假想感測器上的主光線的到達位置最廣的PSF強度分布，因此分布窄的PSF強度分布的解像度會劣化。
圖41是模式性地表示在模擬透鏡資訊生成部37所生成的像面間距的圖。
像面間距是按每一PSF強度分布生成。
此時，例如圖41所示般，將以橫方向作為DPN個的視差d，且以縱方向作為構成假想感測器的N個的畫素pix1~pix#N，登錄相對於實空間點(該實空間點是對應於某視差d與某畫素pix#n的組合)的PSF強度分布的像面間距之表稱為焦點位置f的像面間距表。
在模擬透鏡資訊生成部37中，Fmax個的焦點位置f各自的像面間距表會被生成。
因此，配列記錄像面間距時，其像面間距的配列數，最大是形成Fmax×N×DPN。
圖42是說明生成PSF角度成分資訊的方法的例圖。
亦即，圖42是由正面(被照體側)來看模擬透鏡的正面圖。
模擬透鏡資訊生成部37是例如在圖30說明的光線生成部102在光線的生成時，對模擬透鏡進行與對假想透鏡進行者同樣的處理。
亦即，模擬透鏡資訊生成部37是設定模擬透鏡之例如包含前玉的區域作為透鏡區域。
在圖42中，包圍模擬透鏡的前玉之例如最小 的矩形的區域會被設定成透鏡區域。
模擬透鏡資訊生成部37是將透鏡區域(包圍的模擬透鏡)分割成小領域的透鏡區域單元。然後，模擬透鏡資訊生成部37是將實空間點視為點光源，求取表示從表示該點光源的實空間點射入各透鏡區域單元的光線經由模擬透鏡而到達的PSF強度分布的位置之PSF角度成分資訊。
在圖42中，與圖30的假想透鏡的情況同樣，透鏡區域是被分割成水平方向為Lx個，垂直方向為Ly個，合計Lx×Ly個的透鏡區域單元。
在圖42中，也與圖30的情況同樣，把將包圍模擬透鏡的透鏡區域分割成透鏡區域單元之水平方向的直線與垂直方向的直線的交點的格子點記載為格子點LP#i(i=1，2，...，(Lx+1)(Ly+1))。
在此，本實施形態為了使說明簡單，直徑在假想透鏡(的合成孔徑)及模擬透鏡的前玉(的孔徑)為一致，透鏡區域的尺寸及透鏡區域的分割數Lx×Ly也在假想透鏡及模擬透鏡為一致。
另外，由於集光處理是利用射入模擬透鏡的光線來進行，因此假想透鏡的徑是只要為模擬透鏡的徑以上的徑即可。
又，由於使射入假想透鏡的光線與射入模擬透鏡的光線對應，因此假想透鏡的透鏡區域單元與模擬透鏡的透鏡區域單元(的尺寸)是使一致。
圖43是說明生成PSF角度成分資訊的方法的例圖。
圖43是與圖37同樣，表示對於攝影裝置的正面而言由右來看以構成作為假想透鏡的攝影裝置11之攝影機單元21i所攝取的實空間時的概略。
模擬透鏡資訊生成部37是分別針對最大Fmax個的焦點位置f，對於最大實空間點數N×DPN的實空間點，亦即對應於構成假想感測器的畫素的最大數N與可登錄於多層視差地圖的DPN個的視差d各自的組合之實空間點生成PSF角度成分資訊。
模擬透鏡資訊生成部37是求取從實空間點(的點光源)發出，射入模擬透鏡的格子點LP#i的光線到達假想感測器的到達點AP#i。
然後，模擬透鏡資訊生成部37是求取將假想感測器的到達點AP#i換算成PSF強度分布(的分布區域)上的點之分布區域到達點AP#i(光線所到達的分布區域單元)與格子點LP#i的(位置的)組合，作為PSF角度成分資訊。
另外，從實空間點發出，射入模擬透鏡的光線是不限於一定要到達假想感測器。亦即，在射入模擬透鏡的光線之中，如在圖43中以點線的箭號所示般，存在不到達假想感測器(未在假想感測器受光)的光線。
圖44是說明PSF角度成分資訊的詳細圖。
模擬透鏡資訊生成部37是分別針對模擬透鏡 的透鏡區域單元的4個頂點之4個格子點LP#i1，LP#i2，LP#i3，LP#i4，求取從實空間點發出分別通過格子點LP#i1，LP#i2，LP#i3，LP#i4而到達的PSF強度分布上的到達點之分布區域到達點AP#i1，AP#i2，AP#i3，AP#i4。
而且，模擬透鏡資訊生成部37是生成模擬透鏡的透鏡區域單元的4個頂點之4個格子點LP#i1，LP#i2，LP#i3，LP#i4與分布區域到達點AP#i1，AP#i2，AP#i3，AP#i4的組合，作為表示通過以4個格子點LP#i1，LP#i2，LP#i3，LP#i4作為頂點的透鏡區域單元的光線所到達的PSF強度分布的區域(位置)之PSF角度成分資訊。
結果，PSF角度成分資訊是形成射入模擬透鏡的格子點LP#i的光線會經由模擬透鏡來到達分布區域到達點AP#i時之該分布區域到達點AP#i與格子點LP#i的組合。
在此，亦將通過透鏡區域單元的光線所到達的PSF強度分布的區域稱為對應區域。
在圖44中，對應區域是以分布區域到達點AP#i1，AP#i2，AP#i3，AP#i4作為頂點的四角形的領域。
分布區域到達點AP#i的粒度(解像度)是成為記錄有PSF強度分布的分布區域的分布區域單元(圖40)的大小。亦即，分布區域到達點AP#i是表示分布區 域之某分布區域單元的位置。
圖45是模式性地表示在模擬透鏡資訊生成部37所生成的PSF角度成分資訊的圖。
PSF角度成分資訊是分別針對最大Fmax個的焦點位置f，對於對應於構成假想感測器的N個的畫素pix1~pix#N各自與可登錄於視差地圖的DPN個的視差d各自的N×DPN個的組合之實空間點生成。
此時，例如圖45所示般，將以橫方向作為DPN個的視差d，且以縱方向作為構成假想感測器的N個的畫素pix1~pix#N，登錄相對於實空間點(該實空間點是對應於某視差d與某畫素pix#n的組合)的PSF角度成分資訊之表稱為焦點位置f的PSF角度成分資訊表。
在模擬透鏡資訊生成部37中，Fmax個的焦點位置f各自的PSF角度成分資訊表會被生成。
被登錄於PSF角度成分資訊表的PSF角度成分資訊是模擬透鏡的格子點LP#i及射入該格子點LP#i的光線經由模擬透鏡而到達的PSF強度分布的分布區域上的分布區域到達點AP#i的組合。
在本實施形態中，如在圖42說明般，模擬透鏡的透鏡區域是被分割成PX×PY個的透鏡區域單元，因此格子點LP#i的數量是形成(Lx+1)(Ly+1)個。
因此，配列記錄PSF角度成分資訊時，其PSF角度成分資訊的配列數，最大是形成Fmax×N×DPN×(PX+1)×(PY+1)。
圖46是說明像面移動資訊的圖。
圖46是與圖37同樣，表示對於攝影裝置的正面而言由右來看以構成作為假想透鏡的攝影裝置11之攝影機單元21i所攝取的實空間時的概略。
本實施形態是使假想透鏡與模擬透鏡的前玉對應，在入射光線再現部36中，以射入假想透鏡的光線作為射入模擬透鏡的光線再現。
然而，一般模擬透鏡是具有複數的透鏡，因此假想透鏡及模擬透鏡在入射瞳的(z方向的)位置產生偏移。
因此，在假想感測器中，會有經由假想透鏡而觀察的畫像與經由模擬透鏡而觀察的畫像不同的情形。
圖46的A說明在假想感測器中，經由假想透鏡來觀察的畫像的例圖。
在圖46的A，對於假想透鏡，從實空間內的物體obj1發出之作為主光線的直線與從位於比該物體obj2更前側的物體obj2發出之作為主光線的直線會重疊。
因此，物體obj1之相對於假想透鏡的像面移動位置，亦即從物體obj1發出的主光線經由假想透鏡而到達的假想感測器上的位置之像面移動位置與物體obj2之相對於假想透鏡的像面移動位置是一致。
其結果，在假想感測器中，雖物體obj2被觀察到，但比該物體obj2更位於內側的物體obj1會被物體 obj2隱藏而未被觀察到。
圖46的B是說明在假想感測器中，經由模擬透鏡來觀察的畫像的例圖。
在圖46的B中，物體obj1及obj2是位於與圖46的A的情況同一的位置。
有關模擬透鏡是入射瞳的位置，進一步是主點會在與假想透鏡之間偏移。因此，相對於模擬透鏡，從實空間內的物體obj1發出之作為主光線的直線、及從位於比該物體obj2更前側的物體obj2發出之作為主光線的直線不會重疊地偏移。
因此，由於物體obj1之相對於模擬透鏡的像面移動位置與物體obj2之相對於模擬透鏡的像面移動位置不一致，所以在假想感測器中，物體obj2及位於比該物體obj2更內側的物體obj1的雙方會被觀察。
如以上般，起因於假想透鏡與模擬透鏡的入射瞳的位置的偏移，實空間點的像面移動位置在假想透鏡及模擬透鏡不同。
於是，模擬透鏡資訊生成部37為了正確地再現模擬透鏡的集光，而生成表示對於模擬透鏡的像面移動位置之像面移動資訊，作為透鏡資訊之一。
在此，像面移動資訊是可為補正假想透鏡與模擬透鏡的入射瞳的位移之資訊，由如此的觀點，像面移動資訊是可為入射瞳補正資訊。
圖47是說明生成像面移動資訊的方法的例 圖。
圖47是與圖37同樣，表示對於攝影裝置的正面而言由右來看以構成作為假想透鏡的攝影裝置11之攝影機單元21i所攝取的實空間時的概略。
模擬透鏡資訊生成部37是分別針對最大Fmax個的焦點位置f，對於最大實空間點數N×DPN的實空間點，亦即對應於構成假想感測器的畫素的最大數N與可登錄於多層視差地圖的DPN個的視差d各自的組合之實空間點生成像面移動資訊。
模擬透鏡資訊生成部37是以從實空間點(的點光源)發出且通過模擬透鏡的主點之主光線所到達假想感測器的到達點作為像面移動位置，求取表示該像面移動位置，例如離假想感測器的中心之x軸及y軸方向的座標(距離)，作為像面移動資訊。
圖48是模式性地表示在模擬透鏡資訊生成部37所生成的像面移動資訊的圖。
像面移動資訊是分別針對最大Fmax個的焦點位置f，對於對應於構成假想感測器的N個的畫素pix1~pix#各自與可登錄於視差地圖的DPN個的視差d各自的N×DPN個的組合之實空間點生成。
此時，例如圖48所示般，將以橫方向作為DPN個的視差d，且以縱方向作為構成假想感測器的N個的畫素pix1~pix#N，登錄相對於實空間點(該實空間點是對應於某視差d與某畫素pix#n的組合)的像面移動資訊 之表稱為焦點位置f的像面移動資訊表。
在模擬透鏡資訊生成部37中，Fmax個的焦點位置f各自的像面移動資訊表會被生成。
因此，配列記錄像面移動資訊時，其像面移動資訊的配列數，最大是形成Fmax×N×DPN。
另外，模擬透鏡的透鏡資訊(PSF強度分布、像面間距、PSF角度成分資訊、及像面移動資訊)是除了可藉由利用該模擬透鏡的透鏡設計資料來進行光線追跡等的運算而求取以外，當模擬透鏡為實際存在的光學透鏡時，可藉由利用該光學透鏡來實測光線而求取。
圖49是表示生成透鏡資訊的模擬透鏡資訊生成部37(圖3)的構成例的方塊圖。
在圖49中，模擬透鏡資訊生成部37是具有實空間點選擇部131、資訊算出部132、及焦點位置選擇部133。
實空間點選擇部131是參照從視差資訊生成部31(圖3)供給至模擬透鏡資訊生成部37的多層視差地圖，從對應於構成假想感測器的N個的畫素pix1~pix#N各自與可登錄於多層視差地圖的DPN個的視差d各自的組合之最大實空間點數N×DPN的實空間點之中選擇注目實空間點。
資訊算出部132是利用從透鏡設計資料取得部34(圖3)供給至模擬透鏡資訊生成部37的透鏡設計資料來生成相對於在實空間點選擇部131所被選擇的注目 實空間點及在焦點位置選擇部133所被選擇的注目焦點位置f之透鏡資訊，供給至集光處理部38。
焦點位置選擇部133是由Fmax個的焦點位置f之中來選擇注目焦點位置。
圖50是說明圖49的模擬透鏡資訊生成部37所進行的模擬透鏡資訊生成處理例的流程圖。
在步驟S141中，焦點位置選擇部133是由Fmax個的焦點位置f之中來選擇注目焦點位置，處理是前進至步驟S142。
在此，本實施形態為了削減透鏡資訊的資訊量，而只對注目焦點位置生成透鏡資訊。注目焦點位置的選擇是例如可按照使用者的操作等來進行。並且，注目焦點位置是例如可選擇預先被決定之預設的焦點位置。
另外，透鏡資訊，不僅注目焦點位置，可分別對Fmax個的焦點位置f生成。
在步驟S142中，實空間點選擇部131會取得從視差資訊生成部31供給的多層視差地圖，處理是前進至步驟S143。
在步驟S143中，實空間點選擇部131是將假想感測器的畫素之中尚未作為注目畫素的畫素之1個選擇成注目畫素，處理是前進至步驟S144。
在步驟S144中，實空間點選擇部131是將來自視差資訊生成部31之被登錄於多層視差地圖的注目畫素的視差之中尚未作為注目視差的視差的1個選擇成注目 視差，處理是前進至步驟S145。
在步驟S145中，實空間點選擇部131是將對應於有注目視差的注目畫素之實空間點選擇成注目實空間點，處理是前進至步驟S146。
在步驟S146中，資訊算出部132會如在圖39~圖48說明般求取注目實空間點，亦即相對於注目焦點位置、注目畫素及注目視差的組合之透鏡資訊的PSF強度分布、像面間距、PSF角度成分資訊及像面移動資訊，處理是前進至步驟S147。
在步驟S147中，實空間點選擇部131判定是否將被登錄於多層視差地圖的注目畫素的視差的全部選擇成注目視差。
在步驟S147中，被判定成尚未將被登錄於多層視差地圖的注目畫素的視差的全部選擇成注目視差時，處理是回到步驟S144，以下同樣的處理會被重複。
並且，在步驟S147中，被判定成將被登錄於多層視差地圖的注目畫素的視差的全部選擇成注目視差時，處理是前進至步驟S148。
在步驟S148中，實空間點選擇部131判定是否將假想感測器的畫素的全部選擇成注目畫素。
在步驟S148中，被判定成尚未將假想感測器的畫素的全部選擇成注目畫素時，處理是回到步驟S143，以下同樣的處理會被重複。
並且，在步驟S148中，被判定成將假想感測 器的畫素的全部選擇成注目畫素時，模擬透鏡資訊生成處理終了。
<集光處理>
圖51是說明在圖3的集光處理部38所進行的集光處理的概要圖。
圖51是與圖37同樣，表示對於攝影裝置的正面而言由右來看以構成作為假想透鏡的攝影裝置11之攝影機單元21i所攝取的實空間時的概略。
集光處理部38是利用來自模擬透鏡資訊生成部37的透鏡資訊，求取從入射光線再現部36供給的光線之中的衝突判定的結果剩下的光線經由模擬透鏡來結像於假想感測器時的結像值，進行加算於假想感測器上的處理，作為集光處理。
圖52是說明集光處理之中，求取結像值的處理的例圖。
另外，在圖52中，為了避免圖形成繁雜，而模擬透鏡的透鏡區域會被分割成5×5個的透鏡區域單元。
如在圖43說明般，從實空間點發出，射入模擬透鏡的光線是未必一定到達假想感測器。亦即，在射入模擬透鏡的光線之中，存在到達假想感測器的光線、及未到達假想感測器的光線。
此時，從實空間點發出，射入模擬透鏡的光線之中，將到達假想感測器的光線所射入的透鏡區域單元 的領域稱為有效光線領域。
在圖52中，有關從某實空間點(x，y，z)發出的光線，5×5個的透鏡區域單元之中的中央部分的3×3個的透鏡區域單元rp1~rp9會形成有效光線領域。
並且，在圖52中，從實空間點(x，y，z)發出，通過透鏡區域的格子點p#i的光線所到達的分布區域到達點會形成記錄有PSF強度分布的分布區域的分布區域單元q#i。
成為從實空間點(x，y，z)發出，通過透鏡區域的格子點p#i的光線所到達的分布區域到達點之分布區域單元q#i是可由PSF角度成分資訊來辨識。
在圖52中，從實空間點(x，y，z)發出，通過透鏡區域單元rp1的光線BL會到達PSF強度分布(所被記錄的分布區域)的對應區域rq1。
在此，透鏡區域單元rp1是以格子點p1，p2，p5，p6作為頂點的透鏡區域單元。
並且，在圖52中，從實空間點(x，y，z)發出，通過格子點p1，p2，p5，p6的光線是分別到達記錄有PSF強度分布的分布區域的分布區域單元q1，q2，q5，q6。以此分布區域單元q1，q2，q5，q6作為頂點的領域為對應區域rq1。
若根據PSF角度成分資訊，則可辨識從實空間點(x，y，z)發出，通過格子點p1，p2，p5，p6的光線分別到達記錄有PSF強度分布的分布區域的分布區域單 元q1，q2，q5，q6的情形。其結果，可辨識通過以格子點p1，p2，p5，p6作為頂點的透鏡區域單元rp1的光線BL到達以分布區域單元q1，q2，q5，q6作為頂點的對應區域rq1的情形。
在圖52中，對應區域rq#j是形成從實空間點(x，y，z)發出，通過透鏡區域單元rp#j的光線的對應區域。
集光處理部38是利用PSF角度成分資訊，針對從實空間點(x，y，z)發出，通過透鏡區域單元rp1的光線BL，特定該光線BL所到達的對應區域rq1。
然後，集光處理部38是求取被分配於光線BL的亮度與對應區域rq1內的PSF強度分布，亦即分別被記錄於構成對應區域rq1的分布區域單元(的位置)的PSF強度分布的乘積，作為光線BL經由模擬透鏡來結像於假想感測器時的結像值。
如以上般，由於光線BL的結像值是被分配於光線BL的亮度與分別被記錄於構成對應區域rq1的分布區域單元的PSF強度分布的乘積，因此成為以分布區域單元作為粒度的分布。
集光處理部38是有關從實空間點(x，y，z)發出，通過透鏡區域單元rp1以外的透鏡區域單元的光線也同樣求取結像值。
另外，有關從實空間點(x，y，z)發出，分別射入5×5個的透鏡區域單元的光線是該等的光線之中射 入未形成有效光線領域的透鏡區域單元的光線(以下亦稱為非有效光線)不到達假想感測器。因此，有關非有效光線所射入的透鏡區域單元是該非有效光線所到達的對應區域不存在。因此，結像值是可只針對通過形成有效光線領域的透鏡區域單元rp1~rp9的光線求取。
圖53是說明集光處理之中，求取結像值的處理的其他例圖。
另外，在圖53中，有關與圖52對應的部分是附上同一符號。
在圖53中，在5×5個的透鏡區域單元之形成有效光線領域的中央部分的3×3個的透鏡區域單元rp1~rp9之中的透鏡區域單元rp7~rp9中，從實空間點(x，y，z)發出的光線會因為被位於比該實空間點(x，y，z)更前面的物體所遮蔽而不到達。
因此，在圖53中，實質上只針對分別通過形成有效光線領域的透鏡區域單元rp1~rp9之中從實空間點(x，y，z)發出的光線所到達的透鏡區域單元rp1~rp6之光線，求取結像值(的分布)。
圖54是說明集光處理之中，將結像值(的分布)加算於假想感測器上的處理的例圖。
如在圖52說明般，從實空間點(x，y，z)發出的光線的結像值是形成以分布區域單元作為粒度的分布。此時，為了容易了解說明，從實空間點(x，y，z)發出的光線的結像值的分布會被記錄於記錄有為了求取該 結像值而被使用的PSF強度分布之分布區域。亦即，從實空間點(x，y，z)發出的光線的結像值會以分布區域單元單位來記錄於記錄有為了求取該結像值而被使用的PSF強度分布之分布區域。
集光處理部38是利用相對於實空間點(x，y，z)的像面間距，以使記錄有從該實空間點(x，y，z)發出的光線的結像值的分布之分布區域的標度能夠一致於假想感測器的標度之方式，調整分布區域的標度。
亦即，若像面間距為IP，假想感測器的畫素間距為PP，則集光處理部38是進行將記錄有光線的結像值的分布的分布區域縮小(或擴大)成IP/PP倍的處理，作為分布區域的標度的調整。
並且，集光處理部38是依據相對於其實空間點(x，y，z)的像面移動資訊所示的像面移動位置來進行從實空間點(x，y，z)發出的光線經由模擬透鏡來集光於假想感測器上的位置的對位。
亦即，集光處理部38是以分布區域的中心點CP與假想感測器的像面移動位置能夠一致的方式進行記錄有從實空間點(x，y，z)發出的光線的結像值的分布之標度的調整後的分布區域與假想感測器的對位。
集光處理部38是如以上般，進行記錄有結像值的分布之分布區域的標度的調整，且進行標度的調整後的分布區域與假想感測器的對位之後，在假想感測器上，以該假想感測器的畫素單位來加算分布於分布區域的結像 值。
另外，有關結像值(所被記錄的分布區域)的標度的調整及對位是哪個先進行皆可，或同時進行。
圖55是表示圖3的集光處理部38的構成例的方塊圖。
在圖55中，集光處理部38是具有實空間點選擇部141、結像值算出部142、標度調整部143、結像位置辨識部144、及加算部145。
實空間點選擇部141是參照從視差資訊生成部31(圖3)供給至集光處理部38的多層視差地圖，從對應於構成基準畫像HD1的N個的畫素pix1~pix#N各自與可登錄於多層視差地圖的DPN個的視差d各自的組合之最大實空間點數N×DPN的實空間點之中選擇注目實空間點。
結像值算出部142是利用從模擬透鏡資訊生成部34供給至集光處理部38的透鏡資訊之中的PSF強度分布及PSF角度成分資訊，來求取記錄有從入射光線再現部36供給至集光處理部38的光線之中從在實空間點選擇部131所被選擇的注目實空間點發出的光線的結像值的分布之分布區域，供給至標度調整部143。
標度調整部143是利用從模擬透鏡資訊生成部34供給至集光處理部38的透鏡資訊之中的像面間距，調整記錄有從結像值算出部142供給的結像值的分布之分布區域的標度，供給至結像位置辨識部144。
結像位置辨識部144是從由模擬透鏡資訊生成部34供給至集光處理部38的透鏡資訊之中的像面移動資訊，辨識經由模擬透鏡的光線所結像的假想感測器上的結像位置之像面移動位置，與來自標度調整部143的標度的調整後的分布區域一起供給至加算部145。
加算部145是內藏作為假想感測器的記憶體，依據來自結像位置辨識部144的像面移動位置，進行來自結像位置辨識部144的標度的調整後的分布區域與假想感測器的對位(加算結像值的假想感測器上的位置的辨識)。
而且，加算部145是將被記錄於與假想感測器的對位後的分布區域之結像值以該假想感測器的畫素單位來(累積)加算於假想感測器上。
然後，加算部145是以將假想感測器亦即記憶體上取得的結像值的加算結果設為畫素值的畫像作為模擬畫像，供給至顯示裝置13(圖1)。
圖56是說明圖55的集光處理部38所進行的集光處理例的流程圖。
另外，在本實施形態中，如在圖50說明般，為了削減透鏡資訊的資訊量，而只對注目焦點位置生成透鏡資訊。因此，集光處理是焦點位置被設定成生成有透鏡資訊時的注目焦點位置來進行。
但，透鏡資訊是可分別對於Fmax個的焦點位置(圖37)預先生成。此情況，在集光處理部38中，可 設定注目焦點位置，利用相對於該注目焦點位置的透鏡資訊，進行集光處理。
或，在模擬透鏡資訊生成部37中，在集光處理部38設定注目焦點位置之後，可對於該注目焦點位置生成透鏡資訊。
在步驟S151中，實空間點選擇部141會取得從視差資訊生成部31供給的多層視差地圖，處理是前進至步驟S152。
在步驟S152中，實空間點選擇部141是將基準畫像HD1的畫素之中尚未作為注目畫素的畫素之1個選擇成注目畫素，處理是前進至步驟S153。
在步驟S153中，實空間點選擇部141是將來自視差資訊生成部31之被登錄於多層視差地圖的注目畫素的視差之中尚未作為注目視差的視差之1個選擇成注目視差，處理是前進至步驟S154。
在步驟S154中，實空間點選擇部141是在注目實空間點選擇對應於有注目視差的注目畫素之實空間點，處理是前進至步驟S155。
在步驟S155中，結像值算出部142會將模擬透鏡的透鏡區域單元之中尚未作為注目透鏡區域單元的透鏡區域單元的1個選擇成注目透鏡區域單元，處理是前進至步驟S156。
在步驟S156中，結像值算出部142是從由入射光線再現部36供給的光線之中取得從注目實空間點往 注目透鏡區域單元的光線，作為注目光線，處理是前進至步驟S157。
在步驟S157中，結像值算出部142判定注目光線是否從注目實空間點到達模擬透鏡。
在步驟S157中，被判定成注目光線到達模擬透鏡時，亦即當被分配至注目光線的視差(在圖33~圖35說明的入射光線再現處理所被分配的視差)與注目視差相等時，處理是前進至步驟S158。
在步驟S158中，在結像值算出部142、標度調整部143、結像位置辨識部144、及加算部145中，以到達模擬透鏡的注目光線，亦即衝突判定的結果剩下的注目光線作為對象，進行後述的光線加算處理，處理是前進至步驟S159。
另一方面，在步驟S157中，被判定成注目光線不到達模擬透鏡時，亦即被分配至注目光線的視差(在圖33~圖35說明的入射光線再現處理所被分配的視差)不與注目視差相等時，處理是跳過步驟S158，前進至步驟S159。因此，當注目光線不到達模擬透鏡時，有關注目光線，光線加算處理是不進行。
在步驟S159中，結像值算出部142判定是否在注目透鏡區域單元選擇了模擬透鏡的透鏡區域單元的全部。
在步驟S159中，被判定成在注目透鏡區域單元尚未選擇模擬透鏡的透鏡區域單元的全部時，處理是回 到步驟S155，以下同樣的處理會被重複。
並且，在步驟S159中，被判定成在注目透鏡區域單元選擇了模擬透鏡的透鏡區域單元的全部時，處理是前進至步驟S160。
在步驟S160中，實空間點選擇部141判定是否在注目視差選擇了被登錄於多層視差地圖的注目畫素的視差的全部。
在步驟S160中，被判定成在注目視差尚未選擇被登錄於多層視差地圖的注目畫素的視差的全部時，處理是回到步驟S153，以下同樣的處理會被重複。
並且，在步驟S160中，被判定成在注目視差選擇了被登錄於多層視差地圖的注目畫素的視差的全部時，處理是前進至步驟S161。
在步驟S161中，實空間點選擇部141判定是否在注目畫素選擇了基準畫像HD1的畫素的全部。
在步驟S161中，被判定成在注目畫素尚未選擇基準畫像HD1的畫素的全部時，處理是回到步驟S152，以下同樣的處理會被重複。
並且，在步驟S161中，被判定成在注目畫素選擇了基準畫像HD1的畫素的全部時，加算部145是將以藉由至此為止的處理所取得之假想感測器上的結像值的加算結果作為畫素值的畫像當作模擬畫像而供給至顯示裝置13(圖1)，集光處理終了。
圖57是說明在圖56的步驟S158所進行的光 線加算處理例的流程圖。
在步驟S171中，結像值算出部142是如在圖52及圖53說明般，利用來自模擬透鏡資訊生成部37之相對於有關注目焦點位置f的注目實空間點(所對應的注目畫素及注目視差)之PSF強度分布(所被記錄的分布區域)及PSF角度成分資訊，來求取記錄有注目光線所到達的PSF強度分布的分布區域上的位置之對應區域。
而且，結像值算出部142是如在圖52及圖53說明般，求取對應區域的PSF強度分布與被分配於注目光線的亮度(在圖33~圖35說明的入射光線再現處理所被分配的亮度)的乘積，作為注目光線的結像值(的分布)。
而且，結像值算出部142是將記錄有注目光線的結像值的分布區域供給至標度調整部143，處理是從步驟S171前進至步驟S172。
在步驟S172中，標度調整部143是如在圖54說明般，利用來自模擬透鏡資訊生成部34之相對於有關注目焦點位置f的注目實空間點之像面間距，藉由縮小或擴大記錄有來自結像值算出部142的結像值的分布的分布區域，將該分布區域的標度調整成與假想感測器的標度一致的標度。
而且，標度調整部143是將標度的調整後的分布區域經由結像位置辨識部144來供給至加算部145，處理是從步驟S172前進至步驟S173。
在步驟S173中，結像位置辨識部144是從來自模擬透鏡資訊生成部34之相對於有關注目焦點位置f的注目實空間點之像面移動資訊，辨識經由模擬透鏡的注目光線所結像的假想感測器上的結像位置之像面移動位置，供給至加算部145，處理是前進至步驟S174。
在步驟S174中，加算部145是依據來自結像位置辨識部144的像面移動位置來進行在標度調整部143所取得的標度的調整後的分布區域與假想感測器的對位。
亦即，加算部145是以標度的調整後的分布區域的中心點CP(圖54)與假想感測器的像面移動位置能夠一致的方式，進行標度的調整後的分布區域與假想感測器的對位。
然後，加算部145是將被記錄於與假想感測器的對位後的分布區域之結像值，以該假想感測器的畫素單位來加算於假想感測器上。亦即，加算部145是加算作為假想感測器的記憶體的記憶值及結像值，依據其結果取得的加算值來改寫記憶體的記憶值。另外，作為假想感測器的記憶體的記憶值是在集光處理(圖56)的開始時，被初期化成0。
藉由以上，完成光線加算處理，返回處理。
如以上般，透鏡模擬部35(圖3)是在入射光線再現部46中，再現衝突判定的結果剩下之射入假想透鏡的光線。
並且，在模擬透鏡資訊生成部37中生成透鏡 資訊，亦即PSF強度分布、像面間距、PSF角度成分資訊、像面移動資訊。
而且，在集光處理部38中，衝突判定的結果剩下的光線會求取PSF角度成分資訊所示的PSF強度分布的位置的PSF強度分布與光線的亮度的乘積，作為經由模擬透鏡來結像於假想感測器時的結像值。
並且，在集光處理部38中，根據像面間距來使光線的結像值的分布的標度一致於假想感測器的標度。
然後，在集光處理部38中，依據像面移動位置，進行加算結像值的假想感測器上的位置的對位，在假想感測器上進行結像值的加算，生成以藉由該加算而取得的加算值作為畫素值的模擬畫像。
若根據以上那樣的透鏡模擬部35的處理，則與實際的光學透鏡同等的集光會在數位訊號處理再現，其結果，可生成正確地再現(反映)實際的光學透鏡的模糊感或其他的集光特性之模擬畫像。
因此，使用者是即使不購入實際的光學透鏡，也可享受利用該光學透鏡來進行攝影的那樣高品位的攝影體驗(利用高品位的光學透鏡來進行的攝影的體驗)。
<透鏡資訊的資訊量的削減>
圖58是說明透鏡資訊的資訊量的削減的概要圖。
圖58的A是表示實際的光學透鏡的透鏡資訊之中的PSF強度分布的例子。
亦即，圖58的A是模式性地表示光線經由實際的光學透鏡來結像的實際的影像感測器上的結像位置與被適用在結像於該結像位置的光線之PSF強度分布的關係。
如在圖38說明般，PSF強度分布是依焦點位置f、或結像位置的像高(離光軸的距離)、至被照體(實空間點)的距離(視差)而異。
亦即，例如，若實際的影像感測器上的結像位置的像高(結像於該結像位置的實空間點之離光軸的距離)不同，則被使用於從結像於該結像位置的實空間點發出的光線之實際的光學透鏡的PSF強度分布不同。
因此，在實際的影像感測器中，實際的光學透鏡的PSF強度分布是若結像位置的像高不同，則成為相異的無限的資訊。
如以上般，若結像位置的像高不同，則PSF強度分布不同，但相反而言，對於同一的像高，亦即位於離光軸同一距離的實空間點，只要焦點位置f及視差(至實空間點為止的距離)不變，則PSF強度分布是形成共通。
亦即，此時，為了使說明簡單，焦點位置f及視差為一定。
相對於實空間點(該實空間點是對應於以光 軸為中心僅預定的角度a旋轉影像感測器的某像高r的某位置pos1之旋轉後的位置pos2)的PSF強度分布是與以光軸為中心僅預定的角度a旋轉相對於實空間點(該實空間點是對應於位置pos1)的PSF強度分布之旋轉後的PSF強度分布一致。
如以上般，由於相對於實空間點(該實空間點是對應於位置pos2)的PSF強度分布會與以光軸為中心僅預定的角度a旋轉相對於實空間點(該實空間點是對應於位置pos1)的PSF強度分布之旋轉後的PSF強度分布一致，因此相對於實空間點(該實空間點是對應於位置pos2)的像面間距是相對於實空間點(該實空間點是對應於位置pos1)的像面間距一致。
並且，相對於實空間點(該實空間點是對應於位置pos2)的PSF角度成分資訊是與以光軸為中心僅預定的角度a旋轉相對於實空間點(該實空間點是對應於位置pos1)的PSF角度成分資訊之旋轉後的PSF角度成分資訊一致。
而且，相對於實空間點(該實空間點是對應於位置pos2)的像面移動資訊(所示的像面移動位置)是與以光軸為中心僅預定的角度a旋轉相對於實空間點(該實空間點是對應於位置pos1)的像面移動資訊之旋轉後的像面移動資訊一致。
如以上般，當焦點位置f及視差為一定時，相對於實空間點(該實空間點是對應於影像感測器的像高 為同一位置)的透鏡資訊是形成共通。
於是，在模擬透鏡資訊生成部37中，不是對應於假想感測器的全部畫素的實空間點，而是只對於對應於假想感測器的平面的一部分的複數位置之複數的資訊點的實空間點生成透鏡資訊，藉此可削減透鏡資訊的資訊量。
亦即，模擬透鏡資訊生成部37是例如以從假想感測器的中心(光軸)延伸至假想感測器的平面內的預定的1軸(所對應的實空間點)作為生成透鏡資訊的對象的透鏡資訊生成軸，將該透鏡資訊生成軸上的複數位置(所對應的實空間點)設定成生成透鏡資訊的資訊點。
然後，模擬透鏡資訊生成部37是生成相對於透鏡資訊生成軸的資訊點(所對應的實空間點)之透鏡資訊。
圖58的B是表示透鏡資訊生成軸的例子。
在圖58的B中，從假想感測器的中心延伸至上方向的1軸會形成透鏡資訊生成軸。
以上那樣對於透鏡資訊生成軸的資訊點生成的透鏡資訊是例如可適用在以假想感測器的中心為中心旋轉，藉此僅與該旋轉相同的旋轉角，旋轉透鏡資訊生成軸時，從對應於與該旋轉後的透鏡生成軸一致的假想感測器的位置之實空間點發出的光線的集光處理。
圖59是表示透鏡資訊生成軸的具體例的圖。
此時，如圖59所示般，將從假想感測器的中 心往該假想感測器之位於對角的1畫素的軸稱為對角軸。
在圖59中，在對角軸，15等的複數的位置會被設定成等間隔，作為資訊點。
而且，在圖59中，以設定有資訊點的對角軸朝上方向的方式，以假想感測器的中心為中心旋轉，該旋轉後的對角軸形成透鏡資訊生成軸。
因此，在圖59中，透鏡資訊生成軸是橫寬為0，縱的長度為假想感測器的對角的長度(位於對角的畫素彼此間的距離)的1/2之從假想感測器的中心延伸至垂直方向(上方向)的線部分。
在模擬透鏡資訊生成部37中，可只對於對應於以上那樣的透鏡資訊生成軸的資訊點之實空間點，生成透鏡資訊。對應於透鏡資訊生成軸的資訊點之實空間點是形成以x=0來表示的平面內的點。
另外，有關透鏡資訊之中的PSF強度分布、PSF角度成分資訊、及像面間距是15個程度的資訊點即夠充分，但有關像面移動資訊是在15個程度的資訊點，會有在集光處理的模擬透鏡的集光特性的再現性降低的情形。
於是，有關像面移動資訊，可採用以假想感測器的畫素間距來除算從假想感測器的中心到位於對角的1畫素的距離(假想感測器的像高的最大值)之值(接近假想感測器的對角的畫素數的1/2之值)等，作為設在透鏡資訊生成軸的資訊點的數量。
在此，如在圖40、圖41、圖45及圖48說明般，透鏡資訊為分別針對Fmax個的焦點位置f，對於對應於構成假想感測器的N個的畫素pix1~pix#N各自與可登錄於視差地圖的DPN個的視差d各自的N×DPN個的組合之實空間點來生成時，透鏡資訊的配列數是形成以下那樣的龐大數。
亦即，PSF強度分布的配列數是如在圖40說明般，最大是形成Fmax×N×DPN×PX×PY。像面間距的配列數是如在圖41說明般，最大是形成Fmax×N×DPN。PSF角度成分資訊的配列數是如在圖45說明般，最大是形成Fmax×N×DPN×(PX+1)×(PY+1)。像面移動資訊的配列數是如在圖48說明般，最大是形成Fmax×N×DPN。
另外、PX及PY是如在圖42說明般，分別表示構成透鏡區域的透鏡區域單元的橫(水平方向)及縱(垂直方向)的數量。
另一方面，若將設在透鏡資訊生成軸的資訊點的數量表示成Ninfo，則透鏡資訊的配列數是形成以下般。
亦即，PSF強度分布的配列數，最大是形成Fmax×Ninfo×DPN×PX×PY。像面間距的配列數，最大是形成Fmax×Ninfo×DPN。PSF角度成分資訊的配列數，最大是形成Fmax×Ninfo×DPN×(PX+1)×(PY+1)。像面移動資訊的配列數，最大是形成Fmax×Ninfo×DPN。
因此，只對於透鏡資訊生成軸的資訊點生成 透鏡資訊的情況，相較於分別針對Fmax個的各焦點位置f，對於對應於構成假想感測器的N個的畫素pix1~pix#N各自與可登錄於視差地圖的DPN個的視差d各自的N×DPN個的組合之實空間點生成透鏡資訊的情況，可將透鏡資訊的資訊量削減成Ninfo/N。
例如，假想感測器的畫素數N為1892×1052，資訊點的數Ninfo為15時，可將透鏡資訊的資訊量削減成15/(1892×1052)。
其結果，若根據透鏡資訊生成軸，則可以少的資料量來再現模擬透鏡的模糊感或其他的集光特性。
圖60是表示只對於透鏡資訊生成軸的資訊點生成透鏡資訊時之圖3的模擬透鏡資訊生成部37的構成例的方塊圖。
另外，圖中，有關與圖49的情況對應的部分是附上同一的符號，在以下，其說明是適當省略。
在圖60中，模擬透鏡資訊生成部37是具有實空間點選擇部231、資訊算出部132、及焦點位置選擇部133。
因此，圖60的模擬透鏡資訊生成部37是具有資訊算出部132、及焦點位置選擇部133的點，與圖49的情況共通。
但，圖60的模擬透鏡資訊生成部37是取代實空間點選擇部131，而設有實空間點選擇部231的點，與圖49的情況不同。
實空間點選擇部231是參照從視差資訊生成部31(圖3)供給的多層視差地圖，從對應於假想感測器上的透鏡資訊生成軸的Ninfo個的資訊點各自與可登錄於多層視差地圖的DPN個的視差d各自的組合之Ninfo×DPN個的實空間點之中，選擇注目實空間點。
圖61是說明圖60的模擬透鏡資訊生成部37所進行的模擬透鏡資訊生成處理例的流程圖。
在步驟S211中，焦點位置選擇部133是與圖50的步驟S141同樣，從Fmax個的焦點位置f之中，選擇注目焦點位置，處理是前進至步驟S212。
在步驟S212中，實空間點選擇部231是與圖50的步驟S142同樣，取得從視差資訊生成部31供給的多層視差地圖，處理是前進至步驟S213。
在步驟S213中，實空間點選擇部231是設定透鏡資訊之中的PSF強度分布、PSF角度成分資訊、及利用在像面間距的生成之透鏡資訊生成軸，處理是前進至步驟S214。
亦即，軸痛感點選擇部231是例如以假想透鏡的中心為始點，將等分假想感測器的最大像高(從假想感測器的中心到對角的1畫素為止的距離)之具有預先被決定的預定數(例如15等)的資訊點之透鏡資訊生成軸設定於垂直方向(上方向)。
在步驟S214中，實空間點選擇部231是將透鏡資訊生成軸的資訊點之中尚未作為注目資訊點的資訊點 之1個選擇成注目資訊點，處理是前進至步驟S215。
在步驟S215中，實空間點選擇部231是將來自視差資訊生成部31之被登錄於多層視差地圖之可被登錄於注目資訊點的位置的畫素(接近注目資訊點的畫素)的視差之中尚未作為注目視差的視差之1個選擇成注目視差，處理是前進至步驟S216。
在步驟S216中，實空間點選擇部231是將對應於有注目視差的注目資訊點(假想感測器的平面上的注目資訊點的位置)之實空間點選擇成注目實空間點，處理是前進至步驟S217。
在步驟S217中，資訊算出部132會圖50的步驟S146同樣地求取注目實空間點，亦即相對於注目焦點位置、注目資訊點、及注目視差的組合之PSF強度分布、像面間距、及PSF角度成分資訊，處理是前進至步驟S218。
在步驟S218中，實空間點選擇部231是判定是否將可被登錄於多層視差地圖的視差的全部選擇成注目視差。
在步驟S218中，被判定成尚未將可被登錄於多層視差地圖的視差的全部選擇成注目視差時，處理是回到步驟S215，以下同樣的處理會被重複。
並且，在步驟S218中，被判定成將可被登錄於多層視差地圖的視差的全部選擇成注目視差時，處理是前進至步驟S219。
在步驟S219中，實空間點選擇部231判定是否將透鏡資訊生成軸的資訊點的全部選擇成注目資訊點。
在步驟S219中，被判定成尚未將透鏡資訊生成軸的資訊點的全部選擇成注目資訊點時，處理是回到步驟S214，以下同樣的處理會被重複。
並且，在步驟S219中，被判定成將透鏡資訊生成軸的資訊點的全部選擇成注目資訊點時，處理是前進至步驟S220，以下生成像面移動資訊。
在步驟S220中，實空間點選擇部231是設定透鏡資訊之中使用於像面移動資訊的生成之透鏡資訊生成軸，處理是前進至步驟S221。
亦即，實空間點選擇部231是例如以假想透鏡的中心為始點，將僅以假想感測器的畫素間距來除算假想感測器的最大像高之值的數量的資訊點會被等間隔配置的透鏡資訊生成軸設定於垂直方向。
在步驟S221中，實空間點選擇部231是將透鏡資訊生成軸的資訊點之中尚未作為注目資訊點的資訊點的1個選擇成注目資訊點，處理是前進至步驟S222。
在步驟S222中，實空間點選擇部231是將來自視差資訊生成部31之被登錄於多層視差地圖之可被登錄於注目資訊點的位置的畫素的視差之中尚未作為注目視差的視差之1個選擇成注目視差，處理是前進至步驟S223。
在步驟S223中，實空間點選擇部231是將對 應於有注目視差的注目資訊點之實空間點選擇成注目實空間點，處理是前進至步驟S224。
在步驟S224中，資訊算出部132會與圖50的步驟S146同樣求取注目實空間點，亦即相對於注目焦點位置、注目資訊點及注目視差的組合之像面移動資訊，處理是前進至步驟S225。
在步驟S225中，實空間點選擇部231判定是否將可被登錄於多層視差地圖的視差的全部選擇成注目視差。
在步驟S225中，被判定成尚未將可被登錄於多層視差地圖的視差的全部選擇成注目視差時，處理是回到步驟S222，以下同樣的處理會被重複。
並且，在步驟S225爭，被判定成將可被登錄於多層視差地圖的視差的全部選擇成注目視差時，處理是前進至步驟S226。
在步驟S226中，實空間點選擇部231判定是否將透鏡資訊生成軸的資訊點的全部選擇成注目資訊點。
在步驟S226中，被判定成尚未將透鏡資訊生成軸的資訊點的全部選擇成注目資訊點時，處理是回到步驟S221，以下同樣的處理會被重複。
並且，在步驟S226中，被判定成將透鏡資訊生成軸的資訊點的全部選擇成注目資訊點時，模擬透鏡資訊生成處理終了。
在圖61的模擬透鏡資訊生成處理中，如以上 般，相對於實空間點的透鏡資訊會被求取，該實空間點是對應於可被登錄於多層視差地圖的視差各自與透鏡資訊生成軸的資訊點各自的組合。
圖62是說明如以上般利用對於透鏡資訊生成軸的資訊點(對應的實空間點)所生成的透鏡資訊來進行的集光處理例的圖。
利用對於透鏡資訊生成軸的資訊點所生成的透鏡資訊來進行集光處理的方法，有旋轉透鏡資訊的方法(以下亦稱為透鏡資訊旋轉法)、及旋轉利用於集光處理的光線的方法(以下亦稱為光線旋轉法)。
此時，例如，以對應於某實空間點rsp的假想感測器的畫素(位置)能夠位於透鏡資訊生成軸上的方式，將以假想感測器的中心為中心旋轉假想感測器(的畫素)或透鏡資訊生成軸時的角度稱為一致旋轉角度ALPHA。
對應於實空間點rsp的假想感測器的畫素、及透鏡資訊生成軸是以假想感測器的中心為中心，形成一致旋轉角度ALPHA。
透鏡資訊旋轉法及光線旋轉法是以對應於實空間點rsp的假想感測器的畫素能夠位於透鏡資訊生成軸上的方式，以假想感測器的中心為中心，僅一致旋轉角度ALPHA旋轉假想感測器(的畫素)或透鏡資訊生成軸時，最接近對應於實空間點rsp的假想感測器的畫素的資訊點(以下亦稱為對應資訊點)會被檢測出。
在此，有關以假想感測器的中心為中心旋轉時的旋轉角度，將順時針的方向設為正。此情況，以假想感測器的中心為中心，僅一致旋轉角度+ALPHA旋轉透鏡資訊生成軸，或以假想感測器的中心為中心，僅一致旋轉角度-ALPHA旋轉假想感測器，藉此對應於實空間點rsp的假想感測器的畫素是形成位於透鏡資訊生成軸上的狀態。
以下，為了使說明簡單，對應資訊點的檢測是將透鏡資訊生成軸及假想感測器之中例如透鏡資訊生成軸設為僅一致旋轉角度+ALPHA旋轉。
透鏡資訊旋轉法及光線旋轉法是如上述般，以假想感測器的中心為中心，僅一致旋轉角度+ALPHA，旋轉透鏡資訊生成軸時，最接近對應於實空間點rsp的假想感測器的畫素之資訊點會作為對應資訊點被檢測出。
然後，將相對於對應資訊點(對應的實空間點)的透鏡資訊適用於從實空間點rsp發出的光線，進行集光處理。
但，在透鏡資訊旋轉法，相對於對應資訊點的透鏡資訊(之中的PSF強度分布、PSF角度成分資訊、及像面移動資訊)是只被旋轉一致旋轉角度+ALPHA，適用於從實空間點rsp發出的光線。
另一方面，在光線旋轉法，從實空間點rsp發出的光線是只被旋轉一致旋轉角度-ALPHA，相對於對應資訊點的透鏡資訊會被適用於該旋轉後的光線。
圖62是表示透鏡資訊旋轉法之集光處理例。
圖62的A是表示對應於注目實空間點的假想感測器的注目畫素為透鏡資訊生成軸上的畫素(以下亦稱為軸上畫素)時之集光處理的結像值的算出例。
亦即，圖62的A是表示有關對應於注目實空間點的假想感測器的注目畫素之相對於對應資訊點的PSF強度分布(所被記錄的分布區域)的例子。
在圖62的A中，射入透鏡區域單元U1的光線是到達PSF強度分布的對應區域UC1。
對應於注目實空間點的假想感測器的注目畫素為軸上畫素時，有關從注目實空間點發出，射入透鏡區域單元U1的光線，是原封不動使用(不使旋轉)相對於對應資訊點的PSF強度分布，該對應資訊點是相對於注目畫素，求取被分配於射入透鏡區域單元U1的光線之亮度與對應區域UC1的PSF強度分布的乘積，作為結像值。
圖62的B是表示對應於注目實空間點的假想感測器的注目畫素為以假想感測器的中心作為中心，例如僅90度旋轉透鏡資訊生成軸之直線上的畫素(以下亦稱為90度旋轉畫素)時的集光處理的結像值的算出例。
在圖62的B中，注目畫素之90度旋轉畫素的一致旋轉角度+ALPHA是90度。
此時，相對於注目畫素之90度旋轉畫素的對應資訊點與相對於圖62的A的情況的軸上畫素的對應資訊點一致。
此情況，在透鏡資訊旋轉法中，有關從注目實空間點發出的光線，是利用例如以記錄有其PSF強度分布的分布區域的中心為中心，僅一致旋轉角度+ALPHA的90度旋轉相對於對應資訊點(該對應資訊點是相對於注目畫素)的PSF強度分布之旋轉後的PSF強度分布，求取結像值。
有關旋轉後的PSF強度分布(所被記錄的分布區域)是射入位於以光軸為中心僅一致旋轉角度+ALPHA的90度旋轉透鏡區域單元U1時之旋轉後的透鏡區域單元U1的位置的透鏡區域單元U2的光線會到達PSF強度分布的對應區域UC1。
因此，注目畫素為90度旋轉畫素時，透鏡資訊旋轉法是求取被分配於射入透鏡區域單元U2的光線之亮度與對應區域UC1的PSF強度分布的乘積，作為從注目實空間點發出，射入透鏡區域單元U2的光線的結像值。
圖63是表示光線旋轉法之集光處理例。
對應於注目實空間點的假想感測器的注目畫素為軸上畫素時，在光線旋轉法，從注目實空間點發出的光線的結像值是與透鏡資訊旋轉法同樣地求取。
另一方面，對應於注目實空間點的假想感測器的注目畫素例如為90度旋轉畫素時，在光線旋轉法，利用僅一致旋轉角度-ALPHA=-90度旋轉從注目實空間點發出的光線之旋轉後的光線，來求取該光線的結像值。
圖63的A是表示從注目實空間點發出的光線的旋轉。
對應於注目實空間點的假想感測器的注目畫素為90度旋轉畫素時，以光軸為中心，僅一致旋轉角度-ALPHA=-90度，旋轉射入模擬透鏡的光線。
在圖63的A，於光線的旋轉前，光線R1會從注目實空間點射入至透鏡區域單元U1，光線R2會從注目實空間點射入至透鏡區域單元U2。
透鏡區域單元U2是位在以光軸為中心僅一致旋轉角度+ALPHA=+90度旋轉透鏡區域單元U1的位置。
因此，以光軸為中心僅一致旋轉角度-ALPHA=-90度旋轉射入模擬透鏡的光線時，在旋轉前射入透鏡區域單元U2的光線R2會射入透鏡區域單元U1。
圖63的B是表示有關注目畫素的90度旋轉畫素之相對於對應資訊點的PSF強度分布(所被記錄的分布區域)的例子。
在圖63的B，與圖62的A的情況同樣，射入透鏡區域單元U1的光線會到達PSF強度分布的對應區域UC1。
由於旋轉後的光線R2是射入透鏡區域單元U1，因此該光線R2的結像值VF是作為該光線R2的亮度與相對於透鏡區域單元U1的對應區域UC1的PSF強度分布的乘積求取。
圖63的C是表示光線R2的結像值VF的逆 轉的例子。
在光線旋轉法，將結像值VF加算於假想感測器上時，該結像值VF(所被記錄的分布區域)會以光軸為中心，僅旋轉光線後的一致旋轉角度-ALPHA=-90度逆轉。
亦即，結像值VF(所被記錄的分布區域)是以光軸為中心，僅一致旋轉角度+ALPHA=+90度旋轉之後，加算於假想感測器上。
利用對於透鏡資訊生成軸所生成的透鏡資訊來進行的集光處理，亦可採用透鏡資訊旋轉法，或光線旋轉法。
若藉由透鏡資訊旋轉法，則比光線旋轉法更能減少集光處理所要的運算量。
但，在透鏡資訊旋轉法，模擬透鏡的集光特性的再現性有可能降低。
亦即，在透鏡資訊旋轉法，透鏡資訊(像面間距除外)只被旋轉一致旋轉角度+ALPHA。
此情況，旋轉後的透鏡資訊之中，例如PSF角度成分資訊所示的分布區域到達點AP#i(圖44)的座標系是形成僅一致旋轉角度+ALPHA傾斜的座標系。因此，除了一致旋轉角度+ALPHA為90度的整數倍時，在可形成旋轉前的PSF角度成分資訊所示的分布區域到達點AP#i的位置與可成為旋轉後的PSF角度成分資訊所示的分布區域到達點AP#i的位置之間產生偏移。
由於PSF角度成分資訊所示的分布區域到達點AP#i是以分布區域的分布區域單元(圖40)的粒度來表示光線所到達的PSF強度分布上的位置，所以因其粒度，在可形成旋轉前的PSF角度成分資訊所示的分布區域到達點AP#i的位置與可成為旋轉後的PSF角度成分資訊所示的分布區域到達點AP#i的位置之間產生的偏移會有對模擬透鏡的集光特性的再現造成不良影響的情形。
亦即，在旋轉後的PSF角度成分資訊所示的對應區域(圖44)中，PSF強度分布會有與其他的對應區域的PSF強度分布一部分重複的情形，或原本應含於某對應區域的PSF強度分布的部分從該對應區域欠缺的情形。
此PSF強度分布的重複或欠缺的程度大時，模擬透鏡的集光特性的再現性會降低。
於是，在集光處理是可採用光線旋轉法。
但，分布區域到達點AP#i所示，若光線到達的PSF強度分布上的位置的粒度充分細，則即使在集光處理使用透鏡資訊旋轉法，還是可充分正確再現模擬透鏡的集光特性，因此該情況是可採用透鏡資訊旋轉法。
圖64是表示利用對於透鏡資訊生成軸所生成的透鏡資訊來進行集光處理之集光處理部38的構成例的方塊圖。
另外，圖中，有關與圖55的情況對應的部分是附上同一符號，以下其說明是適當省略。
在圖64中，集光處理部38是具有：實空間 點選擇部141、結像值算出部242、標度調整部143、結像位置辨識部244、加算部245、及旋轉處理部246。
因此，圖64的集光處理部38是具有實空間點選擇部141及標度調整部143的點與圖55的情況共通。
但，圖64的集光處理部38是取代結像值算出部142、結像位置辨識部144、及加算部145，而分別設有結像值算出部242、結像位置辨識部244、及加算部245的點與圖55的情況不同。
而且，圖64的集光處理部38是新設有旋轉處理部246的點與圖55的情況不同。
結像值算出部242是藉由透鏡資訊旋轉法或光線旋轉法，求取記錄有從在實空間點選擇部131所被選擇的注目實空間點發出的光線的結像值的分布之分布區域，供給至標度調整部143。
亦即，結像值算出部242是按照光線旋轉法，利用從旋轉處理部246供給之PSF強度分布及PSF角度成分資訊，求取同樣從旋轉處理部246供給之僅一致旋轉角度-ALPHA旋轉的光線之中記錄有從在實空間點選擇部131被選擇的注目實空間點發出的光線的結像值的分布之分布區域，供給至標度調整部143。
或，結像值算出部242是按照透鏡資訊旋轉法，利用從旋轉處理部246供給之僅一致旋轉角度+ALPHA旋轉的PSF強度分布及PSF角度成分資訊，求 取同樣從旋轉處理部246供給之記錄有從在實空間點選擇部131被選擇的注目實空間點發出的光線的結像值的分布之分布區域，供給至標度調整部143。
結像位置辨識部244是從由旋轉處理部246供給的像面移動資訊、或僅一致旋轉角度+ALPHA旋轉的像面移動資訊，辨識經由模擬透鏡的光線所結像的假想感測器上的結像位置之像面移動位置，與來自標度調整部143的標度的調整後的分布區域一起供給至加算部245。
加算部245是進行與圖55的加算部145同樣的處理。
亦即，加算部245是內藏作為假想感測器的記憶體，依據來自結像位置辨識部244的像面移動位置，進行來自結像位置辨識部244的標度的調整後的分布區域與假想感測器的對位。
而且，加算部245是在假想感測器上以其假想感測器的畫素單位來加算被記錄於與假想感測器的對位後的分布區域之結像值。
然後，加算部245是將以假想感測器亦即記憶體上取得的結像值的加算結果作為畫素值的畫像設為模擬畫像，供給至顯示裝置13(圖1)。
另外，加算部245是在進行透鏡資訊旋轉法之集光處理時，如上述般，進行與圖55的加算部145同樣的處理。
另一方面，在進行光線旋轉法之集光處理 時，加算部245是在旋轉處理部246僅旋轉光線時的一致旋轉角度-ALPHA逆轉對位後的分布區域(所被記錄的結像值)之後，亦即僅一致旋轉角度+ALPHA旋轉之後，將被記錄於該旋轉後的分布區域的結像值加算於假想感測器上。
在旋轉處理部246是從入射光線再現部36(圖3)供給光線，且從模擬透鏡資訊生成部34(圖3)供給相對於透鏡資訊生成軸的資訊點之透鏡資訊。
旋轉處理部246是在進行透鏡資訊旋轉法之集光處理時，以對應於在實空間點選擇部141所選擇的注目實空間點之假想感測器的畫素能夠形成透鏡資訊生成軸上的畫素之方式，僅旋轉透鏡資訊生成軸時的一致旋轉角度+ALPHA旋轉相對於來自模擬透鏡資訊生成部34的透鏡資訊生成軸的資訊點之透鏡資訊的其中的PSF強度分布、PSF角度成分資訊、及像面移動資訊。
然後，旋轉處理部246是將旋轉後的PSF強度分布及PSF角度成分資訊供給至結像值算出部242，且將旋轉後的像面移動資訊供給至結像位置辨識部244。
而且，旋轉處理部246是不旋轉地原封不動將來自入射光線再現部36的光線供給至結像值算出部242。
另一方面，旋轉處理部246是在進行光線旋轉法之集光處理時，以對應於在實空間點選擇部141所選擇的注目實空間點之假想感測器的畫素能夠形成透鏡資訊 生成軸上的畫素之方式，僅旋轉假想感測器(的畫素)時的一致旋轉角度-ALPHA旋轉來自入射光線再現部36的光線。
然後，旋轉處理部246是將旋轉後的光線供給至結像值算出部242。
而且，旋轉處理部246是不旋轉地原封不動將相對於來自模擬透鏡資訊生成部34的透鏡資訊生成軸的資訊點之透鏡資訊的其中的PSF強度分布及PSF角度成分資訊供給至結像值算出部242，且不旋轉地原封不動將像面移動資訊供給至結像位置辨識部244。
圖65是說明圖64的集光處理部38所進行的集光處理例的流程圖。
另外，本實施形態是如在圖61說明般，為了削減透鏡資訊的資訊量，僅對於注目焦點位置生成透鏡資訊。因此，集光處理是以焦點位置被設定於透鏡資訊生成時的注目焦點位置進行。
但，透鏡資訊是可分別對於Fmax個的焦點位置(圖37)預先生成。此情況，在集光處理部38中，可設定注目焦點位置，利用相對於該注目焦點位置的透鏡資訊，進行集光處理。
或，在模擬透鏡資訊生成部37中，在集光處理部38設定注目焦點位置之後，可對於該注目焦點位置生成透鏡資訊。
在此，圖65是進行光線旋轉法之集光處理。
在步驟S251~S254中，進行分別與圖56的步驟S151~S154同樣的處理。
亦即，實空間點選擇部141是在步驟S251中，取得從視差資訊生成部31供給的多層視差地圖，在步驟S252中，將基準畫像HD1的畫素之中尚未作為注目畫素的畫素之一個選擇成注目畫素。
而且，實空間點選擇部141是在步驟S253中，將來自視差資訊生成部31之被登錄於多層視差地圖的注目畫素的視差之中尚未作為注目視差的視差之一個選擇成注目視差，在步驟S254中，將對應於有注目視差的注目畫素之實空間點選擇成注目實空間點。
然後，處理是從步驟S254前進至步驟S255，旋轉處理部246是以對應於在實空間點選擇部141所選擇的注目實空間點之假想感測器的畫素能夠形成透鏡資訊生成軸上的畫素之方式，算出旋轉假想感測器時的一致旋轉角度-ALPHA，處理是前進至步驟S256。
在步驟S256中，旋轉處理部246會將模擬透鏡的透鏡區域單元之中尚未作為注目透鏡區域單元的透鏡區域單元之一個選擇成注目透鏡區域單元，處理是前進至步驟S257。
在步驟S257中，旋轉處理部246是從由入射光線再現部36供給的光線之中，取得從注目實空間點往注目透鏡區域單元的光線，作為注目光線，處理是前進至步驟S258。
在步驟S258中，旋轉處理部246是以光軸為中心使注目光線只旋轉在步驟S255所被算出的一致旋轉角度-ALPHA，將旋轉後的注目光線供給至結像值算出部242，處理是前進至步驟S259。
在步驟S259中，結像值算出部242判定來自旋轉處理部246的旋轉後的注目光線是否從注目實空間點到達模擬透鏡。
在步驟S259中，被判定成旋轉後的注目光線到達模擬透鏡時，亦即當被分配於旋轉後的注目光線的視差(在圖33~圖35說明的入射光線再現處理所被分配的視差)與注目視差相等時，處理是前進至步驟S260。
在步驟S260中，在結像值算出部242、標度調整部143、結像位置辨識部244、及加算部245中，以被判定成到達模擬透鏡的旋轉後的注目光線、亦即衝突判定的結果剩下的注目光線被旋轉之旋轉後的注目光線作為對象，進行後述的光線加算處理，處理是前進至步驟S261。
另一方面，在步驟S259中，被判定成旋轉後的注目光線不到達模擬透鏡時，亦即被分配於旋轉後的注目光線的視差不與注目視差相等時，處理是跳過步驟S260，前進至步驟S261。因此，當旋轉後的注目光線不到達模擬透鏡時，有關其旋轉後的注目光線是光線加算處理不進行。
在步驟S261~S263中，進行與圖56的步驟 S159~S161同樣的處理。
亦即，在步驟S261中，判定旋轉處理部246是否將模擬透鏡的透鏡區域單元的全部選擇成注目透鏡區域單元，當判定成尚未將模擬透鏡的透鏡區域單元的全部選擇成注目透鏡區域單元時，處理是回到步驟S256，以下同樣的處理會被重複。
並且，在步驟S261中，被判定成將模擬透鏡的透鏡區域單元的全部選擇成注目透鏡區域單元時，處理是前進至步驟S262，判定實空間點選擇部141是否將被登錄於多層視差地圖的注目畫素的視差的全部選擇成注目視差。
在步驟S262中，被判定成尚未將被登錄於多層視差地圖的注目畫素的視差的全部選擇成注目視差時，處理是回到步驟S253，以下同樣的處理會被重複。
並且，在步驟S262中，被判定成將被登錄於多層視差地圖的注目畫素的視差的全部選擇成注目視差時，處理是前進至步驟S263，判定實空間點選擇部141是否將基準畫像HD1的畫素的全部選擇成注目畫素。
在步驟S263中，被判定成尚未將基準畫像HD1的畫素的全部選擇成注目畫素時，處理是回到步驟S252，以下同樣的處理會被重複。
並且，在步驟S263中，被判定成將基準畫像HD1的畫素的全部選擇成注目畫素時，加算部245是以藉由至目前為止的處理所取得之以假想感測器上的結像值的 加算結果作為畫素值的畫像作為模擬畫像，供給至顯示裝置13(圖1)，集光處理終了。
圖66是說明在圖65的步驟S260所進行的光線加算處理例的流程圖。
在步驟S271中，結像值算出部242是從透鏡資訊生成軸的資訊點之中檢測出最接近僅以圖65的步驟S255算出的一致旋轉角度-ALPHA旋轉對應於注目實空間點的假想感測器的畫素(位置)之旋轉後的畫素的資訊點之對應資訊點。
而且，結像值算出部242是從來自旋轉處理部246之相對於透鏡資訊生成軸的資訊點的透鏡資訊之中，取得相對於實空間點的透鏡資訊，該實空間點是對應於對應資訊點及注目視差。
然後，結像值算出部242是利用相對於實空間點(該實空間點是對應於對應資訊點及注目視差)的透鏡資訊之中有關注目焦點位置f的PSF強度分布(所被記錄的分布區域)及PSF角度成分資訊，求取記錄有來自旋轉處理部246之旋轉後的注目光線所到達的PSF強度分布之分布區域上的位置之對應區域。
而且，結像值算出部242是求取對應區域的PSF強度分布與被分別於旋轉後的注目光線的亮度(在圖33~圖35說明的入射光線再現處理所被分配的亮度)的乘積，作為旋轉後的注目光線的結像值(的分布)。
然後，結像值算出部242是將記錄有旋轉後 的注目光線的結像值的分布區域供給至標度調整部143，處理是從步驟S271前進至步驟S272。
在步驟S272中，標度調整部143是從來自模擬透鏡資訊生成部34之相對於透鏡資訊生成軸的資訊點的透鏡資訊之中，取得相對於實空間點的透鏡資訊，該實空間點是對應於對應資訊點及注目視差。
然後，標度調整部143是利用相對於實空間點(該實空間點是對應於對應資訊點及注目視差)的透鏡資訊之中有關注目焦點位置f的像面間距，藉由縮小或擴大來自結像值算出部242之記錄有結像值的分布的分布區域，將該分布區域的標度調整成與假想感測器的標度一致的標度。
而且，標度調整部143是經由結像位置辨識部244來將標度的調整後的分布區域供給至加算部245，處理是從步驟S272前進至步驟S273。
在步驟S273中，結像位置辨識部244是從來自旋轉處理部246之相對於透鏡資訊生成軸的資訊點的透鏡資訊之中，取得相對於實空間點的透鏡資訊，該實空間點是對應於對應資訊點及注目視差。
然後，結像位置辨識部244是由相對於實空間點(該實空間點是對應於對應資訊點及注目視差)的透鏡資訊之中有關注目焦點位置f的像面移動資訊、及旋轉處理部246旋轉注目光線的一致旋轉角度-ALPHA，來辨識經由模擬透鏡之旋轉前的注目光線所結像的假想感測器 上的結像位置之像面移動位置，供給至加算部245，處理是前進至步驟S274。
在步驟S274中，加算部245是依據來自結像位置辨識部244的像面移動位置，進行在標度調整部143所取得的標度的調整後的分布區域與假想感測器的對位。
亦即，加算部245是以標度的調整後的分布區域的中心點CP(圖54)與假想感測器的像面移動位置能夠一致的方式，進行標度的調整後的分布區域與假想感測器的對位。
而且，在步驟S274中，加算部245是僅旋轉處理部246旋轉注目光線時的一致旋轉角度-ALPHA以光軸(或中心點CP)為中心逆轉，亦即僅一致旋轉角度+ALPHA以光軸(或中心點CP)為中心旋轉對位後的分布區域(所記錄的結像值)，處理是前進至步驟S275。
在步驟S275中，加算部245是在假想感測器上以該假想感測器的畫素單位來加算被記錄於旋轉後的分布區域之結像值。亦即，加算部245是加算作為假想感測器的記憶體的記憶值及結像值，依據其結果取得的加算值來改寫記憶體的記憶值。
藉由以上，完成光線加算處理，返回處理。
如以上般，相對於實空間點(該實空間點是對應於假想感測器的平面的一部分的複數位置之複數的資訊點)來生成透鏡資訊，利用該透鏡資訊來進行集光處理時，可以少的資料量來正確地再現模擬透鏡的模糊感或其 他的集光特性。
另外，在本實施形態中，採用從假想感測器的中心延伸於垂直方向之假想感測器的對角的長度的1/2的線分(圖59)，作為透鏡資訊生成軸，但亦可採用從假想感測器的中心延伸的任意的1軸，作為透鏡資訊生成軸。
亦即，例如可採用連結假想感測器的中心與假想感測器的對角的1畫素之線部分，作為透鏡資訊生成軸。
又，複數的資訊點並非限於將從假想感測器的中心延伸的透鏡資訊生成軸等分的複數的點。
亦即，作為複數的資訊點，是例如可採用假想感測器的平面的像高不同之排列於直線上的複數的點或未排列於直線上的複數的點。另外，最好複數的資訊點的像高是在從0到假想感測器的像高的最大值為止的範圍平均分散。
圖67是說明進行光線旋轉法之集光處理(圖65及圖66)時，求取旋轉前的光線所結像的假想感測器上的結像位置之像面移動位置的方法(在圖66的步驟S273辨識結像位置的方法)的圖。
在此，像面移動位置是例如以假想感測器的左上的畫素作為原點，將假想感測器的畫素間距設為1的2次元座標系的座標(x，y)表現。
並且，像面移動資訊是表示像面移動位置之 離光軸(假想感測器的中心)SO的x方向及y方向各自的距離(微米)。
結像位置辨識部244是如在圖66的步驟S273所說明般，由相對於實空間點(該實空間點是對應於有注目視差的對應資訊點)的像面移動資訊、及旋轉處理部246旋轉注目光線後的一致旋轉角度-ALPHA來辨識旋轉前的注目光線所結像的假想感測器上的結像位置之像面移動位置(以下亦稱為旋轉前像面移動位置)。
在此，對應資訊點是從假想感測器的中心SO延伸至上方向的感測器資訊生成軸上的點，相對於實空間點(該實空間點是對應於如此的對應資訊點及注目視差)的像面移動資訊img_height是表示從假想感測器的中心SO通過該中心SO至延伸於垂直方向的直線上的位置A的距離。位置A是從對應於對應資訊點及注目視差的實空間點發出的主光線經由模擬透鏡而到達的假想感測器上的位置。
此時，將假想感測器的橫寬(左端的畫素與右端的畫素之間的距離)表示成width，且將假想感測器的畫素間距(鄰接的畫素彼此間的距離)表示成Sensor_pitch。
旋轉前的注目光線所結像的假想感測器上的結像位置之旋轉前像面移動位置是形成僅旋轉注目光線時的一致旋轉角度-ALPHA逆轉位置A的位置，亦即僅一致旋轉角度+ALPHA旋轉的位置。
因此，旋轉前像面移動位置的x座標X是可按照式X=width/2+(img_height×cos(90°-ALPHA))/Sensor_pitch來求取。
旋轉前像面移動位置的y座標也同樣可求取。
結像位置辨識部244是如以上般求取旋轉前像面移動位置(的x座標及y座標)來辨識。
然後，在加算部245中，如以上般，依據旋轉前像面移動位置來進行標度的調整後的分布區域與假想感測器的對位，該旋轉前像面移動位置是藉由僅旋轉注目光線時的一致旋轉角度-ALPHA逆轉(僅一致旋轉角度+ALPHA旋轉)相對於實空間點(實空間點是對應於對應資訊點及注目視差)的像面移動資訊img_height所示的位置(像面移動位置)A而取得。
亦即，加算部245是以標度的調整後的分布區域的中心點CP(圖54)與假想感測器的旋轉前像面移動位置能夠一致的方式，進行標度的調整後的分布區域與假想感測器的對位。
另外，旋轉前像面移動位置是如以上般，藉由旋轉相對於實空間點(該實空間點是對應於對應資訊點及注目視差)的像面移動資訊img_height所示的位置(像面移動位置)來求取，因此產生該旋轉所引起的捨入誤差。
因為此捨入誤差，旋轉前像面移動位置的精 度會降低，因為此旋轉前像面移動位置的精度的降低，而有在集光處理的模擬透鏡的集光特性的再現性降低的情形。
於是，為了抑制旋轉前像面移動位置的精度的降低，可針對像面移動資訊(所示的像面移動位置)進行插補。
像面移動資訊(所示的像面移動位置)的插補，有資訊點的排列的方向(與光軸垂直的方向)(像高的方向)的插補、及視差方向的插補。
圖68是說明像面移動資訊(所示的像面移動位置)之資訊點的排列的方向的插補的圖。
光線旋轉法之集光處理是利用相對於實空間點的透鏡資訊(以下亦簡稱為相對於對應資訊點的透鏡資訊)來進行，該實空間點是對應於最接近僅一致旋轉角度-ALPHA旋轉對應於注目實空間點的假想感測器的畫素(位置)之旋轉後的畫素(位置)的資訊點之對應資訊點及注目視差。
在圖68中，僅一致旋轉角度-ALPHA旋轉對應於注目實空間點的假想感測器的畫素(位置)pp之旋轉後的畫素(位置)pp'會位於鄰接的資訊點A與B之間，最接近該旋轉後的畫素pp'的資訊點之對應資訊點會形成資訊點B。
此情況，作為資訊點的排列的方向的插補，是利用分別相對於夾著旋轉後的畫素pp'的資訊點A及B 之像面移動位置ih1及ih2的插補會例如按照從旋轉後的畫素pp'到資訊點A及B各自為止的距離a及b的比來進行。
亦即，資訊點的排列的方向的插補是例如按照式ih=(ih1×b+ih2×a)/(a+b)來求取作為資訊點的排列的方向的插補值之像面移動位置ih。
然後，取代相對於對應資訊點的資訊點B之像面移動位置ih2，利用作為資訊點的排列的方向的插補值之像面移動位置ih，進行從注目實空間點發出的光線的結像值的對位。
圖69是說明像面移動資訊(所示的像面移動位置)之視差方向的插補的圖。
在本實施形態中，如在圖6說明般，例如以1/4畫素的精度來求取視差，使該1/4畫素的精度的視差整數化使用。
因此，例如圖32等是將可登錄於視差地圖的視差d設為從最小值Dmin到最大值Dmax之每1畫素的DPN=Dmax-Dmin+1個的整數值，但在視差地圖中登錄1/4畫素的精度的視差，使用被登錄於視差地圖的視差時，可使該視差整數化。
如以上般，在視差地圖中登錄有1/4畫素的精度等的畫素以下精度的視差時，像面移動資訊之視差方向的插補是可不使登錄於視差地圖的畫素以下精度的視差整數化，原封不動利用進行。
例如，此時，在視差地圖中登錄有1/4畫素的精度的視差。
在圖61的模擬透鏡資訊生成處理中，作為相對於實空間點(該實空間點是對應於注目資訊點及於注目視差)的透鏡資訊之像面移動資訊(所示的像面移動位置)是將可被登錄於視差地圖的視差選擇成注目視差而求取。
在此模擬透鏡資訊生成處理被選擇成注目視差之可登錄於視差地圖的視差是可使用從最小值Dmin到最大值Dmax之每1畫素的DPN=Dmax-Dmin+1個的整數值。
因此，在模擬透鏡資訊生成處理中，對於整數值的視差，求取像面移動位置。
在圖69中，某整數值的視差D的其次大的視差為形成整數值D+1。然後，對於整數值的視差D，求取像面移動位置ih1，對於其次大的整數值的視差D+1，求取像面移動位置ih2。
另一方面，在圖65的集光處理中，從被登錄於視差地圖的視差之中選擇注目視差，作為從基準畫像選擇的注目畫素的視差(步驟S253)。
此情況，被登錄於視差地圖的視差是被整數化，被選擇成注目視差。
然後，在集光處理中，利用相對於對應資訊點及對應於注目視差的實空間點之透鏡資訊來進行光線加 算處理(圖66)。
有關在此光線加算處理所被使用的透鏡資訊之中的像面移動資訊(所示的像面移動位置)，可不使被登錄於視差地圖的視差整數化利用，進行視差方向的插補。
亦即，在圖69中，對應資訊點及對應於注目視差的實空間點的視差(注目視差)為形成1/4畫素的精度的視差之D+0.75。
在此，被登錄於視差地圖的視差為1/4畫素的精度的視差時，從整數值的視差D到其次的整數值的視差D+1為止的期間，作為1/4畫素的精度的視差是有D+0.25，D+0.5，D+0.75。
將被登錄於視差地圖的視差整數化使用時，若例如藉由小數點以下的捨去來進行該整數化，則當注目視差為D，D+0.25，D+0.5或D+0.75時，任一情況皆被整數化成整數值D。
然後，利用相對於被整數化成整數值D的注目視差之像面移動位置ih1來進行光線加算處理(圖66)。
作為視差方向的插補，是利用分別相對於夾著未整數化的注目視差D+0.75的整數值的視差D及D+1之像面移動位置ih1及ih2的插補會按照從注目視差D+0.75到整數值的視差D及D+1各自為止的距離0.75及0.25的比來進行。
亦即，在視差方向的插補中，按照式ih=ih1×0.25+ih2×0.75，求取作為視差方向的插補值之像面移動位置ih。
然後，取代相對於被整數化成整數值D的注目視差之像面移動位置ih1，利用作為視差方向的插補值之像面移動位置ih，進行光線加算處理(的其中的光線的結像值的對位)。
進行以上那樣的像面移動資訊(所示的像面移動位置)的插補時，可使在集光處理的模擬透鏡的集光特性的再現性提升。
另外，有關像面移動資訊是可只進行資訊點的排列的方向的插補及視差方向的插補的其中一方或雙方。
<模擬結果>
圖70是表示透鏡模擬部35(圖3)之透鏡模擬處理的結果取得的模擬畫像的例圖。
圖70是表示由攝取在物體obj1的前側配置有棒狀的物體obj2的實空間之攝影畫像所取得的模擬畫像。
若根據模擬畫像，則可確認物體obj1之因棒狀的物體obj2而隱藏的部分所發出的光線會衝突於物體obj2而不見。
圖71是表示透鏡模擬部35之透鏡模擬處理 的結果取得的模擬畫像的其他的例圖。
另外，圖71的模擬畫像是與圖70同樣，由攝取在物體obj1的前側配置有棒狀的物體obj2的實空間之攝影畫像所取得的模擬畫像。
圖71的A是表示像面移動位置，不是主光線經由模擬透鏡而到達的假想感測器上的位置，而是採用主光線經由假想透鏡而到達的假想感測器上的位置時的模擬畫像。
在集光處理中，像面移動位置，不是主光線經由模擬透鏡而到達的假想感測器上的位置，而是採用主光線經由假想透鏡而到達的假想感測器上的位置時，在加算光線的結像值的假想感測器的位置，產生假想透鏡與模擬透鏡的輸入瞳的位置的偏移所引起的誤差。因此，圖71的A，在模擬畫像中，內側的物體obj1之中因棒狀的物體obj2而應隱藏不見的部分會看見。
圖71的B是表示未進行像面移動資訊的插補時的模擬畫像。
在圖71的B可確認，因為像面移動資訊(所示的像面移動位置)的旋轉而引起的捨入誤差的影響，形成棒狀的物體obj2的輪廓之延伸於垂直方向的線部分會形成凹凸不平。
像面移動位置，藉由採用主光線經由模擬透鏡而到達的假想感測器上的位置，或進行像面移動資訊的插補，在模擬畫像中，可防止圖71所示的症狀產生。
<適用本技術的電腦的說明>
其次，上述一連串的處理是可藉由硬體來進行，或藉由軟體來進行。藉由軟體來進行一連串的處理時，構成該軟體的程式是被安裝於泛用的電腦等。
圖72是表示安裝有實行上述一連串的處理的程式的電腦的一實施形態的構成例的方塊圖。
程式是可預先記錄於電腦中所內藏之作為記錄媒體的硬碟405或ROM403。
或，程式可儲存(記錄)在可移動記錄媒體411。如此的可移動記錄媒體411是可作為所謂的封裝軟體提供。在此，可移動記錄媒體411是例如有軟碟、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)，DVD(Digital Versatile Disc)、磁碟、半導體記憶體等。
另外，程式是除了上述那樣從可移動記錄媒體411來安裝於電腦以外，亦可經由通訊網或播放網來下載至電腦，安裝於內藏的硬碟405。亦即，程式是例如從下載網址，經由數位衛星播放用的人工衛星，以無線來轉送至電腦，或經由LAN(Local Area Network)、網際網路等的網路，以有線來轉送至電腦。
電腦是內藏CPU(Central Processing Unit)402，CPU402是經由匯流排401來連接輸出入介面410。
CPU402是一旦使用者經由輸出入介面410來 操作輸入部407等而輸入指令，則按此來實行被儲存於ROM(Read Only Memory)403的程式。或，CPU402是將被儲存於硬碟405的程式下載至RAM(Random Access Memory)404而實行。
藉此，CPU402是進行按照上述流程圖的處理、或依據上述方塊圖的構成來進行的處理。而且，CPU402是將其處理結果因應所需例如經由輸出入介面410來從輸出部406輸出，或從通訊部408傳送，且使記錄於硬碟405等。
另外，輸入部407是以鍵盤或滑鼠、麥克風等所構成。又，輸出部406是以LCD(Liquid Crystal Display)或喇叭等所構成。
在此，於本說明書中，電腦按照程式來進行的處理是不一定要按照流程圖記載的順序來時間序列地進行。亦即，電腦按照程式進行的處理是亦包含並列的或個別實行的處理(例如，並列處理或根據對象的處理)。
又，程式是亦可藉由1個電腦(處理器)來處理，或藉由複數的電腦來分散處理。而且，程式是亦可被轉送至遠方的電腦來實行。
而且，在本說明書中，所謂系統是意思複數的構成要素(裝置、模組(零件)等)的集合，不管是否所有的構成要素處於同一框體中。因此，收納於個別的框體，經由網路來連接的複數的裝置、及在1個框體中收納有複數的模組之1個的裝置皆為系統。
另外，本技術的實施形態並非限於上述的實施形態，亦可在不脫離本技術的主旨範圍中實施各種的變更。
例如，本技術是可取經由網路來以複數的裝置分擔、共同處理1個的機能之雲計算的構成。
並且，在上述的流程圖說明的各步驟是除了在1個的裝置實行以外，還可在複數的裝置分擔實行。
而且，在1個的步驟中含有複數的處理時，其1個的步驟中所含的複數的處理是除了在1個的裝置實行以外，還可在複數的裝置分擔實行。
並且，在本說明書中所記載的效果只是舉例而已，並非被限定者，亦可為其他的效果。
另外，本技術是可取以下那樣的構成。
<1>一種畫像處理裝置，其特徵係具備：光線再現部，其係使從實空間內的實空間點射入將攝取複數的視點的畫像之複數的攝影部設為合成孔徑的假想透鏡之光線再現；及集光處理部，其係依據從前述實空間點發出的主光線經由前述模擬透鏡而到達的前述假想感測器上的位置之像面移動位置來進行在前述光線再現部所再現的前述光線經由模擬對象的模擬透鏡來集光於假想感測器上的位置的對位，進行將前述光線集光於前述假想感測器上的集光處理。
<2>如記載於<1>的畫像處理裝置，其中，前述集光處理部，係進行將前述光線經由前述模擬透鏡來結像於前述假想感測器時的結像值加算於前述假想感測器上的前述集光處理。
<3>如記載於<2>的畫像處理裝置，其中，前述集光處理部，係進行依據前述像面移動位置來進行加算前述結像值的前述假想感測器上的位置的對位之前述集光處理。
<4>如記載於<3>的畫像處理裝置，其中，前述集光處理部，係利用前述光線、及表示前述模擬透鏡對於點光源的回應之PSF(Point Spread Function)強度分布來求取前述結像值。
<5>如記載於<4>的畫像處理裝置，其中，前述集光處理部，係特定前述光線所到達的前述PSF強度分布的位置，求取前述光線所到達的前述PSF強度分布的位置之前述PSF強度分布與前述光線的亮度的積，作為前述光線的結像值。
<6>如記載於<5>的畫像處理裝置，其中，前述集光處理部，係使前述PSF強度分布與以和前述光線的亮度的積所求取的前述光線的結像值的分布的標度一致於前述假想感測器的標度，而將前述結像值加算於前述假想感測器上。
<7>如記載於<2>~<6>中的任一的畫像處理裝置，其中，前述光線再現部，係利用前述複數的視點的畫像來對 射入前述假想透鏡的光線分配亮度。
<8>如記載於<2>~<7>中的任一的畫像處理裝置，其中，前述光線再現部，係判定前述光線至射入前述假想透鏡為止是否衝突於物體。
<9>如記載於<2>~<8>中的任一的畫像處理裝置，其中，前述集光處理部，係利用規定通過前述模擬透鏡的光線之透鏡資訊來進行前述集光處理。
<10>如記載於<9>的畫像處理裝置，其中，前述集光處理部，係使用表示前述像面移動位置的像面移動資訊作為前述透鏡資訊，進行前述對位。
<11>如記載於<9>的畫像處理裝置，其中，前述集光處理部、係使用表示前述模擬透鏡對於點光源的回應之PSF(Point Spread Function)強度分布作為前述透鏡資訊，求取前述結像值。
<12>如記載於<11>的畫像處理裝置，其中，前述集光處理部，係使用表示前述光線所到達的前述PSF強度分布的位置之PSF角度成分資訊作為前述透鏡資訊，求取前述PSF角度成分資訊所示的前述PSF強度分布的位置之前述PSF強度分布與前述光線的亮度的積，作為前述結像值。
<13>如記載於<12>的畫像處理裝置，其中，前述集光處理部，係使用表示前述PSF強度分布的標度之像面間距作為前述透鏡資訊，根據前述像面間距及表示前述假想感測器的畫素的標度之畫素間距，使以前述PSF強度分布 與前述光線的亮度的積所求取的前述光線的結像值的分布的標度一致於前述假想感測器的標度，而將前述結像值加算於前述假想感測器上。
<14>如記載於<1>~<13>中的任一的畫像處理裝置，其中，前述集光處理部，係利用對於實空間點所生成之規定通過前述模擬透鏡的光線之透鏡資訊來進行前述集光處理，該實空間點係對應於前述假想感測器的平面的一部分的複數位置之複數的資訊點。
<15>如記載於<14>的畫像處理裝置，其中，前述集光處理部，係利用相對於實空間點的前述透鏡資訊來進行前述集光處理，該實空間點係對應於從前述假想感測器的中心延伸的預定的1軸之透鏡資訊生成軸上的前述複數的資訊點。
<16>如記載於<15>的畫像處理裝置，其中，前述集光處理部，係以對應於前述實空間點的前述假想感測器的畫素能夠位於前述透鏡資訊生成軸上之方式，僅以前述假想感測器的中心為中心旋轉前述假想感測器的畫素或前述透鏡資訊生成軸時的旋轉角度，旋轉從前述實空間點發出的光線或前述透鏡資訊生成軸的透鏡資訊，進行前述集光處理。
<17>如記載於<16>的畫像處理裝置，其中，前述集光處理部，係利用僅前述旋轉角度旋轉前述假想感測器的畫素或前述透鏡資訊生成軸時之相對於實空間點的前述透鏡資訊來進行前述集光處理，該實空間點係對應於前述假 想感測器的畫素所對應的前述資訊點。
<18>如記載於<17>的畫像處理裝置，其中，前述透鏡資訊包含表示前述像面移動位置的像面移動資訊，前述集光處理部，係依據僅前述旋轉角度逆轉前述像面移動位置之位置來進行前述對位。
<19>如記載於<18>的畫像處理裝置，其中，前述集光處理部，係利用藉由使用前述透鏡資訊中所含的前述像面移動資訊之插補而取得的前述像面移動位置來進行前述集光處理。
<20>一種畫像處理方法，係包含：使從實空間內的實空間點射入將攝取複數的視點的畫像之複數的攝影部設為合成孔徑的假想透鏡之光線再現；及依據從前述實空間點發出的主光線經由前述模擬透鏡而到達的前述假想感測器上的位置之像面移動位置來進行前述光線經由模擬對象的模擬透鏡來集光於假想感測器上的位置的對位，進行將前述光線集光於前述假想感測器上的集光處理。
12:畫像處理裝置
31:視差資訊生成部
32:校準資料取得部
33:飽和畫素復原部
34:透鏡設計資料取得部
35:透鏡模擬部
36:入射光線再現部
37:模擬透鏡資訊生成部
38:集光處理部
PH1~PH7:低亮度攝影畫像
PL1~PL7:標準亮度攝影畫像

Claims (16)

  1. 一種畫像處理裝置，其特徵係具備：光線再現部，其係被配置於實空間的2次元平面上的不同的位置，將從實空間內的實空間點射入至假想透鏡之光線再現，該假想透鏡係具備將攝取複數的視點的畫像之複數的攝影部設為單一的孔徑而合成的合成孔徑；及集光處理部，其係進行：使在位於前述假想透鏡的光軸上的假想感測器的像面上在前述光線再現部被再現的前述光線經由前述假想透鏡來集光於位在前述假想透鏡的光軸上的假想感測器的像面上的位置之第1像面移動位置與從前述實空間點發出的主光線經由模擬透鏡來集光於到達的前述假想感測器的像面上的位置之第2像面移動位置一致的集光處理，前述假想透鏡的標度，係根據規定前述模擬透鏡的標度的透鏡資訊來規定，前述集光處理部，係於前述集光處理中，使表示前述主光線經由前述模擬透鏡來到達前述假想感測器的像面上的範圍的分布區域的標度與前述假想透鏡的標度一致，使前述第1像面移動位置與前述分布區域的中心一致。
  2. 如申請專利範圍第1項之畫像處理裝置，其中，前述分布區域，係記錄有前述光線經由前述模擬透鏡來結像於前述假想感測器時的結像值的分布之區域，前述集光處理部，係進行將前述結像值的分布加算於 前述假想感測器上的前述集光處理。
  3. 如申請專利範圍第2項之畫像處理裝置，其中，前述集光處理部，係利用前述光線、及表示前述模擬透鏡對於點光源的回應之PSF(Point Spread Function)強度分布來求取前述結像值。
  4. 如申請專利範圍第3項之畫像處理裝置，其中，前述集光處理部，係特定前述光線所到達的前述PSF強度分布的位置，求取前述光線所到達的前述PSF強度分布的位置之前述PSF強度分布與前述光線的亮度的積，作為前述光線的結像值。
  5. 如申請專利範圍第1項之畫像處理裝置，其中，前述光線再現部，係利用前述複數的視點的畫像來對射入前述假想透鏡的光線分配亮度。
  6. 如申請專利範圍第5項之畫像處理裝置，其中，前述光線再現部，係進行判定前述光線至射入前述假想透鏡為止是否衝突於物體的衝突判定，前述衝突判定的結果，對被判定成不衝突於前述物體分配亮度。
  7. 如申請專利範圍第2項之畫像處理裝置，其中，前述集光處理部，係使用表示前述模擬透鏡對於點光源的回應之PSF(Point Spread Function)強度分布作為前述透鏡資訊，求取前述結像值。
  8. 如申請專利範圍第7項之畫像處理裝置，其中，前述集光處理部，係使用表示前述光線所到達的前述PSF強度分布的位置之PSF角度成分資訊作為前述透鏡資訊， 求取前述PSF角度成分資訊所示的前述PSF強度分布的位置之前述PSF強度分布與前述光線的亮度的積，作為前述結像值。
  9. 如申請專利範圍第8項之畫像處理裝置，其中，前述集光處理部，係使用表示前述PSF強度分布的標度之像面間距作為前述透鏡資訊，根據前述像面間距及表示前述假想感測器的畫素的標度之畫素間距，使以前述PSF強度分布與前述光線的亮度的積所求取的前述分布的標度一致於前述假想感測器的標度，而將前述結像值加算於前述假想感測器上。
  10. 如申請專利範圍第1項之畫像處理裝置，其中，前述透鏡資訊，係包含規定通過前述模擬透鏡的光線的資訊，前述透鏡資訊，係包含對於實空間點所生成之規定通過前述模擬透鏡的光線之資訊，該實空間點係對應於前述假想感測器的平面的一部分的複數位置之複數的資訊點。
  11. 如申請專利範圍第10項之畫像處理裝置，其中，前述集光處理部，係利用相對於實空間點的前述透鏡資訊來進行前述集光處理，該實空間點係對應於從前述假想感測器的中心延伸的預定的1軸之透鏡資訊生成軸上的前述複數的資訊點。
  12. 如申請專利範圍第11項之畫像處理裝置，其中，前述集光處理部，係以對應於前述實空間點的前述假想感測器的畫素能夠位於前述透鏡資訊生成軸上之方式， 僅以前述假想感測器的中心為中心旋轉前述假想感測器的畫素或前述透鏡資訊生成軸時的旋轉角度，旋轉從前述實空間點發出的光線或前述透鏡資訊生成軸的透鏡資訊，進行前述集光處理。
  13. 如申請專利範圍第12項之畫像處理裝置，其中，前述集光處理部，係利用僅前述旋轉角度旋轉前述假想感測器的畫素或前述透鏡資訊生成軸時之相對於實空間點的前述透鏡資訊來進行前述集光處理，該實空間點係對應於前述假想感測器的畫素所對應的前述資訊點。
  14. 如申請專利範圍第13項之畫像處理裝置，其中，前述透鏡資訊包含表示前述像面移動位置的像面移動資訊，前述集光處理部，係依據僅前述旋轉角度逆轉前述像面移動位置之位置來進行前述對位。
  15. 如申請專利範圍第14項之畫像處理裝置，其中，前述集光處理部，係利用藉由使用前述透鏡資訊中所含的前述像面移動資訊之插補而取得的前述像面移動位置來進行前述集光處理。
  16. 一種畫像處理方法，其特徵係包含：將從實空間內的實空間點射入至假想透鏡之光線再現，該假想透鏡係具備將攝取複數的視點的畫像之複數的攝影部設為單一的孔徑而合成的合成孔徑；及進行：使在位於前述假想透鏡的光軸上的假想感測器的像面上被再現的前述光線經由前述假想透鏡來集光於位 在前述假想透鏡的光軸上的假想感測器的像面上的位置之第1像面移動位置與從前述實空間點發出的主光線經由模擬透鏡來集光於到達的前述假想感測器的像面上的位置之第2像面移動位置一致的集光處理。
TW105112012A 2015-04-28 2016-04-18 畫像處理裝置及畫像處理方法 TWI752905B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-091111 2015-04-28
JP2015091111 2015-04-28

Publications (2)

Publication Number Publication Date
TW201707437A TW201707437A (zh) 2017-02-16
TWI752905B true TWI752905B (zh) 2022-01-21

Family

ID=57199701

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105112012A TWI752905B (zh) 2015-04-28 2016-04-18 畫像處理裝置及畫像處理方法

Country Status (7)

Country Link
US (1) US10341546B2 (zh)
EP (1) EP3291532B1 (zh)
JP (1) JP6674643B2 (zh)
KR (1) KR102479827B1 (zh)
CN (1) CN107534731B (zh)
TW (1) TWI752905B (zh)
WO (1) WO2016175044A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6674644B2 (ja) * 2015-04-28 2020-04-01 ソニー株式会社 画像処理装置及び画像処理方法
DE102018118187A1 (de) * 2018-07-27 2020-01-30 Carl Zeiss Ag Verfahren und Datenverarbeitungssystem zur Synthese von Bildern
TWI699629B (zh) * 2018-12-27 2020-07-21 財團法人印刷創新科技研究發展中心 光譜影像擷取裝置及其校正方法
KR20200102021A (ko) 2019-02-20 2020-08-31 동아대학교 산학협력단 모바일 메신저 앱을 활용한 개인 맞춤형 취업 정보 추천 방법
DE102019134022B3 (de) * 2019-12-11 2020-11-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Verfahren und Vorrichtungen zum Emulieren von Kameraobjektiven
KR20220105192A (ko) 2021-01-18 2022-07-27 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200945123A (en) * 2008-04-25 2009-11-01 Ind Tech Res Inst A multi-touch position tracking apparatus and interactive system and image processing method there of
US20120176506A1 (en) * 2011-01-06 2012-07-12 Sony Corporation Image pickup apparatus and image processing method
US20130162781A1 (en) * 2011-12-22 2013-06-27 Verizon Corporate Services Group Inc. Inter polated multicamera systems
WO2014034444A1 (ja) * 2012-08-31 2014-03-06 ソニー株式会社 画像処理装置および画像処理方法、並びに情報処理装置
US20140218591A1 (en) * 2013-02-07 2014-08-07 Canon Kabushiki Kaisha Imaging apparatus, information processing device, image pickup method, and non-transitory computer-readable storage medium storing a program therefor
WO2015051626A1 (zh) * 2013-10-10 2015-04-16 华为技术有限公司 一种光场相机

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4846985B2 (ja) * 2004-04-20 2011-12-28 セイコーオプティカルプロダクツ株式会社 光学特性補間方法、眼鏡装用シミュレーション画像処理方法、眼鏡装用シミュレーション画像処理装置、眼鏡レンズの評価方法、眼鏡レンズの評価装置
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
WO2013027320A1 (ja) * 2011-08-25 2013-02-28 パナソニック株式会社 画像処理装置、３次元撮像装置、画像処理方法、および画像処理プログラム
JP6019729B2 (ja) * 2012-05-11 2016-11-02 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2014010783A (ja) 2012-07-02 2014-01-20 Canon Inc 画像処理装置、画像処理方法およびプログラム
JP5901781B2 (ja) * 2012-09-19 2016-04-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6036840B2 (ja) * 2012-10-26 2016-11-30 株式会社ニコン 撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム
JP6003578B2 (ja) * 2012-11-26 2016-10-05 株式会社ニコン 画像生成方法及び装置
EP3035282A4 (en) * 2013-09-11 2017-07-05 Sony Corporation Image processing device and method
US10063829B2 (en) * 2014-04-18 2018-08-28 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200945123A (en) * 2008-04-25 2009-11-01 Ind Tech Res Inst A multi-touch position tracking apparatus and interactive system and image processing method there of
US20120176506A1 (en) * 2011-01-06 2012-07-12 Sony Corporation Image pickup apparatus and image processing method
US20130162781A1 (en) * 2011-12-22 2013-06-27 Verizon Corporate Services Group Inc. Inter polated multicamera systems
WO2014034444A1 (ja) * 2012-08-31 2014-03-06 ソニー株式会社 画像処理装置および画像処理方法、並びに情報処理装置
US20140218591A1 (en) * 2013-02-07 2014-08-07 Canon Kabushiki Kaisha Imaging apparatus, information processing device, image pickup method, and non-transitory computer-readable storage medium storing a program therefor
WO2015051626A1 (zh) * 2013-10-10 2015-04-16 华为技术有限公司 一种光场相机

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kikuo Asai; Tomotsugu Kondo; Hideaki Kobayashi, et al., "A Geographic Surface Browsing Tool Using Map-Based Augmented Reality," 2008 International Conference Visualisation, 9-11 July 2008. *
Wolfgang Heidrich, Philipp Slusallek, Hans-Peter Seidel, "An ImageBased Model for Realistic Lens Systems in Interactive Computer Graphics," Proc. of Graphics Interface, 1997, at ^&rn^graphicsinterface.org/wp-content/uploads/gi1997-8.pdf^&rn^; *

Also Published As

Publication number Publication date
US10341546B2 (en) 2019-07-02
JPWO2016175044A1 (ja) 2018-02-15
EP3291532A1 (en) 2018-03-07
KR102479827B1 (ko) 2022-12-22
KR20170141202A (ko) 2017-12-22
US20180054556A1 (en) 2018-02-22
CN107534731A (zh) 2018-01-02
CN107534731B (zh) 2020-06-09
EP3291532A4 (en) 2018-12-19
EP3291532B1 (en) 2020-07-22
TW201707437A (zh) 2017-02-16
WO2016175044A1 (ja) 2016-11-03
JP6674643B2 (ja) 2020-04-01

Similar Documents

Publication Publication Date Title
TWI752905B (zh) 畫像處理裝置及畫像處理方法
US20130335535A1 (en) Digital 3d camera using periodic illumination
JP2013038775A (ja) 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化
GB2352901A (en) Rendering three dimensional representations utilising projected light patterns
JP7479729B2 (ja) 三次元表現方法及び表現装置
WO2016175043A1 (ja) 画像処理装置及び画像処理方法
JP6674644B2 (ja) 画像処理装置及び画像処理方法
Hach et al. Cinematic bokeh rendering for real scenes
CN107534729B (zh) 图像处理装置和图像处理方法
CN108353120B (zh) 用于生成表示像素束的数据的装置和方法
KR20190026014A (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
Hamilton et al. P‐91: Light field display simulator for experience and quality evaluation
Nikolov et al. Interactive environment for testing sfm image capture configurations
Stein et al. MAP3D: An explorative approach for automatic mapping of real-world eye-tracking data on a virtual 3D model
US20230370708A1 (en) Systems and Methods for Light Field Imaging with Mirror Arrays
Li et al. Simulation of depth from coded aperture cameras with Zemax
CN113658318A (zh) 数据处理方法及系统、训练数据生成方法和电子设备
Matsuyama et al. Multi-camera systems for 3d video production
Sathyanarayana Generating Video Frames with Depth Of Field and Motion Blur Effects for 3D Animation
Sathyanarayana Generating video frames with depth of field and motion blur effects for three-dimensional animation
Ye Ray geometry in multi-perspective cameras: A case study of XSlit imaging and its applications