WO2019012658A1 - 画像処理装置およびライトフィールド撮像装置 - Google Patents

画像処理装置およびライトフィールド撮像装置 Download PDF

Info

Publication number
WO2019012658A1
WO2019012658A1 PCT/JP2017/025590 JP2017025590W WO2019012658A1 WO 2019012658 A1 WO2019012658 A1 WO 2019012658A1 JP 2017025590 W JP2017025590 W JP 2017025590W WO 2019012658 A1 WO2019012658 A1 WO 2019012658A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light field
event
light
field image
Prior art date
Application number
PCT/JP2017/025590
Other languages
English (en)
French (fr)
Inventor
岡村　俊朗
有紀 徳橋
智史 渡部
隼一 古賀
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/025590 priority Critical patent/WO2019012658A1/ja
Publication of WO2019012658A1 publication Critical patent/WO2019012658A1/ja
Priority to US16/736,890 priority patent/US20200145566A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Definitions

  • the present invention relates to an image processing apparatus and a light field imaging apparatus.
  • a subject is provided with an imaging device in which a plurality of pixels are two-dimensionally arranged, and a microlens array having a microlens corresponding to each of a plurality of pixels of the imaging device on the subject side with respect to the imaging device
  • a light field imaging apparatus for imaging a three-dimensional distribution of see, for example, Patent Document 1.
  • an image acquired by a light field imaging apparatus (hereinafter referred to as a light field image) itself is different from an image acquired by a normal imaging apparatus, in which images of a large number of three-dimensionally distributed points are overlapped Therefore, basic information such as the planar position and distance of the subject can not be intuitively understood unless image processing is performed.
  • the object is reconstructed by generating a three-dimensional image from the acquired light field image and the pupil image function of the imaging optical system including the microlens.
  • a method of optimizing by repeatedly performing computation using Richardson-Lucy method or the like using an appropriately defined initial value is used.
  • the present invention has been made in view of the above-described circumstances, and an object of the present invention is to provide an image processing apparatus and a light field imaging apparatus capable of performing three-dimensional reconstruction processing in a short time.
  • One aspect of the present invention is a three-dimensional image of an object based on a storage unit that stores a pupil image function of an imaging optical system, the pupil image function stored in the storage unit, and an input light field image And a reconstruction processing unit that reconstructs the value by iterative operation giving an initial value, and the reconstruction processing unit precedes in the time axis direction among the light field images of a plurality of frames acquired in time series.
  • the image processing apparatus uses the three-dimensional image reconstructed based on the light field image of a frame as the initial value.
  • the reconstruction processing unit performs the iterative operation of giving the initial value based on the pupil image function of the imaging optical system stored in the storage unit and the light field image input.
  • a three-dimensional image of the subject is reconstructed.
  • a three-dimensional image reconstructed using light frame images of a plurality of frames acquired in time series may have their respective time axes if events that indicate some change between light field images of adjacent frames are not so large. There is no significant difference to the 3D image reconstructed by the light field image preceding the direction.
  • the iterative operation converges early, and the three-dimensional reconstruction processing can be performed in a short time. It can be carried out.
  • the reconstruction processing unit may use the three-dimensional image reconstructed based on the light field image of the immediately preceding frame as the initial value.
  • the image processing apparatus further includes an event determination unit that determines the presence or absence of an event in the light field image, and the reconstruction processing unit determines that the event is not present in the light field image by the event determination unit. In this case, the three-dimensional image reconstructed based on the light field image of the immediately preceding frame may be used as the initial value.
  • the event determination unit determines that there is no event
  • the three-dimensional image obtained as a result of the reconstruction processing is reconstructed by the light field image preceding in the time axis direction which has no great difference.
  • the event determining unit determines that the event is present when a difference between the light field image used for reconstruction and the light field image of the immediately preceding frame exceeds a predetermined threshold. You may judge. By doing this, it can be easily determined that an event exists when the difference between the light field image used for reconstruction and the light field image of the frame preceding in the time axis direction exceeds a predetermined threshold. it can.
  • the reconstruction processing unit is created without performing repetitive operations from the light field image used for reconstruction.
  • the original image may be used as an initial image.
  • the reconfiguration processing unit when the event determination unit determines that the event is present, the reconfiguration processing unit repeatedly performs an operation according to a predetermined first number of repetitions, and the event is If it is determined that there is not, the calculation may be repeated with a second number of repetitions less than the first number of repetitions. By doing this, it is possible to reduce the number of repetitions when it is determined that there is no event, and perform three-dimensional reconstruction processing in a short time.
  • the iterative operation for giving the initial value may be Richardson-Lucy method.
  • the imaging optical system which condenses light from the subject and forms an image of the subject, the position of the primary image formed by the imaging optical system or the imaging optical system
  • a microlens array having a plurality of microlenses arranged two-dimensionally at positions conjugate to a primary image and condensing the light from the imaging optical system, and a plurality of light beams receiving the light collected by the microlenses
  • An imaging device having a pixel and generating the light field image by photoelectrically converting light received in the pixel; and any of the above image processing devices processing the light field image generated by the imaging device A light field imaging device.
  • FIG. 1 is a schematic view showing a light field imaging device according to a first embodiment of the present invention. It is a block diagram which shows the image processing apparatus with which the light field imaging device of FIG. 1 is equipped. It is a flowchart explaining operation
  • FIG. 1 It is a figure which shows the example of the three-dimensional image calculated by the image processing apparatus of FIG. 1 by 10 repetition calculations. It is a block diagram showing the image processing device concerning a 2nd embodiment of the present invention. It is a graph which shows an example of the event evaluation value for every flame
  • the light field imaging apparatus 1 includes an imaging optical system 3 that condenses light from a subject S (object point) to form an image of the subject S, and imaging optical system A micro lens array 5 having a plurality of micro lenses 5a for collecting light from the system 3; and an imaging element 9 comprising a plurality of pixels 9a for receiving and photoelectrically converting the light collected by the plurality of micro lenses 5a
  • an image processing apparatus 2 according to the present embodiment that processes a light field image acquired by the imaging device 9.
  • reference numeral 4 denotes a relay lens for relaying the light field image formed by the microlens array 5 to the imaging surface of the imaging device 9. The relay lens 4 may not be necessary.
  • the microlens array 5 has a plurality of microlenses 5 a having positive power arranged two-dimensionally along a plane orthogonal to the optical axis L at the focal position of the imaging optical system 3. It is configured.
  • the plurality of microlenses 5 a are arranged at a sufficiently large pitch (for example, a pitch eight times the pixel pitch of the imaging device 9) compared to the pixel pitch of the imaging device 9.
  • the imaging element 9 is also configured by two-dimensionally arranging the pixels 9 a in a direction orthogonal to the optical axis L of the imaging optical system 3.
  • a plurality of (for example, 8 ⁇ 8 in the above example) are arranged in each region corresponding to the plurality of microlenses 5 a of the microlens array 5.
  • the plurality of pixels 9 a photoelectrically convert the detected light and output a light intensity signal (pixel value) as light field image information of the subject S.
  • the imaging device 9 is configured to sequentially output light field image information of a plurality of frames acquired at different times in the time axis direction. For example, movie shooting or time-lapse shooting.
  • the image processing apparatus 2 is configured by a processor, and as shown in FIG. 2, a storage unit 11 which stores in advance the pupil image function of the imaging optical system 3, the microlens array 5 and the relay lens 4, and the storage unit
  • the reconstruction processing unit 12 reconstructs a three-dimensional image of the subject S on the basis of the pupil image function stored in 11 and the input light field image.
  • the pupil image function [H] is a function satisfying the following equation (1).
  • [B] [H] [g] (1) here, [B] is a light field image, [G] is the intensity of light from each part of the three-dimensional object S.
  • equation (1) shows a relationship in which light from the subject S is converted into a light field image through the imaging optical system 3 and received by each pixel 9 a of the imaging device 9, and the pupil image function [H] is It functions as a transformation matrix.
  • the pupil image functions of the imaging optical system 3, the microlens array 5 and the relay lens 4 can be obtained in advance, and are stored in the storage unit 11.
  • the imaging optical system 3 includes, for example, an objective lens 13, a pupil relay optical system 14, a phase plate 15, and an imaging lens 16 as shown in FIG. 1.
  • the reconstruction processing unit 12 obtains [g] in which the error function e shown in Expression (2) is the smallest. here, Is the L2 norm of x.
  • Equation (2) is the smallest
  • an iterative operation such as the Richardson-Lucy method shown in Equation 3 is performed.
  • g (k) is a three-dimensional image of the subject S calculated by the k-th iteration
  • b is a light field image output from the image sensor 9
  • diag is a diagonal matrix
  • t is transposed matrix
  • -1 is the reciprocal
  • k is the number of repetitions.
  • k max is the maximum value of the number of repetitions.
  • the threshold th is a constant that changes with the size of x, y, z, and can be determined experimentally.
  • step S46 the operation result g (x, y, z, t) is input to the initial image g 0 (x, y, z, t) (Step S46), the number of repetitions k is incremented (step S47), and the steps from step S42 are repeated.
  • step S5 it is determined whether or not the frame number t is the final number. If it is the final number, the process is ended. If it is not the final number, the frame number t is incremented (step S6) , And return to step S2.
  • step S2 it is determined in step S2 that t ⁇ 0, so the three-dimensional image g (x, y, z, t ⁇ 1) calculated for the immediately preceding frame is the initial image g 0 (x , Y, z, t) (step S7), and the process from step S4 is repeated.
  • a three-dimensional image g generated using the light field image of the immediately preceding frame Since the calculation is repeated with x, y, z, t-1) as the initial image g 0 (x, y, z, t), the number of repetitions is small if the change is small with respect to the light field image of the immediately preceding frame. k is almost once, and there is an advantage that the time required for the three-dimensional reconstruction processing can be significantly reduced.
  • the three-dimensional image g (x, y, z, t) can be generated.
  • the image processing apparatus 22 calculates an event evaluation value based on light field images of a plurality of frames acquired by the imaging device 9 at predetermined time intervals, as shown in FIG. 9. 23 and an event determination unit 24 that determines whether an event has occurred based on the event evaluation value calculated by the evaluation value calculation unit 23.
  • the reconstruction processing unit 12 uses the event determination unit 24 to determine The initial image g 0 (x, y, z, t) is switched using the determination result.
  • the evaluation value calculator 23 calculates an event evaluation value A (t) according to equation 4 for the first t-th light field image of a sequence of light field images of a plurality of frames acquired by the imaging device 9 at predetermined time intervals. It is calculated.
  • the event evaluation value A (t) is a representative value for each light field image having a numerical value indicating a deviation from the average value (predetermined reference value) of the entire sequence of pixel values of each pixel included in the light field image.
  • t total is the total number of frames.
  • step S8 determines whether an event is present (step S8). If it is determined, the reconstruction processing unit 12 sets the initial image g 0 (x, y, z, t) in step S3. If it is determined that there is no event, the initial image g in step S7. It is designed to set 0 (x, y, z, t).
  • a three-dimensional image g (x, y, z, t-1) calculated for a frame of is set as an initial image g 0 (x, y, z, t) Since t) is generated, the number of repetitions k is almost once, and there is an advantage that the time required for the three-dimensional reconstruction processing can be significantly shortened.
  • a three-dimensional image g generated for the immediately preceding frame can be obtained by using an image simply configured from the light field image as the initial image g 0 (x, y, z, t). It is possible to reduce the value of the error function e with a smaller number of iterations k than using (x, y, z, t-1), and also in this case the time required for the three-dimensional reconstruction process can be shortened. There is an advantage.
  • the initial image g 0 (x, y, z, t) is changed according to the presence or absence of an event, but in addition to this, as shown in FIG.
  • the processing by 12 may be switched.
  • it is determined whether or not there is an event (step S48). If there is no event, the process ends before step S43 for calculating the error function e, and the first operation is performed.
  • the three-dimensional image g (x, y, z, t) calculated in the above may be output, and if there is an event, the process from step S43 may be executed.
  • the number of repetitions set in advance (the first one) is replaced with the calculation of the error function e and the threshold th determination (step S 45) of the error function e.
  • the number of repetitions (second number of repetitions) k is one less than the first number of repetitions k.
  • the number of repetitions k may be set to an appropriate value by experiment.
  • the second number of repetitions k may be two or more.
  • the event evaluation value A (t) is calculated using the pixel value of the average image of the entire sequence, but as shown in equation 5, the light immediately adjacent (immediately) in the time axis direction
  • the sum of the absolute values of the differences from the pixel values of the corresponding pixels of the field image in the entire light field image may be used as the event evaluation value A (t). In this case, whether or not there is an event is determined depending on whether the absolute value of the difference exceeds a predetermined threshold.
  • a value obtained by adding the absolute value of the difference value indicating the deviation from the reference value for the entire sequence is used as the event evaluation value A (t).
  • any other representative value for example, any statistical value such as an average value, a maximum value, a minimum value, and a median value may be adopted as the event information.
  • a three-dimensional image g (x, y, z, t-1) may be generated using a light field image of a frame preceding to.
  • the case where the pixel 9a of the imaging device 9 matches the pixel on the light field image used for event detection is illustrated, but instead, the pixel 9a of the imaging device 9 and the light field image The upper pixel may not match.
  • the pitch of the micro lens 5a may not be an integral multiple of the pixel pitch, or setting errors may occur such as being slightly rotated and disposed, and the pixel is not A calibration process may be performed to interpolate and rearrange. In this case, strictly speaking, the pixel 9a of the image sensor 9 and the pixel on the light field image used for event detection do not match.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

短時間で３次元再構成処理を行うことを目的として、本発明に係る画像処理装置（２）は、撮像光学系の瞳像関数を記憶する記憶部（１１）と、記憶部（１１）に記憶されている瞳像関数と入力されたライトフィールド画像とに基づいて、被写体の３次元画像を、初期値を与える繰り返し演算により再構成する再構成処理部（１２）とを備え、再構成処理部（１２）が、時系列に取得された複数フレームのライトフィールド画像のうち、時間軸方向に先行するフレームのライトフィールド画像に基づいて再構成された３次元画像を初期値として使用する。

Description

画像処理装置およびライトフィールド撮像装置
　本発明は、画像処理装置およびライトフィールド撮像装置に関するものである。
　従来、複数の画素が２次元的に配置された撮像素子と、撮像素子よりも被写体側において撮像素子の複数の画素ごとに対応して配置されたマイクロレンズを有するマイクロレンズアレイとを備え、被写体の３次元分布を撮像するライトフィールド撮像装置が知られている（例えば、特許文献１参照。）。
　一般に、ライトフィールド撮像装置により取得された画像（以下、ライトフィールド画像という。）そのものは通常の撮像装置により取得される画像とは異なり、３次元的に分布する多数の点の像が重なり合ったものであるため、画像処理を施さないと被写体の平面位置や距離などの基本的な情報が直感的には分からない。
　そこで、取得されたライトフィールド画像とマイクロレンズを含む撮像光学系の瞳像関数とから３次元画像を生成することにより被写体を再構築することが行われる。ライトフィールド画像からの被写体の３次元再構成処理は、リチャードソン・ルーシー法等の演算により、適当に定められた初期値を用いて繰り返し演算すること最適化する手法が用いられる。
特開２０１０－１０２２３０号公報
　しかしながら、時系列に多数取得される全てのライトフィールド画像について３次元再構成処理を行うには膨大な処理時間がかかるという不都合がある。
　例えば、繰り返し演算の回数が１０から２０回となる場合に、１回当たり１分程度の時間を要するとしても、１秒間に３０枚のフレームレートで３０秒間取得されたライトフィールド画像は９００枚となり、これら全てについて３次元再構成処理を行うには単純計算で６日以上の時間がかかることになる。
　本発明は上述した事情に鑑みてなされたものであって、短時間で３次元再構成処理を行うことができる画像処理装置およびライトフィールド撮像装置を提供することを目的としている。
　本発明の一態様は、撮像光学系の瞳像関数を記憶する記憶部と、該記憶部に記憶されている前記瞳像関数と入力されたライトフィールド画像とに基づいて、被写体の３次元画像を、初期値を与える繰り返し演算により再構成する再構成処理部とを備え、該再構成処理部が、時系列に取得された複数フレームの前記ライトフィールド画像のうち、時間軸方向に先行する前記フレームの前記ライトフィールド画像に基づいて再構成された前記３次元画像を前記初期値として使用する画像処理装置である。
　本態様によれば、記憶部に記憶されている撮像光学系の瞳像関数と、入力されてきたライトフィールド画像とに基づいて、再構成処理部において初期値を与える繰り返し演算が行われることにより、被写体の３次元画像が再構成される。時系列に取得される複数フレームのライトフィールド画像を用いて再構成される３次元画像は、隣接するフレームのライトフィールド画像間で何らかの変化を示すイベントがさほど大きくない場合には、それぞれの時間軸方向に先行するライトフィールド画像により再構成された３次元画像に対して大きな相違はない。したがって、時間軸方向に先行するフレームのライトフィールド画像に基づいて再構成された３次元画像を初期値として使用することにより、繰り返し演算を早期に収束させて、短時間で３次元再構成処理を行うことができる。
　上記態様においては、前記再構成処理部が、直前の前記フレームの前記ライトフィールド画像に基づいて再構成された前記３次元画像を前記初期値として使用してもよい。
　また、上記態様においては、前記ライトフィールド画像内におけるイベントの有無を判定するイベント判定部を備え、前記再構成処理部は、前記イベント判定部により前記イベントが前記ライトフィールド画像内に存在しないと判定された場合に、直前の前記フレームの前記ライトフィールド画像に基づいて再構成された前記３次元画像を前記初期値として使用してもよい。
　このようにすることで、イベント判定部によりイベントが存在しないと判定された場合には、再構成処理の結果得られる３次元画像において大差のない時間軸方向に先行するライトフィールド画像により再構成された３次元画像を初期値として使用することにより、繰り返し演算を早期に収束させて、短時間で３次元再構成処理を行うことができる。
　また、上記態様においては、前記イベント判定部は、再構成に使用する前記ライトフィールド画像と直前の前記フレームの前記ライトフィールド画像との差分が所定の閾値を超える場合に前記イベントが存在するものと判定してもよい。
　このようにすることで、再構成に使用するライトフィールド画像と時間軸方向に先行するフレームのライトフィールド画像との差分が所定の閾値を超える場合に簡易にイベントが存在するものと判定することができる。
　また、上記態様においては、前記再構成処理部は、前記イベント判定部により前記イベントが存在するものと判定された場合に、再構成に使用する前記ライトフィールド画像から繰り返し演算を経ることなく作成された画像を初期画像として使用してもよい。
　このようにすることで、イベントが存在すると判定されたライトフィールド画像については、当該ライトフィールド画像から繰り返し演算を経ることなく作成された画像を初期画像とし、イベントが存在しないと判定された場合には、時間軸方向に先行するライトフィールド画像により再構成された３次元画像を初期値として使用するように切り替えることができる。
　また、上記態様においては、前記再構成処理部は、前記イベント判定部により前記イベントが存在するものと判定された場合に、予め定められた第１の繰り返し回数により繰り返し演算を行い、前記イベントが存在しないと判定された場合に、前記第１の繰り返し回数より少ない第２の繰り返し回数により繰り返し演算を行ってもよい。
　このようにすることで、イベントが存在しないと判定された場合の繰り返し回数を少なく抑えて、短時間で３次元再構成処理を行うことができる。
　また、上記態様においては、前記初期値を与える繰り返し演算がリチャードソン・ルーシー法であってもよい。
　また、本発明の他の態様は、前記被写体からの光を集光し、前記被写体の像を結像する前記撮像光学系と、該撮像光学系により結像される１次像の位置または該１次像と共役な位置に２次元的に配列され前記撮像光学系からの光を集光する複数のマイクロレンズを有するマイクロレンズアレイと、該マイクロレンズにより集光された光を受光する複数の画素を有し、該画素において受光した光を光電変換することにより前記ライトフィールド画像を生成する撮像素子と、該撮像素子により生成された前記ライトフィールド画像を処理する上記いずれかの画像処理装置とを備えるライトフィールド撮像装置である。
　本発明によれば、短時間で３次元再構成処理を行うことができるという効果を奏する。
本発明の第１の実施形態に係るライトフィールド撮像装置を示す模式図である。 図１のライトフィールド撮像装置に備えられる画像処理装置を示すブロック図である。 図１の画像処理装置の動作を説明するフローチャートである。 図１の画像処理装置による３次元再構成処理を説明するフローチャートである。 図１の画像処理装置により１回の演算で算出された３次元画像例を示す図である。 簡易に作成された画像を初期画像として最大２０回の繰り返し演算で算出された３次元画像の参考例を示す図である。 図６と同じ条件で１回の演算で算出された３次元画像の参考例を示す図である。 図１の画像処理装置により１０回の繰り返し演算で算出された３次元画像例を示す図である。 本発明の第２の実施形態に係る画像処理装置を示すブロック図である。 図９の画像処理装置において算出されたフレーム毎のイベント評価値の一例を示すグラフである。 図９の画像処理装置の動作を説明するフローチャートである。 図９の画像処理装置による３次元再構成処理の第１の変形例を説明するフローチャートである。 図９の画像処理装置による３次元再構成処理の第２の変形例を説明するフローチャートである。
［第１の実施形態］
　本発明の第１の実施形態に係る画像処理装置２およびライトフィールド撮像装置１について、図面を参照して以下に説明する。
　本実施形態に係るライトフィールド撮像装置１は、図１に示されるように、被写体Ｓ（物点）からの光を集光して被写体Ｓの像を結像する撮像光学系３と、撮像光学系３からの光を集光する複数のマイクロレンズ５ａを有するマイクロレンズアレイ５と、複数のマイクロレンズ５ａにより集光された光を受光して光電変換する複数の画素９ａを備える撮像素子９と、該撮像素子９により取得されたライトフィールド画像を処理する本実施形態に係る画像処理装置２とを備えている。図中符号４は、マイクロレンズアレイ５により構成されたライトフィールド像を撮像素子９の撮像面にリレーするリレーレンズである。リレーレンズ４はなくてもよい。
　マイクロレンズアレイ５は、図１に示すように、正のパワーを有する複数のマイクロレンズ５ａを撮像光学系３の焦点位置に、光軸Ｌに直交する平面に沿って２次元的に配列して構成されている。これら複数のマイクロレンズ５ａは、撮像素子９の画素ピッチに比べて十分に大きいピッチ（例えば、撮像素子９の画素ピッチの８倍のピッチ。）で配列されている。
　撮像素子９も各画素９ａを撮像光学系３の光軸Ｌに直交する方向に２次元的に配列して構成されている。マイクロレンズアレイ５の複数のマイクロレンズ５ａに対応する領域ごとに複数個（例えば、上記例では８×８個）ずつ配列されている。これら複数の画素９ａは、検出した光を光電変換して、被写体Ｓのライトフィールド画像情報としての光強度信号（画素値）を出力するようになっている。
　撮像素子９は、時間軸方向に異なる時刻に取得された複数フレームのライトフィールド画像情報を順次出力するようになっている。例えば、動画撮影あるいはタイムラプス撮影等である。
　画像処理装置２は、プロセッサにより構成され、図２に示されるように、撮像光学系３、マイクロレンズアレイ５およびリレーレンズ４の瞳像関数を予め記憶している記憶部１１と、該記憶部１１に記憶されている瞳像関数と入力されてきたライトフィールド画像とに基づいて被写体Ｓの３次元画像を再構成する再構成処理部１２とを備えている。
　瞳像関数［Ｈ］は、以下の式（１）を満たす関数である。
　［ｂ］＝［Ｈ］［ｇ］　　　　　　（１）
　ここで、
　［ｂ］はライトフィールド画像、
　［ｇ］は３次元の被写体Ｓの各部からの光の強度
である。
　すなわち、式（１）は、被写体Ｓからの光が撮像光学系３を介してライトフィールド画像に変換されて撮像素子９の各画素９ａにより受光される関係を示し、瞳像関数［Ｈ］は変換行列として機能するようになっている。撮像光学系３、マイクロレンズアレイ５およびリレーレンズ４の瞳像関数は予め求めることができて、記憶部１１に記憶されている。
　撮像光学系３は、例えば、図１に示されるように、対物レンズ１３、瞳リレー光学系１４、位相板１５、および結像レンズ１６を備えている。
　再構成処理部１２は、式（１）のライトフィールド画像［ｂ］が入力されたときに、式（２）に示されるエラー関数ｅが最も小さくなる［ｇ］を求めるようになっている。
Figure JPOXMLDOC01-appb-M000001
  
　ここで、
Figure JPOXMLDOC01-appb-M000002
  
はｘのＬ２ノルムである。
　式（２）が最も小さくなる［ｇ］を求める方法として、例えば、数３に示されるリチャードソン・ルーシー法のような繰り返し演算が実施される。
Figure JPOXMLDOC01-appb-M000003
  
　ここで、
　ｇ（ｋ）はｋ回目の繰り返し演算により算出された被写体Ｓの３次元画像、
　ｂは撮像素子９から出力されるライトフィールド画像、
　ｄｉａｇは対角行列、
　ｔは転置行列、
　－１は逆数、
　ｋは繰り返し回数
である。
　さらに具体的には、図３に示されるように、再構成処理部１２による３次元再構成処理は、フレーム番号ｔが最初のフレームを示すｔ＝０に初期化され（ステップＳ１）、ｔ＝０か否かが判定され（ステップＳ２）、ｔ＝０である場合には、リチャードソン・ルーシー法において与える初期画像（初期値）ｇ０（ｘ，ｙ，ｚ，ｔ）として、ｔ＝０において取得されたライトフィールド画像に、瞳像関数［Ｈ］の転置行列を乗算することにより、繰り返し演算を経ることなく、簡易に作成された画像が設定される（ステップＳ３）。そして、この初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）を用いてリチャードソン・ルーシー法が実施され、最初のフレームのライトフィールド画像に基づく３次元画像が生成される（ステップＳ４）。
　リチャードソン・ルーシー法による３次元画像の生成処理においては、図４に示されるように、繰り返し回数ｋをｋ＝１にリセットし（ステップＳ４１）、ステップＳ３において設定された初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）を用いて数３の演算を行うことにより３次元画像を生成し（ステップＳ４２）、生成された３次元画像を用いて数１のエラー関数ｅを算出する（ステップＳ４３）。
　そして、繰り返し回数ｋ＝ｋｍａｘか否かが判定され（ステップＳ４４）、ｋ＝ｋｍａｘである場合には、処理を終了して後述するステップＳ５に進み、ｋ＝ｋｍａｘではない場合には、エラー関数ｅが所定の閾値ｔｈより小さいか否かが判定される（ステップＳ４５）。ここで、ｋｍａｘは繰り返し回数の最大値である。また、閾値ｔｈはｘ，ｙ，ｚのサイズによって変わる定数であって、実験的に求められる。
　ｅ＜ｔｈの場合には、繰り返し演算を終了し、ｅ≧ｔｈの場合には、演算結果ｇ（ｘ，ｙ，ｚ，ｔ）を初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）に入力し（ステップＳ４６）、繰り返し回数ｋをインクリメントして（ステップＳ４７）、ステップＳ４２からの工程が繰り返される。
　次に、フレーム番号ｔが最終の番号であるか否かが判定され（ステップＳ５）、最終の番号である場合には終了し、最終ではない場合にはフレーム番号ｔがインクリメントされ（ステップＳ６）、ステップＳ２に戻る。
　第２フレーム以降となると、ステップＳ２においてｔ≠０であると判定されるので、直前のフレームについて算出された３次元画像ｇ（ｘ，ｙ，ｚ，ｔ－１）が初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）に設定され（ステップＳ７）、ステップＳ４からの工程が繰り返される。
　このように構成された本実施形態に係る画像処理装置２およびライトフィールド撮像装置１によれば、第２フレーム以降については、直前のフレームのライトフィールド画像を用いて生成された３次元画像ｇ（ｘ，ｙ，ｚ，ｔ－１）を初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）として繰り返し演算を行うので、直前のフレームのライトフィールド画像に対して変化が少ない場合には、繰り返し回数ｋはほとんど１回となり、３次元再構成処理に要する時間を大幅に短縮することができるという利点がある。
　また、直前のフレームのライトフィールド画像に対して変化している場合には、エラー関数ｅが閾値ｔｈ以上となるので、繰り返し回数ｋの最大値ｋｍａｘの範囲内で繰り返し演算が行われ、適正な３次元画像ｇ（ｘ，ｙ，ｚ，ｔ）を生成することができる。
　図５に、フレーム番号ｔ＝１，７７，７８において繰り返し回数ｋを１回として生成された３次元画像例を示す。
　また、図６に、簡易に作成された３次元画像ｇ（ｘ，ｙ，ｚ，ｔ）を初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）としてエラー関数ｅが閾値より小さくなるまで、時間をかけて繰り返し演算を行った場合の参考例、図７に、同じ条件で繰り返し回数ｋを１回とした場合の参考例を示す。
　本実施形態に係る画像処理装置２およびライトフィールド撮像装置１によれば、フレーム番号ｔ＝１，７７については繰り返し回数ｋを１回としても、図７の参考例に示されるような不鮮明な３次元画像ではなく、図６の参考例に示されるように時間をかけて生成した３次元画像と同等の鮮明な３次元画像を得ることができている。
　また、フレーム番号ｔ＝７８においては、繰り返し回数ｋを１回とした場合には３次元画像は不鮮明となっているが、これは直前のフレームのライトフィールド画像との間に何らかの変化が生じたためである。この場合には、例えば、図８に示されるように、最大繰り返し回数ｋｍａｘ＝１０として、エラー関数ｅが閾値ｔｈより小さくなるまで繰り返し演算を行うことにより、鮮明な３次元画像を得ることができる。
［第２の実施形態］
　次に、本発明の第２の実施形態に係る画像処理装置２２およびライトフィールド撮像装置について、図面を参照して以下に説明する。
　本実施形態の説明において、上述した第１の実施形態に係る画像処理装置２およびライトフィールド撮像装置１と構成を共通とする箇所には同一符号を付して説明を省略する。
　本実施形態に係る画像処理装置２２は、図９に示されるように、所定の時間間隔で撮像素子９により取得された複数フレームのライトフィールド画像に基づいてイベント評価値を算出する評価値算出部２３と、評価値算出部２３により算出されたイベント評価値に基づいて、イベントが発生したか否かを判定するイベント判定部２４とを備え、再構成処理部１２が、該イベント判定部２４による判定結果を用いて初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）を切り替えるようになっている。
　評価値算出部２３は、所定の時間間隔で撮像素子９により取得された複数フレームのライトフィールド画像からなるシーケンスの最初からｔ番目のライトフィールド画像について、数４によりイベント評価値Ａ（ｔ）を算出するようになっている。
　イベント評価値Ａ（ｔ）は、ライトフィールド画像に含まれる各画素の画素値のシーケンス全体の平均値（所定の基準値）からの乖離を示す数値のライトフィールド画像毎の代表値である。
Figure JPOXMLDOC01-appb-M000004
  
　ここで、
　ｔｔｏｔａｌはフレームの総数である。
　算出されたイベント評価値Ａ（ｔ）をフレームに対応づけて時系列に配列すると、図１０に示されるようなグラフが得られる。
　イベント判定部２４は、図１０においてイベント評価値Ａ（ｔ）が小さいｔ＝１からｔ＝７７、ｔ＝１１７からｔ＝１８３、ｔ＝１９６からｔ＝２０９およびｔ＝２２０からｔ＝２７０を区間Ａ（イベントなし）とし、残りのイベント評価値Ａ（ｔ）が大きいｔ＝７８からｔ＝１１６、ｔ＝１８４からｔ＝１９５およびｔ＝２１０からｔ＝２１９を区間Ｂ（イベントあり）と判定するようになっている。
　具体的には、図１１に示されるように、ステップＳ２においてｔ≠０であると判定された場合に、イベント判定部２４によりイベントが存在するか否かが判定され（ステップＳ８）、イベントありと判定された場合には、再構成処理部１２がステップＳ３により初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）を設定し、イベントなしと判定された場合には、ステップＳ７により初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）を設定するようになっている。
　このように構成された本実施形態に係る画像処理装置２２およびライトフィールド撮像装置によれば、ライトフィールド画像にイベントが存在するか否かが判定され、イベントが存在していない場合には、直前のフレームについて算出された３次元画像ｇ（ｘ，ｙ，ｚ，ｔ－１）が初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）に設定されて３次元画像ｇ（ｘ，ｙ，ｚ，ｔ）の生成が行われるので、繰り返し回数ｋはほとんど１回となり、３次元再構成処理に要する時間を大幅に短縮することができるという利点がある。
　また、イベントありと判定された場合に、初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）としてライトフィールド画像から簡易に構成された画像を用いることにより、直前フレームについて生成された３次元画像ｇ（ｘ，ｙ，ｚ，ｔ－１）を用いるよりも少ない繰り返し回数ｋでエラー関数ｅの値を小さくすることができ、この場合も３次元再構成処理に要する時間を短縮することができるという利点がある。
　なお、本実施形態においては、イベントの有無によって初期画像ｇ０（ｘ，ｙ，ｚ，ｔ）を変更することとしたが、これに加えて、図１２に示されるように、再構成処理部１２による処理を切り替えることにしてもよい。この場合、ステップＳ４２の実行後、イベントがあるか否かが判定され（ステップＳ４８）、イベントがない場合には、エラー関数ｅを算出するステップＳ４３の手前で処理を終了し、１回目の演算で算出された３次元画像ｇ（ｘ，ｙ，ｚ，ｔ）を出力し、イベントがある場合には、ステップＳ４３からの工程を実行することにしてもよい。
　また、図１３に示されるように、ステップＳ４８において、イベントがある場合に、エラー関数ｅの算出およびエラー関数ｅの閾値ｔｈ判定（ステップＳ４５）に代えて、予め設定された繰り返し回数（第１の繰り返し回数）ｋ、例えば、ｋｍａｘ＝１０回の繰り返し演算を自動的に行うことにしてもよい。この場合、イベントなしの場合には繰り返し回数（第２の繰り返し回数）ｋは第１の繰り返し回数ｋより少ない１回となる。なお、繰り返し回数ｋは実験により適正な値を設定すればよい。また、第２の繰り返し回数ｋも２回以上であってもよい。
　また、本実施形態においては、シーケンス全体の平均画像の画素値を用いてイベント評価値Ａ（ｔ）を算出したが、数５に示されるように、時間軸方向に隣接する（直前の）ライトフィールド画像の対応画素の画素値との差分の絶対値をライトフィールド画像全体で合計したものをイベント評価値Ａ（ｔ）としてもよい。この場合、差分の絶対値が所定の閾値を超えるか否かでイベントがあるのかないのかが判定されるようになっている。
Figure JPOXMLDOC01-appb-M000005
  
　差分を取ることは、被写体Ｓの動きや形状変化を捉えるのに向いている。また、全てのライトフィールド画像の取得を必要としないので、撮影しながら略リアルタイムでイベント評価値Ａ（ｔ）を検出することができるという利点がある。
　また、本実施形態においては、各フレームのライトフィールド画像の各画素について、基準値からの乖離を示す差分値の絶対値をシーケンス全体について加算した値をイベント評価値Ａ（ｔ）としたが、これに代えて、他の任意の代表値、例えば、平均値、最大値、最小値および中央値等任意の統計値をイベント情報として採用してもよい。
　また、本実施形態においては、直前のフレームのライトフィールド画像を用いて３次元画像ｇ（ｘ，ｙ，ｚ，ｔ－１）を生成するものを例示したが、これに代えて、時間軸方向に先行するフレームのライトフィールド画像を用いて３次元画像ｇ（ｘ，ｙ，ｚ，ｔ－１）を生成してもよい。
　また、本実施形態においては、撮像素子９の画素９ａとイベント検出に用いるライトフィールド画像上の画素とが一致する場合を例示したが、これに代えて、撮像素子９の画素９ａとライトフィールド画像上の画素とが一致していなくてもよい。
　実際の光学系においては、マイクロレンズ５ａのピッチが画素ピッチの整数倍にならなかったり、少し回転して配置される等のセッティング誤差が発生したりすることがあり、画像処理の最初に画素を補間処理して再配置するキャリブレーション処理を行うことがある。この場合、厳密には撮像素子９の画素９ａとイベント検出に用いるライトフィールド画像上の画素とが一致しないようになっている。
　１　ライトフィールド撮像装置
　２　画像処理装置
　３　撮像光学系
　５　マイクロレンズアレイ
　５ａ　マイクロレンズ
　９　撮像素子
　９ａ　画素
　１１　記憶部
　１２　再構成処理部
　２４　イベント判定部
　Ｓ　被写体

Claims (8)

  1. 　撮像光学系の瞳像関数を記憶する記憶部と、
    　該記憶部に記憶されている前記瞳像関数と入力されたライトフィールド画像とに基づいて、被写体の３次元画像を、初期値を与える繰り返し演算により再構成する再構成処理部とを備え、
    　該再構成処理部が、時系列に取得された複数フレームの前記ライトフィールド画像のうち、時間軸方向に先行する前記フレームの前記ライトフィールド画像に基づいて再構成された前記３次元画像を前記初期値として使用する画像処理装置。
  2. 　前記再構成処理部が、直前の前記フレームの前記ライトフィールド画像に基づいて再構成された前記３次元画像を前記初期値として使用する請求項１に記載の画像処理装置。
  3. 　前記ライトフィールド画像内におけるイベントの有無を判定するイベント判定部を備え、
    　前記再構成処理部は、前記イベント判定部により前記イベントが前記ライトフィールド画像内に存在しないと判定された場合に、直前の前記フレームの前記ライトフィールド画像に基づいて再構成された前記３次元画像を前記初期値として使用する請求項１または請求項２に記載の画像処理装置。
  4. 　前記イベント判定部は、再構成に使用する前記ライトフィールド画像と直前の前記フレームの前記ライトフィールド画像との差分が所定の閾値を超える場合に前記イベントが存在するものと判定する請求項３に記載の画像処理装置。
  5. 　前記再構成処理部は、前記イベント判定部により前記イベントが存在するものと判定された場合に、再構成に使用する前記ライトフィールド画像から繰り返し演算を経ることなく作成された画像を初期画像として使用する請求項４に記載の画像処理装置。
  6. 　前記再構成処理部は、前記イベント判定部により前記イベントが存在するものと判定された場合に、予め定められた第１の繰り返し回数により繰り返し演算を行い、前記イベントが存在しないと判定された場合に、前記第１の繰り返し回数より少ない第２の繰り返し回数により繰り返し演算を行う請求項３から請求項５のいずれかに記載の画像処理装置。
  7. 　前記初期値を与える繰り返し演算がリチャードソン・ルーシー法である請求項１から請求項６のいずれかに記載の画像処理装置。
  8. 　前記被写体からの光を集光し、前記被写体の像を結像する前記撮像光学系と、
    　該撮像光学系により結像される１次像の位置または該１次像と共役な位置に２次元的に配列され前記撮像光学系からの光を集光する複数のマイクロレンズを有するマイクロレンズアレイと、
    　該マイクロレンズにより集光された光を受光する複数の画素を有し、該画素において受光した光を光電変換することにより前記ライトフィールド画像を生成する撮像素子と、
    　該撮像素子により生成された前記ライトフィールド画像を処理する請求項１から請求項７のいずれかに記載の画像処理装置とを備えるライトフィールド撮像装置。
    　
PCT/JP2017/025590 2017-07-13 2017-07-13 画像処理装置およびライトフィールド撮像装置 WO2019012658A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/025590 WO2019012658A1 (ja) 2017-07-13 2017-07-13 画像処理装置およびライトフィールド撮像装置
US16/736,890 US20200145566A1 (en) 2017-07-13 2020-01-08 Image-processing apparatus and light-field imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/025590 WO2019012658A1 (ja) 2017-07-13 2017-07-13 画像処理装置およびライトフィールド撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/736,890 Continuation US20200145566A1 (en) 2017-07-13 2020-01-08 Image-processing apparatus and light-field imaging apparatus

Publications (1)

Publication Number Publication Date
WO2019012658A1 true WO2019012658A1 (ja) 2019-01-17

Family

ID=65001214

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/025590 WO2019012658A1 (ja) 2017-07-13 2017-07-13 画像処理装置およびライトフィールド撮像装置

Country Status (2)

Country Link
US (1) US20200145566A1 (ja)
WO (1) WO2019012658A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706346A (zh) * 2019-09-17 2020-01-17 北京优科核动科技发展有限公司 时空联合优化重建方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
JP2013153408A (ja) * 2011-12-27 2013-08-08 Casio Comput Co Ltd 画像処理装置、撮像装置、画像生成方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
JP2013153408A (ja) * 2011-12-27 2013-08-08 Casio Comput Co Ltd 画像処理装置、撮像装置、画像生成方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706346A (zh) * 2019-09-17 2020-01-17 北京优科核动科技发展有限公司 时空联合优化重建方法及系统
CN110706346B (zh) * 2019-09-17 2022-11-15 浙江荷湖科技有限公司 时空联合优化重建方法及系统

Also Published As

Publication number Publication date
US20200145566A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
EP2403233B1 (en) Image processing apparatus and method
JP4915859B2 (ja) 物体の距離導出装置
CN105492878B (zh) 用于快照光谱成像的设备和方法
US9383199B2 (en) Imaging apparatus
WO2011099244A1 (ja) 画像処理装置および画像処理方法
JP2008242658A (ja) 立体物体の撮像装置
JP2010039448A (ja) 画像撮影装置およびその距離演算方法と合焦画像取得方法
CN104469183B (zh) 一种x射线闪烁体成像系统的光场捕捉和后处理方法
Kuo et al. DiffuserCam: diffuser-based lensless cameras
WO2019054092A1 (ja) 画像生成装置及び画像生成方法
US20170180630A1 (en) Image processing apparatus, image capturing apparatus, control method and recording medium
JP2017208641A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2014006388A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2020036310A5 (ja)
JP2015109635A5 (ja)
JP2016213819A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2015201722A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
KR101027003B1 (ko) 스테레오 매칭 장치 및 그 방법
TWI776848B (zh) 用於獲得電磁場的波前的層析分佈的方法和光學系統
WO2019012658A1 (ja) 画像処理装置およびライトフィールド撮像装置
CN112866655B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP7191588B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
JP6114229B2 (ja) 画像生成装置及び画像生成プログラム
US11578968B1 (en) Compact metalens depth sensors
JP6310418B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17917692

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17917692

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP