WO2019012657A1 - 画像処理装置およびライトフィールド撮像装置 - Google Patents
画像処理装置およびライトフィールド撮像装置 Download PDFInfo
- Publication number
- WO2019012657A1 WO2019012657A1 PCT/JP2017/025580 JP2017025580W WO2019012657A1 WO 2019012657 A1 WO2019012657 A1 WO 2019012657A1 JP 2017025580 W JP2017025580 W JP 2017025580W WO 2019012657 A1 WO2019012657 A1 WO 2019012657A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- event
- light field
- image
- range
- field image
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims description 61
- 230000002123 temporal effect Effects 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000011156 evaluation Methods 0.000 claims description 57
- 230000003287 optical effect Effects 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000019557 luminance Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Definitions
- the present invention relates to an image processing apparatus and a light field imaging apparatus.
- an object is provided with an imaging device in which a plurality of pixels are two-dimensionally arranged, and a microlens array having a microlens corresponding to each of a plurality of pixels of the imaging device on the object side with respect to the imaging device
- a light field imaging apparatus for imaging a three-dimensional distribution of see, for example, Patent Document 1.
- an image acquired by a light field imaging apparatus (hereinafter referred to as a light field image) itself is different from an image acquired by a normal imaging apparatus, in which images of a large number of three-dimensionally distributed points are overlapped Therefore, basic information such as the planar position and distance of the subject can not be intuitively understood unless image processing is performed.
- the amount of information in the light field image is enormous, it is difficult to process the image in real time and reconstruct the object from a three-dimensional image composed of a plurality of slice images.
- the present invention has been made in view of the above-described circumstances, and provides an image processing apparatus and a light field imaging apparatus capable of reducing the time required for reconstruction of an object and reducing the volume of the reconstructed object.
- the purpose is to
- an event identifying unit that receives light field images of a plurality of frames acquired over time and identifies an event present in the light field image of each frame is identified by the event identifying unit.
- An event range detection unit for detecting at least one of a temporal range and a spatial range in which the event has occurred; and at least one of the temporal range and the spatial range of the event detected by the event range detection unit
- a reconstruction processing unit configured to reconstruct an object based on the light field image limited to the range of.
- the event specifying unit when the light field image is input, specifies an event present in the light field image, and at least one of the temporal range and the spatial range in which the specified event occurs is an event. It is detected by the range detection unit. Then, since the object is reconstructed based on the light field image limited to the range detected by the reconstruction processing unit, useless reconstruction processing based on the light field image without an event is prevented, and the object reconstruction is performed. Can reduce the time required to reduce the volume of the reconstructed object.
- the event specifying unit is a representative value of the numerical values indicating the deviation from the predetermined reference value of the pixel values of the pixels included in the light field image in at least a part of the light field image.
- An event evaluation value may be calculated, and the event may be identified based on the calculated event evaluation value.
- the reconstruction processing unit may reconstruct the subject based on the light field image limited to the temporal range in which the event has occurred.
- the object reconstruction processing using light field images in a temporal range in which no event has occurred is omitted, and the time required for the object reconstruction is shortened, and the reconstructed object The capacity can be reduced.
- the reconstruction processing unit reconstructs the subject based on the light field image limited to the temporal range including the frame prior to the frame in which the event has occurred. It is also good. By doing this, it is possible to reconstruct a subject that changes from the state where no event has occurred to the state where an event has occurred.
- the reconstruction processing unit may reconstruct the subject based on the light field image limited to the spatial range where the event has occurred.
- the object reconstruction processing using the light field image of the spatial range in which the event has not occurred is omitted, the time required for the object reconstruction is shortened, and the reconstructed object of The capacity can be reduced.
- the reconstruction processing unit may generate a three-dimensional image of the subject. By doing this, the subject can be reconstructed as a three-dimensional image, and intuitive easiness of observation can be improved.
- an imaging optical system which condenses light from the subject and forms an image of the subject, a position of a primary image formed by the imaging optical system, or the first aspect
- a microlens array having a plurality of microlenses arranged two-dimensionally at a position conjugate to the next image and condensing the light from the imaging optical system, and a plurality of pixels receiving the light collected by the microlens
- FIG. 1 It is a schematic diagram which shows the light field imaging device which concerns on one Embodiment of this invention. It is a block diagram which shows the image processing apparatus with which the light field imaging device of FIG. 1 is equipped. It is a figure which shows an example of the change for every flame
- FIG. 6 is a diagram illustrating a case where the subject is disposed behind the focus position of the imaging optical system.
- FIG. 6 is a diagram illustrating a case where the subject is disposed on the front side of the focus position of the imaging optical system.
- the light field imaging apparatus 1 includes an imaging optical system 3 that condenses light from a subject S (object point) to form an image of the subject S, and imaging optical system A micro lens array 5 having a plurality of micro lenses 5a for collecting light from the system 3; and an imaging element 9 comprising a plurality of pixels 9a for receiving and photoelectrically converting the light collected by the plurality of micro lenses 5a
- An image processing apparatus 2 according to the present embodiment for processing a light field image acquired by the imaging device 9 and a display unit 4 are provided.
- the microlens array 5 is configured such that the plurality of microlenses 5 a having positive power are positioned at the focal point of the imaging optical system 3 (the position of the primary image or the position conjugate with the primary image). It is arranged in a two-dimensional array along a plane orthogonal to the axis L.
- the plurality of microlenses 5 a are arranged at a sufficiently large pitch (for example, a pitch eight times the pixel pitch of the imaging device 9) compared to the pixel pitch of the imaging device 9.
- the imaging element 9 is also configured by two-dimensionally arranging the pixels 9 a in a direction orthogonal to the optical axis L of the imaging optical system 3.
- a plurality (for example, 8 ⁇ 8 in the above example) are arranged in each region corresponding to the plurality of microlenses 5 a of the microlens array 5.
- the plurality of pixels 9 a photoelectrically convert the detected light and output a light intensity signal (pixel value) as light field image information of the subject S.
- the imaging device 9 is configured to sequentially output light field image information of a plurality of frames acquired at different times in the time axis direction. For example, movie shooting or time-lapse shooting.
- the image processing apparatus 2 is configured by a processor, and as shown in FIG. 2, an evaluation value calculation unit that calculates an event evaluation value based on light field images of a plurality of frames acquired by the imaging device 9 at predetermined time intervals.
- Event identification unit 10 and an event range detection unit 11 for detecting at least one of a temporal range and a spatial range in which an event has occurred, based on the event evaluation value calculated by the evaluation value calculation unit 10;
- a reconstruction processing unit 12 for reconstructing the subject S based on the light field image limited to at least one of the temporal range and the spatial range of the event.
- the evaluation value calculation unit 10 calculates an event evaluation value Ak according to Equation 1 for the first k-th light field image of a sequence of light field images of a plurality of frames acquired by the imaging device 9 at predetermined time intervals. It is supposed to be.
- the event evaluation value Ak is a representative value for each light field image of a numerical value indicating a deviation from the average value (predetermined reference value) of the entire sequence of pixel values of the pixels included in the light field image.
- n is the pixel position in the light field image
- ntotal is the number of pixels of each light field image
- ktotal is the total number of frames
- I kn is the pixel value of the n-th pixel in the k-th light field image
- Iavg n is the n-th pixel value of the average image of the entire sequence (average value of the pixel values of n-th pixels in each light field image of the entire sequence).
- the event range detection unit 11 detects the start time of the third event from the first event in the 77th frame, the 183rd frame, and the 209th frame in which the event evaluation value Ak starts to change largely in FIG. 3. There is.
- the event range detection unit 11 sets the average value of the event evaluation values Ak until the start of the first event as a reference level, and the time from the first event to the third event decreases to the reference level.
- the end time of the third event is detected from the first event.
- the event range detection unit 11 includes a temporal range from the start time to the end time of each detected event, and the temporal range from 5 frames before to 5 frames after the temporal range is the first event It is set as a time range of 3 events.
- the first event is set in the temporal range from the 72nd frame to the 122nd frame, the second event in the 178th frame to the 201st frame, and the third event in the 204th frame to the 241st frame. It has become.
- the reconstruction processing unit 12 first performs three-dimensional reconstruction processing based on the light field image of 50 frames of the first event to generate fifty three-dimensional images. These three-dimensional images may be connected in order to generate a four-dimensional image. Similarly, a three-dimensional image and / or a four-dimensional image are generated based on the light field image for 23 frames of the second event and the light field image for 37 frames of the third event, respectively.
- the display unit 4 is configured to display the generated three-dimensional image and / or four-dimensional image.
- the image processing apparatus 2 and the light field imaging apparatus 1 configured as described above will be described below.
- the light field imaging apparatus 1 according to the present embodiment, light from the subject S is collected by the imaging optical system 3 and arranged at the focal point position by performing imaging at predetermined time intervals.
- the light is collected by the respective microlenses 5a of the microlens array 5 and received by the pixels of the image pickup device 9, whereby light field image information is acquired.
- the acquired light field image information of a plurality of frames is sent to the image processing apparatus 2 to calculate an event evaluation value Ak .
- the event range detection unit 11 sets the temporal range including the event from the graph showing the temporal change of the event evaluation value Ak shown in FIG. 3 and re-executes based on the light field image of the set temporal range.
- the three-dimensional image and the like are generated by the configuration processing unit 12 so that the subject S is reconstructed and displayed on the display unit 4.
- the image processing apparatus 2 and the light field imaging apparatus 1 there is an event rather than performing the three-dimensional reconstruction processing of the subject S for all the acquired light field images.
- the 3D reconstruction process is performed using only a limited temporal range of light field images that include detected frames. Therefore, there is an advantage that the amount of information to be processed can be greatly reduced and a three-dimensional image or a four-dimensional image of the subject S can be acquired in a short time. Also, the volume of 3D or 4D images created based on light field images of limited temporal range can be significantly reduced.
- the event evaluation value Ak is calculated using the pixel value of the average image of the whole sequence, but the sequence is divided into a plurality of sections along the time axis, and the pixel value of the average image in each section May be used. For example, in the case of time-lapse shooting in which shooting for 10 seconds is repeated every one hour, when calculating the event evaluation value of any frame of any shooting section, only from the light field image in the shooting section The pixel value of the calculated average image may be used.
- the pixel value (moving average) of the average image of the light field images of the plurality of frames immediately before may be used. This also makes it possible to confirm the occurrence of an event without ending the entire sequence. In addition, even when the entire pixel value changes gradually regardless of the event, it is possible to accurately detect the occurrence of the event without being affected by the influence.
- the average value is obtained for each pixel position, but instead, as shown in Equation 2, the average value of the pixel values of the entire sequence may be used.
- Iavg is an average value of pixel values in the entire sequence.
- the absolute value of the difference is the entire light field image
- the event evaluation value B k may be used as the sum of the above.
- event-range detector 11 and detecting an event range based on an event evaluation value A k may be to detect events range using other information. For example, in the case where the light emission of a nerve cell is examined by giving a trigger stimulation such as light stimulation or vibration, the time of the trigger stimulation is stored in association with imaging, and the frame corresponding to the time of the trigger stimulation is not included. It is also possible to set the time range of the event.
- the sensitivity of the change of the event evaluation value Ak can be improved. That is, when an event occurs in a very small area of the light field image, calculating the event evaluation value Ak for the entire light field image results in a small value and it is difficult to distinguish it from noise.
- the event evaluation value Ak can be made a large value by
- the range from time t1 to t2 in the fifth area and the range from time t3 to t4 in the fourth area may be specified as the temporal range of the event from the time change of the event evaluation value Ak as shown in FIG. it can. Therefore, a three-dimensional image or the like may be reconstructed using light field images of all the regions for the time range from time t1 to t2 and time t3 to t4, or the spatial range of the fourth and fifth regions. Only the light field image may be used to reconstruct a three-dimensional image or the like. Further, the time range may be from time t1 to t4.
- the light-field image has the three-dimensional information, but also contains event information generated within the object S, clearly the event evaluation values A k calculated from the entire light field image Sometimes it is difficult for symptoms to appear. Therefore, the light field image may be divided into areas in the direction of the optical axis L, and the event evaluation value Ak may be calculated for each area.
- the angle of light incident on the microlens 5a is determined when the one pixel 9a is determined.
- the image at the position away from the in-focus position does not simply blur on the imaging device 9 as taken by a normal camera, but in the light field image as shown in FIGS. 7A to 7C.
- the image of one point of the subject S is light as shown in FIG. 8A to FIG. 8C according to the position z1, z2, z3 (the incident angle of light to the micro lens 5a) in the optical axis L direction of that point. It is distributed to a plurality of two-dimensional coordinates in a plane orthogonal to the axis L direction.
- the light field imaging device 1 can calculate the three-dimensional coordinates of the original position based on the intersections of a plurality of light rays corresponding to a plurality of two-dimensional coordinates. It is supposed to shoot including information. A method for simply refocusing using this is known, and the event evaluation value Ak may be calculated by dividing the area in the direction of the optical axis L using this method.
- a method may be adopted in which the influence of a point to be emphasized by refocusing is increased, and the influence of a point that is spread over a wide range and weakened by refocusing is reduced.
- the refocused image does not necessarily have to be created, and the pixels to be used may be changed according to the L direction positions z1, z2 and z3.
- the pixels used when calculating the event evaluation value Ak are changed according to the position in the optical axis L direction.
- the event evaluation value Az k is as shown in Expression 4.
- z is the position in the optical axis L direction
- c is a coefficient determined by the configuration of the imaging optical system 3
- Iz k (x, y) is the sum of the pixel values of the pixel corresponding to the microlens 5 a at the position z in the optical axis L direction
- Iavez (x, y) is the average value of the entire sequence of the sum of the pixel values of the pixels corresponding to the microlens 5 a at the coordinates (x, y) of the position z in the optical axis L direction.
- c ⁇ z is rounded to be an integer.
- c ⁇ z 0, that is, as shown in FIGS. 7A and 8A, when the subject S is disposed at the position in the direction of the optical axis L focusing on the microlens 5a, FIG. As shown in equation 5, pixel values of different pixels corresponding to the same microlens 4a are added.
- the event evaluation value Az k calculated for the optical axis L direction position of the range of each area may be averaged.
- the difference between Iz k (x, y) and the sequence average value (reference value) is squared so that the effect of the point emphasized in refocusing becomes large.
- This part is weakened by refocusing by not using it for deriving the evaluation value when abs (Iz k (x, y)-Iavgz (x, y)) is less than or equal to the threshold value TH, as shown in Eq. You may make it the influence of the point to be made small.
- the distance between the optical axis L direction positions z in each region may be, for example, an optical axis L direction position z such that c ⁇ z is an integer, or the distance between the optical axis L direction positions z is theoretical It may be set to have about the resolution.
- the range of the interval or area of the optical axis L direction position z calculated according to the optical axis L direction position z may be changed. For example, it may be fine at places where the optical axis L direction position z is small and rough at places where it is large.
- the event evaluation value Az k is specifically changed in the temporal range from time t1 to t2 in the spatial range from the 3rd z region to the 5th z region, and it is an event occurrence region It is shown. Therefore, the temporal range of the event is limited to time t1 to t2, and the spatial range of the event is limited to the third area z to the fifth z area, and a three-dimensional image is generated using the light field image of the limited range. It is sufficient to reconstruct the subject S by the like.
- the processing time can be shortened, and the capacity of the generated three-dimensional image etc. can be reduced.
- the distance between the two-dimensional images constituting the three-dimensional image is small in the third z region to the fifth z region, and is coarse in the other regions, so that the subject S is re-created by the three-dimensional image etc. It may be configured.
- the event evaluation value Az k may be calculated only in the range of the position z in the narrow optical axis L direction.
- the decimal value can also be handled by a method of interpolating pixel values from a plurality of pixels.
- the pixel values of all the pixels corresponding to all the microlenses 5a are added when calculating the sum of the pixel values, the calculation may be performed using only some pixels.
- the sum of squares is calculated by the difference with the pixel value of the corresponding pixel of the light field image of the immediately preceding frame as shown in Eq. It may be an event evaluation value Az k .
- the subject S is reconstructed from a three-dimensional image or the like using the acquired light field image, but the difference image between the light field image of each frame and the light field image of the immediately preceding frame
- the three-dimensional reconstruction process may be performed using the generated difference image.
- the difference image shows the change between the light field images acquired adjacent to each other in the time axis direction, it contains information related to the event, and by using such a difference image, the reconstructed 3 A two-dimensional image or the like is also an image as if the spatial range in which the event occurred is extracted. This makes it possible to more easily understand the change of the event.
- event evaluation values A k, calculation of Az k may be possible to perform such event determination and classification.
- the learning result from the acquired sequence of light field images the presence or absence of the occurrence of the event, the time of the event by learning in advance what the event is by using light field images of a large number of sequences It is possible to specify the target range and the spatial range of the event, and to limit the light field image to be used in the three-dimensional reconstruction processing of the subject S.
- classification of the generated event may be performed by learning including the type of event or noise component (for example, calcium emission, movement of subject S, incidence of external light, etc.).
- the absolute event evaluation value a value obtained by adding the value entire sequence of A k of the difference value indicating a deviation from the reference value, has been the Az k
- any other representative value for example, any statistical value such as an average value, a maximum value, a minimum value, and a median value may be adopted as the event information.
- the case where the pixel 9a of the imaging device 9 matches the pixel on the light field image used for event detection is illustrated, but instead, the pixel 9a of the imaging device 9 and the light field image The upper pixel may not match.
- the pitch of the micro lens 5a may not be an integral multiple of the pixel pitch, or setting errors may occur such as being slightly rotated and disposed, and the pixel is not A calibration process may be performed to interpolate and rearrange. In this case, strictly speaking, the pixel 9a of the image sensor 9 and the pixel on the light field image used for event detection do not match.
- Reference Signs List 1 light field imaging apparatus 2 image processing apparatus 3 imaging optical system 5 micro lens array 5 a micro lens 9 imaging element 9 a pixel 10 evaluation value calculation unit (event identification unit) 11 event range detection unit 12 reconstruction processing unit S object
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
被写体の再構成に要する時間を短縮し、再構成された被写体の容量を低減することを目的として、本発明に係る画像処理装置（２）は、経時的に取得された複数フレームのライトフィールド画像が入力され、ライトフィールド画像内に存在するイベントを特定するイベント特定部（１０）と、イベント特定部（１０）により特定されたイベントが発生した時間的範囲および空間的範囲の少なくとも一方を検出するイベント範囲検出部（１１）と、イベント範囲検出部（１１）により検出されたイベントの時間的範囲および空間的範囲の少なくとも一方の範囲に制限されたライトフィールド画像に基づいて被写体を再構成する再構成処理部（１２）とを備える。
Description
本発明は、画像処理装置およびライトフィールド撮像装置に関するものである。
従来、複数の画素が２次元的に配置された撮像素子と、撮像素子よりも被写体側において撮像素子の複数の画素毎に対応して配置されたマイクロレンズを有するマイクロレンズアレイとを備え、被写体の３次元分布を撮像するライトフィールド撮像装置が知られている（例えば、特許文献１参照。）。
一般に、ライトフィールド撮像装置により取得された画像（以下、ライトフィールド画像という。）そのものは通常の撮像装置により取得される画像とは異なり、３次元的に分布する多数の点の像が重なり合ったものであるため、画像処理を施さないと被写体の平面位置や距離などの基本的な情報が直感的には分からない。しかしながら、ライトフィールド画像は情報量が膨大であるため、リアルタイムに画像処理して複数枚のスライス画像からなる３次元画像により被写体を再構成することは困難である。
本発明は上述した事情に鑑みてなされたものであって、被写体の再構成に要する時間を短縮し、再構成された被写体の容量を低減することができる画像処理装置およびライトフィールド撮像装置を提供することを目的としている。
本発明の一態様は、経時的に取得された複数フレームのライトフィールド画像が入力され、各前記フレームの前記ライトフィールド画像内に存在するイベントを特定するイベント特定部と、該イベント特定部により特定された前記イベントが発生した時間的範囲および空間的範囲の少なくとも一方を検出するイベント範囲検出部と、該イベント範囲検出部により検出された前記イベントの前記時間的範囲および前記空間的範囲の少なくとも一方の範囲に制限された前記ライトフィールド画像に基づいて被写体を再構成する再構成処理部とを備える画像処理装置である。
本態様によれば、ライトフィールド画像が入力されると、イベント特定部によりライトフィールド画像内に存在するイベントが特定され、特定されたイベントが発生した時間的範囲および空間的範囲の少なくとも一方がイベント範囲検出部により検出される。そして、再構成処理部が検出された範囲に制限されたライトフィールド画像に基づいて被写体を再構成するので、イベントが存在しないライトフィールド画像に基づく無駄な再構成処理が防止され、被写体の再構成に要する時間を短縮し、再構成された被写体の容量を低減することができる。
上記態様においては、前記イベント特定部が、前記ライトフィールド画像の少なくとも一部の領域について、該ライトフィールド画像に含まれる画素の画素値の所定の基準値からの乖離を示す数値の代表値であるイベント評価値を算出し、算出された前記イベント評価値に基づいて前記イベントを特定してもよい。
このようにすることで、入力された複数フレームのライトフィールド画像内のいずれかの位置またはいずれかのフレームで他のフレームと比較した顕著な変化であるイベントが発生したことを、画素値の所定の基準値からの乖離を示す数値の少なくとも一部の領域の代表値であるイベント評価値により簡易に確認することができる。
このようにすることで、入力された複数フレームのライトフィールド画像内のいずれかの位置またはいずれかのフレームで他のフレームと比較した顕著な変化であるイベントが発生したことを、画素値の所定の基準値からの乖離を示す数値の少なくとも一部の領域の代表値であるイベント評価値により簡易に確認することができる。
また、上記態様においては、前記再構成処理部が、前記イベントの発生した前記時間的範囲に制限された前記ライトフィールド画像に基づいて前記被写体を再構成してもよい。
このようにすることで、イベントが発生していない時間的範囲のライトフィールド画像を用いた被写体の再構成処理が省かれて、被写体の再構成に要する時間を短縮し、再構成された被写体の容量を低減することができる。
このようにすることで、イベントが発生していない時間的範囲のライトフィールド画像を用いた被写体の再構成処理が省かれて、被写体の再構成に要する時間を短縮し、再構成された被写体の容量を低減することができる。
また、上記態様においては、前記再構成処理部が、前記イベントの発生した前記フレームより前の前記フレームを含む前記時間的範囲に制限された前記ライトフィールド画像に基づいて前記被写体を再構成してもよい。
このようにすることで、イベントが発生していない状態からイベントが発生した状態まで変化する被写体を再構成することができる。
このようにすることで、イベントが発生していない状態からイベントが発生した状態まで変化する被写体を再構成することができる。
また、上記態様においては、前記再構成処理部が、前記イベントの発生した前記空間的範囲に制限された前記ライトフィールド画像に基づいて前記被写体を再構成してもよい。
このようにすることで、イベントが発生していない空間的範囲のライトフィールド画像を用いた被写体の再構成処理が省かれて、被写体の再構成に要する時間を短縮し、再構成された被写体の容量を低減することができる。
このようにすることで、イベントが発生していない空間的範囲のライトフィールド画像を用いた被写体の再構成処理が省かれて、被写体の再構成に要する時間を短縮し、再構成された被写体の容量を低減することができる。
また、上記態様においては、前記再構成処理部が、前記被写体の３次元画像を生成してもよい。
このようにすることで、被写体が３次元画像により再構成され、直感的な観察し易さを向上することができる。
このようにすることで、被写体が３次元画像により再構成され、直感的な観察し易さを向上することができる。
また、本発明の他の態様は、前記被写体からの光を集光し、前記被写体の像を結像する撮像光学系と、該撮像光学系により結像される１次像の位置または該１次像と共役な位置に２次元的に配列され前記撮像光学系からの光を集光する複数のマイクロレンズを有するマイクロレンズアレイと、該マイクロレンズにより集光された光を受光する複数の画素を有し、該画素において受光した光を光電変換することにより前記ライトフィールド画像を生成する撮像素子と、該撮像素子により生成された前記ライトフィールド画像を処理する上記いずれかの画像処理装置とを備えるライトフィールド撮像装置である。
本発明によれば、被写体の再構成に要する時間を短縮し、再構成された被写体の容量を低減することができるという効果を奏する。
本発明の一実施形態に係る画像処理装置２およびライトフィールド撮像装置１について、図面を参照して以下に説明する。
本実施形態に係るライトフィールド撮像装置１は、図１に示されるように、被写体Ｓ（物点）からの光を集光して被写体Ｓの像を結像する撮像光学系３と、撮像光学系３からの光を集光する複数のマイクロレンズ５ａを有するマイクロレンズアレイ５と、複数のマイクロレンズ５ａにより集光された光を受光して光電変換する複数の画素９ａを備える撮像素子９と、該撮像素子９により取得されたライトフィールド画像を処理する本実施形態に係る画像処理装置２と、表示部４とを備えている。
本実施形態に係るライトフィールド撮像装置１は、図１に示されるように、被写体Ｓ（物点）からの光を集光して被写体Ｓの像を結像する撮像光学系３と、撮像光学系３からの光を集光する複数のマイクロレンズ５ａを有するマイクロレンズアレイ５と、複数のマイクロレンズ５ａにより集光された光を受光して光電変換する複数の画素９ａを備える撮像素子９と、該撮像素子９により取得されたライトフィールド画像を処理する本実施形態に係る画像処理装置２と、表示部４とを備えている。
マイクロレンズアレイ５は、図１に示すように、正のパワーを有する複数のマイクロレンズ５ａを撮像光学系３の焦点位置（１次像の位置または該１次像と共役な位置）に、光軸Ｌに直交する平面に沿って２次元的に配列して構成されている。これら複数のマイクロレンズ５ａは、撮像素子９の画素ピッチに比べて十分に大きいピッチ（例えば、撮像素子９の画素ピッチの８倍のピッチ。）で配列されている。
撮像素子９も各画素９ａを撮像光学系３の光軸Ｌに直交する方向に２次元的に配列して構成されている。マイクロレンズアレイ５の複数のマイクロレンズ５ａに対応する領域毎に複数個（例えば、上記例では８×８個）ずつ配列されている。これら複数の画素９ａは、検出した光を光電変換して、被写体Ｓのライトフィールド画像情報としての光強度信号（画素値）を出力するようになっている。
撮像素子９は、時間軸方向に異なる時刻に取得された複数フレームのライトフィールド画像情報を順次出力するようになっている。例えば、動画撮影あるいはタイムラプス撮影等である。
画像処理装置２は、プロセッサにより構成され、図２に示されるように、所定の時間間隔で撮像素子９により取得された複数フレームのライトフィールド画像に基づいてイベント評価値を算出する評価値算出部（イベント特定部）１０と、評価値算出部１０により算出されたイベント評価値に基づいて、イベントが発生した時間的範囲および空間的範囲の少なくとも一方を検出するイベント範囲検出部１１と、検出されたイベントの時間的範囲および空間的範囲の少なくとも一方の範囲に制限されたライトフィールド画像に基づいて被写体Ｓを再構成する再構成処理部１２とを備えている。
評価値算出部１０は、所定の時間間隔で撮像素子９により取得された複数フレームのライトフィールド画像からなるシーケンスの最初からｋ番目のライトフィールド画像について、数１によりイベント評価値Ａｋを算出するようになっている。
イベント評価値Ａｋは、ライトフィールド画像に含まれる各画素の画素値のシーケンス全体の平均値（所定の基準値）からの乖離を示す数値のライトフィールド画像毎の代表値である。
イベント評価値Ａｋは、ライトフィールド画像に含まれる各画素の画素値のシーケンス全体の平均値（所定の基準値）からの乖離を示す数値のライトフィールド画像毎の代表値である。
ここで、
ｎはライトフィールド画像における画素位置、
ｎｔｏｔａｌは各ライトフィールド画像の画素数、
ｋｔｏｔａｌはフレームの総数、
Ｉｋｎはｋ番目のライトフィールド画像におけるｎ番目の画素の画素値、
Ｉａｖｇｎはシーケンス全体の平均画像のｎ番目の画素値（シーケンス全体の各ライトフィールド画像のｎ番目の画素の画素値の平均値）である。
算出されたイベント評価値Ａｋをフレームに対応づけて時系列に配列すると、図３に示されるようなグラフが得られる。
イベント範囲検出部１１は、図３においてイベント評価値Ａｋが大きく変化し始めた第７７フレーム、第１８３フレームおよび第２０９フレームにおいて第１イベントから第３イベントの開始時刻を検出するようになっている。
イベント範囲検出部１１は、図３においてイベント評価値Ａｋが大きく変化し始めた第７７フレーム、第１８３フレームおよび第２０９フレームにおいて第１イベントから第３イベントの開始時刻を検出するようになっている。
また、イベント範囲検出部１１は、図３において、第１イベントが開始するまでのイベント評価値Ａｋの平均値を基準レベルとして、第１イベントから第３イベントがそれぞれ基準レベルまで下がった時刻である第１１７フレーム、第１９６フレームおよび第２３６フレームをそれぞれ第１イベントから第３イベントの終了時刻を検出するようになっている。そして、イベント範囲検出部１１は、検出した各イベントの開始時刻から終了時刻までの時間的範囲を含み、当該時間的範囲の５フレーム前から５フレーム後までの時間的範囲を第１イベントから第３イベントの時間的範囲として設定するようになっている。
すなわち、第１イベントは第７２フレームから第１２２フレームまで、第２イベントは第１７８フレームから第２０１フレームまで、第３イベントは第２０４フレームから第２４１フレームまでの時間的範囲に設定されるようになっている。
再構成処理部１２は、まず第１イベントの５０フレーム分のライトフィールド画像に基づいて３次元再構成処理を行い、５０個の３次元画像を生成するようになっている。なお、これらの３次元画像を順に繋いで４次元画像を生成してもよい。
同様にして第２イベントの２３フレーム分のライトフィールド画像、第３イベントの３７フレーム分のライトフィールド画像に基づいてそれぞれ３次元画像および／または４次元画像を生成する。
表示部４は、生成された３次元画像および／または４次元画像を表示するようになっている。
同様にして第２イベントの２３フレーム分のライトフィールド画像、第３イベントの３７フレーム分のライトフィールド画像に基づいてそれぞれ３次元画像および／または４次元画像を生成する。
表示部４は、生成された３次元画像および／または４次元画像を表示するようになっている。
このように構成された本実施形態に係る画像処理装置２およびライトフィールド撮像装置１の作用について、以下に説明する。
本実施形態に係るライトフィールド撮像装置１によれば、所定の時間間隔をあけて撮影を行うことにより、被写体Ｓからの光が撮像光学系３によって集光されるとともにその焦点位置に配置されているマイクロレンズアレイ５の各マイクロレンズ５ａによって集光され、撮像素子９の各画素により受光され、ライトフィールド画像情報が取得される。
本実施形態に係るライトフィールド撮像装置１によれば、所定の時間間隔をあけて撮影を行うことにより、被写体Ｓからの光が撮像光学系３によって集光されるとともにその焦点位置に配置されているマイクロレンズアレイ５の各マイクロレンズ５ａによって集光され、撮像素子９の各画素により受光され、ライトフィールド画像情報が取得される。
取得された複数フレームのライトフィールド画像情報は、画像処理装置２に送られることによりイベント評価値Ａｋが算出される。
そして、イベント範囲検出部１１により、図３に示されるイベント評価値Ａｋの時間変化を示すグラフからイベントを含む時間的範囲が設定され、設定された時間的範囲のライトフィールド画像に基づいて再構成処理部１２により３次元画像等が生成されることにより、被写体Ｓが再構成され、表示部４に表示される。
そして、イベント範囲検出部１１により、図３に示されるイベント評価値Ａｋの時間変化を示すグラフからイベントを含む時間的範囲が設定され、設定された時間的範囲のライトフィールド画像に基づいて再構成処理部１２により３次元画像等が生成されることにより、被写体Ｓが再構成され、表示部４に表示される。
すなわち、本実施形態に係る画像処理装置２およびライトフィールド撮像装置１によれば、取得された全てのライトフィールド画像について被写体Ｓの３次元再構成処理を行うのではなく、イベントが存在することが検出されたフレームを含む制限された時間的範囲のライトフィールド画像のみを用いて３次元再構成処理が行われる。したがって、処理すべき情報量を大幅に削減して短時間で被写体Ｓの３次元画像または４次元画像を取得することができるという利点がある。また、制限された時間的範囲のライトフィールド画像に基づいて作成された３次元画像または４次元画像の容量も大幅に削減することができる。
なお、本実施形態においては、シーケンス全体の平均画像の画素値を用いてイベント評価値Ａｋを算出したが、シーケンスを時間軸で複数区間に分割し、各区間内での平均画像の画素値を用いることにしてもよい。例えば、１時間おきに１０秒間の撮影を繰り返すようなタイムラプス撮影の場合には、いずれかの撮影区間のいずれかのフレームのイベント評価値を算出する際に当該撮影区間内のライトフィールド画像のみから算出した平均画像の画素値を用いればよい。
これにより、長時間にわたるシーケンスであっても、シーケンス終了前にイベントの発生の有無を確認することができるという利点がある。
また、各フレームのライトフィールド画像を取得する都度にイベントの発生の有無を検出したい場合には、直前の複数フレームのライトフィールド画像の平均画像の画素値（移動平均）を用いてもよい。
これによっても、一連のシーケンスを全て終了しなくても、イベントの発生の有無を確認することができる。また、イベントに関わらず全体の画素値が徐々に変化してしまうような場合においても、その影響を受けることなくイベントの発生の有無を精度よく検出することができるという利点がある。
これによっても、一連のシーケンスを全て終了しなくても、イベントの発生の有無を確認することができる。また、イベントに関わらず全体の画素値が徐々に変化してしまうような場合においても、その影響を受けることなくイベントの発生の有無を精度よく検出することができるという利点がある。
また、上記実施形態においては、画素の位置毎に平均値を求めていたが、これに代えて、数２に示すように、シーケンス全体の画素値の平均値を用いてもよい。
ここで、
Ｉａｖｇは、シーケンス全体の画素値の平均値である。
ここで、
Ｉａｖｇは、シーケンス全体の画素値の平均値である。
この方法によれば、被写体Ｓが動いてもイベント評価値Ａｋが変動しないので、光強度の変化のみに注目したい場合に効果的である。
また、所定の基準値として平均値に代えて時間軸方向に隣接する（直前の）ライトフィールド画像の対応画素の画素値を用い、数３に示すように、差分の絶対値をライトフィールド画像全体で合計したものをイベント評価値Ｂｋとしてもよい。
また、イベント範囲検出部１１がイベント評価値Ａｋに基づいてイベント範囲を検出することとしたが、これに代えて、他の情報を利用してイベント範囲を検出することにしてもよい。
例えば、光刺激や振動等のトリガー刺激を与えて神経細胞の発光を調べるような場合においては、撮影と関連づけてトリガー刺激の時刻を記憶しておき、トリガー刺激の時刻に対応するフレームを含まないようにイベントの時間的範囲を設定することにしてもよい。
例えば、光刺激や振動等のトリガー刺激を与えて神経細胞の発光を調べるような場合においては、撮影と関連づけてトリガー刺激の時刻を記憶しておき、トリガー刺激の時刻に対応するフレームを含まないようにイベントの時間的範囲を設定することにしてもよい。
また、場合によっては、評価値算出部１０により算出されたイベント評価値Ａｋの時間変化を示す図３のグラフを表示部４に表示し、操作者にイベント評価値Ａｋの大きなフレームのみを選択させ、選択されたフレームのライトフィールド画像に基づいて被写体Ｓの３次元画像等を再構成してもよい。
また、上記実施形態においては、各フレームのライトフィールド画像毎に１つのイベント評価値Ａｋを算出することとしたが、これに代えて、図４に示されるように、各フレームのライトフィールド画像を複数（例えば、３×３＝９個）の領域に分割し、各領域についてイベント評価値Ａｋを算出することにしてもよい。
この場合には、図５に示されるように、領域の境界をマイクロレンズ５ａに対応する画素範囲の境界に一致させることが好ましい。これにより、図６に示されるように、領域の数に等しいイベント評価値Ａｋを得ることができる。
このようにすることで、イベント評価値Ａｋの変化の感度を向上することができるという利点がある。すなわち、ライトフィールド画像のごく一部の領域でイベントが発生した場合に、ライトフィールド画像全体でイベント評価値Ａｋを算出すると小さな値となってノイズと区別し難いが、領域に分けて領域毎に算出することによりイベント評価値Ａｋを大きな値とすることができる。
また、イベントの発生位置が経時的に変化する場合に、ライトフィールド画像全体でイベント評価値Ａｋを算出するとイベントの発生を示す一定のイベント評価値Ａｋが継続するだけであるが、領域毎にイベント評価値Ａｋを算出することにより、ライトフィールド画像内でのイベントの発生位置と時間とを同時に検出することができるという利点がある。
例えば、図６のようなイベント評価値Ａｋの時間変化から第５領域においては時刻ｔ１からｔ２の範囲、第４領域においては時刻ｔ３からｔ４の範囲をイベントの時間的範囲として特定することができる。
したがって、時刻ｔ１からｔ２および時刻ｔ３からｔ４の時間的範囲について全ての領域のライトフィールド画像を用いて３次元画像等を再構成してもよいし、第４領域および第５領域の空間的範囲のみのライトフィールド画像を用いて３次元画像等を再構成してもよい。また、時間的範囲については時刻ｔ１からｔ４としてもよい。
したがって、時刻ｔ１からｔ２および時刻ｔ３からｔ４の時間的範囲について全ての領域のライトフィールド画像を用いて３次元画像等を再構成してもよいし、第４領域および第５領域の空間的範囲のみのライトフィールド画像を用いて３次元画像等を再構成してもよい。また、時間的範囲については時刻ｔ１からｔ４としてもよい。
また、ライトフィールド画像は３次元的な情報を有しているが、被写体Ｓの内部で発生したイベントの情報も含んでいるが、ライトフィールド画像全体から算出したイベント評価値Ａｋには明確に兆候が現れ難い場合がある。そこで、ライトフィールド画像を光軸Ｌ方向で領域分割し、各領域についてイベント評価値Ａｋを算出することにしてもよい。
本実施形態に係るライトフィールド撮像装置１は、撮像素子９上の各画素９ａには特定の角度（一の画素９ａをカバーするマイクロレンズ５ａへの光の入射角度が特定の範囲）の光線しか入射しないため、一の画素９ａを決定するとマイクロレンズ５ａに入射する光の角度が決定するようになっている。
この場合、合焦位置から離れた位置における像は、通常のカメラで撮影されたように撮像素子９上で単にぼけるのではなく、図７Ａから図７Ｃに示されるように、ライトフィールド画像においては被写体Ｓの１つの点の像は、その点の光軸Ｌ方向位置ｚ１，ｚ２，ｚ３（マイクロレンズ５ａへの光の入射角度）に応じて、図８Ａから図８Ｃに示されるように、光軸Ｌ方向に直交する平面内において複数の２次元座標に分配される。
これは、被写体Ｓの光軸Ｌ方向位置ｚ１，ｚ２，ｚ３が異なるために、マイクロレンズ５ａに入射する光の入射角度が変化して、異なる画素９ａに光が入射するためである。ライトフィールド撮像装置１は、複数の２次元座標に対応する複数の光線の交点に基づいて、元の位置の３次元座標を算出することができ、被写体Ｓの２次元情報だけでなく、３次元情報も含めて撮影するようになっている。これを利用して簡易的にリフォーカスする手法が知られており、この手法を利用して光軸Ｌ方向に領域分割してイベント評価値Ａｋを算出すればよい。上記手法として、例えば、リフォーカスにより強調される点の影響を大きくなるようにし、リフォーカスによって広い範囲に広がって弱められる点の影響を小さくするものを採用してもよい。また、必ずしもリフォーカス画像を作る必要はなく、Ｌ方向位置ｚ１，ｚ２，ｚ３に応じて用いる画素を変えていけばよい。
すなわち、図９Ａおよび図９Ｂに示されるように、イベント評価値Ａｋを算出する際に用いる画素を光軸Ｌ方向位置に応じて変えていく。マイクロレンズ５ａに対応する撮像素子９の画素数をｍ×ｎとし、ライトフィールド画像の画素数をｐ×ｑとすると、イベント評価値Ａｚｋは数４の通りとなる。
ここで、
ｚは光軸Ｌ方向位置、
ｃは撮像光学系３の構成により定まる係数、
Ｉｚｋ（ｘ，ｙ）は光軸Ｌ方向位置ｚ、ｋ番目のフレームの座標（ｘ，ｙ）のマイクロレンズ５ａに対応する画素の画素値の合計、
Ｉａｖｅｚ（ｘ，ｙ）は光軸Ｌ方向位置ｚの座標（ｘ，ｙ）のマイクロレンズ５ａに対応する画素の画素値の合計値のシーケンス全体の平均値である。
また、ｃ×ｚは整数になるように丸められる。
例えば、図９Ａおよび図９Ｂにｍ＝ｎ＝５のライトフィールド画像の一部を模式的に示す。
例えば、ｃ×ｚ＝０の場合、すなわち、図７Ａおよび図８Ａに示されるように、被写体Ｓがマイクロレンズ５ａに合焦する光軸Ｌ方向位置に配置されている場合には、図９Ａおよび数５に示されるように、同じマイクロレンズ４ａに対応する異なる画素の画素値を加算するようになっている。
例えば、ｃ×ｚ＝０の場合、すなわち、図７Ａおよび図８Ａに示されるように、被写体Ｓがマイクロレンズ５ａに合焦する光軸Ｌ方向位置に配置されている場合には、図９Ａおよび数５に示されるように、同じマイクロレンズ４ａに対応する異なる画素の画素値を加算するようになっている。
また、ｃ×ｚ＝１の場合には、すなわち、図７Ｂ、図７Ｃ、図８Ｂおよび図８Ｃに示されるように、合焦位置がずれている場合には、図９Ｂおよび数６に示されるように、ｘ方向に５×ｉ、ｙ方向に５×ｊだけずれた画素の輝度を加算するようになっている。
被写体Ｓの光軸Ｌ方向位置ｚに応じて複数の領域に分割する場合には、各領域の範囲の光軸Ｌ方向位置について算出されたイベント評価値Ａｚｋを加算平均すればよい。
なお、数４では、リフォーカスで強調された点の効果が大きくなるように、Ｉｚｋ（ｘ，ｙ）とシーケンス平均値（基準値）との差を二乗している。この部分は、数７に示されるように、ａｂｓ（Ｉｚｋ（ｘ，ｙ）－Ｉａｖｇｚ（ｘ,ｙ））が閾値ＴＨ以下の場合には評価値導出に使用しないことにより、リフォーカスで弱められる点の影響を小さくするようにしてもよい。
各領域内の光軸Ｌ方向位置ｚの間隔は、例えば、ｃ×ｚが整数になるような光軸Ｌ方向位置ｚを選択してもよいし、光軸Ｌ方向位置ｚの間隔が理論的な分解能程度になるように設定してもよい。光軸Ｌ方向位置ｚに応じて計算する光軸Ｌ方向位置ｚの間隔や領域の範囲を変更してもよい。例えば、光軸Ｌ方向位置ｚが小さいところでは細かく、大きいところでは粗くしてもよい。
このように、光軸Ｌ方向に領域を分けてイベント評価値Ａｚｋを算出することにより、イベントの発生によるイベント評価値Ａｚｋの変化がより顕著となり、イベントの検出の感度を向上することができる。さらに、図１０に示されるように、どの光軸Ｌ方向位置ｚでイベントが発生したのかについても確認することができ、イベント発生の光軸Ｌ方向位置ｚと時間とを同時に把握することができるという利点がある。
図１０に示す例では、第３ｚ領域から第５ｚ領域の空間的範囲において、時刻ｔ１からｔ２の時間的範囲でイベント評価値Ａｚｋが特異的に変化しており、イベントの発生領域であることが示されている。
そこで、イベントの時間的範囲を時刻ｔ１からｔ２に制限し、イベントの空間的範囲を第３領域ｚから第５ｚ領域に制限して、制限された範囲のライトフィールド画像を利用して３次元画像等により被写体Ｓを再構成すればよい。
そこで、イベントの時間的範囲を時刻ｔ１からｔ２に制限し、イベントの空間的範囲を第３領域ｚから第５ｚ領域に制限して、制限された範囲のライトフィールド画像を利用して３次元画像等により被写体Ｓを再構成すればよい。
これにより、処理時間を短縮できるとともに、生成される３次元画像等の容量を低減することができる。なお、第３ｚ領域から第５ｚ領域については３次元画像を構成する２次元画像の間隔を細かく、他の領域では粗くして、より広い光軸Ｌ方向範囲にわたる３次元画像等により被写体Ｓを再構成することにしてもよい。
また、予めイベントの発生する光軸Ｌ方向位置の目処がついている場合には、狭い光軸Ｌ方向位置ｚの範囲でのみイベント評価値Ａｚｋを算出すればよいので、計算時間を短縮することができるという利点がある。
また、ｃ×ｚが整数となるように丸める場合について説明したが、複数の画素から画素値を補間する方法で小数のまま扱うこともできる。また画素値の合計を計算する際に全てのマイクロレンズ５ａに対応する全ての画素の画素値を加算したが、一部の画素のみで算出してもよい。
また、ｃ×ｚが整数となるように丸める場合について説明したが、複数の画素から画素値を補間する方法で小数のまま扱うこともできる。また画素値の合計を計算する際に全てのマイクロレンズ５ａに対応する全ての画素の画素値を加算したが、一部の画素のみで算出してもよい。
また、リアルタイムにイベント評価値Ａｚｋをモニタしたい場合には数３と同様にして、数８に示されるように、直前フレームのライトフィールド画像の対応画素の画素値との差分に二乗の合計をイベント評価値Ａｚｋとしてもよい。
また、上記実施形態においては取得されたライトフィールド画像を用いて３次元画像等により被写体Ｓを再構成することとしたが、各フレームのライトフィールド画像と直前のフレームのライトフィールド画像との差分画像を生成し、生成された差分画像を用いて３次元再構成処理を行うことにしてもよい。
差分画像は時間軸方向に隣接して取得されたライトフィールド画像間の変化を示しているので、イベントに関連する情報を含んでおり、このような差分画像を用いることにより、再構成された３次元画像等もイベントの発生している空間的範囲を抽出したような画像となる。これにより、イベントの変化をより分かりやすくすることができる。
また、機械学習を利用して、ライトフィールド画像やシーケンスの特徴から、イベント評価値Ａｋ，Ａｚｋの算出、イベントの判定や分類などを行うことにしてもよい。
予め多数のシーケンスのライトフィールド画像を用いて、イベントとはどういうものかについて学習させておくことにより、取得されたライトフィールド画像のシーケンスから学習結果に基づいて、イベントの発生の有無、イベントの時間的範囲およびイベントの空間的範囲の特定を行い、被写体Ｓの３次元再構成処理において、使用するライトフィールド画像を制限することができる。また、イベントやノイズ成分の種類（例えば、カルシウム発光、被写体Ｓの移動および外部光の入射等）も含めて学習させることにより、発生したイベントの分類まで行うようにしてもよい。
予め多数のシーケンスのライトフィールド画像を用いて、イベントとはどういうものかについて学習させておくことにより、取得されたライトフィールド画像のシーケンスから学習結果に基づいて、イベントの発生の有無、イベントの時間的範囲およびイベントの空間的範囲の特定を行い、被写体Ｓの３次元再構成処理において、使用するライトフィールド画像を制限することができる。また、イベントやノイズ成分の種類（例えば、カルシウム発光、被写体Ｓの移動および外部光の入射等）も含めて学習させることにより、発生したイベントの分類まで行うようにしてもよい。
また、本実施形態においては、各フレームのライトフィールド画像の各画素について、基準値からの乖離を示す差分値の絶対値をシーケンス全体について加算した値をイベント評価値Ａｋ，Ａｚｋとしたが、これに代えて、他の任意の代表値、例えば、平均値、最大値、最小値および中央値等任意の統計値をイベント情報として採用してもよい。
また、本実施形態においては、撮像素子９の画素９ａとイベント検出に用いるライトフィールド画像上の画素とが一致する場合を例示したが、これに代えて、撮像素子９の画素９ａとライトフィールド画像上の画素とが一致していなくてもよい。
実際の光学系においては、マイクロレンズ５ａのピッチが画素ピッチの整数倍にならなかったり、少し回転して配置される等のセッティング誤差が発生したりすることがあり、画像処理の最初に画素を補間処理して再配置するキャリブレーション処理を行うことがある。この場合、厳密には撮像素子９の画素９ａとイベント検出に用いるライトフィールド画像上の画素とが一致しないようになっている。
実際の光学系においては、マイクロレンズ５ａのピッチが画素ピッチの整数倍にならなかったり、少し回転して配置される等のセッティング誤差が発生したりすることがあり、画像処理の最初に画素を補間処理して再配置するキャリブレーション処理を行うことがある。この場合、厳密には撮像素子９の画素９ａとイベント検出に用いるライトフィールド画像上の画素とが一致しないようになっている。
１ ライトフィールド撮像装置
２ 画像処理装置
３ 撮像光学系
５ マイクロレンズアレイ
５ａ マイクロレンズ
９ 撮像素子
９ａ 画素
１０ 評価値算出部（イベント特定部）
１１ イベント範囲検出部
１２ 再構成処理部
Ｓ 被写体
２ 画像処理装置
３ 撮像光学系
５ マイクロレンズアレイ
５ａ マイクロレンズ
９ 撮像素子
９ａ 画素
１０ 評価値算出部（イベント特定部）
１１ イベント範囲検出部
１２ 再構成処理部
Ｓ 被写体
Claims (7)
- 経時的に取得された複数フレームのライトフィールド画像が入力され、前記ライトフィールド画像内に存在するイベントを特定するイベント特定部と、
該イベント特定部により特定された前記イベントが発生した時間的範囲および空間的範囲の少なくとも一方を検出するイベント範囲検出部と、
該イベント範囲検出部により検出された前記イベントの前記時間的範囲および前記空間的範囲の少なくとも一方の範囲に制限された前記ライトフィールド画像に基づいて被写体を再構成する再構成処理部とを備える画像処理装置。 - 前記イベント特定部が、前記ライトフィールド画像の少なくとも一部の領域について、該ライトフィールド画像に含まれる画素の画素値の所定の基準値からの乖離を示す数値の代表値であるイベント評価値を算出し、算出された前記イベント評価値に基づいて前記イベントを特定する請求項１に記載の画像処理装置。
- 前記再構成処理部が、前記イベントの発生した前記時間的範囲に制限された前記ライトフィールド画像に基づいて前記被写体を再構成する請求項１または請求項２に記載の画像処理装置。
- 前記再構成処理部が、前記イベントの発生した前記フレームより前の前記フレームを含む前記時間的範囲に制限された前記ライトフィールド画像に基づいて前記被写体を再構成する請求項１または請求項２に記載の画像処理装置。
- 前記再構成処理部が、前記イベントの発生した前記空間的範囲に制限された前記ライトフィールド画像に基づいて前記被写体を再構成する請求項１から請求項４のいずれかに記載の画像処理装置。
- 前記再構成処理部が、前記被写体の３次元画像を生成する請求項１から請求項５のいずれかに記載の画像処理装置。
- 前記被写体からの光を集光し、前記被写体の像を結像する撮像光学系と、
該撮像光学系により結像される１次像の位置または該１次像と共役な位置に２次元的に配列され前記撮像光学系からの光を集光する複数のマイクロレンズを有するマイクロレンズアレイと、
該マイクロレンズにより集光された光を受光する複数の画素を有し、該画素において受光した光を光電変換することにより前記ライトフィールド画像を生成する撮像素子と、
該撮像素子により生成された前記ライトフィールド画像を処理する請求項１から請求項６のいずれかに記載の画像処理装置とを備えるライトフィールド撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/025580 WO2019012657A1 (ja) | 2017-07-13 | 2017-07-13 | 画像処理装置およびライトフィールド撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/025580 WO2019012657A1 (ja) | 2017-07-13 | 2017-07-13 | 画像処理装置およびライトフィールド撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019012657A1 true WO2019012657A1 (ja) | 2019-01-17 |
Family
ID=65002348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2017/025580 WO2019012657A1 (ja) | 2017-07-13 | 2017-07-13 | 画像処理装置およびライトフィールド撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2019012657A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112351191A (zh) * | 2020-09-14 | 2021-02-09 | 中标慧安信息技术股份有限公司 | 一种移动侦测处理方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013110556A (ja) * | 2011-11-21 | 2013-06-06 | Olympus Corp | プレノプティックカメラ |
| JP2014155008A (ja) * | 2013-02-07 | 2014-08-25 | Canon Inc | 撮像装置、その制御方法およびプログラム |
| JP2016100868A (ja) * | 2014-11-26 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
-
2017
- 2017-07-13 WO PCT/JP2017/025580 patent/WO2019012657A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013110556A (ja) * | 2011-11-21 | 2013-06-06 | Olympus Corp | プレノプティックカメラ |
| JP2014155008A (ja) * | 2013-02-07 | 2014-08-25 | Canon Inc | 撮像装置、その制御方法およびプログラム |
| JP2016100868A (ja) * | 2014-11-26 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112351191A (zh) * | 2020-09-14 | 2021-02-09 | 中标慧安信息技术股份有限公司 | 一种移动侦测处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10043290B2 (en) | Image processing to enhance distance calculation accuracy | |
| JP6855587B2 (ja) | 視点から距離情報を取得するための装置及び方法 | |
| US8786718B2 (en) | Image processing apparatus, image capturing apparatus, image processing method and storage medium | |
| EP2403233A1 (en) | Image processing apparatus and method | |
| CN106255863B (zh) | 通过图像分析对场景进行三维重构的设备及方法 | |
| US9615016B2 (en) | Image processing apparatus, image capturing apparatus, control method and recording medium, where each subject is focused in a reconstructed image | |
| Kuo et al. | DiffuserCam: diffuser-based lensless cameras | |
| CN109883391B (zh) | 基于微透镜阵列数字成像的单目测距方法 | |
| JP2015138200A5 (ja) | 焦点調節装置及び焦点調節方法 | |
| CN104469183B (zh) | 一种x射线闪烁体成像系统的光场捕捉和后处理方法 | |
| JP6746359B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
| JP2017150878A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| JP4843544B2 (ja) | ３次元画像補正方法及びその装置 | |
| Zhang et al. | Ray tracing with quantum correlated photons to image a three-dimensional scene | |
| JP2015201722A5 (ja) | ||
| JP2015201722A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 | |
| EP3116216A1 (en) | Image pickup apparatus | |
| EP3700195A1 (en) | Information processing device, information processing method, imaging device and program | |
| CN111080774B (zh) | 一种应用深度采样进行光场重构的方法及系统 | |
| WO2019012657A1 (ja) | 画像処理装置およびライトフィールド撮像装置 | |
| JP2016162833A5 (ja) | 撮像装置および画像処理装置 | |
| US10891716B2 (en) | Process allowing the removal through digital refocusing of fixed-pattern noise in effective images formed by electromagnetic sensor arrays in a light field | |
| WO2019012660A1 (ja) | 画像処理装置およびライトフィールド撮像装置 | |
| KR101857977B1 (ko) | 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법 | |
| JP2009211254A (ja) | 画像処理ユニット、複眼撮像装置、画像処理方法、および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17917663 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17917663 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |