JP6757245B2 - Video playback device, imaging device, video playback method and program - Google Patents
Video playback device, imaging device, video playback method and program Download PDFInfo
- Publication number
- JP6757245B2 JP6757245B2 JP2016251917A JP2016251917A JP6757245B2 JP 6757245 B2 JP6757245 B2 JP 6757245B2 JP 2016251917 A JP2016251917 A JP 2016251917A JP 2016251917 A JP2016251917 A JP 2016251917A JP 6757245 B2 JP6757245 B2 JP 6757245B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- subject
- information
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、動画再生装置、撮像装置、動画再生方法及びプログラムに関し、特に撮影後の出力データから所望の被写体距離に合焦させた再構成画像を生成する技術に関する。 The present invention relates to a moving image reproduction device, an imaging device, a moving image reproduction method and a program, and more particularly to a technique for generating a reconstructed image focused on a desired subject distance from output data after shooting.
近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布と光の入射方向の情報とを出力データとして記録することで、記録後に例えば該出力データから任意の被写体距離に合焦させた再構成画像を生成する技術が提案されている。 In recent years, in an imaging device such as a digital camera, by recording the light intensity distribution and information on the incident direction of light as output data at the time of shooting, for example, after recording, the output data is refocused to an arbitrary subject distance. A technique for generating a constituent image has been proposed.
非特許文献１には、撮影レンズと撮像素子との間にマイクロレンズアレイを配置することで、各マイクロレンズに対応付けられた光電変換素子の各々に、撮像レンズの異なる瞳領域を通過した光束を分離して記録する方法が開示されている。このようにして得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。 In Non-Patent Document 1, by arranging a microlens array between the photographing lens and the image pickup element, each of the photoelectric conversion elements associated with each microlens has a luminous flux that has passed through different pupil regions of the image pickup lens. Is disclosed as a method of separating and recording. The output data (Light Field Data; hereinafter, LF data) obtained in this way records the luminous flux in which adjacent pixels are incident from different directions.
ＬＦデータからは、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用することで、任意の被写体距離からの光束が収束する焦点面における光束の配列を再現し、該被写体距離に合焦させた再構成画像を撮影後に生成することができる。 From the LF data, by extracting the luminous flux in the same direction from the pixels associated with each microlens, an image taken from that direction can be generated. In addition, by applying a technique called "Light Field Photography", the arrangement of the luminous flux on the focal plane where the luminous flux from an arbitrary subject distance converges is reproduced, and after the reconstructed image focused on the subject distance is taken. Can be generated.
このようなＬＦデータは、静止画像の記録にのみ用いられるものである必要はなく、例えばフレームごとにＬＦデータを撮像することで、任意の被写体距離に合焦させた動画像を再構成可能なデータを記録することもできる。 Such LF data need not be used only for recording a still image. For example, by capturing the LF data for each frame, it is possible to reconstruct a moving image focused on an arbitrary subject distance. Data can also be recorded.
ところで、ＬＦデータからは被写体距離の各々に合焦させた再構成画像を生成することができるため、これらを合成することで、異なる深度位置に存在する被写体に同時に合焦させた画像を生成することもできる。即ち、複数の被写体距離の各々について、該被写体距離に合焦させた再構成画像をＬＦデータから生成する処理を実行し、さらに得られた複数の再構成画像を合成することで、所望の被写界深度を有する焦点状態の静止画像を得ることができる。 By the way, since it is possible to generate a reconstructed image focused on each subject distance from the LF data, by synthesizing these, an image focused on a subject existing at a different depth position can be generated at the same time. You can also do it. That is, for each of the plurality of subject distances, a process of generating a reconstructed image focused on the subject distance from the LF data is executed, and the obtained plurality of reconstructed images are combined to obtain a desired subject. It is possible to obtain a still image in a focused state having a depth of field.
しかしながら、ＬＦデータで構成された動画像について、同様の焦点状態の画像を毎フレーム生成して再生することは、各フレームにつき１つの再構成画像を生成して動画像の再生を行う場合に比べて、処理が過大となり得る。また、再生フレームレートによっては、該再生処理が装置全体の演算リソースを逼迫し得る。 However, for a moving image composed of LF data, generating and playing back an image having the same focal state every frame is more than generating one reconstructed image for each frame and playing back the moving image. Therefore, the processing can be excessive. Further, depending on the reproduction frame rate, the reproduction process may put a strain on the computing resources of the entire device.
本発明は、上述の問題点に鑑みてなされたものであり、演算負荷を低減しつつ、所望の焦点状態の動画像の再生を行う動画再生装置、撮像装置、動画再生方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above-mentioned problems, and provides a moving image reproduction device, an imaging device, a moving image reproduction method, and a program for reproducing a moving image in a desired focal state while reducing a calculation load. The purpose is.
前述の目的を達成するために、本発明の動画再生装置は、各フレームについてのフレーム情報が、所定の被写体距離の各々に合焦させた再構成画像を生成可能な画像情報を有して構成された動画像情報を取得する取得手段と、取得手段により取得された動画像情報の再生において、合焦させる複数の被写体距離を決定する決定手段と、動画像情報を再生する再生手段であって、決定手段により決定された複数の被写体距離の各々に合焦させた再構成画像群をフレーム情報から生成し、該再構成画像群を合成することで、動画像情報のフレームに係るフレーム画像を生成して出力する再生手段と、再生手段における再構成画像の生成を制御する制御手段と、を有し、制御手段は、動画像情報の再生において、複数の被写体距離のうちの第１の被写体距離と第２の被写体距離とで、フレーム画像の生成に際し、対応するフレーム情報から再構成画像を生成する頻度を異ならせることを特徴とする。 In order to achieve the above-mentioned object, the moving image reproducing device of the present invention is configured such that the frame information for each frame has image information capable of generating a reconstructed image focused on each of a predetermined subject distance. An acquisition means for acquiring the obtained moving image information, a determination means for determining a plurality of subject distances to be focused in reproducing the moving image information acquired by the acquisition means, and a reproduction means for reproducing the moving image information. , A reconstructed image group focused on each of a plurality of subject distances determined by the determining means is generated from the frame information, and the reconstructed image group is combined to obtain a frame image related to the frame of the moving image information. It has a reproduction means for generating and outputting, and a control means for controlling the generation of the reconstructed image in the reproduction means, and the control means is the first subject among a plurality of subject distances in the reproduction of moving image information. When the frame image is generated, the frequency of generating the reconstructed image from the corresponding frame information is different between the distance and the second subject distance.
このような構成により本発明によれば、演算負荷を低減しつつ、所望の焦点状態の動画像の再生を行うことが可能となる。 According to the present invention, it is possible to reproduce a moving image in a desired focal state while reducing the calculation load.
［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にＬＦデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。
[Embodiment 1]
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In addition, one embodiment described below describes an example in which the present invention is applied to a digital camera capable of generating an image focused on an arbitrary subject distance from LF data after shooting as an example of an image processing device. .. However, the present invention is applicable to any device capable of generating an image focused on an arbitrary subject distance from LF data.
また、本明細書において、以下の用語を定義して説明する。 In addition, the following terms are defined and described in the present specification.
・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０３から出力される信号に基づく画像情報であり、光の強度分布のみならず光の入射方向の情報（光線）の情報を記録した光線空間情報を示す。ライトフィールドは、遮蔽物のない空間を飛び交う光線の「場」であり、該ライトフィールド中の１本の光線を特定するため、例えば図１２に示すような２つの平行な平面について、光線の交点の位置情報を関連付けることで記録可能となる。本実施形態ではＬＦデータに含まれる画素の各々は、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示し、１つの画素が定まれば、該画素に入射する光束が通過した撮像面における位置と光学系の瞳位置とを特定できる。
・ "Light Field (LF) data"
It is image information based on a signal output from an imaging unit 103 included in the digital camera 100 of the present embodiment, and shows light ray space information in which not only light intensity distribution but also information (light rays) in the incident direction of light is recorded. .. A light field is a "field" of light rays that fly through an unobstructed space, and in order to identify one light ray in the light field, for example, the intersection of the light rays with respect to two parallel planes as shown in FIG. It becomes possible to record by associating the position information of. In the present embodiment, each of the pixels included in the LF data shows a signal intensity corresponding to a light flux having a different combination of the pupil region and the incident direction of the passing imaging optical system, and if one pixel is determined, it is incident on the pixel. The position on the imaging surface through which the light flux passes and the pupil position of the optical system can be specified.
・「再構成画像」
ＬＦデータを構成する画素を所定の組み合わせで合成する等により新たに生成された画像であり、本実施形態では、ＬＦデータから生成される、任意の被写体距離に合焦した画像を含む。具体的には生成する被写体距離に対応するリフォーカス面（再構成面、焦点面）の各位置（再構成画像の画素に対応する位置）について、該位置を通過する光束を特定し、該当の光束に係るＬＦデータの画素値を合算することで、画素値が得られる。
・ "Reconstructed image"
It is an image newly generated by synthesizing pixels constituting the LF data in a predetermined combination or the like, and in the present embodiment, the image generated from the LF data and focused on an arbitrary subject distance is included. Specifically, for each position (position corresponding to the pixel of the reconstructed image) of the refocus surface (reconstruction surface, focus surface) corresponding to the generated subject distance, the luminous flux passing through the position is specified, and the corresponding light flux is applicable. The pixel value can be obtained by adding up the pixel values of the LF data related to the luminous flux.
《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。なお、図中、破線で示した構成については、本実施形態のデジタルカメラ１００は有しないものとして説明する。
<< Configuration of Digital Camera 100 >>
FIG. 1 is a block diagram showing a functional configuration of the digital camera 100 according to the embodiment of the present invention. In the figure, the configuration shown by the broken line will be described as not having the digital camera 100 of the present embodiment.
制御部１０６は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０６は、記録媒体１１１に記録されている各種の動作プログラムを読み出し、メモリ１０８に展開して実行することにより、各ブロックの動作を制御する。 The control unit 106 is, for example, a CPU and controls the operation of each block of the digital camera 100. Specifically, the control unit 106 controls the operation of each block by reading various operation programs recorded on the recording medium 111, expanding them into the memory 108, and executing the programs.
記録媒体１１１は、例えばデジタルカメラ１００の内蔵メモリや、デジタルカメラ１００に着脱可能に接続されるメモリカード等の、恒久的に情報を保持し、書き換え可能に構成された不揮発性の記憶装置である。記録媒体１１１は、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記録する。また記録媒体１１１は、撮影により得られたＬＦデータも記録する。記録されるＬＦデータは、静止画用のものに限られず、後述の動画再生処理において処理される、本発明に係る動画像情報としての、各フレームがＬＦデータで構成されたＬＦ動画データを含む。記録媒体１１１への情報の記録、及び記録媒体１１１に記録された情報の読み出しは、媒体制御部１１０を介して制御されるものとする。 The recording medium 111 is a non-volatile storage device that permanently holds information and is rewritable, such as a built-in memory of the digital camera 100 or a memory card that is detachably connected to the digital camera 100. .. The recording medium 111 records parameters and the like necessary for the operation of each block in addition to the operation program of each block included in the digital camera 100. The recording medium 111 also records the LF data obtained by photographing. The recorded LF data is not limited to that for still images, and includes LF moving image data in which each frame is composed of LF data as moving image information according to the present invention, which is processed in the moving image reproduction processing described later. .. The recording of information on the recording medium 111 and the reading of the information recorded on the recording medium 111 shall be controlled via the medium control unit 110.
メモリ１０８は、揮発性メモリである。メモリ１０８は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。 The memory 108 is a volatile memory. The memory 108 is used not only as an expansion area for the operation program of each block of the digital camera 100, but also as a storage area for storing intermediate data and the like output in the operation of each block.
撮像部１０３は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０３は、制御部１０６の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０１により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を取得する。また撮像部１０３は、取得したアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、データ処理可能な形式の画像信号に変換して出力する。なお、撮像光学系１０１は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０１と撮像素子との間にマイクロレンズアレイ１０２を有する。 The image pickup unit 103 is, for example, an image pickup element such as a CCD or a CMOS sensor. The image pickup unit 103 receives a timing signal output from a timing generator (TG) (not shown) according to the instruction of the control unit 106, and photoelectrically transmits an optical image formed on the photoelectric conversion element surface of the image pickup element by the image pickup optical system 101. Convert and acquire analog image signal. Further, the imaging unit 103 performs reference level adjustment (clamp processing) and A / D conversion processing on the acquired analog image signal, converts it into an image signal in a data processing format, and outputs the signal. The imaging optical system 101 includes, for example, an objective lens, a focus lens, an aperture, and the like. Further, the digital camera 100 of the present embodiment has a microlens array 102 between the image pickup optical system 101 and the image pickup element on the optical axis, in addition to the microlenses provided in each photoelectric conversion element of the image pickup element. ..
〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０１と撮像素子との間に設けられたマイクロレンズアレイ１０２について、図を用いて説明する。
<Relationship between microlens and photoelectric conversion element>
Here, in the digital camera 100 of the present embodiment, the microlens array 102 provided between the image pickup optical system 101 on the optical axis and the image pickup element will be described with reference to the drawings.
図２に示すように、本実施形態のマイクロレンズアレイ１０２は複数のマイクロレンズ２０２で構成される。図２では、撮像光学系１０１の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０２は５行５列に並んだマイクロレンズ２０２で構成されるものとして説明するが、マイクロレンズアレイ１０２の構成はこれに限られるものではない。 As shown in FIG. 2, the microlens array 102 of the present embodiment is composed of a plurality of microlenses 202. In FIG. 2, the optical axis of the imaging optical system 101 is the z-axis, the horizontal direction in the horizontal position of the digital camera 100 is the x-axis, and the vertical direction is the y-axis. In the example of FIG. 2, for simplicity, the microlens array 102 will be described as being composed of microlenses 202 arranged in 5 rows and 5 columns, but the configuration of the microlens array 102 is not limited to this. ..
また図２では、撮像部１０３を構成する撮像素子の光電変換素子２０１が格子で示されている。各マイクロレンズ２０２には、所定数の光電変換素子２０１が対応づけられており、図２の例では１つのマイクロレンズ２０２に対して枠２００で示される５×５＝２５画素の光電変換素子２０１が対応づけられている。１つのマイクロレンズ２０２を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０１に結像される。 Further, in FIG. 2, the photoelectric conversion element 201 of the image pickup element constituting the image pickup unit 103 is shown in a grid. A predetermined number of photoelectric conversion elements 201 are associated with each microlens 202. In the example of FIG. 2, the photoelectric conversion element 201 of 5 × 5 = 25 pixels shown in the frame 200 is associated with one microlens 202. Is associated with. The luminous flux that has passed through one microlens 202 is separated according to the incident direction and is imaged on the corresponding photoelectric conversion element 201.
図３は、１つのマイクロレンズ２０２に対応する光電変換素子２０１ｐ１乃至ｐ５に入射する光束を図示している。図３において、上方向は鉛直上向き方向（ｙ軸正方向）に対応している。図では、デジタルカメラ１００が横位置にある状態における、横方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０１ｐ１乃至ｐ５には、１つのマイクロレンズ２０２を介して、撮像光学系１０１の射出瞳３０１を垂直方向に５分割した領域ａ１乃至ａ５を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０１との対応関係を示している。 FIG. 3 illustrates the luminous flux incident on the photoelectric conversion elements 201p 1 to p 5 corresponding to one microlens 202. In FIG. 3, the upward direction corresponds to the vertical upward direction (the y-axis positive direction). The figure illustrates an optical path of a luminous flux incident on each photoelectric conversion element 202 when viewed from the lateral direction when the digital camera 100 is in the lateral position. As shown in the figure, the photoelectric conversion elements 201p 1 to p 5 arranged in the horizontal direction have regions a 1 to 5 in which the exit pupil 301 of the imaging optical system 101 is vertically divided into five via one microlens 202. light beam passing through the a 5 enters respectively. The numbers attached to each region indicate the correspondence with the photoelectric conversion element 201 on which the passing light flux is incident.
なお、図３の例では横方向から見た、各光電変換素子２０１に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０１の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０１のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０１とマイクロレンズアレイ１０２の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。 In the example of FIG. 3, the optical path of the luminous flux incident on each photoelectric conversion element 201 is shown when viewed from the lateral direction, but the separation of the luminous flux is performed not only in the vertical direction but also in the horizontal direction. That is, when the exit pupil 301 of the image pickup optical system 101 is classified into the regions shown in FIG. 4 (a) when viewed from the image sensor side, the luminous flux passing through each region is the photoelectric light beam as shown in FIG. 4 (b). Among the conversion elements 201, the light incident on the photoelectric conversion element having the same identification number. Here, it is assumed that the F numbers (F values) of the imaging optical system 101 and the microlenses of the microlens array 102 are substantially the same.
画像処理部１０４は、撮像部１０３により生成された画像信号に対する補正処理等を行う。具体的には画像処理部１０４は、設定された撮影モードに応じた、ホワイトバランス、γ補正等の所定の画像処理を行い、得られたＬＦデータを出力する。出力されたＬＦデータは、例えばメモリ１０８に一時的に格納されるものであってよい。 The image processing unit 104 performs correction processing and the like on the image signal generated by the image pickup unit 103. Specifically, the image processing unit 104 performs predetermined image processing such as white balance and γ correction according to the set shooting mode, and outputs the obtained LF data. The output LF data may be, for example, temporarily stored in the memory 108.
再構成部１０９は、ＬＦデータから該ＬＦデータに対応する再構成画像を生成する。再構成画像の生成に係る各種パラメータは、焦点位置や被写界深度等、その焦点状態を設定するためのものであれば、いずれが用いられてもよい。本実施形態では再構成部１０９は、合焦させる被写体距離（焦点位置）が決定されると、対応するリフォーカス面を設定して再構成画像を生成する。 The reconstruction unit 109 generates a reconstruction image corresponding to the LF data from the LF data. Any of the various parameters related to the generation of the reconstructed image may be used as long as it is for setting the focal state such as the focal position and the depth of field. In the present embodiment, when the subject distance (focus position) to be focused is determined, the reconstruction unit 109 sets the corresponding refocus plane and generates the reconstruction image.
〈再構成画像の生成方法〉
ここで、特定の被写体距離に合焦した再構成画像の生成方法の概要について、図を用いて説明する。
<How to generate a reconstructed image>
Here, an outline of a method for generating a reconstructed image focused on a specific subject distance will be described with reference to the drawings.
本実施形態のデジタルカメラ１００では、上述したように１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる分割瞳領域を通過した光束を受光する。これは、マイクロレンズアレイ１０２の全マイクロレンズについて同様であり、各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。従って、撮影により得られたＬＦデータの各画素に入射した光束は、図１２のように射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、マイクロレンズアレイ上の対応するマイクロレンズの位置座標（ｘ’，ｙ’）を用いて規定することができる。 In the digital camera 100 of the present embodiment, as described above, each of the plurality of pixels assigned to one microlens receives the light flux that has passed through the different divided pupil regions of the exit pupil of the image pickup lens. This is the same for all the microlenses of the microlens array 102, and since the luminous flux passing through the image pickup lens is incident on each microlens from different directions, all the pixels of the image pickup element are incident on the luminous flux from different directions. Will be received. Therefore, the luminous flux incident on each pixel of the LF data obtained by photographing is the coordinates (u, v) of the pupil region passed through the exit pupil as shown in FIG. 12 and the corresponding microlens on the microlens array. It can be specified using the position coordinates (x', y').
この場合、合焦させる被写体距離に対応するリフォーカス面上の画素位置を（ｘ，ｙ）とすると、ＬＦデータの画素のうち、該画素を通過した光束を受光した画素の画素値を積分することで、生成する再構成画像の該画素（ｘ，ｙ）に係る画素値が得られる。 In this case, assuming that the pixel position on the refocusing surface corresponding to the subject distance to be focused is (x, y), the pixel values of the pixels of the LF data that have received the light flux passing through the pixels are integrated. As a result, the pixel value related to the pixel (x, y) of the reconstructed image to be generated can be obtained.
図５ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されている。以下ではｘｚ平面における、再構成面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。 FIG. 5 shows the optical path of the luminous flux in the horizontal plane (xz plane) seen from the vertical direction in the horizontal position of the digital camera 100. Hereinafter, the optical path of the light flux passing through each pixel of the reconstructed surface in the xz plane will be described, but the same applies to the yz plane.
瞳領域の座標（ｕ，ｖ）、リフォーカス面上の画素座標を（ｘ，ｙ）とすると、この瞳分割領域とリフォーカス面上の該画素を通過する光束が入射するマイクロレンズアレイ１０２上のマイクロレンズの位置座標（ｘ’，ｙ’）は、
で表される。ここで、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズからリフォーカス面までの距離（αはリフォーカス係数：リフォーカス面までの距離を決定するための可変係数）である。
Assuming that the coordinates (u, v) of the pupil region and the pixel coordinates on the refocus plane are (x, y), the light beam passing through the pixel on the pupil division region and the refocus plane is incident on the microlens array 102. The position coordinates (x', y') of the microlens of
It is represented by. Here, F is the distance from the image pickup lens to the microlens array, αF is the distance from the photographing lens to the refocus surface (α is the refocus coefficient: a variable coefficient for determining the distance to the refocus surface).
また該光束が受光される光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上について生成される再構成画像の座標（ｘ，ｙ）の画素値Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、
で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。この場合、本実施形態のように複数の光電変換素子に対応付けたマイクロレンズを用いて瞳分割を行う態様では、図４を用いて説明したように、瞳領域に対応する光束が結像される光電変換素子は、マイクロレンズごとに定まる。故に、該積分式において、１つの画素値Ｅ（ｘ，ｙ）は、各瞳分割領域から入射し、（ｘ，ｙ）を通過して至るマイクロレンズの各々につき、瞳分割領域に対応する光電変換素子の出力値を合算することで得られる。
Further, assuming that the output of the photoelectric conversion element that receives the light flux is L (x', y', u, v), the pixel value E of the coordinates (x, y) of the reconstructed image generated on the refocus plane. (X, y) is the integral of L (x', y', u, v) with respect to the pupil region of the photographing lens.
It is represented by. By using (u, v) as the representative coordinates of the pupil region, the equation can be calculated by simple addition. In this case, in the embodiment in which the pupil is divided by using the microlenses associated with the plurality of photoelectric conversion elements as in the present embodiment, the luminous flux corresponding to the pupil region is imaged as described with reference to FIG. The photoelectric conversion element is determined for each microlens. Therefore, in the integration formula, one pixel value E (x, y) is photoelectric corresponding to the pupil division region for each of the microlenses incident from each pupil division region and passing through (x, y). It is obtained by adding up the output values of the conversion elements.
表示部１０５は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１０５は、デジタルカメラ１００のユーザインタフェース画面の表示や、電子ビューファインダとしての使用、あるいは撮影した画像の表示に用いられる。また表示部１０５は、再構成部１０９により生成され出力された、任意の被写体距離に合焦した再構成画像を表示する。 The display unit 105 is a display device included in a digital camera 100 such as a small LCD. The display unit 105 is used for displaying the user interface screen of the digital camera 100, using it as an electronic viewfinder, or displaying a captured image. Further, the display unit 105 displays the reconstructed image generated and output by the reconstructing unit 109 and focused on an arbitrary subject distance.
操作入力部１０７は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１０７は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０６に出力する。例えば操作入力部１０７は、撮影モードの設定など、撮影に関わる様々な情報を制御部１０６へ出力する。またレリーズスイッチが出力する信号は、ＡＥやＡＦの動作開始トリガや、撮影の開始トリガとして利用される。制御部１０６はこれらの開始トリガを受けて、撮像部１０３、表示部１０５をはじめとする、撮像装置の各部の制御を行う。 The operation input unit 107 is a user interface included in the digital camera 100, such as a power button and a shutter button. When the operation input unit 107 detects that the user interface has been operated by the user, the operation input unit 107 outputs a control signal corresponding to the operation to the control unit 106. For example, the operation input unit 107 outputs various information related to shooting such as setting of the shooting mode to the control unit 106. The signal output by the release switch is used as an operation start trigger for AE and AF and a start trigger for shooting. In response to these start triggers, the control unit 106 controls each unit of the image pickup apparatus, including the image pickup unit 103 and the display unit 105.
なお、本実施形態ではハードウェアとしてデジタルビデオカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。 In this embodiment, it is assumed that the processing is realized by a circuit or a processor corresponding to each block included in the digital video camera 100 as hardware. However, the implementation of the present invention is not limited to this, and the processing of each block may be realized by a program that performs the same processing as each block.
《動画再生処理》
このような構成をもつ本実施形態のデジタルカメラ１００において実行される動画再生処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０６が、例えば記録媒体１１１に記録されている対応する処理プログラムを読み出し、メモリ１０８に展開して実行することにより実現することができる。本動画再生処理は、例えば記録媒体１１１に記録されているＬＦ動画データについての再生指示がなされた際に開始されるものとして説明する。
《Video playback processing》
The moving image reproduction process executed in the digital camera 100 of the present embodiment having such a configuration will be described with reference to the flowchart of FIG. The processing corresponding to the flowchart can be realized by the control unit 106 reading, for example, the corresponding processing program recorded on the recording medium 111, expanding it into the memory 108, and executing it. This moving image reproduction process will be described as being started, for example, when a reproduction instruction is given for the LF moving image data recorded on the recording medium 111.
なお、本実施形態では撮影処理により順次取得されたＬＦデータがＬＦ動画データとして記録媒体１１１に予め記録され、該ＬＦ動画データについての再生指示を受け付けることで、再構成画像の生成を含む各種の再生処理が行われるものとして説明する。しかしながら、本発明の実施はこれに限られるものでなはない。例えば、ＬＦ動画データの撮像中やスルー画像の表示中等、動画像と同様に連続的にＬＦデータが取得されている状況において、ＬＦデータと対応するフレーム画像を順次生成して表示部１０５に表示（再生）する態様においても、本発明は適用可能である。 In the present embodiment, the LF data sequentially acquired by the shooting process is recorded in advance on the recording medium 111 as the LF moving image data, and by receiving the reproduction instruction for the LF moving image data, various types including the generation of the reconstructed image are included. It will be described as assuming that the reproduction process is performed. However, the practice of the present invention is not limited to this. For example, in a situation where LF data is continuously acquired as in a moving image, such as during imaging of LF moving image data or display of a through image, frame images corresponding to the LF data are sequentially generated and displayed on the display unit 105. The present invention is also applicable in the aspect of (regeneration).
Ｓ６０１で、制御部１０６は、再生指示のなされたＬＦ動画データ（対象ＬＦ動画データ）の記録媒体１１１からの読み出しを開始する。対象ＬＦ動画データの読み出しは、例えば該ＬＦ動画データの開始（先頭）フレームからフレーム順に、各フレームに係るＬＦデータ（フレーム情報）がメモリ１０８に格納されるものであってよく、媒体制御部１１０は制御命令に従い順次読み出しを行う。 In S601, the control unit 106 starts reading the LF moving image data (target LF moving image data) for which the reproduction instruction has been given from the recording medium 111. For reading the target LF moving image data, for example, the LF data (frame information) related to each frame may be stored in the memory 108 in the order of frames from the start (first) frame of the LF moving image data, and the medium control unit 110 Reads sequentially according to the control command.
Ｓ６０２で、制御部１０６は、対象ＬＦ動画データの再生に係り、フレーム画像において合焦させる複数の被写体距離を決定する。本実施形態のデジタルカメラ１００ではＬＦ動画データの再生にあたり、各フレームにて、少なくとも異なると判別される複数の被写体距離に合焦させたフレーム画像が、表示部１０５に表示されるものとする。換言すれば、フレーム画像は、フレームに係る１つのＬＦデータから、複数の被写体距離の各々に合焦させるよう生成された再構成画像群を合成することにより生成されるものであり、フレーム画像中、異なる被写体距離の被写体に合焦した状態となる。合焦させる複数の被写体距離は、例えばユーザにより設定されるものであってもよいし、所定の間隔を設けて定められた被写体距離の全てが設定、または一部が選択的に設定されるものであってよい。 In S602, the control unit 106 is involved in the reproduction of the target LF moving image data, and determines a plurality of subject distances to be focused in the frame image. In the digital camera 100 of the present embodiment, when reproducing the LF moving image data, a frame image focused on a plurality of subject distances determined to be at least different in each frame is displayed on the display unit 105. In other words, the frame image is generated by synthesizing a reconstructed image group generated so as to focus on each of a plurality of subject distances from one LF data related to the frame, and is generated in the frame image. , The subject is in focus at a different subject distance. The plurality of subject distances to be focused may be set by the user, for example, all of the subject distances set at predetermined intervals are set, or some of them are selectively set. It may be.
Ｓ６０３で、再構成部１０９は制御部１０６の制御の下、対象ＬＦ動画データの再生するフレームについて、フレーム画像を生成する生成処理を実行する。本ステップの処理は、対象ＬＦ動画データの各フレームについて実行されるものであり、最初の実行時は再生指示のなされた開始フレームについて行われる。 In S603, under the control of the control unit 106, the reconstruction unit 109 executes a generation process for generating a frame image for the frame to be reproduced of the target LF moving image data. The processing of this step is executed for each frame of the target LF moving image data, and is performed for the start frame for which the reproduction instruction is given at the first execution.
〈生成処理〉
ここで、本ステップで行われる生成処理について、図７のフローチャートを用いて詳細を説明する。
<Generation process>
Here, the generation process performed in this step will be described in detail with reference to the flowchart of FIG.
Ｓ７０１で、再構成部１０９は、フレーム画像において合焦させる複数の被写体距離のうち、まだ再構成画像の生成判断を行っていない被写体距離を、対象距離として選択する。対象距離の選択は、例えば距離の短い順や長い順等、いずれの順序で選択されるものであってよい。 In S701, the reconstruction unit 109 selects, as the target distance, a subject distance for which the generation determination of the reconstruction image has not yet been made, out of the plurality of subject distances to be focused in the frame image. The target distance may be selected in any order, for example, in the order of shortest distance or longest distance.
Ｓ７０２で、再構成部１０９は、対象距離に合焦させた再構成画像を現在のフレームに対応するＬＦデータから生成するか否かを判断する。本実施形態のデジタルカメラ１００では、図８に示されるように、ＬＦ動画データの再生において、フレーム画像を生成するために、対応するＬＦデータから再構成画像を生成するか否かが被写体距離に応じて設定される。 In S702, the reconstruction unit 109 determines whether or not to generate the reconstruction image focused on the target distance from the LF data corresponding to the current frame. In the digital camera 100 of the present embodiment, as shown in FIG. 8, in order to generate a frame image in the reproduction of LF moving image data, whether or not to generate a reconstructed image from the corresponding LF data depends on the subject distance. It is set accordingly.
図８の例は、対象ＬＦ動画データの再生につき、Ｓ０〜Ｓ４の５種類の被写体距離に合焦させた再構成画像を合成することでフレーム画像を生成する態様を示している。図は、時刻ｔで識別される各フレームにつき示される矩形が、合成する５種類の再構成画像を表しており、これらを合成して生成された１つのフレーム画像が、最下部の矩形にて示される。また矩形のうち、ハッチングを付して示された矩形は、フレームに対応するＬＦデータから、被写体距離に合焦させた再構成画像を生成して合成に用いることを表している。例えば時刻ｔ０のフレームでは、被写体距離Ｓ０〜Ｓ４の全てについて、合焦させた再構成画像を時刻ｔ０のＬＦデータから生成し、合成することでフレーム画像の生成が行われることを示している。一方で、例えば時刻ｔ２のフレームでは、被写体距離Ｓ０〜Ｓ２については合焦させた再構成画像を時刻ｔ２のＬＦデータから生成するが、被写体距離Ｓ３及びＳ４については合焦させた再構成画像を時刻ｔ２のＬＦデータから生成しない。このとき、時刻ｔ２のフレーム画像の生成のために合成される再構成画像は、時刻ｔ２のＬＦデータから生成されたＳ０〜Ｓ２に係る３種類の再構成画像と、先行する時刻ｔ０のＬＦデータから生成されたＳ３及びＳ４に係る２種類の再構成画像となる。 The example of FIG. 8 shows a mode in which a frame image is generated by synthesizing reconstructed images focused on five types of subject distances S0 to S4 for reproducing the target LF moving image data. In the figure, the rectangle shown for each frame identified at time t represents five types of reconstructed images to be combined, and one frame image generated by combining these is the rectangle at the bottom. Shown. Further, among the rectangles, the rectangles shown with hatches indicate that a reconstructed image focused on the subject distance is generated from the LF data corresponding to the frame and used for compositing. For example, in the frame at time t0, it is shown that the frame image is generated by generating focused reconstructed images from the LF data at time t0 and synthesizing them for all of the subject distances S0 to S4. On the other hand, for example, in the frame at time t2, the reconstructed image focused on the subject distances S0 to S2 is generated from the LF data at time t2, but the reconstructed image focused on the subject distances S3 and S4 is generated. It is not generated from the LF data at time t2. At this time, the reconstructed images synthesized for generating the frame image at time t2 are the three types of reconstructed images related to S0 to S2 generated from the LF data at time t2, and the preceding LF data at time t0. There are two types of reconstructed images related to S3 and S4 generated from.
即ち、図８の例では被写体距離Ｓ０及びＳ１については、全てのフレームにつき、それぞれの距離に合焦させた再構成画像が、対応するＬＦデータから生成される。一方、被写体距離Ｓ２については、１フレームおきに、該距離に合焦させた再構成画像が、対応するＬＦデータから生成される。また被写体距離Ｓ３及びＳ４については、２フレームおきに、それぞれに距離に合焦させた再構成画像が、対応するＬＦデータから生成される。なお、フレームに対応するＬＦデータから再構成画像を生成しない被写体距離については、例えば直近に該距離に合焦させて生成された再構成画像、即ち先行フレームにつき生成された再構成画像が、フレーム画像の合成に用いられるものとする。 That is, in the example of FIG. 8, for the subject distances S0 and S1, reconstructed images focused on the respective distances are generated from the corresponding LF data for all the frames. On the other hand, for the subject distance S2, a reconstructed image focused on the distance is generated from the corresponding LF data every other frame. For the subject distances S3 and S4, reconstructed images focused on the distances are generated from the corresponding LF data every two frames. Regarding the subject distance in which the reconstructed image is not generated from the LF data corresponding to the frame, for example, the reconstructed image generated by focusing on the distance most recently, that is, the reconstructed image generated for the preceding frame is the frame. It shall be used for image composition.
つまり、本実施形態のデジタルカメラ１００ではＬＦ動画データの再生にあたり、フレーム画像の合成処理に用いる再構成画像を、フレームに対応するＬＦデータから新たに生成する頻度が被写体距離ごとに異なって定めることで、再生に係る演算量を低減する。 That is, in the digital camera 100 of the present embodiment, when reproducing the LF moving image data, the frequency of newly generating the reconstructed image used for the frame image compositing process from the LF data corresponding to the frame is determined differently for each subject distance. Therefore, the amount of calculation related to reproduction is reduced.
図９は、本実施形態の生成処理において用いられる、被写体距離ｆｎと該被写体距離に合焦させた再構成画像を生成する時間方向の頻度Ｒｎ（所定フレーム中に再構成画像を生成するフレーム数の割合に対応）との関係を示している。図示されるように、本実施形態では生成する頻度Ｒｎは、
Ｒｎ＝１ （ｆｎ＜Ｌ１）
Ｒｎ＝１−（２／３）×（ｆｎ−Ｌ１）／（Ｌ２−Ｌ１） （Ｌ１≦ｆｎ≦Ｌ２）
Ｒｎ＝１／３ （ｆｎ＞Ｌ２）
として定められる。ここで、被写体距離が長くなるほど再構成画像の生成頻度Ｒｎが低下していることは、遠離している被写体ほど、フレーム間で移動したとしても、該移動の影響が再構成画像に現れにくいことに依る。即ち、遠離している被写体の移動は、同様の移動を近接している被写体が行った場合と比べて、再構成画像内での変化量が小さいと言えるため、先行するフレームについて生成した再構成画像を合成に用いたとしても「見え」の変化が少ないことに依る。
FIG. 9 shows the subject distance fn and the frequency Rn in the time direction for generating the reconstructed image focused on the subject distance Rn (the number of frames for generating the reconstructed image in a predetermined frame) used in the generation process of the present embodiment. Corresponds to the ratio of). As shown, the frequency Rn generated in this embodiment is
Rn = 1 (fn <L1)
Rn = 1- (2/3) × (fn-L1) / (L2-L1) (L1 ≦ fn ≦ L2)
Rn = 1/3 (fn> L2)
Is defined as. Here, the fact that the generation frequency Rn of the reconstructed image decreases as the subject distance increases means that the farther the subject is, the less the influence of the movement appears in the reconstructed image even if it moves between frames. Depends on. That is, it can be said that the movement of a distant subject has a smaller amount of change in the reconstructed image than the case where a similar movement is performed by a nearby subject. Therefore, the reconstruction generated for the preceding frame Even if the image is used for compositing, there is little change in "appearance".
従って、本実施形態のデジタルカメラ１００では、ＬＦ動画データの再生にあたり、フレーム画像に合成する再構成画像の生成頻度（生成タイミング）が被写体距離ごとに定められており、再構成部１０９はこれに基づき、本ステップの判断を行う。なお、任意の被写体距離ｆｎについて再構成画像を生成するフレーム番号（０から開始）は、該距離に係る生成頻度Ｒｎを用いて
ｉｎｔ（Ｎ／Ｒｎ） （Ｎ＝０，１，２・・・）
で特定することができる。ここで、ｉｎｔ（）は整数値（切り捨て）を返す関数である。再構成部１０９は、対象距離に合焦させた再構成画像を、現在のフレームに対応するＬＦデータから生成すると判断した場合は処理をＳ７０３に移し、生成しないと判断した場合は処理をＳ７０４に移す。
Therefore, in the digital camera 100 of the present embodiment, when reproducing the LF moving image data, the generation frequency (generation timing) of the reconstructed image to be combined with the frame image is determined for each subject distance, and the reconstructing unit 109 determines this. Based on this, the judgment of this step is made. The frame number (starting from 0) for generating the reconstructed image for an arbitrary subject distance fn is int (N / Rn) (N = 0, 1, 2, ...) Using the generation frequency Rn related to the distance. )
Can be specified by. Here, int () is a function that returns an integer value (truncation). When the reconstruction unit 109 determines that the reconstructed image focused on the target distance is generated from the LF data corresponding to the current frame, the process is transferred to S703, and when it is determined that the image is not generated, the process is transferred to S704. Transfer.
Ｓ７０３で、再構成部１０９は、現在のフレームに対応するＬＦデータから、対象距離に合焦させた再構成画像を生成し、現在フレームの合成用の画像としてメモリ１０８に格納する。一方、Ｓ７０２において生成しないと判断した場合、再構成部１０９はＳ７０４で、先攻するフレームに対応するＬＦデータについて、既に生成された対象距離に合焦させた再構成画像を選択し、現在フレームの合成用の画像としてメモリ１０８に格納する。 In S703, the reconstruction unit 109 generates a reconstruction image focused on the target distance from the LF data corresponding to the current frame, and stores it in the memory 108 as an image for compositing the current frame. On the other hand, when it is determined in S702 that the reconstruction image is not generated, the reconstruction unit 109 selects the reconstruction image focused on the already generated target distance for the LF data corresponding to the first frame in S704, and selects the reconstruction image of the current frame. It is stored in the memory 108 as an image for compositing.
Ｓ７０５で、再構成部１０９は、フレーム画像において合焦させる複数の被写体距離の全てについて再構成画像の生成判断を行ったか否かを判断する。再構成部１０９は、全ての被写体距離について再構成画像の生成判断を行ったと判断した場合は処理をＳ７０６に移し、まだ生成判断を行っていない被写体距離が存在する場合は処理をＳ７０１に戻す。 In S705, the reconstruction unit 109 determines whether or not the generation determination of the reconstruction image has been performed for all of the plurality of subject distances to be focused in the frame image. When the reconstruction unit 109 determines that the generation determination of the reconstructed image has been performed for all the subject distances, the processing is transferred to S706, and when there is a subject distance for which the generation determination has not yet been performed, the processing is returned to S701.
Ｓ７０６で、再構成部１０９は、現在フレームの合成用の画像として格納された複数の再構成画像を合成して現在フレームに係るフレーム画像を生成し、本生成処理を完了する。 In S706, the reconstruction unit 109 synthesizes a plurality of reconstruction images stored as images for compositing the current frame to generate a frame image related to the current frame, and completes the generation process.
このようにしてフレーム画像が生成されると、制御部１０６は動画再生処理のＳ６０４で、フレーム画像を表示部１０５に表示する。フレーム画像は、１フレーム時間分表示されるものであり、該時間の経過後は、次のフレームに係るフレーム画像が表示されることで、対象ＬＦ動画データの再生が実現される。 When the frame image is generated in this way, the control unit 106 displays the frame image on the display unit 105 in S604 of the moving image reproduction process. The frame image is displayed for one frame time, and after the lapse of the time, the frame image related to the next frame is displayed, so that the target LF moving image data can be reproduced.
Ｓ６０５で、制御部１０６は、対象ＬＦ動画データの再生停止指示がなされたか否かを判断する。制御部１０６は、再生停止指示がなされたと判断した場合、対象ＬＦ動画データの読み出し、及びフレーム画像の表示を停止し、本動画再生処理を完了する。一方、再生停止指示がなされていないと判断した場合、制御部１０６は処理対象のフレームを次のフレームに変更し、処理をＳ６０３に戻す。 In S605, the control unit 106 determines whether or not the playback stop instruction of the target LF moving image data has been given. When the control unit 106 determines that the playback stop instruction has been given, the control unit 106 stops reading the target LF moving image data and displaying the frame image, and completes the moving image playback process. On the other hand, when it is determined that the playback stop instruction has not been given, the control unit 106 changes the frame to be processed to the next frame and returns the processing to S603.
以上説明したように、本実施形態のデジタルカメラ１００によれば、演算負荷を低減しつつ、所望の焦点状態の動画像の再生を行うことが可能となる。より詳しくは、複数の被写体距離に合焦させた焦点状態のフレーム画像を提示するＬＦ動画データの再生に係り、合成元となる再構成画像の生成に係るフレームあたりの平均演算量を低減することができる。 As described above, according to the digital camera 100 of the present embodiment, it is possible to reproduce a moving image in a desired focal state while reducing the calculation load. More specifically, it is related to the reproduction of LF moving image data that presents a frame image in a focused state focused on a plurality of subject distances, and reduces the average calculation amount per frame related to the generation of a reconstructed image as a composition source. Can be done.
［実施形態２］
上述した実施形態１では、被写体距離に応じて再構成画像を生成する頻度が定められるものとして説明した。一方、人物の顔領域等、ユーザが注目し得る被写体については、生成頻度が低減することで、連続するフレーム画像間での更新が荒くなり、観賞に違和感を与え得る。本実施形態ではさらに所定の被写体を検出し、該検出結果に基づき、再構成画像の生成頻度を制御する態様について説明する。
[Embodiment 2]
In the first embodiment described above, it has been described that the frequency of generating the reconstructed image is determined according to the subject distance. On the other hand, for a subject that the user can pay attention to, such as a face area of a person, by reducing the generation frequency, the update between continuous frame images becomes rough, which may give a sense of discomfort to the viewing. In the present embodiment, a mode in which a predetermined subject is further detected and the frequency of generating a reconstructed image is controlled based on the detection result will be described.
《デジタルカメラ１００の構成》
本実施形態のデジタルカメラ１００は、実施形態１について説明した機能構成に加え、図１に破線で示した構成、検出部１２１及び合焦判定部１２２をさらに有する。
<< Configuration of Digital Camera 100 >>
The digital camera 100 of the present embodiment further includes a configuration shown by a broken line in FIG. 1, a detection unit 121, and a focusing determination unit 122, in addition to the functional configuration described for the first embodiment.
検出部１２１は、再構成部１０９により生成された再構成画像について、所定の被写体が存在するかを検出する。本実施形態では所定の被写体は人物の顔であるものとして説明するが、本発明の実施はこれに限られるものではなく、例えば人物の顔に限らず人体を所定の被写体とするものであってもよい。また、ユーザが注目し得る被写体としては、フレーム間での移動を伴う動体を含むものであってもよい。検出部１２１により行われる検出は、例えばパターンマッチング方式等、あらゆる方式に基づき行われるものであってよい。 The detection unit 121 detects whether or not a predetermined subject exists in the reconstructed image generated by the reconstructed unit 109. In the present embodiment, the predetermined subject is described as being the face of a person, but the embodiment of the present invention is not limited to this, and for example, the subject is not limited to the face of a person but the human body is a predetermined subject. May be good. Further, the subject that the user can pay attention to may include a moving object that moves between frames. The detection performed by the detection unit 121 may be performed based on any method such as a pattern matching method.
合焦判定部１２２は、検出部１２１により再構成画像から検出された所定の被写体が、該再構成画像において合焦しているか否かを判定する。合焦判定部１２２は、例えば人物の顔が検出された領域の周波数成分を算出し、該周波数成分がある一定の基準値を超えていた場合に、合焦していると判定するものであってよい。 The focusing determination unit 122 determines whether or not a predetermined subject detected from the reconstructed image by the detection unit 121 is in focus in the reconstructed image. The in-focus determination unit 122 calculates, for example, a frequency component in a region where a person's face is detected, and determines that the person is in focus when the frequency component exceeds a certain reference value. You can.
《生成処理》
以下、本実施形態に係る、動画再生処理のＳ６０３で実行される生成処理について、図１０のフローチャートを用いて詳細を説明する。なお、本実施形態の生成処理の説明において、実施形態１と同様の処理を行うステップには同一の参照番号を付し、以下では本実施形態に特徴的な動作を行うステップについてのみ説明する。
《Generation process》
Hereinafter, the generation process executed in S603 of the moving image reproduction process according to the present embodiment will be described in detail with reference to the flowchart of FIG. In the description of the generation process of the present embodiment, the same reference number is assigned to the step of performing the same process as that of the first embodiment, and only the step of performing the operation characteristic of the present embodiment will be described below.
Ｓ７０１において対象距離が選択されると、再構成部１０９はＳ１００１で、対象距離に合焦させた再構成画像を現在のフレームに対応するＬＦデータから生成するか否かを判断する。本実施形態のデジタルカメラ１００では、図１１に示されるように再構成画像の生成は基本的には１フレームおきに行われ、合焦状態で所定の被写体が検出された被写体距離についてのみ、生成が行われないフレームにおいても再構成画像の生成が行われる。故に、本実施形態の生成処理では、フレーム画像において合焦させる複数の被写体距離の各々について、次のフレームにおいても再構成画像の生成を行うか否かを示す、例えば論理型の情報であってよい次回生成フラグが管理される。そして本ステップで再構成部１０９は、次回生成フラグが真（Ｔｒｕｅ）であるか否かに応じて判断を行う。なお、次回生成フラグは、後述するように、合焦状態の所定の被写体が検出されない被写体距離についても、フラグの更新は毎フレーム更新されるものであってよい。再構成部１０９は、対象距離に合焦させた再構成画像を現在のフレームに対応するＬＦデータから生成すると判断した場合は処理をＳ７０３に移し、生成しないと判断した場合は処理をＳ７０４に移す。 When the target distance is selected in S701, the reconstruction unit 109 determines in S1001 whether or not to generate the reconstructed image focused on the target distance from the LF data corresponding to the current frame. In the digital camera 100 of the present embodiment, as shown in FIG. 11, the reconstructed image is basically generated every other frame, and is generated only for the subject distance at which a predetermined subject is detected in the focused state. The reconstructed image is generated even in the frame in which the above is not performed. Therefore, in the generation process of the present embodiment, for each of the plurality of subject distances to be focused in the frame image, for example, logical type information indicating whether or not the reconstructed image is generated in the next frame. Good next generation flags are managed. Then, in this step, the reconstruction unit 109 determines whether or not the next generation flag is true (True). As will be described later, the next generation flag may be updated every frame even for a subject distance in which a predetermined subject in the focused state is not detected. When the reconstruction unit 109 determines that the reconstructed image focused on the target distance is generated from the LF data corresponding to the current frame, the process is transferred to S703, and when it is determined that the image is not generated, the process is transferred to S704. ..
Ｓ７０３において対象距離に合焦させた再構成画像が生成されると、制御部１０６はＳ１００２で、該再構成画像に所定の被写体が存在するか否かを判断する。本ステップの判断は、生成された再構成画像について検出部１２１が所定の被写体を検出したか否かに基づき行われる。制御部１０６は、生成された再構成画像に所定の被写体が存在すると判断した場合は処理をＳ１００３に移し、存在しないと判断した場合は処理をＳ１００５に移す。 When the reconstructed image focused on the target distance is generated in S703, the control unit 106 determines in S1002 whether or not a predetermined subject exists in the reconstructed image. The determination in this step is made based on whether or not the detection unit 121 has detected a predetermined subject in the generated reconstructed image. When the control unit 106 determines that a predetermined subject exists in the generated reconstructed image, the process is transferred to S1003, and when it is determined that the predetermined subject does not exist, the control unit 106 shifts the process to S1005.
Ｓ１００３で、制御部１０６は、生成された再構成画像において所定の被写体に合焦しているか否かを判断する。本ステップの判断は、再構成画像中の所定の被写体が検出された領域についての合焦判定部１２２の判定結果に基づいて行われる。制御部１０６は、所定の被写体に合焦していると判断した場合は処理をＳ１００４に移し、合焦していないと判断した場合は処理をＳ１００５に移す。 In S1003, the control unit 106 determines whether or not the generated reconstructed image is in focus on a predetermined subject. The determination in this step is performed based on the determination result of the focusing determination unit 122 for the region where a predetermined subject is detected in the reconstructed image. When the control unit 106 determines that the subject is in focus, the process is transferred to S1004, and when it is determined that the subject is not in focus, the control unit 106 shifts the process to S1005.
Ｓ１００４で、制御部１０６は、対象距離についての次回生成フラグを真に設定し、処理をＳ７０５に移す。また生成された再構成画像に所定の被写体が存在しない、あるいは存在するが合焦していないと判断した場合、制御部１０６はＳ１００５で、対象距離についての次回生成フラグを偽（Ｆａｌｓｅ）に設定し、処理をＳ７０５に移す。またＳ７０４において先攻フレームに対応するＬＦデータにつき既に生成された再構成画像を合成用の画像として選択した場合、制御部１０６はＳ１００６で、対象距離についての次回生成フラグを真に設定し、処理をＳ７０５に移す。 In S1004, the control unit 106 truly sets the next generation flag for the target distance and shifts the process to S705. If it is determined that the predetermined subject does not exist in the generated reconstructed image, or if it exists but is not in focus, the control unit 106 sets S1005 to set the next generation flag for the target distance to False. Then, the process is transferred to S705. Further, when the reconstructed image already generated for the LF data corresponding to the first frame in S704 is selected as the image for compositing, the control unit 106 truly sets the next generation flag for the target distance in S1006 and performs processing. Transfer to S705.
このようにすることで、フレーム画像において合焦させる複数の被写体距離について、該距離に合焦させた再構成画像の生成頻度を、該被写体距離に所定の被写体が存在するか否かに応じて制御することができる。 By doing so, with respect to a plurality of subject distances to be focused in the frame image, the frequency of generating the reconstructed image focused on the distance is determined according to whether or not a predetermined subject exists at the subject distance. Can be controlled.
なお、本実施形態では所定の被写体が存在しない被写体距離については１フレームおきに再構成画像の生成を行うものとして説明したが、本発明の実施はこれに限られるものではない。即ち、生成頻度は１フレームおきに限られる必要はなく、例えば実施形態１のように被写体距離の長さに応じて変化するように定められるものであってもよい。また実施形態１の生成頻度の制御と並行して本実施形態の制御を行う場合、特定の被写体距離に合焦状態の所定の被写体が検出されたことをもって、該被写体距離に係る生成頻度を増加させるよう制御するものであってもよい。このとき、生成頻度を増加させたことで、再構成画像の生成に係る全体の演算量も増大するため、所定の被写体に合焦していない被写体距離に係る生成頻度を減少させるよう制御を行うものとしてもよい。 In the present embodiment, it has been described that a reconstructed image is generated every other frame for a subject distance in which a predetermined subject does not exist, but the implementation of the present invention is not limited to this. That is, the generation frequency does not have to be limited to every other frame, and may be determined so as to change according to the length of the subject distance as in the first embodiment. Further, when the control of the present embodiment is performed in parallel with the control of the generation frequency of the first embodiment, the generation frequency related to the subject distance is increased by detecting a predetermined subject in the focused state at a specific subject distance. It may be controlled to cause. At this time, since the total amount of calculation related to the generation of the reconstructed image also increases by increasing the generation frequency, control is performed so as to reduce the generation frequency related to the subject distance that is not in focus on the predetermined subject. It may be a thing.
またさらに、所定の被写体が動体である場合には、連続するフレーム画像間の検出結果に基づき動体の移動予測が可能となる。従って、該移動予測に基づき、移動先の被写体距離及び移動前の被写体距離等、動体に対応する被写体距離に係る生成頻度を制御するようにしてもよい。 Furthermore, when a predetermined subject is a moving object, it is possible to predict the movement of the moving object based on the detection result between consecutive frame images. Therefore, based on the movement prediction, the generation frequency related to the subject distance corresponding to the moving object, such as the subject distance at the moving destination and the subject distance before moving, may be controlled.
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
[Other Embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１００：デジタルカメラ、１０３：撮像部、１０５：表示部、１０６：制御部、１０７：操作入力部、１０８：メモリ、１０９：再構成部、１１０：媒体制御部、１１１：記録媒体、１２１：検出部、１２２：合焦判定部 100: Digital camera, 103: Imaging unit, 105: Display unit, 106: Control unit, 107: Operation input unit, 108: Memory, 109: Reconstruction unit, 110: Media control unit, 111: Recording medium, 121: Detection Unit, 122: Focus determination unit
Claims (12)
前記取得手段により取得された前記動画像情報の再生において、合焦させる複数の被写体距離を決定する決定手段と、
前記動画像情報を再生する再生手段であって、前記決定手段により決定された前記複数の被写体距離の各々に合焦させた再構成画像群を前記フレーム情報から生成し、該再構成画像群を合成することで、前記動画像情報のフレームに係るフレーム画像を生成して出力する再生手段と、
前記再生手段における再構成画像の生成を制御する制御手段と、を有し、
前記制御手段は、前記動画像情報の再生において、前記複数の被写体距離のうちの第１の被写体距離と第２の被写体距離とで、フレーム画像の生成に際し、対応する前記フレーム情報から再構成画像を生成する頻度を異ならせる
ことを特徴とする動画再生装置。 An acquisition means for acquiring moving image information composed of frame information for each frame having image information capable of generating a reconstructed image focused on each of a predetermined subject distance, and
In the reproduction of the moving image information acquired by the acquisition means, a determination means for determining a plurality of subject distances to be focused and a determination means.
A reproduction means for reproducing the moving image information, a reconstructed image group focused on each of the plurality of subject distances determined by the determination means is generated from the frame information, and the reconstructed image group is generated. A reproduction means for generating and outputting a frame image related to a frame of the moving image information by synthesizing the image.
It has a control means for controlling the generation of the reconstructed image in the reproduction means, and has.
When the control means reproduces the moving image information, the first subject distance and the second subject distance of the plurality of subject distances are used to generate a frame image, and the control means reconstructs an image from the corresponding frame information. A video playback device characterized in that the frequency of generating images is different.
前記制御手段は、前記検出手段による検出結果に応じて、フレーム画像の生成に際し、対応する前記フレーム情報から再構成画像を生成する頻度を制御することを特徴とする請求項１乃至４のいずれか１項に記載の動画再生装置。 Further, it has a detection means for detecting whether or not the subject is in focus in the reconstructed image generated so as to focus on each of the plurality of subject distances.
Any of claims 1 to 4, wherein the control means controls the frequency of generating a reconstructed image from the corresponding frame information when generating a frame image according to the detection result by the detection means. The moving image playback device according to item 1.
記録された前記動画像情報を再生する、請求項１乃至９のいずれか１項に記載の動画再生装置と、
を有することを特徴とする撮像装置。 An imaging means for acquiring and recording moving image information composed of frame information for each frame having image information capable of generating a reconstructed image focused on each of a predetermined subject distance by imaging. ,
The moving image playback device according to any one of claims 1 to 9, which reproduces the recorded moving image information.
An imaging device characterized by having.
前記取得工程において取得された前記動画像情報の再生において、合焦させる複数の被写体距離を決定する決定工程と、
前記動画像情報を再生する再生工程であって、前記決定工程において決定された前記複数の被写体距離の各々に合焦させた再構成画像群を前記フレーム情報から生成し、該再構成画像群を合成することで、前記動画像情報のフレームに係るフレーム画像を生成して出力する再生工程と、
前記再生工程における再構成画像の生成を制御する制御工程と、を有し、
前記制御工程において、前記動画像情報の再生において、前記複数の被写体距離のうちの第１の被写体距離と第２の被写体距離とで、フレーム画像の生成に際し、対応する前記フレーム情報から再構成画像を生成する頻度が異なるよう制御される
ことを特徴とする動画再生方法。 An acquisition step of acquiring moving image information composed of frame information for each frame having image information capable of generating a reconstructed image focused on each of a predetermined subject distance, and
In the reproduction of the moving image information acquired in the acquisition step, a determination step of determining a plurality of subject distances to be focused and a determination step.
In the reproduction step of reproducing the moving image information, a reconstructed image group focused on each of the plurality of subject distances determined in the determination step is generated from the frame information, and the reconstructed image group is generated. A reproduction process of generating and outputting a frame image related to the frame of the moving image information by synthesizing the image.
It has a control step of controlling the generation of the reconstructed image in the reproduction step, and
In the control step, in the reproduction of the moving image information, the first subject distance and the second subject distance of the plurality of subject distances are reconstructed from the corresponding frame information when a frame image is generated. A video playback method characterized in that the frequency of generating images is controlled to be different.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016251917A JP6757245B2 (en) | 2016-12-26 | 2016-12-26 | Video playback device, imaging device, video playback method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016251917A JP6757245B2 (en) | 2016-12-26 | 2016-12-26 | Video playback device, imaging device, video playback method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018107614A JP2018107614A (en) | 2018-07-05 |
| JP6757245B2 true JP6757245B2 (en) | 2020-09-16 |
Family
ID=62785705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016251917A Active JP6757245B2 (en) | 2016-12-26 | 2016-12-26 | Video playback device, imaging device, video playback method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6757245B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11832001B2 (en) * | 2021-12-20 | 2023-11-28 | Visera Technologies Company Limited | Image processing method and image processing system |
-
2016
- 2016-12-26 JP JP2016251917A patent/JP6757245B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018107614A (en) | 2018-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5854984B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP6159097B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| US9208569B2 (en) | Image processing apparatus and control method thereof capable of performing refocus calculation processing for light field data | |
| JP5947548B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, IMAGE GENERATION METHOD, PROGRAM | |
| JP6095266B2 (en) | Image processing apparatus and control method thereof | |
| JP2018174502A (en) | Imaging apparatus, image processing apparatus, control method of imaging apparatus, and program | |
| US20130083166A1 (en) | Imaging apparatus and method for controlling same | |
| JP2014157425A (en) | Imaging device and control method thereof | |
| JP6323022B2 (en) | Image processing device | |
| JP6752685B2 (en) | Imaging equipment, imaging methods and programs | |
| JP6608194B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP2016184956A (en) | Image processing apparatus and image processing method | |
| JP2014187551A (en) | Image acquisition device, image acquisition method and program | |
| JP6757245B2 (en) | Video playback device, imaging device, video playback method and program | |
| JP2017041857A (en) | Image processing system, control method of the same, program, and imaging apparatus | |
| JP6491442B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP6210836B2 (en) | IMAGING DEVICE, IMAGING CONTROL DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
| JP6406804B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
| JP7204387B2 (en) | Image processing device and its control method | |
| JP7134601B2 (en) | Image processing device, image processing method, imaging device, and imaging device control method | |
| JP2015084517A (en) | Image processing apparatus, image processing method, program and recording medium | |
| JP6138222B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP6357922B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2020085967A (en) | Image processor, method for controlling the same, and program | |
| JP6202982B2 (en) | Image processing apparatus, control method thereof, and control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191211 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200731 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200828 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6757245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |