JP6278728B2 - Image processing apparatus, image generation apparatus, control method, and program - Google Patents
Image processing apparatus, image generation apparatus, control method, and program Download PDFInfo
- Publication number
- JP6278728B2 JP6278728B2 JP2014025923A JP2014025923A JP6278728B2 JP 6278728 B2 JP6278728 B2 JP 6278728B2 JP 2014025923 A JP2014025923 A JP 2014025923A JP 2014025923 A JP2014025923 A JP 2014025923A JP 6278728 B2 JP6278728 B2 JP 6278728B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- light beam
- space information
- pixel group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 47
- 238000000034 method Methods 0.000 title claims description 35
- 239000006185 dispersion Substances 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 23
- 210000001747 pupil Anatomy 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 description 29
- 230000004907 flux Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010187 selection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、画像生成装置、制御方法およびプログラムに関し、特に取得した光線空間情報を記録する画像処理技術に関する。 The present invention relates to an image processing apparatus, an image generation apparatus, a control method, and a program, and more particularly to an image processing technique for recording acquired light space information.
デジタルカメラ等の撮像装置の中には、撮像面に入射した被写体からの反射光束の強度分布をその入射方向の情報とともに記録するものが知られている。このような撮像装置により記録された入射方向を含む光束の強度分布の情報は光線空間情報(Light Field Information)と呼ばれる。また、光線空間情報は入射方向ごとに反射光束の強度分布を有しているため、該情報から撮像装置の任意の焦点距離の面における反射光束の強度分布を再現することができることも知られている(非特許文献1)。従って、光線空間情報からは、任意の被写体距離に合焦した画像(再構成画像)を、光線空間情報の記録後に生成(再構成)することができる。 Some imaging devices such as digital cameras record an intensity distribution of a reflected light beam from a subject incident on an imaging surface together with information on the incident direction. Information on the intensity distribution of the light beam including the incident direction recorded by such an imaging device is called light field information. It is also known that the light space information has the intensity distribution of the reflected light beam for each incident direction, and from this information, the intensity distribution of the reflected light beam on the surface of an arbitrary focal length of the imaging device can be reproduced. (Non-Patent Document 1). Therefore, from the light space information, an image focused on an arbitrary subject distance (reconstructed image) can be generated (reconstructed) after the light space information is recorded.
光線空間情報を記録可能な構成として、固体撮像素子の前面にマイクロレンズアレイを配置し、一つのマイクロレンズに対して複数の画素を対応づけることにより、瞳領域を通過した光束を分離して各画素に記録できる撮像装置が提案されている。 As a configuration capable of recording light space information, a microlens array is arranged in front of a solid-state imaging device, and a plurality of pixels are associated with one microlens to separate light fluxes that have passed through the pupil region. An imaging device capable of recording in a pixel has been proposed.
マイクロレンズアレイを有する撮像装置は、マイクロレンズの各々に数十の画素を対応づけた構成により、各マイクロレンズに結像した光束を該数十の画素に分離した光線空間情報を記録する。このようにして記録された光線空間情報から生成可能な再構成画像の画素数は、多くてもマイクロレンズの個数である。即ち、同一画素数の画像を得るためには、マイクロレンズアレイを有さない一般的な撮像装置で記録されるデータに比べ、数十倍もの情報量を有する光線空間情報を記録することが必要になる。このため、マイクロレンズアレイを有する撮像装置により生成された光線空間情報の処理には、画像処理や記録に係る回路規模の増大、読み出し時等の動作遅延といった問題が生じうる。 An imaging apparatus having a microlens array records light space information obtained by separating a light beam imaged on each microlens into the tens of pixels by a configuration in which tens of pixels are associated with each microlens. The number of pixels of the reconstructed image that can be generated from the light space information recorded in this way is at most the number of microlenses. In other words, in order to obtain an image with the same number of pixels, it is necessary to record light space information having an information amount several tens of times larger than data recorded by a general imaging device having no microlens array. become. For this reason, the processing of the light space information generated by the imaging device having the microlens array may cause problems such as an increase in circuit scale related to image processing and recording, and an operation delay during reading.
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、情報量を削減した、再構成可能な光線空間情報を生成することが可能な画像処理装置、画像生成装置、制御方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems of the prior art, and is an image processing apparatus, an image generation apparatus, and a control method capable of generating reconfigurable ray space information with a reduced amount of information. And to provide a program.
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、各画素が、該画素に対応する領域に入射する、被写体からの光束を瞳分割した光束を記録した光線空間情報を取得する取得手段と、光線空間情報に含まれる、同一の領域に入射した光束を瞳分割した光束を記録した画素群について、画素値の分散を算出する算出手段と、算出された分散に基づいて、該分散に対応する画素群を該画素群の画素数以下の画素で代表させて、光線空間情報の情報量を圧縮した光線空間情報を生成する生成手段と、を有することを特徴とする。 In order to solve this problem, for example, an image processing apparatus of the present invention has the following configuration. That is, each pixel is incident on the same region included in the light space information and the acquisition means for acquiring light space information that records the light beam obtained by dividing the light beam from the subject into pupils, which is incident on the region corresponding to the pixel. A pixel means for calculating a variance of pixel values for a pixel group in which a luminous flux obtained by splitting the luminous flux into pupils is recorded, and based on the calculated variance, a pixel group corresponding to the variance is equal to or smaller than the number of pixels of the pixel group And generating means for generating ray space information in which the amount of information of ray space information is compressed.
本発明によれば、情報量を削減した、再構成可能な光線空間情報を生成することが可能になる。 According to the present invention, it is possible to generate reconfigurable ray space information with a reduced amount of information.
(実施形態1)
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、被写体からの反射光束の強度および入射方向の情報を有する画素値から構成される光線空間情報(LFデータ)を記録可能なデジタルカメラに本発明を適用した例を説明する。しかし、本発明はLFデータを記録可能なデジタルカメラに限らず、記録されたLFデータを読み込んで、情報量を削減したLFデータを生成可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれてよい。
(Embodiment 1)
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the following, the present invention is applied to a digital camera capable of recording light space information (LF data) composed of pixel values having information on the intensity of the reflected light flux from the subject and the incident direction as an example of an image processing apparatus. An example will be described. However, the present invention is not limited to a digital camera that can record LF data, but can be applied to any device that can read recorded LF data and generate LF data with a reduced amount of information. These devices may include, for example, mobile phones, game machines, tablet terminals, personal computers, and the like.
(1 デジタルカメラの構成)
図1は本実施形態のデジタルカメラの機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。なお、図1における破線で示す矢印は制御信号を表す。
(1 Digital camera configuration)
FIG. 1 is a block diagram illustrating a functional configuration example of the digital camera according to the present embodiment. One or more of the functional blocks shown in FIG. 1 may be realized by hardware such as an ASIC or a programmable logic array (PLA), or may be realized by a programmable processor such as a CPU or MPU executing software. May be. Further, it may be realized by a combination of software and hardware. Therefore, in the following description, even when different functional blocks are described as the operation subject, the same hardware can be realized as the subject. In addition, the arrow shown with the broken line in FIG. 1 represents a control signal.
被写体からの反射光束は、撮像光学系129で集光されてマイクロレンズアレイ127を通過した後、撮像素子101へ投影されて光電変換される。本実施形態におけるマイクロレンズアレイ127の一例と撮像面に配置される画素を模式的に図3に示す。本実施形態のデジタルカメラは、例えば撮像素子の前面に、4×4画素に対して1つの割合で対応付けられたマイクロレンズが格子状に配置されている。図3の例では、水平方向に1024個、垂直方向に768個のマイクロレンズが配置されている。枠線で示す領域304をより詳細に示したものが領域303である。領域303領域には、9つのマイクロレンズが格子状に配置されており、そのうちの1つのマイクロレンズ302を通過した反射光束は、該マイクロレンズに対応付けられた撮像素子の画素領域(マイクロレンズブロック)301に投影される。投影された光束はマイクロレンズブロック301に配置された16個の各画素A〜Pで受光されてLFデータとして記録される。このような構成のマイクロレンズアレイを有する場合、一度の撮影で記録されるLFデータにおける画素の総数は、マイクロレンズ数に16画素を乗じた12582912となる。 The reflected light beam from the subject is collected by the imaging optical system 129, passes through the microlens array 127, and is projected onto the imaging device 101 for photoelectric conversion. FIG. 3 schematically shows an example of the microlens array 127 and the pixels arranged on the imaging surface in the present embodiment. In the digital camera of the present embodiment, for example, microlenses associated with 4 × 4 pixels at a ratio of 1 are arranged in a grid pattern on the front surface of the image sensor. In the example of FIG. 3, 1024 micro lenses are arranged in the horizontal direction and 768 micro lenses in the vertical direction. A region 303 is a region 303 indicated by a frame line in more detail. In the region 303, nine microlenses are arranged in a lattice pattern, and the reflected light beam that has passed through one microlens 302 is a pixel region (microlens block) of the image sensor associated with the microlens. ) 301. The projected light flux is received by each of the 16 pixels AP arranged in the microlens block 301 and recorded as LF data. In the case of having the microlens array having such a configuration, the total number of pixels in the LF data recorded by one photographing is 125829112 obtained by multiplying the number of microlenses by 16 pixels.
撮像素子101は、例えばイメージセンサを層に積層した構造によって各画素が3層構造を有し、RGBの色成分を分別したRGB形式でLFデータを出力する。出力されたアナログのLFデータは、AFE(Analog Front End)103により増幅処理やA/D変換処理がなされる。デジタル化されたLFデータはメモリ105に格納される。 The image sensor 101 has, for example, a structure in which image sensors are stacked in layers, each pixel having a three-layer structure, and outputs LF data in an RGB format in which RGB color components are separated. The output analog LF data is subjected to amplification processing and A / D conversion processing by an AFE (Analog Front End) 103. The digitized LF data is stored in the memory 105.
本実施形態のデジタルカメラでは、LFデータの情報量を削減するために、1つのマイクロレンズブロックの画素群の分散に基づいて画素を間引く処理を行う。そのため、CPU125は、分散演算部123にLFデータの各マイクロレンズブロックの画素に対する演算処理を行わせる。具体的には、AFE103から出力されたLFデータは、ラインメモリ121へマイクロレンズブロックの幅である4ライン毎に出力されて格納される。ラインメモリ121に格納されたLFデータは、マイクロレンズブロック毎に分割されて分散演算部123へ出力される。分散演算部123は、入力されたマイクロレンズブロックの16画素のデータに対してマイクロレンズブロック毎に画素値の分散値を算出する。なお、分散演算部123の具体的な処理については後述する。CPU125は、分散演算部123により算出された分散値に基づいて、マイクロレンズブロックの画素群から処理対象となる画素を選択するための選択方法(選択種別)を判定し、選択種別の情報を画素選択部107へ出力する。なお、選択種別についての具体的な説明は後述する。 In the digital camera of this embodiment, in order to reduce the information amount of LF data, a process of thinning out pixels is performed based on the dispersion of the pixel group of one microlens block. Therefore, the CPU 125 causes the dispersion calculation unit 123 to perform calculation processing on the pixels of each microlens block of the LF data. Specifically, the LF data output from the AFE 103 is output and stored in the line memory 121 for every four lines that are the width of the microlens block. The LF data stored in the line memory 121 is divided for each microlens block and output to the dispersion calculation unit 123. The variance calculation unit 123 calculates a variance value of pixel values for each microlens block with respect to the input 16-pixel data of the microlens block. Note that specific processing of the distributed calculation unit 123 will be described later. The CPU 125 determines a selection method (selection type) for selecting a pixel to be processed from the pixel group of the microlens block based on the dispersion value calculated by the dispersion calculation unit 123, and stores information on the selection type as a pixel. The data is output to the selection unit 107. A specific description of the selection type will be described later.
画素選択部107は、メモリ105に格納されたLFデータを順次読み出して、CPU125により指定される選択種別の情報に従って処理対象となる画素の選択処理を施す。画素選択部107は、画素の選択処理によって画素を間引き、情報量の削減されたLFデータ(圧縮LFデータ、簡易LFデータ)を順次記録部119へ出力する。後に詳細を説明するが、画素選択部107から出力される圧縮LFデータは、例えば図2に示すような情報量が削減されたデータとして出力される。記録部119は、画素選択部107から出力された圧縮LFデータを、例えば不揮発性メモリ等に記録する。 The pixel selection unit 107 sequentially reads out the LF data stored in the memory 105 and performs a process of selecting a pixel to be processed according to the selection type information specified by the CPU 125. The pixel selection unit 107 thins out pixels by pixel selection processing, and sequentially outputs LF data (compressed LF data and simplified LF data) with a reduced amount of information to the recording unit 119. As will be described in detail later, the compressed LF data output from the pixel selection unit 107 is output as data with a reduced amount of information as shown in FIG. The recording unit 119 records the compressed LF data output from the pixel selection unit 107 in, for example, a nonvolatile memory.
また、画素選択部107は、記録部119への圧縮LFデータの出力に加え、一次現像部111へ圧縮LFデータを出力する。一次現像部111は、例えば予め設定された変換特性により傷補正、シェーディング補正、色バランス補正などを行って、補正後の圧縮LFデータを画素補間部113へ出力する。 Further, the pixel selection unit 107 outputs the compressed LF data to the primary developing unit 111 in addition to the output of the compressed LF data to the recording unit 119. For example, the primary development unit 111 performs flaw correction, shading correction, color balance correction, and the like using preset conversion characteristics, and outputs the corrected compressed LF data to the pixel interpolation unit 113.
画素補間部113は、読み込んだ圧縮LFデータから選択種別を判定し、該選択種別に基づいてマイクロレンズブロック内の画素の補間を行う。そして画素補間部113は、補間により復号したLFデータを再構成演算部115へ出力する。なお、本発明の説明において、圧縮LFデータに対して各マイクロレンズブロックの補間処理を行い、圧縮前の情報量を有するLFデータを得ることを復号という。 The pixel interpolation unit 113 determines a selection type from the read compressed LF data, and performs interpolation of pixels in the microlens block based on the selection type. Then, the pixel interpolation unit 113 outputs the LF data decoded by interpolation to the reconstruction calculation unit 115. In the description of the present invention, performing interpolation processing of each microlens block on compressed LF data to obtain LF data having an information amount before compression is referred to as decoding.
再構成演算部115は、復号されたLFデータを用いて、任意の被写体距離に合焦した画像を再構成する処理を行い、圧縮部117へ再構成した画像データを出力する。圧縮部117は例えば静止画においてはJPEG、動画においてはMPEGなどの所定の圧縮方式で情報量を圧縮して記録部119へ圧縮された画像データを出力し、記録部119はメモリカードなどの記録媒体へ圧縮された画像データを記録する。 The reconstruction calculation unit 115 performs a process of reconstructing an image focused on an arbitrary subject distance using the decoded LF data, and outputs the reconstructed image data to the compression unit 117. The compression unit 117 compresses the amount of information using a predetermined compression method such as JPEG for still images and MPEG for moving images and outputs the compressed image data to the recording unit 119. The recording unit 119 records on a memory card or the like. The compressed image data is recorded on the medium.
なお、単色撮像素子やベイヤー配列の撮像素子に対して本発明を適用してもよい。 Note that the present invention may be applied to a monochrome imaging device or a Bayer array imaging device.
(2 LFデータの削減処理)
本発明に係るLFデータの削減処理の概要について、図を参照しながら詳細に説明する。
(2 LF data reduction processing)
The outline of the LF data reduction processing according to the present invention will be described in detail with reference to the drawings.
撮像光学系129の瞳を通過してマイクロレンズアレイ127の各マイクロレンズの位置に結像した光束は、該マイクロレンズに対応付けられたマイクロレンズブロックの画素群に展開して受光され、LFデータとして出力される。このとき、各マイクロレンズの位置に結像した光束は瞳の全領域を通過した光束であるため、展開された光束を受光した複数の画素からの出力は、対応する瞳の領域(一部)を通過して入射した光束に対応する出力となっている。つまり、マイクロレンズにより瞳分割が実現され、LFデータの画素は、異なる分割瞳を通過した、入射方向の異なる光束の光量を示している。 The light beam that has passed through the pupil of the imaging optical system 129 and formed an image at the position of each microlens of the microlens array 127 is developed and received by the pixel group of the microlens block associated with the microlens, and the LF data Is output as At this time, since the light beam formed at the position of each microlens is a light beam that has passed through the entire area of the pupil, the output from the plurality of pixels that have received the developed light beam is the corresponding pupil area (part) The output corresponds to the light beam that has passed through. In other words, pupil division is realized by the microlens, and the pixels of the LF data indicate the amounts of light beams having different incident directions that have passed through different divided pupils.
このようなLFデータの特性に基づくと、各マイクロレンズに対応するマイクロレンズブロックにおける画素値の分散は、撮像時の撮像光学系の条件と被写体の関係によって変化する。まず、再構成画像を生成した場合に被写界深度に含めることが可能な被写体距離の範囲(再構成有効範囲)に含まれる被写体のうち、撮像時の撮像光学系の条件で被写界深度に含まれていた被写体について説明する。該被写界深度に含まれていた被写体、即ち撮像時の撮像光学系の条件により合焦状態にあった被写体については、該被写体の任意の1点から様々な方向に反射して入射する光束が、撮像面上の一点、即ち1つのマイクロレンズに収束する。従って、マイクロレンズによって展開され、対応するマイクロレンズブロックに分離して受光される光束は同一の被写体の1点から反射した経路の異なる光束であるため、分離されたとしても略同一の画素値が出力される。つまり、撮像時に合焦状態にあった被写体からの反射光束が収束するマイクロレンズブロックの画素値の分散は極めて小さくなる。 Based on such characteristics of LF data, the dispersion of pixel values in the microlens block corresponding to each microlens changes depending on the relationship between the conditions of the imaging optical system at the time of imaging and the subject. First, of the subjects included in the range of subject distance that can be included in the depth of field (reconstruction effective range) when a reconstructed image is generated, the depth of field is determined under the conditions of the imaging optical system at the time of imaging. The subject included in is described. For a subject included in the depth of field, that is, a subject that is in focus due to the conditions of the imaging optical system at the time of imaging, a light beam that is reflected and incident in various directions from any one point of the subject Converges to one point on the imaging surface, that is, one microlens. Therefore, the light beams developed by the microlenses and separated and received by the corresponding microlens blocks are different light fluxes in the path reflected from one point of the same subject, so even if they are separated, substantially the same pixel value is obtained. Is output. That is, the dispersion of the pixel values of the microlens block where the reflected light beam from the subject that is in focus at the time of imaging converges becomes extremely small.
次に、再構成有効範囲に含まれる被写体のうち、撮像時の条件で被写界深度に含まれない被写体について、該被写体の1点から様々な方向に反射して入射する光束は、合焦状態にあった被写体に比べて結像する位置がずれる。即ち、該1点から様々な経路を通って入射する光束は、近傍のマイクロレンズに拡散し、必ずしも同一ではないマイクロレンズに結像することになる。また該マイクロレンズには他の被写体の1点から反射して入射する光束も結像しうる。つまり、被写界深度に含まれていない被写体の像が結像されるマイクロレンズに対応するマイクロレンズブロックでは、各画素が異なる被写体からの光束に対応する画素値を示すため、分散が大きくなる。 Next, among the subjects included in the reconstruction effective range, for a subject that is not included in the depth of field due to imaging conditions, the light beam reflected and incident in various directions from one point of the subject is focused. The image formation position is deviated from the subject in the state. That is, a light beam incident through various paths from the one point is diffused to neighboring microlenses and forms an image on microlenses that are not necessarily the same. In addition, a light beam reflected from one point of another subject can be imaged on the microlens. In other words, in a microlens block corresponding to a microlens on which an image of a subject that is not included in the depth of field is formed, each pixel indicates a pixel value corresponding to a light flux from a different subject, and thus dispersion increases. .
再構成有効範囲外に存在する被写体については、該被写体の1点から様々な方向に反射して入射する光束は、マイクロレンズに到達した時点ですでにボケており、さらに結像する位置も再構成有効範囲内の被写体からの光束に比べて大きくずれる。即ち、統計的には様々な被写体からの光束が混ざった光束として入射しているため却って分散が小さくなる。 For a subject outside the reconstruction effective range, the light beam reflected and incident in various directions from one point of the subject is already blurred when it reaches the microlens, and the image formation position is also re-established. Compared to the luminous flux from the subject within the effective range of construction, it is greatly deviated. That is, statistically, since the light beams from various subjects are incident as a mixed light beam, the dispersion becomes smaller.
ここで、マイクロレンズブロックにおいて画素値の分散が小さい場合、即ち画素値が類似している場合、一部の画素群を同一の画素値を有するものとみなしたとしても、生成する再構成画像の画質への影響は低いと考えられる。即ち、画素値が類似する画素群を全て同一の画素値を有するものとみなせば、該画素群についてはうち1つの画素値のみを記録するようにしても、記録後に補間により少なくとも同一の画素値を有する画素群を復元することができる。故に、本発明に係るデジタルカメラでは、得られたLFデータに含まれる各マイクロレンズブロックの分散に応じて、該ブロック内の画素数以下の数の画素値で全画素を代表させて記録する。このようにすることで、該ブロックに係り記録するLFデータのデータ量を削減できる。本実施形態では、マイクロレンズブロックに含まれる画素のうちから一部の画素を選択し、該画素の画素値を代表する値として記録することで、LFデータのデータ量を削減する。つまり、各マイクロレンズブロックにおける画素値の分散に応じて選択的に画素値を記録するようにすれば、補間により撮影時と同等のLFデータを作り出すことが可能な圧縮LFデータを生成することができる。 Here, when the dispersion of pixel values is small in the microlens block, that is, when the pixel values are similar, even if it is assumed that some pixel groups have the same pixel value, the generated reconstructed image The impact on image quality is considered low. That is, if all pixel groups having similar pixel values are considered to have the same pixel value, even if only one pixel value is recorded for the pixel group, at least the same pixel value is obtained by interpolation after recording. Can be restored. Therefore, in the digital camera according to the present invention, according to the dispersion of each microlens block included in the obtained LF data, recording is performed by representing all pixels with pixel values equal to or less than the number of pixels in the block. By doing so, it is possible to reduce the amount of LF data to be recorded in association with the block. In the present embodiment, a part of the pixels included in the microlens block is selected and recorded as a value representative of the pixel value of the pixel, thereby reducing the amount of LF data. That is, if the pixel values are selectively recorded according to the dispersion of the pixel values in each microlens block, compressed LF data capable of generating LF data equivalent to that at the time of shooting can be generated by interpolation. it can.
本実施形態では、上述したようにマイクロレンズブロックにおける画素値の分散値を算出し、圧縮LFデータを生成する際に取捨する該画素群内の画素を決定する。より詳しくは、マイクロレンズブロックにおける画素値の分散値が小さいほど少ない画素を代表する画素(間引き後に残す画素)として選択し、分散値が大きいほどブロック内の画素数に近い数の画素を代表する画素として選択する。マイクロレンズブロックにおける画素値の分散値は、例えば以下の数1を用いて算出する。分散演算部123は、ラインメモリ121から4×4の画素の画素値を読み出して各マイクロレンズブロックの分散値を算出する。 In the present embodiment, as described above, the dispersion value of the pixel value in the microlens block is calculated, and the pixels in the pixel group to be discarded when generating the compressed LF data are determined. More specifically, the smaller the variance value of the pixel values in the microlens block, the smaller the pixel selected (remaining pixel after thinning), and the larger the variance value, the closer to the number of pixels in the block. Select as a pixel. The dispersion value of the pixel value in the microlens block is calculated using the following formula 1, for example. The variance calculation unit 123 reads the pixel value of 4 × 4 pixels from the line memory 121 and calculates the variance value of each microlens block.
を示す。
Indicates.
マイクロレンズブロックの画素群における分散値S2が小さくなる場合は、該マイクレンズブロックの画素群の画素値は類似度が高いと判断することができる。他方、分散値S2が大きい場合は、該マイクレンズブロックの画素群の画素値は類似度が低いと判断することができる。 If the dispersion value S 2 in the pixel group of the micro lens block is small, the pixel value of the pixel group of the microphone lens block may be determined to be high similarity. On the other hand, when the variance value S 2 is large, the pixel value of the pixel group of the microphone lens block can be determined that similarity is low.
図6は、所定の状態にある被写体についての、マイクロレンズブロックにおける画素値の分散値(以下、単にマイクロレンズブロックの分散値とする)と被写体距離との関係を例示した図である。なお、被写体距離は、撮影時におけるデジタルカメラと各被写体との距離を示すものであるが、マイクロレンズブロックに係る被写体距離とは次のように定義するものとする。撮影により得られたLFデータから任意の被写体距離に合焦する再構成画像を生成した場合に、該画像内で合焦している被写体の画素位置に対応するマイクロレンズが特定できる。このとき、撮影により得られたLFデータ内の、特定されたマイクロレンズに対応するマイクロレンズブロックに係る被写体距離は、該再構成画像の生成に用いた被写体距離として定義される。即ち、1つマイクロレンズブロックに係る被写体距離は、該ブロックに対応する再構成画像の画素位置において合焦する被写体の被写体距離を示している。 FIG. 6 is a diagram illustrating the relationship between the dispersion value of the pixel value in the microlens block (hereinafter simply referred to as the dispersion value of the microlens block) and the subject distance for a subject in a predetermined state. The subject distance indicates the distance between the digital camera and each subject at the time of shooting. The subject distance related to the microlens block is defined as follows. When a reconstructed image that focuses on an arbitrary subject distance is generated from LF data obtained by shooting, a microlens corresponding to the pixel position of the focused subject in the image can be specified. At this time, the subject distance related to the microlens block corresponding to the specified microlens in the LF data obtained by photographing is defined as the subject distance used to generate the reconstructed image. That is, the subject distance associated with one microlens block indicates the subject distance of the subject that is in focus at the pixel position of the reconstructed image corresponding to the block.
図6において横軸は被写体距離を示し、縦軸はマイクロレンズブロックの分散値S2を示している。図6の例では、撮影時は撮像光学系の条件で被写体距離が2.5mの位置の被写体に合焦しており、その周辺の被写体距離の被写体が被写界深度内に含まれている。上述したように、撮影時の被写界深度に含まれていた被写体はその光束が撮像面において同一のマイクロレンズに収束するため、対応するマイクロレンズブロックにおける分散値は、他の被写体距離の分散値に比べて小さい。一方、撮像時の被写界深度の中心周辺から被写体距離が離れるに従って分散値が増加して被写体距離が1.5mおよび4m付近でピークとなっている。その他、再構成有効範囲より近距離の被写体や再構成有効範囲より遠距離の被写体であっても、類似した被写体の光束が特定のマイクロレンズを通過する場合、分散値が小さな値となっている。なお、図6に示す分散値はあくまでも一例であり、構図や被写体によって分散値の分布に偏りや変動が生じ得る。 The horizontal axis in FIG. 6 shows the object distance, and the vertical axis represents the variance value S 2 of the micro lens block. In the example of FIG. 6, at the time of shooting, the subject at a subject distance of 2.5 m is focused under the conditions of the imaging optical system, and the subject at a subject distance around it is included in the depth of field. . As described above, since the subject included in the depth of field at the time of shooting converges on the same microlens on the imaging surface, the dispersion value in the corresponding microlens block is the dispersion of other subject distances. Small compared to the value. On the other hand, the dispersion value increases as the subject distance moves away from the periphery of the center of the depth of field at the time of imaging, and the subject distance peaks at about 1.5 m and 4 m. In addition, even if the subject is closer to the reconstruction effective range or the subject is farther than the reconstruction effective range, the dispersion value is small when the light flux of a similar subject passes through a specific microlens. . Note that the variance values shown in FIG. 6 are merely examples, and deviations and fluctuations may occur in the distribution of variance values depending on the composition and subject.
このように撮影時の焦点状態及び撮像範囲内の被写体の配置によっては各マイクロレンズブロックでは様々な分散値を取り得る。従って本実施形態では、再構成画像を生成する際の画質劣化を低減しつつ情報量を削減するために、マイクロレンズブロックについて記録する画素を選択する方法を、分散値に応じて3つの選択種別のうちから選ぶ。具体的には画素選択部107は、分散値の大きさを3つの値域に分け、算出したマイクロレンズブロックの分散値がいずれの値域に入るかによって、3つのいずれの選択種別を選ぶべきかを判定する。本実施形態では、分散値が小さいと定める値域には選択する画素が1画素の選択種別「1×1」が、分散値が大きいと定める値域には全ての画素(16画素)を選択する選択種別「4×4」が、中間の値域には4画素を選択する選択種別「2×2」が設定される。例えば図6の縦軸に示されるように分散値の値域が設定される場合、対応する被写体が被写界深度に含まれるマイクロレンズブロックでは分散値が小さくなるため、1×1の選択種別が該ブロックについて選ばれる。これは、代表する1つの画素(代表画素)と選択されない画素との画素値の差分が小さいため、1つの画素値から該ブロック内の全ての画素値と同等の画素値を補間可能であることによる。一方、図6において対応する分散値が大きいと判断される値域に入るマイクロレンズブロックの場合、全ての画素を補間可能なような代表画素を選択することができないため、16画素全てを記録用に選択する。 Thus, depending on the focus state at the time of shooting and the arrangement of the subject within the imaging range, each microlens block can take various dispersion values. Therefore, in this embodiment, in order to reduce the amount of information while reducing the deterioration in image quality when generating a reconstructed image, the method of selecting the pixels to be recorded for the microlens block is classified into three selection types according to the dispersion value. Choose from. Specifically, the pixel selection unit 107 divides the size of the dispersion value into three value ranges, and determines which of the three selection types should be selected depending on which value range the calculated dispersion value of the microlens block falls into. judge. In this embodiment, the selection type “1 × 1” in which a pixel to be selected is selected in a value range determined to have a small variance value, and all pixels (16 pixels) are selected in a value range to be determined to have a large variance value. The type “4 × 4” is set, and the selection type “2 × 2” for selecting four pixels is set in the middle value range. For example, when the range of the dispersion value is set as shown on the vertical axis in FIG. 6, the dispersion value is small in the microlens block in which the corresponding subject is included in the depth of field, and therefore the 1 × 1 selection type is Selected for the block. This is because the difference in pixel value between one representative pixel (representative pixel) and a non-selected pixel is small, so that pixel values equivalent to all pixel values in the block can be interpolated from one pixel value. by. On the other hand, in the case of a microlens block that falls within a value range in which the corresponding variance value is determined to be large in FIG. 6, it is not possible to select a representative pixel that can interpolate all the pixels. select.
次に、選択種別に応じた画素の選択方法について説明する。分散値の小さいマイクロレンズブロック、つまり選択種別が「1×1」の場合、画素選択部107は、例えば図4(a)の画素Fのように16画素のうちいずれか1画素を代表画素(図4(a)では311)として選択する。分散値が中程度のマイクロレンズブロック(即ち選択種別が「2×2」)である場合、画素選択部107は、16画素のうち4画素(例えば図4(b)における画素F、G、J、K)を代表画素として選択する。各代表画素、例えば画素Fは、該画素および近接する画素A、B、Eで構成される4つの画素を代表する。この場合の代表画素は図4(b)において代表画素312である。分散値が大きいマイクロレンズブロック(即ち選択種別が「4×4」)である場合は、画素選択部107は、16画素のうち全ての画素を代表画素として選択する。図4(c)では、画素A〜Pの全画素が代表画素として選択されている。なお、図4の代表画素の選択においては、マイクロレンズの中心近傍に対応する画素を優先的に選択する方法をとっている。このように瞳中央部を通過する光束を受光する画素を選択することにより、マイクロレンズブロックの周辺画素への光線ケラレによる光量不足の影響を低減することができる。また、分散値の算出の際に得られた平均値や画素群における中央値に近い画素値を有する画素を優先的に選択するようにしてもよい。平均値や中央値に近い画素を選択することによりマイクロレンズブロック内の画素値の分布傾向を反映した画素の選択を行うことができる。 Next, a pixel selection method corresponding to the selection type will be described. In the case of a microlens block having a small dispersion value, that is, when the selection type is “1 × 1”, the pixel selection unit 107 selects one of the 16 pixels as a representative pixel (for example, a pixel F in FIG. 4A). In FIG. 4A, it is selected as 311). In the case of a microlens block having a medium dispersion value (that is, the selection type is “2 × 2”), the pixel selection unit 107 selects four pixels out of 16 pixels (for example, the pixels F, G, and J in FIG. , K) are selected as representative pixels. Each representative pixel, for example, the pixel F, represents four pixels including the pixel and adjacent pixels A, B, and E. The representative pixel in this case is the representative pixel 312 in FIG. In the case of a microlens block having a large dispersion value (that is, the selection type is “4 × 4”), the pixel selection unit 107 selects all of the 16 pixels as representative pixels. In FIG. 4C, all the pixels A to P are selected as representative pixels. In selecting the representative pixel in FIG. 4, a method of preferentially selecting a pixel corresponding to the vicinity of the center of the microlens is employed. Thus, by selecting the pixel that receives the light beam passing through the center of the pupil, it is possible to reduce the influence of the insufficient light quantity due to the light vignetting on the peripheral pixels of the microlens block. In addition, a pixel having a pixel value close to the average value or the median value in the pixel group obtained when calculating the variance value may be preferentially selected. By selecting pixels close to the average value or the median value, it is possible to select pixels that reflect the distribution tendency of the pixel values in the microlens block.
得られた代表画素は、圧縮LFデータとして新たなデータ形式で記録される。圧縮LFデータは、代表画素と各マイクロレンズブロックの区切りを表すデータから構成される。マイクロレンズブロックから16の画素が記録された場合は情報量の削減効果が得られないが、16より少ない画素数の代表画素が記録される場合には、情報量の削減効果が生じる。なお、マイクロレンズブロックの区切りを示すデータには、代表画素に対応するマイクロレンズの座標や代表画素のマイクロレンズブロック内の座標、さらに判定された選択種別を示すデータを持たせても良い。図2に、圧縮LFデータのデータ形式の例を模式的に示す。図2において「Q」で示す要素、例えば3241、3242、3243はマイクロレンズブロックの区切りを表し、その他の要素は代表画素を表している。また3211および3212で示す画素Fは、対応するマイクロレンズブロックからFの位置の1つの画素が選択されて記録されていることを示しており、16の画素を記録する場合と比較して情報量が削減されることが分かる。 The obtained representative pixel is recorded in a new data format as compressed LF data. The compressed LF data is composed of data representing the separation between the representative pixel and each microlens block. When 16 pixels are recorded from the microlens block, an effect of reducing the information amount cannot be obtained. However, when a representative pixel having a number of pixels smaller than 16 is recorded, an effect of reducing the information amount is produced. Note that the data indicating the separation of the microlens block may have data indicating the coordinates of the microlens corresponding to the representative pixel, the coordinates of the representative pixel in the microlens block, and the determined selection type. FIG. 2 schematically shows an example of the data format of the compressed LF data. In FIG. 2, elements indicated by “Q”, for example, 3241, 3242, and 3243 represent delimiters of the microlens block, and other elements represent representative pixels. A pixel F indicated by 3211 and 3212 indicates that one pixel at the position F is selected and recorded from the corresponding microlens block, and the amount of information is compared with the case of recording 16 pixels. Can be seen to be reduced.
(3 LFデータの削減処理の動作)
上述のLFデータの削減処理に対応する動作を説明する。なお、以下では、説明を簡単にするために、LFデータのRGBチャネルのうちの1つのチャネルのデータについて処理を行うものとして説明する。
(3 LF data reduction processing operation)
An operation corresponding to the above-described LF data reduction process will be described. In the following, in order to simplify the description, it is assumed that processing is performed on data of one of the RGB channels of LF data.
分散演算部123は、ラインメモリ121に格納されたLFデータをマイクロレンズブロックの単位で順次取得して分散値を算出してCPU125へ出力する。CPU125は取得した分散値に基づいて選択種別の判定処理を行う。図7のフローチャートは各マイクロレンズブロックに対する分散演算部123とCPU125の処理の流れを示す。図7に示すフローチャートは、分散演算部123が、ラインメモリ121に格納されたLFデータをマイクロレンズブロック毎に取得すると開始される。分散演算部123およびCPU125は、図7に示す処理をLFデータにおけるマイクロレンズブロックの数だけ行う。 The dispersion calculation unit 123 sequentially acquires the LF data stored in the line memory 121 in units of microlens blocks, calculates a dispersion value, and outputs the dispersion value to the CPU 125. The CPU 125 performs selection type determination processing based on the acquired variance value. The flowchart of FIG. 7 shows the flow of processing of the dispersion calculation unit 123 and the CPU 125 for each microlens block. The flowchart shown in FIG. 7 is started when the dispersion calculation unit 123 acquires the LF data stored in the line memory 121 for each microlens block. The variance calculation unit 123 and the CPU 125 perform the process shown in FIG. 7 by the number of microlens blocks in the LF data.
S201において分散演算部123は、取得したマイクロレンズブロックの16の画素の各々の画素値を取得して上述の数1に示す演算により画素値の分散値を算出して、CPU125へ出力する。 In S <b> 201, the variance calculation unit 123 acquires the pixel values of each of the 16 pixels of the acquired microlens block, calculates the variance value of the pixel values by the calculation shown in Equation 1 above, and outputs it to the CPU 125.
S203においてCPU125は、分散演算部123から取得した画素値の分散値に基づいて、選択種別を判定する。CPU125は、図6に示す選択種別のように各選択種別を分散値に応じて判定するための、予め定められた閾値のテーブルを参照する。CPU125は、取得した分散値を、小さい分散値を判断するための閾値Aおよび大きな分散値を判断するための閾値Bと比較する。CPU125は、取得した分散値が閾値A以下である場合、処理をS205に進める。一方、取得した分散値が閾値Aより大きく、かつ、閾値B以下である場合、CPU125は処理をS207へ進める。さらに、取得した分散値が閾値Bより大きい場合、CPU125は処理をS209へ進める。 In S <b> 203, the CPU 125 determines the selection type based on the variance value of the pixel values acquired from the variance calculation unit 123. The CPU 125 refers to a predetermined threshold table for determining each selection type according to the variance value as in the selection type shown in FIG. The CPU 125 compares the acquired variance value with a threshold value A for determining a small variance value and a threshold value B for determining a large variance value. If the acquired dispersion value is equal to or less than the threshold value A, the CPU 125 advances the process to S205. On the other hand, when the obtained variance value is larger than the threshold value A and equal to or smaller than the threshold value B, the CPU 125 advances the process to S207. Further, when the obtained variance value is larger than the threshold value B, the CPU 125 advances the process to S209.
S205においてCPU125は、取得したマイクロレンズブロックに対して選択種別を特定する識別子に「1×1」を示す値を格納する。選択種別を特定する識別子に値を格納すると、フローチャートの処理を終える。 In S <b> 205, the CPU 125 stores a value indicating “1 × 1” in the identifier for specifying the selection type for the acquired microlens block. When a value is stored in the identifier for specifying the selection type, the process of the flowchart is finished.
S207においてCPU125は、取得したマイクロレンズブロックに対して選択種別を特定する識別子に「2×2」を示す値を格納し、フローチャートの処理を終える。他方、S209においてCPU125は、選択種別を特定する識別子に「4×4」を示す値を格納して、フローチャートの処理を終える。 In S207, the CPU 125 stores a value indicating “2 × 2” in the identifier for specifying the selection type for the acquired microlens block, and ends the process of the flowchart. On the other hand, in S209, the CPU 125 stores a value indicating “4 × 4” in the identifier for specifying the selection type, and ends the process of the flowchart.
なお、分散演算に最低限必要なマイクロレンズブロックのライン幅である4ライン分のメモリを利用する構成とすることにより、画素選択部107での演算に必要とするメモリ容量を削減している。これによりデジタルカメラにメモリ容量の制限のある場合においても高速な動作を実現し、引いては処理の重い再構成画像生成のメモリ帯域の確保が実現できる。 Note that the memory capacity required for the calculation in the pixel selection unit 107 is reduced by using a memory for four lines, which is the minimum line width of the microlens block necessary for the distributed calculation. As a result, even when the digital camera has a limited memory capacity, a high-speed operation can be realized, and thus a memory band for generating a reconstructed image with heavy processing can be secured.
図7に示した一連の処理によりマイクロレンズブロックに対する選択種別が設定されると、CPU125は、設定した選択種別を画素選択部107に出力し、選択種別に従った1以上の代表画素の選択を行わせる。CPU125から選択種別を取得した画素選択部107は、メモリ105に格納されたLFデータを読み出して、マイクロレンズブロック毎に代表画素を選択する処理を行う。画素選択部107は、選択種別に応じて予め定められたマイクロレンズブロック内の画素にアクセスして、所定の画素を記録する。つまり、上述のように、取得した選択種別が「1×1」を示す場合、画素選択部107は、16画素のうち予め決められた所定の画素(例えば画素F)にアクセスしてその画素値を記録部119へ出力する。また選択種別が「2×2」を示す場合も同様に、画素選択部107は16画素のうち予め決められた4つの所定の画素にアクセスしてその画素値を出力する。選択種別が「4×4」を示す場合、画素選択部107は16画素の全てにアクセスして出力する。 When the selection type for the microlens block is set by the series of processes shown in FIG. 7, the CPU 125 outputs the set selection type to the pixel selection unit 107, and selects one or more representative pixels according to the selection type. Let it be done. The pixel selection unit 107 that has acquired the selection type from the CPU 125 reads out the LF data stored in the memory 105 and performs a process of selecting a representative pixel for each microlens block. The pixel selection unit 107 accesses a pixel in the microlens block determined in advance according to the selection type, and records a predetermined pixel. That is, as described above, when the acquired selection type indicates “1 × 1”, the pixel selection unit 107 accesses a predetermined pixel (for example, pixel F) determined in advance among the 16 pixels, and the pixel value thereof. Is output to the recording unit 119. Similarly, when the selection type indicates “2 × 2”, similarly, the pixel selection unit 107 accesses four predetermined pixels out of 16 pixels and outputs the pixel values. When the selection type indicates “4 × 4”, the pixel selection unit 107 accesses and outputs all 16 pixels.
また、画素選択部107は、例えば選択した画素に対応する選択種別を示すビットをマイクロレンズブロックの区切りを示すデータに挿入して該区切りを示すデータを構成し、画素値と共に出力する。画素選択部107は、全てのマイクロレンズブロックについて、選択した画素値とマイクロレンズブロックの区切りを示すデータと合わせて記録部119へ出力すると処理を終了する。 In addition, the pixel selection unit 107 inserts a bit indicating the selection type corresponding to the selected pixel, for example, into data indicating the delimiter of the microlens block, forms data indicating the delimiter, and outputs the data together with the pixel value. The pixel selection unit 107 ends the process when outputting the selected pixel value and the data indicating the delimiter of the microlens block to the recording unit 119 for all the microlens blocks.
(4 圧縮LFデータに対する補間処理とその動作)
次に、このような削減処理によって情報量が削減された圧縮LFデータを用いて、再構成画像の生成に用いるLFデータを復号する処理について説明する。
(4 Interpolation processing and operation for compressed LF data)
Next, processing for decoding LF data used for generating a reconstructed image using compressed LF data whose information amount has been reduced by such reduction processing will be described.
図5は、本実施形態に係る画素の補間処理を模式的に示す図である。分散値の小さいマイクロレンズブロックでは16画素のうち1画素が代表画素として記録されているから、該代表画素を用いてマイクロレンズブロックの画素を補間する。例えば図5(a)において、画素311が選択されている場合、画素補間部113は、該代表画素Fの画素値を用いて他の15画素を補間する。また、分散値が中程度のマイクロレンズブロックである場合、16画素のうち4画素が代表画素として選択されているため、選択された4画素を用いてマイクロレンズブロックの画素を補間する。例えば図5(b)において代表画素312に示す4つの画素が選択されている場合、画素補間部113は、代表画素F、G、J、Kの画素値を用いて各々の画素の近傍の画素を補間する。画素分散値の大きいマイクロレンズブロックについては、16画素のうち全ての画素が代表画素として選択されているため、画素補間部113は、全ての画素をそのまま用いる。図5(c)では全ての画素がそのまま用いられている。 FIG. 5 is a diagram schematically illustrating pixel interpolation processing according to the present embodiment. In the microlens block having a small dispersion value, one pixel out of 16 pixels is recorded as a representative pixel, and therefore the pixel of the microlens block is interpolated using the representative pixel. For example, in FIG. 5A, when the pixel 311 is selected, the pixel interpolation unit 113 interpolates the other 15 pixels using the pixel value of the representative pixel F. Further, in the case of a microlens block having a medium dispersion value, four pixels out of 16 pixels are selected as representative pixels, and therefore the pixels of the microlens block are interpolated using the selected four pixels. For example, when four pixels shown as the representative pixel 312 in FIG. 5B are selected, the pixel interpolating unit 113 uses the pixel values of the representative pixels F, G, J, and K, and pixels near each pixel. Is interpolated. For the microlens block having a large pixel dispersion value, since all the pixels of the 16 pixels are selected as the representative pixels, the pixel interpolation unit 113 uses all the pixels as they are. In FIG. 5C, all the pixels are used as they are.
次に、上述のマイクロレンズブロックに対する補間処理の動作について各機能ブロックの動作を説明する。画素選択部107から出力された圧縮LFデータは、一次現像部111により所定の補正処理が行われて画素補間部113へ出力される。画素補間部113は、一次現像部111で補正された圧縮LFデータを取得して、再構成画像を生成するためのマイクロレンズブロックに対する補間処理を行い、LFデータを得る。画素補間部113は、取得した圧縮LFデータを走査して、マイクロレンズブロックの区切りを示すデータと代表画素を特定して、該画素の画素値を取得する。まず画素補間部113は、例えば特定したマイクロレンズブロックの区切りを示すデータから選択種別を示すビット列を読み出して選択種別を判別し、選択種別に応じて読み込むべき画素値の数を特定する。その後、画素補間部113は特定した画素の数だけ画素値を読み込み、選択種別に応じてマイクロレンズブロックに対する補間処理を行う。なお、画素補間部113は、LFデータの走査時に代表画素の数をカウントし、代表画素の数から選択種別を判別してもよい。画素補間部113は、選択種別が「1×1」を示す場合、取得した1つの代表画素の画素値を用いてマイクロレンズブロックの全画素を補間する。同様に、画素補間部113は、選択種別が「2×2」を示す場合、例えば図5(b)で示したように、4つのそれぞれの画素について予め決められた位置の画素を補間する。一方、選択種別が「4×4」を示す場合、画素補間部113は、読み出した画素値をそのままマイクロレンズブロックの画素値として用いる。画素補間部113は、補間した全てのマイクロレンズブロックの画素値をLFデータとして再構成演算部115へ出力する。 Next, the operation of each functional block will be described with respect to the operation of interpolation processing for the above-described microlens block. The compressed LF data output from the pixel selection unit 107 is subjected to a predetermined correction process by the primary development unit 111 and is output to the pixel interpolation unit 113. The pixel interpolation unit 113 acquires the compressed LF data corrected by the primary developing unit 111, performs an interpolation process on the microlens block for generating a reconstructed image, and obtains LF data. The pixel interpolation unit 113 scans the acquired compressed LF data, specifies data indicating the delimiter of the microlens block and the representative pixel, and acquires the pixel value of the pixel. First, for example, the pixel interpolation unit 113 reads a bit string indicating a selection type from data indicating a delimiter of the specified microlens block, determines the selection type, and specifies the number of pixel values to be read according to the selection type. Thereafter, the pixel interpolation unit 113 reads pixel values by the number of specified pixels, and performs interpolation processing on the microlens block according to the selection type. Note that the pixel interpolation unit 113 may count the number of representative pixels when scanning LF data, and determine the selection type from the number of representative pixels. When the selection type indicates “1 × 1”, the pixel interpolation unit 113 interpolates all the pixels of the microlens block using the pixel value of one representative pixel acquired. Similarly, when the selection type indicates “2 × 2”, for example, as illustrated in FIG. 5B, the pixel interpolation unit 113 interpolates pixels at predetermined positions for each of the four pixels. On the other hand, when the selection type indicates “4 × 4”, the pixel interpolation unit 113 uses the read pixel value as it is as the pixel value of the microlens block. The pixel interpolation unit 113 outputs the pixel values of all the interpolated microlens blocks to the reconstruction calculation unit 115 as LF data.
再構成演算部115は、画素補間部113から取得したLFデータを用いてユーザ等の設定により決められた被写体距離に合焦する再構成画像を生成する。 The reconstruction calculation unit 115 uses the LF data acquired from the pixel interpolation unit 113 to generate a reconstructed image that focuses on the subject distance determined by the setting of the user or the like.
以上説明したように、画素値の分散値に応じてマイクロレンズブロックの画素を選択して記録することにより、LFデータの情報量の削減が可能となる。また、画素値の分散値を用いることにより、再構成画像の画質低下を低減した圧縮LFデータを生成することが可能となる。 As described above, the information amount of the LF data can be reduced by selecting and recording the pixels of the microlens block according to the dispersion value of the pixel values. Further, by using the dispersion value of the pixel value, it is possible to generate compressed LF data in which the degradation of the image quality of the reconstructed image is reduced.
(実施形態2)
次に本発明の実施形態2について説明する。本実施形態のデジタルカメラは実施形態1と同一の構成であってよく、画素値の選択および補間処理に係る動作以外共通である。このため、重複する説明は省略し、相違点について重点的に説明する。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. The digital camera of the present embodiment may have the same configuration as that of the first embodiment, and is common except for operations related to pixel value selection and interpolation processing. For this reason, the overlapping description will be omitted, and differences will be mainly described.
(1 LFデータの削除処理とその動作)
実施形態1において、各マイクロレンズブロックの画素を選択し、該画素の画素値を代表画素の画素値として記録したのに対し、実施形態2は、マイクロレンズブロック内の所定の画素値の総和を代表画素の画素値として記録する。なお、以下の説明では、該代表画素の画素値を代表値という。また、該総和を求めるために選択される画素を示すマイクロレンズブロック内の領域を分割ブロックという。そして、マイクロレンズブロック内の各画素は、代表値とした総和を、総和に用いた画素の数で除算して得られる値(総和した画素値の平均値)により補間される。
(1 LF data deletion process and operation)
In the first embodiment, the pixels of each microlens block are selected and the pixel value of the pixel is recorded as the pixel value of the representative pixel, whereas in the second embodiment, the sum of the predetermined pixel values in the microlens block is calculated. It records as a pixel value of a representative pixel. In the following description, the pixel value of the representative pixel is referred to as a representative value. An area in the microlens block indicating the pixels selected for obtaining the sum is referred to as a divided block. Then, each pixel in the microlens block is interpolated by a value (average value of summed pixel values) obtained by dividing the sum total as a representative value by the number of pixels used for the sum.
分散値の小さいマイクロレンズブロックの場合、16画素を一つの分割ブロックとして16画素で単一の値を代表値とする画素値を決定する。例えば図8(a)は総和値T1が対応するマイクロレンズブロックの代表値となる。総和値は、以下に示す数2において16画素の値を加算することにより算出される。 In the case of a microlens block having a small dispersion value, a pixel value having 16 pixels as one divided block and 16 pixels as a representative value is determined. For example, in FIG. 8A, the total value T1 is a representative value of the corresponding microlens block. The total value is calculated by adding the value of 16 pixels in the following formula 2.
を示す。
Indicates.
分散値が中程度のマイクロレンズブロックの場合、16画素を4つの分割ブロックに分割して分割ブロック毎に総和を計算し、分割ブロックそれぞれの代表値を決定する。例えば図8(b)は、総和値T2、T3、T4、T5が代表値として決定されている。総和値T2は画素A、B、E、Fの、総和値T3は画素C、D、G、Hの、総和値T4は画素I、J、M、Nの画素値の総和である。また総和値T5は画素K、L、O、Pの画素値の総和により算出される。分散値の大きいマイクロレンズブロックの場合、全16画素が代表値として決定される。図8(c)では、A〜Pの各画素がそのまま利用されている。 In the case of a microlens block having a medium dispersion value, 16 pixels are divided into four divided blocks, the sum is calculated for each divided block, and the representative value of each divided block is determined. For example, in FIG. 8B, the total values T2, T3, T4, and T5 are determined as representative values. The sum T2 is the sum of the pixel values of the pixels A, B, E, and F, the sum T3 is the sum of the pixels C, D, G, and H, and the sum T4 is the sum of the pixel values of the pixels I, J, M, and N. The total value T5 is calculated by the total sum of the pixel values of the pixels K, L, O, and P. In the case of a microlens block having a large dispersion value, all 16 pixels are determined as representative values. In FIG. 8C, the pixels A to P are used as they are.
次に画素選択部107の動作について説明する。画素選択部107は、メモリ105に格納されたLFデータを読み出すと、CPU125から出力される選択種別に従って、一つのマイクロレンズブロック内の16の画素の画素値を取得する。画素選択部107は、選択種別に応じて予め定められた画素を選択して図8に示す総和値を算出し、代表値として記録部119へ出力する。画素選択部107は、全てのマイクロレンズブロックについて、代表値としての総和値とマイクロレンズブロックの区切りを示すデータとを合わせて記録部119へ出力すると処理を終了する。 Next, the operation of the pixel selection unit 107 will be described. When the pixel selection unit 107 reads out the LF data stored in the memory 105, the pixel selection unit 107 acquires the pixel values of 16 pixels in one microlens block according to the selection type output from the CPU 125. The pixel selection unit 107 selects a predetermined pixel according to the selection type, calculates the total value shown in FIG. 8, and outputs it to the recording unit 119 as a representative value. The pixel selection unit 107 ends the process when the sum value as a representative value and the data indicating the delimiter of the microlens block are output to the recording unit 119 for all the microlens blocks.
(2 圧縮LFデータの補間処理とその動作)
実施形態2に係る補間処理について図9を用いて説明する。本実施形態の補間処理は、画素選択部107で決定されたマイクロレンズブロックの代表値、即ち総和値Tを以下に示す数3へ代入し、所定の画素に対する平均値を算出する。算出された平均値を用いて対応する各画素を補間する。
(2 Interpolation processing of compressed LF data and its operation)
The interpolation processing according to the second embodiment will be described with reference to FIG. In the interpolation processing of the present embodiment, the representative value of the microlens block determined by the pixel selection unit 107, that is, the total value T is substituted into Equation 3 below, and an average value for a predetermined pixel is calculated. Each corresponding pixel is interpolated using the calculated average value.
を示す。
Indicates.
分散値が小さいマイクロレンズブロックについては、16画素から単一の総和値が決定され、該総和値を16の画素数で除算した平均値Rを各画素の画素値として補間する。例えば図9(a)では総和から求めた平均値Rを用いてマイクロレンズブロック内の画素値が補間される。分散値が中程度のマイクロレンズブロックの場合、16画素から4つの分割ブロックが構成され、4つの代表値からそれぞれ得られる平均値が画素値として補間される。図9(b)の例では総和値T2を数3へ代入して得られる平均値Sが、対応する分割ブロック内の4つの画素を補間し、総和値T3から得られる平均値Uが対応する分割ブロック内の4つの画素を補間する。同様に、総和値T4から得られる平均値V、総和値T5から得られる平均値Wが、対応する分割ブロック内の各画素を補間する。分散値が大きいマイクロレンズブロックの場合は、総和が算出されていないため、図9(c)に示すように16画素のそれぞれの画素値がそのまま用いられる。 For a microlens block having a small variance value, a single sum value is determined from 16 pixels, and an average value R obtained by dividing the sum value by the number of pixels of 16 is interpolated as the pixel value of each pixel. For example, in FIG. 9A, the pixel value in the microlens block is interpolated using the average value R obtained from the sum. In the case of a microlens block having a medium dispersion value, four divided blocks are formed from 16 pixels, and an average value obtained from each of the four representative values is interpolated as a pixel value. In the example of FIG. 9B, the average value S obtained by substituting the total value T2 into Equation 3 interpolates four pixels in the corresponding divided block, and the average value U obtained from the total value T3 corresponds. Interpolate four pixels in a divided block. Similarly, the average value V obtained from the total value T4 and the average value W obtained from the total value T5 interpolate each pixel in the corresponding divided block. In the case of a microlens block having a large dispersion value, since the sum is not calculated, each pixel value of 16 pixels is used as it is as shown in FIG. 9C.
次に画素補間部113の動作について説明する。画素補間部113は、取得した圧縮LFデータを走査して、マイクロレンズブロックの区切りを示すデータと画素値を特定し、画素値を取得する。具体的には、画素補間部113は、例えば特定したマイクロレンズブロックの区切りを示すデータを特定し、該データから選択種別を示すビット列を読み出して選択種別を判別する。そして画素補間部113は、該選択種別に応じて読み込むべき画素の数を特定し、特定した画素の数だけ画素値を取得する。その後、画素補間部113は、選択種別に応じた補間処理を行う。画素補間部113は、選択種別が「1×1」を示す場合、取得した画素値(総和値)を対象となる画素数16で除算して平均値を算出し、マイクロレンズブロック内の画素を補間する。同様に、画素補間部113は、選択種別が「2×2」を示す場合、4つの画素値(総和値)を取得して、それぞれの総和値について平均値を算出し、予め決められた分割ブロックの画素を補間する。一方、選択種別が「4×4」を示す場合、画素補間部113は、読み出した画素値を補間することなくマイクロレンズブロックの画素値として用いる。画素補間部113は、取得した圧縮LFデータの走査が完了すると、処理を完了する。 Next, the operation of the pixel interpolation unit 113 will be described. The pixel interpolation unit 113 scans the acquired compressed LF data, specifies data and pixel values indicating the delimiters of the microlens blocks, and acquires the pixel values. Specifically, for example, the pixel interpolation unit 113 specifies data indicating a delimiter of the specified microlens block, reads a bit string indicating the selection type from the data, and determines the selection type. Then, the pixel interpolation unit 113 specifies the number of pixels to be read according to the selection type, and acquires pixel values for the specified number of pixels. Thereafter, the pixel interpolation unit 113 performs interpolation processing according to the selection type. When the selection type indicates “1 × 1”, the pixel interpolation unit 113 divides the acquired pixel value (total value) by the number of target pixels 16 to calculate an average value, and calculates the pixels in the microlens block. Interpolate. Similarly, when the selection type indicates “2 × 2”, the pixel interpolation unit 113 acquires four pixel values (total values), calculates an average value for each total value, and determines a predetermined division. Interpolate block pixels. On the other hand, when the selection type indicates “4 × 4”, the pixel interpolation unit 113 uses the read pixel value as the pixel value of the microlens block without interpolation. When the scanning of the acquired compressed LF data is completed, the pixel interpolation unit 113 completes the process.
本実施形態では、LFデータの補間において総和値から求めた平均値を用いるため、総和に用いる画素の中に飛び込みノイズ等の影響を受けた画素値があったとしても、復号後のLFデータではノイズによる画素値の変化の影響を低減することができる。つまり、本実施形態のデジタルカメラでは、実施形態1において説明した情報量の削減という効果に加え、LFデータにもともと含まれていた飛び込みノイズ等の特定の画素に対する変質の影響を低減することができる。 In this embodiment, since the average value obtained from the total value is used in the interpolation of the LF data, even if there is a pixel value affected by the jumping noise or the like in the pixels used for the total, in the decoded LF data, It is possible to reduce the influence of changes in pixel values due to noise. That is, in the digital camera of the present embodiment, in addition to the effect of reducing the amount of information described in the first embodiment, it is possible to reduce the influence of alteration on specific pixels such as jumping noise originally included in the LF data. .
なお、本実施形態では画素選択部107において決定される代表値について、所定の画素値の総和値を代表値とする例を説明したが、代表値を所定の画素値の平均値としてもよく、上述の効果が得られる。また、分散値が小さいあるいは中程度となる場合において、総和値の算出に影響を与える特異な画素、例えば画素値が所定の偏差より大きくなる画素、を総和の対象から除いた上で総和値を算出するようにしてもよい。これにより特定の画素値をもつ特異な画素値による総和値の変動を低減した代表値の算出を行うことができる。 In the present embodiment, the representative value determined by the pixel selection unit 107 has been described as an example in which the total value of the predetermined pixel values is the representative value. However, the representative value may be an average value of the predetermined pixel values. The effects described above can be obtained. In addition, when the variance value is small or medium, a peculiar pixel that affects the calculation of the total value, for example, a pixel whose pixel value is larger than a predetermined deviation is excluded from the target of the total, and the total value is calculated. You may make it calculate. As a result, it is possible to calculate a representative value in which the fluctuation of the total value due to a specific pixel value having a specific pixel value is reduced.
以上説明したように本発明によれば、情報量を削減した、再構成可能な光線空間情報を生成することができる。 As described above, according to the present invention, reconfigurable ray space information with a reduced amount of information can be generated.
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (13)
前記光線空間情報に含まれる、同一の領域に入射した光束を瞳分割した光束を記録した画素群について、画素値の分散を算出する算出手段と、
前記算出された分散に基づいて、該分散に対応する前記画素群を該画素群の画素数以下の画素で代表させて、前記光線空間情報の情報量を圧縮した光線空間情報を生成する生成手段と、
を有することを特徴とする画像処理装置。 An acquisition means for acquiring light space information in which each pixel is incident on a region corresponding to the pixel and records a light beam obtained by dividing a light beam from a subject into pupils;
Calculating means for calculating a dispersion of pixel values for a pixel group in which a light beam obtained by pupil-dividing a light beam incident on the same region included in the light space information is recorded;
Generating means for generating ray space information in which the information amount of the ray space information is compressed by representing the pixel group corresponding to the variance with pixels equal to or less than the number of pixels of the pixel group based on the calculated variance. When,
An image processing apparatus comprising:
前記生成手段は、前記算出された分散が小さいほど、総和を算出する前記一部の画素群の画素の数を多くすることを特徴とする請求項5に記載の画像処理装置。 The value generated from the pixel values of the pixels included in the pixel group corresponding to the dispersion is at least the sum of the pixel values of some of the pixel groups included in the pixel group,
The image processing apparatus according to claim 5, wherein the generation unit increases the number of pixels of the partial pixel group for calculating the sum as the calculated variance is smaller.
前記光線空間情報に含まれる、同一の領域に入射した光束を瞳分割した光束を記録した画素群について、画素値の分散を算出する算出手段と、
前記算出された分散に基づいて、該分散に対応する前記画素群を該画素群の画素数以下の画素数に間引いて、前記光線空間情報の情報量を圧縮した光線空間情報を生成する生成手段と、
を有することを特徴とする画像処理装置。 An acquisition means for acquiring light space information in which each pixel is incident on a region corresponding to the pixel and records a light beam obtained by dividing a light beam from a subject into pupils;
Calculating means for calculating a dispersion of pixel values for a pixel group in which a light beam obtained by pupil-dividing a light beam incident on the same region included in the light space information is recorded;
Based on the calculated variance, generation means for thinning the pixel group corresponding to the variance to the number of pixels equal to or less than the number of pixels of the pixel group and generating ray space information in which the amount of information of the ray space information is compressed When,
An image processing apparatus comprising:
前記取得手段により取得された前記情報量が圧縮された光線空間情報から、同一の領域に入射した光束を瞳分割した光束を記録した画素群に対応する画素を特定する特定手段と、
前記特定手段により特定された画素の画素値に基づいて前記同一の領域に入射した光束を瞳分割した光束を記録した画素群に含まれる画素を補間することで、圧縮前の情報量を有する光線空間情報を復号する復号手段と、
前記復号手段により復号された前記圧縮前の情報量を有する光線空間情報から、所定の被写体距離に合焦する画像を生成する再構成手段と、
を有することを特徴とする画像生成装置。 An acquisition means for acquiring ray space information generated by the image processing apparatus according to claim 1 and having a compressed amount of information;
A specifying unit for specifying a pixel corresponding to a pixel group that records a light beam obtained by dividing a light beam incident on the same region from the light space information obtained by compressing the information amount acquired by the acquisition unit;
A light beam having an information amount before compression by interpolating pixels included in a pixel group in which a light beam obtained by dividing the light beam incident on the same region based on the pixel value of the pixel specified by the specifying unit is recorded. Decoding means for decoding the spatial information;
Reconstructing means for generating an image focused on a predetermined subject distance from the light space information having the information amount before compression decoded by the decoding means;
An image generation apparatus comprising:
算出手段が、前記光線空間情報に含まれる、同一の領域に入射した光束を瞳分割した光束を記録した画素群について、画素値の分散を算出する算出工程と、
生成手段が、前記算出された分散に基づいて、該分散に対応する前記画素群を該画素群の画素数以下の画素で代表させて、前記光線空間情報の情報量を圧縮した光線空間情報を生成する生成工程と、
を有することを特徴とする画像処理装置の制御方法。 An acquisition step in which an acquisition unit acquires ray space information in which each pixel is incident on a region corresponding to the pixel and records a light beam obtained by dividing a light beam from a subject into pupils; and
A calculation step of calculating a variance of pixel values for a pixel group in which a calculation unit records a light beam obtained by pupil-dividing a light beam incident on the same region included in the light space information;
Based on the calculated variance, the generation means represents the pixel group corresponding to the variance with pixels equal to or less than the number of pixels of the pixel group, and the ray space information obtained by compressing the information amount of the ray space information is obtained. A generation process to generate;
A control method for an image processing apparatus, comprising:
算出手段が、前記光線空間情報に含まれる、同一の領域に入射した光束を瞳分割した光束を記録した画素群について、画素値の分散を算出する算出工程と、
生成手段が、前記算出された分散に基づいて、該分散に対応する前記画素群を該画素群の画素数以下の画素数に間引いて、前記光線空間情報の情報量を圧縮した光線空間情報を生成する生成工程と、
を有することを特徴とする画像処理装置の制御方法。 An acquisition step in which an acquisition unit acquires ray space information in which each pixel is incident on a region corresponding to the pixel and records a light beam obtained by dividing a light beam from a subject into pupils; and
A calculation step of calculating a variance of pixel values for a pixel group in which a calculation unit records a light beam obtained by pupil-dividing a light beam incident on the same region included in the light space information;
Based on the calculated variance, the generation means thins out the pixel group corresponding to the variance to the number of pixels equal to or less than the number of pixels of the pixel group, and obtains the ray space information obtained by compressing the information amount of the ray space information. A generation process to generate;
A control method for an image processing apparatus, comprising:
取得手段が、前記情報量が圧縮された光線空間情報を取得する取得工程と、
特定手段が、前記取得工程において取得された前記情報量が圧縮された光線空間情報から、同一の領域に入射した光束を瞳分割した光束を記録した画素群に対応する画素を特定する特定工程と、
復号手段が、前記特定工程において特定された画素の画素値に基づいて前記同一の領域に入射した光束を瞳分割した光束を記録した画素群に含まれる画素を補間することで、圧縮前の情報量を有する光線空間情報を復号する復号工程と、
再構成手段が、前記復号工程において復号された前記圧縮前の情報量を有する光線空間情報から、所定の被写体距離に合焦する画像を生成する再構成工程と、
を有することを特徴とする画像生成装置の制御方法。 A control method for an image generation apparatus that generates an image focused on a predetermined subject distance from light-space information whose amount of information is compressed, which is generated by the image processing apparatus according to claim 1. There,
An acquisition step of acquiring light space information in which the amount of information is compressed;
A specifying step of specifying a pixel corresponding to a pixel group that records a light beam obtained by dividing the light beam incident on the same region from the light space information in which the information amount acquired in the acquisition step is compressed; ,
Information before compression is performed by interpolating pixels included in a pixel group that records a light beam obtained by dividing the light beam incident on the same region based on the pixel value of the pixel specified in the specifying step. A decoding step of decoding ray space information having a quantity;
A reconstruction step for generating an image focused on a predetermined subject distance from the ray space information having the information amount before compression decoded in the decoding step;
A control method for an image generating apparatus, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014025923A JP6278728B2 (en) | 2014-02-13 | 2014-02-13 | Image processing apparatus, image generation apparatus, control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014025923A JP6278728B2 (en) | 2014-02-13 | 2014-02-13 | Image processing apparatus, image generation apparatus, control method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015154217A JP2015154217A (en) | 2015-08-24 |
JP6278728B2 true JP6278728B2 (en) | 2018-02-14 |
Family
ID=53896076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014025923A Expired - Fee Related JP6278728B2 (en) | 2014-02-13 | 2014-02-13 | Image processing apparatus, image generation apparatus, control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6278728B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4826152B2 (en) * | 2005-06-23 | 2011-11-30 | 株式会社ニコン | Image composition method and imaging apparatus |
JP2009229124A (en) * | 2008-03-19 | 2009-10-08 | Sharp Corp | Distance measuring device and distance measuring method |
JP5869839B2 (en) * | 2011-10-31 | 2016-02-24 | キヤノン株式会社 | Image processing apparatus and control method thereof |
JP6053329B2 (en) * | 2012-05-28 | 2016-12-27 | キヤノン株式会社 | Imaging apparatus and control method thereof |
-
2014
- 2014-02-13 JP JP2014025923A patent/JP6278728B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015154217A (en) | 2015-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9516213B2 (en) | Image processing apparatus, image capturing apparatus, and control method thereof | |
KR101627087B1 (en) | Image processing apparatus, image processing method and storage medium, and image pickup apparatus including image processing apparatus | |
US9609192B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
JP5947548B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, IMAGE PROCESSING DEVICE, IMAGE GENERATION METHOD, PROGRAM | |
KR101730342B1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6628987B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP6095266B2 (en) | Image processing apparatus and control method thereof | |
JP6557499B2 (en) | FOCUS DETECTION DEVICE, ITS CONTROL METHOD, IMAGING DEVICE, PROGRAM, AND STORAGE MEDIUM | |
JP2016184956A (en) | Image processing apparatus and image processing method | |
US10122939B2 (en) | Image processing device for processing image data and map data with regard to depth distribution of a subject, image processing system, imaging apparatus, image processing method, and recording medium | |
JP2017073653A (en) | Image processor, control method and program of image processor | |
JP6053276B2 (en) | Imaging apparatus, control method therefor, and image processing apparatus | |
JP2016111568A (en) | Image blur correction control device, imaging apparatus, control method and program thereof | |
JP6278728B2 (en) | Image processing apparatus, image generation apparatus, control method, and program | |
JP5895587B2 (en) | Image recording apparatus, image recording method, image reproducing apparatus, and image reproducing method | |
JP6871795B2 (en) | Imaging device, its control method, program and recording medium | |
JP6467455B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
JP7134601B2 (en) | Image processing device, image processing method, imaging device, and imaging device control method | |
JP6272099B2 (en) | Image processing apparatus, control method, and program | |
JP2014110442A (en) | Imaging apparatus | |
US10334161B2 (en) | Image processing apparatus, image processing method, computer program and imaging apparatus | |
WO2024053522A1 (en) | Image processing device and image processing method | |
JP6433474B2 (en) | Imaging apparatus and control method thereof | |
US10147016B2 (en) | Image processing apparatus to encode image data by image processing parameters | |
JP2016058875A (en) | Image processing system, imaging apparatus, control method of them, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180116 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6278728 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |