JP6871795B2 - Imaging device, its control method, program and recording medium - Google Patents

Imaging device, its control method, program and recording medium Download PDF

Info

Publication number
JP6871795B2
JP6871795B2 JP2017082251A JP2017082251A JP6871795B2 JP 6871795 B2 JP6871795 B2 JP 6871795B2 JP 2017082251 A JP2017082251 A JP 2017082251A JP 2017082251 A JP2017082251 A JP 2017082251A JP 6871795 B2 JP6871795 B2 JP 6871795B2
Authority
JP
Japan
Prior art keywords
image data
raw image
component
recording
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017082251A
Other languages
Japanese (ja)
Other versions
JP2018182622A (en
Inventor
遼太 鈴木
遼太 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017082251A priority Critical patent/JP6871795B2/en
Publication of JP2018182622A publication Critical patent/JP2018182622A/en
Application granted granted Critical
Publication of JP6871795B2 publication Critical patent/JP6871795B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Camera Data Copying Or Recording (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置、その制御方法、プログラム及び記録媒体に関する。 The present invention relates to an image pickup apparatus, a control method thereof, a program, and a recording medium.

近年、デジタルカメラやデジタルカムコーダーなどの撮像装置では、撮像素子から出力された直後の現像未処理の撮像データ(RAW画像)を記録媒体に記録可能なものが知られている。RAW画像は、現像処理が施されておらず、撮像素子から出力された信号の豊富な色階調数を保ったまま記録されるため、ユーザは撮像後により所望な画像を生成することができるという特徴がある。 In recent years, it is known that an imaging device such as a digital camera or a digital camcorder can record undeveloped imaging data (RAW image) immediately after being output from an imaging element on a recording medium. Since the RAW image is not developed and is recorded while maintaining the abundant number of color gradations of the signal output from the image sensor, the user can generate a desired image after imaging. There is a feature.

このようなRAW画像を複数撮像して利用することにより、より高品位な1枚の画像を生成する技術が知られている。特許文献1は、複数の露光(撮像)によって得られる複数のRAW画像を用いて多重合成を行う際に、撮像したRAW画像に対応する収差情報と多重合成に用いることを示すヘッダと当該RAW画像とを、1つのファイルとして記録する技術を開示している。 A technique for generating a single high-quality image by capturing and using a plurality of such RAW images is known. Patent Document 1 describes an aberration information corresponding to an captured RAW image and a header indicating that the RAW image is used for multiple synthesis when performing multiple synthesis using a plurality of RAW images obtained by a plurality of exposures (imaging). Discloses a technique for recording and as a single file.

特開2012−15967号公報Japanese Unexamined Patent Publication No. 2012-15967

また、複数撮像されたRAW画像を用いて、より高品位な画像を生成する技術として、撮像素子をシフトしながら撮像した複数のRAW画像を合成して、より高精細な画像を生成する超解像技術が知られている。 In addition, as a technique for generating a higher quality image using a plurality of captured RAW images, a super-solution that synthesizes a plurality of RAW images captured while shifting the image sensor to generate a higher definition image. Image technology is known.

このような超解像技術を用いる際には、RAW画像のデータ量が圧縮された画像と比べて大きいため、特許文献1のように複数のRAW画像のデータをそのまま同時に記録媒体に記録すると、記録媒体の空き領域を圧迫してしまう。 When such a super-resolution technique is used, the amount of data of the RAW image is larger than that of the compressed image. Therefore, when the data of a plurality of RAW images are recorded on the recording medium as they are at the same time as in Patent Document 1, It squeezes the free space of the recording medium.

本発明は、上記課題に鑑みてなされ、その目的は、撮像素子をシフトして撮像された複数のRAW画像に対して、記録データ量を低減することが可能な技術を実現することである。 The present invention has been made in view of the above problems, and an object of the present invention is to realize a technique capable of reducing the amount of recorded data for a plurality of RAW images captured by shifting the image sensor.

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、R、G、Bの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のRAW画像データを取得する撮像手段と、複数のRAW画像データのうちの少なくとも1つにおいて、ベイヤー配列に対応する2つのG成分の信号の少なくとも1つを削減する削減手段と、削減手段によって信号の削減された複数のRAW画像データを記録媒体に記録する記録手段と、を有し、削減手段は、前記複数のRAW画像データの全てにおいて、ベイヤー配列に対応する2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を削減する、ことを特徴とする。 In order to solve this problem, for example, the image pickup apparatus of the present invention has the following configuration. That is, in the image pickup means for sequentially shifting the image pickup elements of the Bayer array composed of the color components of R, G, and B to acquire a plurality of RAW image data, and in at least one of the plurality of RAW image data, the Bayer It has a reduction means for reducing at least one of the signals of the two G components corresponding to the array, and a recording means for recording a plurality of RAW image data whose signals are reduced by the reduction means on a recording medium. in all of the plurality of RAW image data, the two G components of the signal corresponding to the Bayer arrangement, down cutting the signal of the first G component having a predetermined positional relationship with respect to R and B components It is characterized by doing.

本発明によれば、撮像素子をシフトして撮像された複数のRAW画像に対して、記録データ量を低減することが可能になる。 According to the present invention, it is possible to reduce the amount of recorded data for a plurality of RAW images captured by shifting the image sensor.

本発明に係る実施形態における撮像装置の一例としてのデジタルカメラ100の機能構成例を示すブロック図A block diagram showing a functional configuration example of a digital camera 100 as an example of an imaging device according to an embodiment of the present invention. 実施形態1に係る、ベイヤー配列に対応するRAW画像を構成する信号の例を示す図The figure which shows the example of the signal which comprises the RAW image corresponding to the Bayer arrangement which concerns on Embodiment 1. 実施形態1に係る撮像部102におけるRAW画像の取得方法を説明する図The figure explaining the acquisition method of the RAW image in the imaging unit 102 which concerns on Embodiment 1. 実施形態1に係る記録処理の一連の動作を示すフローチャートA flowchart showing a series of operations of the recording process according to the first embodiment. 実施形態1に係る基本的なG成分の破棄方法について説明する図The figure explaining the basic method of discarding G component which concerns on Embodiment 1. 実施形態1に係るG成分の破棄方法について説明する図The figure explaining the method of discarding the G component which concerns on Embodiment 1. 実施形態1に係るファイル管理方法を説明する図The figure explaining the file management method which concerns on Embodiment 1. 撮像したRAW画像について、動きの有無を検出するための基本的な方法を説明する図A diagram illustrating a basic method for detecting the presence or absence of movement in an captured RAW image. 実施形態2に係るG成分の破棄方法について説明する図The figure explaining the method of discarding the G component which concerns on Embodiment 2. 実施形態2に係るファイル管理情報を説明する図The figure explaining the file management information which concerns on Embodiment 2.

(実施形態1)
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。本実施形態の説明では、撮像装置の一例としてのデジタルカメラ100が、超解像技術を用いるために、1回の撮影で撮像素子を1画素ずつシフトしながら4枚のRAW画像を取得し、記録する場合を例に説明する。しかし、本実施形態は、デジタルカメラに限らず、撮像素子をシフトしながら複数のRAW画像を取得することが可能な任意の機器にも適用可能である。これらの機器には、例えばスマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視カメラを含む監視システム、車載用システムなどが含まれてよい。
(Embodiment 1)
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the description of the present embodiment, in order to use the super-resolution technology, the digital camera 100 as an example of the image pickup apparatus acquires four RAW images while shifting the image pickup element one pixel at a time in one shooting. The case of recording will be described as an example. However, this embodiment is applicable not only to a digital camera but also to any device capable of acquiring a plurality of RAW images while shifting the image sensor. These devices may include, for example, mobile phones including smartphones, game machines, tablet terminals, clock-type and eyeglass-type information terminals, medical devices, surveillance systems including surveillance cameras, in-vehicle systems, and the like.

(デジタルカメラ100の構成)
図1は、本実施形態のデジタルカメラ100の機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
(Configuration of Digital Camera 100)
FIG. 1 is a block diagram showing a functional configuration example of the digital camera 100 of the present embodiment. One or more of the functional blocks shown in FIG. 1 may be realized by hardware such as an ASIC or a programmable logic array (PLA), or may be realized by a programmable processor such as a CPU or MPU executing software. You may. It may also be realized by a combination of software and hardware. Therefore, in the following description, the same hardware can be realized as the main body even if different functional blocks are described as the main body of operation.

制御部101は、例えば、CPU(MPU)を含み、記録媒体105に記録されたプログラムをメモリ107に展開、実行してデジタルカメラ100の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。制御部101は、内部に別途ROM及びRAMを備えて当該プログラムをROMから読み出してRAMに展開、実行してもよい。 The control unit 101 includes, for example, a CPU (MPU), expands and executes a program recorded on the recording medium 105 in the memory 107, controls each block of the digital camera 100, and transfers data between the blocks. To control. The control unit 101 may separately include a ROM and a RAM inside, read the program from the ROM, expand the program in the RAM, and execute the program.

撮像部102は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系と、光電変換素子を有する画素が複数、2次元的に配列された構成を有する撮像素子とを含む。撮像素子は、レンズ光学系により結像された被写体光学像を各画素で光電変換し、さらにA/D変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号(すなわちRAW画像データ。単にRAW画像ともいう)を出力する。出力されたRAW画像はメモリI/F106を介してメモリ107に記憶される。撮像素子は、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどであってよい。撮像素子は、例えば原色ベイヤー配列のカラーフィルタを有し、各画素には、R(赤)、G1/G2(緑)、B(青)の何れかのカラーフィルタが設けられている。このため、出力されるRAW画像は、図2に示すベイヤー配列に対応する信号で構成される。すなわち、RAW画像は、ベイヤー配列に対応する4つの色成分の信号を有する。本実施形態では、G1成分は、R成分に水平方向に隣接しかつB成分と垂直方向に隣接する位置関係にあり、G2成分は、R成分に垂直方向に隣接しかつB成分と水平方向に隣接する位置関係にあるものとする。また、撮像素子は、制御部101の制御に従って撮像素子の位置を光軸に対して順次シフトさせることが可能な構成を有する。 The image pickup unit 102 includes a lens optical system capable of optical zoom including an optical lens, an aperture, a focus control, and a lens drive unit, and an image pickup element having a configuration in which a plurality of pixels having photoelectric conversion elements are arranged two-dimensionally. including. The image pickup element photoelectrically converts the subject optical image formed by the lens optical system with each pixel, and further performs analog-to-digital conversion with an A / D conversion circuit to perform pixel-by-pixel digital signals (that is, RAW image data, simply RAW). (Also called an image) is output. The output RAW image is stored in the memory 107 via the memory I / F 106. The image sensor may be a CCD (Charge-Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, or the like. The image pickup device has, for example, a color filter having a primary color Bayer array, and each pixel is provided with any one of R (red), G1 / G2 (green), and B (blue) color filters. Therefore, the output RAW image is composed of signals corresponding to the Bayer arrangement shown in FIG. That is, the RAW image has signals of four color components corresponding to the Bayer arrangement. In the present embodiment, the G1 component is horizontally adjacent to the R component and vertically adjacent to the B component, and the G2 component is vertically adjacent to the R component and horizontally adjacent to the B component. It is assumed that they are adjacent to each other. Further, the image sensor has a configuration capable of sequentially shifting the position of the image sensor with respect to the optical axis according to the control of the control unit 101.

データ削減部103は、メモリ107に記憶されているRAW画像を読み出し、フルカラー表現に不要なG成分を破棄してメモリ107に書き戻す。なお、G成分の破棄する処理についての詳細は後述する。 The data reduction unit 103 reads the RAW image stored in the memory 107, discards the G component unnecessary for full-color expression, and writes it back to the memory 107. The details of the process of discarding the G component will be described later.

記録処理部104は、メモリ107へ格納されたG成分の削減されたRAW画像等の各種データを、記録媒体105へ記録する。記録媒体105は、大容量のランダムアクセス可能な、例えば不揮発性メモリで構成される記録メディアである。不図示の装着、排出機構により、デジタルカメラ100に対してユーザが容易に装着し、また、取り外すことが可能になってもよい。 The recording processing unit 104 records various data such as a RAW image in which the G component is reduced stored in the memory 107 on the recording medium 105. The recording medium 105 is a recording medium composed of, for example, a non-volatile memory having a large capacity and random access. A mounting / discharging mechanism (not shown) may allow the user to easily mount and remove the digital camera 100.

メモリI/F106は、各処理部からのメモリ・アクセス要求を調停し、メモリ107に対する読み出し・書き込み制御を行う。メモリ107は、例えばSDRAMなどの揮発性メモリである。メモリ107は、上述の画像データ、音声データ等の各種のデータ、或いは、デジタルカメラ100を構成する各処理部から出力される各種データを格納するため記憶領域を提供する。 The memory I / F 106 arbitrates the memory access request from each processing unit, and performs read / write control for the memory 107. The memory 107 is a volatile memory such as SDRAM. The memory 107 provides a storage area for storing various data such as the above-mentioned image data and audio data, or various data output from each processing unit constituting the digital camera 100.

(RAW画像の取得)
次に、図3を参照して、撮像部102におけるRAW画像の取得方法について説明する。図3は、縦軸に示す時刻の経過(T0→T1→T2→T3)と共に、撮像部102内の撮像素子の位置を1画素ずつシフトして撮像するようすを示している。301は撮像素子を示し、302は有効画素領域として画素の信号が読み出される、画素読み出し領域を示す。画素読み出し領域の画素から読み出された画像信号は、右側に示すRAW画像として出力される。
(Acquisition of RAW image)
Next, a method of acquiring a RAW image in the imaging unit 102 will be described with reference to FIG. FIG. 3 shows that the position of the image sensor in the image pickup unit 102 is shifted one pixel at a time to take an image with the passage of time (T0 → T1 → T2 → T3) shown on the vertical axis. 301 indicates an image sensor, and 302 indicates a pixel reading area in which a pixel signal is read as an effective pixel area. The image signal read from the pixels in the pixel read area is output as a RAW image shown on the right side.

まず、時刻T0では、画素の読み出し開始位置(すなわち画素読み出し領域302の左上隅)をR画素として撮像する。時刻T1では、撮像素子301を右に1画素シフトすることにより、画素の読み出し開始位置をG1画素として撮像する。時刻T2では、時刻T1の位置から更に撮像素子301を下に1画素シフトすることにより、画素の読み出し開始位置をB画素として撮像する。最後に時刻T3では、時刻T2の位置から更に撮像素子301を左に1画素シフトすることにより、画素の読み出し位置をG2画素として撮像する。 First, at time T0, the pixel read start position (that is, the upper left corner of the pixel read area 302) is imaged as an R pixel. At time T1, the image sensor 301 is shifted to the right by one pixel, so that the pixel read start position is taken as a G1 pixel. At time T2, the image sensor 301 is further shifted downward by one pixel from the position at time T1, so that the pixel read start position is imaged as B pixel. Finally, at time T3, the image sensor 301 is further shifted to the left by one pixel from the position at time T2, so that the pixel readout position is imaged as a G2 pixel.

このように撮像素子をシフトして4回撮像することで、1つの画素位置のR、G1、G2、Bの4色を取得する。本来、RAW画像からフルカラーの画像を得るためには、1枚のRAW画像において各画素の信号と隣接する画素の信号とを用いてデモザイクと呼ばれる画素の補間処理を行うが、デモザイクは一般的にモアレや偽色が発生する原因となる。一方、4回の撮像によりフルカラーの画像を得ることができる超解像は、デモザイク処理に起因するモアレや偽色のない高精細な画像を得ることができる。 By shifting the image sensor and taking images four times in this way, four colors of R, G1, G2, and B at one pixel position are acquired. Originally, in order to obtain a full-color image from a RAW image, a pixel interpolation process called demosaic is performed using the signal of each pixel and the signal of an adjacent pixel in one RAW image, but demosaic is generally performed. It causes moire and false color. On the other hand, the super-resolution that can obtain a full-color image by four times of imaging can obtain a high-definition image without moire or false color due to demosaic processing.

(記録処理に係る一連の動作)
次に、図4を参照して、記録処理に係る一連の動作を説明する。なお、この記録処理は、例えば、不図示の操作部材であるシャッターボタンが全押しされた場合に開始される。また、本処理は、制御部101が記録媒体105に記録されたプログラムをメモリ107の作業用領域に展開、実行すると共に、撮像部102やデータ削減部103等の各部を制御することにより実現される。
(A series of operations related to recording processing)
Next, a series of operations related to the recording process will be described with reference to FIG. Note that this recording process is started, for example, when the shutter button, which is an operating member (not shown), is fully pressed. Further, this processing is realized by the control unit 101 developing and executing the program recorded on the recording medium 105 in the working area of the memory 107 and controlling each unit such as the imaging unit 102 and the data reduction unit 103. To.

S401では、撮像部102は、制御部101からの撮像指示に応じて、RAW画像を取得する。このとき、撮像部102は、例えば制御部101から供給される撮像素子をシフトするための制御量(シフトする量および方向)に応じて、図3に示したように撮像素子の位置をシフトさせたうえで撮像を行う。取得されたRAW画像は、メモリI/F106を介してメモリ107に格納される。 In S401, the imaging unit 102 acquires a RAW image in response to an imaging instruction from the control unit 101. At this time, the image sensor 102 shifts the position of the image sensor as shown in FIG. 3, for example, according to the control amount (shift amount and direction) for shifting the image sensor supplied from the control unit 101. Then take an image. The acquired RAW image is stored in the memory 107 via the memory I / F 106.

S402では、制御部101は、全ての(この例では4枚の)RAW画像の取得を完了したかを判定する。制御部101は、例えば撮像をカウントするカウンタ等により4枚のRAW画像の取得を完了したと判定した場合、S403に処理を進め、完了していないと判定した場合はS401に処理を戻す。 In S402, the control unit 101 determines whether all (four in this example) RAW images have been acquired. When the control unit 101 determines that the acquisition of four RAW images has been completed by, for example, a counter for counting imaging, the process proceeds to S403, and when it is determined that the acquisition has not been completed, the process returns to S401.

S403では、データ削減部103は、メモリ107に記憶されているRAW画像を読み出し、以下に詳述するデータ削減処理(すなわちフルカラー表現に不要なG成分を破棄する処理)を行う。その後、データ削減部103は、データ量を削減した画像データを再びメモリ107に書き戻す。 In S403, the data reduction unit 103 reads the RAW image stored in the memory 107 and performs the data reduction process described in detail below (that is, the process of discarding the G component unnecessary for full-color expression). After that, the data reduction unit 103 writes back the image data whose amount of data has been reduced to the memory 107 again.

ここで、図5を参照して、基本的なG成分の破棄方法について説明する。図5(a)は、撮像素子をシフトさせながら4回撮像して得られる元画像(4フレームの画像)を示しており、図5(b)は、図5(a)に示す元画像に対してG1画素を破棄した画像を示している。一方、図5(c)は、図5(a)に示す元画像に対してG2成分の信号を破棄した画像を示している。このデータ削減処理では、G1及びG2のように重複する色成分の信号の一方を削減したデータを記録するようしても、4枚の画像を用いてRGBのフルカラーの画像を構成できるようにしている。このように全てのフレームのG1成分あるいはG2成分の信号を破棄することで、フルカラー表現を可能としつつ、元画像に対してデータ量を25%削減することができる。 Here, a basic method of discarding the G component will be described with reference to FIG. FIG. 5A shows an original image (4 frame image) obtained by imaging four times while shifting the image sensor, and FIG. 5B shows the original image shown in FIG. 5A. On the other hand, an image in which the G1 pixel is discarded is shown. On the other hand, FIG. 5 (c) shows an image in which the signal of the G2 component is discarded with respect to the original image shown in FIG. 5 (a). In this data reduction process, even if data in which one of the signals having overlapping color components is reduced, such as G1 and G2, is recorded, it is possible to construct an RGB full-color image using four images. There is. By discarding the signals of the G1 component or the G2 component of all frames in this way, it is possible to reduce the amount of data by 25% with respect to the original image while enabling full-color expression.

一方、動きのある被写体を撮像する場合など、時間を近接させて撮像した4枚のRAW画像の間の相関が低くなるときは、超解像処理によって生成される画像を良好な画質で得られないことがある。すなわち、上記図5(b)、図5(c)のようにデータを削減した場合、デモザイク処理では、全てのフレームがベイヤー配列の元画像に比べてG1成分、G2成分の信号が不足した画像を用いた処理を行うことになる。つまり、G成分が補間精度の低いデモザイク処理を行うことになる。 On the other hand, when the correlation between four RAW images captured at close time is low, such as when capturing a moving subject, the image generated by the super-resolution processing can be obtained with good image quality. Sometimes not. That is, when the data is reduced as shown in FIGS. 5 (b) and 5 (c), in the demosaic processing, all the frames are images in which the signals of the G1 component and the G2 component are insufficient as compared with the original image of the Bayer array. Will be processed using. That is, the G component performs demosaic processing with low interpolation accuracy.

そこで、デモザイク処理の補間精度を落とすことなく、データを削減するG成分の破棄方法を図6に示す。図6(a)は、3枚目と4枚目のG1及びG2成分の信号を破棄した画像を示しており、図6(b)は、2枚目と3枚目のG1及びG2成分の信号を破棄した画像を示している。更に図6(c)は、1枚目と2枚目のG1及びG2成分の信号を破棄した画像を示し、図6(d)は、1枚目と4枚目のG1及びG2成分の信号を破棄した画像を示している。 Therefore, FIG. 6 shows a method of discarding the G component that reduces data without degrading the interpolation accuracy of the demosaic process. FIG. 6A shows images in which the signals of the G1 and G2 components of the third and fourth sheets are discarded, and FIG. 6B shows images of the G1 and G2 components of the second and third sheets. The image showing the discarded signal is shown. Further, FIG. 6 (c) shows an image in which the signals of the first and second G1 and G2 components are discarded, and FIG. 6 (d) shows the signals of the first and fourth G1 and G2 components. Shows the discarded image.

このように、G1成分とG2成分とが同色成分であることを利用して、4枚の画像のうちの2枚の画像においてこれらの成分の画素の信号を破棄する。このようにすることで、図6(a)では1枚目と2枚目、図6(b)では1枚目と4枚目、図6(c)では3枚目と4枚目、図6(d)では2枚目と3枚目のRAW画像でベイヤー配列の画像を保持することが可能となる。また、図5のときと同様に元画像に対してデータ量を25%削減することができる。なお超解像処理を用いてフルカラー表現を行う際には、被写体の動きの影響を低減するために時間的な距離の短い(例えば連続して撮像された)画像を用いることが望ましい。そこで、ベイヤー配列が保持される画像(信号の削減されていない画像)の時間的な距離の近い図6(a)、図6(c)、図6(d)の方法を用いてG画素を破棄することが望ましい。 In this way, by utilizing the fact that the G1 component and the G2 component are the same color components, the signals of the pixels of these components are discarded in two of the four images. By doing so, the first and second sheets are shown in FIG. 6 (a), the first and fourth sheets are shown in FIG. 6 (b), and the third and fourth sheets are shown in FIG. 6 (c). In 6 (d), the images of the Bayer arrangement can be retained in the second and third RAW images. Further, the amount of data can be reduced by 25% with respect to the original image as in the case of FIG. When performing full-color expression using super-resolution processing, it is desirable to use images with a short time distance (for example, continuously captured) in order to reduce the influence of the movement of the subject. Therefore, the G pixels are formed by using the methods of FIGS. 6 (a), 6 (c), and 6 (d) in which the images in which the Bayer arrangement is held (the images in which the signal is not reduced) are close in time. It is desirable to discard it.

再び図4を参照して記録処理の動作について説明する。S404では、記録処理部104は制御部101の指示に応じて、S403でデータ量を削減した画像データをメモリ107から読み出して記録媒体105に記録する。このとき、記録処理部104は、記録対象となる4枚の画像データそれぞれの画像情報をファイル管理情報として記録する。制御部101は、画像データの記録が終了すると本記録処理の一連の動作を終了する。 The operation of the recording process will be described again with reference to FIG. In S404, the recording processing unit 104 reads the image data whose data amount is reduced in S403 from the memory 107 and records it on the recording medium 105 in response to the instruction of the control unit 101. At this time, the recording processing unit 104 records the image information of each of the four image data to be recorded as the file management information. When the recording of the image data is completed, the control unit 101 ends a series of operations of the main recording process.

ここで、本実施形態に係る、データ量を削減した画像データを記録する際のファイル管理方法の一例について、図7を参照して説明する。図7(a)は画像データを記録媒体105に記録する際のファイル管理方法の一例を示しており、図7(b)は、ファイル管理情報の一例を示している。図7(a)の例では、ファイル管理情報701は、S403で生成された画像ファイルとは別に保持される。そして、図7(b)に示すように、ファイル管理情報701において、各画像ファイルは、フルカラー画像を生成することができる複数のRAW画像がグループ化されて管理される。例えば、グループ001には、画像ファイル0001.raw、0002.raw、0003.raw、0004.rawが属している。そして、グループ化された画像ファイルのそれぞれには、画像情報が関連付けられる。この画像情報は、G画素を破棄したかどうかを判別する識別子であり、記録方法の種別を表す。例えば、G成分を残した画像データを記録タイプA、G成分のいずれも破棄した画像データを記録タイプB、G1成分を破棄した画像データを記録タイプC、G2成分を破棄した画像データを記録タイプDとして区別して記録する。こうしたファイル管理情報を、データ量が削減された画像データとともに記録しておくことで、画像データのG成分の有無を容易に特定することができる。これらの画像データにデモザイク処理を施してフルカラー画像を得る際には、G成分を取得するために記録タイプAで記録された画像データを選択すればよい。以上のように、フレーム単位でG成分を破棄することで、デモザイクの補間精度を落とすことなく、フルカラー表現に不要なデータを削減することが可能である。 Here, an example of a file management method for recording image data with a reduced amount of data according to the present embodiment will be described with reference to FIG. 7. FIG. 7A shows an example of a file management method when recording image data on the recording medium 105, and FIG. 7B shows an example of file management information. In the example of FIG. 7A, the file management information 701 is held separately from the image file generated in S403. Then, as shown in FIG. 7B, in the file management information 701, each image file is managed by grouping a plurality of RAW images capable of generating a full-color image. For example, in group 001, the image file 0001. raw, 0002. raw, 0003. raw, 0004. raw belongs. Then, image information is associated with each of the grouped image files. This image information is an identifier for determining whether or not the G pixel is discarded, and represents the type of recording method. For example, the image data in which the G component is left is recorded as the recording type A, the image data in which both the G components are discarded is recorded as the recording type B, the image data in which the G1 component is discarded is recorded as the type C, and the image data in which the G2 component is discarded is recorded as the recording type. Record separately as D. By recording such file management information together with the image data in which the amount of data is reduced, the presence or absence of the G component of the image data can be easily specified. When these image data are subjected to demosaic processing to obtain a full-color image, the image data recorded in the recording type A may be selected in order to acquire the G component. As described above, by discarding the G component in frame units, it is possible to reduce data unnecessary for full-color expression without degrading the interpolation accuracy of demosaic.

なお、本実施形態では、ファイル管理情報を画像データとは別に記録する例を説明したが、このファイル管理情報は画像ファイル内に、例えばメタデータとして記録されても良い。また、1回の撮影で4枚のRAW画像を撮像するものとして説明したが、フルカラー画像の生成可能な組み合わせを構成する限りこの枚数に限定されない。 In the present embodiment, an example of recording the file management information separately from the image data has been described, but the file management information may be recorded in the image file, for example, as metadata. Further, although it has been described that four RAW images are captured in one shooting, the number is not limited to this as long as a combination capable of generating full-color images is configured.

以上説明したように本実施形態では、撮像素子をシフトさせて撮像した複数のRAW画像において、同色成分であるG1成分とG2成分との少なくともいずれかを破棄するようにした。このようにすることで複数のRAW画像に対して、記録データ量を低減することが可能な撮像装置を提供することが可能になる。特に、複数のRAW画像のうち、G1成分及びG2成分を破棄する特定のRAW画像と、当該G成分を破棄しないRAW画像とを設けるようにした。このようにすることで、動きのある被写体を撮像する場合であっても、デモザイク後の画質低下を防止することができ、かつ記録データ量を低減することができる。 As described above, in the present embodiment, at least one of the G1 component and the G2 component, which are the same color components, is discarded in a plurality of RAW images captured by shifting the image sensor. By doing so, it becomes possible to provide an imaging device capable of reducing the amount of recorded data for a plurality of RAW images. In particular, among a plurality of RAW images, a specific RAW image in which the G1 component and the G2 component are discarded and a RAW image in which the G component is not discarded are provided. By doing so, even when a moving subject is imaged, deterioration of image quality after demosaic can be prevented and the amount of recorded data can be reduced.

(実施形態2)
次に実施形態2について説明する。実施形態1では、デモザイクによってフルカラー画像を得ることを前提に、フレーム単位でG成分を破棄することで記録データ量を削減する例を説明した。しかし、画像の領域ごとに被写体の動きの有無が異なる場合は、画像の領域ごとに超解像とデモザイクを選択してフルカラー画像を得られることが望ましい。そこで、本実施形態では、画像の領域ごとに超解像とデモザイクとを選択できるように、画像内の動きの有無を判定可能にするデータ削減方法について説明する。なお、本実施形態においてもユーザによる1回の撮影指示で撮像素子を1画素ずつ順次シフトしながら4枚のRAW画像を取得するものとして説明する。また、本実施形態のデジタルカメラ100の構成は、実施形態1と同一である。このため、同一の構成及び同一のステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
(Embodiment 2)
Next, the second embodiment will be described. In the first embodiment, an example of reducing the amount of recorded data by discarding the G component in frame units has been described on the premise that a full-color image is obtained by demosaic. However, when the presence or absence of movement of the subject differs depending on the image region, it is desirable to select super-resolution and demosaic for each image region to obtain a full-color image. Therefore, in the present embodiment, a data reduction method that makes it possible to determine the presence or absence of movement in the image will be described so that super-resolution and demosaic can be selected for each image region. In this embodiment as well, it is assumed that four RAW images are acquired while sequentially shifting the image sensor pixel by pixel with one shooting instruction by the user. Further, the configuration of the digital camera 100 of the present embodiment is the same as that of the first embodiment. For this reason, the same configuration and the same steps are designated by the same reference numerals, duplicated explanations are omitted, and differences will be mainly described.

図8及び図9を参照して、画像内の動きの有無を判定可能にするデータ削減方法について説明する。上述したように、一般的に、超解像処理ではフレーム間の時間的相関が低い場合に良好な画質が得られない。このため、フレーム間の動きがない場合は超解像を用いてフルカラー画像を生成し、動きがある場合はデモザイクを用いてフルカラー画像を生成できることが望ましく、このような判定を可能にするためにフレーム間の動きを検出できることが必要になる。 A data reduction method that enables determination of the presence or absence of movement in an image will be described with reference to FIGS. 8 and 9. As described above, in general, in super-resolution processing, good image quality cannot be obtained when the temporal correlation between frames is low. Therefore, it is desirable to be able to generate a full-color image using super-resolution when there is no movement between frames, and to generate a full-color image using demosaic when there is movement. It is necessary to be able to detect movement between frames.

図8は、撮像素子をシフトさせて撮像したRAW画像について、動きの有無を検出するための基本的な方法を示している。同一位置にあるG画素同士で差分値を算出(図8の例では、位置801のG成分同士で差分値を算出、あるいは位置802のG成分同士で差分値を算出)することで動きの有無を検出することができる。すなわち、この差分値が所定の閾値より小さい場合は動きなし、差分値が所定の閾値以上に大きい場合は動きありと判定することができる。しかしながら、RAW画像に対して実施形態1に示したG成分の破棄処理を施している場合、同一位置にG成分が存在せず差分を算出することができない場合がある。 FIG. 8 shows a basic method for detecting the presence or absence of movement in a RAW image captured by shifting the image sensor. Presence or absence of movement by calculating the difference value between the G pixels at the same position (in the example of FIG. 8, the difference value is calculated between the G components at the position 801 or the difference value is calculated between the G components at the position 802). Can be detected. That is, when the difference value is smaller than the predetermined threshold value, it can be determined that there is no movement, and when the difference value is larger than the predetermined threshold value, it can be determined that there is movement. However, when the RAW image is subjected to the G component discarding process shown in the first embodiment, the G component may not exist at the same position and the difference may not be calculated.

そこで、動きの有無を検出可能なG成分の破棄方法を図9に示す。図9(a)は、3枚目のRAW画像のG1成分を破棄するとともに、4枚目のRAW画像のG1及びG2成分を破棄したRAW画像を示している。図9(b)は、3枚目のG2成分を破棄、4枚目のG1及びG2成分を破棄した画像である。図9(a)は、実施形態1において図6(a)に示したデータ削減方法に対して、3枚目のG2成分を破棄せず残している。これにより、1枚目のG1成分と3枚目のG2成分とで差分を算出して動きの有無を検出することが可能となる。また、図9(b)においても同様で、1枚目のG2成分と3枚目のG1成分とで差分を算出して動きの有無を検出することが可能となる。 Therefore, FIG. 9 shows a method of discarding the G component that can detect the presence or absence of movement. FIG. 9A shows a RAW image in which the G1 component of the third RAW image is discarded and the G1 and G2 components of the fourth RAW image are discarded. FIG. 9B is an image in which the third G2 component is discarded and the fourth G1 and G2 component is discarded. In FIG. 9A, the third G2 component is left without being discarded with respect to the data reduction method shown in FIG. 6A in the first embodiment. This makes it possible to calculate the difference between the G1 component of the first sheet and the G2 component of the third sheet and detect the presence or absence of movement. Further, the same applies to FIG. 9B, and it is possible to detect the presence or absence of movement by calculating the difference between the G2 component of the first sheet and the G1 component of the third sheet.

このようにフルカラー表現に必要なデータと差分算出用のデータを残してG成分を破棄することで、元画像に対してデータ量を約19%削減することができる。なお、本実施形態では、4枚目のフレームのG成分を全て破棄し、3枚目のフレームのG1成分あるいはG2成分どちらかを破棄するものとして説明した。しかし、G成分を全て残すフレームが2枚、G成分を全て破棄するフレームとG1成分あるいはG2成分どちらかを破棄するフレームがそれぞれ1枚ずつあれば良く、G成分の破棄方法はこれに限定されない。 By discarding the G component while leaving the data required for full-color expression and the data for calculating the difference in this way, the amount of data can be reduced by about 19% with respect to the original image. In the present embodiment, it has been described that all the G components of the fourth frame are discarded and either the G1 component or the G2 component of the third frame is discarded. However, it is sufficient that there are two frames for leaving all the G components, one frame for discarding all the G components and one frame for discarding either the G1 component or the G2 component, and the method for discarding the G component is not limited to this. ..

なお、本実施形態で説明したデータ削減方法には、実施形態1で説明したファイル管理方法を用いることができる。図10は、本実施形態における削減方法を適用した場合のファイル管理情報701の例を示している。上述したように、本実施形態では、動きの有無の判定を可能にするために4枚の画像のうちG1成分あるいはG2成分のどちらかを残したフレームを少なくとも1枚残す。このため、ファイル管理情報701には、記録タイプA(G成分有り)、記録タイプB(G成分無し)、記録タイプC(G1成分無し)あるいは記録タイプD(G2成分無し)の4種類の記録方法の種別が各グループに含まれることになる。 As the data reduction method described in the present embodiment, the file management method described in the first embodiment can be used. FIG. 10 shows an example of file management information 701 when the reduction method in the present embodiment is applied. As described above, in the present embodiment, at least one frame in which either the G1 component or the G2 component is left out of the four images is left in order to enable the determination of the presence or absence of movement. Therefore, the file management information 701 contains four types of records: recording type A (with G component), recording type B (without G component), recording type C (without G1 component), or recording type D (without G2 component). The type of method will be included in each group.

以上説明したように、1つのフレームのG1及びG2成分を破棄することに加えて、G1成分あるいはG2成分のどちらかを残したフレームを少なくとも1枚残しておくようにした。このようにすることで、画像の領域ごとに動きの有無を検出することができ、最適なフルカラー画像生成方法を選択することが可能となる。 As described above, in addition to discarding the G1 and G2 components of one frame, at least one frame in which either the G1 component or the G2 component is left is left. By doing so, it is possible to detect the presence or absence of movement in each area of the image, and it is possible to select the optimum full-color image generation method.

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It is also possible to realize the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

101…制御部、102…撮像部、103…データ削減部、107…メモリ 101 ... Control unit, 102 ... Imaging unit, 103 ... Data reduction unit, 107 ... Memory

Claims (16)

R、G、Bの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のRAW画像データを取得する撮像手段と、
前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号の少なくとも1つを削減する削減手段と、
前記削減手段によって信号の削減された複数のRAW画像データを記録媒体に記録する記録手段と、を有し、
前記削減手段は、前記複数のRAW画像データの全てにおいて、前記ベイヤー配列に対応する前記2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を削減する、ことを特徴とする撮像装置。
An image pickup means for acquiring a plurality of RAW image data by sequentially shifting an image pickup device having a Bayer array composed of R, G, and B color components.
A reduction means for reducing at least one of the signals of the two G components corresponding to the Bayer sequence in at least one of the plurality of RAW image data.
It has a recording means for recording a plurality of RAW image data whose signals have been reduced by the reduction means on a recording medium.
The reduction means is a first G component having a predetermined positional relationship with respect to the R component and the B component of the signals of the two G components corresponding to the Bayer arrangement in all of the plurality of RAW image data. to decrease cutting the signal, the image pickup apparatus characterized by.
R、G、Bの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のRAW画像データを取得する撮像手段と、
前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減する削減手段と、
前記削減手段によって信号の削減された複数のRAW画像データを記録媒体に記録する記録手段と、を有し、
前記削減手段は、前記複数のRAW画像データのうちの第1のRAW画像データにおいて前記2つのG成分の信号を削減せず、前記複数のRAW画像データのうちの第2のRAW画像データにおいて前記2つのG成分の信号のいずれも削減し、
前記削減手段は、前記第1のRAW画像データとして、前記複数のRAW画像データのうち連続して撮像された、少なくとも2つのRAW画像データを用いる、
ことを特徴とする撮像装置。
An image pickup means for acquiring a plurality of RAW image data by sequentially shifting an image pickup device having a Bayer array composed of R, G, and B color components.
In at least one of the plurality of RAW image data, among the signals of the two G components corresponding to the Bayer sequence, the signal of the first G component having a predetermined positional relationship with respect to the R component and the B component. At least reduction measures and
It has a recording means for recording a plurality of RAW image data whose signals have been reduced by the reduction means on a recording medium.
The reduction means does not reduce the signals of the two G components in the first RAW image data of the plurality of RAW image data, but in the second RAW image data of the plurality of RAW image data. Reduce both of the two G component signals ,
The reduction means uses at least two RAW image data captured continuously from the plurality of RAW image data as the first RAW image data.
An imaging device characterized by this.
前記削減手段は、前記複数のRAW画像データのうちの第3のRAW画像データにおいて前記第1のG成分の信号のみを削減する、ことを特徴とする請求項に記載の撮像装置。 The imaging device according to claim 2 , wherein the reduction means reduces only the signal of the first G component in the third RAW image data among the plurality of RAW image data. R、G、Bの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のRAW画像データを取得する撮像手段と、
前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減する削減手段と、
前記削減手段によって信号の削減された複数のRAW画像データを記録媒体に記録する記録手段と、を有し、
前記削減手段は、前記複数のRAW画像データのうちの第1のRAW画像データにおいて前記2つのG成分の信号を削減せず、前記複数のRAW画像データのうちの第2のRAW画像データにおいて前記2つのG成分の信号のいずれも削減し、
前記削減手段は、前記複数のRAW画像データのうちの第3のRAW画像データにおいて前記第1のG成分の信号のみを削減する、
ことを特徴とする撮像装置。
An image pickup means for acquiring a plurality of RAW image data by sequentially shifting an image pickup device having a Bayer array composed of R, G, and B color components.
In at least one of the plurality of RAW image data, among the signals of the two G components corresponding to the Bayer sequence, the signal of the first G component having a predetermined positional relationship with respect to the R component and the B component. At least reduction measures and
It has a recording means for recording a plurality of RAW image data whose signals have been reduced by the reduction means on a recording medium.
The reduction means does not reduce the signals of the two G components in the first RAW image data of the plurality of RAW image data, but in the second RAW image data of the plurality of RAW image data. Reduce both of the two G component signals,
The reduction means reduces only the signal of the first G component in the third RAW image data among the plurality of RAW image data.
An imaging device characterized by this.
前記信号の削減された複数のRAW画像データは、前記2つのG成分の信号が削減されていないRAW画像データと、前記第1のG成分の信号のみが削減されたRAW画像データとを用いて、被写体の動きの大きさを判定可能に構成される、ことを特徴とする請求項3又は4に記載の撮像装置。 The plurality of reduced RAW image data of the signal uses the RAW image data in which the signals of the two G components are not reduced and the RAW image data in which only the signal of the first G component is reduced. The imaging device according to claim 3 or 4 , wherein the magnitude of movement of the subject can be determined. 前記記録手段は、前記信号の削減された複数のRAW画像データを構成するRAW画像データのそれぞれに、前記2つのG成分の信号の削減方法を表す記録方法の種別を関連付ける、ことを特徴とする請求項1からのいずれか1項に記載の撮像装置。 The recording means is characterized in that each of the RAW image data constituting the plurality of reduced RAW image data of the signal is associated with a type of recording method representing the method of reducing the signals of the two G components. The imaging device according to any one of claims 1 to 5. R、G、Bの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のRAW画像データを取得する撮像手段と、An image pickup means for acquiring a plurality of RAW image data by sequentially shifting an image pickup device having a Bayer array composed of R, G, and B color components.
前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号の少なくとも1つを削減する削減手段と、A reduction means for reducing at least one of the signals of the two G components corresponding to the Bayer sequence in at least one of the plurality of RAW image data.
前記削減手段によって信号の削減された複数のRAW画像データを記録媒体に記録する記録手段と、を有し、It has a recording means for recording a plurality of RAW image data whose signals have been reduced by the reduction means on a recording medium.
前記削減手段は、前記ベイヤー配列に対応する前記2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減し、The reduction means at least reduces the signal of the first G component having a predetermined positional relationship with respect to the R component and the B component among the signals of the two G components corresponding to the Bayer arrangement.
前記記録手段は、前記信号の削減された複数のRAW画像データを構成するRAW画像データのそれぞれに、前記2つのG成分の信号の削減方法を表す記録方法の種別を関連付ける、ことを特徴とする撮像装置。The recording means is characterized in that each of the RAW image data constituting the plurality of reduced RAW image data of the signal is associated with a type of recording method representing the method of reducing the signals of the two G components. Imaging device.
前記記録方法の種別を関連付けた情報を、前記信号の削減された複数のRAW画像データを構成するRAW画像データのそれぞれとは別に記録する、ことを特徴とする請求項6又は7に記載の撮像装置。 The imaging according to claim 6 or 7, wherein the information associated with the type of the recording method is recorded separately from each of the RAW image data constituting the plurality of reduced RAW image data of the signal. apparatus. 前記記録方法の種別を関連付けた情報を、前記信号の削減された複数のRAW画像データを構成するRAW画像データのそれぞれのメタデータとして記録する、ことを特徴とする請求項6又は7に記載の撮像装置。 The sixth or seventh aspect of claim 6 or 7, wherein the information associated with the type of the recording method is recorded as the respective metadata of the RAW image data constituting the plurality of reduced RAW image data of the signal. Imaging device. 前記撮像手段は、前記撮像素子を順次シフトさせて4つのRAW画像データを取得する、ことを特徴とする請求項1から9のいずれか1項に記載の撮像装置。 The imaging device according to any one of claims 1 to 9, wherein the imaging means sequentially shifts the imaging element to acquire four RAW image data. R、G、Bの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のRAW画像データを取得する撮像手段を有する撮像装置の制御方法であって、
削減手段が、前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号の少なくとも1つを削減する削減工程と、
記録手段が、前記削減工程において信号の削減された複数のRAW画像データを記録媒体に記録する記録工程と、を有し、
前記削減工程では、前記複数のRAW画像データの全てにおいて、前記ベイヤー配列に対応する前記2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を削減する、ことを特徴とする撮像装置の制御方法。
It is a control method of an image pickup device having an image pickup means for sequentially shifting an image pickup element of a Bayer array composed of R, G, and B color components to acquire a plurality of RAW image data.
A reduction step of reducing at least one of the signals of the two G components corresponding to the Bayer array in at least one of the plurality of RAW image data.
The recording means includes a recording step of recording a plurality of RAW image data whose signals have been reduced in the reduction step on a recording medium.
In the reduction step, in all of the plurality of RAW image data , among the signals of the two G components corresponding to the Bayer arrangement, the first G component having a predetermined positional relationship with respect to the R component and the B component. control method for an imaging device of a to decrease cutting signal, characterized in that.
R、G、Bの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のRAW画像データを取得する撮像手段を有する撮像装置の制御方法であって、
削減手段が、前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減する削減工程と、
記録手段が、前記削減工程において信号の削減された複数のRAW画像データを記録媒体に記録する記録工程と、を有し、
前記削減工程では、前記複数のRAW画像データのうちの第1のRAW画像データにおいて前記2つのG成分の信号を削減せず、前記複数のRAW画像データのうちの第2のRAW画像データにおいて前記2つのG成分の信号のいずれも削減し、
前記削減工程では、前記第1のRAW画像データとして、前記複数のRAW画像データのうち連続して撮像された、少なくとも2つのRAW画像データを用いる、
ことを特徴とする撮像装置の制御方法
It is a control method of an image pickup device having an image pickup means for sequentially shifting an image pickup element of a Bayer array composed of R, G, and B color components to acquire a plurality of RAW image data.
The first reduction means has a predetermined positional relationship with respect to the R component and the B component of the two G component signals corresponding to the Bayer sequence in at least one of the plurality of RAW image data. A reduction process that at least reduces the signal of the G component,
The recording means includes a recording step of recording a plurality of RAW image data whose signals have been reduced in the reduction step on a recording medium.
In the reduction step, the signals of the two G components are not reduced in the first RAW image data of the plurality of RAW image data, and the second RAW image data of the plurality of RAW image data is described. Reduce both of the two G component signals,
In the reduction step, at least two RAW image data captured continuously from the plurality of RAW image data are used as the first RAW image data.
A control method for an imaging device, characterized in that .
R、G、Bの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のRAW画像データを取得する撮像手段を有する撮像装置の制御方法であって、It is a control method of an image pickup device having an image pickup means for sequentially shifting an image pickup element of a Bayer array composed of R, G, and B color components to acquire a plurality of RAW image data.
削減手段が、前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減する削減工程と、The first reduction means has a predetermined positional relationship with respect to the R component and the B component of the two G component signals corresponding to the Bayer sequence in at least one of the plurality of RAW image data. A reduction process that at least reduces the signal of the G component,
記録手段が、前記削減工程において信号の削減された複数のRAW画像データを記録媒体に記録する記録工程と、を有し、The recording means includes a recording step of recording a plurality of RAW image data whose signals have been reduced in the reduction step on a recording medium.
前記削減工程では、前記複数のRAW画像データのうちの第1のRAW画像データにおいて前記2つのG成分の信号を削減せず、前記複数のRAW画像データのうちの第2のRAW画像データにおいて前記2つのG成分の信号のいずれも削減し、In the reduction step, the signals of the two G components are not reduced in the first RAW image data of the plurality of RAW image data, and the second RAW image data of the plurality of RAW image data is described. Reduce both of the two G component signals,
前記削減工程では、前記複数のRAW画像データのうちの第3のRAW画像データにおいて前記第1のG成分の信号のみを削減する、In the reduction step, only the signal of the first G component is reduced in the third RAW image data among the plurality of RAW image data.
ことを特徴とする撮像装置の制御方法。A control method for an imaging device, characterized in that.
R、G、Bの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のRAW画像データを取得する撮像手段を有する撮像装置の制御方法であって、It is a control method of an image pickup device having an image pickup means for sequentially shifting an image pickup element of a Bayer array composed of R, G, and B color components to acquire a plurality of RAW image data.
削減手段が、前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号の少なくとも1つを削減する削減工程と、A reduction step of reducing at least one of the signals of the two G components corresponding to the Bayer array in at least one of the plurality of RAW image data.
記録手段が、前記削減工程において信号の削減された複数のRAW画像データを記録媒体に記録する記録工程と、を有し、The recording means includes a recording step of recording a plurality of RAW image data whose signals have been reduced in the reduction step on a recording medium.
前記削減工程では、前記ベイヤー配列に対応する前記2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減し、In the reduction step, at least the signal of the first G component having a predetermined positional relationship with respect to the R component and the B component among the signals of the two G components corresponding to the Bayer arrangement is reduced.
前記記録工程では、前記信号の削減された複数のRAW画像データを構成するRAW画像データのそれぞれに、前記2つのG成分の信号の削減方法を表す記録方法の種別を関連付ける、In the recording step, the type of recording method representing the signal reduction method of the two G components is associated with each of the RAW image data constituting the plurality of reduced RAW image data of the signal.
ことを特徴とする撮像装置の制御方法。A control method for an imaging device, characterized in that.
コンピュータを請求項1から10のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。 A program for operating a computer as each means of the imaging apparatus according to any one of claims 1 to 10. コンピュータを請求項1から10のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラムを記録する記録媒体。 A recording medium for recording a program for operating a computer as each means of the imaging apparatus according to any one of claims 1 to 10.
JP2017082251A 2017-04-18 2017-04-18 Imaging device, its control method, program and recording medium Active JP6871795B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017082251A JP6871795B2 (en) 2017-04-18 2017-04-18 Imaging device, its control method, program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017082251A JP6871795B2 (en) 2017-04-18 2017-04-18 Imaging device, its control method, program and recording medium

Publications (2)

Publication Number Publication Date
JP2018182622A JP2018182622A (en) 2018-11-15
JP6871795B2 true JP6871795B2 (en) 2021-05-12

Family

ID=64277205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017082251A Active JP6871795B2 (en) 2017-04-18 2017-04-18 Imaging device, its control method, program and recording medium

Country Status (1)

Country Link
JP (1) JP6871795B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200191A1 (en) * 2020-03-31 2021-10-07 ソニーグループ株式会社 Image processing device and method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6242244B2 (en) * 2014-02-28 2017-12-06 オリンパス株式会社 Imaging apparatus, imaging method, and program

Also Published As

Publication number Publication date
JP2018182622A (en) 2018-11-15

Similar Documents

Publication Publication Date Title
JP4315971B2 (en) Imaging device
US8730545B2 (en) Color imaging element, imaging device, and storage medium storing a control program for imaging device
JP5853166B2 (en) Image processing apparatus, image processing method, and digital camera
JP6678504B2 (en) Imaging device, control method therefor, program, and storage medium
US11064143B2 (en) Image processing device and image pickup apparatus for processing divisional pixal signals to generate divisional image data
US8723992B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
JP5033711B2 (en) Imaging device and driving method of imaging device
JP5701942B2 (en) Imaging apparatus, camera system, and image processing method
JP5829122B2 (en) Imaging apparatus and evaluation value generation apparatus
JP2016111568A (en) Image blur correction control device, imaging apparatus, control method and program thereof
JP5996418B2 (en) Imaging apparatus and imaging method
JP6871795B2 (en) Imaging device, its control method, program and recording medium
US9282245B2 (en) Image capturing apparatus and method of controlling the same
US10397587B2 (en) Image processing apparatus and control method thereof
JP6467455B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM
JP4687619B2 (en) Image processing apparatus, image processing method, and program
JP2015139018A (en) Electronic apparatus and control program
JP5874473B2 (en) Electronic camera
JP2018026743A (en) Image processor, control method, and program
WO2020137664A1 (en) Imaging element, imaging device, imaging element operation method, and program
JP6622555B2 (en) Image processing apparatus and control method therefor, imaging apparatus, program, and storage medium
JP6278728B2 (en) Image processing apparatus, image generation apparatus, control method, and program
JP6089419B2 (en) Imaging circuit, imaging method, imaging apparatus, and program
JP2015094834A (en) Image capturing device, image capturing system, method of controlling image capturing device, program, and storage medium
JP2008166974A (en) Image blur detection method, imaging apparatus, and image blur detection program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201204

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210416

R151 Written notification of patent or utility model registration

Ref document number: 6871795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151