JP6871795B2 - Imaging device, its control method, program and recording medium - Google Patents
Imaging device, its control method, program and recording medium Download PDFInfo
- Publication number
- JP6871795B2 JP6871795B2 JP2017082251A JP2017082251A JP6871795B2 JP 6871795 B2 JP6871795 B2 JP 6871795B2 JP 2017082251 A JP2017082251 A JP 2017082251A JP 2017082251 A JP2017082251 A JP 2017082251A JP 6871795 B2 JP6871795 B2 JP 6871795B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- raw image
- component
- recording
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000003384 imaging method Methods 0.000 title claims description 34
- 230000009467 reduction Effects 0.000 claims description 42
- 238000011946 reduction process Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Camera Data Copying Or Recording (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置、その制御方法、プログラム及び記録媒体に関する。 The present invention relates to an image pickup apparatus, a control method thereof, a program, and a recording medium.
近年、デジタルカメラやデジタルカムコーダーなどの撮像装置では、撮像素子から出力された直後の現像未処理の撮像データ(RAW画像)を記録媒体に記録可能なものが知られている。RAW画像は、現像処理が施されておらず、撮像素子から出力された信号の豊富な色階調数を保ったまま記録されるため、ユーザは撮像後により所望な画像を生成することができるという特徴がある。 In recent years, it is known that an imaging device such as a digital camera or a digital camcorder can record undeveloped imaging data (RAW image) immediately after being output from an imaging element on a recording medium. Since the RAW image is not developed and is recorded while maintaining the abundant number of color gradations of the signal output from the image sensor, the user can generate a desired image after imaging. There is a feature.
このようなRAW画像を複数撮像して利用することにより、より高品位な1枚の画像を生成する技術が知られている。特許文献1は、複数の露光(撮像)によって得られる複数のRAW画像を用いて多重合成を行う際に、撮像したRAW画像に対応する収差情報と多重合成に用いることを示すヘッダと当該RAW画像とを、1つのファイルとして記録する技術を開示している。
A technique for generating a single high-quality image by capturing and using a plurality of such RAW images is known.
また、複数撮像されたRAW画像を用いて、より高品位な画像を生成する技術として、撮像素子をシフトしながら撮像した複数のRAW画像を合成して、より高精細な画像を生成する超解像技術が知られている。 In addition, as a technique for generating a higher quality image using a plurality of captured RAW images, a super-solution that synthesizes a plurality of RAW images captured while shifting the image sensor to generate a higher definition image. Image technology is known.
このような超解像技術を用いる際には、RAW画像のデータ量が圧縮された画像と比べて大きいため、特許文献1のように複数のRAW画像のデータをそのまま同時に記録媒体に記録すると、記録媒体の空き領域を圧迫してしまう。
When such a super-resolution technique is used, the amount of data of the RAW image is larger than that of the compressed image. Therefore, when the data of a plurality of RAW images are recorded on the recording medium as they are at the same time as in
本発明は、上記課題に鑑みてなされ、その目的は、撮像素子をシフトして撮像された複数のRAW画像に対して、記録データ量を低減することが可能な技術を実現することである。 The present invention has been made in view of the above problems, and an object of the present invention is to realize a technique capable of reducing the amount of recorded data for a plurality of RAW images captured by shifting the image sensor.
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、R、G、Bの色成分で構成されるベイヤー配列の撮像素子を順次シフトさせて複数のRAW画像データを取得する撮像手段と、複数のRAW画像データのうちの少なくとも1つにおいて、ベイヤー配列に対応する2つのG成分の信号の少なくとも1つを削減する削減手段と、削減手段によって信号の削減された複数のRAW画像データを記録媒体に記録する記録手段と、を有し、削減手段は、前記複数のRAW画像データの全てにおいて、ベイヤー配列に対応する2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を削減する、ことを特徴とする。 In order to solve this problem, for example, the image pickup apparatus of the present invention has the following configuration. That is, in the image pickup means for sequentially shifting the image pickup elements of the Bayer array composed of the color components of R, G, and B to acquire a plurality of RAW image data, and in at least one of the plurality of RAW image data, the Bayer It has a reduction means for reducing at least one of the signals of the two G components corresponding to the array, and a recording means for recording a plurality of RAW image data whose signals are reduced by the reduction means on a recording medium. in all of the plurality of RAW image data, the two G components of the signal corresponding to the Bayer arrangement, down cutting the signal of the first G component having a predetermined positional relationship with respect to R and B components It is characterized by doing.
本発明によれば、撮像素子をシフトして撮像された複数のRAW画像に対して、記録データ量を低減することが可能になる。 According to the present invention, it is possible to reduce the amount of recorded data for a plurality of RAW images captured by shifting the image sensor.
(実施形態1)
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。本実施形態の説明では、撮像装置の一例としてのデジタルカメラ100が、超解像技術を用いるために、1回の撮影で撮像素子を1画素ずつシフトしながら4枚のRAW画像を取得し、記録する場合を例に説明する。しかし、本実施形態は、デジタルカメラに限らず、撮像素子をシフトしながら複数のRAW画像を取得することが可能な任意の機器にも適用可能である。これらの機器には、例えばスマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視カメラを含む監視システム、車載用システムなどが含まれてよい。
(Embodiment 1)
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the description of the present embodiment, in order to use the super-resolution technology, the
(デジタルカメラ100の構成)
図1は、本実施形態のデジタルカメラ100の機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
(Configuration of Digital Camera 100)
FIG. 1 is a block diagram showing a functional configuration example of the
制御部101は、例えば、CPU(MPU)を含み、記録媒体105に記録されたプログラムをメモリ107に展開、実行してデジタルカメラ100の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。制御部101は、内部に別途ROM及びRAMを備えて当該プログラムをROMから読み出してRAMに展開、実行してもよい。
The control unit 101 includes, for example, a CPU (MPU), expands and executes a program recorded on the
撮像部102は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系と、光電変換素子を有する画素が複数、2次元的に配列された構成を有する撮像素子とを含む。撮像素子は、レンズ光学系により結像された被写体光学像を各画素で光電変換し、さらにA/D変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号(すなわちRAW画像データ。単にRAW画像ともいう)を出力する。出力されたRAW画像はメモリI/F106を介してメモリ107に記憶される。撮像素子は、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどであってよい。撮像素子は、例えば原色ベイヤー配列のカラーフィルタを有し、各画素には、R(赤)、G1/G2(緑)、B(青)の何れかのカラーフィルタが設けられている。このため、出力されるRAW画像は、図2に示すベイヤー配列に対応する信号で構成される。すなわち、RAW画像は、ベイヤー配列に対応する4つの色成分の信号を有する。本実施形態では、G1成分は、R成分に水平方向に隣接しかつB成分と垂直方向に隣接する位置関係にあり、G2成分は、R成分に垂直方向に隣接しかつB成分と水平方向に隣接する位置関係にあるものとする。また、撮像素子は、制御部101の制御に従って撮像素子の位置を光軸に対して順次シフトさせることが可能な構成を有する。
The
データ削減部103は、メモリ107に記憶されているRAW画像を読み出し、フルカラー表現に不要なG成分を破棄してメモリ107に書き戻す。なお、G成分の破棄する処理についての詳細は後述する。
The
記録処理部104は、メモリ107へ格納されたG成分の削減されたRAW画像等の各種データを、記録媒体105へ記録する。記録媒体105は、大容量のランダムアクセス可能な、例えば不揮発性メモリで構成される記録メディアである。不図示の装着、排出機構により、デジタルカメラ100に対してユーザが容易に装着し、また、取り外すことが可能になってもよい。
The
メモリI/F106は、各処理部からのメモリ・アクセス要求を調停し、メモリ107に対する読み出し・書き込み制御を行う。メモリ107は、例えばSDRAMなどの揮発性メモリである。メモリ107は、上述の画像データ、音声データ等の各種のデータ、或いは、デジタルカメラ100を構成する各処理部から出力される各種データを格納するため記憶領域を提供する。
The memory I /
(RAW画像の取得)
次に、図3を参照して、撮像部102におけるRAW画像の取得方法について説明する。図3は、縦軸に示す時刻の経過(T0→T1→T2→T3)と共に、撮像部102内の撮像素子の位置を1画素ずつシフトして撮像するようすを示している。301は撮像素子を示し、302は有効画素領域として画素の信号が読み出される、画素読み出し領域を示す。画素読み出し領域の画素から読み出された画像信号は、右側に示すRAW画像として出力される。
(Acquisition of RAW image)
Next, a method of acquiring a RAW image in the
まず、時刻T0では、画素の読み出し開始位置(すなわち画素読み出し領域302の左上隅)をR画素として撮像する。時刻T1では、撮像素子301を右に1画素シフトすることにより、画素の読み出し開始位置をG1画素として撮像する。時刻T2では、時刻T1の位置から更に撮像素子301を下に1画素シフトすることにより、画素の読み出し開始位置をB画素として撮像する。最後に時刻T3では、時刻T2の位置から更に撮像素子301を左に1画素シフトすることにより、画素の読み出し位置をG2画素として撮像する。
First, at time T0, the pixel read start position (that is, the upper left corner of the pixel read area 302) is imaged as an R pixel. At time T1, the
このように撮像素子をシフトして4回撮像することで、1つの画素位置のR、G1、G2、Bの4色を取得する。本来、RAW画像からフルカラーの画像を得るためには、1枚のRAW画像において各画素の信号と隣接する画素の信号とを用いてデモザイクと呼ばれる画素の補間処理を行うが、デモザイクは一般的にモアレや偽色が発生する原因となる。一方、4回の撮像によりフルカラーの画像を得ることができる超解像は、デモザイク処理に起因するモアレや偽色のない高精細な画像を得ることができる。 By shifting the image sensor and taking images four times in this way, four colors of R, G1, G2, and B at one pixel position are acquired. Originally, in order to obtain a full-color image from a RAW image, a pixel interpolation process called demosaic is performed using the signal of each pixel and the signal of an adjacent pixel in one RAW image, but demosaic is generally performed. It causes moire and false color. On the other hand, the super-resolution that can obtain a full-color image by four times of imaging can obtain a high-definition image without moire or false color due to demosaic processing.
(記録処理に係る一連の動作)
次に、図4を参照して、記録処理に係る一連の動作を説明する。なお、この記録処理は、例えば、不図示の操作部材であるシャッターボタンが全押しされた場合に開始される。また、本処理は、制御部101が記録媒体105に記録されたプログラムをメモリ107の作業用領域に展開、実行すると共に、撮像部102やデータ削減部103等の各部を制御することにより実現される。
(A series of operations related to recording processing)
Next, a series of operations related to the recording process will be described with reference to FIG. Note that this recording process is started, for example, when the shutter button, which is an operating member (not shown), is fully pressed. Further, this processing is realized by the control unit 101 developing and executing the program recorded on the
S401では、撮像部102は、制御部101からの撮像指示に応じて、RAW画像を取得する。このとき、撮像部102は、例えば制御部101から供給される撮像素子をシフトするための制御量(シフトする量および方向)に応じて、図3に示したように撮像素子の位置をシフトさせたうえで撮像を行う。取得されたRAW画像は、メモリI/F106を介してメモリ107に格納される。
In S401, the
S402では、制御部101は、全ての(この例では4枚の)RAW画像の取得を完了したかを判定する。制御部101は、例えば撮像をカウントするカウンタ等により4枚のRAW画像の取得を完了したと判定した場合、S403に処理を進め、完了していないと判定した場合はS401に処理を戻す。 In S402, the control unit 101 determines whether all (four in this example) RAW images have been acquired. When the control unit 101 determines that the acquisition of four RAW images has been completed by, for example, a counter for counting imaging, the process proceeds to S403, and when it is determined that the acquisition has not been completed, the process returns to S401.
S403では、データ削減部103は、メモリ107に記憶されているRAW画像を読み出し、以下に詳述するデータ削減処理(すなわちフルカラー表現に不要なG成分を破棄する処理)を行う。その後、データ削減部103は、データ量を削減した画像データを再びメモリ107に書き戻す。
In S403, the
ここで、図5を参照して、基本的なG成分の破棄方法について説明する。図5(a)は、撮像素子をシフトさせながら4回撮像して得られる元画像(4フレームの画像)を示しており、図5(b)は、図5(a)に示す元画像に対してG1画素を破棄した画像を示している。一方、図5(c)は、図5(a)に示す元画像に対してG2成分の信号を破棄した画像を示している。このデータ削減処理では、G1及びG2のように重複する色成分の信号の一方を削減したデータを記録するようしても、4枚の画像を用いてRGBのフルカラーの画像を構成できるようにしている。このように全てのフレームのG1成分あるいはG2成分の信号を破棄することで、フルカラー表現を可能としつつ、元画像に対してデータ量を25%削減することができる。 Here, a basic method of discarding the G component will be described with reference to FIG. FIG. 5A shows an original image (4 frame image) obtained by imaging four times while shifting the image sensor, and FIG. 5B shows the original image shown in FIG. 5A. On the other hand, an image in which the G1 pixel is discarded is shown. On the other hand, FIG. 5 (c) shows an image in which the signal of the G2 component is discarded with respect to the original image shown in FIG. 5 (a). In this data reduction process, even if data in which one of the signals having overlapping color components is reduced, such as G1 and G2, is recorded, it is possible to construct an RGB full-color image using four images. There is. By discarding the signals of the G1 component or the G2 component of all frames in this way, it is possible to reduce the amount of data by 25% with respect to the original image while enabling full-color expression.
一方、動きのある被写体を撮像する場合など、時間を近接させて撮像した4枚のRAW画像の間の相関が低くなるときは、超解像処理によって生成される画像を良好な画質で得られないことがある。すなわち、上記図5(b)、図5(c)のようにデータを削減した場合、デモザイク処理では、全てのフレームがベイヤー配列の元画像に比べてG1成分、G2成分の信号が不足した画像を用いた処理を行うことになる。つまり、G成分が補間精度の低いデモザイク処理を行うことになる。 On the other hand, when the correlation between four RAW images captured at close time is low, such as when capturing a moving subject, the image generated by the super-resolution processing can be obtained with good image quality. Sometimes not. That is, when the data is reduced as shown in FIGS. 5 (b) and 5 (c), in the demosaic processing, all the frames are images in which the signals of the G1 component and the G2 component are insufficient as compared with the original image of the Bayer array. Will be processed using. That is, the G component performs demosaic processing with low interpolation accuracy.
そこで、デモザイク処理の補間精度を落とすことなく、データを削減するG成分の破棄方法を図6に示す。図6(a)は、3枚目と4枚目のG1及びG2成分の信号を破棄した画像を示しており、図6(b)は、2枚目と3枚目のG1及びG2成分の信号を破棄した画像を示している。更に図6(c)は、1枚目と2枚目のG1及びG2成分の信号を破棄した画像を示し、図6(d)は、1枚目と4枚目のG1及びG2成分の信号を破棄した画像を示している。 Therefore, FIG. 6 shows a method of discarding the G component that reduces data without degrading the interpolation accuracy of the demosaic process. FIG. 6A shows images in which the signals of the G1 and G2 components of the third and fourth sheets are discarded, and FIG. 6B shows images of the G1 and G2 components of the second and third sheets. The image showing the discarded signal is shown. Further, FIG. 6 (c) shows an image in which the signals of the first and second G1 and G2 components are discarded, and FIG. 6 (d) shows the signals of the first and fourth G1 and G2 components. Shows the discarded image.
このように、G1成分とG2成分とが同色成分であることを利用して、4枚の画像のうちの2枚の画像においてこれらの成分の画素の信号を破棄する。このようにすることで、図6(a)では1枚目と2枚目、図6(b)では1枚目と4枚目、図6(c)では3枚目と4枚目、図6(d)では2枚目と3枚目のRAW画像でベイヤー配列の画像を保持することが可能となる。また、図5のときと同様に元画像に対してデータ量を25%削減することができる。なお超解像処理を用いてフルカラー表現を行う際には、被写体の動きの影響を低減するために時間的な距離の短い(例えば連続して撮像された)画像を用いることが望ましい。そこで、ベイヤー配列が保持される画像(信号の削減されていない画像)の時間的な距離の近い図6(a)、図6(c)、図6(d)の方法を用いてG画素を破棄することが望ましい。 In this way, by utilizing the fact that the G1 component and the G2 component are the same color components, the signals of the pixels of these components are discarded in two of the four images. By doing so, the first and second sheets are shown in FIG. 6 (a), the first and fourth sheets are shown in FIG. 6 (b), and the third and fourth sheets are shown in FIG. 6 (c). In 6 (d), the images of the Bayer arrangement can be retained in the second and third RAW images. Further, the amount of data can be reduced by 25% with respect to the original image as in the case of FIG. When performing full-color expression using super-resolution processing, it is desirable to use images with a short time distance (for example, continuously captured) in order to reduce the influence of the movement of the subject. Therefore, the G pixels are formed by using the methods of FIGS. 6 (a), 6 (c), and 6 (d) in which the images in which the Bayer arrangement is held (the images in which the signal is not reduced) are close in time. It is desirable to discard it.
再び図4を参照して記録処理の動作について説明する。S404では、記録処理部104は制御部101の指示に応じて、S403でデータ量を削減した画像データをメモリ107から読み出して記録媒体105に記録する。このとき、記録処理部104は、記録対象となる4枚の画像データそれぞれの画像情報をファイル管理情報として記録する。制御部101は、画像データの記録が終了すると本記録処理の一連の動作を終了する。
The operation of the recording process will be described again with reference to FIG. In S404, the
ここで、本実施形態に係る、データ量を削減した画像データを記録する際のファイル管理方法の一例について、図7を参照して説明する。図7(a)は画像データを記録媒体105に記録する際のファイル管理方法の一例を示しており、図7(b)は、ファイル管理情報の一例を示している。図7(a)の例では、ファイル管理情報701は、S403で生成された画像ファイルとは別に保持される。そして、図7(b)に示すように、ファイル管理情報701において、各画像ファイルは、フルカラー画像を生成することができる複数のRAW画像がグループ化されて管理される。例えば、グループ001には、画像ファイル0001.raw、0002.raw、0003.raw、0004.rawが属している。そして、グループ化された画像ファイルのそれぞれには、画像情報が関連付けられる。この画像情報は、G画素を破棄したかどうかを判別する識別子であり、記録方法の種別を表す。例えば、G成分を残した画像データを記録タイプA、G成分のいずれも破棄した画像データを記録タイプB、G1成分を破棄した画像データを記録タイプC、G2成分を破棄した画像データを記録タイプDとして区別して記録する。こうしたファイル管理情報を、データ量が削減された画像データとともに記録しておくことで、画像データのG成分の有無を容易に特定することができる。これらの画像データにデモザイク処理を施してフルカラー画像を得る際には、G成分を取得するために記録タイプAで記録された画像データを選択すればよい。以上のように、フレーム単位でG成分を破棄することで、デモザイクの補間精度を落とすことなく、フルカラー表現に不要なデータを削減することが可能である。
Here, an example of a file management method for recording image data with a reduced amount of data according to the present embodiment will be described with reference to FIG. 7. FIG. 7A shows an example of a file management method when recording image data on the
なお、本実施形態では、ファイル管理情報を画像データとは別に記録する例を説明したが、このファイル管理情報は画像ファイル内に、例えばメタデータとして記録されても良い。また、1回の撮影で4枚のRAW画像を撮像するものとして説明したが、フルカラー画像の生成可能な組み合わせを構成する限りこの枚数に限定されない。 In the present embodiment, an example of recording the file management information separately from the image data has been described, but the file management information may be recorded in the image file, for example, as metadata. Further, although it has been described that four RAW images are captured in one shooting, the number is not limited to this as long as a combination capable of generating full-color images is configured.
以上説明したように本実施形態では、撮像素子をシフトさせて撮像した複数のRAW画像において、同色成分であるG1成分とG2成分との少なくともいずれかを破棄するようにした。このようにすることで複数のRAW画像に対して、記録データ量を低減することが可能な撮像装置を提供することが可能になる。特に、複数のRAW画像のうち、G1成分及びG2成分を破棄する特定のRAW画像と、当該G成分を破棄しないRAW画像とを設けるようにした。このようにすることで、動きのある被写体を撮像する場合であっても、デモザイク後の画質低下を防止することができ、かつ記録データ量を低減することができる。 As described above, in the present embodiment, at least one of the G1 component and the G2 component, which are the same color components, is discarded in a plurality of RAW images captured by shifting the image sensor. By doing so, it becomes possible to provide an imaging device capable of reducing the amount of recorded data for a plurality of RAW images. In particular, among a plurality of RAW images, a specific RAW image in which the G1 component and the G2 component are discarded and a RAW image in which the G component is not discarded are provided. By doing so, even when a moving subject is imaged, deterioration of image quality after demosaic can be prevented and the amount of recorded data can be reduced.
(実施形態2)
次に実施形態2について説明する。実施形態1では、デモザイクによってフルカラー画像を得ることを前提に、フレーム単位でG成分を破棄することで記録データ量を削減する例を説明した。しかし、画像の領域ごとに被写体の動きの有無が異なる場合は、画像の領域ごとに超解像とデモザイクを選択してフルカラー画像を得られることが望ましい。そこで、本実施形態では、画像の領域ごとに超解像とデモザイクとを選択できるように、画像内の動きの有無を判定可能にするデータ削減方法について説明する。なお、本実施形態においてもユーザによる1回の撮影指示で撮像素子を1画素ずつ順次シフトしながら4枚のRAW画像を取得するものとして説明する。また、本実施形態のデジタルカメラ100の構成は、実施形態1と同一である。このため、同一の構成及び同一のステップについては同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
(Embodiment 2)
Next, the second embodiment will be described. In the first embodiment, an example of reducing the amount of recorded data by discarding the G component in frame units has been described on the premise that a full-color image is obtained by demosaic. However, when the presence or absence of movement of the subject differs depending on the image region, it is desirable to select super-resolution and demosaic for each image region to obtain a full-color image. Therefore, in the present embodiment, a data reduction method that makes it possible to determine the presence or absence of movement in the image will be described so that super-resolution and demosaic can be selected for each image region. In this embodiment as well, it is assumed that four RAW images are acquired while sequentially shifting the image sensor pixel by pixel with one shooting instruction by the user. Further, the configuration of the
図8及び図9を参照して、画像内の動きの有無を判定可能にするデータ削減方法について説明する。上述したように、一般的に、超解像処理ではフレーム間の時間的相関が低い場合に良好な画質が得られない。このため、フレーム間の動きがない場合は超解像を用いてフルカラー画像を生成し、動きがある場合はデモザイクを用いてフルカラー画像を生成できることが望ましく、このような判定を可能にするためにフレーム間の動きを検出できることが必要になる。 A data reduction method that enables determination of the presence or absence of movement in an image will be described with reference to FIGS. 8 and 9. As described above, in general, in super-resolution processing, good image quality cannot be obtained when the temporal correlation between frames is low. Therefore, it is desirable to be able to generate a full-color image using super-resolution when there is no movement between frames, and to generate a full-color image using demosaic when there is movement. It is necessary to be able to detect movement between frames.
図8は、撮像素子をシフトさせて撮像したRAW画像について、動きの有無を検出するための基本的な方法を示している。同一位置にあるG画素同士で差分値を算出(図8の例では、位置801のG成分同士で差分値を算出、あるいは位置802のG成分同士で差分値を算出)することで動きの有無を検出することができる。すなわち、この差分値が所定の閾値より小さい場合は動きなし、差分値が所定の閾値以上に大きい場合は動きありと判定することができる。しかしながら、RAW画像に対して実施形態1に示したG成分の破棄処理を施している場合、同一位置にG成分が存在せず差分を算出することができない場合がある。
FIG. 8 shows a basic method for detecting the presence or absence of movement in a RAW image captured by shifting the image sensor. Presence or absence of movement by calculating the difference value between the G pixels at the same position (in the example of FIG. 8, the difference value is calculated between the G components at the
そこで、動きの有無を検出可能なG成分の破棄方法を図9に示す。図9(a)は、3枚目のRAW画像のG1成分を破棄するとともに、4枚目のRAW画像のG1及びG2成分を破棄したRAW画像を示している。図9(b)は、3枚目のG2成分を破棄、4枚目のG1及びG2成分を破棄した画像である。図9(a)は、実施形態1において図6(a)に示したデータ削減方法に対して、3枚目のG2成分を破棄せず残している。これにより、1枚目のG1成分と3枚目のG2成分とで差分を算出して動きの有無を検出することが可能となる。また、図9(b)においても同様で、1枚目のG2成分と3枚目のG1成分とで差分を算出して動きの有無を検出することが可能となる。 Therefore, FIG. 9 shows a method of discarding the G component that can detect the presence or absence of movement. FIG. 9A shows a RAW image in which the G1 component of the third RAW image is discarded and the G1 and G2 components of the fourth RAW image are discarded. FIG. 9B is an image in which the third G2 component is discarded and the fourth G1 and G2 component is discarded. In FIG. 9A, the third G2 component is left without being discarded with respect to the data reduction method shown in FIG. 6A in the first embodiment. This makes it possible to calculate the difference between the G1 component of the first sheet and the G2 component of the third sheet and detect the presence or absence of movement. Further, the same applies to FIG. 9B, and it is possible to detect the presence or absence of movement by calculating the difference between the G2 component of the first sheet and the G1 component of the third sheet.
このようにフルカラー表現に必要なデータと差分算出用のデータを残してG成分を破棄することで、元画像に対してデータ量を約19%削減することができる。なお、本実施形態では、4枚目のフレームのG成分を全て破棄し、3枚目のフレームのG1成分あるいはG2成分どちらかを破棄するものとして説明した。しかし、G成分を全て残すフレームが2枚、G成分を全て破棄するフレームとG1成分あるいはG2成分どちらかを破棄するフレームがそれぞれ1枚ずつあれば良く、G成分の破棄方法はこれに限定されない。 By discarding the G component while leaving the data required for full-color expression and the data for calculating the difference in this way, the amount of data can be reduced by about 19% with respect to the original image. In the present embodiment, it has been described that all the G components of the fourth frame are discarded and either the G1 component or the G2 component of the third frame is discarded. However, it is sufficient that there are two frames for leaving all the G components, one frame for discarding all the G components and one frame for discarding either the G1 component or the G2 component, and the method for discarding the G component is not limited to this. ..
なお、本実施形態で説明したデータ削減方法には、実施形態1で説明したファイル管理方法を用いることができる。図10は、本実施形態における削減方法を適用した場合のファイル管理情報701の例を示している。上述したように、本実施形態では、動きの有無の判定を可能にするために4枚の画像のうちG1成分あるいはG2成分のどちらかを残したフレームを少なくとも1枚残す。このため、ファイル管理情報701には、記録タイプA(G成分有り)、記録タイプB(G成分無し)、記録タイプC(G1成分無し)あるいは記録タイプD(G2成分無し)の4種類の記録方法の種別が各グループに含まれることになる。
As the data reduction method described in the present embodiment, the file management method described in the first embodiment can be used. FIG. 10 shows an example of
以上説明したように、1つのフレームのG1及びG2成分を破棄することに加えて、G1成分あるいはG2成分のどちらかを残したフレームを少なくとも1枚残しておくようにした。このようにすることで、画像の領域ごとに動きの有無を検出することができ、最適なフルカラー画像生成方法を選択することが可能となる。 As described above, in addition to discarding the G1 and G2 components of one frame, at least one frame in which either the G1 component or the G2 component is left is left. By doing so, it is possible to detect the presence or absence of movement in each area of the image, and it is possible to select the optimum full-color image generation method.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It is also possible to realize the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
101…制御部、102…撮像部、103…データ削減部、107…メモリ 101 ... Control unit, 102 ... Imaging unit, 103 ... Data reduction unit, 107 ... Memory
Claims (16)
前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号の少なくとも1つを削減する削減手段と、
前記削減手段によって信号の削減された複数のRAW画像データを記録媒体に記録する記録手段と、を有し、
前記削減手段は、前記複数のRAW画像データの全てにおいて、前記ベイヤー配列に対応する前記2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を削減する、ことを特徴とする撮像装置。 An image pickup means for acquiring a plurality of RAW image data by sequentially shifting an image pickup device having a Bayer array composed of R, G, and B color components.
A reduction means for reducing at least one of the signals of the two G components corresponding to the Bayer sequence in at least one of the plurality of RAW image data.
It has a recording means for recording a plurality of RAW image data whose signals have been reduced by the reduction means on a recording medium.
The reduction means is a first G component having a predetermined positional relationship with respect to the R component and the B component of the signals of the two G components corresponding to the Bayer arrangement in all of the plurality of RAW image data. to decrease cutting the signal, the image pickup apparatus characterized by.
前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減する削減手段と、
前記削減手段によって信号の削減された複数のRAW画像データを記録媒体に記録する記録手段と、を有し、
前記削減手段は、前記複数のRAW画像データのうちの第1のRAW画像データにおいて前記2つのG成分の信号を削減せず、前記複数のRAW画像データのうちの第2のRAW画像データにおいて前記2つのG成分の信号のいずれも削減し、
前記削減手段は、前記第1のRAW画像データとして、前記複数のRAW画像データのうち連続して撮像された、少なくとも2つのRAW画像データを用いる、
ことを特徴とする撮像装置。 An image pickup means for acquiring a plurality of RAW image data by sequentially shifting an image pickup device having a Bayer array composed of R, G, and B color components.
In at least one of the plurality of RAW image data, among the signals of the two G components corresponding to the Bayer sequence, the signal of the first G component having a predetermined positional relationship with respect to the R component and the B component. At least reduction measures and
It has a recording means for recording a plurality of RAW image data whose signals have been reduced by the reduction means on a recording medium.
The reduction means does not reduce the signals of the two G components in the first RAW image data of the plurality of RAW image data, but in the second RAW image data of the plurality of RAW image data. Reduce both of the two G component signals ,
The reduction means uses at least two RAW image data captured continuously from the plurality of RAW image data as the first RAW image data.
An imaging device characterized by this.
前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減する削減手段と、
前記削減手段によって信号の削減された複数のRAW画像データを記録媒体に記録する記録手段と、を有し、
前記削減手段は、前記複数のRAW画像データのうちの第1のRAW画像データにおいて前記2つのG成分の信号を削減せず、前記複数のRAW画像データのうちの第2のRAW画像データにおいて前記2つのG成分の信号のいずれも削減し、
前記削減手段は、前記複数のRAW画像データのうちの第3のRAW画像データにおいて前記第1のG成分の信号のみを削減する、
ことを特徴とする撮像装置。 An image pickup means for acquiring a plurality of RAW image data by sequentially shifting an image pickup device having a Bayer array composed of R, G, and B color components.
In at least one of the plurality of RAW image data, among the signals of the two G components corresponding to the Bayer sequence, the signal of the first G component having a predetermined positional relationship with respect to the R component and the B component. At least reduction measures and
It has a recording means for recording a plurality of RAW image data whose signals have been reduced by the reduction means on a recording medium.
The reduction means does not reduce the signals of the two G components in the first RAW image data of the plurality of RAW image data, but in the second RAW image data of the plurality of RAW image data. Reduce both of the two G component signals,
The reduction means reduces only the signal of the first G component in the third RAW image data among the plurality of RAW image data.
An imaging device characterized by this.
前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号の少なくとも1つを削減する削減手段と、A reduction means for reducing at least one of the signals of the two G components corresponding to the Bayer sequence in at least one of the plurality of RAW image data.
前記削減手段によって信号の削減された複数のRAW画像データを記録媒体に記録する記録手段と、を有し、It has a recording means for recording a plurality of RAW image data whose signals have been reduced by the reduction means on a recording medium.
前記削減手段は、前記ベイヤー配列に対応する前記2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減し、The reduction means at least reduces the signal of the first G component having a predetermined positional relationship with respect to the R component and the B component among the signals of the two G components corresponding to the Bayer arrangement.
前記記録手段は、前記信号の削減された複数のRAW画像データを構成するRAW画像データのそれぞれに、前記2つのG成分の信号の削減方法を表す記録方法の種別を関連付ける、ことを特徴とする撮像装置。The recording means is characterized in that each of the RAW image data constituting the plurality of reduced RAW image data of the signal is associated with a type of recording method representing the method of reducing the signals of the two G components. Imaging device.
削減手段が、前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号の少なくとも1つを削減する削減工程と、
記録手段が、前記削減工程において信号の削減された複数のRAW画像データを記録媒体に記録する記録工程と、を有し、
前記削減工程では、前記複数のRAW画像データの全てにおいて、前記ベイヤー配列に対応する前記2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を削減する、ことを特徴とする撮像装置の制御方法。 It is a control method of an image pickup device having an image pickup means for sequentially shifting an image pickup element of a Bayer array composed of R, G, and B color components to acquire a plurality of RAW image data.
A reduction step of reducing at least one of the signals of the two G components corresponding to the Bayer array in at least one of the plurality of RAW image data.
The recording means includes a recording step of recording a plurality of RAW image data whose signals have been reduced in the reduction step on a recording medium.
In the reduction step, in all of the plurality of RAW image data , among the signals of the two G components corresponding to the Bayer arrangement, the first G component having a predetermined positional relationship with respect to the R component and the B component. control method for an imaging device of a to decrease cutting signal, characterized in that.
削減手段が、前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減する削減工程と、
記録手段が、前記削減工程において信号の削減された複数のRAW画像データを記録媒体に記録する記録工程と、を有し、
前記削減工程では、前記複数のRAW画像データのうちの第1のRAW画像データにおいて前記2つのG成分の信号を削減せず、前記複数のRAW画像データのうちの第2のRAW画像データにおいて前記2つのG成分の信号のいずれも削減し、
前記削減工程では、前記第1のRAW画像データとして、前記複数のRAW画像データのうち連続して撮像された、少なくとも2つのRAW画像データを用いる、
ことを特徴とする撮像装置の制御方法。 It is a control method of an image pickup device having an image pickup means for sequentially shifting an image pickup element of a Bayer array composed of R, G, and B color components to acquire a plurality of RAW image data.
The first reduction means has a predetermined positional relationship with respect to the R component and the B component of the two G component signals corresponding to the Bayer sequence in at least one of the plurality of RAW image data. A reduction process that at least reduces the signal of the G component,
The recording means includes a recording step of recording a plurality of RAW image data whose signals have been reduced in the reduction step on a recording medium.
In the reduction step, the signals of the two G components are not reduced in the first RAW image data of the plurality of RAW image data, and the second RAW image data of the plurality of RAW image data is described. Reduce both of the two G component signals,
In the reduction step, at least two RAW image data captured continuously from the plurality of RAW image data are used as the first RAW image data.
A control method for an imaging device, characterized in that .
削減手段が、前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減する削減工程と、The first reduction means has a predetermined positional relationship with respect to the R component and the B component of the two G component signals corresponding to the Bayer sequence in at least one of the plurality of RAW image data. A reduction process that at least reduces the signal of the G component,
記録手段が、前記削減工程において信号の削減された複数のRAW画像データを記録媒体に記録する記録工程と、を有し、The recording means includes a recording step of recording a plurality of RAW image data whose signals have been reduced in the reduction step on a recording medium.
前記削減工程では、前記複数のRAW画像データのうちの第1のRAW画像データにおいて前記2つのG成分の信号を削減せず、前記複数のRAW画像データのうちの第2のRAW画像データにおいて前記2つのG成分の信号のいずれも削減し、In the reduction step, the signals of the two G components are not reduced in the first RAW image data of the plurality of RAW image data, and the second RAW image data of the plurality of RAW image data is described. Reduce both of the two G component signals,
前記削減工程では、前記複数のRAW画像データのうちの第3のRAW画像データにおいて前記第1のG成分の信号のみを削減する、In the reduction step, only the signal of the first G component is reduced in the third RAW image data among the plurality of RAW image data.
ことを特徴とする撮像装置の制御方法。A control method for an imaging device, characterized in that.
削減手段が、前記複数のRAW画像データのうちの少なくとも1つにおいて、前記ベイヤー配列に対応する2つのG成分の信号の少なくとも1つを削減する削減工程と、A reduction step of reducing at least one of the signals of the two G components corresponding to the Bayer array in at least one of the plurality of RAW image data.
記録手段が、前記削減工程において信号の削減された複数のRAW画像データを記録媒体に記録する記録工程と、を有し、The recording means includes a recording step of recording a plurality of RAW image data whose signals have been reduced in the reduction step on a recording medium.
前記削減工程では、前記ベイヤー配列に対応する前記2つのG成分の信号のうち、R成分及びB成分に対して所定の位置関係にある第1のG成分の信号を少なくとも削減し、In the reduction step, at least the signal of the first G component having a predetermined positional relationship with respect to the R component and the B component among the signals of the two G components corresponding to the Bayer arrangement is reduced.
前記記録工程では、前記信号の削減された複数のRAW画像データを構成するRAW画像データのそれぞれに、前記2つのG成分の信号の削減方法を表す記録方法の種別を関連付ける、In the recording step, the type of recording method representing the signal reduction method of the two G components is associated with each of the RAW image data constituting the plurality of reduced RAW image data of the signal.
ことを特徴とする撮像装置の制御方法。A control method for an imaging device, characterized in that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017082251A JP6871795B2 (en) | 2017-04-18 | 2017-04-18 | Imaging device, its control method, program and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017082251A JP6871795B2 (en) | 2017-04-18 | 2017-04-18 | Imaging device, its control method, program and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018182622A JP2018182622A (en) | 2018-11-15 |
JP6871795B2 true JP6871795B2 (en) | 2021-05-12 |
Family
ID=64277205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017082251A Active JP6871795B2 (en) | 2017-04-18 | 2017-04-18 | Imaging device, its control method, program and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6871795B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021200191A1 (en) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | Image processing device and method, and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6242244B2 (en) * | 2014-02-28 | 2017-12-06 | オリンパス株式会社 | Imaging apparatus, imaging method, and program |
-
2017
- 2017-04-18 JP JP2017082251A patent/JP6871795B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018182622A (en) | 2018-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4315971B2 (en) | Imaging device | |
US8730545B2 (en) | Color imaging element, imaging device, and storage medium storing a control program for imaging device | |
JP5853166B2 (en) | Image processing apparatus, image processing method, and digital camera | |
JP6678504B2 (en) | Imaging device, control method therefor, program, and storage medium | |
US11064143B2 (en) | Image processing device and image pickup apparatus for processing divisional pixal signals to generate divisional image data | |
US8723992B2 (en) | Color imaging element, imaging device, and storage medium storing an imaging program | |
JP5033711B2 (en) | Imaging device and driving method of imaging device | |
JP5701942B2 (en) | Imaging apparatus, camera system, and image processing method | |
JP5829122B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
JP2016111568A (en) | Image blur correction control device, imaging apparatus, control method and program thereof | |
JP5996418B2 (en) | Imaging apparatus and imaging method | |
JP6871795B2 (en) | Imaging device, its control method, program and recording medium | |
US9282245B2 (en) | Image capturing apparatus and method of controlling the same | |
US10397587B2 (en) | Image processing apparatus and control method thereof | |
JP6467455B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM | |
JP4687619B2 (en) | Image processing apparatus, image processing method, and program | |
JP2015139018A (en) | Electronic apparatus and control program | |
JP5874473B2 (en) | Electronic camera | |
JP2018026743A (en) | Image processor, control method, and program | |
WO2020137664A1 (en) | Imaging element, imaging device, imaging element operation method, and program | |
JP6622555B2 (en) | Image processing apparatus and control method therefor, imaging apparatus, program, and storage medium | |
JP6278728B2 (en) | Image processing apparatus, image generation apparatus, control method, and program | |
JP6089419B2 (en) | Imaging circuit, imaging method, imaging apparatus, and program | |
JP2015094834A (en) | Image capturing device, image capturing system, method of controlling image capturing device, program, and storage medium | |
JP2008166974A (en) | Image blur detection method, imaging apparatus, and image blur detection program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201204 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210416 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6871795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |