JP4852490B2 - Imaging apparatus and post-view image generation method thereof - Google Patents
Imaging apparatus and post-view image generation method thereof Download PDFInfo
- Publication number
- JP4852490B2 JP4852490B2 JP2007194461A JP2007194461A JP4852490B2 JP 4852490 B2 JP4852490 B2 JP 4852490B2 JP 2007194461 A JP2007194461 A JP 2007194461A JP 2007194461 A JP2007194461 A JP 2007194461A JP 4852490 B2 JP4852490 B2 JP 4852490B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- post
- color
- field
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
本発明は、固体撮像素子で撮像した画像データを表示する表示部を備えた撮像装置に係り、特に、被写体を撮像した直後に撮像画像データを表示部に表示する撮像装置及びそのポストビュー画像生成方法に関する。 The present invention relates to an imaging device including a display unit that displays image data captured by a solid-state imaging device, and more particularly, to an imaging device that displays captured image data on a display unit immediately after imaging a subject and generation of a postview image thereof Regarding the method.
撮像装置には、被写体画像を撮影した後、遅滞なく、撮影した画像データを液晶表示部等に表示しユーザに確認させる「ポストビュー機能」とか「レックビュー機能」と呼ばれる機能(以下、この明細書では、ポストビュー機能という。)が搭載されている。 The imaging apparatus captures a subject image and then displays the captured image data on a liquid crystal display unit or the like without delay so that a user can check the function (hereinafter referred to as “post view function” or “rec view function”). Is called post-view function.)
このポストビュー機能を用いて撮像画像データを表示部に表示する場合、表示部等の画素数が少ないため、あまり表示画像の解像度は問われない。そこで、実際に撮像して得た画像データを間引いて表示画像データを生成している。 When the captured image data is displayed on the display unit using the post-view function, the resolution of the display image is not particularly limited because the number of pixels of the display unit and the like is small. Therefore, display image data is generated by thinning out image data obtained by actual imaging.
しかし、近年の固体撮像素子の画素数は数百万画素以上になってきており、ポストビュー用の表示画像データの生成のためのデータアクセスに時間がかかり、撮影直後に表示するのが困難になってきている。 However, in recent years, the number of pixels of a solid-state image sensor has become more than several million pixels, and it takes time to generate data for generating post-view display image data, making it difficult to display immediately after shooting. It has become to.
また、固体撮像素子の画素数が増大すると撮像データを固体撮像素子からマルチフィールド読み出しする場合が多くなるが、この場合には、カラー画像生成のために必要となるR(赤),G(緑),B(青)の3色の撮像データを読み出すまで時間がかかり、これも、撮影直後のポストビュー表示を困難にする要因になっている。 In addition, when the number of pixels of the solid-state image sensor increases, the image data is often read out from the solid-state image sensor in a multi-field. In this case, R (red) and G (green) necessary for color image generation are required. ) And B (blue), it takes time to read out the image data of three colors, which is also a factor that makes it difficult to display the postview immediately after shooting.
尚、ポストビュー機能に関する従来技術として、下記の特許文献1,2,3等がある。
Note that the following
撮像装置で被写体を撮影したとき、綺麗に撮れているか、ブレていないか、ピントが合っているか等をポストビュー画像により直ぐに確認し、駄目な場合には、シャッターチャンスを逃す前に、再度、被写体を撮影したいというユーザの要望は高い。 When shooting a subject with an imaging device, check the post-view image immediately to see if it is beautifully taken, not blurred, or in focus. There is a high demand from users who want to photograph a subject.
しかし、前述した様に、固体撮像素子の画素数が増大するに従って、ポストビュー用の画像データ生成に時間がかかり、撮影直後のポストビュー画像の表示が困難になってきている。 However, as described above, as the number of pixels of the solid-state imaging device increases, it takes time to generate image data for postview, and it becomes difficult to display a postview image immediately after shooting.
本発明の目的は、ポストビュー用の画像データを生成する時間の短縮を図ることができるポストビュー画像生成方法と、この画像生成方法の実施機能を搭載した撮像装置を提供することにある。 An object of the present invention is to provide a post-view image generation method capable of reducing the time for generating image data for post-view, and an imaging device equipped with an execution function of the image generation method.
本発明の撮像装置及びそのポストビュー画像生成方法は、二次元アレイ状に配列形成され、周期的位置に設けられた半数の画素に透明フィルタが積層され、残り半数の画素に赤色,緑色,青色の3色のうちのいずれか1色のカラーフィルタが積層され、前記各画素により撮像された画像データが少なくとも2フィールドで読み出され、該2フィールドで読み出された画像データにより前記3色の画像データが揃い、前記2フィールドの各フィールドの夫々で読み出される前記画像データは前記3色のうちのいずれか1色の色データが欠落するカラーフィルタ配列の固体撮像素子を搭載し、該固体撮像素子により被写体が撮像されたとき該撮像の直後に該被写体のカラーによる画像をポストビュー画像として表示する撮像装置及びそのポストビュー画像生成方法であって、前記2フィールドのうちの1フィールドで読み出された画像データから前記ポストビュー画像を生成するとき、該1フィールドで読み出された画像データのうち前記欠落する1色の画像データを、前記3色のうちの該1フィールドで読み出された残り2色の画像データと前記透明フィルタを積層した画素から読み出された画像データとに基づき推測して前記ポストビュー画像を生成することを特徴とする。 The imaging device and the post-view image generation method thereof according to the present invention are arranged in a two-dimensional array, transparent filters are stacked on half of the pixels provided at periodic positions, and red, green, and blue are applied to the remaining half of the pixels. A color filter of any one of the three colors is stacked, image data captured by each pixel is read out in at least two fields , and the three color colors are read out based on the image data read out in the two fields. The image data is prepared in the form of a solid-state image sensor having a color filter array in which any one of the three colors is missing as the image data read out in each of the two fields. When an object is imaged by an element, an image pickup apparatus that displays an image in a color of the object as a post-view image immediately after the image pickup, and its post-view A chromatography image generation method, when generating the post-view image from the image data read out in one field of the two fields, one color for the missing of the image data read out by said one field The post-view image is estimated based on the image data of the remaining two colors read out in the one field of the three colors and the image data read out from the pixel on which the transparent filter is laminated. Is generated .
本発明の撮像装置及びそのポストビュー画像生成方法は、前記被写体の撮像色の色温度により、前記2フィールドの中から前記ポストビュー画像を生成する画像データの読出フィールドを選択することを特徴とする。 The imaging apparatus and the post-view image generation method thereof according to the present invention are characterized in that a readout field of image data for generating the post-view image is selected from the two fields according to a color temperature of the imaging color of the subject. .
本発明の撮像装置及びそのポストビュー画像生成方法は、前記ポストビュー画像を生成する画像データを読出フィールドに先行して他フィールドの画像データを読み出し、該他フィールドの画像データからホワイトバランス補正係数を求め、該ホワイトバランス補正係数によって前記ポストビュー画像のホワイトバランス補正を行うことを特徴とする。 In the imaging apparatus and the post-view image generation method of the present invention, the image data for generating the post-view image is read out from the image data in the other field preceding the readout field, and the white balance correction coefficient is calculated from the image data in the other field. The white balance correction of the post-view image is performed using the white balance correction coefficient .
本発明の撮像装置及びそのポストビュー画像生成方法は、前記被写体の撮像色温度が所定温度より高いときは前記赤色のカラーフィルタが積層された画素の色データを含むフィールドの読み出しデータにより前記ポストビュー画像を生成し、前記被写体の撮像色温度が所定温度より低いときは前記青色のカラーフィルタが積層された画素の色データを含むフィールドの読み出しデータにより前記ポストビュー画像を生成することを特徴とする。 In the imaging apparatus and the post-view image generation method of the present invention, when the imaging color temperature of the subject is higher than a predetermined temperature, the post-view is based on read data of a field including color data of a pixel on which the red color filter is stacked. An image is generated, and when the imaging color temperature of the subject is lower than a predetermined temperature, the post-view image is generated from read data of a field including color data of a pixel on which the blue color filter is laminated. .
本発明の撮像装置及びそのポストビュー画像生成方法は、前記被写体の撮像色温度が所定温度より高いときは前記赤色のカラーフィルタが積層された画素の色データを含むフィールドと異なるフィールドから読み出したデータによりホワイトバランス補正係数を算出し、前記被写体の撮像色温度が所定温度より低いときは前記青色のカラーフィルタが積層された画素の色データを含むフィールドと異なるフィールドから読み出したデータによりホワイトバランス補正係数を算出し、算出したホワイトバランス補正係数により前記ポストビュー画像を補正することを特徴とする。 The image pickup apparatus and the post-view image generation method thereof according to the present invention provide data read from a field different from a field including color data of a pixel on which the red color filter is laminated when the image pickup color temperature of the subject is higher than a predetermined temperature. When the imaging color temperature of the subject is lower than a predetermined temperature, the white balance correction coefficient is calculated based on data read from a field different from the field including the color data of the pixel on which the blue color filter is stacked. And the post-view image is corrected by the calculated white balance correction coefficient .
本発明の撮像装置及びそのポストビュー画像生成方法は、前記固体撮像素子の奇数行または偶数行の一方の画素行が他方の画素行に対して1/2画素ピッチづつずらして配置され、奇数行または偶数行の一方の画素行の各画素には前記透明フィルタが積層され、奇数行または偶数行の他方の画素行の各画素には3色のカラーフィルタがベイヤ配列され、各画素から撮像画像データを読み出すときは各画素を隣接する奇数行及び偶数行の2行の画素行毎に区切り、前記透明フィルタが積層された画素行及び緑色のカラーフィルタと青色のカラーフィルタとが画素毎に交互に積層された画素行を読み出すフィールドと、前記透明フィルタが積層された画素行及び赤色のカラーフィルタと緑色のカラーフィルタとが画素毎に交互に積層された画素行を読み出すフィールドとが交互に設けられたことを特徴とする。 In the imaging device and the post-view image generation method thereof according to the present invention, one pixel row of the odd-numbered row or the even-numbered row of the solid-state imaging device is arranged with a shift of ½ pixel pitch with respect to the other pixel row. Alternatively, the transparent filter is stacked on each pixel of one pixel row of the even rows, and three color filters are Bayer arranged on each pixel of the other pixel row of the odd rows or even rows, and the captured image is taken from each pixel. When reading data, each pixel is divided into adjacent two odd-numbered and even-numbered pixel rows, and the pixel row in which the transparent filter is laminated, and the green color filter and the blue color filter are alternately arranged for each pixel. A field for reading a pixel row stacked on the pixel, a pixel row on which the transparent filter is stacked, and a pixel row in which a red color filter and a green color filter are alternately stacked for each pixel. A field to be read out, characterized in that provided alternately.
本発明の撮像装置及びそのポストビュー画像生成方法は、前記固体撮像素子の各画素は正方格子配列され、該正方格子配列の各画素のうち市松位置に配置された画素に前記透明フィルタが積層され、残りの市松位置の各画素に赤色,緑色,青色の3色のカラーフィルタが積層され、奇数行の画素行を読み出すフィールドと偶数行の画素行を読み出すフィールドとが交互に設けられたことを特徴とする。 In the imaging apparatus and the post-view image generation method thereof according to the present invention, each pixel of the solid-state imaging device is arranged in a square lattice, and the transparent filter is stacked on the pixel arranged at the checkered position among the pixels of the square lattice arrangement. In addition, color filters of three colors of red, green, and blue are stacked on each pixel at the remaining checkered positions, and fields for reading out odd-numbered pixel rows and fields for reading out even-numbered pixel rows are alternately provided. Features.
本発明の撮像装置及びそのポストビュー画像生成方法は、前記固体撮像素子の各画素は正方格子配列され、奇数列または偶数列の一方の画素列の各画素に前記透明フィルタが積層され、奇数列または偶数列の他方の画素列の各画素に赤色,緑色,青色の3色のカラーフィルタが積層され、奇数行の画素行を読み出すフィールドと偶数行の画素行を読み出すフィールドとが交互に設けられたことを特徴とする。 In the imaging apparatus and the post-view image generation method thereof according to the present invention, each pixel of the solid-state imaging device is arranged in a square lattice, and the transparent filter is stacked on each pixel of one of the odd-numbered or even-numbered columns, Alternatively, red, green, and blue color filters are stacked on each pixel in the other pixel column, and fields for reading out odd-numbered pixel rows and fields for reading out even-numbered pixel rows are alternately provided. characterized in that was.
本発明によれば、画素数が多い固体撮像素子で被写体画像を撮像した場合でも、高速にポストビュー画像を生成することができるため、撮像直後にポストビュー画像を表示部に表示することが可能となる。 According to the present invention, since a post-view image can be generated at high speed even when a subject image is captured by a solid-state imaging device having a large number of pixels, the post-view image can be displayed on the display unit immediately after imaging. It becomes.
以下、本発明の一実施形態について、図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図1は、本発明の一実施形態に係る撮像装置(図示する例はデジタルカメラ)の機能ブロック構成図である。この撮像装置は、CCD型やCMOS型の固体撮像素子1と、固体撮像素子1の出力データを相関二重サンプリング(CDS)処理や利得制御処理,アナログデジタル変換処理等を行うアナログフロントエンド(AFE)回路2と、撮像装置全体を統括制御する制御部(CPU)3と、制御部3からの指示により撮像素子1やAFE回路2の制御用タイミング信号を生成するタイミングジェネレータ4とを備える。
FIG. 1 is a functional block configuration diagram of an imaging apparatus (an example shown is a digital camera) according to an embodiment of the present invention. This imaging apparatus includes a CCD type or CMOS type solid-
この撮像装置は更に、AFE回路2から出力されたデジタルの撮像画像データを画像処理する画像処理部5と、AFE回路2から出力されたデジタルの撮像画像データを簡易画像処理してポストビューデータ処理を行うポストビューデータ専用処理部(ポストビュー画像生成処理部)6と、AFE回路2から出力されたデジタルの撮像画像データを一時蓄積するメインメモリ(フレームメモリ)7と、画像処理部5が処理した輝度(Y)及び色差(C)でなる画像データをJPEG画像データに変換しIF部8を通して記録メディア9に保存するJPEG変換処理部10と、カメラ背面等に取り付けられポストビューデータ専用処理部6が生成したポストビュー画像を表示する液晶表示部11と、これら及び制御部4との間を相互に接続するバス12とを備える。
The imaging apparatus further includes an image processing unit 5 that performs image processing on digital captured image data output from the
制御部(CPU)4には、ユーザからの指示を入力する操作部13が接続されている。この操作部13は、カメラで静止画像を撮像することに使用する2段シャッタボタンが含まれる。 An operation unit 13 for inputting an instruction from a user is connected to the control unit (CPU) 4. The operation unit 13 includes a two-stage shutter button used to capture a still image with a camera.
画像処理部5は、撮像装置で周知の記録処理系を構成する画像処理機能を搭載しており、AFE回路2から出力される撮像素子1の撮像画像データの全てを一時蓄積するメインメモリ7の蓄積データを取り込んで、ホワイトバランス補正処理を行うホワイトバランス(WB)補正処理部51と、補間処理や正方変換等のマトリクス演算処理を行うマトリクス(MTX)演算処理部52と、ガンマ変換処理を行うガンマ(γ)変換処理部53と、R(赤)G(緑)B(青)の画像データを輝度(Y)色差(C)信号に変換するYC変換処理部54とを備える。
The image processing unit 5 is equipped with an image processing function that constitutes a known recording processing system in the imaging apparatus, and is a main memory 7 that temporarily stores all of the captured image data of the
ポストビューデータ専用処理部6は、ポストビュー画像生成のための処理部61,62,63,64を備える。これらの処理部は、AFE回路2から出力されるデータの一部をAFE回路2から直接取り込み詳細は後述するマトリクス演算処理を行うマトリクス(MTX)演算処理部61と、MTX演算処理部61の演算処理結果を取り込んでホワイトバランス補正処理を行うホワイトバランス(WB)補正処理部62と、WB補正処理部62の処理結果を取り込んでガンマ変換処理を行うガンマ(γ)変換処理部63と、γ変換処理部63の処理結果を取り込んで輝度(Y)色差(C)データに変換しバス12に出力して表示部11に表示させるYC変換処理部64からなる。
The post-view data
画像処理部5とポストビューデータ専用処理部6とは、デジタルシグナルプロセッサ(DSP)で構成される。各々の処理部用に別個のDSPを用意することでも、また、1つのDSPを共用して両処理部5,6を実現しても良い。
The image processing unit 5 and the postview data
図2は、本実施形態で用いるCCD型の固体撮像素子1の表面模式図である。半導体基板の表面部には、二次元アレイ状に複数の光電変換素子(フォトダイオードPD:以下、画素という。)21が配列形成されている。
FIG. 2 is a schematic view of the surface of the CCD solid-
本実施形態の固体撮像素子1は、奇数行の画素行に対して偶数行の画素行が1/2画素ピッチずつずらして配置された、所謂ハニカム画素配列となっている。奇数行(または偶数行)の画素21には、輝度検出用の透明フィルタ(図2では、ホワイトを示す「W」と標記。)が積層され、偶数行(または奇数行)の画素にはカラーフィルタが積層されている。
The solid-
カラーフィルタとしては、三原色の赤色(R),緑色(G),青色(B)が用意されており、カラーフィルタの積層画素だけを見たとき、カラーフィルタはベイヤー配列となっている。 As the color filters, three primary colors red (R), green (G), and blue (B) are prepared, and when only the color filter stacked pixels are viewed, the color filters are arranged in a Bayer array.
斯かる構成の固体撮像素子1は、入射光の全てが画素に入射する高感度なW画素を設けており、また、W画素の数をあまり増やさずカラーフィルタ画素に対して同数だけとしているため、色解像度を比較的高水準に保ったまま、高S/N化を図ることができるという利点がある。また、グレーの信号に対する最高解像度はW画素,色画素の合計の画素数分の解像度となる。
The solid-
各画素列に沿って、各画素から読み出された信号電荷を転送する垂直電荷転送路(VCCD)22が垂直方向に蛇行して配置され、各垂直電荷転送路22の転送方向端部に沿って、水平電荷転送路(HCCD)23が設けられ、水平電荷転送路23の出力端部に、転送されてきた電荷の電荷量に応じた電圧値信号を撮像画像データとして出力するアンプ24が設けられている。
A vertical charge transfer path (VCCD) 22 for transferring a signal charge read from each pixel is arranged to meander in the vertical direction along each pixel column, and along the transfer direction end of each vertical
図2に示す固体撮像素子1からは、2フィールドに分けて撮像画像データが読み出される。第1フィールドでは、図示する例では、W画素行と、その直下のRG画素行の各撮像画像データが水平電荷転送路23に転送され、水平電荷転送路23は、WRWGWRWG…と並ぶ信号電荷を転送し、アンプ24から出力する。
From the solid-
第2フィールドでは、W画素行と、その直下のGB画素行の各撮像画像データが水平電荷転送路23に転送され、水平電荷転送路23は、WGWBWGWB…と並ぶ信号電荷を転送し、アンプ24から出力する。
In the second field, each imaged image data of the W pixel row and the GB pixel row immediately below it is transferred to the horizontal
図1に示す画像処理部5は、第1フィールドと第2フィールドで読み出された画像データを画像処理し、フィールド合成することで1枚の静止画像データを生成する。 The image processing unit 5 shown in FIG. 1 performs image processing on the image data read in the first field and the second field, and generates one piece of still image data by performing field synthesis.
しかし、フィールド合成して得た1枚の静止画像データからポストビュー画像を生成していたのでは、データ処理する信号数が膨大なためポストビュー画像の表示が遅れてしまう。そこで、本実施形態では、第1フィールドまたは第2フィールドで読み出した画像データを基にポストビュー画像の生成を行い、撮影直後にポストビュー画像の表示を可能としている。 However, if a postview image is generated from a single piece of still image data obtained by field synthesis, the display of the postview image is delayed because the number of signals to be processed is enormous. Therefore, in this embodiment, a post-view image is generated based on the image data read in the first field or the second field, and the post-view image can be displayed immediately after shooting.
図3は、図1に示す撮像装置で行われる撮像処理手順を示すフローチャートである。先ず、2段シャッタボタンが半押し(スイッチS1オン)されたか否かを待機し(ステップS1)、半押しされた場合には次のステップS2で、撮像素子1から、次処理の自動露出(AE),焦点位置合わせ(AF)で必要となるデータを得るために撮像データの間引き読み出しを行う。そして、このデータを基に、露出量の決定(ステップS3)と撮影レンズの焦点合わせ(ステップS4)を行う。
FIG. 3 is a flowchart showing an imaging process procedure performed by the imaging apparatus shown in FIG. First, it waits for whether or not the two-stage shutter button is half-pressed (switch S1 is turned on) (step S1). If half-pressed, the
次に、2段シャッタが全押し(スイッチS2がオン)されたか否かを判定し(ステップS5)、全押しされていない場合にはステップS2に戻ってAE用,AF用のデータ取得と夫々の決定を繰り返し、全押しされた場合には次のステップS6に進む。 Next, it is determined whether or not the two-stage shutter has been fully pressed (switch S2 is turned on) (step S5). If not, the process returns to step S2 to acquire data for AE and AF, respectively. Is repeated, and if it is fully pressed, the process proceeds to the next step S6.
ステップS6では、2段シャッタが全押しされたときのステップS2で得た画像データを解析し、粗いオートホワイトバランス補正係数を求め、更に、被写体の撮像色温度が5000Kより大きいか否かを判定する(ステップS7)。 In step S6, the image data obtained in step S2 when the two-stage shutter is fully pressed is analyzed to obtain a rough auto white balance correction coefficient, and further, it is determined whether or not the imaging color temperature of the subject is higher than 5000K. (Step S7).
色温度が5000Kより低い場合には(判定結果が否定NO)、図2に示す第2フィールドを先に読み出し(ステップS10)てから次に第1フィールドを読み出し(ステップS11)し、色温度が5000Kより高い場合には(判定結果が肯定YES)、図2に示す第1フィールドを先に読み出し(ステップS8)てから次に第2フィールドを読み出す(ステップS9)。 When the color temperature is lower than 5000K (determination result is NO), the second field shown in FIG. 2 is read first (step S10), and then the first field is read (step S11). If it is higher than 5000K (determination result is affirmative YES), the first field shown in FIG. 2 is read first (step S8) and then the second field is read (step S9).
第1フィールドと第2フィールドの各画像データを読み出した後、画像処理部5は、ステップS12で、第1フィールドの画像データと第2フィールドの画像データを合成し、更に周知の画像処理を行う。例えば、撮像素子1から得られる画像データの画素位置が図2に示す様にハニカム位置すなわち市松位置であるため、画素データが無い位置のデータをマトリクス演算処理等で補間したり、各画素位置におけるRGB3色の色データを求める演算処理を行う。また、ガンマ変換処理等も行う。そして、生成した1枚の静止画像データを、記録メディア9に記録し、この処理を終了する。
After reading out the image data of the first field and the second field, in step S12, the image processing unit 5 combines the image data of the first field and the image data of the second field, and further performs known image processing. . For example, since the pixel position of the image data obtained from the
ステップS8またはステップS10で第1フィールドまたは第2フィールドの画像データが撮像素子1から読み出されると、ポストビューデータ専用処理部6がこの画像データを画像処理部5と並行して受け取り、画像処理部5の画像処理とは別にポストビュー処理(ステップS15)を行う。
When the image data of the first field or the second field is read from the
ポストビュー処理は、ポストビュー画像生成処理(ステップS15a)と、生成したポストビュー画像を表示部11に表示する処理ステップS15bとからなる。 The post-view process includes a post-view image generation process (step S15a) and a process step S15b for displaying the generated post-view image on the display unit 11.
以下、ポストビュー画像データ生成処理(ステップS15a)について説明する。ポストビューデータ処理部6が受け取る画像データは、第1フィールドだけ、または第2フィールドだけのデータである。
Hereinafter, the post-view image data generation process (step S15a) will be described. The image data received by the postview
第1フィールドの画像データには、青色(B)の画像データが含まれず、また、第2フィールドの画像データには、赤色(R)の画像データが含まれない。 The first field image data does not include blue (B) image data, and the second field image data does not include red (R) image data.
そこで、ポストビューデータ生成処理では、含まれない色の画像データを生成する簡易処理を行う。本実施形態の撮像素子は、W画素を有するため、このW画素の検出信号と、他の2色の画素の検出信号とから、残り1色の画素の検出信号を算出する。 Therefore, in the post-view data generation process, a simple process for generating image data of colors not included is performed. Since the imaging device of this embodiment has W pixels, the detection signal of the remaining one color pixel is calculated from the detection signal of the W pixel and the detection signals of the other two color pixels.
即ち、W信号,R信号,G信号からなる第1フィールドの画像データに対して、次に示す数1のマトリクス演算処理を施すことで、RGB3色の画像データを生成する。あるいは、W信号,G信号,B信号からなる第2フィールドの画像データに対して、数2のマトリクス演算処理を施すことで、RGB3色の画像データを生成する。
That is, RGB image data of three colors is generated by performing the following matrix calculation processing on the first field image data composed of the W signal, R signal, and G signal. Alternatively, the RGB three-color image data is generated by subjecting the second field image data composed of the W signal, the G signal, and the B signal to the matrix calculation processing of
そして、これら3色の画像データを、表示部11の画素数に合うように間引き処理し、ステップS6で求めた粗いオートホワイトバランス補正係数によりホワイトバランス補正を行い、更に、ガンマ変換し、輝度データ(Y)及び色差データ(C)でなるポストビュー画像データを生成する。 Then, the image data of these three colors is thinned out so as to match the number of pixels of the display unit 11, white balance correction is performed using the rough auto white balance correction coefficient obtained in step S6, and further gamma conversion is performed to obtain luminance data. Post-view image data composed of (Y) and color difference data (C) is generated.
図3に示す処理手順は、全体的に、「露光制御」→「第1(第2)フィールド読出」→「第2(第1)フィールド読出」→「画像データのメモリ7への展開」→「画像処理部5による信号処理」が基本となり、ポストビュー処理は、第1(第2)フィールド読出開始後にその読出データを受けて処理を開始することになる。このため、ポストビュー表示の高速化を図ることが可能となる。このポストビュー処理は、撮像素子1から画像データが読み出されたとき、その画像データを受け取り、これをメモリ展開することなく、逐次処理で行うのが高速化のために好ましい。
The overall processing procedure shown in FIG. 3 is “exposure control” → “first (second) field readout” → “second (first) field readout” → “development of image data to the memory 7” → “Signal processing by the image processing unit 5” is the basis, and the post-view processing starts after receiving the read data after starting the first (second) field reading. For this reason, it is possible to speed up post-view display. This post-view processing is preferably performed for sequential processing without receiving the image data when the image data is read from the
図3に示す実施形態では、ステップS7で色温度を判定し、色温度によって、第1フィールド,第2フィールドの読出順を制御したが、一律に第1フィールドから先に読み出し、第1フィールドからポストビュー画像を生成することや、その逆も可能である。 In the embodiment shown in FIG. 3, the color temperature is determined in step S7, and the reading order of the first field and the second field is controlled based on the color temperature. However, the first field is read first and the first field is read first. It is also possible to generate a postview image and vice versa.
しかし、本実施形態では、色温度によって、ポストビュー画像を生成するフィールドを選択する様にしている。その理由は、マトリクス係数が大きいほど処理後のS/Nが劣化する特性があるためである。そこで、色温度に応じて、ポストビュー画像に使用する最初の読出フィールドを切り替え、ポストビュー画像の画質向上を図っている。 However, in this embodiment, a field for generating a postview image is selected according to the color temperature. The reason is that as the matrix coefficient is larger, the S / N after processing is deteriorated. Therefore, the first readout field used for the post-view image is switched according to the color temperature to improve the image quality of the post-view image.
色温度が低い場合には、青色(B)信号が小さくなるので、B信号のS/Nが劣化しないように、G/B/Wを読み出す第2フィールドからポストビュー画像を生成する。反対に、色温度が高い場合には、R信号が小さくなるので、R信号のS/Nが劣化しないように、R/G/Wを読み出す第1フィールドからポストビュー画像を生成する。 When the color temperature is low, the blue (B) signal is small, so a post-view image is generated from the second field for reading G / B / W so that the S / N of the B signal does not deteriorate. On the other hand, when the color temperature is high, the R signal is small, so that a post-view image is generated from the first field for reading R / G / W so that the S / N of the R signal does not deteriorate.
図3で説明した実施形態では、ポストビュー画像のホワイトバランスは、ステップS6で算出した補正係数を用いている。CCD型固体撮像素子では、AE(ステップS3)用,AF(ステップS4)用にデータを取得するとき撮像素子基板に印加する電圧は、実際に静止画像を撮像するときに印加される電圧と異なる。このため、ステップS6で算出した粗いホワイトバランス補正係数が、実際の精度の高いホワイトバランス補正係数と異なってしまい、ポストビュー画像の画質を劣化させる虞がある。 In the embodiment described with reference to FIG. 3, the correction coefficient calculated in step S6 is used for the white balance of the post-view image. In the CCD type solid-state imaging device, the voltage applied to the imaging device substrate when acquiring data for AE (step S3) and AF (step S4) is different from the voltage applied when actually capturing a still image. . For this reason, the coarse white balance correction coefficient calculated in step S6 may be different from the actual highly accurate white balance correction coefficient, which may degrade the image quality of the post-view image.
図4は、ポストビュー画像のホワイトバランス補正精度を向上させた実施形態に係る処理手順を示すフローチャートである。図3に示すステップS7までと、ステップ12以後の処理は、図3の実施形態と同じである。
FIG. 4 is a flowchart illustrating a processing procedure according to the embodiment in which the white balance correction accuracy of the post-view image is improved. The processing up to step S7 shown in FIG. 3 and the processing after
本実施形態では、色温度が5000Kより低い場合(判定結果がNO)には、ポストビュー画像生成に使用する第2フィールド画像データの読出(ステップS10)に先行して、第1フィールドの画像データ読出を行う(ステップS23)。そして、次に、第1フィールドの画像データW(=R+G+B),R,Gに基づき、精度の高いホワイトバランス補正係数を求める(ステップS24)。 In the present embodiment, when the color temperature is lower than 5000K (determination result is NO), the image data of the first field is read prior to the reading of the second field image data used for the postview image generation (step S10). Reading is performed (step S23). Then, a highly accurate white balance correction coefficient is obtained based on the image data W (= R + G + B), R, and G of the first field (step S24).
尚、第1フィールドの画像データのうちR,Gのデータを取り出し、次のステップS10で読み出された第2フィールドの画像データからBのデータを取り出して、ホワイトバランス補正係数を求めることでも良い。以下も同様である。 Note that R and G data may be extracted from the image data of the first field, and B data may be extracted from the image data of the second field read in the next step S10 to obtain the white balance correction coefficient. . The same applies to the following.
色温度が5000Kより高い場合(判定結果がYES)には、ポストビュー画像生成に使用する第1フィールド画像データの読出(ステップS8)に先行して、第2フィールドの画像データ読出を行う(ステップS21)。そして、第2フィールド画像データW(=R+G+B),G,Bに基づき、精度の高いホワイトバランス補正係数を求める(ステップS22)。 When the color temperature is higher than 5000 K (the determination result is YES), the image data of the second field is read (step S8) prior to the reading of the first field image data used for generating the postview image (step S8). S21). Then, based on the second field image data W (= R + G + B), G, B, a highly accurate white balance correction coefficient is obtained (step S22).
ステップS8により第1フィールド読出が開始した後、あるいはステップS10によって第2フィールド読出が開始した後は、夫々の読出処理に並行して、ポストビュー画像データの生成処理を、ステップS22,24で得たホワイトバランス補正係数を用い、図1のAFE回路2からポストビュー処理部6が画像データを直接受け取る毎に、逐次処理で行う。
After the first field reading is started in step S8 or the second field reading is started in step S10, post-view image data generation processing is obtained in steps S22 and S24 in parallel with the respective reading processing. Each time the
本実施形態は、図3の実施形態に比較してポストビュー画像の生成処理が1フィールドのデータ読出分だけ遅れるが、別フィールドの画像データから得た精度の高いホワイトバランス補正係数を用いてポストビュー画像のホワイトバランス補正ができるため、精度の高い色再現を行うことが可能となる。 In this embodiment, the post-view image generation process is delayed by the amount of data read out by one field as compared with the embodiment of FIG. 3, but the post-view image generation process is delayed by using a highly accurate white balance correction coefficient obtained from the image data of another field. Since the white balance of the view image can be corrected, highly accurate color reproduction can be performed.
図5は、本発明の別実施形態で用いるCCD型固体撮像素子の表面模式図である。この固体撮像素子30は、画素21が正方格子配列されており、Wフィルタが市松位置に配置されている。そして、R,G,Bの3色のカラーフィルタが、残りの市松位置に配置されている。例えば奇数行の画素行には、WGWGWGという並びに各フィルタが積層され、偶数行の画素行には、BWRWBWRW…という並びとRWBWRWBW…という並びが交互に積層されている。
FIG. 5 is a schematic view of the surface of a CCD solid-state imaging device used in another embodiment of the present invention. In the solid-
斯かる固体撮像素子において、BWRW…またはRWBW…という並びの画素行から画像データを読み出すフィールドを第1フィールドとし、WGWGという並びに画素行から画像データを読み出すフィールドを第2フィールドとすると、第1フィールドの画像データを取得すれば、画像データWRBから、次の数3に示すマトリクス演算を行うことで、RGB3色のデータを得ることが可能となる。 In such a solid-state imaging device, if the field from which image data is read from the pixel rows arranged in the order of BWRW ... or RWBW ... is a first field, and the field from which image data is read from the pixel row, called WGWG, is the second field. If the image data is acquired, it is possible to obtain RGB three-color data from the image data WRB by performing the matrix operation shown in the following equation (3).
この場合には、図3のステップS7を削除し、色温度にかかわらず必ず第1フィールドから読み出し、第1フィールドのデータからポストビュー画像を生成することになる。 In this case, step S7 in FIG. 3 is deleted, the first field is always read regardless of the color temperature, and a postview image is generated from the data in the first field.
図6は、本発明の更に別実施形態に係るCCD型固体撮像素子の表面模式図である。図6のCCD型固体撮像素子は、複数の画素21が正方格子状に配列形成され、その中にW画素が市松状に配列されている。そして、水平方向に「RWGWRWGW…」というフィルタ配列を持つ行と、「WGWBWGWB…」というフィルタ配列を持つ行とが交互に設けられている。この様なフィルタ配列を持つ固体撮像素子では、「RWGWRWGW」の配列行を第1フィールドとし、「WGWBWGWB」の配列行を第2フィールドとすることで、上記実施形態と同様の処理が可能となる。
FIG. 6 is a schematic view of the surface of a CCD solid-state imaging device according to still another embodiment of the present invention. In the CCD type solid-state imaging device of FIG. 6, a plurality of
図7は、本発明の更に別の実施形態に係るCCD型固体撮像素子の表面模式図である。図7のCCD型固体撮像素子は、複数の画素21が正方格子状に配列形成され、その中にW画素列が1列置きに設けられている。そして、水平方向に「GWBWGWBW」というフィルタ配列を持つ行と、「RWGWRWGW」というフィルタ配列を持つ行とが交互に設けられている。この様なフィルタ配列を持つ固体撮像素子では、「RWGWRWGW」の配列行を第1フィールドとし、「GWBWGWBW」の配列行を第2フィールドとすることで、上記実施形態と同様の処理が可能となる。
FIG. 7 is a schematic view of the surface of a CCD solid-state imaging device according to still another embodiment of the present invention. In the CCD type solid-state imaging device of FIG. 7, a plurality of
本発明に係るポストビューデータ処理方法は、ポストビュー画像を高速に表示することができるため、デジタルスチルカメラ等に適用すると有用である。 Since the post-view data processing method according to the present invention can display a post-view image at high speed, it is useful when applied to a digital still camera or the like.
1,30 固体撮像素子
3 制御部
5 画像処理部
6 ポストビューデータ専用処理部
7 メインメモリ
11 表示部
21 画素
22 垂直電荷転送路(VCCD)
23 水平電荷転送路(HCCD)
24 出力アンプ
R 赤色フィルタ
G 緑色フィルタ
B 青色フィルタ
W 輝度フィルタ(透明フィルタ)
DESCRIPTION OF
23 Horizontal charge transfer path (HCCD)
24 Output amplifier R Red filter G Green filter B Blue filter W Luminance filter (transparent filter)
Claims (16)
該固体撮像素子により被写体が撮像されたとき該撮像の直後に該被写体のカラーによる撮像画像を表示する(以下、この表示をポストビューといい、表示される画像をポストビュー画像という。)表示部と、
前記2フィールドのうちの1フィールドで読み出された画像データから前記ポストビュー画像を生成するに際し、該1フィールドで読み出された画像データのうち前記欠落する1色の画像データを、前記3色のうちの該1フィールドで読み出された残り2色の画像データと前記透明フィルタを積層した画素から読み出された画像データとに基づき推測して前記ポストビュー画像を生成するポストビュー画像生成部とを備えることを特徴とする撮像装置。 A transparent filter is stacked on half of the pixels arranged in a two-dimensional array, and the color filter of any one of three colors of red, green, and blue is placed on the remaining half of the pixels. The image data that are stacked and imaged by each of the pixels are read out in at least two fields, and the image data of the three colors are aligned by the image data read out in the two fields, and each of the fields of the two fields is arranged. The image data to be read is a solid-state image sensor having a color filter array in which any one of the three colors is missing , and
When a subject is imaged by the solid-state imaging device, a captured image with the color of the subject is displayed immediately after the imaging (hereinafter, this display is referred to as a postview, and the displayed image is referred to as a postview image). and,
When generating the postview image from the image data read out in one of the two fields, the missing one-color image data out of the image data read out in the one field is changed to the three colors. A post-view image generation unit that estimates the post-view image based on the remaining two-color image data read out in the one field and the image data read out from the pixel on which the transparent filter is stacked. An imaging apparatus comprising:
前記2フィールドのうちの1フィールドで読み出された画像データから前記ポストビュー画像を生成するとき、該1フィールドで読み出された画像データのうち前記欠落する1色の画像データを、前記3色のうちの該1フィールドで読み出された残り2色の画像データと前記透明フィルタを積層した画素から読み出された画像データとに基づき推測して前記ポストビュー画像を生成するポストビュー画像生成方法。 A transparent filter is stacked on half of the pixels arranged in a two-dimensional array, and the color filter of any one of three colors of red, green, and blue is placed on the remaining half of the pixels. The image data that are stacked and imaged by each of the pixels are read out in at least two fields, and the image data of the three colors are aligned by the image data read out in the two fields, and each of the fields of the two fields is arranged. The image data to be read is mounted with a solid-state image sensor having a color filter array in which any one of the three colors is missing, and when the subject is imaged by the solid-state image sensor, the image data is immediately after the imaging. A method for generating a post-view image of an imaging apparatus that displays an image of a subject color as a post-view image,
When the postview image is generated from the image data read out in one of the two fields, the missing one-color image data out of the image data read out in the one field is changed to the three colors. A post-view image generation method for generating the post-view image by inferring based on the remaining two-color image data read out in the one field and image data read out from a pixel in which the transparent filter is laminated .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007194461A JP4852490B2 (en) | 2007-07-26 | 2007-07-26 | Imaging apparatus and post-view image generation method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007194461A JP4852490B2 (en) | 2007-07-26 | 2007-07-26 | Imaging apparatus and post-view image generation method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009033408A JP2009033408A (en) | 2009-02-12 |
JP4852490B2 true JP4852490B2 (en) | 2012-01-11 |
Family
ID=40403428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007194461A Expired - Fee Related JP4852490B2 (en) | 2007-07-26 | 2007-07-26 | Imaging apparatus and post-view image generation method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4852490B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6565905B2 (en) * | 2014-05-08 | 2019-08-28 | ソニー株式会社 | Information processing apparatus and information processing method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03282403A (en) * | 1989-12-18 | 1991-12-12 | Hitachi Ltd | Color solid-state image pickup element and its manufacture |
JP4077247B2 (en) * | 2002-06-04 | 2008-04-16 | 株式会社リコー | Imaging method, imaging apparatus, and image information processing apparatus |
JP2004032713A (en) * | 2002-05-01 | 2004-01-29 | Canon Inc | Imaging apparatus, imaging method, program, and storage medium |
JP2004007133A (en) * | 2002-05-31 | 2004-01-08 | Minolta Co Ltd | Image pickup device |
JP2004135225A (en) * | 2002-10-15 | 2004-04-30 | Nikon Corp | Electronic camera |
JP2004304706A (en) * | 2003-04-01 | 2004-10-28 | Fuji Photo Film Co Ltd | Solid-state imaging apparatus and interpolation processing method thereof |
JP4105648B2 (en) * | 2004-03-10 | 2008-06-25 | 富士フイルム株式会社 | Image sensor read control apparatus and imaging apparatus |
JP2005322968A (en) * | 2004-05-06 | 2005-11-17 | Sony Corp | Imaging apparatus, method and program |
JP2007074475A (en) * | 2005-09-08 | 2007-03-22 | Sanyo Electric Co Ltd | Photographic apparatus |
-
2007
- 2007-07-26 JP JP2007194461A patent/JP4852490B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009033408A (en) | 2009-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4951440B2 (en) | Imaging apparatus and solid-state imaging device driving method | |
JP4887314B2 (en) | Imaging apparatus and image signal processing method | |
JP4600315B2 (en) | Camera device control method and camera device using the same | |
US8111298B2 (en) | Imaging circuit and image pickup device | |
JP2006270356A (en) | Solid-state image pickup element and solid-state image pickup device | |
JPWO2012014553A1 (en) | Imaging apparatus and imaging method | |
US8582006B2 (en) | Pixel arrangement for extended dynamic range imaging | |
JP2010130343A (en) | Imaging apparatus and its drive control method | |
JP5033711B2 (en) | Imaging device and driving method of imaging device | |
JP5607265B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND CONTROL PROGRAM | |
JP4317117B2 (en) | Solid-state imaging device and imaging method | |
JP4852490B2 (en) | Imaging apparatus and post-view image generation method thereof | |
JP2003101815A (en) | Signal processor and method for processing signal | |
JP5633518B2 (en) | Data processing device | |
JP5624228B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND CONTROL PROGRAM | |
JP5124549B2 (en) | Moving image signal readout method and imaging apparatus for solid-state imaging device | |
US7782381B2 (en) | Generating an instant review image using fractional readouts | |
JP2004194248A (en) | Image pickup element and image pickup device | |
JP2005303653A (en) | Image pickup device | |
JP5094313B2 (en) | Imaging apparatus and driving method thereof | |
JP5629568B2 (en) | Imaging device and pixel addition method thereof | |
JP2009303020A (en) | Image capturing apparatus and defective pixel correcting method | |
JP4848349B2 (en) | Imaging apparatus and solid-state imaging device driving method | |
JP2010166333A (en) | Imaging device, and method of correcting image in the same | |
JP2009141404A (en) | Drive control method for ccd solid-state imaging sensor and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110927 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4852490 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141028 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |