JP6572074B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP6572074B2 JP6572074B2 JP2015186401A JP2015186401A JP6572074B2 JP 6572074 B2 JP6572074 B2 JP 6572074B2 JP 2015186401 A JP2015186401 A JP 2015186401A JP 2015186401 A JP2015186401 A JP 2015186401A JP 6572074 B2 JP6572074 B2 JP 6572074B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixel signal
- image sensor
- block
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置に関し、特に撮像素子のライン間引き駆動とその間引き画素補間により高フレームレート化する撮像装置に関する。 The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus that achieves a high frame rate by line thinning driving of an imaging element and thinning pixel interpolation.
滑らかで自然な動きの再現や、スポーツ制作でのスローモーション撮像に利用する目的で、高フレームレート撮像に対する要求が高まっており、４Ｋや８Ｋの放送サービスなどの高精細撮像と高フレームレート撮像を両立できる撮像装置の実現が求められている。 The demand for high frame rate imaging is increasing for the purpose of smooth and natural motion reproduction and slow motion imaging in sports production. High-definition and high frame rate imaging such as 4K and 8K broadcasting services are increasing. Realization of a compatible imaging device is required.
一般に、高精細用の撮像装置を高フレームレート化するためには、高速に動作する多画素の撮像素子が必要となるが、回路技術や半導体プロセス技術の進歩に依存する部分が大きい。また、高フレームレート化に伴って撮像素子の出力のデータレートを増大させ、且つ蓄積時間を減少させると、感度低下が生じる。 In general, in order to increase the frame rate of a high-definition imaging apparatus, a multi-pixel imaging device that operates at a high speed is required, but a large part depends on advances in circuit technology and semiconductor process technology. In addition, when the data rate of the output of the image sensor is increased and the accumulation time is decreased as the frame rate is increased, the sensitivity is lowered.
一方で、撮像装置を高フレームレート化せず通常のフレームレートを維持したまま動画のコマ数を増やす技法としてインターレース走査が古くから用いられている。ただし、インターレース走査はフリッカーなどの問題が生じるため、４Ｋや８Ｋの放送サービスなどの高精細映像では順次走査の撮像装置が主流となっている。 On the other hand, interlaced scanning has long been used as a technique for increasing the number of frames of a moving image while maintaining a normal frame rate without increasing the frame rate of the imaging apparatus. However, since interlaced scanning causes problems such as flicker, sequential scanning imaging devices are the mainstream for high-definition video such as 4K and 8K broadcast services.
ところで、撮像素子の読み出しライン数を１／２にしてフレームレートを２倍に高めるとともに、Ｇ信号に２枚、Ｒ信号及びＢ信号にそれぞれ１枚の合計４枚の撮像素子と、色分解プリズムを用いて、Ｇ信号についてはフル解像度（ただし、１枚の撮像素子を奇数ライン、もう１枚の撮像素子を偶数ラインの読み出しに利用）、Ｒ信号及びＢ信号はＧ信号との相関による高品位な補間画像を生成して撮像素子の本来のフレームレートの２倍の映像を取得する技法が知られている（例えば、非特許文献１参照）。 By the way, the number of readout lines of the image sensor is halved to double the frame rate, and four image sensors, two for the G signal, one for the R signal and one for the B signal, and the color separation prism. The G signal is full resolution (however, one image sensor is used to read odd lines and the other image sensor is used to read even lines), and the R signal and B signal are high due to correlation with the G signal. A technique is known in which a quality interpolation image is generated and an image twice the original frame rate of the image sensor is acquired (see, for example, Non-Patent Document 1).
前述したように、高精細用の撮像装置を高フレームレート化するために、撮像素子の出力のデータレートを増大させ、且つ蓄積時間を減少させると、感度低下が生じる。また、単にインターレース走査を利用するとフリッカーなどの問題が生じる。 As described above, when the data rate of the output of the image sensor is increased and the accumulation time is decreased in order to increase the frame rate of the high-definition imaging apparatus, the sensitivity is lowered. Also, simply using interlaced scanning causes problems such as flicker.
そして、非特許文献１の技法は、高画質な２倍の高フレームレート化を達成できるが、Ｇ信号を２分割するための特殊な撮像光学系が必要となり、また、蓄積時間の減少による感度低下は免れない。 The technique of Non-Patent Document 1 can achieve a high frame rate that is twice as high as that of a high image quality, but requires a special imaging optical system for dividing the G signal into two parts, and sensitivity due to a reduction in accumulation time. The decline is inevitable.
そこで、本発明の目的は、上述の問題に鑑みて、高品質の高フレームレート映像を撮像可能とし、特に、特殊な撮像光学系を用いずに既存の撮像素子を用いて高フレームレート化を実現するとともに動画像内の静止領域において高フレームレート化による感度低下に起因する信号対雑音比（以下、ＳＮ比）を改善可能とする撮像装置を提供することにある。 In view of the above problems, an object of the present invention is to enable high-quality and high-frame-rate images to be captured, and in particular, to increase the frame rate using an existing image sensor without using a special imaging optical system. It is an object of the present invention to provide an imaging apparatus that can realize and improve a signal-to-noise ratio (hereinafter referred to as an SN ratio) due to a decrease in sensitivity due to a high frame rate in a still region in a moving image.
本発明の撮像装置は、撮像素子のライン間引き駆動とその間引き画素補間により高フレームレート化する撮像装置であって、撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子と、当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位で前記撮像素子の全ライン数を１／Ｎずつ間引いて読み出し、Ｎ回のフィールド単位の読み出しを１シーケンスとして当該全ラインの画素信号を読み出すよう前記撮像素子を制御する撮像素子駆動手段と、当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力する欠落ライン補間手段と、前記撮像素子の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する記憶手段とを備え、前記欠落ライン補間手段は、前記撮像素子から読み出される複数ラインのフィールドの画素信号と、前記記憶手段に蓄積されていた同一画素位置の画素信号とをブロック単位で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、動きのある領域として識別した際には前記撮像素子から読み出される画素信号を用いて、動きの無い領域であるとして識別した際には、前記撮像素子から読みだされる画素信号と、前記記憶手段に蓄積されていた画素信号と、を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、該出力用画素ブロックの画素信号を基に前記記憶手段に蓄積されていた画素信号を更新し、前記欠落ライン補間手段は、前記識別結果として、動きのある領域であるとして識別した際には、当該フィールドの欠落ラインの画素信号を該欠落ライン近傍の前記撮像素子から読み出される画素信号で補間した画素信号を生成するとともに、前記撮像素子から読み出される画素信号と当該補間した画素信号とを用いて前記出力用画素ブロックの画素信号を生成し、動きのない領域であるとして識別した際には、前記撮像素子から読み出される画素信号と前記記憶手段に蓄積されていた同一画素位置の画素信号と一定の比率で混合した画素信号を生成するとともに、当該フィールドの欠落ラインの画素信号を前記記憶手段に蓄積されていた同一画素位置の画素信号から取得し、この取得した画素信号と当該混合した画素信号とを用いて前記出力用画素ブロックの画素信号を生成することを特徴とする。
An imaging device according to the present invention is an imaging device that increases the frame rate by line thinning driving and thinning pixel interpolation of the imaging device, and can selectively read out pixel signals of an arbitrary line in a frame to be captured. Then, the frame to be imaged is read out by subtracting the total number of lines of the image sensor by 1 / N in a field unit divided into N (N is an integer of 2 or more) times, and N times of field unit readout is one sequence. Based on the image sensor driving means for controlling the image sensor to read out the pixel signals of all the lines and the pixel signals of the lines read out from the image sensor in the field unit, the pixel signals of the missing lines in the field are interpolated. The missing line interpolating means for outputting the image and the frame image corresponding to the pixel signals of all the lines of the image sensor in the field. Storage means that functions as a frame memory to be updated at the same time, wherein the missing line interpolation means includes a pixel signal of a plurality of lines of fields read out from the image sensor and a pixel signal at the same pixel position accumulated in the storage means Are compared in block units to identify whether or not the region is in motion, and according to this identification result, when identified as a region with motion, using the pixel signal read from the image sensor, When the region is identified as a region having no motion, an output pixel block adaptively interpolated using the pixel signal read from the image sensor and the pixel signal stored in the storage means is used. generates a pixel signal, and updates the pixel signal which has been stored in the storage means based on the pixel signals for a pixel block output, said missing line interpolation means, said identification formation When the pixel region is identified as a region having motion, a pixel signal obtained by interpolating the pixel signal of the missing line of the field with the pixel signal read from the imaging device near the missing line is generated, and the imaging device When the pixel signal of the output pixel block is generated using the pixel signal read from the pixel and the interpolated pixel signal and identified as a non-motion region, the pixel signal read from the image sensor and the pixel signal A pixel signal mixed with a pixel signal at the same pixel position accumulated in the storage means at a constant ratio is generated, and a pixel signal of the missing line of the field is stored in the storage means as a pixel signal at the same pixel position. The pixel signal of the output pixel block is generated using the acquired pixel signal and the mixed pixel signal . And features.
また、本発明の撮像装置は、撮像素子のライン間引き駆動とその間引き画素補間により高フレームレート化する撮像装置であって、撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子と、当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位で前記撮像素子の全ライン数を１／Ｎずつ間引いて読み出し、Ｎ回のフィールド単位の読み出しを１シーケンスとして当該全ラインの画素信号を読み出すよう前記撮像素子を制御する撮像素子駆動手段と、当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力する欠落ライン補間手段と、前記撮像素子の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する記憶手段とを備え、前記欠落ライン補間手段は、前記撮像素子から読み出される複数ラインのフィールドの画素信号と、前記記憶手段に蓄積されていた同一画素位置の画素信号とをブロック単位で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、動きのある領域として識別した際には前記撮像素子から読み出される画素信号を用いて、動きの無い領域であるとして識別した際には、前記撮像素子から読み出される画素信号と、前記記憶手段に蓄積されていた画素信号と、を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、該出力用画素ブロックの画素信号を基に前記記憶手段に蓄積されていた画素信号を更新し、前記欠落ライン補間手段により当該動きがある領域であるか否かの識別に用いる動き判定用画素ブロックは、前記出力用画素ブロックを構成する画素数よりも縦方向に大きいブロックサイズを有することを特徴とする。
The image pickup apparatus of the present invention is an image pickup apparatus that increases the frame rate by line thinning driving and thinning pixel interpolation of the image pickup device, and can selectively read out pixel signals of arbitrary lines in a frame to be picked up. The image sensor and the frame to be imaged are read out by subtracting the total number of lines of the image sensor in 1 / N increments in N (N is an integer of 2 or more) times, and N times of field unit readout is 1 Based on the image sensor driving means for controlling the image sensor to read out the pixel signals of all the lines as a sequence and the pixel signal of the line read from the image sensor in the field unit, the pixel signal of the missing line in the field A missing line interpolation means for interpolating and outputting a frame image corresponding to pixel signals of all lines of the image sensor. Storage unit that functions as a frame memory that updates in units of frames, and the missing line interpolation unit includes pixel signals of a plurality of lines of fields read from the image sensor and the same pixel position stored in the storage unit. The pixel signal is compared with the block unit to identify whether or not the region has movement, and according to the identification result, the pixel signal read from the image sensor is used when the region is identified as the region having movement. When the pixel block is identified as a region having no motion, the pixel block for output which is adaptively interpolated using the pixel signal read from the image sensor and the pixel signal stored in the storage means is used. A pixel signal is generated, the pixel signal stored in the storage unit is updated based on the pixel signal of the output pixel block, and the pixel line is updated by the missing line interpolation unit. Motion determination pixel block used for identifying whether the area where there is motion, characterized by having a large block size in the longitudinal direction than the number of pixels constituting the output pixel block.
また、本発明の撮像装置において、前記欠落ライン補間手段により当該動きがある領域であるか否かの識別に用いる動き判定用画素ブロックは、前記出力用画素ブロックを構成する画素数よりも縦方向に大きいブロックサイズを有することを特徴とする。 In the imaging apparatus of the present invention, the motion determination pixel block used for identifying whether or not the motion region is the region by the missing line interpolation unit is longer than the number of pixels constituting the output pixel block. It is characterized by having a large block size.
また、本発明の撮像装置において、前記欠落ライン補間手段は、前記撮像するフレームの上端及び下端に位置する当該動き判定用画素ブロックについては、当該１シーケンス内のフィールドごとに縦方向に異なるブロックサイズを用いて、当該動きがある領域であるか否かの識別を行うことを特徴とする。 Further, in the imaging apparatus of the present invention, the missing line interpolation unit may be configured such that, for the motion determination pixel blocks positioned at the upper and lower ends of the frame to be captured, the block sizes differing in the vertical direction for each field in the one sequence. Is used to identify whether or not the movement is an area.
また、本発明の撮像装置において、前記撮像素子駆動手段は、前記撮像素子の種別に応じて定められた間引き間隔により、前記撮像素子の全ライン数を１／Ｎずつ間引くよう前記撮像素子を制御し、前記欠落ライン補間手段は、該間引き間隔に応じて当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力することを特徴とする。 In the image pickup apparatus of the present invention, the image pickup device driving unit controls the image pickup device so that the total number of lines of the image pickup device is thinned by 1 / N at a thinning interval determined according to the type of the image pickup device. The missing line interpolation means interpolates and outputs the pixel signal of the missing line in the field based on the pixel signal of the line read from the image sensor in the field unit according to the thinning interval. Features.
本発明によれば、特殊な撮像光学系を用いずに高フレームレート化を実現し、且つその高フレームレート化による感度低下に起因する動画像のＳＮ比を改善することができ、高品質の高フレームレート映像を撮像できるようになる。 According to the present invention, it is possible to realize a high frame rate without using a special imaging optical system, and to improve the SN ratio of a moving image due to a decrease in sensitivity due to the high frame rate. High frame rate video can be captured.
以下、図面を参照して、本発明による一実施形態の撮像装置１の構成と、その動作を説明する。 Hereinafter, the configuration and operation of an imaging apparatus 1 according to an embodiment of the present invention will be described with reference to the drawings.
図１は、本発明による一実施形態の撮像装置１の概略構成を示すブロック図である。本実施形態の撮像装置１は、動画を撮像可能とするカメラとして構成され、撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子１１と、撮像素子１１のライン間引き駆動とその間引き画素補間により高フレームレート化する制御部１２と、を備える。尚、図１は、本発明に係る構成要素以外の要素、例えばレンズ等の光学系やアナログ信号処理、アナログ・デジタル変換処理、１画素内で完結する間引き画素補間処理前の画像処理、間引き画素補間処理後の画像処理に係る構成等は本発明の主旨とは直接的に関係しないため、その図示・説明は省略している。 FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus 1 according to an embodiment of the present invention. The imaging apparatus 1 according to the present embodiment is configured as a camera that can capture a moving image, an imaging element 11 that can selectively read out pixel signals of an arbitrary line in a frame to be captured, and line thinning driving of the imaging element 11. And a controller 12 for increasing the frame rate by thinning pixel interpolation. 1 shows elements other than the constituent elements according to the present invention, such as an optical system such as a lens, analog signal processing, analog / digital conversion processing, image processing before thinning pixel interpolation processing completed within one pixel, thinning pixels Since the configuration related to the image processing after the interpolation processing is not directly related to the gist of the present invention, illustration and description thereof are omitted.
制御部１２は、撮像素子駆動部１３、欠落ライン補間部１４、及び記憶部１５の各機能部を備えており、後述するシーケンスでこれら各機能部を同期制御する。 The control unit 12 includes functional units such as an image sensor driving unit 13, a missing line interpolation unit 14, and a storage unit 15. The functional units are synchronously controlled in a sequence described later.
撮像素子駆動部１３は、ライン選択駆動信号を発生させ撮像素子１１のライン間引き駆動を行う機能部であり、当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位で撮像素子１１の全ライン数を１／Ｎずつ間引いて読み出し、Ｎ回のフィールド単位の読み出しを１シーケンスとして当該全ラインの画素信号を読み出すよう撮像素子１１を制御する。 The image sensor driving unit 13 is a functional unit that generates a line selection drive signal and performs line thinning driving of the image sensor 11, and images the frame to be imaged in N (N is an integer of 2 or more) times. The image pickup device 11 is controlled so that the total number of lines of the element 11 is thinned out by 1 / N and read out, and the pixel signals of all the lines are read out by reading N times of field units as one sequence.
欠落ライン補間部１４は、フィールド単位で撮像素子１１から読み出したラインの画素信号（撮像素子出力信号）を基に、後述する動きの有無に応じて当該フィールド内の欠落ラインの画素（以下、「欠落画素」とも称する）の信号を適応的に補間して高フレームレート映像として出力する機能部である。 The missing line interpolation unit 14 is based on the pixel signal (imaging element output signal) of the line read from the imaging element 11 in field units, and the missing line pixels (hereinafter, “ This is a functional unit that adaptively interpolates the signal of “missing pixel” and outputs it as a high frame rate video.
記憶部１５は、撮像素子１１の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する機能部であり、欠落ライン補間部１４の制御下で一時記憶したフレーム画像の画素信号の読み出し又は書き込みが行われる。このため、記憶部１５は、フィールド単位で更新されるフレーム画像を蓄積している。 The storage unit 15 is a functional unit that functions as a frame memory that updates the frame images corresponding to the pixel signals of all the lines of the image sensor 11 in units of fields, and stores the frame image temporarily stored under the control of the missing line interpolation unit 14. Reading or writing of pixel signals is performed. Therefore, the storage unit 15 stores frame images that are updated in units of fields.
以下、本発明に係る撮像素子駆動部１３、欠落ライン補間部１４、及び記憶部１５の各機能部について、詳細に説明する。 Hereinafter, each functional unit of the image sensor driving unit 13, the missing line interpolation unit 14, and the storage unit 15 according to the present invention will be described in detail.
撮像素子駆動部１３は、撮像素子１１のフレームレートがｆ［Ｈｚ］のときＮ倍のフレームレート（ｆ・Ｎ ［Ｈｚ］）の映像を取得する場合、フレームレートがｆ［Ｈｚ］の１フレーム分に相当する期間をＮ回に分けたフレーム（本願明細書中、区別を明確にするため「フィールド」と称している）ごとに撮像素子１１の全ライン数の１／Ｎずつ読み出し、Ｎフィールド数分を経て全ラインを読み出すように、撮像素子１１を駆動する。この動作は、インターレース比Ｎ：１のインターレース走査と同等とも云えるが、例えば２ライン連続で読み出して２ラインスキップするといった変則的な読み出し方をしてもよい。 When the image sensor drive unit 13 acquires an image having a frame rate N times (f · N [Hz]) when the frame rate of the image sensor 11 is f [Hz], the image sensor drive unit 13 has one frame with a frame rate of f [Hz]. Read out 1 / N of the total number of lines of the image sensor 11 for each frame (referred to as a “field” in the present specification for the sake of distinction) in which a period corresponding to minutes is divided into N times, and N fields The image sensor 11 is driven so that all lines are read out after several minutes. Although this operation can be said to be equivalent to interlace scanning with an interlace ratio of N: 1, for example, an irregular reading method may be used in which two lines are read continuously and two lines are skipped.
これにより、各フィールドでは、或る１フレーム期間内に撮像した映像のライン数は元の１／Ｎとなるが、事実上、フレームレートは元のＮ倍となる。従って、撮像素子駆動部１３は、ライン数を１／Ｎに間引いて読み出した１番目のフィールドを第１フィールド、後続するフィールドを、それぞれ第２フィールド、第３フィールド、…、第Ｎフィールドとし、第Ｎフィールドの後は第１フィールドに戻り、この読み出しを繰り返す。例えば、Ｎ＝４としたとき、フレームレートがｆ［Ｈｚ］の１フレームＦ分に相当する期間を４回に分けたフィールドは、図２に示すようになる。 As a result, in each field, the number of lines of video captured within a certain frame period is 1 / N of the original, but the frame rate is effectively N times the original. Therefore, the image sensor driving unit 13 sets the first field read by thinning the number of lines to 1 / N as the first field, and the subsequent fields as the second field, the third field,. After the Nth field, the process returns to the first field, and this reading is repeated. For example, when N = 4, a field in which a period corresponding to one frame F with a frame rate of f [Hz] is divided into four times is as shown in FIG.
そして、第１フィールドから第Ｎフィールドまでの一連の読み出し周期を１シーケンスとする。ところで、電子シャッターを利用して蓄積時間を制御する撮像素子１１の場合は、第ｎフィールドの読み出しの際に、次の第ｎ＋１フィールド（例えば、第Ｎフィールド読み出しの時は後続する第１フィールド）の読み出しラインの画素の蓄積電荷をリセットする。即ち、電子シャッター間隔はフィールド間隔と同じ１／（ｆ・Ｎ）秒となる。例えば、図３（ａ）に示すようにｆ＝６０［Ｈｚ］の時の各フレームの通常駆動時に対し、Ｎ＝４の高速駆動時には図３（ｂ）に示すように、各フィールドをｆ＝２４０［Ｈｚ］で読み出し、画素補間で４倍速のフレーム画像を構成することができる。 A series of reading cycles from the first field to the Nth field is defined as one sequence. By the way, in the case of the image sensor 11 that uses an electronic shutter to control the accumulation time, the next n + 1th field (for example, the subsequent first field at the time of Nth field reading) is read when reading the nth field. The accumulated charge of the pixels in the readout line is reset. That is, the electronic shutter interval is 1 / (f · N) seconds, which is the same as the field interval. For example, as shown in FIG. 3A, each field is set as f = 60 [Hz], as shown in FIG. It can be read out at 240 [Hz] and a 4 × frame image can be formed by pixel interpolation.
欠落ライン補間部１４は、撮像素子１１から得られる１フィールド分の映像のライン数が撮像素子１１におけるフレームＦの全ライン数の１／Ｎとなっているため、不足するライン（欠落したライン）の画素を補間して生成する。図４に、欠落ライン補間部１４による欠落ライン補間処理に関する１シーケンスの動作例（Ｎ＝４）に関するフローチャートを示している。また、図５に、欠落ライン補間部１４による欠落ライン補間処理の動作に関する説明図を示している。ここで、欠落ライン補間部１４は、ブロック生成部１４１、比較回路で構成可能な動き検出部１４２、及び補間更新部１４３を備える。 Since the number of video lines for one field obtained from the image sensor 11 is 1 / N of the total number of lines of the frame F in the image sensor 11, the missing line interpolation unit 14 has an insufficient line (missed line). Are generated by interpolation. FIG. 4 shows a flowchart regarding an operation example (N = 4) of one sequence related to the missing line interpolation processing by the missing line interpolation unit 14. FIG. 5 shows an explanatory diagram regarding the operation of the missing line interpolation processing by the missing line interpolation unit 14. Here, the missing line interpolation unit 14 includes a block generation unit 141, a motion detection unit 142 that can be configured by a comparison circuit, and an interpolation update unit 143.
図４を参照するに、欠落ライン補間部１４は、最初に（例えば撮像開始時）、１シーケンス分で取得した全ライン分の画素信号を記憶部１５（フレームメモリー）に蓄積する（ステップＳ１）。 Referring to FIG. 4, the missing line interpolation unit 14 first accumulates pixel signals for all lines acquired in one sequence (for example, at the start of imaging) in the storage unit 15 (frame memory) (step S1). .
続いて、欠落ライン補間部１４は、次のシーケンス（現在のシーケンス）で、撮像素子１１から読み出される複数ラインの第１フィールドの画素信号と、記憶部１５に蓄積されていた対応する画素位置の画素信号とをブロック単位（所定ブロックサイズの動き判定用画素ブロック）で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、当該撮像素子１１から読み出される画素信号と記憶部１５に蓄積されていた画素信号を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、記憶部１５に蓄積されていた画素信号を更新するとともに後段の機能部（図示しない画像処理等の機能部）へ出力する（ステップＳ２）。従って、詳細は後述するが、欠落ライン補間部１４は、フィールド単位で得られる画像の局所的な動きを検出し、この動きの有無に応じて適応的に画素補間を行う。 Subsequently, in the next sequence (current sequence), the missing line interpolation unit 14 calculates the pixel signals of the first field of the plurality of lines read from the image sensor 11 and the corresponding pixel positions accumulated in the storage unit 15. The pixel signal is compared in block units (pixel block for motion determination having a predetermined block size) to identify whether or not there is a motion area, and the pixel signal read from the image sensor 11 according to the identification result The pixel signal of the output pixel block adaptively interpolated using the pixel signal stored in the storage unit 15 is generated, the pixel signal stored in the storage unit 15 is updated, and the functional unit (shown in the figure) Output to a functional unit such as image processing not to be performed (step S2). Therefore, although details will be described later, the missing line interpolation unit 14 detects a local motion of the image obtained in field units, and adaptively performs pixel interpolation according to the presence or absence of this motion.
続いて、欠落ライン補間部１４は、当該現在のシーケンスで、撮像素子１１から読み出される複数ラインの第２フィールドの画素信号と、記憶部１５に蓄積されていた対応する画素位置の画素信号とをブロック単位（所定ブロックサイズの動き判定用画素ブロック）で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、当該撮像素子１１から読み出される画素信号と記憶部１５に蓄積された画素信号を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、記憶部１５に蓄積されていた画素信号を更新するとともに後段の機能部（図示しない画像処理等の機能部）へ出力する（ステップＳ３）。 Subsequently, the missing line interpolation unit 14 obtains the pixel signals of the second field of the plurality of lines read from the image sensor 11 and the pixel signal of the corresponding pixel position accumulated in the storage unit 15 in the current sequence. Comparison is made in block units (pixel block for motion determination of a predetermined block size) to identify whether or not there is a motion region, and the pixel signal read from the image sensor 11 and the storage unit 15 according to the identification result The pixel signal of the output pixel block that is adaptively interpolated using the pixel signal stored in is generated, the pixel signal stored in the storage unit 15 is updated, and the functional unit (not shown in the figure such as image processing) is updated. (Step S3).
第１，第２フィールドの場合と同様に、欠落ライン補間部１４は、当該現在のシーケンスで、第３，第４フィールドの画素信号に対する欠落ラインの画素信号を補間して記憶部１５に蓄積された画素信号を更新するとともに後段の機能部（図示しない画像処理等の機能部）へ出力する（ステップＳ４，Ｓ５）。ステップＳ４を経て当該現在のシーケンスでの欠落ライン補間処理が終了すると、更に当該現在のシーケンスから次のシーケンスでの欠落ライン補間処理を行うべくステップＳ２に移行して繰り返すよう動作する。 As in the case of the first and second fields, the missing line interpolation unit 14 interpolates the pixel signals of the missing lines with respect to the pixel signals of the third and fourth fields in the current sequence and accumulates them in the storage unit 15. The pixel signal is updated and output to a subsequent function unit (function unit such as image processing (not shown)) (steps S4 and S5). When the missing line interpolation process in the current sequence is completed through step S4, the process moves to step S2 to repeat the missing line interpolation process in the next sequence from the current sequence.
ところで、動きの有無に関する識別結果として、動きのある領域であるとして識別した際には、欠落ライン補間部１４は、当該フィールドの欠落ラインの画素信号を該欠落ライン近傍の撮像素子１１から読み出される画素信号で補間した画素信号を生成するとともに、撮像素子１１から読み出される画素信号と当該補間した画素信号とを用いて出力用画素ブロックの画素信号を生成する。このとき、欠落ライン補間部１４は、記憶部１５（フレームメモリー）に蓄積されていた対応する画素位置の画素信号を全てこの出力用画素ブロックの画素信号で更新する。 By the way, when the identification result regarding the presence / absence of motion is identified as a region with motion, the missing line interpolation unit 14 reads out the pixel signal of the missing line in the field from the image sensor 11 near the missing line. A pixel signal interpolated with the pixel signal is generated, and a pixel signal of the output pixel block is generated using the pixel signal read from the image sensor 11 and the interpolated pixel signal. At this time, the missing line interpolation unit 14 updates all the pixel signals of the corresponding pixel positions accumulated in the storage unit 15 (frame memory) with the pixel signals of this output pixel block.
一方、動きのない領域であるとして識別した際には、欠落ライン補間部１４は、撮像素子１１から読み出される画素信号と記憶部１５（フレームメモリー）に蓄積されていた同一画素位置の画素信号と一定の比率で混合した画素信号を生成するとともに、当該フィールドの欠落ラインの画素信号を記憶部１５（フレームメモリー）に蓄積されていた同一画素位置の画素信号から取得し、この取得した画素信号と当該混合した画素信号とを用いて出力用画素ブロックの画素信号を生成する。このとき、欠落ライン補間部１４は、記憶部１５（フレームメモリー）に蓄積されていた対応する画素位置の画素信号を全てこの出力用画素ブロックの画素信号で更新する（ただし、この場合は欠落ラインの画素信号は、元々記憶部１５に蓄積されていた画素信号であることから、当該混合した画素信号のみ更新すればよい）。 On the other hand, when the region is identified as a region having no motion, the missing line interpolation unit 14 reads the pixel signal read from the image sensor 11 and the pixel signal at the same pixel position accumulated in the storage unit 15 (frame memory). A pixel signal mixed at a constant ratio is generated, and a pixel signal of a missing line in the field is acquired from the pixel signal at the same pixel position stored in the storage unit 15 (frame memory), and the acquired pixel signal and A pixel signal of the output pixel block is generated using the mixed pixel signal. At this time, the missing line interpolation unit 14 updates all the pixel signals of the corresponding pixel positions accumulated in the storage unit 15 (frame memory) with the pixel signals of the output pixel block (in this case, however, the missing line Since this pixel signal is a pixel signal originally stored in the storage unit 15, only the mixed pixel signal needs to be updated.
より具体的に、欠落ライン補間部１４は、動きが無いと判定された場合、例えば、式（１）に示すように、動きが無いと判定された動き判定用画素ブロック内の撮像素子１で読み出された画素信号をＳＲＥＡＤ、記憶部１５（フレームメモリー）に蓄積されていた同一画素位置の過去の画素信号をＳＭＥＭとすると、ＳＲＥＡＤとＳＭＥＭとを１：ｋ−１の比率で混合した場合の画素信号ＳＭＩＸを生成し、この画素信号ＳＭＩＸと欠落画素に対応する画素位置の記憶部１５（フレームメモリー）に蓄積されていた画素信号を用いて出力用画素ブロックを生成する。ここに、ｋは定数である。 More specifically, when it is determined that there is no motion, the missing line interpolation unit 14 is, for example, the imaging element 1 in the motion determination pixel block that is determined to have no motion, as shown in Expression (1). read pixel signals S rEAD, the historical pixel signals of the same pixel position that has been accumulated in the storage unit 15 (frame memory) and S MEM, the S rEAD and S MEM 1: k-1 ratio It generates a pixel signal S mIX when in mixed, produce an output pixel block using pixel signals accumulated in the storage unit 15 (frame memory) of the pixel position corresponding to the missing pixel and the pixel signal S mIX To do. Here, k is a constant.
図５を参照してより詳細な例を説明する。出力用画素ブロックのブロックサイズを「縦Ｋ画素×横Ｌ画素」（Ｋ：Ｎ以上の整数）とすると、動き判定用画素ブロックのブロックサイズは、「縦（Ｋ＋１）画素×横Ｌ画素」とする（後述する図６（ａ）参照）ことができるが、例えばＫ＝４，Ｌ＝４とすると、欠落ライン補間部１４は、まず、画像の局所的な動きを検出するために、ブロック生成部１４１により、撮像素子１１から得られるフィールドの画像をその内部の一時記憶メモリ（図示せず）で一時記憶して、基本として５×４画素のブロックサイズで分割した動き判定用画素ブロックを生成する。続いて、欠落ライン補間部１４は、動き検出部１４２により、撮像素子１１から読み出される複数ラインを含む５×４画素の動き判定用画素ブロック（本例では、Ｓ１１〜Ｓ１４, Ｓ５１〜Ｓ５４が撮像素子１１から読み出された画素であり、Ｓ２１〜Ｓ２４, Ｓ３１〜Ｓ３４, Ｓ４１〜Ｓ４４が撮像素子１１から読み出されない欠落画素）と、記憶部１５（フレームメモリー）に蓄積された直前のシーケンスの対応する同一画素位置の画素ブロック（本例では、Ｍ１１〜Ｍ５４が直前のシーケンスで蓄積されている蓄積画素）とを比較して、当該動き判定用画素ブロックが、動きがある領域であるか否かを識別する。 A more detailed example will be described with reference to FIG. If the block size of the output pixel block is “vertical K pixels × horizontal L pixels” (K: integer greater than or equal to N), the block size of the motion determination pixel block is “vertical (K + 1) pixels × horizontal L pixels”. For example, if K = 4 and L = 4, the missing line interpolation unit 14 first generates a block in order to detect local motion of the image. The image of the field obtained from the image sensor 11 is temporarily stored in the internal storage memory (not shown) by the unit 141, and a pixel block for motion determination that is basically divided by a block size of 5 × 4 pixels is generated. To do. Subsequently, the missing line interpolation unit 14 uses the motion detection unit 142 to capture a 5 × 4 pixel motion determination pixel block including a plurality of lines read from the image sensor 11 (in this example, S11 to S14 and S51 to S54 are imaged). Pixels read from the element 11 and S21 to S24, S31 to S34, and S41 to S44 are missing pixels that are not read from the image sensor 11, and the sequence immediately before being stored in the storage unit 15 (frame memory). It is compared with the corresponding pixel block at the same pixel position (in this example, M11 to M54 are accumulated pixels accumulated in the immediately preceding sequence), and whether or not the motion determination pixel block is a region with motion. To identify.
この比較による動きがある領域であるか否かの識別は、例えば、式（２）に示すように、撮像素子１１から読み出されたフィールドの動き判定用画素ブロックの各画素（Ｓ１１〜Ｓ１４及びＳ５１〜Ｓ５４）の画素値と、記憶部１５（フレームメモリー）に蓄積された直前のシーケンスの対応する同一画素位置の画素ブロックの各画素（Ｍ１１〜Ｍ１４及びＭ５１〜Ｍ５４）の画素値における対応する画素位置の画素ごとの差分の絶対値の総和が一定値Ｃ以下であるか否かで判定することで、当該動き判定用画素ブロックが、動きがある領域であるか否かを識別することができる。 For example, as shown in Equation (2), each pixel (S11 to S14 and S14 of the motion determination pixel block of the field read from the image sensor 11 is identified as whether or not the region has a motion by the comparison. The pixel values of S51 to S54) correspond to the pixel values of the pixels (M11 to M14 and M51 to M54) of the corresponding pixel block in the same sequence in the immediately preceding sequence stored in the storage unit 15 (frame memory). By determining whether or not the sum of the absolute values of differences for each pixel at the pixel position is equal to or less than a certain value C, it is possible to identify whether or not the motion determination pixel block is an area with motion. it can.
動き検出部１４２は、式（２）を満たすときは動きなしと判定し、そうでない場合は動きありと判定する。この動き検出部１４２による判定に基づき、補間更新部１４３は、適応的に補間処理を行って出力用画素ブロックの映像信号を出力する。ただし、図５に示す例にて、動き判定用ブロック内のＳ５１〜Ｓ５４の画素は、当該動き判定用ブロックの下側の３ライン分の補間処理にも利用するよう動き判定用ブロックを構成するため、補間更新部１４３は、４×４画素の出力用画素ブロックの映像信号を出力する。 The motion detection unit 142 determines that there is no motion when Expression (2) is satisfied, and determines that there is motion if not. Based on the determination by the motion detection unit 142, the interpolation update unit 143 adaptively performs an interpolation process and outputs a video signal of the output pixel block. However, in the example shown in FIG. 5, the pixels in S <b> 51 to S <b> 54 in the motion determination block constitute the motion determination block so as to be used for interpolation processing for the lower three lines of the motion determination block. Therefore, the interpolation update unit 143 outputs the video signal of the 4 × 4 pixel output pixel block.
動き検出部１４２によって動きなしと判定されたとき、補間更新部１４３は、当該動き判定用ブロック内の欠落画素を記憶部１５に蓄積されていた対応する画素位置の画素信号（Ｍ２１〜Ｍ４４）を読み出し、且つ当該撮像素子１１から読み出される上側ラインの画素信号（Ｓ１１〜Ｓ１４）と記憶部１５に蓄積されていた対応する画素位置の画素信号（Ｍ１１〜Ｍ１４）を用いて更新し、例えば式（３）に基づいて、出力用画素ブロックを生成する。 When the motion detection unit 142 determines that there is no motion, the interpolation update unit 143 uses the pixel signals (M21 to M44) of the corresponding pixel positions stored in the storage unit 15 as missing pixels in the motion determination block. The pixel signal (S11 to S14) of the upper line read out and read from the image sensor 11 and the pixel signal (M11 to M14) of the corresponding pixel position accumulated in the storage unit 15 are updated, for example, Based on 3), an output pixel block is generated.
ここに、補間更新部１４３の出力信号をＳｉｊ’（ｉ,ｊ＝１，２，３，４）とし、ｋは定数である。これにより、動きのない場合の当該フィールドの画素信号は、過去の同一画素信号との加重加算効果によりランダム雑音が抑圧された信号となる。そして、補間更新部１４３は、記憶部１５（フレームメモリー）に蓄積されていたＭ１１〜Ｍ１４の画素信号をＳ１１’〜Ｓ１４’の画素信号で置き換えて更新することで、動きのない時間が長くなるほどランダム雑音の抑圧効果が得られるようなる。 Here, the output signal of the interpolation updating unit 143 is Sij ′ (i, j = 1, 2, 3, 4), and k is a constant. Thereby, the pixel signal of the field when there is no motion becomes a signal in which random noise is suppressed by the weighted addition effect with the same same pixel signal in the past. Then, the interpolation update unit 143 replaces and updates the pixel signals of M11 to M14 stored in the storage unit 15 (frame memory) with the pixel signals of S11 ′ to S14 ′, so that the time without movement becomes longer. A random noise suppression effect can be obtained.
一方、動き検出部１４２によって動きありと判定されたとき、補間更新部１４３は、当該撮像素子１１から読み出される上側ラインの画素信号（Ｓ１１〜Ｓ１４）と、この画素信号と下側ラインの画素信号（Ｓ５１〜Ｓ５４）のみを用いて欠落画素の画素信号を補間して生成した画素信号により、出力用画素ブロックを生成する。例えば、式（４）に示すように、補間更新部１４３は、当該動き判定用ブロック内の欠落画素の上下に位置する撮像素子１１により読み出された画素信号のみを用いて、欠落画素の画素信号を線形補間で内挿して補間する。そして、この場合の補間更新部１４３は、記憶部１５（フレームメモリー）に蓄積されていたＭ１１〜Ｍ４４の画素信号を式（４）に基づくＳ１１’〜Ｓ４４’の画素信号で置き換えて更新する。 On the other hand, when the motion detection unit 142 determines that there is a motion, the interpolation update unit 143 reads the pixel signal (S11 to S14) of the upper line read from the image sensor 11 and the pixel signal of the lower line and the pixel signal. An output pixel block is generated based on the pixel signal generated by interpolating the pixel signal of the missing pixel using only (S51 to S54). For example, as shown in Expression (4), the interpolation update unit 143 uses the pixel signals read by the image sensor 11 positioned above and below the missing pixel in the motion determination block, and uses the pixel signal of the missing pixel. Interpolate the signal by linear interpolation. In this case, the interpolation updating unit 143 replaces and updates the pixel signals of M11 to M44 stored in the storage unit 15 (frame memory) with the pixel signals of S11 'to S44' based on Expression (4).
各フィールドの動作は、ライン補間の対象となるラインが異なるだけで、第１フィールドの補間動作と同様である。これにより、動きが無い領域の画像は画素加算の効果によりランダム雑音が抑圧され、高フレームレート化時の感度低下を抑えることができ、特殊な撮像光学系も不要となる。 The operation of each field is the same as the interpolation operation of the first field, except that the lines to be subjected to line interpolation are different. As a result, random noise is suppressed by the effect of pixel addition in the image of the region where there is no movement, sensitivity reduction at the time of increasing the frame rate can be suppressed, and a special imaging optical system is also unnecessary.
以下、３板式カラーカメラと、単板式カラーカメラに適用した実施例として、それぞれより詳細な動作について説明する。 Hereinafter, more detailed operations will be described as examples applied to a three-plate color camera and a single-plate color camera.
（３板式カラーカメラの場合）
ここでは、３板式カラーカメラにおいてフレームレートを４倍で撮像する例を説明する。３板式カメラでは、各色Ｒ，Ｇ，Ｂ用に用いる３枚の撮像素子１１の素子自体は全てモノクロ用と同じであるため、３つの撮像素子１１は全て同じ方法で駆動・ライン補間を行うことができる。
(In the case of a three-plate color camera)
Here, an example will be described in which a three-plate color camera captures images at a frame rate of 4 times. In the three-plate camera, the elements themselves of the three image pickup elements 11 used for each color R, G, B are all the same as those for monochrome use, and therefore the three image pickup elements 11 are all driven and line-interpolated by the same method. Can do.
この撮像装置１の基本構成は図１に示すとおりの構成となる。フレームレートは４倍とするので、図２に示すように、４つのフィールドで１シーケンスを構成するように撮像素子１１を駆動する。これにより、図３に示すように、撮像素子１１の本来のフレームレートが６０Ｈｚの場合、本撮像装置のフレームレートは４倍の２４０Ｈｚとなる。 The basic configuration of the imaging apparatus 1 is as shown in FIG. Since the frame rate is four times, the image sensor 11 is driven so as to form one sequence with four fields as shown in FIG. As a result, as shown in FIG. 3, when the original frame rate of the image sensor 11 is 60 Hz, the frame rate of the image pickup apparatus is quadrupled to 240 Hz.
そして、欠落ライン補間部１４は、図４に示すフローチャートに従って、図５に例示したように、式（３）及び式（４）に基づいて、第１フィールドから第４フィールドの信号の画素補間を行う。 Then, according to the flowchart shown in FIG. 4, the missing line interpolation unit 14 performs pixel interpolation of the signals from the first field to the fourth field based on Expression (3) and Expression (4) as illustrated in FIG. 5. Do.
ところで、撮像素子１１の実際の欠落ラインの画素補間動作に関して、基本として、図６（ａ）に示すように、出力用画素ブロックのブロックサイズを「縦Ｋ画素×横Ｌ画素」とすると、動き判定用画素ブロックのブロックサイズは、「縦（Ｋ＋１）画素×横Ｌ画素」とする。例えば、Ｋ＝４，Ｌ＝４として、５×４画素の動き判定用画素ブロックとすることができる。 By the way, regarding the pixel interpolation operation of the actual missing line of the image sensor 11, basically, as shown in FIG. 6A, if the block size of the output pixel block is “vertical K pixels × horizontal L pixels”, the motion The block size of the determination pixel block is “vertical (K + 1) pixels × horizontal L pixels”. For example, if K = 4 and L = 4, a 5 × 4 pixel motion determination pixel block can be obtained.
ただし、撮像素子１１の実際の欠落ラインの画素補間動作としては、フレームの上端・下端以外の動き判定用画素ブロックは、５×４画素の動き判定用画素ブロックとすることができるが（図５参照）、フレームの上端又は下端では、フィールド別に動き判定用画素ブロックサイズを変更する（図６（ｂ）参照）。 However, as the pixel interpolation operation of the actual missing line of the image sensor 11, the motion determination pixel blocks other than the upper and lower ends of the frame can be made into 5 × 4 pixel motion determination pixel blocks (FIG. 5). (See FIG. 6B.) The motion determination pixel block size is changed for each field at the upper end or the lower end of the frame (see FIG. 6B).
そこで、図６（ｂ）を参照して、第１フィールドのフレームの上端から、実際の欠落ラインの画素補間動作を説明する。欠落ライン補間部１４は、まず、画像の局所的な動きを検出するために、ブロック生成部１４１により、撮像素子１１から得られるフィールドの画像をその内部の一時記憶メモリ（図示せず）で一時記憶して、所定のブロックサイズで分割し、動き判定用画素ブロックを生成する。本例では、３ラインの欠落画素を取り囲むようにブロックを設定するため、５×４画素のブロックサイズとする。この第１フィールドのフレームの上端の動き判定用画素ブロックは、前述したフレームの上端・下端以外の動き判定用画素ブロック（図５参照）と同様である。 Therefore, with reference to FIG. 6B, the actual pixel interpolation operation of the missing line will be described from the upper end of the frame of the first field. First, in order to detect local motion of the image, the missing line interpolation unit 14 temporarily stores the image of the field obtained from the image sensor 11 in the internal temporary storage memory (not shown) by the block generation unit 141. Store and divide by a predetermined block size to generate a pixel block for motion determination. In this example, since the block is set so as to surround the missing pixels of 3 lines, the block size is set to 5 × 4 pixels. The motion determination pixel block at the upper end of the frame of the first field is the same as the motion determination pixel block (see FIG. 5) other than the upper end and the lower end of the frame described above.
次に第２フィールドの上端の補間を考える。この場合の動き判定用画素ブロックは、６×４画素のブロックサイズとする。即ち、図５で示す補間処理を行う第１フィールドと同一の処理を実現するべく、少なくとも２ライン分の撮像素子１１から読み出されるラインが含まれるようにするためである。この場合のフレーム上端の第２フィールドでは、６×４画素の動き判定用画素ブロック内の１ライン目の画素が全て欠落画素信号となる（白抜きで示すＳ１１〜Ｓ１４）。 Next, consider interpolation at the upper end of the second field. In this case, the motion determination pixel block has a block size of 6 × 4 pixels. That is, in order to realize the same processing as the first field for performing the interpolation processing shown in FIG. 5, at least two lines read from the image sensor 11 are included. In the second field at the upper end of the frame in this case, all the pixels on the first line in the 6 × 4 pixel motion determination pixel block are missing pixel signals (S11 to S14 shown in white).
そこで、この第２フィールドの動き判定用画素ブロックについて、動きがある領域であるか否かの識別は、例えば、式（５）に示すように、撮像素子１１から読み出されたフィールドの動き判定用画素ブロックの各画素（Ｓ２１〜Ｓ２４及びＳ６１〜Ｓ６４）の画素値と、記憶部１５（フレームメモリー）に直前の第１シーケンスを経て蓄積された同一画素位置の画素ブロックの各画素（Ｍ２１〜Ｍ２４及びＭ６１〜Ｍ６４）の画素値との比較で、対応する画素位置の画素ごとの差分の絶対値の総和が一定値Ｃ以下であるか否かで判定することで、当該動き判定用画素ブロックが、動きがある領域であるか否かを識別することができる。 Therefore, for the pixel block for motion determination in the second field, whether or not the region is in motion is identified by, for example, determining the motion of the field read from the image sensor 11 as shown in Equation (5). The pixel values of the pixels (S21 to S24 and S61 to S64) of the pixel block for use, and the pixels (M21 to M21) of the same pixel position accumulated in the storage unit 15 (frame memory) through the immediately preceding first sequence M24 and M61 to M64) are compared with the pixel values to determine whether or not the sum of the absolute values of the differences for each pixel at the corresponding pixel position is equal to or less than a certain value C, whereby the motion determination pixel block Can be identified as to whether or not this is a region with motion.
動きが無い場合は、式（３）を基に記憶部１５（フレームメモリー）から得られる画素信号Ｍ２１〜Ｍ２４を式（６）の加重加算処理で得られる平均化した画素信号Ｓ２１’〜Ｓ２４’で置き換えて、５×４画素の出力画素ブロックを生成する。 When there is no movement, pixel signals M21 to M24 obtained from the storage unit 15 (frame memory) based on the equation (3) are averaged pixel signals S21 ′ to S24 ′ obtained by the weighted addition processing of the equation (6). To generate an output pixel block of 5 × 4 pixels.
一方、動きがある場合は、第２フィールド内の信号で補間する。Ｓ３ｊ〜Ｓ５ｊの信号は、例えば式（４）と同様に上下の信号から線形補間で内挿するとともに、１ライン目の信号であるＳ１ｊは、例えば式（７）により線形補間で外挿して５×４画素の出力画素ブロックを生成する。 On the other hand, if there is motion, interpolation is performed with the signal in the second field. The signals of S3j to S5j are interpolated from the upper and lower signals by linear interpolation, for example, similarly to the equation (4), and the signal S1j of the first line is extrapolated by linear interpolation by, for example, equation (7) to 5 An output pixel block of x4 pixels is generated.
第３フィールド、第４フィールドの補間も第２フィールドと同様にしてブロックサイズに応じた補間を行う。尚、フレームの上端より次段以降は、各フィールドで１ラインずつシフトさせながら、フレームの下端となる位置までは５×４画素の動き判定用画素ブロックとすることができる（図６（ｂ）の破線参照）。また、フレームの下端のラインについても、図６（ｂ）と同様に、フィールド別のブロックサイズとなる動き判定用画素ブロックを生成することで、端部側の欠落ラインの画素についてその動きの有無に応じた補間更新処理を行う。ただし、撮像素子１１の撮像するフレームサイズが、動画表示に利用するフレームサイズより上端・下端で大きい場合には、この上端・下端部分を除いてトリミングして出力すればよく、この場合には、全て５×４画素の動き判定用画素ブロックで処理しても実害がない。 Similarly to the second field, the third field and the fourth field are interpolated according to the block size. From the upper end of the frame, the next and subsequent stages are shifted by one line in each field, and a pixel block for motion determination of 5 × 4 pixels can be formed up to the position that becomes the lower end of the frame (FIG. 6B). (See dashed line). Similarly to FIG. 6B, the motion determination pixel block having the field-specific block size is generated for the lower end line of the frame, so that the presence or absence of the motion of the pixels on the missing line on the end side is determined. Interpolation update processing corresponding to is performed. However, if the frame size captured by the image sensor 11 is larger at the upper and lower ends than the frame size used for moving image display, it is only necessary to trim and output except for the upper and lower ends. There is no real harm even if processing is performed with all 5 × 4 pixel motion determination pixel blocks.
これにより、動きの少ない部分の雑音が抑圧された４倍のフレームレートの映像を生成できる。この方法は、動きのある領域の解像度が低下するが、実際の映像では動きぼやけによる解像度低下が生じるため、全体としては大きく解像感を損なうことなく高フレームレートの映像を生成可能となる。 As a result, it is possible to generate an image with a frame rate of four times in which noise in a portion with little motion is suppressed. In this method, the resolution of a region with motion is reduced, but in an actual video, the resolution is reduced due to motion blur. Therefore, as a whole, a video with a high frame rate can be generated without greatly impairing the sense of resolution.
（単板カラーカメラの場合）
例えばベイヤー配列を持つ単板カラーカメラの場合、図７に示すように、２×２画素単位でカラーフィルターが構成されている。一般的に３色（Ｃ１,Ｃ２,Ｃ３）のカラーフィルターがベイヤー配列と呼ばれる構造で並んでいる。一般的な原色フィルターの場合はＣ１＝Ｇ，Ｃ２＝Ｒ，Ｃ３＝Ｂである。ここでは、ベイヤー配列を構成する４画素を映像信号上の１画素信号として扱う場合について説明する。
(Single color camera)
For example, in the case of a single-plate color camera having a Bayer arrangement, as shown in FIG. 7, a color filter is configured in units of 2 × 2 pixels. Generally, three color (C1, C2, C3) color filters are arranged in a structure called a Bayer array. In the case of a general primary color filter, C1 = G, C2 = R, and C3 = B. Here, a case where four pixels constituting the Bayer array are handled as one pixel signal on the video signal will be described.
この撮像装置１の基本構成も図１に示すとおりの構成となる。フレームレートは４倍とするので、図２に示すように、４つのフィールドで１シーケンスを構成するように撮像素子１１を駆動する。これにより、図３に示すように、撮像素子１１の本来のフレームレートが６０Ｈｚの場合、本撮像装置のフレームレートは４倍の２４０Ｈｚとなる。 The basic configuration of the imaging apparatus 1 is also as shown in FIG. Since the frame rate is four times, the image sensor 11 is driven so as to form one sequence with four fields as shown in FIG. As a result, as shown in FIG. 3, when the original frame rate of the image sensor 11 is 60 Hz, the frame rate of the image pickup apparatus is quadrupled to 240 Hz.
そして、欠落ライン補間部１４は、図４に示すフローチャートに従って、図５に例示したように、式（３）及び式（４）に基づいて、第１フィールドから第４フィールドの信号の画素補間を行う。 Then, according to the flowchart shown in FIG. 4, the missing line interpolation unit 14 performs pixel interpolation of the signals from the first field to the fourth field based on Expression (3) and Expression (4) as illustrated in FIG. 5. Do.
ただし、撮像装置１は、カラーフィルターの配列に合わせて、図８のように第１フィールドは１，２，５，６,…，４Ｎ−３，４Ｎ−２，…のラインを読み出し、第２フィールドでは３，４，７，８,…，４Ｎ−１，４Ｎ，…のラインを読み出す。これにより、上下のラインを用いて補間する際に、ＲＧＢ各色すべての画素信号が揃った状態で各フィールドの画像を生成することができる。 However, the imaging device 1 reads out lines 1, 2, 5, 6,..., 4N-3, 4N-2,. In the field, lines 3, 4, 7, 8,..., 4N-1, 4N,. As a result, when interpolation is performed using the upper and lower lines, it is possible to generate an image of each field in a state where pixel signals of all RGB colors are aligned.
この場合も、欠落ライン補間部１４は、欠落ライン補間処理として上述とほぼ同様の手順で行うが、動きを判定するためのブロックサイズはカラーフィルターの配列に合わせて、例えば６×４画素単位のブロックサイズの動き判定用画素ブロックで動きを判定し、画素信号のない３，４ライン目の画素の補間を行うといった方法を用いる。フレームレート２倍の場合、その垂直方向は高々１画素分の画素補間となるため、垂直方向の解像度低下も最小限に抑えられ、非常に品質の高い倍速映像が得られるようになる。 Also in this case, the missing line interpolation unit 14 performs the missing line interpolation process in substantially the same procedure as described above, but the block size for determining the motion is, for example, in units of 6 × 4 pixels in accordance with the arrangement of the color filters. A method is used in which motion is determined using a block size motion determination pixel block, and pixels on the third and fourth lines having no pixel signal are interpolated. When the frame rate is double, the vertical direction is pixel interpolation for at most one pixel, so that the resolution in the vertical direction can be minimized and a high-quality double-speed video can be obtained.
また、フレームの上端・下端の欠落ライン補間処理も、図６（ｂ）に例示した場合と同様に、動き判定用画素ブロックをフィールドごとに可変とすればよい。 Also, the missing line interpolation processing at the upper and lower ends of the frame may be made variable for each field, as in the case illustrated in FIG. 6B.
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述した例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、図６（ｂ）に例示したような、フィールド別の動き判定用画素ブロックをシーケンス単位で繰り返すようにして、欠落ライン補間部１４の出力の後段側で、重複する画素信号を除去又は平均化するなどの処理を行う構成とすることもできる。また、上述した例では、撮像素子１１として電子シャッター付きのライン選択可能なＣＭＯＳエリアイメージセンサを想定して説明したものであるが、ラインイメージセンサの構造を複数列配列した構造とすればよいことから、ＣＣＤエリアイメージセンサでも実現でき、必ずしも電子シャッターにより蓄積時間制御を行う形態に限定する必要はない。さらに、記憶部１５に初期値（たとえば値として０）を与えておき、図４のＳ１の一時記憶動作をスキップして図４のＳ２〜Ｓ５の１シーケンス動作（特に第１フィールド）を行うと、初期値との比較から動き検出部１４２が全ブロックを動きのある領域であると判定するため、図４のＳ１に相当する記憶動作を省略することができる。 The present invention has been described above with reference to specific embodiments. However, the present invention is not limited to the above-described examples, and various modifications can be made without departing from the technical concept thereof. For example, as shown in FIG. 6B, the motion-determining pixel blocks for each field are repeated in sequence units, and redundant pixel signals are removed or averaged on the subsequent stage side of the output of the missing line interpolation unit 14. It is also possible to adopt a configuration for performing processing such as conversion. In the example described above, the image sensor 11 is described assuming a line-selectable CMOS area image sensor with an electronic shutter. However, the line image sensor may be structured in a plurality of rows. Therefore, the present invention can be realized by a CCD area image sensor, and is not necessarily limited to the form in which the accumulation time is controlled by the electronic shutter. Furthermore, when an initial value (for example, 0) is given to the storage unit 15 and the temporary storage operation of S1 in FIG. 4 is skipped, one sequence operation (especially the first field) of S2 to S5 in FIG. 4 is performed. Since the motion detection unit 142 determines that all blocks are areas with motion based on comparison with the initial value, the storage operation corresponding to S1 in FIG. 4 can be omitted.
本発明によれば、高品質の高フレームレート映像を撮像できるようになるので、動画撮像を可能とするカメラの用途に有用である。 According to the present invention, high quality and high frame rate video can be captured, which is useful for camera applications that enable moving image capture.
１ 撮像装置
１１ ライン選択型撮像素子
１２ 制御部
１３ 撮像素子駆動部
１４ 欠落ライン補間部
１５ 記憶部（フレームメモリー）
１４１ ブロック生成部
１４２ 動き検出部（比較回路）
１４３ 補間更新部
DESCRIPTION OF SYMBOLS 1 Imaging device 11 Line selection type image sensor 12 Control part 13 Image sensor drive part 14 Missing line interpolation part 15 Memory | storage part (frame memory)
141 Block generator 142 Motion detector (comparison circuit)
143 Interpolation update unit
Claims (5)
撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子と、
当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位で前記撮像素子の全ライン数を１／Ｎずつ間引いて読み出し、Ｎ回のフィールド単位の読み出しを１シーケンスとして当該全ラインの画素信号を読み出すよう前記撮像素子を制御する撮像素子駆動手段と、
当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力する欠落ライン補間手段と、
前記撮像素子の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する記憶手段とを備え、
前記欠落ライン補間手段は、前記撮像素子から読み出される複数ラインのフィールドの画素信号と、前記記憶手段に蓄積されていた同一画素位置の画素信号とをブロック単位で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、動きのある領域として識別した際には前記撮像素子から読み出される画素信号を用いて、動きの無い領域であるとして識別した際には、前記撮像素子から読み出される画素信号と、前記記憶手段に蓄積されていた画素信号と、を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、該出力用画素ブロックの画素信号を基に前記記憶手段に蓄積されていた画素信号を更新し、
前記欠落ライン補間手段は、前記識別結果として、
動きのある領域であるとして識別した際には、当該フィールドの欠落ラインの画素信号を該欠落ライン近傍の前記撮像素子から読み出される画素信号で補間した画素信号を生成するとともに、前記撮像素子から読み出される画素信号と当該補間した画素信号とを用いて前記出力用画素ブロックの画素信号を生成し、
動きのない領域であるとして識別した際には、前記撮像素子から読み出される画素信号と前記記憶手段に蓄積されていた同一画素位置の画素信号と一定の比率で混合した画素信号を生成するとともに、当該フィールドの欠落ラインの画素信号を前記記憶手段に蓄積されていた同一画素位置の画素信号から取得し、この取得した画素信号と当該混合した画素信号とを用いて前記出力用画素ブロックの画素信号を生成することを特徴とする撮像装置。 An image pickup apparatus that achieves a high frame rate by line thinning driving and thinning pixel interpolation of an image pickup device,
An image sensor capable of selectively reading out pixel signals of an arbitrary line in a frame to be imaged;
The frame to be imaged is read out by subtracting the total number of lines of the image sensor by 1 / N in a field unit divided into N (N is an integer of 2 or more) times. Image sensor driving means for controlling the image sensor to read out pixel signals of a line;
Missing line interpolation means for interpolating and outputting the pixel signal of the missing line in the field based on the pixel signal of the line read from the image sensor in the field unit;
Storage means that functions as a frame memory that updates the frame image corresponding to the pixel signals of all the lines of the image sensor in field units,
The missing line interpolation means is an area where there is movement by comparing pixel signals of a plurality of lines of fields read from the image sensor and pixel signals at the same pixel position accumulated in the storage means in block units. Whether or not and according to the identification result, when identified as a region with movement, using a pixel signal read from the imaging device, when identified as a region without motion, An output pixel block pixel signal adaptively interpolated using the pixel signal read from the image sensor and the pixel signal stored in the storage means is generated, and the pixel signal of the output pixel block is generated based on the pixel signal. To update the pixel signal stored in the storage means ,
The missing line interpolation means, as the identification result,
When it is identified that the region is in motion, a pixel signal is generated by interpolating the pixel signal of the missing line in the field with the pixel signal read from the imaging device in the vicinity of the missing line, and read out from the imaging device. A pixel signal of the output pixel block using the pixel signal to be interpolated and the interpolated pixel signal,
When identified as a region having no movement, a pixel signal mixed at a fixed ratio with a pixel signal read from the image sensor and a pixel signal at the same pixel position accumulated in the storage unit is generated, and The pixel signal of the missing line of the field is acquired from the pixel signal at the same pixel position accumulated in the storage means, and the pixel signal of the output pixel block is obtained using the acquired pixel signal and the mixed pixel signal An imaging device characterized by generating
撮像するフレームにおける任意のラインの画素信号を選択的に読み出し可能とする撮像素子と、
当該撮像するフレームをＮ（Ｎは２以上の整数）回に分けたフィールド単位で前記撮像素子の全ライン数を１／Ｎずつ間引いて読み出し、Ｎ回のフィールド単位の読み出しを１シーケンスとして当該全ラインの画素信号を読み出すよう前記撮像素子を制御する撮像素子駆動手段と、
当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力する欠落ライン補間手段と、
前記撮像素子の全ラインの画素信号に対応するフレーム画像をフィールド単位で更新するフレームメモリーとして機能する記憶手段とを備え、
前記欠落ライン補間手段は、前記撮像素子から読み出される複数ラインのフィールドの画素信号と、前記記憶手段に蓄積されていた同一画素位置の画素信号とをブロック単位で比較して動きがある領域であるか否かを識別し、この識別結果に応じて、動きのある領域として識別した際には前記撮像素子から読み出される画素信号を用いて、動きの無い領域であるとして識別した際には、前記撮像素子から読み出される画素信号と、前記記憶手段に蓄積されていた画素信号と、を用いて適応的に補間した出力用画素ブロックの画素信号を生成し、該出力用画素ブロックの画素信号を基に前記記憶手段に蓄積されていた画素信号を更新し、
前記欠落ライン補間手段により当該動きがある領域であるか否かの識別に用いる動き判定用画素ブロックは、前記出力用画素ブロックを構成する画素数よりも縦方向に大きいブロックサイズを有することを特徴とする撮像装置。 An image pickup apparatus that achieves a high frame rate by line thinning driving and thinning pixel interpolation of an image pickup device,
An image sensor capable of selectively reading out pixel signals of an arbitrary line in a frame to be imaged;
The frame to be imaged is read out by subtracting the total number of lines of the image sensor by 1 / N in a field unit divided into N (N is an integer of 2 or more) times. Image sensor driving means for controlling the image sensor to read out pixel signals of a line;
Missing line interpolation means for interpolating and outputting the pixel signal of the missing line in the field based on the pixel signal of the line read from the image sensor in the field unit;
Storage means that functions as a frame memory that updates the frame image corresponding to the pixel signals of all the lines of the image sensor in field units,
The missing line interpolation means is an area where there is movement by comparing pixel signals of a plurality of lines of fields read from the image sensor and pixel signals at the same pixel position accumulated in the storage means in block units. Whether or not and according to the identification result, when identified as a region with movement, using a pixel signal read from the imaging device, when identified as a region without motion, An output pixel block pixel signal adaptively interpolated using the pixel signal read from the image sensor and the pixel signal stored in the storage means is generated, and the pixel signal of the output pixel block is generated based on the pixel signal. To update the pixel signal stored in the storage means,
The pixel block for motion determination used for identifying whether or not the motion is a region by the missing line interpolation means has a block size larger in the vertical direction than the number of pixels constituting the output pixel block. An imaging device.
前記欠落ライン補間手段は、該間引き間隔に応じて当該フィールド単位で前記撮像素子から読み出したラインの画素信号を基に、当該フィールド内の欠落ラインの画素信号を補間して出力することを特徴とする、請求項１から４のいずれか一項に記載の撮像装置。 The image sensor driving means controls the image sensor so that the total number of lines of the image sensor is thinned by 1 / N at a thinning interval determined according to the type of the image sensor,
The missing line interpolating means interpolates and outputs the pixel signal of the missing line in the field based on the pixel signal of the line read from the image sensor in the field unit according to the thinning interval. The imaging device according to any one of claims 1 to 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015186401A JP6572074B2 (en) | 2015-09-24 | 2015-09-24 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015186401A JP6572074B2 (en) | 2015-09-24 | 2015-09-24 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017063260A JP2017063260A (en) | 2017-03-30 |
| JP6572074B2 true JP6572074B2 (en) | 2019-09-04 |
Family
ID=58429262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015186401A Active JP6572074B2 (en) | 2015-09-24 | 2015-09-24 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6572074B2 (en) |
-
2015
- 2015-09-24 JP JP2015186401A patent/JP6572074B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017063260A (en) | 2017-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9185308B2 (en) | Imaging apparatus and imaging method | |
| US8139123B2 (en) | Imaging device and video signal generating method employed in imaging device | |
| JP4638361B2 (en) | Imaging device | |
| JP5480175B2 (en) | Solid-state electronic imaging device and operation control method thereof | |
| JP2003116061A (en) | Imaging device | |
| US20150201138A1 (en) | Solid-state imaging device and camera system | |
| JP5683858B2 (en) | Imaging device | |
| JP2020053771A (en) | Image processing apparatus and imaging apparatus | |
| JP2008301360A (en) | Imaging apparatus, imaging method, and integrated circuit | |
| JP5829122B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
| JP4378599B2 (en) | Imaging apparatus and control method thereof | |
| JP4246244B2 (en) | Imaging device | |
| JP6572074B2 (en) | Imaging device | |
| JP4614925B2 (en) | Pixel information reading method and imaging apparatus | |
| JP2011166515A (en) | Imaging apparatus | |
| JP4844446B2 (en) | Imaging apparatus and imaging method | |
| JP2008035279A (en) | Pixel information reading method and imaging apparatus | |
| JP5398610B2 (en) | Solid-state electronic imaging device and operation control method thereof | |
| JP4945235B2 (en) | Image blur detection method, imaging apparatus, and image blur detection program | |
| JP6557568B2 (en) | Imaging device | |
| JP2014075644A (en) | Imaging element and driving method of the same | |
| JP5300606B2 (en) | Imaging apparatus and control method thereof | |
| JP2008277879A (en) | Imaging apparatus, imaging method, and integrated circuit | |
| JPH0686332A (en) | Compound eye imaging method | |
| JP2619039B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180730 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190701 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190716 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190809 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6572074 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |