JP4260769B2 - Image processing circuit - Google Patents
Image processing circuit Download PDFInfo
- Publication number
- JP4260769B2 JP4260769B2 JP2005135139A JP2005135139A JP4260769B2 JP 4260769 B2 JP4260769 B2 JP 4260769B2 JP 2005135139 A JP2005135139 A JP 2005135139A JP 2005135139 A JP2005135139 A JP 2005135139A JP 4260769 B2 JP4260769 B2 JP 4260769B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixel data
- processing
- processing unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 title claims description 277
- 238000012546 transfer Methods 0.000 claims description 96
- 230000015654 memory Effects 0.000 claims description 72
- 239000000872 buffer Substances 0.000 claims description 45
- 238000012805 post-processing Methods 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 22
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 9
- 230000001629 suppression Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000000750 progressive effect Effects 0.000 description 5
- 239000012556 adjustment buffer Substances 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000001444 catalytic combustion detection Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Description
本発明は、デジタルスチルカメラなどのデジタル撮影装置で撮像した画像データの画像処理回路に関する。 The present invention relates to an image processing circuit for image data captured by a digital photographing apparatus such as a digital still camera.
図26は、一般的なデジタルスチルカメラ100の構成を示す概略図である。図示するように、搭載されたCCDセンサやCMOSセンサなどの撮像素子105で撮像した原画像信号はデジタル画像信号にA/D変換された後に画像処理部106に取り込まれ、画素補間処理、色空間変換処理および輪郭強調処理などの種々の画像処理を施される。画像処理を施された画像データは液晶モニタ109などのファインダーに表示される。一般に、撮像素子105は、全画素を構成する奇数ラインのみからなる奇数フィールドと偶数ラインのみからなる偶数フィールドとから画像信号を時間的に異なるタイミングで読出すインターレース方式と、画像信号を各ラインから順次読出すプログレッシブ方式との何れかで駆動される。尚、図26において、符号101は光学レンズ、102は色補正フィルタ、103は光学LPF(ローパスフィルタ)、104は色フィルタアレイ、107は撮像素子105などを駆動制御する駆動部、111は外部機器と接続する外部インターフェースを示している。
FIG. 26 is a schematic diagram showing a configuration of a general
このようなデジタルスチルカメラ100の動作は次の通りである。最初、液晶モニタ109には、撮像素子105の全画素のうち所定の複数ラインを間引きして解像度を若干落とした画像信号が上記画像処理部106で画像処理を受けた後にファインダーを通して撮影者に対してビデオ表示される(ファインダー動作)。
The operation of the digital still
撮影者は液晶モニタ109で被写体画像を確認しつつ撮影ボタンを押すと、撮像素子105の全ラインからインターレース方式あるいはプログレッシブ方式で画素データが読み出される(全画素読出し動作)。その画素データはA/D変換され画像処理部106で画像処理された後、JPEG圧縮などを施された後に内蔵メモリ108やメモリカード110などの記憶媒体に格納される。このような全画素読出し動作を図27を参照して詳説すると、インターレース方式で駆動される撮像素子105から最初に読み出される第1フィールドの画素データ(CCDデータ)と次に読み出される第2フィールドの画素データとはそれぞれA/D変換された後に、一旦内蔵メモリ108に設けた原画像データバッファ108aに蓄積される(ステップ100)。次にハードウェアで構成されるリアルタイム・プロセッシング・ユニット(以下、RPUと呼ぶ。)120は、原画像データバッファ108aに格納した第1フィールドおよび第2フィールドの画素データを順次読み出し、画素補間処理、色空間変換処理および輪郭強調処理などの画像処理を実時間処理にて実行し、その処理データを処理データバッファ108bに出力し蓄積させる(ステップ101)。次に、CPU(中央制御部)121は処理データバッファ108bから処理データを読出し、一時記憶データバッファ108cを用いてJPEG(Joint Photographic Experts Group)圧縮などをソフトウェア処理にて施した後に上記メモリカードなどの記憶媒体122に格納する(ステップ102)。
When the photographer presses the shooting button while confirming the subject image on the
尚、撮像素子105がプログレッシブ方式で駆動される場合は、CCDデータを原画像データバッファ108aに一旦記憶すること無く、RPU120に直接出力して上記ステップ101〜102の処理を実行することができる。
When the image sensor 105 is driven in a progressive manner, the processing of steps 101 to 102 can be executed by directly outputting the CCD data to the
しかしながら、従来、撮像素子105の駆動クロックの周波数はRPU120の駆動クロック周波数の最大値を超えない範囲で一定値に低く抑えられているため、ファインダー表示のフレームレートが小さいという問題があった。すなわち、上記ファインダー動作時には撮像素子105から間引きされた低解像度のCCDデータが出力されるからRPU120の負荷は小さく、上記全画素読出し時には撮像素子105の全ラインから高解像度のCCDデータが出力されるからRPU120の負荷はおよそ2倍以上大きくなる。しかし、撮像素子105の駆動クロック周波数は、全画素読出し動作時およびファインダー動作時の両期間を通じてRPU120に許容される最大駆動クロック周波数を超えない範囲で一定値に抑えられているため、ファインダー表示のフレームレートが小さくなり、ファインダーに表示されるビデオ画像の画質が低下してしまう。
However, conventionally, since the frequency of the drive clock of the image sensor 105 has been kept low to a constant value within a range not exceeding the maximum value of the drive clock frequency of the
また全画素読出し動作時においては、撮像素子からの画素データの転送速度が画素転送クロックによって規定される。そして画素の補間処理を行うと、画素転送クロックの一周期ごとに、2画素分の画素データが得られる。しかし画素転送クロックをそのままガンマ補正処理や色空間変換処理、輪郭強調処理などの後処理に採用すると、画素転送クロックの1周期の間で2画素に対してこれらの後処理をしなければならないという問題がある。 In the all-pixel reading operation, the transfer rate of pixel data from the image sensor is defined by the pixel transfer clock. When pixel interpolation processing is performed, pixel data for two pixels is obtained for each period of the pixel transfer clock. However, if the pixel transfer clock is used as it is for post-processing such as gamma correction processing, color space conversion processing, and contour enhancement processing, these post-processing must be performed on two pixels during one cycle of the pixel transfer clock. There's a problem.
以上の問題に鑑みて本発明が解決しようとするところは、実時間での画像処理を確実に実行して画像処理の信頼性を高め得る画像処理回路を提供する点にある。 In view of the above problems, an object of the present invention is to provide an image processing circuit that can reliably execute image processing in real time to improve the reliability of image processing.
上記課題を解決するため、本発明は、色フィルタアレイを有する撮像センサと、前記撮像センサから読出した画素データに対して実時間の画素補間処理であって、複数の画素の画素データを用いて、前記複数の画素に囲まれた画素における欠落した色成分の画素データの画素補間を実行し前記画素データの転送速度を規定する画素転送クロックの1周期毎に複数ラインの補間画素データを出力する画素補間処理部と、前記補間画素データに対してさらに実時間の画像処理を実行する後処理部とを有する画像処理部と、を備え、前記後処理部で前記画素データの処理速度を規定する画素処理クロックの周波数を、前記画素転送クロックの周波数の2倍以上の値に設定することを第1の特徴とするものである。 In order to solve the above-described problems, the present invention provides an imaging sensor having a color filter array and pixel interpolation processing in real time for pixel data read from the imaging sensor , using pixel data of a plurality of pixels. , Executing pixel interpolation of pixel data of missing color components in pixels surrounded by the plurality of pixels, and outputting interpolated pixel data of a plurality of lines for each period of a pixel transfer clock that defines a transfer speed of the pixel data. An image processing unit including a pixel interpolation processing unit and a post-processing unit that further performs real-time image processing on the interpolated pixel data, and the post-processing unit defines a processing speed of the pixel data The first characteristic is that the frequency of the pixel processing clock is set to a value that is twice or more the frequency of the pixel transfer clock.
そして請求項1に係る発明は、第1の特徴に加え、前記画素転送クロックの1周期毎に前記画素補間処理部から出力される複数ラインの画素データを多重化して1本の出力線から出力する多重化部と、該多重化部から出力された画素データを格納するバッファ部と、をさらに備え、前記後処理部は、前記バッファ部に格納された画素データをライン順次に読出して画像処理を実行する、ことを特徴とするものである。 In addition to the first feature , the invention according to claim 1 multiplexes pixel data of a plurality of lines output from the pixel interpolation processing unit for each period of the pixel transfer clock and outputs the multiplexed data from one output line. And a buffer unit for storing the pixel data output from the multiplexing unit, and the post-processing unit reads the pixel data stored in the buffer unit in a line-sequential manner to perform image processing. Is executed.
また請求項2に係る発明は、請求項1記載の画像処理回路であって、前記画素補間処理部から前記バッファ部への画素データの直接転送を制御するDMA(ダイレクト・メモリ・アクセス)コントローラをさらに備えるものである。
The invention according to claim 2 is the image processing circuit according to
また請求項3に係る発明は、第1の特徴に加え、前記画素転送クロックの1周期毎に前記画素補間処理部から出力される複数ラインの画素データを格納するバッファ部と、前記画素データをライン順次に前記バッファ部に転送するようにチャンネル制御するDMA(ダイレクト・メモリ・アクセス)コントローラと、をさらに備えるものである。 According to a third aspect of the invention, in addition to the first feature, a buffer unit for storing pixel data of a plurality of lines output from the pixel interpolation processing unit for each period of the pixel transfer clock, and the pixel data And a DMA (direct memory access) controller for controlling the channel so as to transfer the data sequentially to the buffer unit.
また請求項4に係る発明は、第1の特徴に加え、前記画像処理部は、前記画素補間処理部から出力される複数ラインの画素データをライン毎に格納する第1記憶部と、前記後処理部が前記第1記憶部に格納した画素データをライン順次に読出す間、前記画素補間処理部から出力される画素データをライン毎に格納する第2記憶部と、をさらに備え、前記後処理部が前記第2記憶部に格納した画素データをライン順次に読出す間、前記第1記憶部が、前記画素補間処理部から出力される画素データをライン毎に格納するものである。 According to a fourth aspect of the invention, in addition to the first feature, the image processing unit includes: a first storage unit that stores pixel data of a plurality of lines output from the pixel interpolation processing unit for each line; A second storage unit that stores the pixel data output from the pixel interpolation processing unit for each line while the processing unit reads out the pixel data stored in the first storage unit in a line-sequential manner; While the processing unit reads out the pixel data stored in the second storage unit sequentially in a line, the first storage unit stores the pixel data output from the pixel interpolation processing unit for each line.
本願に係る画像処理回路によれば、上記後処理部の処理レートを画素補間処理部の処理レート以上にできることから、画像処理部における実時間の画像処理を確実に且つ高い信頼性をもって実行することが可能となる。 According to the image processing circuit according to the present application , since the processing rate of the post-processing unit can be equal to or higher than the processing rate of the pixel interpolation processing unit, real-time image processing in the image processing unit can be executed reliably and with high reliability. Is possible.
特に請求項1に係る画像処理回路によれば、上記後処理部は、ライン順次に並べ換えされた画素データを順次処理できるため、上記画像処理部における実時間の画像処理を確実に実行することが可能となる。 In particular , according to the image processing circuit of the first aspect , since the post-processing unit can sequentially process the pixel data rearranged in line order, the real-time image processing in the image processing unit can be reliably executed. It becomes possible.
また請求項2に係る画像処理回路によれば、上記画素補間処理部からバッファ部へのデータ転送を効率良く且つ高速に実行することで、上記後処理部における実時間の画像処理を確実に実行することが可能となる。 According to the image processing circuit of claim 2 , the real-time image processing in the post-processing unit is surely executed by executing the data transfer from the pixel interpolation processing unit to the buffer unit efficiently and at high speed. It becomes possible to do.
また請求項3に係る画像処理回路によれば、DMAコントローラのチャンネル制御により上記画素補間処理部にライン順次に画素データが格納されるため、上記後処理部はその画素データを読み出してライン順次に画像処理を実行することが可能となる。 According to the image processing circuit of the third aspect , since the pixel data is stored in the pixel interpolation processing unit in line sequence by the channel control of the DMA controller, the post-processing unit reads out the pixel data and performs line sequential processing. Image processing can be executed.
そして請求項4に係る画像処理回路によれば、上記画素補間処理部から出力される複数ラインの画素データをライン順次に並べ換えて上記後処理部に出力でき、後処理部はその画素データをライン順次に処理できるから、実時間の画像処理を確実に実行することが可能となる。 According to the image processing circuit of the fourth aspect , the pixel data of a plurality of lines output from the pixel interpolation processing unit can be sequentially rearranged and output to the post-processing unit, and the post-processing unit outputs the pixel data to the line Since processing can be performed sequentially, real-time image processing can be reliably executed.
図1は、本発明の実施の形態に係るデジタルスチルカメラ1の全体構成を示す概略図である。このデジタルスチルカメラ1は、AF(オートフォーカス)機能や自動絞り機能などを備えた光学機構11を備えており、この光学機構11を通じて被写体画像がCCD(電荷結合素子)センサ12で撮像される。このとき必要に応じて撮影タイミングに同期され光量を調節された光をストロボ30から発して被写体に照射してもよい。撮像した被写体の原画像データはアナログ信号処理回路13に取り込まれデジタル画像信号にA/D変換される。そのデジタル画像信号はリアルタイム・プロセッシング・ユニット(以下、RPUと略す。)14において画素補間処理、色空間変換処理、輪郭補正処理およびフィルタリングなどの所定の画像処理を実時間処理(リアルタイム処理)にて施される。画像処理を受けた画像信号はファインダーとして機能するLCD23で表示されたり、またはCPU17にてJPEG圧縮処理などのソフトウェア処理を受けた後に、メインバス10を通してメモリカード27に転送して格納されたり、外部インターフェース(I/F)28を通じてパーソナルコンピュータなどの外部機器に出力される。尚、DRAM(Dynamic Random Access Memory)やSDRAM(Synchronous DRAM)、RDRAM(Rambus DRAM)などからなる主メモリ26には、後に詳述するようにRPU14で処理したデータを一時的に格納するバッファ領域や、CPU17でソフトウェア処理を実行する際に一時的に利用されるバッファ領域などが設けられている。
FIG. 1 is a schematic diagram showing an overall configuration of a
尚、図1において、符号15はCCDセンサ12を駆動するCCD駆動回路、16はRPU14およびCCD駆動回路15などの動作タイミングを規律するタイミングジェネレータ、18はPLL発振回路、19はCPU17の補助演算装置(コプロセッサ)を示し、また符号20はディスプレイモジュール、21はデジタルエンコーダ21、22はLCD23を駆動するLCD駆動回路を示している。またクロックジェネレータ29は、PLL発信回路18から供給されるクロック信号を分周することで、RPU14、タイミングジェネレータ16、CPU17およびデジタルエンコーダ21などの全モジュールの駆動クロックを生成する。
In FIG. 1,
また、主メモリ26、外部インターフェース28およびメモリカード27は、DMA(ダイレクトメモリアクセス)コントローラ24やJPEG処理部25と共にメインバス10を介して相互にバス接続されており、これら各モジュール間のデータ転送は、DMAコントローラ24の制御によりCPU17を介さずにメインバス10を通じて直接実行することが可能である。これによりCPU17の負荷が軽減すると共に、主メモリ26の記憶領域を効率的に利用することが可能となる。
The
またファインダー動作時、すなわち被写体画像をLCD(ファインダー)23で表示する時は、CCD駆動回路15によりCCDセンサ12は、ファインダーの解像度に合わせて所定のラインを間引いた複数ラインの画像信号を出力するよう駆動される。この間引いたCCDデータはアナログ信号処理回路13でA/D変換されRPU14で画像処理を受けた後に、メインバス10を介してディスプレイモジュール20に転送される。ディスプレイモジュール20に出力された画像データはデジタルエンコーダ21およびLCD駆動回路22によりLCD23にてビデオ表示される。このようにして撮影者はLCD23に表示された被写体画像を確認しつつ、被写体の構図や適正露出などを調節することができる。
When the viewfinder is operated, that is, when the subject image is displayed on the LCD (finder) 23, the
そして撮影者が撮影ボタンを押すなどして撮影指令が発せられると、全画素読出し動作に処理が移行し、CPU17の制御により前記ファインダー動作が解除されると同時にクロックジェネレータ29はタイミングジェネレータ16の駆動パルスを変更する。次にCCD駆動回路15によりCCDセンサ12は全画素の信号電荷を出力するように駆動される。CCDセンサ12から読み出された画像信号は、後述するようにRPU14で実時間の画像処理を施された後に圧縮され、カードインターフェース27Aを通じてメモリカード27などの記憶媒体に格納されたり、外部インターフェース28を通じてパーソナル・コンピュータなどの外部機器に出力されたりする。
When the photographer issues a shooting command by pressing the shooting button or the like, the process proceeds to the all-pixel reading operation, and at the same time as the finder operation is canceled under the control of the
前記CCDセンサ12は既存のものでよく、一般的には電荷蓄積部と電荷転送部とを内部に備えており、上記全画素読出し動作時には感光部を構成する奇数ラインのみからなる奇数フィールドと偶数ラインのみからなる偶数フィールドとからそれぞれ画像信号を時間的に異なるタイミングで読出すインターレース(飛び越し走査)方式で駆動され、上記ファインダー動作時には所定のラインを間引いた複数ラインから画像信号を順次読出す間引きプログレッシブ方式で駆動される。本実施の形態では撮像センサとしてCCDセンサ12を採用しているが、本発明ではこれに限らずCMOSセンサでもよい。
The
また前記RPU14は、図2に示すように、デジタル画像信号を画素単位で処理する単一画素処理部(Single Pixel Processing Block)14aと、後に詳述する画素補間を実行する画素補間処理部(Pixel Interpolation Processing Block)14b、ガンマ特性を補正(ガンマ補正)するガンマ処理部(Gamma Processing Block)14cと、色空間変換・色抑圧処理部(Color Space Conversion & False Color Suppression Block)14dと、空間フィルタ・コアリング処理部(Spatial Filter & Coring Block)14eと、これら各部14a〜14eで処理した画像データをメインバス10に出力する出力部(Resizing Block)14fとを備えている。尚、前記RPU14で実行できない画像処理はCPU17でソフトウェアを用いて実行される。これにより、全ての画像処理をCPU17でソフトウェア処理する場合と比べると、数倍乃至数十倍の処理速度の向上が可能となり、またCPU17の処理負担が軽減するため消費電力を低減することが可能となる。
Further, as shown in FIG. 2, the
実施の形態1.
図3,4は、以上の構成を有するデジタルスチルカメラ1において、実施の形態1に係る画像信号処理の流れを示す概略構成図である。図3は、ファインダー動作時の画像信号処理の流れを示す図、図4は、全画素読出し動作時の画像信号処理の流れを示す図である。また図5は、ファインダー動作時の各種データの信号波形を示す概略図、図6は、全画素読出し動作時の各種データの信号波形を示す概略図である。
3 and 4 are schematic configuration diagrams showing a flow of image signal processing according to the first embodiment in the digital
本実施の形態1においては、上記ファインダー動作時においてCCDセンサ12を駆動し画素データの転送速度を規定する画素転送クロックの周波数は、上記全画素読出し動作時の画素転送クロックの周波数よりも高い値に設定されることが特徴である。ファインダー動作時のCCDセンサ12は、図5に示すような信号波形をもつ画素転送クロックで駆動され、上述したようにファインダー(LCD23)の解像度に合わせて所定の水平ラインを間引いた複数ラインから画素データを出力するように制御される。図3に示すようにこのファインダー動作期間には、CCDセンサ12に高速な画素転送クロックが働く。間引きされたCCDデータは上記アナログ信号処理回路13でA/D変換された後にRPU14に入力し、画素補間処理や色空間変換処理、輪郭強調処理などの画像処理を実時間処理にて施された後、主メモリ26に転送され処理データバッファ26aに一時的に格納される(ステップ1)。このとき、図5に示すように主メモリ26からRPU14へ入力するデータ信号は無く、また図5に示すような画像処理後の「R(赤色成分)」,「G(緑色成分)」,「B(青色成分)」の各データ信号がRPU14から主メモリ26に出力される。
In the first embodiment, the frequency of the pixel transfer clock that drives the
次に、処理データバッファ26aに格納された画像データはメインバス10を介してディスプレイモジュール20に読み出され、ファインダー機能を有するLCD23に表示される(ステップ2)。RPU14で画像処理したデータを一旦処理データバッファ26aに格納する理由は、CCDセンサ12からの読出しレートとディスプレイモジュール20の読出しレートとが異なるためである。
Next, the image data stored in the
次に、上記全画素読出し動作時に処理が移行すると、図4に示すようにCCDセンサ12に低速な画素転送クロックが働く。CPU17はクロックジェネレータ29を制御してCCDセンサ12のファインダー動作を解除させ、CCDセンサ12の画素転送クロック周波数をRPU14の処理クロック周波数の最大値以下になるように切り換え、CCDセンサ12の全画素をインターレース方式で読出すように制御させる。図4に示すように、CCDセンサ12から最初に読み出される第1フィールド(偶数フィールドおよび奇数フィールドの何れか一方)の画素データは、アナログ信号処理回路13でA/D変換された後に主メモリ26に設けた原画像データバッファ26bに転送され一時的に格納される(ステップ10)。
Next, when the processing shifts during the all-pixel reading operation, a low-speed pixel transfer clock acts on the
次にCCDセンサ12から読み出される第2フィールドの画素データは、アナログ信号処理回路13でA/D変換された後にRPU14に順次入力する。この時、RPU14はその第2フィールドの読出しと同期させて前記原画像データバッファ26bに一時格納した第1フィールドを読み出し、第1フィールドおよび第2フィールドの双方の画素データに対して画像処理を実行する。その処理データはメインバス10を介して主メモリ26に設けた処理データバッファ26aに転送され格納される(ステップ11)。
Next, the pixel data of the second field read from the
尚、上記ステップ10,11において、原画像データバッファ26bとRPU14間およびRPU14と処理データバッファ26a間のデータ転送は、DMAコントローラ24の制御によりCPU17を介さず直接行われることが望ましい。これによりCPU17の負荷を軽減でき、データの処理速度を高めることが可能となる。
In
上記RPU14における画像処理は次の通りである。上記単一画素処理部14aは、デジタル画像信号の画素毎に乗算および加算の一方または双方の演算を行うことで、複数フレーム間における経時的平均化処理と、単一フレーム内でのシェーディング補正処理との何れか一方を選択的に行うブロックである。一般に、CCDセンサ12で被写体などを撮影するときに、光学機構11で使用するレンズの光学的性質に起因して中心位置と較べてその周辺光量が低下する現象はシェーディングと呼ばれている。前記シェーディング補正処理では、そのシェーディングを緩和するために各画素における輝度値などのゲイン調整が実行される。
Image processing in the
また画素補間処理部14bおよびガンマ処理部14cは、一旦主メモリ26に格納した画像データをDMAコントローラ24の制御によりメインバス10を介して取り込むことができる。尚、RPU14の初段の単一画素処理部14aだけでなく、画素補間処理部14bおよびガンマ処理部14cにもメインバス10を介して画像データを直接入力できるから、CPU17で画像処理を施した画像データを単一画素処理部14aを経由させずに、直接、画素補間処理部14bおよびガンマ処理部14cに入力させて処理することができる。
The pixel
また色空間変換・色抑圧処理部14dは、原信号がカラー画像信号の場合にRGBの3色系や4色系(YMCG系など)で表現される画像データを他の色空間座標系に変換する色空間変換機能と、画像中の明部と暗部の色抑圧(クロマサプレス;偽色防止)を行う色抑圧機能とを備えている。色空間変換機能で使用される変換先の座標系には、NTSC(National Television System Commitee)方式などで採用されているYUV座標系、YIQ座標系、YCbCr座標系などを使用すればよい。例えば、色成分変換にYCbCr座標系を使用した場合、そのRGB成分は輝度信号Yと2つの色差信号Cb,CrとからなるYCbCr成分の座標系へと変換される。YCbCr成分はRGB成分よりも各成分間の相関が小さいため、画像サイズを圧縮することが可能となる。
Further, the color space conversion / color
一般に画像に現れる暗部は様々なノイズの影響を受けやすい性質をもつため、暗部ではできるだけ発色を抑制することが自然な画質を出力することにつながる。一方、画像に現れる明部は当該明部を撮像した撮像素子やその他の種々のハードウェア部品の特性に応じて変調がかかり易い部分であり、ホワイトバランスが狂い易い部分であるため、出来るだけ発色を抑圧することが自然な画質を出力することにつながる。これらを考慮して前記色抑圧機能では画像に現れる明部および暗部の発色が抑圧される。 In general, since dark portions appearing in an image are easily affected by various noises, suppressing color development in dark portions as much as possible leads to output of natural image quality. On the other hand, the bright part that appears in the image is a part that is likely to be modulated according to the characteristics of the image sensor that picked up the bright part and other various hardware components, and is a part that tends to get out of white balance. Suppresses the output of natural image quality. In consideration of these, the color suppression function suppresses the color development in the bright and dark areas appearing in the image.
さらに空間フィルタ・コアリング処理部14eで処理された画像信号は出力部14fを通じてメインバス10に出力され、一旦処理データバッファ26aに格納される。次に処理データバッファ26aに格納した処理データはCPU17に転送される。CPU17は、主メモリ26に設けた一時記憶データバッファ26cを利用し、処理データバッファ26aから転送された画像データに対してJPEG圧縮などのソフトウェア処理を施した後に、上記メモリカード27や外部インターフェース28を介して接続された外部機器の記憶媒体31に転送し格納させる(ステップ12)。
Further, the image signal processed by the spatial filter /
このように本実施の形態1に係るデジタルスチルカメラ1は、ファインダー動作時の画素転送クロックの周波数をRPU14の最大クロック周波数と同程度に高くして画素転送クロックを高速に設定し、全画素読出し動作時には画素転送クロック周波数をファインダー動作時のそれよりも小さい値に切り換えて設定している。従来は図7の説明図に例示されるように、ファインダー動作期間すなわち間引き動作期間および全画素読出し期間を通して、画素転送クロック周波数はRPU14などのハードウェアの最大クロック周波数(100MHz)を超えない範囲で一定値(50MHz)に設定されていた。よって、RPU14は、ファインダー動作期間中、その画素転送クロック周波数で読み出されたデータを処理クロック周波数50MHzで処理し、他方、全画素読出し期間中、第1フィールドの画素データの読出し時、当該画素データは主メモリに転送され格納されるからRPU14の処理クロックは0MHzであり、第2フィールドの画素データの読出し時には、RPU14は処理クロック周波数100MHzで当該第1フィールドと第2フィールドとを合わせた画素データを処理していた。しかしながら、これでは上述したようにファインダー表示のフレームレートが低いという問題がある。
As described above, the digital
これに対して本実施の形態1では、図8の説明図に例示するように、ファインダー動作期間中の画素転送クロック周波数は、RPU14などのハードウェアを駆動する最大クロック周波数100MHzに設定され、他方で全画素読出し期間中は図7に示した従来例と同じ画素転送クロック周波数と処理クロック周波数とが設定されており、画素転送クロック周波数はファインダー動作期間と全画素読出し期間との間で切り換えられる。このようにファインダー動作期間中、RPU14の駆動クロック周波数の最大値に画素転送クロック周波数を設定し、ファインダー表示のフレームレートを高めることが可能となる。
On the other hand, in the first embodiment, as illustrated in the explanatory diagram of FIG. 8, the pixel transfer clock frequency during the finder operation period is set to a maximum clock frequency of 100 MHz for driving hardware such as the
実施の形態2.
次に、本発明の実施の形態2について説明する。CCDセンサ12の画素上に配列される色フィルタアレイには各種あるが、例えばベイヤー方式の原色系色フィルタアレイの基本形は、図9に示すように各画素上に色フィルタを「R(赤色成分)」,「G(緑色成分)」,「R」,「G」,…の順序で配列した奇数ラインと、色フィルタを「G(緑色成分)」,「B(青色成分)」,「G」,「B」,…の順序で配列した偶数ラインとを垂直方向に亘り交互に配列したものである。太線枠33aで囲まれる2×2=4画素(ピクセル)の「R」,「G」,「G」,「B」で1組の色が表現されている。また図示しないが補色タイプ(YMCG系またはYMCK系)の色フィルタアレイも存在する。YMCG系色フィルタアレイとしては、色フィルタを「C(シアン色成分)」,「M(マゼンダ色成分)」,「C」,「M」,…の順序で配列した奇数ラインと、色フィルタを「Y(イエロー色成分)」,「G(緑色成分)」,「Y」,「G」,…の順序で配列した偶数ラインとを垂直方向に亘り交互に配列したものがある。
Embodiment 2. FIG.
Next, a second embodiment of the present invention will be described. There are various types of color filter arrays arranged on the pixels of the
図10に示すようにこのような色フィルタアレイを有するCCDセンサ12から出力された画素データは、RPU14の画素補間処理部14bに設けたラインメモリ41A,41B,…,41Eの各ブロックにライン毎に順次格納される。これらラインメモリ41A〜41Eに格納され太線枠40で囲まれる5×5=25画素の画素データに対して画素補間ユニット(図示せず)を適用することで中央ブロックP22における画素補間値が算出される。上記ベイヤー方式の原色系色フィルタおよびYMCG系色フィルタアレイの場合、画素補間ユニットを適用するブロックP00〜P44のうちブロックP22に格納した画素データと同じ色成分をもつ画素データは、ハッチングを施されたP00,P02,P04,P20,P24,P40,P42,P44を付したブロックに格納されている。例えば、ブロックP02,P42に対応する画素を通るラインが存在した場合、両ブロックP02,P42に格納した画素データの平均値または中間値を算出し画素補間値としてブロックP22に格納できる。またブロックP20,P24を通るライン、ブロックP00,P44を通るライン、およびブロックP04,P40を通るラインがそれぞれ存在した場合も前述と同様に画素補間値を算出できる。
As shown in FIG. 10, the pixel data output from the
また図10に示したように5×5画素に画素補間ユニットを適用する代わりに、図11に例示するように上記画素補間処理部14bに3本のラインメモリ41A,41B,41Cを設け、これらラインメモリのブロックP00〜P22に格納され太線枠43で囲まれる3×3=9画素データに対して画素補間ユニット(図示せず)を適用してもよい。これらラインメモリ41A〜41Cに、図9に示した原色系色フィルタアレイもしくは上記YMCG系色フィルタアレイを有するCCDセンサから画素データが入力した場合、中央ブロックP11に対して斜め四方のブロックP00,P02,P20,P22に格納された画素データは同じ色成分となる。例えば、中央ブロックP11に格納した画素データの色成分が「B」の場合は、その斜め四方のブロックP00,P02,P20,P22に格納した画素データの色成分は全て「R」となる。その斜め四方のブロックP00,P02,P20,P22に格納した画素データの平均値または中間値を画素補間値として中央ブロックP11に格納することができる。
Further, instead of applying a pixel interpolation unit to 5 × 5 pixels as shown in FIG. 10, three
実際には、画素補間処理部14bには図10,11に示したような各種画素補間ユニットが複数組み込まれており、画素補間ユニットはRPU14を駆動するドライバ回路やドライバ・ソフトウェアなどの設定により適宜選択されるように構成されている。
Actually, a plurality of various pixel interpolation units as shown in FIGS. 10 and 11 are incorporated in the pixel
本実施の形態2では、上記ファインダー動作期間中、ファインダー(LCD23)の解像度に合わせて所定の水平ラインを間引いた複数ラインの画素データがCCDセンサ12から出力される。その画素データは、図12に例示するようにRPU14の画素補間処理部14bに設けたラインメモリ41A,41B,41C,…41Eにライン毎に順次格納される。このようなラインメモリに格納した5×5画素(=25画素)の画素データに対して上記画素補間ユニットを適用することで中央ブロックの画素データの補間値が算出される。
In the second embodiment, during the finder operation period, a plurality of lines of pixel data obtained by thinning a predetermined horizontal line in accordance with the resolution of the finder (LCD 23) is output from the
他方、上記全画素読出し期間中、図4に示すようにCCDセンサ12は上記偶数フィールドおよび奇数フィールドのうち一方の第1フィールドを出力し、この第1フィールドは主メモリ26に設けた原画像データバッファ26bに一時的に格納される(ステップ10)。次に、CCDセンサ12から読出した第2フィールドと、この第2フィールドの読出しと同期して原画像データバッファ26bから読み出される第1フィールドとを、図13(a)に例示するようにRPU14に設けたラインメモリ41A〜41Fに一時的に記憶する。図示するラインメモリ41Aに第2フィールドの画素データがバッファリングされている場合、ラインメモリ41C,41Eには先に読出した第2フィールドの画素データがバッファリングされ、ラインメモリ41B,41D,41Fには第1フィールドの画素データがバッファリングされる。
On the other hand, during the all-pixel readout period, as shown in FIG. 4, the
本実施の形態2では、画素転送クロックの1読出し周期(T)のうち半周期(T/2)には、図13(a)に示すように画素補間ユニットをラインメモリ41A〜41Eの太線枠40で囲まれたブロックに適用し、残る半周期(T/2)には、図13(b)に示すように垂直方向に1段ずれたラインメモリ41B〜41Fの太線枠40で囲まれたブロックに適用することが特徴である。これにより垂直方向の上下2ラインのラインメモリ41C,41Dの画素データに対して時分割で画素補間処理を実行でき、1読出し周期(T)に2画素の補間値を効率良く算出することが可能となる。このとき、図6に示すように、1読出し周期(T)に上ラインと下ラインの画素補間後の「R」,「G」,「B」のデータ信号を生成できる。このように、RPU14の処理速度が十分に速い場合には時分割で画素補間ユニットを共用できるから、回路構成を削減し、装置の省電力化と低コスト化を図ることが可能となる。
In the second embodiment, in one half period (T / 2) of one readout period (T) of the pixel transfer clock, the pixel interpolation unit is replaced with a thick line frame of the
尚、本実施の形態2では5×5画素の画素データに対して上記画素補間ユニットを適用したが、この代わりに3×3画素の画素データに対して上記画素補間ユニットを適用してもよい。 In the second embodiment, the pixel interpolation unit is applied to pixel data of 5 × 5 pixels. However, the pixel interpolation unit may be applied to pixel data of 3 × 3 pixels instead. .
また上記実施の形態1に係る画像処理回路に本実施の形態2を適用した場合、ファインダー動作期間中、画素転送クロックが高速に設定され、全画素読出し期間中は画素転送クロックが低速に設定されることから、時分割処理が容易となり画素補間処理を効率的に行うことが可能となる。また全画素読出し動作時、画素転送クロックの読出し周期毎に、第1フィールドの画素データと第2フィールドの画素データとが同期してRPU14に入力するが、その読出し周期毎に両フィールドの画素データを一括して画素補間処理することが可能となる。
Further, when the second embodiment is applied to the image processing circuit according to the first embodiment, the pixel transfer clock is set to a high speed during the finder operation period, and the pixel transfer clock is set to a low speed during the entire pixel reading period. Therefore, time division processing is facilitated, and pixel interpolation processing can be performed efficiently. In the all-pixel readout operation, the pixel data of the first field and the pixel data of the second field are input to the
実施の形態3.
次に、本発明の実施の形態3に係る画像処理回路について説明する。上記実施の形態2に係る画像処理方法ではRPU14の処理速度が高速である場合には実効が現れ易いが、RPU14の処理速度が低速である場合には実効が上がらないときがある。かかる場合に対処すべく本実施の形態3では、RPU14が複数の画素補間ユニットを有し、画素転送クロックの読出し周期(T)毎に、複数ラインの各画素データに一対一で画素補間ユニットを適用し、複数の画素補間処理を並列で行うことが特徴である。以下、RPU14に2個の画素補間ユニットを組み込んだ場合を例に挙げて本実施の形態3の画像処理方法を詳説する。
Embodiment 3 FIG.
Next, an image processing circuit according to Embodiment 3 of the present invention will be described. In the image processing method according to the second embodiment, the effect is likely to appear when the processing speed of the
上記ファインダー動作期間中は、図14に例示するように、図12で示した説明図と同じ処理が実行される。すなわち、画素転送クロックの1読出し周期(T)の間に、ラインメモリ41A〜41Eに格納され太線枠50で囲まれた5×5画素の画素データに対して画素補間ユニットを適用することで補間された画素データが算出される。
During the finder operation period, as illustrated in FIG. 14, the same processing as that in the explanatory diagram shown in FIG. 12 is executed. That is, interpolation is performed by applying a pixel interpolation unit to pixel data of 5 × 5 pixels stored in the
次に上記全画素読出し期間中は、図15に例示するように、RPU14は画素転送クロックの1読出し周期(T)の間に、ラインメモリ41A〜41Eに格納され太線枠50Aで囲まれた5×5画素の画素データに対して第1の画素補間ユニットを適用して補間された画素データAを算出し、これと並行してラインメモリ41B〜41Fに格納され点線枠50Bで囲まれた5×5画素の画素データに対して第2の画素補間ユニットを適用して補間された画素データBを算出する。これにより画素転送クロックの1周期(T)の間に、垂直方向の上下2ラインのラインメモリ41C,41Dの各画素データに対して画素補間処理を並列実行できる。
Next, during the all-pixel readout period, as illustrated in FIG. 15, the
このように本実施の形態3によれば、画素転送クロックの1読出し周期(T)の間に、RPU14に組み込んだ画素補間ユニットの個数分の並行した画素補間処理を実行できるから、高速な画像処理を実現することが可能となる。また上記実施の形態1と本実施の形態3との組み合わせでは、全画素読出し動作時に、画素転送クロックの読出し周期毎に、第1フィールドの画素データと第2フィールドの画素データとが同期してRPU14に入力するが、その読出し周期毎に両フィールドの画素データを一括して画素補間処理することが可能となる。
As described above, according to the third embodiment, parallel pixel interpolation processing for the number of pixel interpolation units incorporated in the
上記したように、全画素読出し動作時において実施の形態2,3で算出した補間画素データは、画素転送クロックの1周期(T)毎に画素補間処理部14bから2画素分出力される。画素補間処理部14bで用いた画素転送クロックをそのまま後のガンマ処理部14c以降で用いると、画素転送クロックの1周期の間に2画素に対し、ガンマ補正処理や色空間変換処理、輪郭強調処理などの画像処理をしなければならないという問題がある。この問題を解決し得る画像処理方法を以下の実施の形態4〜6で説明する。
As described above, the interpolation pixel data calculated in the second and third embodiments during the all-pixel reading operation is output from the pixel
実施の形態4.
本実施の形態4に係る画像処理回路では、上記CCDセンサ12を駆動し画素データの転送速度を規定する画素転送クロック周波数(f1)と、上記ガンマ処理部14c、色空間変換・色抑圧処理部14d、空間フィルタ・コアリング処理部14eおよび出力部14fで構成される後処理部において画素データの処理速度を規定する画素処理クロック周波数(f2)とが個別に設定され、画素処理クロック周波数(f2)が画素転送クロック周波数(f1)の2倍以上の値に設定される。
In the image processing circuit according to the fourth embodiment, a pixel transfer clock frequency (f1) that drives the
具体的には、画素補間処理部14bで使用する画素処理クロックは、CCDのタイプにより、画素転送クロックに等しい場合と後処理部で使用する画素処理クロックに等しい場合との2通りあるが、本実施の形態4では画素補間処理部14bで使用する画素処理クロックが画素転送クロックに等しい場合を例に挙げて説明する。図16に示すように、画素補間処理部14bで画素転送クロック(周波数:f1)を用い、且つ後処理部14c〜14fで画素処理クロック(周波数:f2≧2×f1)を用いる。上記全画素読出し動作時において、主メモリ26に設けた原画像データバッファ26bに記憶した上記第1フィールドの画素データがRPU14にDMA転送され、併行してその第1フィールドの画素データの読出しと同期された上記第2フィールドの画素データが読み出されRPU14に入力する。RPU14に入力する第1および第2フィールドの画素データは、上記単一画素処理部14a(図示せず)で処理された後に画素補間処理部14bに入力する。次いで、第1および第2フィールドの画素データは上記実施の形態2,3のような画素補間方法で処理され、画素転送クロックの1周期(1/f1)の間に2ラインの2個の画素データが後処理部14c〜14fに出力され、後処理部14c〜14fは、画素処理クロックの1周期(1/f2)の間に1画素ずつガンマ補正処理などの画像処理を実行する。後処理部14c〜14fから出力される画素データは主メモリ26に設けた処理データバッファ26aにDMA転送される。
Specifically, there are two types of pixel processing clocks used in the pixel
このように本実施の形態4によれば、後処理部14c〜14fの処理レートは画素補間処理部14bの処理レート以上になるから、実時間(リアルタイム)の画像処理を確実に実行でき画像処理の信頼性を高めることが可能となる。
As described above, according to the fourth embodiment, since the processing rate of the
実施の形態5.
次に、図17は、本発明の実施の形態5に係る画像信号処理の流れを示す概略構成図である。上記実施の形態4と同様に、画素補間処理部14bには画素転送クロック(周波数:f1)を用い、後処理部14c〜14fには画素処理クロック(周波数:f2≧2×f1)を用いている。上記実施の形態2,3で述べた通り、全画素読出し動作時では、図13,14に示すように画素転送クロックの1周期(T)にラインメモリ41C,41Dから2個の画素データが2ラインのデータとして出力される。
Embodiment 5 FIG.
Next, FIG. 17 is a schematic configuration diagram showing a flow of image signal processing according to Embodiment 5 of the present invention. As in the fourth embodiment, a pixel transfer clock (frequency: f1) is used for the pixel
図17に示すように2本のライン1,2から出力された画素データはマルチプレキサ51で多重化され直列に並べ換えられて1本の出力として主メモリ26に設けたレート調節用バッファ26dにDMA転送される。より具体的には、図18に示すように画素補間処理部14bに設けたラインメモリ41K,41Lに格納された「L1」,「L2」で示される画素データは補間を受けた後に、マルチプレキサ51で多重化されFIFO(Fast-In Fast-Out)メモリ(図示せず)を介してレート調節用バッファ26dにDMA転送され、L1,L2,L1,L2,L1,L2,…の配列でレート調節用バッファ26dに格納される。
As shown in FIG. 17, the pixel data output from the two
次に、後処理部14c〜14fは、前記レート調節用バッファ26dに格納した画素データを1画素おきのアドレス指定により読出す。これにより、後処理部14c〜14fは、L1,L1,…,L1,L2,L2,…,L2のようにライン順次に画素データを読出して画像処理を施すことが可能となる。
Next, the
実施の形態6.
図19は、本発明の実施の形態6に係る画像信号処理の流れを示す概略図である。上記実施の形態4と同様に、後処理部14c〜14fで用いる画素処理クロック周波数は、画素補間処理部14bで用いる画素転送クロック周波数の2倍以上の値に設定される。上記全画素読出し時において、上記第1および第2フィールドの画素データは互いに同期してRPU14に入力し、単一画素処理部14a(図示せず)で処理された後に画素補間処理部14bに入力する。画素転送クロックの1周期中に、画素補間処理部14bで補間を受けた2ラインの2個の画素データはそれぞれ、図示するライン1、ライン2の各ライン毎に出力され、FIFOメモリ(図示せず)を介してレート調節用バッファ26dにDMA転送される。またそれら各出力ライン毎に上記DMAコントローラ24のチャンネルが割り当てられており、DMAコントローラ24はメモリサイクルを監視し分配することで、画素データをライン順次にレート調節用バッファ26dに転送し格納させる。これにより、レート調節用バッファ26dにはライン順次に画素データが配列し格納されることとなる。
Embodiment 6 FIG.
FIG. 19 is a schematic diagram showing a flow of image signal processing according to Embodiment 6 of the present invention. As in the fourth embodiment, the pixel processing clock frequency used in the
レート調節用バッファ26dに格納された画素データは、先頭から順番に読み出されFIFOメモリ(図示せず)にDMA転送された後に、後処理部14c〜14fに出力される。後処理部14c〜14fは入力する画素データに対して上記画素処理クロックを用いて色空間変換処理や輪郭強調処理などを実行した後、その処理データは主メモリ26に設けた処理データバッファ26aにDMA転送される。
The pixel data stored in the
従って、本実施の形態6によれば、DMAコントローラ24のチャンネル制御により画素補間処理部14bから出力される画素データをライン順次に並べ換えてレート調節用バッファ26dに格納するから、後処理部14c〜14fで一連の画像処理をライン順次に実行することが可能となる。
Therefore, according to the sixth embodiment, the pixel data output from the pixel
実施の形態7.
図20は、本発明の実施の形態7に係る画像信号処理の流れを示す概略図である。上記実施の形態4と同様に、後処理部14c〜14fで用いる画素処理クロック周波数は、画素補間処理部14bで用いる画素転送クロック周波数の2倍以上の値に設定される。上記全画素読出し時において、上記第1および第2フィールドの画素データは互いに同期してRPU14に入力し、単一画素処理部14a(図示せず)で処理された後に画素補間処理部14bに入力する。
Embodiment 7 FIG.
FIG. 20 is a schematic diagram showing the flow of image signal processing according to Embodiment 7 of the present invention. As in the fourth embodiment, the pixel processing clock frequency used in the
画素補間処理部14bで補間を受けた2ライン分の画素データはそれぞれ、図示するライン1,2の各ライン毎に出力され、RPU14に組み込んだ第1ラインメモリ53に各ライン毎に書き込まれる。次に第1ラインメモリ53に格納された2ライン分の画素データは、第1ラインメモリ53への書込み速度の2倍の速度で各ライン毎に読み出されライン順次に後処理部14c〜14fに入力し、ガンマ補正や色空間変換などの画像処理を施される。またこの第1ラインメモリ53からの画素データの読出しと並行して、第2ラインメモリ54に画素補間を受けた新たな2ライン分の画素データが格納される。
The pixel data for two lines subjected to interpolation by the pixel
第1ラインメモリ53に格納した画素データが読み出され、第2ラインメモリ54に新たな2ライン分の画素データが格納された後は、その第2ラインメモリ54の画素データが第1ラインメモリ53への書込み速度の2倍の速度で各ライン毎に読み出されライン順次に後処理部14c〜14fに入力し、ガンマ補正などの画像処理を施される。並行して第1ラインメモリ53には画素補間を受けた新たな2ライン分の画素データが格納される。後処理部14c〜14fで画像処理を受けた画素データは主メモリ26に設けた処理データバッファ26aにDMA転送される。
After the pixel data stored in the
尚、本実施の形態7では2ライン分の画素データを格納できるシングルポートメモリ53,54を2個用いたが、これらの代わりに4ライン分の画素データを格納できるデュアルポートメモリを用いてもよい。
In the seventh embodiment, two single-
このように本実施の形態7では、RPU14の内部で画素補間処理部14bから出力される画素データをライン順次に並べ換えて後処理部14c〜14fに出力することが可能となる。
As described above, in the seventh embodiment, the pixel data output from the pixel
実施の形態4〜7の変形例1.
上記実施の形態4〜7に係る画像処理回路を、上記画素転送クロックの1周期の間に2画素データ出力するCCDセンサに適用することが可能である。上記実施の形態で用いたCCDセンサ12は、画素転送クロックの1周期の間に1画素データを1ラインから取り出すものであるが、主にプログレッシブ方式CCDセンサとして、読出し速度向上のため画素転送クロックの1周期の間に2ラインからそれぞれ2画素データを取り出すCCDセンサも存在する。図21は上記実施の形態で用いたCCDセンサ12の構造(インタライン転送CCDの構造)を示す概略図である。図21に示すように、複数のフォトダイオードを線状に配列してなる電荷蓄積部80,80,…の各列の間には垂直転送CCD81,81,…が配列されており、最終行の垂直転送CCD81に隣接して1本の水平転送CCD82が設けられている。図21において電荷蓄積部80を構成する各画素上には「R」,「G」,「B」の色成分の記号を付した。電荷蓄積部80の各フォトダイオードにおける蓄積電荷は各水平ライン毎に垂直転送CCD81に転送され、垂直転送CCD81は並列に垂直転送方向83へ信号電荷を転送する。水平転送CCD82は、1ライン分の信号が入力する度にその信号を水平方向に転送し、出力回路(センスアンプ)84を介して1個の信号出力端子85から外部へ出力する。
Modifications of
The image processing circuits according to
次に、図22は、画素転送クロックの1周期の間に2ラインの画素データを出力するCCD構造を示す概略図である。図22において符号90は電荷蓄積部、91は電荷蓄積部90,…の各列の間に配列された垂直伝送CCD、92A,92Bは水平転送CCDを示している。電荷蓄積部90,…の各フォトダイオードにおける蓄積電荷は垂直転送CCD91,…に転送された後に、垂直転送方向93に2本の水平ライン毎に並列に転送される。2ラインの信号はそれぞれ第1水平転送CCD92Aおよび第2水平転送CCD92Bにより水平方向に同時に転送され、出力回路(センスアンプ)94A,94Bを介して信号出力端子95A,95Bから出力される。このように画素転送クロックの1周期に2ラインの画素データが出力されるため、図21に示すCCD構造と比べると2倍の速度で画素データを読出すことが可能となる。
Next, FIG. 22 is a schematic diagram showing a CCD structure that outputs pixel data of two lines during one cycle of the pixel transfer clock. In FIG. 22,
そこで、本変形例1では、上記実施の形態4におけるRPU14の画素補間処理部14bに、上記第1フィールドおよび第2フィールドの画素データの代わりに図22に示した2ラインの画素データを入力し、上記後処理部14c〜14fで用いる画素処理クロック周波数(f2)を、図22の構造をもつCCDセンサを駆動する画素転送クロック周波数(f1)の2倍以上の値に設定する。これにより後処理部14c〜14fの処理レートを画素補間処理部14bの処理レート以上にして実時間の画像処理を効率よく行うことが可能となる。
Therefore, in the first modification, the two-line pixel data shown in FIG. 22 is input to the pixel
さらに、画素補間処理部14bへの入力データを図22に示した2ラインの画素データに置き換えて上記実施の形態5〜7の何れかの構成を採用することが望ましい。これにより画素補間処理部14bから出力される2ラインの補間画素データをライン順次に変換して後処理することが可能となる。
Furthermore, it is desirable to adopt the configuration of any of the above-described fifth to seventh embodiments by replacing the input data to the pixel
実施の形態4〜7の変形例2.
また、上記実施の形態4〜7に係る画像処理回路を、以下に説明するハニカム型画素配列の撮像素子に適用することも可能である。図23は、ハニカム型画素配列を説明するための概略図である。図23において各単位画素セル上に「R」,「G」,「B」の色フィルタの記号を付した。このような撮像素子からは仮想線701〜705に沿ったラインの画素データが読み出される。これら各ラインの画素データはさらに「G」のラインとそれ以外の色成分のラインとに分解されて、図24に示すようにラインメモリ(レジスタ)に蓄積される。すなわち、図23に示す仮想線701のラインの画素データは、図24に示すラインメモリの組71に格納されるが、「R」,「B」,「R」,…の色成分の画素データはラインメモリ71Aに1画素おきに格納される。尚、記号「I」は何れの画素データも蓄積されていないブロックを意味する。他方、「G」,「G」,…の色成分の画素データはラインメモリ71A上の「I」ブロックと垂直方向に隣接するように1画素おきにラインメモリ71Bに格納される。図23に示す他の仮想線702〜705のライン上の画素データも、それぞれ仮想線701の場合と同様に図24に示すラインメモリ72〜75に格納される。
Modification 2 of Embodiments 4-7
In addition, the image processing circuits according to
このような形態で格納した画素データに対して、画素転送クロックの1周期毎に2ライン毎に画素補間処理が実行される。画素補間方法の一例を図25を参照しつつ以下に説明する。先ず、図25(a)に示すようにラインメモリ73Aの「R」成分のブロックについて、水平方向両側の「B」成分の平均値または中間値を「B’(青色成分)」として補間し、当該「R」成分に対して斜め四方のラインメモリ72B,73Bの「G」成分の平均値または中間値を「G’(緑色成分)」として補間する。次に、図25(b)に示すようにラインメモリ73Bの「G」成分のブロックについて、斜め四方の「B」,「B」,「R」,「R」の同一色成分の平均値または中間値を「R’(赤色成分)」、「B’(青色成分)」として補間する。そして、図25(c)に示すように図25(b)で補間した色成分の平均値または中間値を算出することで、何れの画素データも蓄積されていないブロックの「R’’(赤色成分)」,「G’’(緑色成分)」,「B’’(青色成分)」を補間する。この種の画素補間方法により画素転送クロックの1周期の間に2本のラインメモリからそれぞれ2個の補間画素データが出力される。
For the pixel data stored in such a form, pixel interpolation processing is executed every two lines for every cycle of the pixel transfer clock. An example of the pixel interpolation method will be described below with reference to FIG. First, as shown in FIG. 25A, for the “R” component block of the
従って、ハニカム型画素配列の撮像素子に対して画素補間処理に用いる画素転送クロックをそのまま後の画像処理(ガンマ補正処理、色空間変換、色抑圧処理など)に用いた場合、画素転送クロックの1周期の間に2ラインの2個の補間画素データを同時に処理しなければならないという上述の問題が生ずる。この問題を解決すべく、上記実施の形態4におけるRPU14の画素補間処理部14bに、上記第1フィールドおよび第2フィールドの画素データの代わりに前記ハニカム型画素配列の撮像素子から出力される2ラインの画素データを入力し、上記後処理部14c〜14fで用いる画素処理クロック周波数(f2)を、ハニカム型画素配列の撮像素子を駆動する画素転送クロック周波数(f1)の2倍以上の値に設定することができる。これによりハニカム型画素配列の撮像センサから出力される画素データに対して、後処理部14c〜14fで画素補間処理部14bの処理レートに対応し得る速度で画像処理することが可能となる。さらに、2ラインで出力される補間画素データをライン順次に変換して後処理すべく、上記実施の形態5〜7の何れかの構成を採用することが好ましい。
Therefore, when the pixel transfer clock used for the pixel interpolation processing is directly used for the subsequent image processing (gamma correction processing, color space conversion, color suppression processing, etc.) for the image pickup device having the honeycomb type pixel array, 1 of the pixel transfer clock is used. The above-described problem arises that two lines of interpolated pixel data must be processed simultaneously during a period. In order to solve this problem, the pixel
1 デジタルスチルカメラ
26 主メモリ
26a 処理データバッファ
26b 原画像データバッファ
26c 一時記憶データバッファ
31 記憶媒体
1
Claims (4)
前記撮像センサから読出した画素データに対して実時間の画素補間処理であって、複数の画素の画素データを用いて、前記複数の画素に囲まれた画素における欠落した色成分の画素データの画素補間を実行し前記画素データの転送速度を規定する画素転送クロックの1周期毎に複数ラインの補間画素データを出力する画素補間処理部と、前記補間画素データに対してさらに実時間の画像処理を実行する後処理部とを有する画像処理部と、を備え、
前記後処理部で前記画素データの処理速度を規定する画素処理クロックの周波数を、前記画素転送クロックの周波数の2倍以上の値に設定し、
前記画素転送クロックの1周期毎に前記画素補間処理部から出力される複数ラインの画素データを多重化して1本の出力線から出力する多重化部と、
該多重化部から出力された画素データを格納するバッファ部と、をさらに備え、
前記後処理部は、前記バッファ部に格納された画素データをライン順次に読出して画像処理を実行することを特徴とする画像処理回路。 An imaging sensor having a color filter array ;
Pixel data of pixel data of missing color components in pixels surrounded by the plurality of pixels, using pixel data of the plurality of pixels, in real time pixel interpolation processing for the pixel data read from the image sensor and a pixel interpolation processing section for outputting interpolated pixel data of a plurality of lines in each cycle of the pixel transfer clock to define the transfer rate of the pixel data to perform interpolation, the image processing further real-time with respect to the interpolated pixel data An image processing unit having a post-processing unit to be executed,
A frequency of a pixel processing clock that defines a processing speed of the pixel data in the post-processing unit is set to a value that is twice or more a frequency of the pixel transfer clock ;
A multiplexing unit that multiplexes pixel data of a plurality of lines output from the pixel interpolation processing unit for each cycle of the pixel transfer clock and outputs the multiplexed data from one output line;
A buffer unit for storing pixel data output from the multiplexing unit;
The image processing circuit , wherein the post-processing unit reads out pixel data stored in the buffer unit in a line-sequential manner and executes image processing.
前記画素補間処理部から前記バッファ部への画素データの直接転送を制御するDMA(ダイレクト・メモリ・アクセス)コントローラをさらに備える画像処理回路。 The image processing circuit according to claim 1,
An image processing circuit further comprising a DMA (direct memory access) controller that controls direct transfer of pixel data from the pixel interpolation processing unit to the buffer unit .
前記撮像センサから読出した画素データに対して実時間の画素補間処理であって、複数の画素の画素データを用いて、前記複数の画素に囲まれた画素における欠落した色成分の画素データの画素補間を実行し前記画素データの転送速度を規定する画素転送クロックの1周期毎に複数ラインの補間画素データを出力する画素補間処理部と、前記補間画素データに対してさらに実時間の画像処理を実行する後処理部とを有する画像処理部と、を備え、
前記後処理部で前記画素データの処理速度を規定する画素処理クロックの周波数を、前記画素転送クロックの周波数の2倍以上の値に設定し、
前記画素転送クロックの1周期毎に前記画素補間処理部から出力される複数ラインの画素データを格納するバッファ部と、
前記画素データをライン順次に前記バッファ部に転送するようにチャンネル制御するDMA(ダイレクト・メモリ・アクセス)コントローラと、をさらに備える画像処理回路。 An imaging sensor having a color filter array;
Pixel data of pixel data of missing color components in pixels surrounded by the plurality of pixels, using pixel data of the plurality of pixels, in real time pixel interpolation processing for the pixel data read from the image sensor A pixel interpolation processing unit for executing interpolation and outputting interpolated pixel data of a plurality of lines for each period of a pixel transfer clock for defining a transfer speed of the pixel data; and real-time image processing for the interpolated pixel data. An image processing unit having a post-processing unit to be executed,
A frequency of a pixel processing clock that defines a processing speed of the pixel data in the post-processing unit is set to a value that is twice or more a frequency of the pixel transfer clock;
A buffer unit for storing pixel data of a plurality of lines output from the pixel interpolation processing unit for each cycle of the pixel transfer clock;
An image processing circuit further comprising: a DMA (direct memory access) controller that performs channel control so that the pixel data is sequentially transferred to the buffer unit on a line-by-line basis .
前記撮像センサから読出した画素データに対して実時間の画素補間処理であって、複数の画素の画素データを用いて、前記複数の画素に囲まれた画素における欠落した色成分の画素データの画素補間を実行し前記画素データの転送速度を規定する画素転送クロックの1周期毎に複数ラインの補間画素データを出力する画素補間処理部と、前記補間画素データに対してさらに実時間の画像処理を実行する後処理部とを有する画像処理部と、を備え、
前記後処理部で前記画素データの処理速度を規定する画素処理クロックの周波数を、前記画素転送クロックの周波数の2倍以上の値に設定し、
前記画像処理部は、前記画素補間処理部から出力される複数ラインの画素データをライン毎に格納する第1記憶部と、
前記後処理部が前記第1記憶部に格納した画素データをライン順次に読出す間、前記画素補間処理部から出力される画素データをライン毎に格納する第2記憶部と、をさらに備え、
前記後処理部が前記第2記憶部に格納した画素データをライン順次に読出す間、前記第1記憶部が、前記画素補間処理部から出力される画素データをライン毎に格納する、画像処理回路。 An imaging sensor having a color filter array;
Pixel data of pixel data of missing color components in pixels surrounded by the plurality of pixels, using pixel data of the plurality of pixels, in real time pixel interpolation processing for the pixel data read from the image sensor A pixel interpolation processing unit for executing interpolation and outputting interpolated pixel data of a plurality of lines for each period of a pixel transfer clock for defining a transfer speed of the pixel data; and real-time image processing for the interpolated pixel data. An image processing unit having a post-processing unit to be executed,
A frequency of a pixel processing clock that defines a processing speed of the pixel data in the post-processing unit is set to a value that is twice or more a frequency of the pixel transfer clock;
The image processing unit includes a first storage unit that stores a plurality of lines of pixel data output from the pixel interpolation processing unit for each line;
A second storage unit that stores pixel data output from the pixel interpolation processing unit for each line while the post-processing unit sequentially reads out the pixel data stored in the first storage unit line by line;
Image processing in which the first storage unit stores the pixel data output from the pixel interpolation processing unit for each line while the post-processing unit reads the pixel data stored in the second storage unit sequentially in a line. circuit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005135139A JP4260769B2 (en) | 2005-05-06 | 2005-05-06 | Image processing circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005135139A JP4260769B2 (en) | 2005-05-06 | 2005-05-06 | Image processing circuit |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000337676A Division JP2002142149A (en) | 2000-11-06 | 2000-11-06 | Picture processing circuit |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005341561A JP2005341561A (en) | 2005-12-08 |
JP4260769B2 true JP4260769B2 (en) | 2009-04-30 |
Family
ID=35494555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005135139A Expired - Lifetime JP4260769B2 (en) | 2005-05-06 | 2005-05-06 | Image processing circuit |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4260769B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5458906B2 (en) * | 2010-01-21 | 2014-04-02 | 株式会社ニコン | Image processing device |
JP5456206B2 (en) * | 2011-06-30 | 2014-03-26 | 富士フイルム株式会社 | IMAGING DEVICE, IMAGING DEVICE CONTROL PROGRAM, AND IMAGING DEVICE CONTROL METHOD |
-
2005
- 2005-05-06 JP JP2005135139A patent/JP4260769B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2005341561A (en) | 2005-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7034868B2 (en) | Image processing circuit | |
US6342921B1 (en) | Lattice-type solid state image pickup device | |
JP2002010276A (en) | Imaging apparatus | |
JP2000244823A (en) | Device for concealing defective pixel of imaging device | |
US8218021B2 (en) | Image capture apparatus, method of controlling the same, and program | |
EP0794662B1 (en) | Electronic still camera | |
US7236194B2 (en) | Image signal processing apparatus | |
JP4260769B2 (en) | Image processing circuit | |
JP2001078210A (en) | Solid-state image pickup device and signal read method | |
JP2002238057A (en) | Imaging device, luminance correction method, and program for executing the method by computer | |
JP4249152B2 (en) | Image processing circuit | |
JP2000152260A (en) | Drive method for image pickup element and image pickup device | |
JP3983500B2 (en) | Data conversion circuit and digital camera | |
JP4412446B2 (en) | Resolution conversion method and resolution conversion apparatus | |
JPH09247543A (en) | Digital electronic image pickup device | |
JP4132264B2 (en) | Image signal processing circuit | |
JP2001078208A (en) | Solid-state image pickup device and signal read method | |
JP4677582B2 (en) | Image processing device | |
JP3961975B2 (en) | Signal processing apparatus and digital camera | |
JP4001762B2 (en) | Imaging apparatus and imaging method | |
JP2000228774A (en) | Image signal processing unit and electronic still camera provided with the same | |
JP2845602B2 (en) | Color solid-state imaging device | |
JP3948456B2 (en) | Solid-state image sensor and control method of solid-state image sensor | |
JP2000261817A (en) | Image pickup device | |
JP4249909B2 (en) | Signal processing apparatus and signal processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081212 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20081212 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20081212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4260769 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160220 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |