JP6045247B2 - Image processing apparatus, control method thereof, and control program - Google Patents

Image processing apparatus, control method thereof, and control program Download PDF

Info

Publication number
JP6045247B2
JP6045247B2 JP2012176948A JP2012176948A JP6045247B2 JP 6045247 B2 JP6045247 B2 JP 6045247B2 JP 2012176948 A JP2012176948 A JP 2012176948A JP 2012176948 A JP2012176948 A JP 2012176948A JP 6045247 B2 JP6045247 B2 JP 6045247B2
Authority
JP
Japan
Prior art keywords
image data
clock
image
memory
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012176948A
Other languages
Japanese (ja)
Other versions
JP2014036361A (en
Inventor
浩靖 形川
浩靖 形川
本間 義浩
義浩 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012176948A priority Critical patent/JP6045247B2/en
Publication of JP2014036361A publication Critical patent/JP2014036361A/en
Application granted granted Critical
Publication of JP6045247B2 publication Critical patent/JP6045247B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、画像フィルタ処理の際の処理速度の低下を防止するとともに回路規模を削減する技術に関する。   The present invention relates to an image processing apparatus, a control method thereof, and a control program, and more particularly, to a technique for preventing a reduction in processing speed and reducing a circuit scale during image filter processing.

近年、固体撮像素子ではその画素数が大幅に増加しており、このような固体撮像素子を用いれば高精細な静止画像を撮影することが可能である。さらに、静止画像ばかりでなく、高精細な動画像の表示および記録が可能な電子カメラもある。   In recent years, the number of pixels of a solid-state image sensor has increased significantly, and a high-definition still image can be taken using such a solid-state image sensor. Further, there are electronic cameras that can display and record not only still images but also high-definition moving images.

動画像の表示および記録を行う場合には、高精細に時間軸方向の解像力を得るため、最低でも24コマ〜30コマ/秒程度のフレームレートを確保する必要がある。また、静止画像と同様に動画像においても高画質が求められている。   When displaying and recording a moving image, it is necessary to secure a frame rate of at least about 24 to 30 frames / second in order to obtain a high resolution in the time axis direction. Also, high quality is required for moving images as well as still images.

例えば、動画像の高画質化に当たって、デモザイキング(補間)における偽色発生の処理を行うようにしたものがある(特許文献1参照)。さらに、倍率色収差補正処理を行って高画質化を図るようにしたものがある(特許文献2参照)。   For example, there is a technique that performs false color generation processing in demosaicing (interpolation) in order to improve the quality of moving images (see Patent Document 1). In addition, there is a technique in which magnification chromatic aberration correction processing is performed to improve image quality (see Patent Document 2).

加えて、感度撮影の際に生じるノイズ除去の処理、特に、広ダイナミックレンジ画像に対するノイズ除去を行うようにしたものがある(特許文献3参照)。そして、特許文献1〜3の各々においては、いずれもバンドパスフィルタ処理又はローパスフィルタ処理を初めとする各種のフィルタ処理回路を用いている。   In addition, there is a process for removing noise generated during sensitivity imaging, particularly noise removal for a wide dynamic range image (see Patent Document 3). In each of Patent Documents 1 to 3, various filter processing circuits including band pass filter processing or low pass filter processing are used.

また、画像を縮小処理する際で用いるフィルタ処理の際に画像メモリ容量の低減および低コスト化を行うようにしたものがある(特許文献4参照)。そして、特許文献4においては、フィルタ処理の際、処理対象となる画素に対してフィルタタップを含む参照画素が画像外に存在する場合に、画像端における画素位置の画素レベルと同一レベルのダミー画素を設けることが記載されている(以下、ダミー画素設けることを画素コピーと呼ぶ)。これによって、特許文献4では簡単に周辺域を外方に拡張して、画像端における画質の劣化を低減してフィルタ処理を行うようにしている。   In addition, there is a technique in which the image memory capacity is reduced and the cost is reduced during the filtering process used when the image is reduced (see Patent Document 4). And in patent document 4, when the reference pixel which contains a filter tap with respect to the pixel used as a process target exists in the image at the time of a filter process, it is a dummy pixel of the same level as the pixel level of the pixel position in an image end (Hereinafter, provision of dummy pixels is referred to as pixel copy). As a result, in Patent Document 4, the peripheral area is simply expanded outward to reduce the deterioration of the image quality at the image edge and perform the filter processing.

そして、CCD−RAW形式の画像データを、記録モードスイッチの設定に応じて、画像処理回路によってRGB画像データに変換し、JPEG回路によってJPEG圧縮するか又はデータ変換回路およびハフマン符号・復号回路によって可逆圧縮するようにしたものがある(特許文献5参照)。ここでは、VALID信号およびSTOP信号を定義して、画像データ系列に一対のVALID信号およびSTOP信号が付加され、VALID信号が”1”である場合に当該データが有効であるとされる。STOP信号が”1”の場合にはデータの入力が阻止される。つまり、VALID信号が”1”でかつSTOP信号が”0”の場合に、有効にデータの入力処理を行うようにしている。   Then, the image data in the CCD-RAW format is converted into RGB image data by the image processing circuit according to the setting of the recording mode switch, and JPEG compression is performed by the JPEG circuit, or reversible by the data conversion circuit and the Huffman encoding / decoding circuit. Some have been compressed (see Patent Document 5). Here, a VALID signal and a STOP signal are defined, a pair of VALID signals and a STOP signal are added to the image data series, and the data is valid when the VALID signal is “1”. When the STOP signal is “1”, data input is blocked. That is, when the VALID signal is “1” and the STOP signal is “0”, data input processing is effectively performed.

特開2002−300590号公報JP 2002-300590 A 特開2008−15946号公報JP 2008-15946 A 特開2008−15741号公報JP 2008-15741 A 特開2002−150281号公報JP 2002-150281 A 特開2001−61067号公報JP 2001-61067 A

ところで、画像処理の際に画素の転送として所謂ラスタースキャン方式を用いたとする。この場合、n次のフィルタ処理を画面の水平方向および垂直方向で行う際、水平画素数と「垂直ライン数−1」との積に相当する画素分の情報をメモリなどに一時的に保持する必要がある。このため、不可避的にメモリ容量が増大してしまう。   By the way, it is assumed that a so-called raster scan method is used for pixel transfer during image processing. In this case, when the n-th order filter processing is performed in the horizontal direction and the vertical direction of the screen, information for pixels corresponding to the product of the number of horizontal pixels and “number of vertical lines−1” is temporarily stored in a memory or the like. There is a need. This inevitably increases the memory capacity.

メモリ容量の増大を防止するため、特許文献4においてはブロック単位でデータの転送を行って、フィルタ処理の際の画素コピー量を少なくしているものの、DRAMなどの一時メモリに用いることなく、センサ(つまり、固体撮像素子)から直接データを受けてフィルタ処理を行う場合には、ブロック単位ではデータの転送が行われないので、n次のフィルタ処理データを行うためにはメモリが必要となって、しかもメモリ容量が増大してしまう。   In order to prevent an increase in memory capacity, Patent Document 4 transfers data in units of blocks to reduce the amount of pixel copy at the time of filter processing. However, the sensor is not used for a temporary memory such as a DRAM. In other words, when data is directly received from a solid-state imaging device and is subjected to filter processing, data is not transferred in units of blocks, so a memory is required to perform n-th order filter processing data. In addition, the memory capacity increases.

一方、特許文献5に記載のVALID信号およびSTOP信号の関係を用いて画素コピーを行うとすると、後述するように、STOP信号に起因して処理効率は低下するもののメモリが不要となって回路規模を削減することができる。   On the other hand, if pixel copying is performed using the relationship between the VALID signal and the STOP signal described in Patent Document 5, as described later, the processing efficiency is reduced due to the STOP signal, but the memory becomes unnecessary and the circuit scale is reduced. Can be reduced.

ところが、動画像を高フレームレート化すると、STOP信号に起因してフレームレートが低下してしまうことになる。   However, when the frame rate of a moving image is increased, the frame rate is reduced due to the STOP signal.

従って、本発明の目的は、処理効率が低下することなく、しかも回路規模の増大を抑止することのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。   Accordingly, an object of the present invention is to provide an image processing apparatus, a control method thereof, and a control program that can suppress an increase in circuit scale without lowering the processing efficiency.

上記の目的を達成するため、本発明による画像処理装置は、第1のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第1のクロックで入力されて、前記画像データを画像処理する画像処理装置であって、前記第1のクロックよりも速い第2のクロックに切り換えて前記第2のクロックに応じて前記画像データをメモリに書き込み、前記第2のクロックに切り換えて前記メモリに対する書き込みを行った後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーするメモリ制御手段と、前記メモリ制御手段から出力された画像データを水平TAPフィルタ処理する画像処理手段とを有することを特徴とする。 In order to achieve the above object, an image processing apparatus according to the present invention operates on a first clock, and image data obtained by analog-to-digital conversion of an output of an imaging sensor that captures an image of a subject is generated on the first clock. is input, the image data an image processing apparatus for image processing, writes the image data in accordance with said first of said second clock is switched to fast second clock than the clock in the memory the after writing for the second cutting conversion Ete the memory clock, the pixel data at the start end and termination end of the image data read out image data written in the memory prohibits input of said image data a memory control means for copying the image data, the image horizontally TAP filtering the output image data from said memory control means And having a physical means.

本発明による制御方法は、第1のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第1のクロックで入力されて、前記画像データを画像処理する画像処理装置の制御方法であって、前記第1のクロックよりも速い第2のクロックに切り換えて前記第2のクロックに応じて前記画像データをメモリに書き込むステップと、前記第2のクロックに切り換えられて前記メモリに対する書き込みが行われた後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーするステップと、前記コピーによって得られた画像データを水平TAPフィルタ処理するステップとを有することを特徴とする。 According to the control method of the present invention, image data obtained by analog-to-digital conversion of an output of an image sensor that operates with a first clock and images a subject is input with the first clock, and the image data is converted into an image. a control method for processing an image processing apparatus which includes a write steaming step to write the image data in accordance with said first of said switches to fast second clock than the clock the second clock to the memory, the first After the clock is switched to 2 and writing to the memory is performed, the input of the image data is prohibited, the image data written to the memory is read, and the pixel data is read at the start and end ends of the image data. this has a copy be away step, the absence steps to process horizontal TAP filter the image data obtained by the copying of the image data The features.

本発明による制御プログラムは、第1のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第1のクロックで入力されて、前記画像データを画像処理する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記第1のクロックよりも速い第2のクロックに切り換えて前記第2のクロックに応じて前記画像データをメモリに書き込むステップと、前記第2のクロックに切り換えられて前記メモリに対する書き込みが行われた後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーするステップと、前記コピーによって得られた画像データを水平TAPフィルタ処理するステップとを実行させることを特徴とする。 According to the control program of the present invention, image data obtained by analog-to-digital conversion of an output of an image sensor that operates with a first clock and images a subject is input with the first clock, and the image data is converted into an image. A control program used in an image processing apparatus for processing, wherein a computer provided in the image processing apparatus is switched to a second clock faster than the first clock, and the image data is transferred in accordance with the second clock. the image data read and write steaming step to write in the memory, after writing to the memory is switched to the second clock has been performed, the image data written by prohibiting the input of the image data in the memory and copying to Luz step the pixel data in the image data at the start end and termination end of, resulting et al by the copy And characterized in that the image data was performed and the automatic answering step to horizontal TAP filtering.

本発明によれば、処理効率が低下することなく、しかも回路規模の増大を抑止することができる。   According to the present invention, it is possible to suppress an increase in circuit scale without lowering the processing efficiency.

本発明の第1の実施形態による画像処理装置の一例についてその画像処理パスの構成を示す図である。It is a figure which shows the structure of the image processing path | pass about an example of the image processing apparatus by the 1st Embodiment of this invention. 図1に示すコピー回路部の入力画像データおよび出力画像データの一例を示す図である。FIG. 2 is a diagram illustrating an example of input image data and output image data of a copy circuit unit illustrated in FIG. 1. 図1に示す画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。It is a block diagram which shows the structure about an example of an imaging device provided with the image processing apparatus shown in FIG. 図3に示す撮像装置における画像処理のタイミングを説明するためのタイミングチャートである。4 is a timing chart for explaining the timing of image processing in the imaging apparatus shown in FIG. 3. 図3に示す撮像装置においてセンサクロックから処理クロックに乗り換えた後に画素コピーを行った際のタイミングチャートである。4 is a timing chart when pixel copying is performed after switching from a sensor clock to a processing clock in the imaging apparatus shown in FIG. 3. 本発明の第2の実施形態による画像処理装置の一例についてその画像処理パスの構成を示す図である。It is a figure which shows the structure of the image processing path | pass about an example of the image processing apparatus by the 2nd Embodiment of this invention. 図6に示すメモリから読み込まれる画像データの一例を示す図である。It is a figure which shows an example of the image data read from the memory shown in FIG. 従来の画像処理装置の一例についてその画像処理パスの構成を示す図である。It is a figure which shows the structure of the image processing path | pass about an example of the conventional image processing apparatus. 図8に示す現像処理回路で行われるフィルタ処理の一例を説明するための図である。It is a figure for demonstrating an example of the filter process performed in the image development processing circuit shown in FIG. 図9に示すフィルタ処理における画素コピーの概念を示す図である。It is a figure which shows the concept of the pixel copy in the filter process shown in FIG. 図8に示す現像処理回路で行われるフィルタ処理の他の例を説明するための図である。It is a figure for demonstrating the other example of the filter process performed with the image development processing circuit shown in FIG.

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。   Hereinafter, an example of an image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.

[第1の実施形態]
まず、本発明の第1の実施形態による画像処理装置について説明する前に、本発明の第1の実施形態による画像処理装置の理解を容易にするため、従来の画像処理装置について図面を参照して説明する。
[First Embodiment]
First, before describing the image processing apparatus according to the first embodiment of the present invention, in order to facilitate understanding of the image processing apparatus according to the first embodiment of the present invention, the conventional image processing apparatus will be described with reference to the drawings. I will explain.

いま、画像処理を行う際、画素信号の転送手法としてラスタースキャン方式を用いたとする。ここで、ラスタースキャン方式とは、画面最上ラインの左端画素から右端画素に向かって1画素ずつ走査を行って、1ラインの走査が終了すると当該ラインの下のラインについてその左端から右端に向かって1画素ずつ走査するスキャン方式をいう。そして、画面の最下ラインに到達するまでスキャンを行って、画素信号(画素データともいう)を順次に後段の処理部に出力する。例えば、ラスタースキャン方式はCCDイメージセンサーなどの固体撮像素子における画素信号の出力で用いられる。   Assume that a raster scan method is used as a pixel signal transfer method when performing image processing. Here, the raster scan method is to scan one pixel at a time from the left end pixel of the uppermost line of the screen toward the right end pixel, and when the scanning of one line is completed, from the left end to the right end of the line below the line. A scanning method that scans one pixel at a time. Then, scanning is performed until the bottom line of the screen is reached, and pixel signals (also referred to as pixel data) are sequentially output to a subsequent processing unit. For example, the raster scan method is used for outputting pixel signals in a solid-state imaging device such as a CCD image sensor.

ここで、後段の処理部において画面(つまり、画像)の水平方向および垂直方向についてn次のフィルタ処理を行うとする(nは2以上の整数)。この場合、水平方向の画素数と「垂直ライン数−1」との積に相当する画素分のデータを、メモリに一時的に保持する。そして、メモリに保持されたデータに対してフィルタ処理を行っている。   Here, it is assumed that n-th order filter processing is performed in the horizontal and vertical directions of the screen (that is, the image) in the subsequent processing unit (n is an integer of 2 or more). In this case, data for pixels corresponding to the product of the number of pixels in the horizontal direction and “number of vertical lines−1” is temporarily stored in the memory. Then, the filtering process is performed on the data held in the memory.

このため、フィルタ処理を行う際には、メモリの容量を大きくしなければならない。   For this reason, the memory capacity must be increased when performing the filtering process.

図8は、従来の画像処理装置の一例についてその画像処理パスの構成を示す図である。なお、図示の画像処理装置は、例えば、デジタルカメラなどの撮像装置で用いられる。   FIG. 8 is a diagram showing a configuration of an image processing path for an example of a conventional image processing apparatus. The illustrated image processing apparatus is used in an imaging apparatus such as a digital camera, for example.

画像処理装置はセンサI/F回路201を有しており、センサI/F回路201は、CCDなどのイメージセンサ(以下単にセンサと呼ぶ)から画素データをセンサデータとして取り込み、センサデータの替え処理などを行う。センサI/F回路201の出力はセンサ補正回路202に入力データとして与えられ、センサ補正回路202はセンサによって発生する画素傷の補正およびスミアの補正などを入力データに対して行う。   The image processing apparatus includes a sensor I / F circuit 201. The sensor I / F circuit 201 captures pixel data as sensor data from an image sensor (hereinafter simply referred to as a sensor) such as a CCD, and performs sensor data replacement processing. And so on. The output of the sensor I / F circuit 201 is given as input data to the sensor correction circuit 202, and the sensor correction circuit 202 performs correction of pixel flaws and smear correction generated by the sensor on the input data.

センサ補正回路202の出力は入力データとして現像処理回路203に与えられる。現像処理回路203にはフィルタ処理回路(図示せず)およびFIFO204などのメモリが備えられている。図示の画像処理装置では、ライブビューなどの際、入力データをDRAMなどの一時メモリには保存することなく高速に現像処理を行う。   The output of the sensor correction circuit 202 is given to the development processing circuit 203 as input data. The development processing circuit 203 includes a filter processing circuit (not shown) and a memory such as a FIFO 204. In the illustrated image processing apparatus, during live view or the like, development processing is performed at high speed without storing input data in a temporary memory such as a DRAM.

図9は、図8に示す現像処理回路で行われるフィルタ処理の一例を説明するための図である。なお、ここでは、画素コピーのためメモリを備えず、前述のVALID信号およびSTOP信号の関係に応じてSTOP信号を発生して画素コピーを行うものとする。また、図示の例では、所謂水平5TAP(1、2、2、2、1)のフィルタ処理において画像サイズが1920×1080(pixel)であるものとする。   FIG. 9 is a diagram for explaining an example of the filter processing performed in the development processing circuit shown in FIG. Here, it is assumed that a memory is not provided for pixel copying, and pixel copying is performed by generating a STOP signal according to the relationship between the VALID signal and the STOP signal. In the illustrated example, it is assumed that the image size is 1920 × 1080 (pixel) in the so-called horizontal 5TAP (1, 2, 2, 2, 1) filter processing.

図10は、図9に示すフィルタ処理における画素コピーの概念を示す図である。   FIG. 10 is a diagram showing the concept of pixel copy in the filter processing shown in FIG.

水平5TAPのフィルタ処理において、処理対象となる画素データに対して参照画素データが画像1001の外に存在する場合、画像端における画素レベル(ここでは”0”とする)と同一レベルのダミー画素データ1002を付加する(画素コピーする)。   In the horizontal 5TAP filter processing, when the reference pixel data is present outside the image 1001 for the pixel data to be processed, dummy pixel data at the same level as the pixel level at the image end (here, “0”). 1002 is added (pixel copy).

図9に示す例では、N個(N=5)のフリップフロップ401が備えられている。そして、これらフリップフロップ401はその入力データ(画像データ)を一時的に保持する。さらに、図示の例では、(N−2)個のビットシフト演算器404および(N−1)個の加算器、そして、1つのビットシフト演算器406が備えられている。   In the example shown in FIG. 9, N (N = 5) flip-flops 401 are provided. These flip-flops 401 temporarily hold the input data (image data). Further, in the illustrated example, (N−2) bit shift calculators 404, (N−1) adders, and one bit shift calculator 406 are provided.

ここでは、第(n−2)番目のビットシフト演算器404にはそれぞれ第(n−1)番目のフリップフロップ401の出力が与えられる(nは3〜5までのいずれかの整数)。また、第1番目の加算器405には第1番目のフリップフロップ401の出力と第1番目のビットシフト演算器404の出力が与えられる。   Here, the output of the (n−1) -th flip-flop 401 is given to the (n−2) -th bit shift computing unit 404 (n is any integer from 3 to 5). The first adder 405 is supplied with the output of the first flip-flop 401 and the output of the first bit shift calculator 404.

また、第2番目の加算器405には第1番目の加算器405の出力と第2番目のビットシフト演算器404の出力が与えられ、第3番目の加算器405には第2番目の加算器405の出力と第3番目のビットシフト演算器404の出力が与えられる。そして、第4番目の加算器405には第5番目のフリップフロップ401の出力と第3番目の加算器405の出力が与えられる。   The second adder 405 is supplied with the output of the first adder 405 and the output of the second bit shift computing unit 404, and the third adder 405 receives the second addition. And the output of the third bit shift calculator 404 are provided. The fourth adder 405 is supplied with the output of the fifth flip-flop 401 and the output of the third adder 405.

ここでは、時間軸402で示すように、時間が上側から下側に向かって経過ものとする。STOP信号403は前段からの入力を停止するための信号である。ビットシフト演算器404はその入力を左1ビットシフトする。ビットシフト演算器406は第4番目の加算器405の出力を右3ビットする。   Here, as indicated by the time axis 402, time passes from the upper side to the lower side. The STOP signal 403 is a signal for stopping the input from the previous stage. The bit shift calculator 404 shifts the input by 1 bit to the left. The bit shift calculator 406 right 3 bits the output of the fourth adder 405.

なお、フリップフロップ401の各々の出力は参照番号407で示されており、画像データはラスタースキャン方式で順次入力され、”0”から順に”1”,”2”,”3”,・・・・とインクリメントする画素値が入力されるものとする。そして、1ラインの終わりの画素値を”1919”とする。また、”x”は不定の値を示す。   Each output of the flip-flop 401 is indicated by reference numeral 407, and the image data is sequentially input by the raster scan method, and “1”, “2”, “3”,. Assume that the pixel value to be incremented is input. The pixel value at the end of one line is set to “1919”. “X” represents an indefinite value.

ここで、第1番目のフリップフロップ401に画素値”0”が入力されると、図示しない制御部からその前段にSTOP信号=”1”が与えられる。これによって、前段から画素値”1”が入力されないようにする。そして、”0”を保持した第1番目のフリップフロップ401が次のサイクルで第2番目のフリップフロップ401に画素値”0”を出力する。   Here, when the pixel value “0” is input to the first flip-flop 401, a STOP signal = “1” is given to the preceding stage from a control unit (not shown). This prevents the pixel value “1” from being input from the previous stage. Then, the first flip-flop 401 holding “0” outputs the pixel value “0” to the second flip-flop 401 in the next cycle.

さらに、次のサイクルで後段のフリップフロップ401に画素値”0”が保持される。そして、STOP信号=’0’にすると、前段で入力が停止された画素値”1”が次のサイクルから入力されて、以下、全てのフリップフロップ401に不定ではない画素値が保持された時点で5TAPのフィルタ処理が順次行われる。   Further, the pixel value “0” is held in the subsequent flip-flop 401 in the next cycle. Then, when the STOP signal is set to “0”, the pixel value “1” whose input is stopped in the previous stage is input from the next cycle, and thereafter, the pixel values that are not indefinite are held in all the flip-flops 401. 5TAP filter processing is sequentially performed.

また上記説明は、画像の左端について画素コピーを行う場合について説明したが、画像の右端についても同様の処理が行われる。右端の画素値は”1919”であり、画素値”1919”が第1番目のフリップフロップ401に入力されるとSTOP信号=1が発生する。そして、2サイクル分の後、STOP信号=0としてSTOP信号を解除する。   In the above description, the pixel copy is performed for the left end of the image, but the same processing is performed for the right end of the image. The pixel value at the right end is “1919”, and when the pixel value “1919” is input to the first flip-flop 401, a STOP signal = 1 is generated. Then, after two cycles, the STOP signal is canceled with STOP signal = 0.

上述のような処理を行うと、STOP信号によって処理効率は低下するが、メモリが不要となって回路規模を削減することができる。   When processing as described above is performed, the processing efficiency is reduced by the STOP signal, but the memory becomes unnecessary and the circuit scale can be reduced.

ところが、前述のように、動画像が高フレームレート化すると、図9で説明した処理ではフレームレートが低下してしまうことになる。   However, as described above, if the moving image has a high frame rate, the frame rate is lowered in the process described with reference to FIG.

図11は、図8に示す現像処理回路で行われるフィルタ処理の他の例を説明するための図である。ここでは、STOP信号の代わりに、FIFOなどのメモリが用いられる。また、図11において、図9に示す例と同一の構成要素について同一の参照番号を付して説明を省略する。なお、図11に示すFIFOは図8に示すFIFO204に対応するものである。   FIG. 11 is a diagram for explaining another example of the filter processing performed in the development processing circuit shown in FIG. Here, a memory such as a FIFO is used instead of the STOP signal. In FIG. 11, the same components as those in the example shown in FIG. The FIFO shown in FIG. 11 corresponds to the FIFO 204 shown in FIG.

図示の例では、4つのFIFO503a〜503dが備えられており、FIFO503aおよび503bは画像の右端画素コピー用として用いられる。また、FIFO503cおよび503dは画像の左端画素コピー用として用いられる。   In the illustrated example, four FIFOs 503a to 503d are provided, and the FIFOs 503a and 503b are used for copying the rightmost pixel of the image. The FIFOs 503c and 503d are used for copying the leftmost pixel of the image.

図示の例では、2画素分のミラー画素(画像周辺の境界部に鏡を置いたと仮想した場合に鏡に映った原画像の画素を画像周囲の画素として配置させた画素)を保持するためにFIFOが用いられる。なお、垂直5TAPのフィルタ処理においては水平5TAPと同様2ライン分のラインメモリを要する。   In the illustrated example, in order to hold two pixels of mirror pixels (pixels in which pixels of the original image reflected in the mirror are arranged as pixels around the image when a mirror is placed at the boundary portion around the image) A FIFO is used. Note that the vertical 5TAP filter processing requires two lines of line memory as in the case of the horizontal 5TAP.

つまり、水平mTAP(mは2以上の整数)のフィルタ処理を行う際には、左右合わせて(m−1)個のFIFOが必要となり、垂直mTAPのフィルタ処理を行う際は、上下合わせて(m−1)のラインメモリを必要とする。   That is, when performing horizontal mTAP (m is an integer of 2 or more) filter processing, (m−1) FIFOs are required in total on the left and right, and when performing vertical mTAP filter processing, upper and lower ( m-1) line memory is required.

このように、水平および垂直ともにTAP数が増加するにつれてFIFOの数が増加する。つまり、現像処理回路が増加するほど回路規模が大きくなってしまう。   Thus, the number of FIFOs increases as the number of TAPs increases both horizontally and vertically. That is, the circuit scale increases as the number of development processing circuits increases.

図1は、本発明の第1の実施形態による画像処理装置の一例についてその画像処理パスの構成を示す図である。   FIG. 1 is a diagram showing the configuration of an image processing path for an example of an image processing apparatus according to the first embodiment of the present invention.

画像処理装置はセンサI/F回路601を有しており、センサI/F回路601は、センサから画素データをセンサデータとして取り込み、センサデータの替え処理などを行う。センサI/F回路201の出力はコピー回路部602に入力データとして与えられる。   The image processing apparatus includes a sensor I / F circuit 601. The sensor I / F circuit 601 captures pixel data from the sensor as sensor data, and performs sensor data replacement processing and the like. The output of the sensor I / F circuit 201 is given to the copy circuit unit 602 as input data.

コピー回路部602にメモリであるFIFO603およびコピー画素付加回路604を有している。コピー画素付加回路604は後述の現像処理回路606および現像処理回路607で用いられるコピー画素データを入力画像データに付加するための回路である。また、FIFO603はコピー画素付加回路604によって入力画像データが書き込まれるメモリである。   The copy circuit unit 602 includes a FIFO 603 that is a memory and a copy pixel addition circuit 604. A copy pixel addition circuit 604 is a circuit for adding copy pixel data used in a development processing circuit 606 and a development processing circuit 607 described later to input image data. A FIFO 603 is a memory in which input image data is written by the copy pixel addition circuit 604.

センサ補正回路605はコピー回路部602の出力を入力データとして受けて、センサによって発生する画素傷の補正およびスミアの補正などを入力データに対して行う。現像処理回路606および607はそれぞれ水平TAPフィルタ処理を行う。図示の例では、現像処理回路606および607はそれぞれ水平19TAPフィルタ処理および水平11TAPフィルタ処理を行うものとする。   The sensor correction circuit 605 receives the output of the copy circuit unit 602 as input data, and corrects pixel defects generated by the sensor, correction of smear, and the like on the input data. The development processing circuits 606 and 607 each perform horizontal TAP filter processing. In the illustrated example, it is assumed that the development processing circuits 606 and 607 perform horizontal 19TAP filter processing and horizontal 11TAP filter processing, respectively.

図2は、図1に示すコピー回路部602の入力画像データおよび出力画像データの一例を示す図である。なお、ここでは、センサI/F回路601からコピー回路部602に入力される画像データにおいて、そのサイズは1920×1080(pixel)であるものとする。   FIG. 2 is a diagram illustrating an example of input image data and output image data of the copy circuit unit 602 illustrated in FIG. Here, it is assumed that the size of image data input from the sensor I / F circuit 601 to the copy circuit unit 602 is 1920 × 1080 (pixel).

コピー回路部602の入力画像データのサイズに対して、コピー回路部602は水平19TAPフィルタ処理で用いるコピー画素を左右9画素ずつ付加する。さらに、コピー回路部602は水平11TAPのフィルタ処理で用いるコピー画素を左右5画素ずつ付加する。その結果、コピー回路部602は出力データとして1948×1080のサイズの画像データを出力する。   The copy circuit unit 602 adds nine copy pixels to the left and right for use in the horizontal 19TAP filter processing with respect to the size of the input image data of the copy circuit unit 602. Further, the copy circuit unit 602 adds 5 pixels to the left and right of the copy pixels used in the horizontal 11 TAP filter processing. As a result, the copy circuit unit 602 outputs image data having a size of 1948 × 1080 as output data.

再び、図1を参照して、現像処理回路606は、コピー回路部602の出力を受けて、左右9画素ずつのコピー画素を消費する。この結果、現像処理回路606は出力データとして1930×1080のサイズの画像データを出力する。   Referring to FIG. 1 again, the development processing circuit 606 receives the output of the copy circuit unit 602 and consumes copy pixels of 9 pixels on the left and right. As a result, the development processing circuit 606 outputs image data having a size of 1930 × 1080 as output data.

現像処理回路607には入力データとして1930×1080のサイズの画像データが与えられる。現像処理回路607は左右5画素のコピー画素を消費する。この結果、現像処理回路607は出力データとして1920×1080のサイズの画像データを出力し、全てのフィルタ処理が完了すると、センサI/F回路601の出力と同等の画像サイズとなる。   Image data having a size of 1930 × 1080 is given to the development processing circuit 607 as input data. The development processing circuit 607 consumes five right and left copy pixels. As a result, the development processing circuit 607 outputs image data having a size of 1920 × 1080 as output data, and when all the filtering processes are completed, the image size becomes equivalent to the output of the sensor I / F circuit 601.

なお、ここでは、センサクロック(第1のクロック)の周波数を60MHz、処理クロックの周波数(第2のクロック)を180MHzとする。また、センサデータとして、前述のように、画素値”0”から順に”1”,”2”,”3”,”4”,・・・・の順にインクリメントされた画素値が入力されるものとする。   Here, the frequency of the sensor clock (first clock) is 60 MHz, and the frequency of the processing clock (second clock) is 180 MHz. Also, as described above, pixel values incremented in the order of “1”, “2”, “3”, “4”,... From the pixel value “0” are input as sensor data. And

この際、図9で説明したように、STOP信号に応じて入力を制御する場合には、画像の左端におけるフィルタ処理のみを考慮すると、最初に画素値”0”を取り込んでから現像処理回路606では9サイクル分のSTOP信号=1を出力して画素コピーを行う。同様に、現像処理回路607では5サイクル分のSTOP信号=1を出力して画素コピーを行う。   At this time, when the input is controlled according to the STOP signal as described with reference to FIG. 9, considering only the filter processing at the left end of the image, the pixel value “0” is first taken in and then the development processing circuit 606. Then, a STOP signal = 1 for 9 cycles is output to perform pixel copy. Similarly, the development processing circuit 607 outputs a STOP signal = 1 for five cycles to perform pixel copying.

一方、図11で説明したように、メモリとしてFIFOを備える場合には、画像の左端におけるフィルタ処理のみを考慮すると、現像処理回路606では(19−1)/2=9個のFIFOが必要となる。同様に、現像処理回路607においては(11−1)/2=5個のFIFOが必要となる。よって、現像処理回路606および607では合計14個のメモリ(FIFO)が必要となる。   On the other hand, as described with reference to FIG. 11, when the FIFO is provided as the memory, the development processing circuit 606 requires (19-1) / 2 = 9 FIFOs in consideration of only the filter processing at the left end of the image. Become. Similarly, the development processing circuit 607 requires (11-1) / 2 = 5 FIFOs. Therefore, the development processing circuits 606 and 607 require a total of 14 memories (FIFOs).

図3は、図1に示す画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。なお、図3において、図1に示す構成要素と同一の構成要素について同一の参照番号を付す。また、図3においては、図1に示すコピー回路部602で省略されていた要素が示されている。   FIG. 3 is a block diagram illustrating a configuration of an example of an imaging apparatus including the image processing apparatus illustrated in FIG. In FIG. 3, the same components as those shown in FIG. 1 are denoted by the same reference numerals. In FIG. 3, elements omitted in the copy circuit unit 602 shown in FIG. 1 are shown.

図示の撮像装置は、複数のレンズを有する撮像レンズユニット(以下光学系と呼ぶ)101を備えており、光学系101を介して光学像(つまり、被写体像)がCCD固体撮像部(撮像センサ)102に結像する。なお、固体撮像素子としてCCDセンサを用いる代わりに、CMOSセンサを用いるようにしてもよい。   The illustrated imaging apparatus includes an imaging lens unit (hereinafter referred to as an optical system) 101 having a plurality of lenses, and an optical image (that is, a subject image) is transmitted through the optical system 101 to a CCD solid-state imaging unit (imaging sensor). The image is formed on 102. Instead of using a CCD sensor as the solid-state image sensor, a CMOS sensor may be used.

CCD固体撮像部102では、光学系101からの出射光に対して直角な平面内に多数のセンサ(つまり、画素)がM行×N列のマトリックス状に配列されている(ここでは、MおよびNは2以上の整数である)。そして、センサマトリックスは撮影画面に相当する。これらセンサは入射光の光量に応じたレベルを有する電気信号を並列に出力する。   In the CCD solid-state imaging unit 102, a large number of sensors (that is, pixels) are arranged in a matrix of M rows × N columns in a plane perpendicular to the light emitted from the optical system 101 (here, M and N is an integer of 2 or more). The sensor matrix corresponds to a shooting screen. These sensors output in parallel electrical signals having a level corresponding to the amount of incident light.

CCD固体撮像部102において、センサマトリックスの第1行から第M行までの各行は走査回路(図示せず)によって順次水平方向に走査される。その結果、各センサの出力信号は所定の周期Tで直列にAGC回路103に出力される。   In the CCD solid-state imaging unit 102, each row from the first row to the Mth row of the sensor matrix is sequentially scanned in the horizontal direction by a scanning circuit (not shown). As a result, the output signal of each sensor is output to the AGC circuit 103 in series with a predetermined period T.

CCD固体撮像部102の出力であるアナログ画像信号はAGC回路103で利得調整された後、A/D変換部104に与えられる。A/D変換部104はアナログ画像信号をA/D変換(アナログーデジタル変換)して、デジタル画像信号(画像データ)をセンサI/F回路601に出力する。   An analog image signal, which is an output of the CCD solid-state imaging unit 102, is gain-adjusted by the AGC circuit 103 and then supplied to the A / D conversion unit 104. The A / D conversion unit 104 performs A / D conversion (analog-digital conversion) on the analog image signal and outputs the digital image signal (image data) to the sensor I / F circuit 601.

コピー回路部602は、コピー画素付加回路(以下単にコピー回路と呼ぶ)604の他に、RAMI/F部107、セレクタ110、およびコピー制御部112を有している。そして、RAMI/F部107には、RAM109およびRAM制御部108を有している。なお、RAM109は、図1に示すFIFO603の代わりに用いられるメモリである。   The copy circuit unit 602 includes a RAM I / F unit 107, a selector 110, and a copy control unit 112 in addition to a copy pixel addition circuit (hereinafter simply referred to as a copy circuit) 604. The RAM I / F unit 107 includes a RAM 109 and a RAM control unit 108. The RAM 109 is a memory used in place of the FIFO 603 shown in FIG.

図示の例では、センサI/F回路601はセンサクロック60MHzで動作する。RAM制御部108はセンサクロックと処理クロックとのクロック乗り換え処理を行って、RAM109において空きのあるアドレスに画像データを書き込む。そして、RAM109に空きアドレスが無くなると、RAM制御部108は前段のセンサI/F回路105にSTOP信号=1を送って、画像データの入力を禁止する。   In the illustrated example, the sensor I / F circuit 601 operates with a sensor clock of 60 MHz. The RAM control unit 108 performs a clock transfer process between the sensor clock and the processing clock, and writes image data to an available address in the RAM 109. When there is no more free address in the RAM 109, the RAM control unit 108 sends a STOP signal = 1 to the preceding sensor I / F circuit 105 to prohibit the input of image data.

センサI/F回路105から入力されるセンサデータは、RAM109に順次書き込まれる。RAM109に入力されたセンサデータは、コピー制御部112の制御下でセレクタ部110によってセレクトされて、コピー回路604に選択センサデータとして出力される。コピー回路111はVALID信号(有効信号)115および選択センサデータ114をセンサ補正回路605に出力する。   Sensor data input from the sensor I / F circuit 105 is sequentially written in the RAM 109. The sensor data input to the RAM 109 is selected by the selector unit 110 under the control of the copy control unit 112 and is output to the copy circuit 604 as selected sensor data. The copy circuit 111 outputs a VALID signal (valid signal) 115 and selection sensor data 114 to the sensor correction circuit 605.

センサ補正回路605はセンサで生じる画素傷(画素欠陥)の補正およびスミアの補正などを行って、補正後の画像データ118とともに出力VALID117を後段の現像処理回路606に出力する。   The sensor correction circuit 605 corrects pixel flaws (pixel defects) generated in the sensor, corrects smear, and the like, and outputs the output VALID 117 together with the corrected image data 118 to the development processing circuit 606 at the subsequent stage.

現像処理回路606は所定の画素コピー分を消費した後、当該消費分を削ってVALID120および画像データ121を後段の現像処理回路607に出力する。現像処理回路607は同様にして画素コピー分を消費して、センサI/F回路601から入力された画像データと同一の1920×1080のサイズのデータを出力する。   The development processing circuit 606 consumes a predetermined pixel copy, and then deletes the consumption and outputs the VALID 120 and the image data 121 to the subsequent development processing circuit 607. Similarly, the development processing circuit 607 consumes the pixel copy and outputs the same 1920 × 1080 size data as the image data input from the sensor I / F circuit 601.

図4は、図3に示す撮像装置における画像処理のタイミングの一例を説明するためのタイミングチャートである。   FIG. 4 is a timing chart for explaining an example of image processing timing in the imaging apparatus shown in FIG.

図4において、センサクロックは60MHzであり、処理クロックは180MHzである。センサ補正回路605に対する入力データ(コピー回路604の出力)はコピー分の14画素データをその先頭に付加してVALID信号とともに出力される。そして、コピー制御部112から14画素分の間STOP信号=1がコピー回路604に対して出力される。   In FIG. 4, the sensor clock is 60 MHz and the processing clock is 180 MHz. Input data (output of the copy circuit 604) to the sensor correction circuit 605 is output together with the VALID signal with 14-pixel data for the copy added to the head thereof. Then, the STOP signal = 1 is output from the copy control unit 112 to the copy circuit 604 for 14 pixels.

ところが、センサクロック60MHzに同期して入力されるセンサデータに対して、STOP信号は処理クロック180MHzに同期して出力されるので、センサデータに対して14×(60/180)=4.6666…となる。よって、実際に影響を受けるのは約5画素分のSTOP信号となる。つまり、必要最小限のメモリ量は5画素となり、RAMにおけるI/F分の遅延を考慮しても5画素+1又は2画素分のメモリ量となる。   However, since the STOP signal is output in synchronization with the processing clock 180 MHz with respect to the sensor data input in synchronization with the sensor clock 60 MHz, 14 × (60/180) = 4.6666. It becomes. Therefore, the STOP signal for about 5 pixels is actually affected. That is, the minimum necessary memory amount is 5 pixels, and even if the delay for the I / F in the RAM is taken into consideration, the memory amount is 5 pixels + 1 or 2 pixels.

図5は、図3に示す撮像装置においてセンサクロックから処理クロックに乗り換えた後に画素コピーを行った際のタイミングチャートである。   FIG. 5 is a timing chart when pixel copying is performed after switching from the sensor clock to the processing clock in the imaging apparatus shown in FIG.

前述したように、コピー回路604は1920×1080のサイズの画像データに対して、水平19TAPフィルタ処理で用いるコピー画素データを画像の左右(つまり、開始端および終了端)に9画素ずつ付加する。さらに、コピー回路604は水平11TAPフィルタ処理で用いるコピー画素データを画像の左右に5画素ずつ付加して、その出力を1948×1080のサイズの画像データとする。   As described above, the copy circuit 604 adds the copy pixel data used in the horizontal 19TAP filter processing to the left and right sides of the image (that is, the start end and the end end) for each image data having a size of 1920 × 1080. Furthermore, the copy circuit 604 adds copy pixel data used in the horizontal 11 TAP filter processing to the left and right of the image by 5 pixels, and outputs the image data of 1948 × 1080 size.

図4と同様に、左側のコピーを行うため、コピー制御部112は14画素分のSTOP信号=1を出力する。この際、入力データはクロック乗り換えをした後であるので処理クロックに同期して入力される。   As in FIG. 4, in order to perform the left side copy, the copy control unit 112 outputs a STOP signal = 1 for 14 pixels. At this time, since the input data is after the clock change, it is input in synchronization with the processing clock.

ここで、最初の画素値を”0”として、次に”1”,”2”,”3”,”4”,・・・・の順にインクリメントする画素値が入力されるものとすると、図5においては、14画素分の間のSTOP信号に対して、14画素分の入力データが入力される。つまり、STOP信号=1を出力しない必要最小限のメモリ量は14画素分となって、RAM109のI/F分の遅延を考慮しても14画素+1又は2画素分の/メモリ量となる。   Here, assuming that the first pixel value is “0” and pixel values that are incremented in the order of “1”, “2”, “3”, “4”,. In 5, the input data for 14 pixels is input to the STOP signal for 14 pixels. That is, the minimum necessary memory amount that does not output the STOP signal = 1 is 14 pixels, and even if the delay for the I / F of the RAM 109 is considered, the memory amount is 14 pixels + 1 or 2 pixels.

つまり、最速のセンサクロックの周波数と最遅の処理クロックとの差分とから最適なメモリ量が求められることになる。   That is, the optimum memory amount is obtained from the difference between the frequency of the fastest sensor clock and the slowest processing clock.

このように、本発明の第1の実施形態によれば、クロック周波数に着目して、クロック周波数が遅いセンサクロックとクロック周波数が速いフィルタ処理クロックとのクロック乗り換えを行って、画素コピーを行う。これによって、画素コピーの際に必要とされるメモリ量を低減する。この結果、処理速度を下げることなく、回路規模の削減することができる。   As described above, according to the first embodiment of the present invention, paying attention to the clock frequency, pixel transfer is performed by changing the clock between the sensor clock having the slow clock frequency and the filter processing clock having the fast clock frequency. This reduces the amount of memory required for pixel copying. As a result, the circuit scale can be reduced without reducing the processing speed.

[第2の実施形態]
続いて、本発明の第2の実施形態による画像処理装置について説明する。
[Second Embodiment]
Next, an image processing apparatus according to the second embodiment of the present invention will be described.

図6は、本発明の第2の実施形態による画像処理装置の一例についてその画像処理パスの構成を示す図である。なお、図6において、図1に示す構成要素と同一の構成要素について同一の参照番号を付す。   FIG. 6 is a diagram showing the configuration of an image processing path for an example of an image processing apparatus according to the second embodiment of the present invention. In FIG. 6, the same components as those shown in FIG. 1 are denoted by the same reference numerals.

図6にはおいて、画像処理装置はDRAMなどの一時的なメモリ1001を有している。このメモリ1001にはメモリI/F1002が接続されている。そして、メモリI/F1002は現像処理回路606に接続されている。   In FIG. 6, the image processing apparatus has a temporary memory 1001 such as a DRAM. A memory I / F 1002 is connected to the memory 1001. The memory I / F 1002 is connected to the development processing circuit 606.

メモリ1/F1002は第1および第2のコピーカウンタ1005および1006を有している。第1のコピーカウンタ1005はメモリI/F1002に存在する画像の左端のコピー画素を生成するためのものである。第2のコピーカウンタ1006はメモリI/F1002に存在する画像の右端のコピー画素を生成するためのものである。   The memory 1 / F 1002 has first and second copy counters 1005 and 1006. The first copy counter 1005 is for generating the leftmost copy pixel of the image existing in the memory I / F 1002. The second copy counter 1006 is for generating the rightmost copy pixel of the image existing in the memory I / F 1002.

メモリ1001はメモリI/F1002によって指定されたアドレスに対して画像データの書き込み又は読み出しを行う。現像処理回路606はフィルタ処理において左右9画素のコピー画素を必要とし、現像処理回路607はフィルタ処理において左右5画素のコピー画素を必要とする。この結果、合計14画素のコピー画素が必要となる。   The memory 1001 writes or reads image data at an address designated by the memory I / F 1002. The development processing circuit 606 requires 9 left and right copy pixels in the filter processing, and the development processing circuit 607 requires 5 left and right copy pixels in the filter processing. As a result, a total of 14 copy pixels are required.

ここで、メモリI/F1002はスタートアドレスおよび画像サイズが設定されると、当該サイズ分の画像データをメモリ1001から読み込む。ここでは、メモリI/F1002には1920×1080(pixel)のサイズの画像データを読み込んだものとする。   Here, when the start address and the image size are set, the memory I / F 1002 reads image data for the size from the memory 1001. Here, it is assumed that image data having a size of 1920 × 1080 (pixel) is read into the memory I / F 1002.

前述のように、現像処理回路606で用いる画像データの水平サイズは1948画素であるので、メモリI/F1002には水平画像サイズ値(1948−1)=1947が設定され、第1のコピーカウンタ1005に(14−1)=13、第2のコピーカウンタ1006に(14−1)=13が設定される。   As described above, since the horizontal size of the image data used in the development processing circuit 606 is 1948 pixels, the horizontal image size value (1948-1) = 1947 is set in the memory I / F 1002, and the first copy counter 1005 is set. (14-1) = 13 and (14-1) = 13 are set in the second copy counter 1006.

図示はしないが、メモリI/F1002には水平カウンタおよび垂直カウンタが備えられており、メモリI/F1002は設定されたスタートアドレスからアドレスをインクリメントすると、水平カウンタがインクリメントされる。   Although not shown, the memory I / F 1002 includes a horizontal counter and a vertical counter, and when the memory I / F 1002 increments an address from a set start address, the horizontal counter is incremented.

図7は、図6に示すメモリ1001から読み込まれる画像データの一例を示す図である。   FIG. 7 is a diagram showing an example of image data read from the memory 1001 shown in FIG.

メモリ1001には、サイズが1920×1080の画像データ110が格納されている。画像データ1101において左端にはコピー対象画素データ1102が存在し、右端にはコピー対象画素データ1103が存在する。さらに、その左側にはコピー領域1104が規定され、右側にはコピー領域1105が規定されている。   The memory 1001 stores image data 110 having a size of 1920 × 1080. In the image data 1101, copy target pixel data 1102 exists at the left end, and copy target pixel data 1103 exists at the right end. Further, a copy area 1104 is defined on the left side, and a copy area 1105 is defined on the right side.

参照番号1106は水平カウンタを示しており、水平方向の1948画素データを読み込む際には、メモリI/F1002は0から1947までアドレスをインクリメントして画素データを読み込む。   Reference numeral 1106 represents a horizontal counter. When reading 1948 pixel data in the horizontal direction, the memory I / F 1002 increments the address from 0 to 1947 and reads the pixel data.

ここで、水平カウンタ1106のカウント値と第1のコピーカウンタ1105の設定値(つまり、”13”)とが等しくなるまで、メモリI/F1002はアドレスをインクリメントすることなく、同一のアドレスについて読み込みを実行する。そして、水平カウンタ1106のカウント値と第1のコピーカウンタ1105の設定値とが等しくなると、メモリI/F1002はアドレスをインクリメントする。   Here, the memory I / F 1002 reads the same address without incrementing the address until the count value of the horizontal counter 1106 becomes equal to the set value of the first copy counter 1105 (that is, “13”). Run. When the count value of the horizontal counter 1106 becomes equal to the set value of the first copy counter 1105, the memory I / F 1002 increments the address.

さらに、水平カウンタ1106のカウント値が(水平画像サイズ値−第1のコピーカウンタ1105の設定値)と等しくなった際、つまり、1947−13=1934になった場合に、メモリI/F1102は第2のコピーカウンタ1106をインクリメントする。そして、第2のコピーカウンタ1106が設定値(つまり、”13”)になるまで、メモリI/F1102はインクリメントを続行する。第2のコピーカウンタ1106が設定値となるまでの間においては、メモリI/F1102はアドレスをインクリメントすることなく、同一のアドレスについて複数回読み込みを行う。   Further, when the count value of the horizontal counter 1106 becomes equal to (horizontal image size value−set value of the first copy counter 1105), that is, when 1947−13 = 1934, the memory I / F 1102 becomes the first one. The second copy counter 1106 is incremented. Then, the memory I / F 1102 continues incrementing until the second copy counter 1106 reaches a set value (that is, “13”). Until the second copy counter 1106 reaches the set value, the memory I / F 1102 reads the same address a plurality of times without incrementing the address.

このようにして、メモリI/F1102はコピー領域1104および1105について読み込みを行って、その出力を1948画素の画像データとする。   In this manner, the memory I / F 1102 reads the copy areas 1104 and 1105 and outputs the output as 1948 pixel image data.

これによって、第1の実施形態と同様に、コピー画素に係る処理と等価の処理を行うことができ、処理速度が低下することがない。そして、現像処理回路606および607にはメモリが必要とないので、回路規模を削減することができる。   As a result, similarly to the first embodiment, a process equivalent to the process related to the copy pixel can be performed, and the processing speed does not decrease. Since the development processing circuits 606 and 607 do not require a memory, the circuit scale can be reduced.

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。   As mentioned above, although this invention was demonstrated based on embodiment, this invention is not limited to these embodiment, Various forms of the range which does not deviate from the summary of this invention are also contained in this invention. .

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。   For example, the function of the above embodiment may be used as a control method, and this control method may be executed by the image processing apparatus. In addition, a program having the functions of the above-described embodiments may be used as a control program, and the control program may be executed by a computer included in the image processing apparatus. The control program is recorded on a computer-readable recording medium, for example.

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed.

102 CCD固体撮像部
103 AGC回路
104 A/D変換部
105 センサI/F回路
108 RAM制御部
109 RAM
110 セレクタ
112 コピー制御部
602 コピー回路部
604 コピー回路
102 CCD solid-state imaging unit 103 AGC circuit 104 A / D conversion unit 105 Sensor I / F circuit 108 RAM control unit 109 RAM
110 Selector 112 Copy Control Unit 602 Copy Circuit Unit 604 Copy Circuit

Claims (5)

第1のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第1のクロックで入力されて、前記画像データを画像処理する画像処理装置であって、
前記第1のクロックよりも速い第2のクロックに切り換えて前記第2のクロックに応じて前記画像データをメモリに書き込み、前記第2のクロックに切り換えて前記メモリに対する書き込みを行った後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーするメモリ制御手段と、
前記メモリ制御手段から出力された画像データを水平TAPフィルタ処理する画像処理手段とを有することを特徴とする画像処理装置。
An image processing apparatus that performs image processing on image data obtained by inputting image data obtained by analog-to-digital conversion of an output of an image sensor that operates with a first clock and images a subject. And
Writes the image data in the memory in response to said first of said switches to fast second clock than the clock the second clock, after writing to cut changeover Ete said memory to said second clock Memory control means for prohibiting input of the image data and reading out the image data written in the memory and copying pixel data to the image data at a start end and an end end of the image data;
An image processing apparatus comprising: image processing means for performing horizontal TAP filter processing on the image data output from the memory control means.
前記第2のクロックは、前記画像処理手段が前記水平TAPフィルタ処理を行う際に用いられる処理クロックであることを特徴とする請求項に記載の画像処理装置。 The image processing apparatus according to claim 1 , wherein the second clock is a processing clock used when the image processing unit performs the horizontal TAP filter processing. 前記メモリ制御手段は、同一のアドレスについて前記メモリから複数回読み出し処理を行って、前記画像データの開始端および終了端において画素データを前記画像データにコピーすることを特徴とする請求項1又は2に記載の画像処理装置。 Said memory control means, for the same address by performing a plurality of times reading process from the memory, according to claim 1 or 2, characterized in that copying the pixel data in the image data at the start end and termination end of the image data An image processing apparatus according to 1. 第1のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第1のクロックで入力されて、前記画像データを画像処理する画像処理装置の制御方法であって、
前記第1のクロックよりも速い第2のクロックに切り換えて前記第2のクロックに応じて前記画像データをメモリに書き込むステップと、
前記第2のクロックに切り換えられて前記メモリに対する書き込みが行われた後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーするステップと、
前記コピーによって得られた画像データを水平TAPフィルタ処理するステップとを有することを特徴とする制御方法。
Control of an image processing device that operates on a first clock and images image data obtained by analog-digital conversion of an output of an imaging sensor that captures an image of a subject and inputs the image data on the first clock. A method,
And write steaming step to write the image data in accordance with said first clock second switching clock of the second clock faster than the memory,
After switching to the second clock and writing to the memory, the input of the image data is prohibited, the image data written to the memory is read, and pixel data at the start and end ends of the image data and copying to Luz step to the image data,
Control method characterized by having a Luz step to horizontal TAP filter the image data obtained by said copying.
第1のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第1のクロックで入力されて、前記画像データを画像処理する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記第1のクロックよりも速い第2のクロックに切り換えて前記第2のクロックに応じて前記画像データをメモリに書き込むステップと、
前記第2のクロックに切り換えられて前記メモリに対する書き込みが行われた後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーするステップと、
前記コピーによって得られた画像データを水平TAPフィルタ処理するステップとを実行させることを特徴とする制御プログラム。
Image data obtained by analog-to-digital conversion of an output of an image sensor that operates with a first clock and images a subject is input with the first clock, and is used in an image processing apparatus that performs image processing on the image data. A control program,
In the computer provided in the image processing apparatus,
And write steaming step to write the image data in accordance with said first clock second switching clock of the second clock faster than the memory,
After switching to the second clock and writing to the memory, the input of the image data is prohibited, the image data written to the memory is read, and pixel data at the start and end ends of the image data and copying to Luz step to the image data,
A control program, characterized in that to execute the automatic answering step to horizontal TAP filter the image data obtained by said copying.
JP2012176948A 2012-08-09 2012-08-09 Image processing apparatus, control method thereof, and control program Expired - Fee Related JP6045247B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012176948A JP6045247B2 (en) 2012-08-09 2012-08-09 Image processing apparatus, control method thereof, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012176948A JP6045247B2 (en) 2012-08-09 2012-08-09 Image processing apparatus, control method thereof, and control program

Publications (2)

Publication Number Publication Date
JP2014036361A JP2014036361A (en) 2014-02-24
JP6045247B2 true JP6045247B2 (en) 2016-12-14

Family

ID=50285084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012176948A Expired - Fee Related JP6045247B2 (en) 2012-08-09 2012-08-09 Image processing apparatus, control method thereof, and control program

Country Status (1)

Country Link
JP (1) JP6045247B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2259422B (en) * 1991-09-06 1995-04-05 Sony Broadcast & Communication Digital video signal processing
JP4313907B2 (en) * 1999-08-26 2009-08-12 キヤノン株式会社 Imaging apparatus and control method thereof
JP4415785B2 (en) * 2004-08-05 2010-02-17 ソニー株式会社 Image signal processing apparatus and method
JP5056370B2 (en) * 2007-11-22 2012-10-24 ソニー株式会社 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, IMAGING DEVICE CONTROL PROGRAM, DATA PROCESSING DEVICE, DATA PROCESSING METHOD, AND DATA PROCESSING PROGRAM
JP2009130561A (en) * 2007-11-22 2009-06-11 Sony Corp Imaging apparatus, control method of imaging apparatus and control program of imaging apparatus
JP2009232004A (en) * 2008-03-21 2009-10-08 Sony Corp Signal processor and signal processing method, and imaging apparatus and control method of the imaging apparatus

Also Published As

Publication number Publication date
JP2014036361A (en) 2014-02-24

Similar Documents

Publication Publication Date Title
JP4781229B2 (en) Distortion correction apparatus, imaging apparatus, and control method for distortion correction apparatus
JP6027777B2 (en) Pixel information management device and imaging device using the same
JP5602532B2 (en) Image processing apparatus and image processing method
JP6016423B2 (en) Signal processing apparatus, imaging apparatus, and signal processing method
JP6442867B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2007274504A (en) Digital camera
JP4606218B2 (en) Distortion correction device
JP5947143B2 (en) Fisheye image correction apparatus and correction method
JP6628987B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP6045247B2 (en) Image processing apparatus, control method thereof, and control program
JP5718029B2 (en) Imaging device
JP5676233B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP2010028758A (en) Image processing apparatus and method, program, and imaging apparatus
JP6557451B2 (en) Imaging apparatus, control method therefor, and program
JP2014099714A (en) Image processing apparatus, imaging device, image processing method, and program
JP2018157371A (en) Imaging apparatus and method of correcting defective pixels
JP6415086B2 (en) Image processing apparatus, image processing method, and program
JP2017201749A (en) Image processing apparatus and control method thereof
JP2007228269A (en) Image signal processing device and method
JP2013126101A (en) Imaging device and imaging method
JP2002199281A (en) Image processing apparatus
JP5968145B2 (en) Image processing apparatus and control method thereof
JP6440465B2 (en) Image processing apparatus, image processing method, and program
JP4132264B2 (en) Image signal processing circuit
JP2014116746A (en) Imaging device, distortion correction circuit and distortion correction method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161115

R151 Written notification of patent or utility model registration

Ref document number: 6045247

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees