JP5142644B2 - Data processing circuit - Google Patents

Data processing circuit Download PDF

Info

Publication number
JP5142644B2
JP5142644B2 JP2007235499A JP2007235499A JP5142644B2 JP 5142644 B2 JP5142644 B2 JP 5142644B2 JP 2007235499 A JP2007235499 A JP 2007235499A JP 2007235499 A JP2007235499 A JP 2007235499A JP 5142644 B2 JP5142644 B2 JP 5142644B2
Authority
JP
Japan
Prior art keywords
data
output
input
processing circuit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007235499A
Other languages
Japanese (ja)
Other versions
JP2009069978A (en
Inventor
光章 黒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2007235499A priority Critical patent/JP5142644B2/en
Priority to US12/207,999 priority patent/US20090066808A1/en
Publication of JP2009069978A publication Critical patent/JP2009069978A/en
Application granted granted Critical
Publication of JP5142644B2 publication Critical patent/JP5142644B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

この発明は、複数のメモリ装置のいずれかに対してデータ書き込みおよびデータ読み出しを実行する、データ処理回路に関する。   The present invention relates to a data processing circuit that executes data writing and data reading for any of a plurality of memory devices.

この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、画像入力装置で読み取られた原稿の画像データは、一旦メモリに保存された後、用紙へのプリントのためにプリンタエンジンに出力される。メモリに保存された画像データはまた、圧縮器で圧縮され、圧縮された画像データはメモリを介してHDDに保存される。メモリは、画像入力装置で読み取られた画像データを記憶する入出力領域と、圧縮器で圧縮された画像データを記憶する保存領域とを有する。このようなメモリへの画像データの入出力はアービタによって調停される。
特開2005−332372号公報[G06F 13/36]
An example of this type of device is disclosed in Patent Document 1. According to this background art, image data of a document read by an image input device is once stored in a memory and then output to a printer engine for printing on paper. The image data stored in the memory is also compressed by the compressor, and the compressed image data is stored in the HDD via the memory. The memory has an input / output area for storing image data read by the image input device and a storage area for storing image data compressed by the compressor. Such input / output of image data to the memory is arbitrated by an arbiter.
JP 2005-332372 A [G06F 13/36]

しかし、背景技術では、いずれの画像データを入出力領域に記憶し、いずれの画像データを保存領域に記憶するかは、予め固定されている。つまり、注目する画像データの記憶先が動作状況に応じて入出力領域と保存領域との間で変更されることはない。このため、背景技術では、メモリアクセス動作に掛かる負荷が一方に偏るおそれがある。   However, in the background art, which image data is stored in the input / output area and which image data is stored in the storage area is fixed in advance. That is, the storage destination of the image data of interest is not changed between the input / output area and the storage area in accordance with the operation status. For this reason, in the background art, the load applied to the memory access operation may be biased to one side.

それゆえに、この発明の主たる目的は、複数のメモリの負荷を適応的に制御することができる、データ処理回路を提供することである。   Therefore, a main object of the present invention is to provide a data processing circuit capable of adaptively controlling loads of a plurality of memories.

請求項1の発明に従うデータ処理回路(IC1:実施例で相当する参照番号。以下同じ)は、複数のメモリ装置にそれぞれ接続される複数の出力端を各々が有し、複数の出力端のうち指定出力端からデータを出力するデータ出力処理を各々が実行する複数の出力手段(58, 78a, 78b, 108, 122)複数のメモリ装置にそれぞれ接続される複数の入力端を各々が有し、複数の入力端のうち指定入力端からデータを入力するデータ入力処理を各々が実行する複数の入力手段(60, 80, 88, 96, 110)、複数の出力手段にそれぞれ割り当てられかつ指定出力端を識別する第1識別情報を各々が保持する複数の第1保持手段(R1, R3, R4, R8, R10)、複数の入力手段にそれぞれ割り当てられかつ指定入力端を識別する第2識別情報を各々が保持する複数の第2保持手段(R2, R5, R6, R7, R9)、および複数の第1保持手段の各々によって保持された第1識別情報および複数の第2保持手段の各々によって保持された第2識別情報の一部をモードに応じて変更する変更手段(S1, S11, S23)を備える。 A data processing circuit (IC1: reference number corresponding to the embodiment; the same applies hereinafter) according to the invention of claim 1 has a plurality of output terminals respectively connected to a plurality of memory devices, a plurality of output means, each data output process of outputting the data from the specified output end run (58, 78a, 78b, 108 , 122), each having a plurality of inputs connected to a plurality of memory devices , A plurality of input means (60, 80, 88, 96, 110) each for executing data input processing for inputting data from a designated input terminal among a plurality of input terminals , each assigned to a plurality of output means and designated output A plurality of first holding means (R1, R3, R4, R8, R10) each holding first identification information for identifying an end, and a second identification information assigned to each of the plurality of input means and for identifying a designated input end A plurality of second holding means (R2, R5, R6, R7, R9) each holding And changing means (S1, S11) for changing a part of the first identification information held by each of the plurality of first holding means and the second identification information held by each of the plurality of second holding means according to the mode. , S23) .

つまり、出力手段から出力されたデータの書き込み先は第1保持手段によって保持された第1識別情報に依存し、入力手段によって入力されるデータの読み出し元は第2保持手段によって保持された第2識別情報に依存する。したがって、第1保持手段および第2保持手段によってそれぞれ保持される第1識別情報および第2識別情報を更新することで、複数のメモリの負荷を適応的に制御することができる。   That is, the write destination of the data output from the output means depends on the first identification information held by the first holding means, and the read source of the data input by the input means is the second held by the second holding means. Depends on identification information. Therefore, by updating the first identification information and the second identification information respectively held by the first holding unit and the second holding unit, it is possible to adaptively control the loads on the plurality of memories.

請求項2の発明に従うデータ処理回路は、請求項1に従属し、所望のデータを取り込む取り込み手段(54)をさらに備え、複数の出力手段は取り込み手段によって取り込まれたデータにデータ出力処理を施す取り込みデータ出力手段(58)を含む。   A data processing circuit according to a second aspect of the present invention is dependent on the first aspect, further comprising a fetching means (54) for fetching desired data, and the plurality of output means perform data output processing on the data fetched by the fetching means. Incorporated data output means (58) is included.

請求項3の発明に従うデータ処理回路は、請求項1または2に従属し、所望のデータに第1変換処理を施す第1変換手段(66, 68, 70, 72a, 72b)をさらに備え、複数の入力手段は第1変換手段によって変換するためのデータを入力する第1変換データ入力手段(60)を含む。   A data processing circuit according to the invention of claim 3 is dependent on claim 1 or 2, and further comprises first conversion means (66, 68, 70, 72a, 72b) for performing a first conversion process on desired data, The input means includes first conversion data input means (60) for inputting data to be converted by the first conversion means.

請求項4の発明に従うデータ処理回路は、請求項3に従属し、複数の出力手段は第1変換手段によって変換されたデータにデータ出力処理を施す第1変換データ出力手段(78a, 78b)を含む。   The data processing circuit according to the invention of claim 4 is dependent on claim 3, and the plurality of output means include first converted data output means (78a, 78b) for performing data output processing on the data converted by the first conversion means. Including.

請求項5の発明に従うデータ処理回路は、請求項1ないし4のいずれかに従属し、所望のデータを外部に出力する外部出力手段(26)をさらに備え、複数の入力手段は外部出力手段によって出力するためのデータを入力する外部出力データ入力手段(80)を含む。   A data processing circuit according to a fifth aspect of the present invention is dependent on any one of the first to fourth aspects, further comprising external output means (26) for outputting desired data to the outside, wherein the plurality of input means are provided by external output means. External output data input means (80) for inputting data for output is included.

請求項6の発明に従うデータ処理回路は、請求項1ないし5のいずれかに従属し、所望のデータに第2変換処理を施す第2変換手段(102, 116)をさらに備え、複数の入力手段は第2変換手段によって変換するためのデータを入力する第2変換データ入力手段(96, 110)を含む。   A data processing circuit according to the invention of claim 6 is dependent on any one of claims 1 to 5, further comprising second conversion means (102, 116) for applying a second conversion process to desired data, and a plurality of input means. Includes second conversion data input means (96, 110) for inputting data to be converted by the second conversion means.

請求項7の発明に従うデータ処理回路は、請求項6に従属し、複数の出力手段は第2変換手段によって変換されたデータにデータ出力処理を施す第2変換データ出力手段(108, 122)を含む。   The data processing circuit according to the invention of claim 7 is dependent on claim 6, and the plurality of output means includes second conversion data output means (108, 122) for performing data output processing on the data converted by the second conversion means. Including.

請求項8の発明に従う電子装置(10)は、請求項1ないし7のいずれかに記載のデータ処理回路を備える。   An electronic device (10) according to the invention of claim 8 comprises the data processing circuit according to any one of claims 1 to 7.

この発明によれば、出力手段から出力されたデータの書き込み先は第1保持手段によって保持された第1識別情報に依存し、入力手段によって入力されるデータの読み出し元は第2保持手段によって保持された第2識別情報に依存する。したがって、第1保持手段および第2保持手段によってそれぞれ保持される第1識別情報および第2識別情報を更新することで、複数のメモリの負荷を適応的に制御することができる。   According to this invention, the writing destination of the data output from the output means depends on the first identification information held by the first holding means, and the reading source of the data input by the input means is held by the second holding means. Depends on the second identification information. Therefore, by updating the first identification information and the second identification information respectively held by the first holding unit and the second holding unit, it is possible to adaptively control the loads on the plurality of memories.

この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

図1を参照して、この実施例のビデオカメラ10は、光学レンズ12を含む。被写界の光学像は、光学レンズ12を経てCMOS型の撮像装置14の撮像面に照射される。撮像面には複数の画素が2次元に配列され、各画素では光量に応じた電荷が生成される。なお、撮像面は原色ベイヤ配列の色フィルタ(図示せず)によって覆われ、各画素で生成される電荷はR(Red),G(Green)またはB(Blue)の色情報を有する。   Referring to FIG. 1, the video camera 10 of this embodiment includes an optical lens 12. The optical image of the object scene is irradiated on the imaging surface of the CMOS type imaging device 14 through the optical lens 12. A plurality of pixels are two-dimensionally arranged on the imaging surface, and charges corresponding to the amount of light are generated at each pixel. Note that the imaging surface is covered with a primary color Bayer array color filter (not shown), and the charge generated in each pixel has color information of R (Red), G (Green), or B (Blue).

電源が投入されると、CPU40は、撮像タスク上でスルー画像処理を実行するべく、対応する命令を撮像装置14,前処理回路18,後処理回路24およびビデオ表示回路26に与える。   When the power is turned on, the CPU 40 gives corresponding commands to the imaging device 14, the preprocessing circuit 18, the postprocessing circuit 24, and the video display circuit 26 in order to execute through image processing on the imaging task.

撮像装置14は、SG(Signal generator)16から出力される垂直同期信号Vsyncに応答して、撮像面を露光し、かつ露光によって撮像面で生成された電荷をラスタ走査態様で読み出す。撮像面は600万画素の解像度(画素数)を有し、垂直同期信号Vsyncは1/30秒毎に出力される。撮像装置14からは、撮像面で生成された電荷に基づく600万画素の生画像データが30fpsのフレームレートで出力される。   In response to a vertical synchronization signal Vsync output from an SG (Signal generator) 16, the imaging device 14 exposes the imaging surface and reads out the charges generated on the imaging surface by exposure in a raster scanning manner. The imaging surface has a resolution (number of pixels) of 6 million pixels, and the vertical synchronization signal Vsync is output every 1/30 seconds. From the imaging device 14, raw image data of 6 million pixels based on the charges generated on the imaging surface is output at a frame rate of 30 fps.

データ処理回路IC1は、データバスAおよびBにそれぞれ接続されたメモリ装置MD1およびMD2を利用して、撮像装置14から出力された生画像データに各種のデータ処理を施す。以下では、説明の便宜上、メモリ装置MD1およびMD2の割り当て状態を示す表1を参照する。

Figure 0005142644
The data processing circuit IC1 performs various types of data processing on the raw image data output from the imaging device 14 using the memory devices MD1 and MD2 connected to the data buses A and B, respectively. In the following, for convenience of explanation, reference is made to Table 1 showing the allocation state of the memory devices MD1 and MD2.
Figure 0005142644

前処理回路18は、撮像装置14から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施し、処理された生画像データを図2(A)に示す要領でデータバスAに出力する。データバスAに出力された生画像データは、メモリ装置MD1を構成するメモリ制御回路20aに与えられ、メモリ制御回路20aによってSDRAM22aに書き込まれる。   The preprocessing circuit 18 performs processing such as digital clamping, pixel defect correction, and gain control on the raw image data output from the imaging device 14, and the processed raw image data is processed by a data bus in the manner shown in FIG. Output to A. The raw image data output to the data bus A is given to the memory control circuit 20a constituting the memory device MD1, and written to the SDRAM 22a by the memory control circuit 20a.

後処理回路24は、SDRAM22aに格納された生画像データをメモリ制御回路20aを通して1/30秒毎に読み出す。読み出された生画像データは、データバスAを経て後処理回路24の入力端子INに入力され、色分離,白バランス調整,YUV変換,縮小ズームなどの処理を施される。この結果、200万画素相当のYUV画像データが、図2(B)に示す要領で動画出力端子M_OUTからデータバスBに出力される。データバスBに出力されたYUV画像データは、メモリ装置MD2を構成するメモリ制御回路20bに与えられ、メモリ制御回路20bによってSDRAM22bに書き込まれる。   The post-processing circuit 24 reads the raw image data stored in the SDRAM 22a every 1/30 seconds through the memory control circuit 20a. The read raw image data is input to the input terminal IN of the post-processing circuit 24 via the data bus A and subjected to processing such as color separation, white balance adjustment, YUV conversion, and reduction zoom. As a result, YUV image data corresponding to 2 million pixels is output from the moving image output terminal M_OUT to the data bus B in the manner shown in FIG. The YUV image data output to the data bus B is given to the memory control circuit 20b constituting the memory device MD2, and is written into the SDRAM 22b by the memory control circuit 20b.

ビデオ表示回路26は、SDRAM22bに格納されたYUV画像データをメモリ制御回路20bを通して1/30秒毎に読み出す。読み出されたYUV画像データは、データバスBを介してビデオ表示回路26に入力される。ビデオ表示回路26は入力されたYUV画像データに基づいてLCDモニタ30を駆動し、これによって被写界を表すリアルタイム動画像つまりスルー画像がモニタ画面に表示される。   The video display circuit 26 reads the YUV image data stored in the SDRAM 22b every 1/30 seconds through the memory control circuit 20b. The read YUV image data is input to the video display circuit 26 via the data bus B. The video display circuit 26 drives the LCD monitor 30 based on the input YUV image data, whereby a real-time moving image representing a scene, that is, a through image is displayed on the monitor screen.

このようなスルー画像処理の途中(後述する動画記録タスクは停止状態)でキー入力装置42によって静止画記録操作が実行されると、CPU40は、静止画記録処理を実行するべく、対応する命令を後処理回路24,JPEGエンコーダ34およびI/F回路36に与える。   When a still image recording operation is executed by the key input device 42 in the middle of such a through image processing (the moving image recording task described later is stopped), the CPU 40 issues a corresponding command to execute the still image recording processing. This is applied to the post-processing circuit 24, the JPEG encoder 34, and the I / F circuit 36.

後処理回路24は、静止画記録操作が行われた時点の被写界像を表す1フレームのYUV画像データを抽出する。抽出されるYUV画像データは、縮小ズームを施される前の600万画素相当の画像データであり、図2(C)に示す要領で静止画出力端子S_OUTからデータバスBに出力される。出力されたYUV画像データは、データバスBを経てメモリ制御回路20bに与えられ、メモリ制御回路20bによってSDRAM22bに書き込まれる。   The post-processing circuit 24 extracts one frame of YUV image data representing the object scene image at the time when the still image recording operation is performed. The extracted YUV image data is image data corresponding to 6 million pixels before being subjected to the reduction zoom, and is output from the still image output terminal S_OUT to the data bus B in the manner shown in FIG. The output YUV image data is given to the memory control circuit 20b via the data bus B, and is written into the SDRAM 22b by the memory control circuit 20b.

JPEGエンコーダ34は、SDRAM22bに格納された1フレームのYUV画像データをメモリ制御回路20bを通して読み出し、読み出されたYUV画像データをデータバスBを介して入力し、そして入力されたYUV画像データにJPEG方式に従う圧縮処理を施す。JPEG圧縮を施された画像データつまりJPEGデータは、データバスBを介してメモリ制御回路20bに与えられ、メモリ制御回路20bによってSDRAM22bに書き込まれる。   The JPEG encoder 34 reads one frame of YUV image data stored in the SDRAM 22b through the memory control circuit 20b, inputs the read YUV image data via the data bus B, and applies the JPEG to the input YUV image data. Perform compression processing according to the method. Image data subjected to JPEG compression, that is, JPEG data, is applied to the memory control circuit 20b via the data bus B, and is written into the SDRAM 22b by the memory control circuit 20b.

I/F回路36は、SDRAM22bに格納された1フレームのJPEGデータをメモリ制御回路20bを通して読み出し、読み出されたJPEGデータをデータバスBから入力し、そして入力されたJPEGデータをファイル形式で記録媒体38に記録する。こうして、静止画記録操作が行われた時点の被写界像を収納する静止画ファイルが、記録媒体38内に得られる。   The I / F circuit 36 reads one frame of JPEG data stored in the SDRAM 22b through the memory control circuit 20b, inputs the read JPEG data from the data bus B, and records the input JPEG data in a file format. Recording on the medium 38. In this way, a still image file storing the scene image at the time when the still image recording operation is performed is obtained in the recording medium 38.

スルー画像処理の途中でキー入力装置42によって動画記録開始操作が行われると、CPU40は、撮像タスクと並行して動画記録タスクを起動し、起動した動画記録タスク上でH264エンコーダ32およびI/F36に処理命令を与える。   When the moving image recording start operation is performed by the key input device 42 during the through image processing, the CPU 40 activates the moving image recording task in parallel with the imaging task, and the H264 encoder 32 and the I / F 36 on the activated moving image recording task. Is given a processing instruction.

H264エンコーダ32は、SDRAM22bに格納された200万画素相当のYUV画像データをメモリ制御回路20bを通して1/30秒毎に読み出し、読み出されたYUV画像データをデータバスBから入力し、そして入力されたYUV画像データにH264フォーマットに従う圧縮処理を施す。H264圧縮を施された画像データつまりH264データは、データバスBを介してメモリ制御回路20bに与えられ、メモリ制御回路20bによってSDRAM22bに書き込まれる。   The H264 encoder 32 reads YUV image data corresponding to 2 million pixels stored in the SDRAM 22b every 1/30 seconds through the memory control circuit 20b, and inputs the read YUV image data from the data bus B. The YUV image data is compressed according to the H264 format. The H264-compressed image data, that is, H264 data is given to the memory control circuit 20b via the data bus B, and is written into the SDRAM 22b by the memory control circuit 20b.

I/F回路36は、SDRAM22bに蓄積された複数フレームのH264データをメモリ制御回路20bを通して読み出し、読み出されたH264データをデータバスBから入力し、そして入力されたH264データをファイル形式で記録媒体38に記録する。動画記録開始操作に応答して生成された複数フレームのH264データは、記録媒体38内の同じ動画ファイルに蓄積されていく。キー入力装置42上で動画記録終了操作が行われると、動画記録タスクが停止される。動画記録タスクが停止することでH264エンコーダ32およびI/F回路36による上述の動作も停止され、これによって動画ファイルが完成する。   The I / F circuit 36 reads the H264 data of a plurality of frames stored in the SDRAM 22b through the memory control circuit 20b, inputs the read H264 data from the data bus B, and records the input H264 data in a file format. Recording on the medium 38. A plurality of frames of H264 data generated in response to the moving image recording start operation are accumulated in the same moving image file in the recording medium 38. When the moving image recording end operation is performed on the key input device 42, the moving image recording task is stopped. When the moving image recording task is stopped, the above-described operations by the H264 encoder 32 and the I / F circuit 36 are also stopped, whereby a moving image file is completed.

動画記録タスクが起動している途中でキー入力装置42によって静止画記録操作が行われると、CPU40は、静止画記録処理を実行するべく、対応する命令を後処理回路24,JPEGエンコーダ34およびI/F回路36に与える。ただし、動画記録タスクの下でH264エンコーダ32がメモリ装置MD2を使用しているため、後処理回路24の静止画出力端子S_OUTおよびJPEGエンコーダ34にメモリ装置MD2を割り当てると、メモリアクセス動作に掛かる負荷がメモリ装置MD2に偏ってしまう。   If a still image recording operation is performed by the key input device 42 while the moving image recording task is being activated, the CPU 40 sends corresponding instructions to the post-processing circuit 24, the JPEG encoder 34, and the I to execute the still image recording process. / F circuit 36. However, since the H264 encoder 32 uses the memory device MD2 under the moving image recording task, if the memory device MD2 is allocated to the still image output terminal S_OUT of the post-processing circuit 24 and the JPEG encoder 34, the load on the memory access operation Is biased toward the memory device MD2.

そこで、この実施例では、動画記録タスクが起動している途中で静止画記録操作が行われた場合、メモリ装置MD1を後処理回路24の静止画出力端子S_OUTおよびJPEGエンコーダ34に割り当てるようにしている。この結果、後処理回路24,JPEGエンコーダ34およびI/F回路36は次のように動作する。   Therefore, in this embodiment, when a still image recording operation is performed while the moving image recording task is activated, the memory device MD1 is assigned to the still image output terminal S_OUT and the JPEG encoder 34 of the post-processing circuit 24. Yes. As a result, the post-processing circuit 24, the JPEG encoder 34, and the I / F circuit 36 operate as follows.

後処理回路24は、静止画記録操作が行われた時点の被写界像を表す1フレーム(解像度:600万画素)のYUV画像データを静止画出力端子S_OUTからデータバスAに出力する。データバスAに出力されたYUV画像データは、メモリ制御回路20aに与えられ、メモリ制御回路20aによってSDRAM22aに書き込まれる。   The post-processing circuit 24 outputs 1 frame (resolution: 6 million pixels) of YUV image data representing a scene image at the time when the still image recording operation is performed to the data bus A from the still image output terminal S_OUT. The YUV image data output to the data bus A is given to the memory control circuit 20a and written to the SDRAM 22a by the memory control circuit 20a.

JPEGエンコーダ34は、SDRAM22aに格納された1フレームのYUV画像データをメモリ制御回路20aを通して読み出し、読み出されたYUV画像データをデータバスAから入力し、そして入力されたYUV画像データにJPEG圧縮を施す。JPEG圧縮によって得られたJPEGデータは、データバスAを介してメモリ制御回路20aに与えられ、メモリ制御回路20aによってSDRAM22aに書き込まれる。   The JPEG encoder 34 reads one frame of YUV image data stored in the SDRAM 22a through the memory control circuit 20a, inputs the read YUV image data from the data bus A, and performs JPEG compression on the input YUV image data. Apply. JPEG data obtained by JPEG compression is given to the memory control circuit 20a via the data bus A, and is written to the SDRAM 22a by the memory control circuit 20a.

I/F回路36は、SDRAM22aに格納されたJPEGデータをメモリ制御回路20aを通して読み出し、読み出されたJPEGデータをデータバスAから入力し、そして入力されたJPEGデータを収納する静止画ファイルを記録媒体38内に作成する。   The I / F circuit 36 reads the JPEG data stored in the SDRAM 22a through the memory control circuit 20a, inputs the read JPEG data from the data bus A, and records a still image file that stores the input JPEG data. Create in media 38.

CPU40は、撮像タスクと並列して実行されるキャラクタ制御タスクの下で、上述の各種動作に対応するキャラクタコードをメモリ制御回路20a(または20b)を通してSDRAM20a(または20b)に書き込む。キャラクタ表示回路28は、SDRAM22a(または22b)に格納されたキャラクタコードをメモリ制御回路20a(または20b)を通して読み出し、読み出されたキャラクタコードをデータバスA(またはB)から入力し、そして入力されたキャラクタコードに基づいてLCDモニタ30を駆動する。この結果、上述の各種動作をガイドするキャラクタがOSD態様でモニタ画面に表示される。   Under the character control task executed in parallel with the imaging task, the CPU 40 writes the character code corresponding to the various operations described above into the SDRAM 20a (or 20b) through the memory control circuit 20a (or 20b). The character display circuit 28 reads out the character code stored in the SDRAM 22a (or 22b) through the memory control circuit 20a (or 20b), inputs the read character code from the data bus A (or B), and is inputted. The LCD monitor 30 is driven based on the character code. As a result, the character that guides the various operations described above is displayed on the monitor screen in the OSD manner.

以下の説明では、スルー画像処理は起動しているものの動画記録タスクが停止しているモードを“動画表示モード”と定義し、スルー画像処理および動画記録タスクのいずれもが起動しているモードを“動画記録モード”と定義する。   In the following explanation, the mode in which through image processing is activated but the movie recording task is stopped is defined as “movie display mode”, and the mode in which both the through image processing and movie recording task are activated is defined. It is defined as “Movie recording mode”.

前処理回路18は、図3に示すように構成される。撮像装置14からラスタ走査態様で出力された生画像データは、分配器46に与えられる。分配器46は、与えられた生画像データを水平方向において4分割し、分割された4ブロックの生画像データを前処理ブロックPB1〜PB4にそれぞれ入力する。   The preprocessing circuit 18 is configured as shown in FIG. The raw image data output from the imaging device 14 in a raster scanning manner is given to the distributor 46. The distributor 46 divides the given raw image data into four in the horizontal direction, and inputs the divided four blocks of raw image data to the preprocessing blocks PB1 to PB4, respectively.

前処理ブロックPB1はディジタルクランプ回路48a,画素欠陥補正回路50aおよびゲイン制御回路52aによって構成され、前処理ブロックPB2はディジタルクランプ回路48b,画素欠陥補正回路50bおよびゲイン制御回路52bによって構成される。また、前処理ブロックPB3はディジタルクランプ回路48c,画素欠陥補正回路50cおよびゲイン制御回路52cによって構成され、前処理ブロックPB4はディジタルクランプ回路48d,画素欠陥補正回路50dおよびゲイン制御回路52dによって構成される。   The preprocessing block PB1 is configured by a digital clamp circuit 48a, a pixel defect correction circuit 50a, and a gain control circuit 52a, and the preprocessing block PB2 is configured by a digital clamp circuit 48b, a pixel defect correction circuit 50b, and a gain control circuit 52b. The preprocessing block PB3 includes a digital clamp circuit 48c, a pixel defect correction circuit 50c, and a gain control circuit 52c. The preprocessing block PB4 includes a digital clamp circuit 48d, a pixel defect correction circuit 50d, and a gain control circuit 52d. .

したがって、いずれのブロックの生画像データも、ディジタルクランプ,画素欠陥補正およびゲイン制御を共通的に施される。前処理ブロックPB1〜PB4から出力された生画像データはその後、SRAM54に書き込まれる。   Therefore, the raw image data of any block is commonly subjected to digital clamping, pixel defect correction, and gain control. The raw image data output from the preprocessing blocks PB1 to PB4 is then written into the SRAM 54.

コントローラ56は、SRAM54に格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路20aまたは20bに向けて発行し、発行先から承認信号が返送されたときに既定量の生画像データをSRAM54から読み出す。セレクタ58は、データバスAおよびBにそれぞれ接続された2つの出力端子を有し、読み出された生画像データをこの2つの出力端子の一方から出力する。   The controller 56 issues a write request to the memory control circuit 20a or 20b every time the amount of data stored in the SRAM 54 reaches a threshold value, and generates a predetermined amount of raw image data when an approval signal is returned from the issue destination. Read from SRAM 54. The selector 58 has two output terminals respectively connected to the data buses A and B, and outputs the read raw image data from one of the two output terminals.

コントローラ56はレジスタR1を参照して書き込み要求の発行先を特定し、セレクタ58はレジスタR1を参照して生画像データの出力先を特定する。レジスタR1には、メモリ装置MD1を識別する識別情報が登録される。したがって、書き込み要求はメモリ装置MD1を構成するメモリ制御回路20aに向けて発行され、SRAM54から読み出された生画像データはデータバスAに向けて出力される。   The controller 56 refers to the register R1 to specify the issue destination of the write request, and the selector 58 refers to the register R1 to specify the output destination of the raw image data. Identification information for identifying the memory device MD1 is registered in the register R1. Therefore, the write request is issued toward the memory control circuit 20a constituting the memory device MD1, and the raw image data read from the SRAM 54 is output toward the data bus A.

なお、生画像データを形成する各画素は12ビットで表現され、前処理ブロックPB1〜PB4の各々から出力された12ビットの画素データは時分割態様でSRAM54に書き込まれる。ただし、SRAM54からは、水平4画素に相当する48ビットの画素データが同時に読み出される。   Each pixel forming the raw image data is represented by 12 bits, and the 12-bit pixel data output from each of the preprocessing blocks PB1 to PB4 is written in the SRAM 54 in a time division manner. However, 48-bit pixel data corresponding to four horizontal pixels is simultaneously read from the SRAM 54.

後処理回路24は、図4に示すように構成される。コントローラ64は、SRAM62に格納されたデータ量が閾値を下回る毎に読み出し要求をメモリ制御回路20aまたは20bに向けて発行し、発行先から承認信号が返送されたときにSRAM62へのデータ書き込みを実行する。SRAM62に書き込むべき生画像データは読み出し要求の発行先から出力された既定量のデータであり、データバスAまたはBを転送される。セレクタ60は、データバスAおよびBにそれぞれ接続された2つの入力端子を有し、SRAM62に接続された1つの出力端子を有する。データバスAまたはBを転送された生画像データは、このようなセレクタ60を介してSRAM62に与えられる。   The post-processing circuit 24 is configured as shown in FIG. The controller 64 issues a read request to the memory control circuit 20a or 20b every time the amount of data stored in the SRAM 62 falls below the threshold value, and executes data writing to the SRAM 62 when an approval signal is returned from the issue destination. To do. The raw image data to be written in the SRAM 62 is a predetermined amount of data output from the read request issuing destination, and is transferred to the data bus A or B. The selector 60 has two input terminals respectively connected to the data buses A and B, and has one output terminal connected to the SRAM 62. The raw image data transferred through the data bus A or B is given to the SRAM 62 through such a selector 60.

コントローラ64はレジスタR2を参照して読み出し要求の発行先を特定し、セレクタ60はレジスタR2を参照して生画像データの入力元を特定する。レジスタR2には、メモリ装置MD1を示す識別情報が登録される。したがって、読み出し要求はメモリ装置MD1を構成するメモリ制御回路20aに向けて発行され、生画像データはデータバスAを経てセレクタ60に入力される。   The controller 64 refers to the register R2 to identify the issue destination of the read request, and the selector 60 refers to the register R2 to identify the input source of the raw image data. Identification information indicating the memory device MD1 is registered in the register R2. Therefore, the read request is issued toward the memory control circuit 20a constituting the memory device MD1, and the raw image data is input to the selector 60 via the data bus A.

色分離回路66は、SRAM62に格納された生画像データに色分離処理を施す。この結果、各画素がR,GおよびBの全ての色情報を有するRGB画像データが生成される。白バランス調整回路68は色分離回路66から出力されたRGB画像データの白バランスを調整し、YUV変換回路70は白バランス調整回路68から出力されたRGB画像データをYUV画像データに変換する。   The color separation circuit 66 performs color separation processing on the raw image data stored in the SRAM 62. As a result, RGB image data in which each pixel has all the R, G, and B color information is generated. The white balance adjustment circuit 68 adjusts the white balance of the RGB image data output from the color separation circuit 66, and the YUV conversion circuit 70 converts the RGB image data output from the white balance adjustment circuit 68 into YUV image data.

ズーム回路72aは、YUV変換回路70から出力されたYUV画像データに縮小ズームを施し、解像度(画素数)を600万画素から200万画素に低減する。低減された解像度を有するYUV画像データは、SRAM76aに書き込まれる。   The zoom circuit 72a performs reduction zoom on the YUV image data output from the YUV conversion circuit 70, and reduces the resolution (number of pixels) from 6 million pixels to 2 million pixels. The YUV image data having a reduced resolution is written to the SRAM 76a.

図3に示すコントローラ54と同様、コントローラ74aは、SRAM76aに格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路20aまたは20bに向けて発行し、発行先から承認信号が返送されたときに既定量のYUV画像データをSRAM76aから読み出す。セレクタ78aは、データバスAおよびBにそれぞれ接続された2つの出力端子を有し、SRAM76aから読み出されたYUV画像データをこの2つの出力端子の一方から出力する。   Similar to the controller 54 shown in FIG. 3, the controller 74a issues a write request to the memory control circuit 20a or 20b every time the amount of data stored in the SRAM 76a reaches a threshold value, and an approval signal is returned from the issue destination. Sometimes a predetermined amount of YUV image data is read from the SRAM 76a. The selector 78a has two output terminals respectively connected to the data buses A and B, and outputs YUV image data read from the SRAM 76a from one of the two output terminals.

コントローラ74aはレジスタR3を参照して書き込み要求の発行先を特定し、セレクタ78aはレジスタR3を参照してYUV画像データの出力先を特定する。レジスタR3には、メモリ装置MD2を示す識別情報が登録される。したがって、書き込み要求はメモリ装置MD2を構成するメモリ制御回路20bに向けて発行され、SRAM54から読み出された生画像データはデータバスBに向けて出力される。   The controller 74a refers to the register R3 to specify the issue destination of the write request, and the selector 78a refers to the register R3 to specify the output destination of the YUV image data. Identification information indicating the memory device MD2 is registered in the register R3. Therefore, the write request is issued toward the memory control circuit 20b constituting the memory device MD2, and the raw image data read from the SRAM 54 is output toward the data bus B.

ズーム回路72bは、静止画記録操作が行われた時点の1フレームのYUV画像データを抽出し、抽出されたYUV画像データを600万画素の解像度のままSRAM76bに書き込む。上述と同様、コントローラ74bは、SRAM76bに格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路20aまたは20bに向けて発行し、発行先から承認信号が返送されたときに既定量のYUV画像データをSRAM76bから読み出す。セレクタ78bは、データバスAおよびBにそれぞれ接続された2つの出力端子を有し、読み出されたYUV画像データをこの2つの出力端子の一方から出力する。   The zoom circuit 72b extracts one frame of YUV image data at the time when the still image recording operation is performed, and writes the extracted YUV image data in the SRAM 76b with a resolution of 6 million pixels. As described above, the controller 74b issues a write request to the memory control circuit 20a or 20b every time the amount of data stored in the SRAM 76b reaches a threshold value, and when the approval signal is returned from the issue destination, The YUV image data is read from the SRAM 76b. The selector 78b has two output terminals respectively connected to the data buses A and B, and outputs the read YUV image data from one of the two output terminals.

コントローラ74bはレジスタR4を参照して書き込み要求の発行先を特定し、セレクタ78bはレジスタR4を参照してYUV画像データの出力先を特定する。レジスタR4には、動画表示モードに対応してメモリ装置MD2の識別情報が登録される一方、動画記録モードに対応してメモリ装置MD1の識別情報が登録される。したがって、動画表示モードの下では、書き込み要求はメモリ装置MD2を構成するメモリ制御回路20bに向けて発行され、SRAM54から読み出された生画像データはデータバスBに向けて出力される。これに対して、動画記録モードの下では、書き込み要求はメモリ装置MD1を構成するメモリ制御回路20aに向けて発行され、SRAM54から読み出された生画像データはデータバスAに向けて出力される。   The controller 74b refers to the register R4 to identify the issue destination of the write request, and the selector 78b refers to the register R4 to identify the output destination of the YUV image data. In the register R4, identification information of the memory device MD2 is registered corresponding to the moving image display mode, while identification information of the memory device MD1 is registered corresponding to the moving image recording mode. Therefore, under the moving image display mode, a write request is issued toward the memory control circuit 20b constituting the memory device MD2, and the raw image data read from the SRAM 54 is output toward the data bus B. On the other hand, under the moving image recording mode, the write request is issued toward the memory control circuit 20a constituting the memory device MD1, and the raw image data read from the SRAM 54 is output toward the data bus A. .

ビデオ表示回路26は、図5に示すように構成される。図4に示すコントローラ64と同様、コントローラ82は、SRAM84に格納されたデータ量が閾値を下回る毎に読み出し要求をメモリ制御回路20aまたは20bに向けて発行し、発行先から承認信号が返送されたときにSRAM84へのデータ書き込みを実行する。SRAM84に書き込むべきYUV画像データは読み出し要求の発行先から出力された既定量のデータであり、データバスAまたはBを転送される。セレクタ80は、データバスAおよびBにそれぞれ接続された2つの入力端子を有し、SRAM84に接続された1つの出力端子を有する。データバスAまたはBを転送された生画像データは、このようなセレクタ80を介してSRAM84に与えられる。   The video display circuit 26 is configured as shown in FIG. Similar to the controller 64 shown in FIG. 4, the controller 82 issues a read request to the memory control circuit 20a or 20b each time the amount of data stored in the SRAM 84 falls below the threshold, and an approval signal is returned from the issue destination. Sometimes data is written to the SRAM 84. The YUV image data to be written to the SRAM 84 is a predetermined amount of data output from the read request issuance destination, and is transferred to the data bus A or B. The selector 80 has two input terminals respectively connected to the data buses A and B, and has one output terminal connected to the SRAM 84. The raw image data transferred through the data bus A or B is given to the SRAM 84 through such a selector 80.

コントローラ82はレジスタR5を参照して読み出し要求の発行先を特定し、セレクタ80はレジスタR5を参照してYUV画像データの入力元を特定する。レジスタR5には、メモリ装置MD2を示す識別情報が登録される。したがって、読み出し要求はメモリ装置MD2を構成するメモリ制御回路20bに向けて発行され、YUV画像データはデータバスBを経てセレクタ80に入力される。エンコーダ86は、SRAM84に格納されたYUV画像データに所定のエンコード処理を施し、エンコードされた画像信号をLCDモニタ30に向けて出力する。   The controller 82 refers to the register R5 to identify the issue destination of the read request, and the selector 80 refers to the register R5 to identify the input source of the YUV image data. Identification information indicating the memory device MD2 is registered in the register R5. Therefore, the read request is issued to the memory control circuit 20b constituting the memory device MD2, and the YUV image data is input to the selector 80 via the data bus B. The encoder 86 performs a predetermined encoding process on the YUV image data stored in the SRAM 84 and outputs the encoded image signal to the LCD monitor 30.

ビデオ表示回路26は、図6に示すように構成される。図5に示すコントローラ82と同様、コントローラ90は、SRAM92に格納されたデータ量が閾値を下回る毎に読み出し要求をメモリ制御回路20aまたは20bに向けて発行し、発行先から承認信号が返送されたときにSRAM92へのデータ書き込みを実行する。SRAM92に書き込むべきキャラクタコードは読み出し要求の発行先から出力された既定量のコードであり、データバスAまたはBを転送される。セレクタ88は、データバスAおよびBにそれぞれ接続された2つの入力端子を有し、SRAM92に接続された1つの出力端子を有する。データバスAまたはBを転送されたキャラクタコードは、このようなセレクタ88を介してSRAM92に与えられる。   The video display circuit 26 is configured as shown in FIG. Similar to the controller 82 shown in FIG. 5, the controller 90 issues a read request to the memory control circuit 20a or 20b every time the amount of data stored in the SRAM 92 falls below the threshold, and an approval signal is returned from the issue destination. Sometimes data is written to the SRAM 92. The character code to be written in the SRAM 92 is a predetermined amount of code output from the read request issuing destination, and is transferred to the data bus A or B. Selector 88 has two input terminals connected to data buses A and B, respectively, and has one output terminal connected to SRAM 92. The character code transferred through the data bus A or B is given to the SRAM 92 through such a selector 88.

コントローラ90はレジスタR6を参照して読み出し要求の発行先を特定し、セレクタ88はレジスタR6を参照してキャラクタコードの入力元を特定する。レジスタR6には、メモリ装置MD1(またはMD2)を示す識別情報が登録される。したがって、読み出し要求はメモリ装置MD1(またはMD2)を構成するメモリ制御回路20a(または20b)に向けて発行され、キャラクタコードはデータバスA(またはB)を経てセレクタ88に入力される。キャラクタジェネレータ94は、SRAM92に格納されたキャラクタコードに対応するキャラクタ信号を作成し、作成されたキャラクタ信号をLCDモニタ30に向けて出力する。   The controller 90 refers to the register R6 to identify the issue destination of the read request, and the selector 88 refers to the register R6 to identify the character code input source. Identification information indicating the memory device MD1 (or MD2) is registered in the register R6. Therefore, the read request is issued to the memory control circuit 20a (or 20b) constituting the memory device MD1 (or MD2), and the character code is input to the selector 88 via the data bus A (or B). The character generator 94 creates a character signal corresponding to the character code stored in the SRAM 92 and outputs the created character signal to the LCD monitor 30.

H264エンコーダ32は、図7に示すように構成される。コントローラ98は、SRAM100に格納されたデータ量が閾値を下回る毎に読み出し要求をメモリ制御回路20aまたは20bに向けて発行し、発行先から承認信号が返送されたときにSRAM100へのデータ書き込みを実行する。SRAM100に書き込むべきYUV画像データは読み出し要求の発行先から出力された既定量のデータであり、データバスAまたはBを転送される。セレクタ96は、データバスAおよびBにそれぞれ接続された2つの入力端子を有し、SRAM100に接続された1つの出力端子を有する。データバスAまたはBを転送されたYUV画像データは、このようなセレクタ96を介してSRAM100に与えられる。   The H264 encoder 32 is configured as shown in FIG. The controller 98 issues a read request to the memory control circuit 20a or 20b every time the amount of data stored in the SRAM 100 falls below the threshold, and executes data writing to the SRAM 100 when an approval signal is returned from the issue destination. To do. The YUV image data to be written in the SRAM 100 is a predetermined amount of data output from the read request issuance destination, and is transferred through the data bus A or B. Selector 96 has two input terminals respectively connected to data buses A and B, and has one output terminal connected to SRAM 100. The YUV image data transferred through the data bus A or B is given to the SRAM 100 through such a selector 96.

動画圧縮回路102は、SRAM100に格納されたYUV画像データを読み出し、読み出されたYUV画像データにH264圧縮を施し、そしてH264データをSRAM106に書き込む。コントローラ104は、SRAM106に格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路20aまたは20bに向けて発行し、発行先から承認信号が返送されたときに既定量のH264データをSRAM106から読み出す。セレクタ108は、データバスAおよびBにそれぞれ接続された2つの出力端子を有し、読み出されたYUV画像データをこの2つの出力端子の一方から出力する。   The moving image compression circuit 102 reads the YUV image data stored in the SRAM 100, performs H264 compression on the read YUV image data, and writes the H264 data in the SRAM 106. The controller 104 issues a write request to the memory control circuit 20a or 20b every time the amount of data stored in the SRAM 106 reaches a threshold value, and outputs a predetermined amount of H264 data when the approval signal is returned from the issue destination. Read from. The selector 108 has two output terminals connected to the data buses A and B, respectively, and outputs the read YUV image data from one of the two output terminals.

コントローラ98はレジスタR7を参照して読み出し要求の発行先を特定し、セレクタ96はレジスタR7を参照してYUV画像データの入力先を特定する。同様に、コントローラ104はレジスタR8を参照して書き込み要求の発行先を特定し、セレクタ108はレジスタR8を参照してH264データの出力先を特定する。レジスタR7およびR8の各々には、メモリ装置MD2を示す識別情報が登録される。したがって、読み出し要求および書き込み要求は、メモリ装置MD2を構成するメモリ制御回路20bに向けて発行される。また、YUV画像データはデータバスBを経てセレクタ96に入力され、SRAM108から読み出されたH264データはデータバスBに向けて出力される。   The controller 98 refers to the register R7 to identify the issue destination of the read request, and the selector 96 refers to the register R7 to identify the input destination of the YUV image data. Similarly, the controller 104 refers to the register R8 to identify the issue destination of the write request, and the selector 108 refers to the register R8 to identify the output destination of the H264 data. Identification information indicating the memory device MD2 is registered in each of the registers R7 and R8. Therefore, the read request and the write request are issued toward the memory control circuit 20b configuring the memory device MD2. The YUV image data is input to the selector 96 via the data bus B, and the H264 data read from the SRAM 108 is output toward the data bus B.

JPEGエンコーダ34は、図8に示すように構成される。コントローラ112は、SRAM114に格納されたデータ量が閾値を下回る毎に読み出し要求をメモリ制御回路20aまたは20bに向けて発行し、発行先から承認信号が返送されたときにSRAM114へのデータ書き込みを実行する。SRAM114に書き込むべきYUV画像データは読み出し要求の発行先から出力された既定量のデータであり、データバスAまたはBを転送される。セレクタ110は、データバスAおよびBにそれぞれ接続された2つの入力端子を有し、SRAM114に接続された1つの出力端子を有する。データバスAまたはBを転送されたYUV画像データは、このようなセレクタ110を介してSRAM114に与えられる。   The JPEG encoder 34 is configured as shown in FIG. The controller 112 issues a read request to the memory control circuit 20a or 20b each time the amount of data stored in the SRAM 114 falls below the threshold value, and executes data writing to the SRAM 114 when an approval signal is returned from the issue destination. To do. The YUV image data to be written to the SRAM 114 is a predetermined amount of data output from the read request issuance destination, and is transferred to the data bus A or B. Selector 110 has two input terminals connected to data buses A and B, respectively, and one output terminal connected to SRAM 114. The YUV image data transferred through the data bus A or B is given to the SRAM 114 through such a selector 110.

静止画圧縮回路116は、SRAM114に格納されたYUV画像データを読み出し、読み出されたYUV画像データにJPEG圧縮を施し、そしてJPEGデータをSRAM120に書き込む。コントローラ118は、SRAM120に格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路20aまたは20bに向けて発行し、発行先から承認信号が返送されたときに既定量のJPEGデータをSRAM120から読み出す。セレクタ122は、データバスAおよびBにそれぞれ接続された2つの出力端子を有し、読み出されたYUV画像データをこの2つの出力端子の一方から出力する。   The still image compression circuit 116 reads the YUV image data stored in the SRAM 114, performs JPEG compression on the read YUV image data, and writes the JPEG data in the SRAM 120. The controller 118 issues a write request to the memory control circuit 20a or 20b every time the amount of data stored in the SRAM 120 reaches a threshold value, and outputs a predetermined amount of JPEG data to the SRAM 120 when an approval signal is returned from the issue destination. Read from. The selector 122 has two output terminals respectively connected to the data buses A and B, and outputs the read YUV image data from one of the two output terminals.

コントローラ112はレジスタR9を参照して読み出し要求の発行先を特定し、セレクタ110はレジスタR9を参照してYUV画像データの入力先を特定する。同様に、コントローラ118はレジスタR10を参照して書き込み要求の発行先を特定し、セレクタ122はレジスタR10を参照してJPEGデータの出力先を特定する。   The controller 112 refers to the register R9 to identify the issue destination of the read request, and the selector 110 refers to the register R9 to identify the input destination of the YUV image data. Similarly, the controller 118 refers to the register R10 to specify the issue destination of the write request, and the selector 122 refers to the register R10 to specify the output destination of the JPEG data.

レジスタR9およびR10の各々には、メモリ装置MD2を示す識別情報が動画表示モードに対応して登録される一方、メモリ装置MD1を示す識別情報が動画記録モードに対応して登録される。したがって、動画表示モードでは、読み出し要求および書き込み要求は、メモリ装置MD2を構成するメモリ制御回路20bに向けて発行される。また、YUV画像データはデータバスBを経てセレクタ110に入力され、SRAM120から読み出されたJPEGデータはデータバスBに向けて出力される。これに対して、動画記録モードでは、読み出し要求および書き込み要求は、メモリ装置MD1を構成するメモリ制御回路20aに向けて発行される。また、YUV画像データはデータバスAを経てセレクタ110に入力され、SRAM120から読み出されたJPEGデータはデータバスAに向けて出力される。   In each of the registers R9 and R10, identification information indicating the memory device MD2 is registered corresponding to the moving image display mode, while identification information indicating the memory device MD1 is registered corresponding to the moving image recording mode. Therefore, in the moving image display mode, the read request and the write request are issued toward the memory control circuit 20b that constitutes the memory device MD2. The YUV image data is input to the selector 110 via the data bus B, and the JPEG data read from the SRAM 120 is output toward the data bus B. On the other hand, in the moving image recording mode, the read request and the write request are issued toward the memory control circuit 20a configuring the memory device MD1. The YUV image data is input to the selector 110 via the data bus A, and the JPEG data read from the SRAM 120 is output toward the data bus A.

CPU40は、図9に示す撮像タスクと図示しない動画記録タスクおよびキャラクタ制御タスクとを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ44に記憶される。   The CPU 40 executes in parallel a plurality of tasks including an imaging task shown in FIG. 9 and a moving image recording task and a character control task (not shown). Note that control programs corresponding to these tasks are stored in the flash memory 44.

図9に示すステップS1ではメモリ割り当てを初期化する。メモリ装置MD1は、前処理回路18,後処理回路24の入力端子INおよびキャラクタ表示回路28に割り当てられる。また、メモリ装置MD2は、後処理回路24の動画出力端子M_OUTおよび静止画出力端子S_OUT,ビデオ表示回路26ならびにJPEGエンコーダ34に割り当てられる。具体的には、メモリ装置MD1の識別情報がレジスタR1,R2およびR6に登録され、メモリ装置MD2の識別情報がレジスタR3,R4,R5,R9およびR10に登録される。   In step S1 shown in FIG. 9, memory allocation is initialized. The memory device MD1 is assigned to the input terminal IN and the character display circuit 28 of the preprocessing circuit 18, the postprocessing circuit 24. The memory device MD2 is assigned to the moving image output terminal M_OUT and the still image output terminal S_OUT, the video display circuit 26, and the JPEG encoder 34 of the post-processing circuit 24. Specifically, the identification information of the memory device MD1 is registered in the registers R1, R2, and R6, and the identification information of the memory device MD2 is registered in the registers R3, R4, R5, R9, and R10.

なお、H264エンコーダ32へのメモリ割り当てはこの時点では不定でよい。また、キャラクタ表示回路28にはメモリ装置MD1の代わりにメモリ装置MD2を割り当ててもよい。   Note that the memory allocation to the H264 encoder 32 may be indefinite at this point. Further, the memory device MD2 may be assigned to the character display circuit 28 instead of the memory device MD1.

ステップS3では、スルー画像処理を実行する。この結果、被写界のスルー画像がLCDモニタ30に表示される。ステップS5では動画記録開始操作が行われたか否かを判別し、ステップS7では静止画記録操作が行われたか否かを判別する。ステップS7でYESと判別されると、ステップS9で静止画記録処理を実行する。この結果、静止画記録操作が行われた時点の被写界像がファイル形式で記録媒体38に記録される。ステップS9の処理が完了すると、ステップS5に戻る。   In step S3, through image processing is executed. As a result, a through image of the object scene is displayed on the LCD monitor 30. In step S5, it is determined whether or not a moving image recording start operation has been performed. In step S7, it is determined whether or not a still image recording operation has been performed. If YES is determined in the step S7, a still image recording process is executed in a step S9. As a result, the scene image at the time when the still image recording operation is performed is recorded on the recording medium 38 in the file format. When the process of step S9 is completed, the process returns to step S5.

動画記録開始操作が行われると、ステップS5からステップS11に進み、動画記録モードに適合するようにメモリ割り当ての一部を変更する。具体的には、H264エンコーダ32にメモリ装置MD2を割り当て、かつ後処理回路24の静止画出力端子S_OUTとJPEGエンコーダ34とに割り当てられるメモリ装置を“MD2”から“MD1”に変更する。この変更処理は、垂直同期信号Vsyncに同期して垂直ブランキング期間に実行される。この結果、メモリ装置MD2の識別情報がレジスタR7およびR8に登録され、メモリ装置MD1の識別情報がレジスタR4,R9およびR10に登録される。メモリ割り当ての変更が完了すると、ステップS13で動画記録タスクを起動する。この結果、被写界を表す動画像がファイル形式で記録媒体38に記録される。   When the moving image recording start operation is performed, the process proceeds from step S5 to step S11, and a part of memory allocation is changed so as to conform to the moving image recording mode. Specifically, the memory device MD2 is assigned to the H264 encoder 32, and the memory device assigned to the still image output terminal S_OUT of the post-processing circuit 24 and the JPEG encoder 34 is changed from “MD2” to “MD1”. This change process is executed in the vertical blanking period in synchronization with the vertical synchronization signal Vsync. As a result, the identification information of the memory device MD2 is registered in the registers R7 and R8, and the identification information of the memory device MD1 is registered in the registers R4, R9, and R10. When the change of the memory allocation is completed, the moving image recording task is activated in step S13. As a result, a moving image representing the scene is recorded on the recording medium 38 in a file format.

ステップS15では動画記録終了操作が行われたか否かを判別し、ステップS17では静止画記録操作が行われたか否かを判別する。ステップS17でYESと判別されると、ステップS19で上述のステップS9と同様の静止画記録処理を実行する。この結果、静止画記録操作が行われた時点の被写界像がファイル形式で記録媒体38に記録される。ステップS19の処理が完了すると、ステップS15に戻る。   In step S15, it is determined whether or not a moving image recording end operation has been performed. In step S17, it is determined whether or not a still image recording operation has been performed. If YES is determined in the step S17, a still image recording process similar to the above-described step S9 is executed in a step S19. As a result, the scene image at the time when the still image recording operation is performed is recorded on the recording medium 38 in the file format. When the process of step S19 is completed, the process returns to step S15.

動画記録終了操作が行われると、ステップS15でYESと判断し、ステップS21で動画記録タスクを停止する。この結果、記録媒体38への動画像の記録が終了され、動画ファイルが完成する。ステップS23ではメモリ割り当てを初期化し、初期化が完了するとステップS5に戻る。   When the moving image recording end operation is performed, YES is determined in step S15, and the moving image recording task is stopped in step S21. As a result, the recording of the moving image on the recording medium 38 is finished, and the moving image file is completed. In step S23, memory allocation is initialized, and when initialization is completed, the process returns to step S5.

以上の説明から分かるように、前処理回路18は、被写界を表す画像データを繰り返し取り込む。後処理回路24,ビデオ表示回路26およびH264エンコーダ32は、前処理回路18によって取り込まれた画像データに指定モード(動画表示モードまたは動画記録モード)に従う動画処理(動画表示モード:後処理およびビデオ表示,動画記録モード:後処理,ビデオ表示およびH264圧縮)を施す。また、後処理回路24およびJPEGエンコーダ34は、前処理回路18によって取り込まれた画像データの一部(=1フレーム)に静止画処理(後処理およびJPEG圧縮)を施す。したがって、後処理回路24,ビデオ表示回路26およびH264エンコーダ32の動画処理量は、動作モードによって異なる。   As can be seen from the above description, the preprocessing circuit 18 repeatedly captures image data representing the object scene. The post-processing circuit 24, the video display circuit 26, and the H264 encoder 32 perform moving image processing (moving image display mode: post-processing and video display) according to a designated mode (moving image display mode or moving image recording mode) on the image data captured by the pre-processing circuit 18. , Moving image recording mode: post-processing, video display and H264 compression). Further, the post-processing circuit 24 and the JPEG encoder 34 perform still image processing (post-processing and JPEG compression) on a part (= 1 frame) of the image data captured by the pre-processing circuit 18. Therefore, the moving image processing amounts of the post-processing circuit 24, the video display circuit 26, and the H264 encoder 32 differ depending on the operation mode.

メモリ制御回路20aおよび20bは、動画処理に係る画像データ(200万画素のYUV画像データまたはH264データ)および静止画処理に係る画像データ(600万画素のYUV画像データまたはJPEGデータ)の書き込みおよび/または読み出しのために、SDRAM22aおよび22bにそれぞれアクセスする。CPU40は、静止画処理に係る画像データのメモリアクセス動作を担うメモリ制御回路を、動画処理量に応じて(動作モードに応じて)メモリ制御回路20aおよび20bの間で変更する(S11, S23)。   The memory control circuits 20a and 20b write and / or write image data (2 million pixel YUV image data or H264 data) related to moving image processing and image data (6 million pixel YUV image data or JPEG data) related to still image processing. Alternatively, the SDRAMs 22a and 22b are respectively accessed for reading. The CPU 40 changes the memory control circuit responsible for the memory access operation of the image data related to the still image processing between the memory control circuits 20a and 20b according to the moving image processing amount (according to the operation mode) (S11, S23). .

具体的には、動画処理に係る画像データのメモリアクセス動作は、メモリ制御回路20bによって担われる。ただし、H264エンコーダ32は、動画記録モードにおいて起動される一方、動画表示モードにおいて停止される。つまり、H264データのメモリアクセス動作は、動画記録モードにおいてのみ実行される。CPU40は、静止画処理に係る画像データのメモリアクセス動作を、動画表示モードに対応してメモリ制御回路20bに割り当て、動画記録モードに対応してメモリ制御回路20aに割り当てる。   Specifically, the memory access operation of the image data related to the moving image processing is performed by the memory control circuit 20b. However, the H264 encoder 32 is started in the moving image recording mode and stopped in the moving image display mode. That is, the memory access operation for H264 data is executed only in the moving image recording mode. The CPU 40 assigns the memory access operation of the image data related to the still image processing to the memory control circuit 20b corresponding to the moving image display mode and to the memory control circuit 20a corresponding to the moving image recording mode.

SDRAM22aおよび22bには、動画処理に係る画像データおよび静止画処理に係る画像データが格納される。動画処理の内容は指定モードに依存するため、動画処理に係る画像データのメモリアクセス動作に掛かる負荷はモードによって相違する。そこで、この実施例では、静止画処理に係る画像データのメモリアクセス動作を担うメモリ制御回路を指定モードに応じて変更するようにしている。この変更動作は、レジスタR4,R9およびR10に登録された識別情報を更新することで実現される。これによって、メモリアクセス動作に掛かる負荷をメモリ制御回路20aおよび20bの間で適応的に分散することができる。   The SDRAMs 22a and 22b store image data related to moving image processing and image data related to still image processing. Since the content of the moving image processing depends on the designated mode, the load applied to the memory access operation of the image data related to the moving image processing differs depending on the mode. Therefore, in this embodiment, the memory control circuit responsible for the memory access operation of the image data related to the still image processing is changed according to the designated mode. This changing operation is realized by updating the identification information registered in the registers R4, R9, and R10. Thereby, the load applied to the memory access operation can be adaptively distributed between the memory control circuits 20a and 20b.

なお、この実施例では、CMOS型の撮像装置を用いているが、これに代えてCCD型の撮像装置を用いるようにしてもよい。さらに、この実施例ではビデオカメラを想定しているが、この発明のデータ処理装置はビデオカメラ以外の装置にも適用できる。   In this embodiment, a CMOS type imaging device is used, but a CCD type imaging device may be used instead. Furthermore, although a video camera is assumed in this embodiment, the data processing apparatus of the present invention can be applied to apparatuses other than the video camera.

また、この実施例では、表1に示す要領でメモリ割り当てを行うようにしているが、メモリ割り当ての組み合わせはこれに限られるものではない。つまり、メモリ装置MD1およびMD2の一方の割り当て先とメモリ装置MD1およびMD2の他方の割り当て先とを互いに入れ替えてもよいし、3つ以上のメモリ装置および3つ以上のデータバスを設けるようにしてもよい。   In this embodiment, memory allocation is performed in the manner shown in Table 1, but the combination of memory allocation is not limited to this. That is, one allocation destination of the memory devices MD1 and MD2 and the other allocation destination of the memory devices MD1 and MD2 may be interchanged with each other, and three or more memory devices and three or more data buses are provided. Also good.

より具体的には、この実施例では、動画表示モードにおける静止画記録操作に応答して生成されたJPEGデータをSDRAM22bに書き込み、動画記録操作に応答して生成されたH264データもまたSDRAM22bに書き込むようにしている。しかし、動画表示モードの下で生成されたJPEGデータならびに動画記録操作に応答して生成されたH264データは、SDRAM22aに書き込むようにしてもよい。この場合、動画記録モードにおける静止画記録操作に応答して生成されたJPEGデータの書き込み先は、SDRAM22bとされる。   More specifically, in this embodiment, JPEG data generated in response to a still image recording operation in the moving image display mode is written to the SDRAM 22b, and H264 data generated in response to the moving image recording operation is also written to the SDRAM 22b. I am doing so. However, the JPEG data generated under the moving image display mode and the H264 data generated in response to the moving image recording operation may be written in the SDRAM 22a. In this case, the write destination of JPEG data generated in response to the still image recording operation in the moving image recording mode is the SDRAM 22b.

また、この実施例では、1画素を12ビットで表現するようにしているが、1画素を14ビットで表現するようにしてもよい。   In this embodiment, one pixel is represented by 12 bits, but one pixel may be represented by 14 bits.

この実施例のビデオカメラの構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the video camera of this Example. (A)は前処理回路の出力動作の一例を示すタイミング図であり、(B)は後処理回路の動画出力動作の一例を示すタイミング図であり、(C)は後処理回路の静止画出力動作の一例を示すタイミング図である。(A) is a timing diagram showing an example of the output operation of the pre-processing circuit, (B) is a timing diagram showing an example of the moving image output operation of the post-processing circuit, and (C) is a still image output of the post-processing circuit. It is a timing diagram which shows an example of operation | movement. 図1実施例に適用される前処理回路の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the pre-processing circuit applied to FIG. 1 Example. 図1実施例に適用される後処理回路の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the post-processing circuit applied to FIG. 1 Example. 図1実施例に適用されるビデオ表示回路の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the video display circuit applied to the FIG. 1 Example. 図1実施例に適用されるキャラクタ表示回路の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the character display circuit applied to the FIG. 1 Example. 図1実施例に適用されるH264エンコーダの構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the H264 encoder applied to FIG. 1 Example. 図1実施例に適用されるJPEGエンコーダの構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the JPEG encoder applied to the FIG. 1 Example. 図1実施例に適用されるCPUの動作の一部を示すフロー図である。It is a flowchart which shows a part of operation | movement of CPU applied to the FIG. 1 Example.

符号の説明Explanation of symbols

10 …ビデオカメラ
14 …撮像装置
18 …前処理回路
24 …後処理回路
A,B …バス
20a,20b …メモリ制御回路
22a,22b …SDRAM
26 …ビデオ表示回路
32 …H264エンコーダ
34 …JPEGエンコーダ
40 …CPU
DESCRIPTION OF SYMBOLS 10 ... Video camera 14 ... Imaging device 18 ... Pre-processing circuit 24 ... Post-processing circuit A, B ... Bus 20a, 20b ... Memory control circuit 22a, 22b ... SDRAM
26 ... Video display circuit 32 ... H264 encoder 34 ... JPEG encoder 40 ... CPU

Claims (8)

複数のメモリ装置にそれぞれ接続される複数の出力端を各々が有し、前記複数の出力端のうち指定出力端からデータを出力するデータ出力処理を各々が実行する複数の出力手段
前記複数のメモリ装置にそれぞれ接続される複数の入力端を各々が有し、前記複数の入力端のうち指定入力端からデータを入力するデータ入力処理を各々が実行する複数の入力手段
前記複数の出力手段にそれぞれ割り当てられかつ前記指定出力端を識別する第1識別情報を各々が保持する複数の第1保持手段、
前記複数の入力手段にそれぞれ割り当てられかつ前記指定入力端を識別する第2識別情報を各々が保持する複数の第2保持手段、および
前記複数の第1保持手段の各々によって保持された第1識別情報および前記複数の第2保持手段の各々によって保持された第2識別情報の一部をモードに応じて変更する変更手段を備える、データ処理回路。
A plurality of output means each having a plurality of output terminals connected to a plurality of memory devices, each of which executes data output processing for outputting data from a specified output terminal among the plurality of output terminals ;
A plurality of input means each having a plurality of input terminals respectively connected to the plurality of memory devices , each of which executes data input processing for inputting data from a designated input terminal among the plurality of input terminals ;
A plurality of first holding means respectively assigned to the plurality of output means and each holding first identification information for identifying the designated output end;
A plurality of second holding means respectively assigned to the plurality of input means and each holding second identification information for identifying the designated input end; and
Changing means for changing the first identification information held by each of the plurality of first holding means and a part of the second identification information held by each of the plurality of second holding means according to the mode ; Data processing circuit.
所望のデータを取り込む取り込み手段をさらに備え、
前記複数の出力手段は前記取り込み手段によって取り込まれたデータに前記データ出力処理を施す取り込みデータ出力手段を含む、請求項1記載のデータ処理回路。
It further includes a capturing means for capturing desired data,
The data processing circuit according to claim 1, wherein the plurality of output units include a capture data output unit that performs the data output process on the data captured by the capture unit.
所望のデータに第1変換処理を施す第1変換手段をさらに備え、
前記複数の入力手段は前記第1変換手段によって変換するためのデータを入力する第1変換データ入力手段を含む、請求項1または2記載のデータ処理回路。
A first conversion means for performing a first conversion process on the desired data;
3. The data processing circuit according to claim 1, wherein the plurality of input means include first conversion data input means for inputting data to be converted by the first conversion means.
前記複数の出力手段は前記第1変換手段によって変換されたデータに前記データ出力処理を施す第1変換データ出力手段を含む、請求項3記載のデータ処理回路。   4. The data processing circuit according to claim 3, wherein the plurality of output means include first converted data output means for performing the data output processing on the data converted by the first conversion means. 所望のデータを外部に出力する外部出力手段をさらに備え、
前記複数の入力手段は前記外部出力手段によって出力するためのデータを入力する外部出力データ入力手段を含む、請求項1ないし4のいずれかに記載のデータ処理回路。
An external output means for outputting desired data to the outside;
5. The data processing circuit according to claim 1, wherein the plurality of input means include external output data input means for inputting data to be output by the external output means.
所望のデータに第2変換処理を施す第2変換手段をさらに備え、
前記複数の入力手段は前記第2変換手段によって変換するためのデータを入力する第2変換データ入力手段を含む、請求項1ないし5のいずれかに記載のデータ処理回路。
A second conversion means for performing a second conversion process on the desired data;
6. The data processing circuit according to claim 1, wherein the plurality of input means include second conversion data input means for inputting data to be converted by the second conversion means.
前記複数の出力手段は前記第2変換手段によって変換されたデータに前記データ出力処理を施す第2変換データ出力手段を含む、請求項6記載のデータ処理回路。   7. The data processing circuit according to claim 6, wherein the plurality of output means include second converted data output means for performing the data output processing on the data converted by the second conversion means. 請求項1ないし7のいずれかに記載のデータ処理回路を備える、電子装置。   An electronic device comprising the data processing circuit according to claim 1.
JP2007235499A 2007-09-11 2007-09-11 Data processing circuit Expired - Fee Related JP5142644B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007235499A JP5142644B2 (en) 2007-09-11 2007-09-11 Data processing circuit
US12/207,999 US20090066808A1 (en) 2007-09-11 2008-09-10 Image-data processing apparatus and data-processing circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007235499A JP5142644B2 (en) 2007-09-11 2007-09-11 Data processing circuit

Publications (2)

Publication Number Publication Date
JP2009069978A JP2009069978A (en) 2009-04-02
JP5142644B2 true JP5142644B2 (en) 2013-02-13

Family

ID=40606192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007235499A Expired - Fee Related JP5142644B2 (en) 2007-09-11 2007-09-11 Data processing circuit

Country Status (1)

Country Link
JP (1) JP5142644B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3689927B2 (en) * 1995-03-29 2005-08-31 富士ゼロックス株式会社 Image processing device
JP2004127245A (en) * 2002-08-07 2004-04-22 Matsushita Electric Ind Co Ltd Semiconductor integrated circuit device

Also Published As

Publication number Publication date
JP2009069978A (en) 2009-04-02

Similar Documents

Publication Publication Date Title
US7573504B2 (en) Image recording apparatus, image recording method, and image compressing apparatus processing moving or still images
US9049372B2 (en) Electronic camera, computer readable medium recording imaging control program thereon and imaging control method
US8149285B2 (en) Video camera which executes a first process and a second process on image data
US20060109502A1 (en) Image print instruction apparatus, control method of the same, and image printing system
JP2015053644A (en) Imaging device
JP2007274504A (en) Digital camera
JP4343657B2 (en) Image recording device
JP5142644B2 (en) Data processing circuit
JP4911619B2 (en) Image data processing device
US8842193B2 (en) Imaging apparatus
JP2009177652A (en) Data processing apparatus
JP6041630B2 (en) Image processing device
JP5539078B2 (en) Display control apparatus, method, program, and recording medium
US20070186162A1 (en) File access apparatus
JP2010028758A (en) Image processing apparatus and method, program, and imaging apparatus
US20090066808A1 (en) Image-data processing apparatus and data-processing circuit
JP5030721B2 (en) Data processing circuit
JP5078516B2 (en) Video camera
JP5041935B2 (en) Video camera
JP2009200981A (en) Video camera
JP2006287733A (en) Imaging apparatus, operating method thereof, storage medium, and program
JP6857863B1 (en) Imaging device and recording method of image data
JP2014116746A (en) Imaging device, distortion correction circuit and distortion correction method
US20050168577A1 (en) Digital camera
JP6312430B2 (en) Imaging apparatus and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees