JP4775648B2 - Imaging apparatus, control method, and program - Google Patents

Imaging apparatus, control method, and program Download PDF

Info

Publication number
JP4775648B2
JP4775648B2 JP2006221995A JP2006221995A JP4775648B2 JP 4775648 B2 JP4775648 B2 JP 4775648B2 JP 2006221995 A JP2006221995 A JP 2006221995A JP 2006221995 A JP2006221995 A JP 2006221995A JP 4775648 B2 JP4775648 B2 JP 4775648B2
Authority
JP
Japan
Prior art keywords
recording
data
compression
image
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006221995A
Other languages
Japanese (ja)
Other versions
JP2008048173A (en
Inventor
謙一 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006221995A priority Critical patent/JP4775648B2/en
Publication of JP2008048173A publication Critical patent/JP2008048173A/en
Application granted granted Critical
Publication of JP4775648B2 publication Critical patent/JP4775648B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置、制御方法、およびプログラムに関し、特に、動画の記録中に静止画の記録を行うことが可能な撮像装置において、動画記録用の画像と静止画記録用の画像の記録先となるメモリの帯域を抑えることができるようにした撮像装置、制御方法、およびプログラムに関する。   The present invention relates to an imaging apparatus, a control method, and a program, and more particularly, to an imaging apparatus capable of recording a still image during recording of a moving image, and a recording destination of an image for recording a moving image and an image for recording a still image. The present invention relates to an imaging apparatus, a control method, and a program that can suppress the memory bandwidth.

近年販売されているデジタルスチルカメラには、一般的に、静止画の撮影機能の他に動画の撮影機能も設けられている。特許文献1には、記録する動画の符号量を抑えることができるようにする技術が記載されている。
特開2000−138940号公報
Digital still cameras sold in recent years are generally provided with a moving image shooting function in addition to a still image shooting function. Japanese Patent Application Laid-Open No. 2004-228561 describes a technique that enables the code amount of a moving image to be recorded to be suppressed.
JP 2000-138940 A

動画を記録する前に行われる圧縮処理は比較的処理量の多い処理であり、また、圧縮処理に使うメモリへのアクセスも頻繁に行われるため、動画を記録するだけならまだしも、同時に静止画のキャプチャをも行おうとした場合、用いられるメモリが同じメモリであるときには、動画の圧縮処理のためのメモリへのアクセスと、静止画をキャプチャするためのメモリへのアクセスが重なり、確保しておく必要のあるメモリ帯域が大きくなってしまう。   The compression process that is performed before recording a moving image is a relatively large amount of processing, and the memory used for the compression process is also frequently accessed. When attempting to capture, if the same memory is used, access to the memory for video compression processing and access to the memory for capturing still images must overlap and be secured. Some memory bandwidth will increase.

例えば、動画の記録中に、動画の解像度よりも高い解像度の静止画を記録しようとした場合、動画の記録用の画像とは別に、それより高い解像度の画像を静止画の記録用の画像としてメモリにキャプチャしておく必要がある。   For example, when recording a still image with a resolution higher than the resolution of the moving image during recording of the moving image, an image with a higher resolution is used as an image for recording the still image separately from the image for recording the moving image. Must be captured in memory.

このことは、デジタルスチルカメラだけでなく、静止画の撮影機能が搭載されたビデオカメラにおいて動画の記録中に静止画の記録を行うときも同様である。   This is the same when recording still images during recording of moving images not only in digital still cameras but also in video cameras equipped with a still image shooting function.

本発明はこのような状況に鑑みてなされたものであり、動画の記録中に静止画の記録を行うことが可能な撮像装置において、動画記録用の画像と静止画記録用の画像の記録先となるメモリの帯域を抑えることができるようにするものである。   The present invention has been made in view of such circumstances, and in an imaging apparatus capable of recording a still image during recording of a moving image, a recording destination of an image for recording a moving image and an image for recording a still image. Therefore, it is possible to reduce the memory bandwidth.

本発明の一側面の撮像装置は、動画の記録中、撮像し、所定の解像度の画像を出力するイメージャと、前記イメージャから出力された画像の解像度変換を行う変換手段と、前記イメージャから出力された前記所定の解像度の画像を静止画記録用のデータとして記録し、前記変換手段による解像度変換によって得られた画像を動画記録用のデータとして記録するメモリと、前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行う圧縮手段と、動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である前記圧縮手段による圧縮処理と、前記イメージャから出力された前記静止画記録用のデータを記録させる処理と、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理のうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせる制御手段を備える。 An imaging apparatus according to an aspect of the present invention captures an image during recording of a moving image and outputs an image with a predetermined resolution, conversion means for converting the resolution of an image output from the imager, and output from the imager. In addition, the image having the predetermined resolution is recorded as still image recording data, and the image obtained by the resolution conversion by the converting unit is recorded as moving image recording data, and the moving image recording recorded in the memory A compression unit that performs compression processing on the target data using the memory, and compression by the compression unit , which is a process that accompanies access to the memory when a still image recording is instructed during recording of a moving image. processing and a processing for recording the data for the still image recording which is outputted from the imager, before obtained by the resolution conversion by said converting means Of the processes for recording data for video recording, the compression means to interrupt the compression process by, with to perform processing for recording data of the still image recording which is outputted from the imager, the resolution by the converting means and control means for causing the process to record the data of the video recording obtained by the conversion continues.

前記動画記録用のデータである画像は、前記静止画記録用のデータである画像より解像度の低い画像であるようにすることができる。   The image that is the data for moving image recording may be an image having a lower resolution than the image that is the data for still image recording.

前記制御手段には、前記圧縮手段による圧縮処理を、前記静止画記録用のデータを前記メモリに記録させ終わるまで中断させることができる。   The control means can interrupt the compression processing by the compression means until the still image recording data is recorded in the memory.

前記制御手段には、さらに、静止画の記録が指示された時までに前記圧縮手段により圧縮され、前記メモリに記録されている圧縮済みの動画のデータを前記メモリから他の記録媒体に転送することも中断させることができる。   The control means further transfers the compressed moving image data compressed by the compression means and recorded in the memory by the time when the recording of the still image is instructed to the other recording medium. Can also be interrupted.

前記制御手段には、静止画の記録が指示されることに応じて前記静止画記録用のデータを前記メモリに記録させ終わってから、圧縮処理の対象になるデータとして前記メモリに記録されている前記動画記録用のデータと前記圧縮手段により圧縮処理の対象にされている前記動画記録用のデータの関係が圧縮処理を中断させる前と同じ関係になるまでの間、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせることができる。   In response to an instruction to record a still image, the control unit records the still image recording data in the memory, and then records the data as data to be compressed in the memory. Until the relationship between the data for moving image recording and the data for moving image recording being subjected to compression processing by the compression means is the same as that before the compression processing is interrupted, at a higher speed than before the interruption. The compression means can compress the moving image recording data.

前記制御手段には、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせている間、次の静止画の記録を禁止させることができる。   The control means can prohibit the recording of the next still image while the compression means is compressing the data for moving image recording at a faster speed than before the interruption.

本発明の一側面の制御方法は、動画の記録中に静止画の記録が指示された時メモリに対するアクセスを伴う処理である、圧縮手段による圧縮処理と、イメージャから出力された静止画記録用のデータを記録させる処理と、変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理のうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせるステップを含む。
本発明の一側面のプログラムは、動画の記録中に静止画の記録が指示された時、メモリに対するアクセスを伴う処理である、圧縮手段による圧縮処理と、イメージャから出力された静止画記録用のデータを記録させる処理と、変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理とのうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせるステップを含む処理をコンピュータに実行させる。
According to an aspect of the present invention, there is provided a control method for compressing a memory, which is a process involving access to a memory when recording of a still image is instructed during recording of a moving image, and for recording a still image output from an imager . and processing for the data recording, among the process of recording data of the video recording obtained by the resolution conversion by converting means, to interrupt the compression process by the compression means, the still image outputted from the imager And a step of continuously performing the process of recording the moving image recording data obtained by the resolution conversion by the converting unit while performing the process of recording the recording data.
A program according to one aspect of the present invention is a process for compressing a memory, which is a process involving access to a memory when recording of a still image is instructed during recording of a moving image, and for recording a still image output from an imager. Of the process for recording data and the process for recording the data for moving image recording obtained by the resolution conversion by the conversion unit, the compression process by the compression unit is interrupted, and the still image recording output from the imager And causing the computer to execute a process including a step of continuously performing the process of recording the moving image recording data obtained by the resolution conversion by the conversion unit.

本発明の一側面においては、動画の記録中に静止画の記録が指示された時、メモリに対するアクセスを伴う処理である、圧縮手段による圧縮処理と、イメージャから出力された静止画記録用のデータを記録させる処理と、変換手段による解像度変換によって得られた動画記録用のデータを記録させる処理のうち、前記圧縮手段による圧縮処理が中断され、前記イメージャから出力された静止画記録用のデータを記録させる処理が行われ、前記変換手段による解像度変換によって得られた動画記録用のデータを記録させる処理が継続して行われるIn one aspect of the present invention, when recording of a still image is instructed during recording of a moving image, compression processing by the compression means, which is processing that accompanies access to the memory , and still image recording data output from the imager Among the processing for recording the image and the processing for recording the moving image recording data obtained by the resolution conversion by the converting means, the compression processing by the compression means is interrupted, and the still image recording data output from the imager Is recorded, and the process of recording the moving image recording data obtained by the resolution conversion by the converting means is continuously performed .

本発明の一側面によれば、動画記録用の画像と静止画記録用の画像の記録先となるメモリの帯域を抑えることができる。   According to one aspect of the present invention, it is possible to suppress a bandwidth of a memory that is a recording destination of an image for moving image recording and an image for still image recording.

以下、本発明の実施の形態について図を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の一実施形態に係る撮像装置1の構成例を示すブロック図である。   FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus 1 according to an embodiment of the present invention.

撮像装置1は例えばデジタルビデオカメラであり、動画の記録中であっても、イメージャにより取り込まれた同じ画像を元に、動画の記録と、動画の解像度よりも高い解像度の静止画の記録を行うことができるようになされている。   The imaging device 1 is, for example, a digital video camera, and records a moving image and a still image with a resolution higher than the resolution of the moving image based on the same image captured by the imager even during the recording of the moving image. It has been made so that it can.

図1に示されるように、撮像装置1は、例えば、イメージャ11、信号処理チップ12、DRAM(Dynamic Random Access Memory)13、記録メディア14から構成される。図1に示される構成の他に、レンズ、バッテリなども撮像装置1には設けられる。   As shown in FIG. 1, the imaging device 1 includes, for example, an imager 11, a signal processing chip 12, a DRAM (Dynamic Random Access Memory) 13, and a recording medium 14. In addition to the configuration shown in FIG. 1, the imaging device 1 is also provided with a lens, a battery, and the like.

イメージャ11は、レンズを介して入射する被写体からの光を受光して光電変換を行い、受光量に応じたアナログの画像信号に対してA/D(Analog/Digital)変換を施してから、デジタル信号の画像データを信号処理チップ12に出力する。イメージャ11は、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子と、A/D変換を行う回路などにより構成される。A/D変換を行う回路などはイメージャ11の後段にイメージャ11とは別に設けられるようにしてもよい。   The imager 11 receives light from a subject incident through a lens, performs photoelectric conversion, performs A / D (Analog / Digital) conversion on an analog image signal corresponding to the amount of received light, and then performs digital conversion. The image data of the signal is output to the signal processing chip 12. The imager 11 includes an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) and a circuit that performs A / D conversion. A circuit for performing A / D conversion may be provided separately from the imager 11 in the subsequent stage of the imager 11.

信号処理チップ12は、CPU(Central Processing Unit)21、前処理部22、カメラ信号処理部23、動画圧縮処理部24、記録メディアI/F25、内部バス26、およびメモリコントローラ27より構成され、イメージャ11からの出力であるRAWデータに対して各種の処理を施し、処理を施すことによって得られた動画や静止画を記録メディア14に記録させる。信号処理チップ12による処理には、適宜、DRAM13が用いられる。   The signal processing chip 12 includes a CPU (Central Processing Unit) 21, a preprocessing unit 22, a camera signal processing unit 23, a moving image compression processing unit 24, a recording medium I / F 25, an internal bus 26, and a memory controller 27. Various processing is performed on the RAW data, which is output from 11, and the moving image and still image obtained by performing the processing are recorded on the recording medium. A DRAM 13 is used as appropriate for the processing by the signal processing chip 12.

記録メディア14は、テープ、DVD(Digital Versatile Disc)、メモリカードなどの、撮像装置1に対して着脱式の記録媒体であったり、ハードディスクなどの撮像装置1に内蔵される固定式の記録媒体である。   The recording medium 14 is a detachable recording medium such as a tape, a DVD (Digital Versatile Disc), a memory card, or the like, or a fixed recording medium built in the imaging apparatus 1 such as a hard disk. is there.

信号処理チップ12のCPU21は、あらかじめ用意されるプログラムを実行し、前処理部22、カメラ信号処理部23、動画圧縮処理部24、記録メディアI/F25を制御する。   The CPU 21 of the signal processing chip 12 executes a program prepared in advance and controls the preprocessing unit 22, the camera signal processing unit 23, the moving image compression processing unit 24, and the recording media I / F 25.

前処理部22は、CPU21による制御に従って、イメージャ11から供給されたRAWデータに対して前処理を施す。例えば、ノイズリダクション処理、ホワイトバランス調整処理、ガンマ補正処理などが前処理として行われる。前処理部22により前処理が施されたRAWデータは、そのデータが動画の記録に用いるデータである場合には内部バス26を介してカメラ信号処理部23に出力され、静止画の記録が指示されたときに得られたデータである場合には、静止画記録用のデータとして、内部バス26を介してメモリコントローラ27に出力される。   The preprocessing unit 22 performs preprocessing on the RAW data supplied from the imager 11 according to control by the CPU 21. For example, noise reduction processing, white balance adjustment processing, gamma correction processing, and the like are performed as preprocessing. The RAW data preprocessed by the preprocessing unit 22 is output to the camera signal processing unit 23 via the internal bus 26 when the data is data used for recording a moving image, and an instruction to record a still image is given. If the data is obtained at the time, the data is output to the memory controller 27 via the internal bus 26 as still image recording data.

カメラ信号処理部23は、前処理部22から内部バス26を介して供給されたRAWデータに対してカメラ信号処理を施す。例えば、輝度信号、色差信号を生成する色差分離マトリックス処理や、解像度を動画の記録フォーマットに応じた解像度に変換する解像度変換処理などがカメラ信号処理として行われる。例えば、撮像装置1において記録される動画の解像度は、静止画の解像度よりも低いものとされる。カメラ信号処理部23によりカメラ信号処理が施されることによって得られた色差データは、動画記録用のデータとして、内部バス26を介してメモリコントローラ27に出力される。   The camera signal processing unit 23 performs camera signal processing on the RAW data supplied from the preprocessing unit 22 via the internal bus 26. For example, a color difference separation matrix process for generating a luminance signal and a color difference signal, a resolution conversion process for converting the resolution into a resolution corresponding to a moving image recording format, and the like are performed as the camera signal process. For example, the resolution of a moving image recorded in the imaging device 1 is lower than the resolution of a still image. The color difference data obtained by the camera signal processing performed by the camera signal processing unit 23 is output to the memory controller 27 via the internal bus 26 as moving image recording data.

このように、撮像装置1においては、イメージャ11により取り込まれた画像の解像度を落とした画像が動画記録用のデータとして用いられ、解像度を落としていない、イメージャ11により取り込まれたそのままの画像が静止画記録用のデータとして用いられる。   As described above, in the imaging apparatus 1, an image obtained by reducing the resolution of the image captured by the imager 11 is used as data for moving image recording, and the image captured by the imager 11 without reducing the resolution is stationary. Used as image recording data.

動画圧縮処理部24は、カメラ信号処理部23によりカメラ信号処理が施され、DRAM13に記録された色差データを内部バス26、メモリコントローラ27を介して読み出し、読み出した色差データを対象として、MPEG(Moving Picture Experts Group)1,MPEG2,MPEG4,H.264,JPEG(Joint Photographic Expert Group)2000などのフォーマットに応じた圧縮処理を行う。   The video compression processing unit 24 performs camera signal processing by the camera signal processing unit 23, reads out the color difference data recorded in the DRAM 13 via the internal bus 26 and the memory controller 27, and uses the read color difference data as an object of MPEG ( It performs compression processing according to formats such as Moving Picture Experts Group) 1, MPEG2, MPEG4, H.264, JPEG (Joint Photographic Expert Group) 2000.

動きベクトルの検出やウェーブレット変換などよりなる圧縮処理はDRAM13を用いて行われ、圧縮処理によって得られた圧縮済みの動画のデータはDRAM13に記録される。従って、動画圧縮処理部24により圧縮処理が行われている間、DRAM13に対するアクセスが動画圧縮処理部24により頻繁に行われることになる。DRAM13に記録された圧縮済みの動画のデータは、所定のタイミングで内部バス26を介して記録メディアI/F25に転送される。   Compression processing including motion vector detection and wavelet transform is performed using the DRAM 13, and compressed moving image data obtained by the compression processing is recorded in the DRAM 13. Accordingly, while the compression processing is performed by the moving image compression processing unit 24, access to the DRAM 13 is frequently performed by the moving image compression processing unit 24. The compressed moving image data recorded in the DRAM 13 is transferred to the recording medium I / F 25 via the internal bus 26 at a predetermined timing.

記録メディアI/F25は、内部バス26を介して供給された圧縮済みの動画のデータを記録メディア14に記録させる。記録メディアI/F25に対しては、例えば、動画の記録中に供給される圧縮済みの動画のデータの他に、DRAM13からメモリコントローラ27により読み出され、所定の信号処理が施された静止画のデータが供給される。静止画記録用のデータとしてDRAM13に記録されたRAWデータに対しては、例えば、JPEGなどの圧縮処理がCPU21により施される。   The recording medium I / F 25 records the compressed moving image data supplied via the internal bus 26 on the recording medium 14. For the recording medium I / F 25, for example, in addition to the compressed moving image data supplied during moving image recording, the still image read from the DRAM 13 by the memory controller 27 and subjected to predetermined signal processing. Data is supplied. For example, the CPU 21 performs compression processing such as JPEG on the RAW data recorded in the DRAM 13 as still image recording data.

メモリコントローラ27は、内部バス26を介して供給されたデータをDRAM13に記録させるとともに、内部バス26を介して接続される各部からのアクセスに応じてDRAM13からデータを読み出し、各部に出力する。   The memory controller 27 records data supplied via the internal bus 26 in the DRAM 13, reads data from the DRAM 13 in response to access from each unit connected via the internal bus 26, and outputs the data to each unit.

このような構成を有する撮像装置1においては、DRAM13へのアクセスを伴う処理として、動画の記録中には、動画記録用のデータである色差データをDRAM13に記録させるカメラ信号処理部23の処理と、色差データを圧縮する動画圧縮処理部24の処理が少なくとも行われるが、動画の記録中に静止画の記録が指示された時には、その指示がされた時にイメージャ11により取り込まれた静止画記録用のデータとしてのRAWデータをDRAM13に記録させるまでの間(静止画のキャプチャが行われるまでの間)、動画圧縮処理部24による圧縮処理は中断され、静止画のキャプチャと、色差データをDRAM13に記録させるカメラ信号処理部23の処理が優先的に行われるようになされている。   In the imaging apparatus 1 having such a configuration, as a process involving access to the DRAM 13, a process of the camera signal processing unit 23 that records color difference data, which is data for moving picture recording, in the DRAM 13 during recording of a moving picture. At least the processing of the moving image compression processing unit 24 that compresses the color difference data is performed. When a still image recording is instructed during recording of a moving image, the still image recording captured by the imager 11 when the instruction is issued Until the RAW data is recorded in the DRAM 13 (until the still image is captured), the compression processing by the moving image compression processing unit 24 is interrupted, and the still image capture and the color difference data are stored in the DRAM 13. Processing of the camera signal processing unit 23 to be recorded is preferentially performed.

ここで、動画の記録中のデータの流れ、静止画の記録だけが指示されたときのデータの流れ、および、動画の記録中に静止画の記録が指示されたときのデータの流れについてそれぞれ説明する。   Here, the data flow during movie recording, the data flow when only still image recording is instructed, and the data flow when still image recording is instructed during movie recording are described. To do.

図2は、動画の記録中のデータの流れの例を示す図である。説明の便宜上、音声データの流れは省略している。   FIG. 2 is a diagram illustrating an example of the flow of data during recording of a moving image. For convenience of explanation, the flow of audio data is omitted.

動画の記録中、イメージャ11から出力されたRAWデータは、矢印A1に示されるように前処理部22に出力され、前処理が施される。前処理が施されたRAWデータは矢印A2に示されるように内部バス26を介してカメラ信号処理部23に出力され、カメラ信号処理が施される。 During recording of the moving, RAW data outputted from the imager 11 is output to the preprocessing section 22 as indicated by the arrow A 1, pre-treatment. RAW data preprocessed is output to the camera signal processing unit 23 via the internal bus 26 as indicated by an arrow A 2, the camera signal processing is performed.

カメラ信号処理が施されることによって得られた色差データは、矢印A3に示されるように、内部バス26、メモリコントローラ27を介してDRAM13に出力され、動画記録用のデータとして記録される。 The color difference data obtained by the camera signal processing is output to the DRAM 13 via the internal bus 26 and the memory controller 27 as shown by an arrow A 3 and recorded as moving image recording data.

動画記録用のデータである色差データがDRAM13に記録された時、矢印A4に示されるように、DRAM13に対するアクセスが動画圧縮処理部24により複数回行われ、色差データを対象とした圧縮処理が行われる。動画圧縮処理部24による圧縮処理によって得られ、DRAM13に記録された圧縮済みの動画のデータは、所定のタイミングで、矢印A5に示されるように、メモリコントローラ27、内部バス26を介して記録メディアI/F25に転送され、記録メディアI/F25により記録メディア14に記録される。 When the color difference data is recorded in the DRAM13 is data for a moving image recording, as indicated by the arrow A 4, access to the DRAM13 is performed multiple times by the moving compression processing section 24, compression processing for the color difference data Done. The compressed moving image data obtained by the compression processing by the moving image compression processing unit 24 and recorded in the DRAM 13 is recorded at a predetermined timing via the memory controller 27 and the internal bus 26 as indicated by an arrow A 5. It is transferred to the medium I / F 25 and recorded on the recording medium 14 by the recording medium I / F 25.

図3は、静止画の記録だけが指示されたときのデータの流れの例を示す図である。   FIG. 3 is a diagram illustrating an example of a data flow when only recording of a still image is instructed.

静止画の記録が指示された時、その時にイメージャ11により取り込まれ、イメージャ11から出力されたRAWデータは、矢印A11に示されるように、前処理部22に出力され、前処理部22において前処理が施された後、内部バス26、コントローラ26を介してDRAM13に出力されて、静止画記録用のデータとして記録される。 When the recording of the still image is instructed, the RAW data captured by the imager 11 at that time and output from the imager 11 is output to the preprocessing unit 22 as indicated by the arrow A 11 , and the preprocessing unit 22 After pre-processing, the data is output to the DRAM 13 via the internal bus 26 and the controller 26 and recorded as still image recording data.

DRAM13に記録されたRAWデータは、所定のタイミングで読み出され、圧縮処理などがCPU21により施された後、記録メディアI/F25に転送され、記録メディアI/F25により記録メディア14に記録される。   The RAW data recorded in the DRAM 13 is read at a predetermined timing, subjected to compression processing and the like by the CPU 21, transferred to the recording medium I / F 25, and recorded on the recording medium 14 by the recording medium I / F 25. .

イメージャ11からのRAWデータの読み出しが所定の周波数のクロックに同期して行われることから、このように、RAWデータをDRAM13に記録させる静止画のキャプチャはリアルタイム処理となるが、DRAM13に一度記録されたRAWデータに対して圧縮処理などを施し、静止画を記録メディア14に記録させる処理は、リアルタイム処理として行う必要のない処理であり、静止画のキャプチャ後、所定のタイミングで行われる。   Since reading of the RAW data from the imager 11 is performed in synchronization with a clock having a predetermined frequency, the capture of the still image for recording the RAW data in the DRAM 13 is performed in real time as described above, but is recorded once in the DRAM 13. The processing for compressing the RAW data and recording the still image on the recording medium 14 is processing that does not need to be performed as real-time processing, and is performed at a predetermined timing after capturing the still image.

なお、イメージャ11から出力されたRAWデータに前処理、カメラ信号処理を施し、得られた色差データをDRAM13に記録させる動画の記録中の処理も、イメージャ11からRAWデータが出力されてくる毎に行う必要のあるリアルタイム処理となる。一方、DRAM13に記録された色差データを対象とした圧縮処理は、リアルタイム処理として行う必要のない処理となる。   Note that the RAW data output from the imager 11 is subjected to preprocessing and camera signal processing, and the obtained color difference data is recorded in the DRAM 13 during the process of recording the moving image every time the RAW data is output from the imager 11. Real-time processing that needs to be performed. On the other hand, the compression process for the color difference data recorded in the DRAM 13 is a process that does not need to be performed as a real-time process.

図4は、動画の記録中に静止画の記録が指示されたときのデータの流れの例を示す図である。   FIG. 4 is a diagram illustrating an example of the flow of data when recording of a still image is instructed during recording of a moving image.

動画の記録中に静止画の記録が指示された時、撮像装置1内におけるデータの流れは、図2に示されるものから図4に示されるものに切り換えられる。すなわち、図4に示されるように、動画圧縮処理部24によりそれまで行われていた動画の圧縮処理は中断される。図4には、図2の矢印A4に対応するDRAM13−動画圧縮処理部24間の矢印は示されていない。 When recording of a still image is instructed during recording of a moving image, the data flow in the imaging apparatus 1 is switched from that shown in FIG. 2 to that shown in FIG. That is, as shown in FIG. 4, the moving image compression processing performed by the moving image compression processing unit 24 is interrupted. FIG 4, arrows between DRAM13- moving image compression processing unit 24 corresponding to the arrow A 4 in FIG. 2 are not shown.

また、静止画の記録が指示された時にイメージャ11により取り込まれたRAWデータは、矢印A21に示されるように、前処理部22において前処理が施された後、内部バス26、コントローラ26を介してDRAM13に出力され、静止画記録用のデータとして記録される。前処理部22から出力されたデータは静止画記録用のデータとしてDRAM13に出力されるとともに、分岐され、矢印A22に示されるように、内部バス26を介してカメラ信号処理部23にも出力される。 The RAW data captured by the imager 11 when the recording of the still image is instructed is pre-processed by the pre-processing unit 22 as indicated by an arrow A 21 , and then the internal bus 26 and the controller 26 are connected. To the DRAM 13 and recorded as still image recording data. Together with the data output from the preprocessing unit 22 is output to the DRAM13 as data for still image recording, is branched, as indicated by arrow A 22, also output to the camera signal processing unit 23 via the internal bus 26 Is done.

カメラ信号処理部23に出力されたRAWデータに対してはカメラ信号処理が施され、カメラ信号処理が施されることによって得られた色差データは、矢印A23に示されるように、内部バス26、メモリコントローラ27を介してDRAM13に出力され、動画記録用のデータとして記録される。静止画のキャプチャによって動画の記録が途切れてしまうのを防ぐために、動画圧縮処理部24による圧縮処理は中断されたとしても、イメージャ11から出力されたRAWデータから得られた色差データをDRAM13に記録させることは続けられる。 For RAW data output to the camera signal processing unit 23 camera signal processing is performed, the color difference data obtained by the camera signal processing is performed, as indicated by an arrow A 23, internal bus 26 The data is output to the DRAM 13 via the memory controller 27 and recorded as moving image recording data. In order to prevent the recording of moving images from being interrupted by capturing a still image, even if the compression processing by the moving image compression processing unit 24 is interrupted, the color difference data obtained from the RAW data output from the imager 11 is recorded in the DRAM 13. It will continue to do.

例えば、DRAM13には複数のバンクが形成されており、カメラ信号処理部23により生成された色差データを記録するためのバンクと、動画圧縮処理部24が圧縮処理に用い、圧縮済みの動画のデータを記録するバンクは異なるバンクとして用意される。これにより、動画圧縮処理部24による圧縮処理が再開されたとしても、圧縮が施される前の色差データが圧縮済みの動画のデータによって上書きされてしまうことが防止される。   For example, a plurality of banks are formed in the DRAM 13, a bank for recording color difference data generated by the camera signal processing unit 23, and compressed video data used by the video compression processing unit 24 for compression processing. Are recorded as different banks. Thereby, even if the compression processing by the moving image compression processing unit 24 is restarted, it is possible to prevent the color difference data before being compressed from being overwritten by the compressed moving image data.

中断前の圧縮処理により得られ、記録メディア14に転送されずにDRAM13に残っていた圧縮済みの動画のデータは、それを仮にDRAM13から読み出し、記録メディア14に転送したとしても、データ量が比較的少なく、非圧縮のデータを読み出し/書き込みする場合に較べてDRAM13のメモリ帯域を使わないで済むことから、矢印A24に示されるように、矢印A21で表される静止画のキャプチャや、矢印A23で表される色差データをDRAM13に記録させる処理と並行して記録メディア14に転送される。 The compressed moving image data obtained by the compression process before the interruption and remaining in the DRAM 13 without being transferred to the recording medium 14 is compared with the data amount even if it is read from the DRAM 13 and transferred to the recording medium 14. Compared to reading / writing uncompressed data, it is not necessary to use the memory bandwidth of the DRAM 13, so as shown by the arrow A 24 , the still image capture represented by the arrow A 21 The color difference data represented by the arrow A 23 is transferred to the recording medium 14 in parallel with the process of recording the color difference data in the DRAM 13.

静止画のキャプチャが終了した時、データの流れは図2に示されるものとなり、動画圧縮処理部24による圧縮処理は、その時までにDRAM13に記録されている色差データを対象として再開される。   When the still image capture is completed, the data flow is as shown in FIG. 2, and the compression processing by the moving image compression processing unit 24 is resumed for the color difference data recorded in the DRAM 13 up to that time.

図5は、動画の記録中に静止画の記録が指示された場合でも中断することなく、動画圧縮処理部24による圧縮処理が続けられたときのデータの流れの例を示す図である。   FIG. 5 is a diagram illustrating an example of a data flow when the compression processing by the moving image compression processing unit 24 is continued without interruption even when an instruction to record a still image is given during recording of a moving image.

静止画の記録が指示されることに応じて圧縮処理を中断するとしたとき、図4に示されるように、DRAM13に対するアクセスは矢印A21,A23,A24で表されるアクセスだけであるのに対し、静止画の記録が指示された場合でも圧縮処理を中断しないとしたとき、図5に示されるように、DRAM13に対するアクセスは矢印A31,A33,A34,A35で表されるアクセスとなり、動画圧縮処理部24による分だけ、DRAM13に対するアクセスが多く行われる。 When the compression process is interrupted in response to an instruction to record a still image, the access to the DRAM 13 is only the access represented by arrows A 21 , A 23 , A 24 as shown in FIG. On the other hand, if the compression process is not interrupted even when recording of a still image is instructed, access to the DRAM 13 is represented by arrows A 31 , A 33 , A 34 , A 35 as shown in FIG. Access is made, and access to the DRAM 13 is performed as much as the moving image compression processing unit 24 performs.

このように、動画の記録中に静止画の記録が指示された場合にはリアルタイム処理を優先的に行い、リアルタイム処理として行う必要のない圧縮処理を中断することにより、DRAM13に対するアクセスが同時に集中して行われることを抑えることができる。従って、静止画の記録が指示された場合でも圧縮処理を中断しないときに較べて、帯域の狭いメモリをDRAM13として用いることが可能となる。   As described above, when the recording of a still image is instructed during the recording of a moving image, the real-time processing is preferentially performed, and the compression processing that is not necessary to be performed as the real-time processing is interrupted. Can be suppressed. Therefore, even when the recording of a still image is instructed, it is possible to use a memory with a narrow band as the DRAM 13 compared to when the compression process is not interrupted.

具体的には、カメラ信号処理の結果である色差データをDRAM13に記録させるのに100MByte/s、圧縮処理中のデータの読み出し/書き込みに500MByte/s、静止画のキャプチャに400MByte/sのメモリ帯域が必要な場合、圧縮済みの動画のデータをDRAM13から記録メディア14に転送することを考慮しないとすると、図5に示されるように、動画の記録中に静止画の記録が指示された場合でも圧縮処理を中断せずにそれらの処理を同時に行うには1000MByte/sのメモリ帯域がDRAM13の最大の帯域として求められることになるが、図4に示されるように、静止画の記録が指示されることに応じて圧縮処理を中断することにより、色差データをDRAM13に記録させるのに必要な100MByte/sと、圧縮処理に必要な500MByte/sをあわせた600MByte/sの、動画の記録だけを行うのに必要な分のメモリ帯域だけDRAM13に確保されていればよく、より狭い帯域しかないメモリをDRAM13として用いることが可能となる。   Specifically, the memory bandwidth of 100 MByte / s for recording color difference data as a result of camera signal processing in the DRAM 13, 500 MByte / s for reading / writing data during compression processing, and 400 MByte / s for capturing still images If it is not necessary to consider transferring compressed video data from the DRAM 13 to the recording medium 14, as shown in FIG. 5, even when a still image recording is instructed during video recording, In order to simultaneously perform the compression processing without interrupting the processing, a memory bandwidth of 1000 MByte / s is required as the maximum bandwidth of the DRAM 13, but as shown in FIG. 4, recording of a still image is instructed. By interrupting the compression process accordingly, 100 MByte / s necessary for recording the color difference data in the DRAM 13 and 500 MByte / s necessary for the compression process are combined to 600 MByte / s. Only needs to be secured only to the DRAM 13 minute memory bandwidth required to perform only the recording of the moving image, it is possible to use a narrower band only memory as DRAM 13.

また、1回の読み出し/書き込みのデータ量を固定として、読み出し/書き込みのタイミングを規定するクロックの周波数を上げることによって必要なメモリ帯域を確保しようとする場合、求められる最大の帯域を抑えることができることにより、クロックの周波数を上げる必要がなくなり、撮像装置1全体の消費電力を抑えることもできる。   Also, if the required memory bandwidth is to be secured by increasing the clock frequency that defines the read / write timing with a fixed read / write data amount, the maximum required bandwidth can be suppressed. As a result, it is not necessary to increase the clock frequency, and the power consumption of the entire imaging apparatus 1 can be suppressed.

さらに、例えば、圧縮処理の性能をわずか1%だけ向上させておくことにより、100フレームを取り込む毎に1枚、すなわち、およそ4秒に1枚の静止画のキャプチャが可能となり、実用上も問題がない。ここで、1%だけ向上させる圧縮処理の性能の基準とは、1フレームの時間を固定として、100フレームの動画処理に100フレームの時間がかかるようなエンジン性能のことであり、それを1%だけ向上させておくとは、100フレームの動画の圧縮処理を99フレーム分の時間で処理することができる性能にしてくことである。   Furthermore, for example, by improving the compression processing performance by only 1%, it is possible to capture one still image every 100 frames, that is, one still image in about 4 seconds. There is no. Here, the standard of the compression processing performance that is improved by 1% is the engine performance that takes 100 frames to process 100 frames of video with a fixed time of 1 frame. The only improvement is to have a performance capable of processing the compression processing of a 100-frame moving image in a time of 99 frames.

以上のように、静止画の記録が指示されることに応じて圧縮処理を中断する場合、DRAM13には、圧縮処理が再開されるまでにイメージャ11により取り込まれ、カメラ信号処理部23により生成された色差データが全て記録されることになることから、再開後の一定期間、圧縮処理は、中断前よりも速い速度で行われる。   As described above, when the compression process is interrupted in response to an instruction to record a still image, the image is taken into the DRAM 13 by the imager 11 until the compression process is resumed, and is generated by the camera signal processing unit 23. Since all the color difference data is recorded, the compression process is performed at a higher speed than before the interruption for a certain period after the restart.

図6は、圧縮処理の速度の例を示す図である。図6において、横軸は時間軸を表す。   FIG. 6 is a diagram illustrating an example of the speed of the compression process. In FIG. 6, the horizontal axis represents the time axis.

内側に数字が示される1つの四角はイメージャ11により取り込まれ、処理の対象になる1フレームの画像を表す。図6の上段のフレーム1乃至10は、カメラ信号処理部23によりカメラ信号処理の対象とされるフレームを表し、その下の段のフレーム1乃至9は、動画圧縮処理部24により圧縮処理の対象とされるフレームを表す。   One square indicated by a number on the inside is taken in by the imager 11 and represents one frame image to be processed. The upper frames 1 to 10 in FIG. 6 represent frames subjected to camera signal processing by the camera signal processing unit 23, and the lower frames 1 to 9 are subjected to compression processing by the moving image compression processing unit 24. Represents a frame.

すなわち、図6の例においては、カメラ信号処理が行われることによってフレーム1の色差データがDRAM13に記録され、続けて、フレーム2がカメラ信号処理の対象とされる時刻t1から時刻t2の間に、その1フレーム前のフレーム1を対象とした圧縮処理が行われる。 That is, in the example of FIG. 6, the color difference data of frame 1 is recorded in the DRAM 13 by performing camera signal processing, and subsequently, from time t 1 to time t 2 when frame 2 is subjected to camera signal processing. In the meantime, compression processing is performed on frame 1 that is one frame before.

同様に、カメラ信号処理が行われることによってフレーム2の色差データがDRAM13に記録され、続けて、フレーム3がカメラ信号処理の対象とされる時刻t3から時刻t4の間に、その1フレーム前のフレーム2を対象とした圧縮処理が行われる。また、カメラ信号処理が行われることによってフレーム3の色差データがDRAM13に記録され、続けて、フレーム4がカメラ信号処理の対象とされる時刻t5から時刻t6の間に、その1フレーム前のフレーム3を対象とした圧縮処理が行われる。 Similarly, by performing camera signal processing, the color difference data of frame 2 is recorded in the DRAM 13, and subsequently, one frame from time t 3 to time t 4 at which frame 3 is targeted for camera signal processing. Compression processing for the previous frame 2 is performed. Also, color difference data of the frame 3 by the camera signal processing is performed is recorded in the DRAM 13, followed by, between times t 6 from the time t 5 the frame 4 is subjected to the camera signal processing, one frame before The compression process for the frame 3 is performed.

このように、図6は、静止画のキャプチャにより中断される前の通常時の圧縮処理が、カメラ信号処理の対象になっているフレームの1フレーム前のフレームを対象として行われる場合の例を示している。   As described above, FIG. 6 illustrates an example in which the normal compression process before being interrupted by the still image capture is performed on the frame one frame before the frame that is the target of the camera signal processing. Show.

例えば、図6に示されるように、フレーム5がカメラ信号処理の対象になったのと同じ時刻である時刻t7に静止画の記録が指示されたとき、その直前に色差データがDRAM13に記録されたフレーム4の圧縮処理は中断される。圧縮処理の中断は、静止画のキャプチャが終わるまで続けられ、時刻t8において再開されたとき、時刻t8から時刻t9の間においては、中断される直前に色差データがDRAM13に記録されたフレーム4を対象とした圧縮処理が行われる。フレーム4を対象とした圧縮処理が行われている時刻t8から時刻t9の間にはフレーム6を対象としたカメラ信号処理が行われているから、この例においては、静止画のキャプチャが1回行われる毎に、1フレーム分だけ、通常時と較べて圧縮処理に遅延が生じることになる。 For example, as shown in FIG. 6, when recording of a still image is instructed at time t 7 , which is the same time that frame 5 has been subjected to camera signal processing, the color difference data is recorded in DRAM 13 immediately before that. The compression processing of the frame 4 that has been performed is interrupted. Compression process interruption is continued until capture of a still image is completed, when resumed at time t 8, in the period from time t 8 of time t 9, the color difference data immediately before the interruption has been recorded in the DRAM13 Compression processing for the frame 4 is performed. Since the camera signal processing for the frame 6 between times t 9 from the time t 8 to the compression processing for the frame 4 is being performed is performed, in this example, the capture of a still image Every time it is performed, the compression process is delayed by one frame compared to the normal time.

再開後、圧縮処理は通常時と較べて速い速度で行われ、図6の例においては、時刻t9から時刻t10の間にフレーム5を対象とした圧縮処理が行われ、時刻t10から時刻t11の間にフレーム6を対象とした圧縮処理が行われている。また、時刻t11から時刻t12の間にフレーム7を対象とした圧縮処理が行われている。時刻t9−t10,t10−t11,t11−t12間の時間は、中断前に1フレームを圧縮するのにかかっていた時刻t1−t3間の時間などと較べて短い。 After resumption, the compression process is performed in normal and compared to fast speed, in the example of FIG. 6, the compression processing for the frame 5 between times t 10 from the time t 9 is performed, from the time t 10 compression processing for a frame 6 between times t 11 is performed. The compression processing for the frame 7 between times t 12 from the time t 11 is performed. The time between times t 9 -t 10 , t 10 -t 11 , t 11 -t 12 is shorter than the time between times t 1 -t 3 that was taken to compress one frame before the interruption. .

フレーム7を対象とした圧縮処理が終了し、圧縮処理の状態が、カメラ信号処理の対象になっているフレームより1フレームだけ前のフレームを対象として行うことができるような通常時の状態に追いついたとき、それ以降、再度、圧縮処理は通常時と同じ速度で行われる。   The compression process for the frame 7 is completed, and the state of the compression process catches up with the normal state where the frame can be performed on the frame one frame before the frame that is the target of the camera signal processing. After that, the compression process is performed again at the same speed as normal.

図6の例においては、フレーム9を対象としたカメラ信号処理が行われている時刻t13から時刻t14の間には、その1フレーム前のフレーム8を対象とした圧縮処理が行われ、フレーム10を対象としたカメラ信号処理が行われている時刻t15から時刻t16の間には、その1フレーム前のフレーム9を対象とした圧縮処理が行われている。圧縮処理に要する撮像装置1の負担を考慮して、例えば、通常時の状態に圧縮処理の状態が追いつくまで、次の静止画のキャプチャは禁止される。 In the example of FIG. 6, the compression process for the frame 8 one frame before is performed between the time t 13 and the time t 14 when the camera signal processing for the frame 9 is performed, between the time t 15 to the camera signal processing in which the frame 10 and the target is being performed at time t 16, the compression process is performed targeting the preceding frame 9. Taking into account the burden on the imaging apparatus 1 required for the compression process, for example, the capture of the next still image is prohibited until the state of the compression process catches up with the normal state.

このように、再開後、圧縮処理が通常時と較べて速い速度で行われるようにすることにより、いわば圧縮処理待ちの状態の動画記録用のデータがDRAM13に記録され続けることを防ぐことができる。   In this way, after restarting, the compression processing is performed at a speed higher than the normal time, so that it is possible to prevent the moving image recording data waiting for the compression processing from being continuously recorded in the DRAM 13. .

次に、図7のフローチャートを参照して、圧縮処理を制御するCPU21の処理について説明する。   Next, the processing of the CPU 21 that controls the compression processing will be described with reference to the flowchart of FIG.

この処理は例えば動画の記録中に行われる。動画の記録中、図2を参照して説明したように、カメラ信号処理部23により生成された色差データがDRAM13に記録されるとともに、DRAM13に記録された色差データを対象として、順次、動画圧縮処理部24により圧縮処理が行われる。圧縮済みの動画のデータは記録メディアI/F25に転送され、記録メディアI/F25により記録メディア14に記録される。   This process is performed, for example, during recording of a moving image. As described with reference to FIG. 2, the color difference data generated by the camera signal processing unit 23 is recorded in the DRAM 13 during the recording of the moving image, and the moving image compression is sequentially performed on the color difference data recorded in the DRAM 13. Compression processing is performed by the processing unit 24. The compressed moving image data is transferred to the recording medium I / F 25 and recorded on the recording medium 14 by the recording medium I / F 25.

ステップS1において、CPU21は、静止画のキャプチャを許可できるか否かを判定する。ここでは、上述したように、直前に行われた静止画のキャプチャによって、圧縮処理の状態が通常時の状態に追いついておらず、速い速度で処理を行っている状態にあるとき、次の静止画のキャプチャは禁止され、一方、圧縮処理の状態が通常時の状態にあるとき、静止画のキャプチャは許可される。   In step S <b> 1, the CPU 21 determines whether capture of a still image can be permitted. Here, as described above, when the still image is captured immediately before, the compression processing state has not caught up with the normal state, and the processing is performed at a high speed. Image capture is prohibited, while still image capture is permitted when the compression process is in the normal state.

CPU21は、ステップS1において、静止画のキャプチャを許可できると判定した場合、ステップS2に進み、次に、ユーザにより静止画の撮影が指示され、キャプチャの要求があったか否かを判定する。   If it is determined in step S1 that capture of a still image can be permitted, the CPU 21 proceeds to step S2, and then determines whether or not the user is instructed to capture a still image and has requested capture.

ステップS2において、CPU21は、キャプチャの要求があったと判定した場合、ステップS3に進み、動画圧縮処理部24を制御し、圧縮処理を停止させる。   In step S2, if the CPU 21 determines that there is a capture request, the CPU 21 proceeds to step S3, controls the moving image compression processing unit 24, and stops the compression process.

ステップS4において、CPU21は、前処理部22を制御し、前処理を施したRAWデータをDRAM13に出力させることによって静止画のキャプチャを行わせる。また、CPU21は、次の静止画のキャプチャを禁止する状態とする。その後、処理はステップS1に戻り、それ以降の処理が繰り返される。   In step S <b> 4, the CPU 21 controls the preprocessing unit 22 to output preprocessed RAW data to the DRAM 13 to capture a still image. Further, the CPU 21 enters a state in which the capture of the next still image is prohibited. Thereafter, the process returns to step S1, and the subsequent processes are repeated.

一方、CPU21は、ステップS1において、圧縮処理の状態が通常時の状態に追いついていないことから、静止画のキャプチャを許可することができないと判定した場合、または、ステップS2において、キャプチャの要求がないと判定した場合、ステップS5に進む。   On the other hand, if the CPU 21 determines in step S1 that the state of the compression process has not caught up with the normal state and thus cannot capture still images, or in step S2, a capture request is made. If it is determined that there is not, the process proceeds to step S5.

ステップS5において、CPU21は、動画圧縮処理部24を制御し、DRAM13に記録されている色差データを対象とした圧縮処理を行わせる。例えば、CPU21は、圧縮処理が再開された後であり、静止画のキャプチャを禁止している場合、通常時よりも速い速度で圧縮処理を行わせ、静止画のキャプチャを禁止していない場合、通常時と同じ速度で圧縮処理を行わせる。   In step S <b> 5, the CPU 21 controls the moving image compression processing unit 24 to perform compression processing for color difference data recorded in the DRAM 13. For example, after the compression process is resumed and the CPU 21 prohibits the capture of still images, the CPU 21 performs the compression process at a speed faster than normal and does not prohibit the capture of still images. The compression process is performed at the same speed as normal.

ステップS6において、CPU21は、圧縮処理の状態が通常時の状態に追いついているか否かを判定し、追いついていないと判定した場合、ステップS7に進み、静止画のキャプチャを禁止する。   In step S6, the CPU 21 determines whether or not the compression processing state has caught up to the normal state. If it is determined that the compression processing has not caught up, the process proceeds to step S7, and still image capture is prohibited.

一方、ステップS6において、CPU21は、圧縮処理の状態が通常時の状態に追いついていると判定した場合、ステップS8に進み、静止画のキャプチャを許可する。   On the other hand, if the CPU 21 determines in step S6 that the state of the compression process has caught up with the normal state, the process proceeds to step S8 and permits still image capture.

ステップS7またはステップS8において静止画のキャプチャの許可/不許可が選択された後、処理はステップS1に戻り、動画の記録が終了されるまでの間、ステップS1以降の処理が続けられる。   After permission / non-permission of still image capture is selected in step S7 or step S8, the process returns to step S1, and the process from step S1 is continued until the recording of the moving image is completed.

以上の処理により、動画の記録中に静止画をキャプチャするときのDRAM13へのアクセスを緩和し、DRAM13に確保しておく必要のある最大のメモリ帯域を軽減させることができる。また、クロックの周波数を抑えることができ、消費電力を減らすことも可能となる。   With the above processing, access to the DRAM 13 when capturing a still image during moving image recording can be relaxed, and the maximum memory bandwidth that needs to be secured in the DRAM 13 can be reduced. In addition, the clock frequency can be suppressed and power consumption can be reduced.

なお、以上においては、動画記録中に1枚の静止画をキャプチャする場合について説明したが、DRAM13の容量に余裕があれば、静止画のキャプチャが可能になるまでの間隔を短縮させたり、キャプチャ可能な枚数を増加させることもできる。また、圧縮処理の性能を高めることによっても、静止画のキャプチャが可能になるまでの間隔を短縮させることができる。   In the above, the case where one still image is captured during moving image recording has been described. However, if the capacity of the DRAM 13 is sufficient, the interval until the still image can be captured can be shortened or captured. The possible number can also be increased. In addition, the interval until a still image can be captured can be shortened also by improving the performance of the compression processing.

また、以上においては、図4を参照して説明したように、中断前の圧縮処理により得られ、記録メディア14に転送されずにDRAM13に残っていた圧縮済みの動画のデータは、データ量が比較的少ないことから、静止画のキャプチャや、色差データをDRAM13に記録させる処理と並行して記録メディア14に転送されるとしたが、この圧縮済みの動画のデータを記録メディア14に転送する処理さえも、静止画のキャプチャが行われている間は中断されるようにしてもよい。これにより、静止画のキャプチャが行われている間でも圧縮済みの動画のデータが記録メディア14に転送される場合に較べて、DRAM13に必要なメモリ帯域をさらに抑えることができる。   In the above description, as described with reference to FIG. 4, the compressed moving image data obtained by the compression process before the interruption and remaining in the DRAM 13 without being transferred to the recording medium 14 has a data amount. Since it is relatively small, it is assumed that still image capture and color difference data are transferred to the recording medium 14 in parallel with the process of recording the color difference data in the DRAM 13, but this compressed moving image data is transferred to the recording medium 14. Even the capture of the still image may be interrupted. As a result, the memory bandwidth required for the DRAM 13 can be further reduced as compared with the case where compressed video data is transferred to the recording medium 14 even while a still image is being captured.

以上においては、撮像装置1はデジタルビデオカメラである場合について説明したが、動画の撮影機能と静止画の撮影機能を有する機器であれば、デジタルスチルカメラ、携帯電話機などの各種の機器に上述した機能は適用することができる。   In the above description, the case where the imaging device 1 is a digital video camera has been described. However, any device having a moving image shooting function and a still image shooting function has been described above in various devices such as a digital still camera and a mobile phone. Functions can be applied.

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。   The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.

図8は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。   FIG. 8 is a block diagram showing an example of the configuration of a personal computer that executes the above-described series of processing by a program.

CPU(Central Processing Unit)101は、ROM(Read Only Memory)102、または記憶部108に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)103には、CPU101が実行するプログラムやデータなどが適宜記憶される。これらのCPU101、ROM102、およびRAM103は、バス104により相互に接続されている。   A CPU (Central Processing Unit) 101 executes various processes according to a program stored in a ROM (Read Only Memory) 102 or a storage unit 108. A RAM (Random Access Memory) 103 appropriately stores programs executed by the CPU 101 and data. These CPU 101, ROM 102, and RAM 103 are connected to each other by a bus 104.

CPU101にはまた、バス104を介して入出力インターフェース105が接続されている。入出力インターフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107が接続されている。CPU101は、入力部106から入力される指令に対応して各種の処理を実行する。そして、CPU101は、処理の結果を出力部107に出力する。   An input / output interface 105 is also connected to the CPU 101 via the bus 104. Connected to the input / output interface 105 are an input unit 106 made up of a keyboard, mouse, microphone, and the like, and an output unit 107 made up of a display, a speaker, and the like. The CPU 101 executes various processes in response to commands input from the input unit 106. Then, the CPU 101 outputs the processing result to the output unit 107.

入出力インターフェース105に接続されている記憶部108は、例えばハードディスクからなり、CPU101が実行するプログラムや各種のデータを記憶する。通信部109は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。   The storage unit 108 connected to the input / output interface 105 includes, for example, a hard disk, and stores programs executed by the CPU 101 and various data. The communication unit 109 communicates with an external device via a network such as the Internet or a local area network.

入出力インターフェース105に接続されているドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部108に転送され、記憶される。   The drive 110 connected to the input / output interface 105 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and drives programs and data recorded there. Get etc. The acquired program and data are transferred to and stored in the storage unit 108 as necessary.

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図8に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア111、または、プログラムが一時的もしくは永続的に格納されるROM102や、記憶部108を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部109を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。   As shown in FIG. 8, a program recording medium that stores a program that is installed in a computer and can be executed by the computer includes a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only). Memory, DVD (Digital Versatile Disc), a magneto-optical disk, a removable medium 111 that is a package medium composed of a semiconductor memory, or the ROM 102 in which a program is temporarily or permanently stored, or a storage unit 108 It is comprised by the hard disk etc. which comprise. The program is stored in the program recording medium using a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via a communication unit 109 that is an interface such as a router or a modem as necessary. Done.

なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   In the present specification, the steps for describing a program are not only processes performed in time series in the order described, but also processes that are executed in parallel or individually even if they are not necessarily processed in time series. Is also included.

本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。It is a block diagram showing an example of composition of an imaging device concerning one embodiment of the present invention. 動画の記録中のデータの流れの例を示す図である。It is a figure which shows the example of the flow of the data during recording of a moving image. 静止画の記録だけが指示されたときのデータの流れの例を示す図である。It is a figure which shows the example of the flow of data when only recording of a still image is instruct | indicated. 動画の記録中に静止画の記録が指示されたときのデータの流れの例を示す図である。It is a figure which shows the example of a data flow when recording of a still image is instruct | indicated during recording of a moving image. 動画の記録中に静止画の記録が指示された場合でも圧縮処理が続けられたときのデータの流れの例を示す図である。It is a figure which shows the example of the flow of data when a compression process is continued even when recording of a still image is instruct | indicated during recording of a moving image. 圧縮処理の速度の例を示す図である。It is a figure which shows the example of the speed of a compression process. 圧縮処理を制御する処理について説明するフローチャートである。It is a flowchart explaining the process which controls a compression process. パーソナルコンピュータの構成例を示すブロック図である。And FIG. 16 is a block diagram illustrating a configuration example of a personal computer.

符号の説明Explanation of symbols

1 撮像装置, 11 イメージャ, 12 信号処理チップ, 13 DRAM, 14 記録メディア, 21 CPU, 23 カメラ信号処理部, 24 動画圧縮処理部   1 imaging device, 11 imager, 12 signal processing chip, 13 DRAM, 14 recording medium, 21 CPU, 23 camera signal processing unit, 24 moving image compression processing unit

Claims (8)

動画の記録中、撮像し、所定の解像度の画像を出力するイメージャと、
前記イメージャから出力された画像の解像度変換を行う変換手段と、
前記イメージャから出力された前記所定の解像度の画像を静止画記録用のデータとして記録し、前記変換手段による解像度変換によって得られた画像を動画記録用のデータとして記録するメモリと、
前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行う圧縮手段と、
動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である前記圧縮手段による圧縮処理と、前記イメージャから出力された前記静止画記録用のデータを記録させる処理と、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理のうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせる制御手段と
を備える撮像装置。
An imager that captures and outputs an image of a predetermined resolution during recording of the video;
Conversion means for converting the resolution of the image output from the imager;
A memory for recording recording an image of said predetermined resolution output from the imager as data for still image recording, the image obtained by the resolution conversion by said converting means as the data for the moving image recording,
Compression means for performing compression processing on the moving image recording data recorded in the memory using the memory;
When recording of a still image is instructed during recording of a moving image, the processing is a process involving access to the memory, and the process of recording the still image recording data output from the imager and the compression process by the compression means When, among the process of recording data for the video recording obtained by the resolution conversion by said conversion means, to interrupt the compression process by the compression means, the data of the still image recording which is outputted from said imager An image pickup apparatus comprising: a control unit that performs a process of recording and continuously performs a process of recording the data for moving image recording obtained by resolution conversion by the conversion unit.
前記動画記録用のデータである画像は、前記静止画記録用のデータである画像より解像度の低い画像である
請求項1に記載の撮像装置。
The imaging apparatus according to claim 1, wherein the image that is data for moving image recording is an image having a lower resolution than the image that is data for recording the still image.
前記制御手段は、前記圧縮手段による圧縮処理を、前記静止画記録用のデータを前記メモリに記録させ終わるまで中断させる
請求項に記載の撮像装置。
The imaging apparatus according to claim 2 , wherein the control unit interrupts the compression processing by the compression unit until the data for recording a still image is recorded in the memory.
前記制御手段は、さらに、静止画の記録が指示された時までに前記圧縮手段により圧縮され、前記メモリに記録されている圧縮済みの動画のデータを前記メモリから他の記録媒体に転送することも中断させる
請求項に記載の撮像装置。
The control means further transfers the compressed moving image data compressed by the compression means and recorded in the memory by the time when the recording of the still image is instructed to the other recording medium. The imaging device according to claim 3 .
前記制御手段は、静止画の記録が指示されることに応じて前記静止画記録用のデータを前記メモリに記録させ終わってから、圧縮処理の対象になるデータとして前記メモリに記録されている前記動画記録用のデータと前記圧縮手段により圧縮処理の対象にされている前記動画記録用のデータの関係が圧縮処理を中断させる前と同じ関係になるまでの間、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせる
請求項に記載の撮像装置。
The control means records the still image recording data in the memory in response to an instruction to record a still image, and then records the data as compression processing target data in the memory. Until the relationship between the data for moving image recording and the data for moving image recording being subjected to compression processing by the compression means is the same as that before interrupting the compression processing, the speed is higher than before the interruption. The imaging apparatus according to claim 4 , wherein a compression unit compresses the data for moving image recording.
前記制御手段は、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせている間、次の静止画の記録を禁止させる
請求項5に記載の撮像装置。
The imaging apparatus according to claim 5, wherein the control unit prohibits recording of the next still image while the compression unit is compressing the data for moving image recording at a higher speed than before the interruption.
動画の記録中、撮像し、所定の解像度の画像を出力するイメージャと、
前記イメージャから出力された画像の解像度変換を行う変換手段と、
前記イメージャから出力された前記所定の解像度の画像を静止画記録用のデータとして記録し、前記変換手段による解像度変換によって得られた画像を動画記録用のデータとして記録するメモリと、
前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行う圧縮手段と
を有する撮像装置の制御方法において
動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である、前記圧縮手段による圧縮処理と、前記イメージャから出力された前記静止画記録用のデータを記録させる処理と、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理のうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせる
ステップを含む制御方法。
An imager that captures and outputs an image of a predetermined resolution during recording of the video;
Conversion means for converting the resolution of the image output from the imager;
A memory for recording recording an image of said predetermined resolution output from the imager as data for still image recording, the image obtained by the resolution conversion by said converting means as the data for the moving image recording,
Compression means for performing compression processing on the moving image recording data recorded in the memory using the memory;
The control method of an imaging device having,
When recording of a still image is instructed during recording of a moving image, the processing is a process involving access to the memory, and the process of recording the still image recording data output from the imager and the compression process by the compression means When, among the process of recording data for the video recording obtained by the resolution conversion by said conversion means, to interrupt the compression process by the compression means, the data of the still image recording which is outputted from said imager A control method including a step of performing a process of recording and continuously performing a process of recording the moving image recording data obtained by resolution conversion by the conversion unit .
動画の記録中、撮像し、所定の解像度の画像を出力するイメージャと、
前記イメージャから出力された画像の解像度変換を行う変換手段と、
前記イメージャから出力された前記所定の解像度の画像を静止画記録用のデータとして記録し、前記変換手段による解像度変換によって得られた画像を動画記録用のデータとして記録するメモリと、
前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行う圧縮手段と
を有する撮像装置の制御をコンピュータに実行させるプログラムにおいて
動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である、前記圧縮手段による圧縮処理と、前記イメージャから出力された前記静止画記録用のデータを記録させる処理と、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理のうち、前記圧縮手段による圧縮処理を中断させ、前記イメージャから出力された前記静止画記録用のデータを記録させる処理を行わせるとともに、前記変換手段による解像度変換によって得られた前記動画記録用のデータを記録させる処理を継続して行わせる
ステップを含むプログラム。
An imager that captures and outputs an image of a predetermined resolution during recording of the video;
Conversion means for converting the resolution of the image output from the imager;
A memory for recording recording an image of said predetermined resolution output from the imager as data for still image recording, the image obtained by the resolution conversion by said converting means as the data for the moving image recording,
Compression means for performing compression processing on the moving image recording data recorded in the memory using the memory;
In a program for causing a computer to execute control of an imaging apparatus having :
When recording of a still image is instructed during recording of a moving image, the processing is a process involving access to the memory, and the process of recording the still image recording data output from the imager and the compression process by the compression means When, among the process of recording data for the video recording obtained by the resolution conversion by said conversion means, to interrupt the compression process by the compression means, the data of the still image recording which is outputted from said imager A program including a step of performing a process of recording and continuously performing a process of recording the data for moving image recording obtained by resolution conversion by the conversion unit .
JP2006221995A 2006-08-16 2006-08-16 Imaging apparatus, control method, and program Expired - Fee Related JP4775648B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006221995A JP4775648B2 (en) 2006-08-16 2006-08-16 Imaging apparatus, control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006221995A JP4775648B2 (en) 2006-08-16 2006-08-16 Imaging apparatus, control method, and program

Publications (2)

Publication Number Publication Date
JP2008048173A JP2008048173A (en) 2008-02-28
JP4775648B2 true JP4775648B2 (en) 2011-09-21

Family

ID=39181483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006221995A Expired - Fee Related JP4775648B2 (en) 2006-08-16 2006-08-16 Imaging apparatus, control method, and program

Country Status (1)

Country Link
JP (1) JP4775648B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5230381B2 (en) * 2008-11-28 2013-07-10 三星電子株式会社 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP5909997B2 (en) * 2011-11-01 2016-04-27 株式会社リコー IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018532A (en) * 2001-07-03 2003-01-17 Hitachi Ltd Image sensing device
JP3876973B2 (en) * 2001-10-15 2007-02-07 富士フイルムホールディングス株式会社 Image recording / reproducing method, image reproducing apparatus, and file management method and apparatus
JP3992659B2 (en) * 2003-08-08 2007-10-17 三洋電機株式会社 Imaging device
JP4160883B2 (en) * 2003-09-02 2008-10-08 富士フイルム株式会社 Image recording apparatus and image recording method
JP4292963B2 (en) * 2003-11-26 2009-07-08 パナソニック株式会社 Imaging device
JP2006093909A (en) * 2004-09-22 2006-04-06 Sanyo Electric Co Ltd Video camera
JP4415879B2 (en) * 2005-03-07 2010-02-17 ソニー株式会社 Imaging apparatus and imaging method

Also Published As

Publication number Publication date
JP2008048173A (en) 2008-02-28

Similar Documents

Publication Publication Date Title
JP4680166B2 (en) Imaging apparatus and imaging method
KR101264389B1 (en) Imaging device and method
US20130021504A1 (en) Multiple image processing
JP4958758B2 (en) Recording apparatus, reproducing apparatus, recording method, reproducing method, and program
JP5141324B2 (en) Imaging apparatus, imaging apparatus control method, signal processing apparatus, and signal processing method
JP4636755B2 (en) Imaging apparatus, image processing method, recording medium, and program
JP5230381B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP4761048B2 (en) Imaging apparatus and program thereof
US8379093B2 (en) Recording and reproduction apparatus and methods, and a recording medium storing a computer program for executing the methods
JP4775648B2 (en) Imaging apparatus, control method, and program
JP2010141657A (en) Imaging apparatus and imaging method
JP2005006061A (en) Image processor
JP2013211724A (en) Imaging apparatus
JP2003333506A (en) Image processing apparatus, image processing system, image processing method, program, and storage medium
KR20090064278A (en) Recording apparatus, replaying apparatus, recording method, replaying method and program recording medium
JP2015019243A (en) Imaging apparatus, and control method therefor and program
JP2003259161A (en) Device and method for imaging
JPH11177868A (en) Image pickup method, reproduction method and device therefor
JP2003125331A (en) Picture recording method and device and picture reproducing method and device
JP4872571B2 (en) Imaging apparatus, imaging method, and program
CN101662593A (en) Image pickup apparatus, image pickup method, program, and recording medium
JP7054492B2 (en) Information processing module, information processing method, information processing program and information processing equipment
JP2007228119A (en) Imaging apparatus, image processing method, and program
JP4670631B2 (en) Image processing apparatus, image processing method, program for image processing method, and recording medium recording program for image processing method
JP2009232004A (en) Signal processor and signal processing method, and imaging apparatus and control method of the imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110602

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees