WO2012111825A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2012111825A1
WO2012111825A1 PCT/JP2012/053875 JP2012053875W WO2012111825A1 WO 2012111825 A1 WO2012111825 A1 WO 2012111825A1 JP 2012053875 W JP2012053875 W JP 2012053875W WO 2012111825 A1 WO2012111825 A1 WO 2012111825A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
still image
image
moving image
main memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/053875
Other languages
English (en)
French (fr)
Inventor
規夫 倉重
隆志 清藤
田中　宏治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of WO2012111825A1 publication Critical patent/WO2012111825A1/ja
Priority to US13/965,852 priority Critical patent/US9179065B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program having a function of capturing a still image during moving image shooting, and in particular, an image processing apparatus suitable for acquiring still image data encoded in real time at high speed,
  • the present invention relates to an image processing method and a program.
  • a conventional image pickup device having a function of taking a still image together with moving image shooting with a digital camera or a digital video camera or the like, as with an image pickup device that takes only a still image, when shooting a still image and creating a file
  • JPEG Joint Photographic Experts Group
  • a thumbnail horizontal 160 pixels ⁇ vertical 120 pixels
  • the sub-image is displayed on the thumbnail as an index image having a small image size when the still image is reproduced, and the user can check the still image and efficiently select it.
  • EXIF Exchangeable Image File Format
  • Patent Document 1 an electronic camera described in Patent Document 1 is known as a conventional imaging device having a function of shooting a still image together with moving image shooting.
  • This Patent Document 1 records that the number of still images that can be taken is not limited by the internal memory, and even if there is a discontinuous portion in the captured moving image, recording is performed so as not to give the user a sense of incongruity during playback.
  • An intended electronic camera is disclosed.
  • the present invention has been made to solve such problems, and in parallel with moving image shooting, an image processing device capable of encoding still image data in real time at high speed and storing it in a main memory.
  • An object of the present invention is to provide an image processing method and a program.
  • An image processing apparatus includes an imaging device, a main memory that stores moving image data acquired by the imaging device, a moving image compression unit that compresses moving image data stored in the main memory, Stores a still image frame acquisition unit that acquires a still image frame from moving image data acquired by an image sensor at an arbitrary timing, and still image data that is a part of the still image frame acquired by the still image frame acquisition unit And a still image compression unit that compresses still image data stored in the line memory, wherein the still image compression unit is in parallel with the storage of the moving image data in the main memory.
  • the still image data is compressed in real time, and the main memory stores the moving image data and is also realized by the still image compression unit. It is for storing the compressed data compressed by im.
  • the image processing apparatus further includes a timing adjustment buffer, and the timing adjustment buffer performs a compression process in real time by the timing when the moving image data is stored in the main memory and the still image compression unit. The timing when the compressed data is stored in the main memory can be adjusted.
  • the line memory is composed of a memory composed of three or more n (n is an integer of 1 or more) lines, and a part of the memory is a process in the compression process of the still image data by the still image compression unit. While functioning as a buffer that absorbs rate fluctuations, it can function as a buffer that adjusts the timing when compressed data after compression processing is stored in the main memory, and has three or more line memories. The timing when the compressed data is stored in the main memory can be controlled.
  • the image processing apparatus further includes a size conversion unit, and the size conversion unit can convert the size of the still image frame acquired by the still image frame acquisition unit in real time.
  • the image processing apparatus further includes a main image size conversion unit and a sub image size conversion unit, and the main image size conversion unit converts the size of the still image frame acquired by the still image frame acquisition unit in real time.
  • Main image data is generated, and the sub image size conversion unit converts the size of the still image frame acquired by the still image frame acquisition unit in real time to generate sub image data.
  • a sub-image size image can be acquired together with the image.
  • the sub-image size conversion unit can generate sub-image data by converting the size of the main image data generated by the main image size conversion unit in real time, and the data reduced to the main image size can be generated. Since the sub-image data is generated using the sub-image data, the sub-image size conversion process can be lightened.
  • the line memory stores a part of the main image data generated by the main image size conversion unit, and the still image compression unit is real-time in parallel with the storage of the moving image data in the main memory.
  • the sub-image data generated by the sub-image size conversion unit can be stored in the main memory without being compressed, and the sub-image data has a small capacity. It is not necessary to compress in real time.
  • the size conversion unit includes a size conversion line memory
  • the size conversion line memory includes a line memory for storing a part of the still image frame, the main image data, or the sub image data. It is possible to adjust the output timing from the size converter.
  • the image processing apparatus further includes a moving image size conversion unit, the moving image size conversion unit converts the size of moving image data acquired by the imaging device, and the main memory includes the moving image The moving image data whose size has been converted by the size conversion unit can be stored, and the size of the moving image data can also be converted.
  • the main memory stores moving image data obtained by decompressing compressed moving image data read from an external memory
  • the line memory stores a moving image acquired by the imaging device stored in the main memory.
  • the still image data can be compressed, a still image frame can be acquired from uncompressed moving image data stored in the main memory, and the compressed data can be generated.
  • An image processing method includes a moving image storing step of storing moving image data acquired by an image sensor in a main memory, and a still image acquired at an arbitrary timing from the moving image data acquired by the image sensor.
  • a line memory storing step for storing still image data that is a part of a frame in a line memory, a still image compression step for compressing the still image data stored in the line memory in real time, and the line memory storing A moving image storage step of storing, in a main memory, moving image data acquired by the imaging device in parallel with the step, the still image compression step or the still image storage step.
  • a program according to the present invention is a program for causing a computer to execute a still image recording process in parallel with a moving image recording process, and stores a moving image data acquired by an image sensor in a main memory.
  • Storage processing line memory storage processing for storing still image data, which is a part of a still image frame acquired at an arbitrary timing from moving image data acquired by the image sensor, in a line memory, and storage in the line memory
  • a still image compression process for compressing the still image data in real time
  • a still image storage process for storing the compressed data compressed in real time in the still image compression process in the main memory
  • the line In parallel with the memory storage process, the still image compression process, or the still image storage process
  • an image processing apparatus an image processing method, and a program that can encode still image data in real time at high speed and store them in the main memory in parallel with moving image shooting.
  • FIG. 1 is a block diagram showing an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing a basic configuration for realizing real-time recording processing of a still image frame in Embodiment 1 of the present invention.
  • FIG. 3 is a block diagram showing a first modification for realizing the real-time recording process of the still image frame according to Embodiment 1 of the present invention.
  • FIG. 4 is a block diagram showing a second modification for realizing the real-time recording process of the still image frame according to Embodiment 1 of the present invention.
  • FIG. 5 is a block diagram showing a third modification that realizes real-time recording processing of a still image frame according to Embodiment 1 of the present invention.
  • FIG. 1 is a block diagram showing an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing a basic configuration for realizing real-time recording processing of a still image frame in Embodiment 1 of the present invention.
  • FIG. 6 is a block diagram showing a fourth modification example for realizing real-time recording processing of still image frames in Embodiment 1 of the present invention.
  • FIG. 7 is a block diagram showing details of the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 8 is a block diagram showing details of the size conversion unit in the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 9 is a diagram showing an example in which the 8-line memory has a two-side structure.
  • FIG. 10 is a diagram showing an example in which the 8-line memory has a three-plane configuration.
  • FIG. 11 is a timing chart showing a writing period and a reading period, and a JPEG encoding period with respect to a line memory having a two-plane structure.
  • FIG. 11 is a timing chart showing a writing period and a reading period, and a JPEG encoding period with respect to a line memory having a two-plane structure.
  • FIG. 12 is a diagram illustrating a writing period, a reading period, and a JPEG encoding period for a three-plane line memory.
  • FIG. 13 is also a diagram illustrating another example of a writing period, a reading period, and a JPEG encoding period for a line memory having a three-plane structure.
  • FIG. 14 is a diagram for explaining an operation at the time of reproduction of the image processing apparatus according to the first embodiment of the present invention.
  • FIG. 15 is a block diagram of an image processing apparatus according to the second embodiment of the present invention.
  • FIG. 16 is a diagram for explaining control of the arbiter in the image processing apparatus according to the second embodiment of the present invention.
  • the present invention is applied to an image processing apparatus capable of acquiring a still image at a high speed in parallel with acquisition of a moving image.
  • the imaging apparatus as the image processing apparatus according to the present embodiment solves the problem related to the bus bandwidth of the main memory, and even when shooting still images together with moving image shooting, 10 or more images per second. High-speed shooting is possible. Furthermore, it is possible to acquire all the frames as still image frames out of the speed equivalent to the frame rate output from the normal image sensor, for example, 60 frames per second.
  • FIG. 1 is a block diagram showing an imaging apparatus according to the present embodiment.
  • the image capturing apparatus 1 acquires still image frames from moving image data at an arbitrary timing based on a user instruction while acquiring moving image data via an image sensor, and converts the still image frames into real time.
  • the encoding (compression) processing is performed by
  • real-time encoding processing refers to performing still image frame encoding processing, for example, JPEG encoding processing, at the same frame rate as the input frame rate of moving image data (camera image).
  • the still image frame is described as being acquired at an arbitrary timing based on the user's instruction. For example, a “still image frame automatic acquisition mode” or the like is prepared, and a specific object such as a subject smile is prepared. A target may be automatically detected, and a still image frame may be automatically acquired according to the detection result.
  • the imaging apparatus 1 includes an imaging unit including an imaging element 12 that photoelectrically converts incident light incident through the lens 11 and the lens 11 and generates image data. Furthermore, the imaging apparatus 1 includes a DDR (Double-Data-Rate) main memory 16, a moving image codec 20, a line memory 22, and a JPEG codec 23. The DDR main memory 16, the moving image codec 20, the line memory 22, and the JPEG codec 23 are connected via the bus 10.
  • DDR Double-Data-Rate
  • moving image data acquired by the image sensor 12 is written.
  • the moving image codec 20 functions as a moving image compression unit that compresses moving image data written in the main memory.
  • the moving image codec 20 further functions as a moving image expansion unit that expands compressed moving image data.
  • the moving image data acquired from the image sensor 12 is once written in the DDR main memory 16 and then encoded by the moving image codec 20.
  • a still image frame acquisition unit (not shown) acquires a still image frame from the moving image data acquired by the image sensor 12 at an arbitrary timing, and the still image frame is stored in the line memory 22.
  • the still image data that is a part of is stored.
  • the moving image data from the camera signal processing unit 13 may be stored in the line memory 22 sequentially.
  • a frame acquisition unit is unnecessary.
  • a still image frame is acquired at an arbitrary timing in accordance with a user instruction, for example, it is obtained from a predetermined number of still image frames from moving image data based on the timing at which the user presses a shutter button (not shown) of the imaging apparatus 1. It can be configured by a switch or the like that performs a switch operation so that still image data can be input to the line memory 22.
  • the JPEG codec 23 functions as a still image compression unit that compresses still image data stored in the line memory 22.
  • the JPEG codec 23 also functions as a decompression unit that decompresses compressed still image data.
  • the JPEG codec 23 encodes still image data in real time in parallel with the writing of moving image data being shot to the DDR main memory 16. At this time, the DDR main memory 16 is written with the moving image data and the encoded data encoded in real time by the JPEG codec 23.
  • a still image frame acquired from moving image data is directly written in real time without being written to the DDR main memory 16 and then written to the DDR main memory 16.
  • the DDR main memory 16 is configured such that a still image frame (hereinafter referred to as uncompressed image data is also referred to as raw data) acquired from the captured image is encoded and then written to the DDR main memory 16 without being written.
  • the load on the bus bandwidth of the bus 10 is reduced. This makes it possible to perform high-speed shooting processing of still image data having a multi-pixel image size at a speed of 60 frames per second.
  • the imaging apparatus 1 further includes a camera signal processing unit 13 and a zoom / focus control unit 14 that controls the zoom magnification and focal length of the lens 11 under the control of the camera signal processing unit 13. Further, it has a CPU (Central Processing Unit) 15, an SD card (SD Memory Card) 17, and a USB (Universal Serial Bus) 18 that control each block. Furthermore, it has a size conversion unit 19, a size conversion unit 21, a video signal processing unit 24, an HDMI (High-Definition Multimedia Interface) 25, an LCD (Liquid Crystal Display) 26, and the like. Each processing unit is connected via a bus 10.
  • a bus 10 10
  • the camera signal processing unit 13 has a synchronization signal generation unit, a Y / C processing unit, and the like (not shown).
  • the synchronization signal generation unit generates a horizontal synchronization signal and a vertical synchronization signal corresponding to the horizontal size and vertical size of the generated image data and synchronized with the internal clock.
  • image data from the imaging unit image data synchronized with the horizontal synchronization signal and the vertical synchronization signal is input to the camera signal processing unit 13.
  • the Y / C processing unit sequentially Y / C-processes a plurality of image data generated by the imaging unit.
  • Y / C processing is processing for separating and converting image data into luminance data (Y) and color data (C). That is, the camera signal processing unit 13 outputs (moving) image data obtained by performing a series of camera signal processing such as color separation, white balance adjustment, and Y / C processing from the captured data.
  • the size conversion unit 19 converts the size of the moving image data output from the camera signal processing unit 13. This moving image data is once written in the DDR main memory 16.
  • the moving image codec 20 encodes moving image data once written in the DDR main memory 16 in a format conforming to, for example, the H.264 / AVC standard or the MPEG2 standard.
  • the encoded data after encoding is written in the DDR main memory 16 and transferred to an external memory such as the SD card 17 as necessary. Further, at the time of reproduction, a decoding process is performed on encoded moving image data read from an external memory such as the SD card 17 and written in the DDR main memory 16, for example.
  • the size conversion unit 21 converts the size of the still image frame acquired by the still image frame acquisition unit (not shown) as described above.
  • the size conversion unit 19 and the size conversion unit 21 may be provided as necessary.
  • the SD card 17 is a large-capacity external storage medium, and moving image data and still image data are written on the SD card 17 and can be displayed on the LCD 26.
  • the image data stored in the SD card 17 is once written in the DDR main memory 16, decoded by the moving image codec 20, output to the LCD 26 via the video signal processing unit 24, or output via the HDMI 25. Can do.
  • the imaging device 1 is connected to various peripheral devices via the USB 18.
  • the video signal processing unit 24 performs a series of video signal processing for converting the decoded image data into output data in a format corresponding to the HDMI 25 or the LCD 26, and displays an image via the LCD 26 or a television monitor via the HDMI 25.
  • the image data is output to an external monitor device.
  • the imaging apparatus 1 acquires a still image frame from raw data or decoded moving image data written in the DDR main memory 16, converts the size by the size conversion unit 21, and performs line memory 22. Via the JPEG codec 23 and writing to the DDR main memory 16.
  • the DDR main memory 16 decodes moving image data (first moving image data) acquired by the image sensor 12 or encoded moving image data read from an external memory such as the SD card 17 ( 2nd moving image data) is written.
  • a still image frame is also acquired for the first moving image data and the second moving image data at an arbitrary timing according to a user instruction or the like, and is output to the size conversion unit 21.
  • the image size of the still image frame is converted by the size conversion unit 21, a part of the still image data is sequentially written in the line memory 22, and the still image data written in the line memory 22 by the JPEG codec 23.
  • the encoded data encoded in the DDR main memory 16 is output.
  • a still image frame when acquiring a still image frame from raw data or decoded moving image data (first and second moving image data) written in the DDR main memory 16, not only one frame at a timing specified by the user.
  • a single still image frame may be obtained by combining a plurality of neighboring frames by weighted averaging.
  • the DDR main memory 16 of the imaging apparatus 1 is used when JPEG encoding is performed from the camera signal processing unit 13 without passing through the DDR main memory 16 (hereinafter also referred to as a high-speed shooting route). It is preferable to use the line memory 22 on three sides.
  • JPEG encoding is performed via the DDR main memory 16 (hereinafter also referred to as “normal route”), two of the three sides of the line memory 22 are used. May be used.
  • normal route two of the three sides of the line memory 22 are used. May be used.
  • One of the bottlenecks at the time of the high-speed shooting route of the imaging apparatus 1 according to the first embodiment depends on the encoding processing capability of the JPEG codec 23.
  • the JPEG codec 23 normally has a relationship of input data amount> encoded data amount, but depending on the complexity of the image, the amount of encoded data increases due to the allocation of Huffman codes, etc., and the above equation may be reversed. In that case, the read processing of the image data is instantaneously delayed, and the processing may fail if only two surfaces of the line memory 22 are used, and the line memory 22 needs to have a three-surface configuration.
  • the still image data from the camera signal processing unit 13 is directly encoded and written to the DDR main memory 16 through the high-speed shooting route.
  • the amount of data can be reduced as compared to the case where raw data is written.
  • the bus bandwidth of the bus 10 of the DDR main memory 16 can be secured, and encoded still image data such as still image frames acquired 60 frames per second can be written to the DDR main memory 16. is there.
  • the line memory 22 has three or more lines of memory composed of n (n is an integer of 1 or more) lines.
  • n is an integer of 1 or more lines.
  • the imaging apparatus 1 encodes and records a still image frame in real time at a high speed in parallel with recording of a moving image (hereinafter referred to as a still image using a high-speed shooting route).
  • the processing for encoding a frame is also referred to as real-time recording processing, and the processing units that execute still image frame encoding processing in real time are collectively referred to as a still image real-time processing unit.
  • a still image real-time processing unit Next, details of the real-time recording process of the still image frame will be described.
  • FIG. 2 is a diagram showing a basic configuration for realizing real-time recording processing of a still image frame.
  • FIGS. 3 to 16 to be described later the same components as those of the imaging apparatus 1 shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • FIGS. 2 to 6 a part of the image pickup apparatus 1 is extracted and illustrated in order to explain real-time recording processing of a still image frame.
  • a selector 27 is provided for switching a path (normal route) for encoding the still image frame D2 acquired from the data.
  • the still image frame acquired from the moving image data acquired from the image sensor 12 is encoded in real time in the high-speed shooting route R1, the still image frame D1 is selected via the selector 27, and this is stored in the line memory 22. Input sequentially.
  • the line memory 22 writes data less than one frame of still image data. Details of the line memory 22 will be described later.
  • the JPEG encoder 23a arranged at the subsequent stage of the line memory 22 encodes the still image data output from the line memory 22 into the JPEG format and outputs the encoded image. This encoded data is written into the DDR main memory 16.
  • the moving image data of the raw data written in the DDR main memory 16 is used.
  • the moving image data is obtained by writing moving image data acquired through, for example, the lens 11 and the image sensor 12 to the DDR main memory 16.
  • encoded moving image data input from an external memory such as the SD card 17 is once written in the DDR main memory 16, decoded by the moving image codec 20 shown in FIG. 1, and written again in the DDR main memory 16. Is. In either case, it is raw data or uncompressed moving image data that has been decoded.
  • a still image frame is acquired at an arbitrary timing based on a user instruction and output to the size conversion unit 21.
  • a route that is encoded by the JPEG codec 23 from the DDR main memory 16 via the size converter 21 and the line memory 22 is a normal route.
  • the encoded still image data encoded by the JPEG codec 23 is written into the DDR main memory 16.
  • FIG. 3 to 5 are block diagrams showing first to third modifications, respectively.
  • the example shown in FIG. 3 which is the first modification is an example in which the size conversion unit 21 is provided in the subsequent stage of the camera signal processing unit 13 and in the previous stage of the selector 27.
  • the size of the still image frame in the high-speed shooting route R1 is converted by the size conversion unit 21, so that the data capacity after encoding can be reduced.
  • the user can set the still image data to be acquired to data of a desired size.
  • the still image frame D2 is acquired from the DDR main memory 16, and is input to the line memory 22 via the selector 27, and is encoded by the JPEG encoder 23a.
  • the still image frame D3 is obtained, and after the size conversion by the size conversion unit 21, it is input to the line memory 22 via the selector 27 and is encoded by the JPEG encoder 23a, and has two paths. That is, the user can select whether to perform size conversion.
  • FIG. 4 which is a second modification example is that the size of the still image frame acquired from the moving image data input via the camera signal processing unit 13 is converted in real time to the main image data and Each has a main image size conversion unit 21a and a sub image size conversion unit 21b for generating sub image data.
  • line memories 22a and 22b and JPEG encoders 23a and 23b are provided corresponding to the main image size conversion unit 21a and the sub image size conversion unit 21b, respectively.
  • the operations of the line memories 22a and 22b are the same as those of the line memory 22, and the operation of the JPEG encoder 23b is the same as that of the JPEG encoder 23a.
  • the selector 27 converts the still image frame D1 acquired from the moving image data from the camera signal processing unit 13 into the main image size by the main image size conversion unit 21a, and the still image frame D1 is the sub image size.
  • the raw data written in the DDR main memory 16 or the still image frame D2 obtained from the decoded moving image data, or the raw data of the DDR main memory 16 either the still image data obtained by converting the size of the still image frame D3 acquired from the decoded moving image data by the main image size converting unit 21a or the sub image size converting unit 21b is selected, and the line memory 22a or the line memory is selected. To 22b.
  • the main image size conversion unit 21a, the line memory 22a, and the JPEG encoder 23a can perform real-time encoding processing of still image data of the main image size.
  • a route in which the real-time encoding process is performed and the encoded data is written in the DDR main memory 16 is defined as a main image high-speed shooting route R1.
  • This main image high-speed shooting route corresponds to the high-speed shooting route shown in FIG.
  • the sub-image size conversion unit 21b, the line memory 22b, and the JPEG encoder 23b can perform real-time encoding processing of still image data having a sub-image size such as a thumbnail.
  • a route in which the real-time encoding process is performed and the encoded data is written in the DDR main memory 16 is set as a sub-image high-speed shooting route R2.
  • a still image frame is acquired in real time by the main image high-speed shooting route R1 or the sub-image high-speed shooting route R2, and is converted into still image compressed data, and is written in the DDR main memory 16.
  • the data amount is about 1/3 of the original image size. Therefore, as in the first embodiment and the first modification described above, the load on the bus band of the bus 10 of the DDR main memory 16 is reduced, and thus high-speed still image shooting is possible.
  • JPEG files of various sizes desired by the user can be encoded in the same processing time when not reduced.
  • EXIF package processing can be realized at higher speed by performing parallel processing (reduction and transfer to the main memory) of the index sub-image (thumbnail) with the main image data in real time.
  • the line memory necessary for the reduction processing can be shared between the main image data and the thumbnail data depending on the circuit configuration.
  • the selector 27 selects the still image data (D1) from the main image high-speed shooting route R1 and the still image frame D3 acquired from the raw data or the decoded moving image data written in the DDR main memory 16 according to the mode. Select one of them.
  • the still image data selected and output by the selector 27 is input to the line memory 22a, then input to the JPEG encoder 23a, encoded, and written to the DDR main memory 16.
  • the sub image size converting unit 21d connected in series to the main image size converting unit 21c is provided.
  • the main image size is larger than the sub-image size. Therefore, first, the size conversion of the still image frame whose size is converted by the main image size conversion unit 21c by the sub-image size conversion unit 21d is larger than the size conversion of the still image frame D1 acquired from the moving image data. Is small. Therefore, in the present modification, still image frames are converted by the sub-image size conversion unit 21d using the result of the main image size conversion unit 21c. Thereby, the amount of calculation processing in the sub-image size conversion unit 21d can be reduced.
  • the line memory (scaler buffer 212a / b) used in the vertical filter circuit is necessary.
  • the number of lines increases. Therefore, by devising the system configuration, if the filter processing that pre-filters the main image image data and writes it to the line memory, and additionally reduces the frequency characteristics of the thumbnail image data, The line memory resources of the remaining thumbnail image data can be allocated to other locations.
  • the sub-image high-speed shooting route R2 does not have a JPEG codec. This is because the sub image data is smaller than the main image data, and the data capacity is not so large. Therefore, it is possible to write to the DDR main memory 16 as uncompressed data without performing encoding processing in real time.
  • FIG. 6 relates to a fourth modification of the basic configuration shown in FIG. 2, and also shows a shooting route R3 for moving image data. Compared with the imaging apparatus 1 in FIG. 1, the difference is that the size conversion unit 19 is not provided. Other configurations are the same as those of the imaging apparatus 1 shown in FIG. In the moving image shooting route R3, the moving image data from the camera signal processing unit 13 is once written in the DDR main memory 16. Thereafter, the moving image data is converted into, for example, H.264 by the moving image encoder 20a. The encoded data conforms to the H.264 / AVC standard or MPEG2 standard, and is written back to the DDR main memory 16.
  • FIG. 7 is a diagram showing blocks related to the high-speed shooting route and the moving image shooting route between the camera signal processing unit 13 and the DDR main memory 16.
  • the imaging apparatus 1 has two paths for encoding still image frames acquired from moving image data output from the camera signal processing unit 13.
  • One is a path related to still image data serving as a main image (hereinafter referred to as path 1), and the other is a path related to still image data serving as a sub image (thumbnail) (hereinafter referred to as path 2).
  • the path 1 includes a first input image selection unit 28, a main image size conversion unit 21a, and a line memory 22a.
  • the still image data from the line memory 22a is input to the JPEG core 23c and encoded in real time.
  • the path 2 includes a second input image selection unit 29, a sub-image size conversion unit 21b, and a line memory 22b, and still image data from the line memory 22b is input to the JPEG core 23c and encoded in real time.
  • the still image data in the path 2 does not have to be encoded in real time, and may be temporarily written in the DDR main memory 16a.
  • the main image size conversion unit 21a includes a size conversion unit 211a and a scaler buffer 212a
  • the sub-image size conversion unit 21b includes a size conversion unit 211b and a scaler buffer 212b.
  • the scaler buffers 212a and 212b are line memories.
  • the main image size conversion unit 21a and the sub image size conversion unit 21b basically convert still image data input from the camera signal processing unit 13 into sizes for main images and thumbnails, respectively. Details of the main image size conversion unit 21a and the sub image size conversion unit 21b will be described later.
  • the line memory 22a has a memory controller 221a and a buffer 222a composed of SRAM, etc.
  • the line memory 22b has a memory controller 221b and a buffer 222b.
  • the buffers 222a and 222b are three-surface and two-surface buffers, respectively.
  • the JPEG core 23c is also connected with, for example, a two-sided buffer 231.
  • the buffers 222a and 222b are made of SRAM, for example, and their functions will be described later.
  • the memory controllers 221a and 221b control data access to the buffers 222a and 222b in order to make the SRAM function as a line memory, for example. Further, when the main image size conversion unit 21a, the sub image size conversion unit 21b, and the JPEG core 23c have different clock frequencies, processing for converting the clock frequency can be performed.
  • the JPEG core 23c has a JPEG codec and an interface. When there is no encoding, the JPEG core 23c transfers the main image YUV data for the main image and the thumbnail YUV data for the thumbnail to the DDR main memory 16a. When encoding is performed, the main image data is encoded and the stream is transferred to the DDR main memory 16a. As for the thumbnail image, the thumbnail image data is encoded and the stream is transferred to the DDR main memory 16a.
  • the DDR main memory 16a in this example also includes a DDR interface.
  • the first input image selection unit 28 and the second input image selection unit 29 have the function of the selector 27 shown in FIGS. 2 to 6 for selecting input image data from a plurality of routes.
  • a still image frame acquired from raw moving image data from the DDR main memory 16a or decoded moving image data is selected during normal moving image shooting. Further, when shooting a still image during moving image shooting, a still image frame from the high-speed shooting route is selected.
  • a moving image reproduction route that is, an input still image frame acquired from raw moving image data or decoded moving image data written in the DDR main memory 16a is selected.
  • still image frames acquired from the moving image data from the camera signal processing unit 13 or the moving image data from the DDR main memory 16a are for main images and thumbnails, respectively. Is converted to the size of
  • the still image frames subjected to the size conversion in the horizontal direction and the vertical direction are respectively stored in the buffers 222a and 222b controlled by the memory controllers 221a and 221b.
  • the buffers 222a and 222b constituting the line memories 22a and 22b are buffers for 8 lines for storing pixels necessary for 8 ⁇ 8 DCT, Y8 line x 3 surfaces + C8 line x 3 surfaces (in the case of format 4: 2: 2) Y16 line x 3 planes + C8 line x 3 planes (when image format is 4: 2: 0) It becomes the composition of.
  • the number of faces is for single port.
  • the buffer 231 may have a SRAM 2 surface configuration or the like.
  • the capacity varies depending on the system configuration, and it is only necessary to absorb the delay when the writing process for writing the transfer data to the DDR main memory 16a is stagnant.
  • FIG. 8 is a block diagram showing details of the size converter 21. It has a two-channel configuration according to the acquired still image data. Thus, data can be processed even when two lines (progressive ODD (odd number), EVEN (even number)) are input simultaneously. By using two channels simultaneously, the processing clock rate of camera processing can be lowered.
  • the input image is limited to the required frequency characteristics by the horizontal filter circuit (ch1) 41 and the horizontal filter circuit (ch2) 42.
  • the sampling frequency is thinned out from horizontal 1024 pixels ⁇ vertical 768 lines of fs to 512 pixels ⁇ 384 lines
  • filtering is performed by setting the cutoff frequency of the filter to be fs / 4.
  • the pixel is thinned to 512 pixels by the horizontal thinning circuit 43 and written to the scaler buffer 212a.
  • moire folding distortion
  • the scaler processing line memory controller 44 adjusts the scale of the image data thinned out by the horizontal thinning circuit 43. Specifically, with respect to the data after thinning, when the sample point is between the sampling points, a value is obtained by calculating according to the distance of the sample after interpolation from two samples of the filtered image signal, and a straight line between the pixels Perform interpolation etc.
  • the still image frame after horizontal interpolation is output to the vertical filter circuits 45 and 46.
  • the vertical filter circuits 45 and 46 filter the still image data read from the line memory (scaler buffer 212a) in the vertical direction. After filtering, vertical thinning is performed by the vertical thinning circuit 47, and only necessary image data is written into the buffers 222a and 222b via the memory controllers 221a and 221b at the subsequent stages.
  • the size conversion can be independently performed in parallel on the main image and the thumbnail image. It is also possible to reduce the buffer size by sharing the scaler buffer 212a. For example, consider a case where the main image still image data is set to fs / 4 by frequency characteristic reduction processing in the horizontal filter circuits 41 and 42. In the filter processing in the thumbnail horizontal filter circuits 48 and 49 connected in series in the subsequent stage, the horizontal 160 pixels ⁇ vertical 120 lines are used.
  • Size converter 211a only (each independently used): fs / 12.8 processing required Size converter 211a + 211b Scaler 1 + Scaler 2 (connected in series in the subsequent stage): fs / 6.4 treatment (because fs / 2 ⁇ fs / 4 in the previous stage)
  • the frequency characteristic limit width can be reduced by connecting to the subsequent stage in series.
  • the limit width is small, the band order efficiency is good and the image quality is merited if the order is the same.
  • the image quality is comparable, the order can be reduced.
  • the necessary line memory of the scaler buffer 212b is reduced, and the surplus line memory can be allocated to other resources.
  • thumbnail size converter signals between the vertical filter circuits 45 and 46 and the vertical thinning circuit 47 are used. That is, the size conversion of the still image data after the size conversion by the size conversion unit for the main image is performed.
  • the thumbnail size converter also has horizontal filter circuits 48 and 49, a horizontal thinning circuit, a scaler processing line memory controller, a vertical filter circuit, and a vertical thinning circuit, and outputs a still image image whose size has been converted by the same processing. To do.
  • the still image data written in the buffers 222a and 222b is transferred to the DDR main memory 16a every time it is written as, for example, 8-line data.
  • the processing on the DDR main memory 16a side varies depending on the system, but it is normal to write still image routes, moving image routes, and other calculation results for camera control signals into the DDR main memory 16a. Therefore, a band capable of processing a rate higher than the data rate of the real-time recording process of the still image frame is secured. However, there may be a moment when the bus bandwidth of the bus 10 is occupied by data other than the real-time recording process of the still image frame. Therefore, the imaging apparatus includes scaler buffers 212a and 212b, buffers 222a and 222b, a stream buffer 231 and the like in order to absorb the processing delay of the DDR main memory 16a.
  • FIG. 9 is a diagram showing an example in which the 8-line memory has a two-side configuration
  • FIG. 10 is a diagram showing an example in which the 8-line memory has a three-side configuration.
  • the 8-line memories 51 and 52 are switched by the switch 61.
  • the 8-line memories 71 to 73 are switched by the switch 82.
  • FIG. 11 is a timing chart showing a writing period and a reading period to the line memory 50, and a JPEG encoding period. Writing to the line memory 50 is performed continuously for 8 horizontal synchronization periods (T1 to T8), and reading is almost equal to the timing at which the JPEG encoder encodes data for 8 lines.
  • the amount of computation required for processing varies depending on the input image data.
  • the compression rate is 1 or less and the encoding process is a processing period of 8 lines or less.
  • the compression rate is 1 or more and the processing period is 8 lines or more. There is.
  • FIG. 12 is a diagram showing a writing period, a reading period, and a JPEG encoding period with respect to the line memory 70 having the three-surface configuration.
  • the period R5 for reading the line memory 72 is longer than 8 lines, even when the encoding period of the JPEG encoder is a period T11 in which the input image is a complex picture and the processing period is 8 lines or more.
  • the line memory to be written is the line memory 71 (T7), a period in which the timings overlap in the same line memory does not occur, and JPEG encoding can be performed correctly.
  • some line memories can function as a buffer that absorbs fluctuations in the processing rate during real-time processing of still image frames.
  • this line memory can also function as a buffer for adjusting the timing when compressed data after compression processing is written to the DDR main memory 16.
  • FIG. 13 is also a diagram illustrating another example of a writing period, a reading period, and a JPEG encoding period with respect to the line memory 70 having a three-surface configuration.
  • a period indicated by a period T ⁇ b> 13 indicates a period during which other blocks are permitted to output to the bus 10 and the JPEG codec 23 cannot output a JPEG stream to the bus 10.
  • the JPEG codec 23 accumulates the JPEG encoded stream in a buffer provided in the output stage until output is permitted. If the JPEG encoded stream is output from the buffer to the bus 10 of the DDR main memory 16a after the output is permitted, the operation can be performed without interrupting the JPEG stream.
  • the JPEG stream will be interrupted, so the buffer capacity needs to have a large margin.
  • the 8-line memory of the line memory 22 it is possible to prevent the output buffer capacity of the DDR main memory 16 from becoming insufficient.
  • the read timing from the 8-line memory of the line memory 22 is delayed until the output to the bus 10 of the DDR main memory 16a becomes possible (R4), and the start of JPEG encoding is delayed, whereby the JPEG stream is transferred to the DDR main memory.
  • the transfer timing to 16a can be delayed.
  • the ratio of the JPEG stream is large. However, in actuality, such a timing is obtained in a state where the size conversion output for moving images, the moving image codec, and video processing are combined. Will occur.
  • the output stage to the bus 10 of the DDR main memory 16a of each block has a buffer to cope with the fact that the bus cannot be output.
  • the 8-line memory of the line memory 22 in the preceding stage of the JPEG codec 23 can also have the same role as a buffer for adjusting the bus output.
  • FIG. 14 is a diagram for explaining the operation during reproduction of the imaging apparatus.
  • encoded encoded moving image data written in the DDR main memory 16 is input to the moving image decoder 20b, decoded, and written into the DDR main memory 16.
  • the decoded moving image data is subjected to video signal processing by the video signal processing unit 24 and output to the LCD 26 and the HDMI 25.
  • the user can press the shutter at any timing.
  • a still image frame corresponding to the shutter timing is acquired, input to the JPEG encoder 23 a via the selector 27, encoded, and written to the DDR main memory 16.
  • one still image frame may be generated by averaging or weighted averaging from two or more frames.
  • a still image frame acquired from moving image data being shot is directly encoded in real time without being written into the main memory, so that a minimum circuit scale, a minimum operation clock, and a minimum associated with it are recorded.
  • realizing power consumption even with a multi-pixel image size, it is possible to realize high-speed shooting processing with a larger number of images, for example, 60 frames per second.
  • still image acquisition processing while performing moving image acquisition processing is systematic. Therefore, in order to realize this, there are disadvantages and limitations such as an increase in cost, an increase in the difficulty of LSI generation such as an increase in bus clock frequency, an increase in power consumption, and a reduction in the video processing rate.
  • the efficiency of still image processing can be improved, and high-speed still image acquisition processing can be executed without affecting the moving image acquisition processing. That is, still image capture can be realized with high speed and high efficiency even when reproducing a moving image with the minimum necessary configuration.
  • FIG. 15 is a block diagram illustrating the imaging apparatus according to the present embodiment.
  • a still image frame acquisition unit 94 is provided in the imaging apparatus 1a according to the present embodiment.
  • all the data may be sequentially sent to the size converter 21, the line memory 22, and the JPEG codec 23. In particular, it is not necessary to provide the still image frame acquisition unit 94.
  • Image data of a predetermined frame flows from the moving image data output from the signal processing unit 13 or the decoded moving image data written in the DDR main memory 16 to the size conversion unit 21 side.
  • the DDR main memory is used when moving image data is written into the DDR main memory 16, and when encoded data from the JPEG codec 23 is written into the DDR main memory 16.
  • a plurality of timing adjustment buffers 91 to 93 for arbitrating use of the 16 buses 10 are provided.
  • an arbiter 95 that functions as an arbitration unit that controls the plurality of timing adjustment buffers 91 to 93 is provided. Still image data passing through the high-speed shooting route R1 is encoded and written to the DDR main memory 16, but at a certain timing, the bus bandwidth of the bus 10 of the DDR main memory 16 may be insufficient. It may be necessary to perform arbitration using a plurality of timing adjustment buffers 91 to 93.
  • timing adjustment buffers 91 to 93 are shown here, it goes without saying that the SD card 17 and the video signal processing unit 24 may be provided with timing adjustment buffers as necessary.
  • FIG. 16 is a diagram for explaining the control of the arbiter 95.
  • the arbiter 95 writes data to the DDR main memory 16 after the size conversion of the moving image data size conversion unit 19 (A), reads from the DDR main memory 16 of the video codec 20 (B), A case will be described in which the writing (C) of the moving image codec 20 to the DDR main memory 16 and the writing (D) operation of the encoded data of the JPEG codec 23 to the DDR main memory 16 are arbitrated.
  • FIG. 16 shows a request signal for transmitting an access request to the DDR main memory 16 of the JPEG codec 23 to the arbiter 95 when the size converter 19 and the video codec 20 are read, when the video codec 20 is written, and when access is not permitted.
  • the wait signal received from the arbiter 95 is shown in FIG.
  • the arbiter 95 permits access if no other request signal is received and the bus bandwidth of the bus 10 of the DDR main memory 16 is free.
  • the arbiter 95 when the arbiter 95 receives a plurality of request signals, for example, at timing T21, a video codec read request signal of priority 3 and a video codec write request signal of priority 4 are output. In this case, the arbiter 95 outputs a moving image codec light wait signal, stops the moving image codec light, and executes a priority 3 moving image codec read process.
  • the size conversion unit 19 having the priority 2 outputs the request signal.
  • a request signal is output from the JPEG codec 23 having a higher priority than the priority 1. Therefore, since the size conversion unit 19 has a lower priority than the JPEG codec 23, the size conversion unit 19 is again in the wait state, and the write operation of the size conversion unit 19 is permitted at the timing T24 when the write operation of the JPEG codec 23 is completed.
  • the imaging apparatus 1a directly encodes a still image frame in real time without writing it to the DDR main memory 16 so as to enable high-speed still image shooting during moving image shooting.
  • the load on the bus bandwidth of the bus 10 of the DDR main memory 16 can be reduced as compared with the conventional route in which the raw data of the still image frame is once written in the DDR main memory 16 and then encoded. As a result, high-speed still image shooting is possible.
  • a still image frame is encoded in real time without being written to the DDR main memory 16 and then written to the DDR main memory 16, for example, a moving image consisting of 60 frames per second. Still image frames can be acquired for all frames of data.
  • the memory bandwidth of the DDR main memory 16 may be insufficient. Even in such a case, the processing to the DDR main memory 16 is delayed by providing the timing adjustment buffers 91 to 93 and the like and performing arbitration of the bus 10 by the arbiter 95 as in the present embodiment. Can be implemented without.
  • the timing adjustment buffer 91 is provided for adjusting the timing when the bus bandwidth of the DDR main memory 16 of the JPEG codec 23 is used.
  • the JPEG codec 23 according to the present embodiment is ,
  • An 8-line memory has a three-surface configuration. Therefore, a part of this line memory may be used instead of the timing adjustment buffer 91.
  • the present embodiment it is possible to provide an imaging device capable of high-efficiency processing, high-speed processing, and cost reduction in still image shooting.
  • efficient still image processing enables high-speed still image processing at a lower cost.
  • Non-transitory computer readable media include various types of tangible storage media.
  • non-transitory computer-readable media are magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical disks), CD-ROM (Read Only Memory), CD-R, Includes CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)).
  • the program may be supplied to the computer by various types of temporary computer readable media.
  • Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　動画撮影と並行して、高速に静止画データをエンコードしてメインメモリに格納する。撮像装置（１）は、動画像データを格納するＤＤＲメインメモリ（１６）と、メインメモリ（１６）に格納された動画像データをエンコードする動画コーデック（２０）と、撮像素子（１２）により取得された動画像データから任意のタイミングで静止画フレームを取得する静止画フレーム取得部と、その静止画フレームの一部である静止画データを格納するラインメモリ（２２）と、動画像データのメインメモリ（１６）への格納と並行してリアルタイムで静止画データをエンコードするＪＰＥＧコーデック（２３）とを有し、メインメモリ（１６）は、動画像データを格納すると共に、ＪＰＥＧコーデック（２３）によりリアルタイムでエンコードされたエンコードデータを格納する。

Description

画像処理装置、画像処理方法、及びプログラム
　本発明は、動画撮影中に静止画を撮影する機能を有する画像処理装置、画像処理方法、及びプログラムに関し、特に、高速にリアルタイムにエンコードした静止画データを取得するのに好適な画像処理装置、画像処理方法、及びプログラムに関する。
　デジタルカメラ又はデジタルビデオカメラ等で、動画撮影と共に静止画を撮影する機能を有する従来の撮像装置においては、静止画のみの撮影を行う撮像装置と同様、静止画を撮影しファイル化する際、画像データを非圧縮のファイルで保存したり、ＪＰＥＧ（Joint　Photographic　Experts　Group）形式等の圧縮データにして保存するのが一般的である。それらファイル化の際、通常、撮像素子同等の解像度を有するメインの画像のほかにサムネイルと呼ばれるインデックス用の副画像（水平１６０画素×垂直１２０画素）を同時にファイルにパッケージする。これにより、副画像を、静止画再生時に画像サイズの小さいインデックス用の画像としてサムネイルに表示し、ユーザが静止画を確認して効率よく選択することができる。これはデジタルカメラ用の画像ファイル規格であるＥＸＩＦ（Exchangeable　Image　File　Format）等に規定されている。
　ところで、動画撮影と共に静止画を撮影する機能を有する従来の撮像装置として例えば特許文献１に記載の電子カメラが公知である。この特許文献１には、静止画の撮影可能枚数に内部メモリによる制限が生じないようにし、撮像される動画に不連続部分があっても再生時にユーザに違和感を与えないように記録することを目的とした電子カメラが開示されている。
　この特許文献１に記載の電子カメラにおいては、動画記録中に静止画記録要求の指示が与えられた場合、静止画記録要求に呼応して静止画撮影画像を記憶手段に記憶するとともに所定時間の間、記憶手段に撮像素子からの画像の取り込みを禁止し、この間に記憶手段の画像を繰り返し読み出すことにより、静止画撮影画像を動画として動画記録部に記録する。また、静止画撮影画像の動画処理の合間に記憶手段に格納されている静止画撮影画像を静止画として静止画記録部に記録する静止画処理を実行し、静止画撮影画像を静止画として静止画記録部に記録し終えた時又はその後に所定時間が満了することにより、禁止が解除されて撮像素子から得られる画像を動画として動画記録部に記録する記録動作を再開させるものである。
特開２０００－３２４４３４号公報
　上述の特許文献１を含む従来の撮像装置においては、通常、静止画撮影をする際には、撮像素子等を介して取得された画像データを一度メインメモリに格納し、画質補正等を行った後にＪＰＥＧ等の形式で圧縮して主画像ストリームを生成する。更に、必要に応じてメインメモリの画像をサムネイル用のサイズにサイズ変換してＪＰＥＧ等の形式で圧縮してサムネイル用のストリームを生成する。そして、これらをＥＸＩＦとしてパッケージすることで一般的なＪＰＥＧファイルが生成される。この一連の処理（以下、静止画エンコード処理という。）においては、
（１）メインメモリへの画像データの書き込み処理
（２）メインメモリから画像データを読み出しながら、読み出された画像データをＪＰＥＧ形式へエンコード処理
（３）エンコード処理されたデータのメインメモリへのストリームの書き込み処理等の処理によりメインメモリに対するアクセスが多数発生するため、メモリバス帯域を圧迫する。このため、メモリ処理クロック周波数を高くしたりバス幅を広げたりする必要が生じ、結果、コストが高くなったり、消費電力が増加する等の問題点があった。
　高速に静止画エンコード処理を行なおうとすると上記問題点が顕著となる。特に動画撮影と共に静止画撮影をする場合、撮像素子から取得された動画像データをメインメモリに書き込むのと同時に、静止画データをメインメモリに書き込み、エンコードして再度メインメモリへ書き込むという一連の静止画エンコード処理が必要となるが、この場合、動画像データをメインメモリに書き込む処理と静止画データをメインメモリに書き込む処理を同時に行うと、メモリのバス帯域が不足するため、高速に静止画データを取得することが不可能となる。
　すなわち、従来の撮像装置のように、フレームメモリに静止画データを書き込んでから静止画エンコード処理を動画撮影に伴う処理と同時に行なう場合は、フレームメモリのバス帯域が不足するため、同一フレーム期間に書き込みと読み出しを同時に行うことができない。このため、約１０枚以上ないし全フレームの静止画エンコード処理が不可能となり、例えば１秒６０フレームからなる動画像において、６０フレームのうち処理可能な数枚のフレームを選択してＪＰＥＧファイル化を行わなければならないという問題点があった。
　また、ユーザが主画像サイズとして、撮像素子から出力されるサイズではなく１／２や１／３などの縮小サイズを望む場合、更に主画像のリサイズ処理のために時間がかかり高速な静止画処理ができなくなる。
　本発明は、このような問題点を解決するためになされたものであり、動画撮影と並行して、高速に静止画データをリアルタイムにエンコードしてメインメモリに格納することが可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
　本発明にかかる画像処理装置は、撮像素子と、前記撮像素子により取得された動画像データを格納するメインメモリと、前記メインメモリに格納された動画像データを圧縮処理する動画圧縮部と、前記撮像素子により取得された動画像データから任意のタイミングで静止画フレームを取得する静止画フレーム取得部と、前記静止画フレーム取得部により取得された静止画フレームの一部である静止画データを格納するラインメモリと、前記ラインメモリに格納された静止画データを圧縮処理する静止画圧縮部とを有し、前記静止画圧縮部は、前記動画像データの前記メインメモリへの格納と並行してリアルタイムで前記静止画データを圧縮処理し、前記メインメモリは、前記動画像データを格納すると共に、前記静止画圧縮部によりリアルタイムで圧縮処理された圧縮データを格納するものである。
　また、前記画像処理装置はタイミング調整用バッファをさらに有し、前記タイミング調整用バッファは、前記動画像データが前記メインメモリへ格納される際のタイミングと、前記静止画圧縮部によりリアルタイムで圧縮処理された圧縮データが前記メインメモリへ格納される際のタイミングとを調整することができる。
　さらに、前記ラインメモリは、３面以上のｎ（ｎは１以上の整数）ラインからなるメモリから構成され、前記メモリの一部は、前記静止画圧縮部による前記静止画データの圧縮処理における処理レートの変動を吸収するバッファとして機能すると共に、圧縮処理後の圧縮データが前記メインメモリへ格納される際のタイミングを調整するバッファとして機能させることができ、ラインメモリを３面以上有することで、圧縮後のデータをメインメモリに格納する際等のタイミングを制御することができる。
　さらにまた、前記画像処理装置はサイズ変換部をさらに有し、前記サイズ変換部は前記静止画フレーム取得部により取得された静止画フレームのサイズをリアルタイムに変換することができる。
　また、前記画像処理装置は主画像サイズ変換部及び副画像サイズ変換部をさらに有し、前記主画像サイズ変換部は前記静止画フレーム取得部により取得された静止画フレームのサイズをリアルタイムに変換して主画像データを生成し、前記副画像サイズ変換部は前記静止画フレーム取得部により取得された静止画フレームのサイズをリアルタイムに変換して副画像データを生成するものとすることができ、主画像と共に副画像サイズの画像を取得することができる。
　また、前記副画像サイズ変換部は、前記主画像サイズ変換部が生成した前記主画像データのサイズをリアルタイムに変換して副画像データを生成することができ、主画像サイズに縮小されたデータを使用して副画像データを生成するため、副画像サイズ変換処理を軽くすることができる。
　さらに、前記ラインメモリは、前記主画像サイズ変換部により生成された主画像データの一部を格納し、前記静止画圧縮部は、前記動画像データの前記メインメモリへの格納と並行してリアルタイムで前記主画像データを圧縮処理し、前記副画像サイズ変換部が生成した副画像データは圧縮処理することなく前記メインメモリに格納するものとすることができ、副画像データは容量が小さいため、リアルタイムで圧縮しなくてもよい。
　さらにまた、前記サイズ変換部はサイズ変換用ラインメモリを備え、前記サイズ変換用ラインメモリは、前記静止画フレーム、前記主画像データ又は前記副画像データの一部を格納するラインメモリを有することができ、サイズ変換部からの出力タイミングを調整する等することができる。
　また、前記画像処理装置は動画像用サイズ変換部をさらに有し、前記動画像用サイズ変換部は前記撮像素子により取得された動画像データのサイズを変換し、前記メインメモリは、前記動画像用サイズ変換部によりサイズ変換された動画像データを格納することができ、動画像データのサイズを変換することも可能である。
　さらに、前記メインメモリは、外部メモリから読み込まれた圧縮動画像データが伸長された動画像データを格納し、前記ラインメモリは、前記メインメモリに格納された、前記撮像素子により取得された動画像データ、又は前記伸長された動画像データの何れかから任意のタイミングで取得した静止画フレームの一部である静止画データを格納し、前記静止画圧縮部は、前記ラインメモリに格納された前記静止画データの圧縮処理を行うことができ、メインメモリに格納されている非圧縮の動画像データから静止画フレームを取得し、その圧縮データを生成することができる。
　本発明にかかる画像処理方法は、撮像素子により取得された動画像データをメインメモリに格納する動画像格納工程と、前記撮像素子により取得された動画像データから任意のタイミングで取得された静止画フレームの一部である静止画データをラインメモリに格納するラインメモリ格納工程と、前記ラインメモリに格納された前記静止画データに対しリアルタイムで圧縮処理を行う静止画圧縮工程と、前記ラインメモリ格納工程、前記静止画圧縮工程又は前記静止画格納工程と並行して前記撮像素子により取得された動画像データをメインメモリに格納する動画像格納工程とを含むものである。
　本発明にかかるプログラムは、動画像の記録処理と並行して静止画像の記録処理をコンピュータに実行させるためのプログラムであって、撮像素子により取得された動画像データをメインメモリに格納する動画像格納処理と、前記撮像素子により取得された動画像データから任意のタイミングで取得された静止画フレームの一部である静止画データをラインメモリに格納するラインメモリ格納処理と、前記ラインメモリに格納された前記静止画データに対しリアルタイムで圧縮処理を行う静止画圧縮処理と、前記静止画圧縮処理にてリアルタイムに圧縮処理された圧縮データを前記メインメモリに格納する静止画格納処理と、前記ラインメモリ格納処理、前記静止画圧縮処理又は前記静止画格納処理と並行して、前記撮像素子により取得された動画像データをメインメモリに格納する動画像格納処理とをコンピュータに実行させるためのプログラムである。
　本発明によれば、動画撮影と並行して、高速に静止画データをリアルタイムにエンコードしてメインメモリに格納することが可能な画像処理装置、画像処理方法、及びプログラムを提供することができる。
図１は、本発明の実施の形態１にかかる画像処理装置を示すブロック図である。 図２は、本発明の実施の形態１における静止画フレームのリアルタイム記録処理を実現する基本構成を示す図である。 図３は、本発明の実施の形態１における静止画フレームのリアルタイム記録処理を実現する第１の変形例を示すブロック図である。 図４は、本発明の実施の形態１における静止画フレームのリアルタイム記録処理を実現する第２の変形例を示すブロック図である。 図５は、本発明の実施の形態１における静止画フレームのリアルタイム記録処理を実現する第３の変形例を示すブロック図である。 図６は、本発明の実施の形態１における静止画フレームのリアルタイム記録処理を実現する第４の変形例を示すブロック図である。 図７は、本発明の実施の形態１にかかる画像処理装置の詳細を示すブロック図である。 図８は、本発明の実施の形態１にかかる画像処理装置におけるサイズ変換部の詳細を示すブロック図である。 図９は、８ラインメモリが２面構成の例を示す図である。 図１０は、８ラインメモリが３面構成の例を示す図である。 図１１は、２面構成のラインメモリへの書き込み期間及び読み出し期間、並びにＪＰＥＧエンコード期間を示すタイミングチャートである。 図１２は、３面構成のラインメモリへの書き込み期間、読み出し期間、ＪＰＥＧエンコード期間を示す図である。 図１３は、同じく、３面構成のラインメモリへの書き込み期間、読み出し期間、ＪＰＥＧエンコード期間の他の例を示す図である。 図１４は、本発明の実施の形態１にかかる画像処理装置の再生時の動作を説明する図である。 図１５は、本発明の実施の形態２にかかる画像処理装置を示すブロック図である。 図１６は、本発明の実施の形態２にかかる画像処理装置におけるアービタの制御を説明するための図である。
　以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、動画像の取得と並列して高速に静止画像を取得することができる画像処理装置に適用したものである。
　上述したように、動画撮影と共に静止画撮影をする場合、従来は、メインメモリのバス帯域が不足するため、１秒間６０フレームとしても、せいぜい数枚乃至１０枚の静止画フレームを取得することしかできない。これに対し、本実施の形態にかかる画像処理装置としての撮像装置は、メインメモリの上記バス帯域に関する問題を解決するため、動画撮影と共に静止画撮影をする場合であっても、毎秒１０枚以上の高速撮影が可能である。さらには、通常撮像素子から出力されるフレームレート同等の速度、例えば毎秒６０フレームのうち、全フレームを静止画フレームとして取得することができるものである。
＜本発明の実施の形態１.＞
　図１は、本実施の形態にかかる撮像装置を示すブロック図である。本実施の形態にかかる撮像装置１は、撮像素子を介して動画像データを取得しつつ、ユーザの指示に基づく任意のタイミングで動画像データから静止画フレームを取得し、その静止画フレームをリアルタイムでエンコード（圧縮）処理を行うものである。ここで、リアルタイムでのエンコード処理とは、動画像データ（カメラ画像）の入力フレームレートと同じフレームレートで静止画フレームのエンコード処理、例えばＪＰＥＧエンコード処理を行うことをいう。また、以下では、静止画フレームは、ユーザの指示に基づく任意のタイミングで取得されるものとして説明するが、例えば、「静止画フレーム自動取得モード」等を用意し、被写体の笑顔等、特定の対象を自動で検知し、当該検知結果に応じて自動で静止画フレームを取得するようにしてもよい。
　上記動作を実現するため、撮像装置１は、レンズ１１及びレンズ１１を通じて入射した入射光を光電変換し画像データを生成する撮像素子１２等からなる撮像部を有する。さらに、撮像装置１は、ＤＤＲ（Double-Data-Rate）メインメモリ１６、動画コーデック２０、ラインメモリ２２、及びＪＰＥＧコーデック２３を有している。これらＤＤＲメインメモリ１６、動画コーデック２０、ラインメモリ２２、及びＪＰＥＧコーデック２３は、それぞれバス１０を介して接続される。
　ＤＤＲメインメモリ１６には、撮像素子１２により取得された動画像データが書き込まれる。動画コーデック２０は、メインメモリに書き込まれた動画像データを圧縮処理する動画圧縮部として機能する。動画コーデック２０は、さらに、圧縮された動画像データを伸張する動画像伸張部としても機能する。撮像素子１２から取得された動画像データは一旦ＤＤＲメインメモリ１６に書き込みされその後、動画コーデック２０によりエンコード処理される。
　一方、静止画の方は、静止画フレーム取得部（図示せず）により、撮像素子１２で取得された動画像データから任意のタイミングで静止画フレームを取得し、ラインメモリ２２にその静止画フレームの一部である静止画データを格納する。なお、例えば１秒間に６０フレームからなる動画像データの６０フレーム全部を静止画データとして取得する場合は、カメラ信号処理部１３からの動画像データを順次ラインメモリ２２に格納すればよく、静止画フレーム取得部は不要である。また、ユーザの指示により任意のタイミングで静止画フレームを取得する場合は、例えばユーザが撮像装置１の図示しないシャッタボタンを押下したタイミングに基づき、動画像データから所定枚数の静止画フレームから得られる静止画データをラインメモリ２２に入力できるようにスイッチ動作するスイッチ等により構成することができる。
　また、ＪＰＥＧコーデック２３は、ラインメモリ２２に格納された静止画データを圧縮処理する静止画圧縮部として機能する。ＪＰＥＧコーデック２３は、圧縮された静止画データを伸張する伸張部としても機能する。このＪＰＥＧコーデック２３は、撮影中の動画像データのＤＤＲメインメモリ１６への書き込みと並行してリアルタイムで静止画データをエンコード処理する。このとき、ＤＤＲメインメモリ１６は、動画像データが書き込まれると共に、ＪＰＥＧコーデック２３によりリアルタイムでエンコード処理されたエンコードデータが書き込まれる。
　このように構成された撮像装置１においては、動画像データから取得した静止画フレームをＤＤＲメインメモリ１６に書き込みせずに、直接リアルタイムにエンコードしてからＤＤＲメインメモリ１６に書き込みする。ＤＤＲメインメモリ１６に撮像画像から取得された静止画フレーム（以下、非圧縮の画像データを生データともいう。）を書き込みせず、エンコードしてから書き込みするようにすることで、ＤＤＲメインメモリ１６のバス１０のバス帯域に対する負荷を低減する。このことにより、多画素の画像サイズの静止画データを１秒間に６０フレーム等の速度で高速撮影処理することが可能となる。
　以下、本実施の形態にかかる撮像装置１について更に詳細に説明する。撮像装置１は、さらに、カメラ信号処理部１３と、カメラ信号処理部１３の制御のもと、レンズ１１のズーム倍率や焦点距離を制御するズーム・フォーカス制御部１４を有する。また、各ブロックを制御するＣＰＵ（Central　Processing　Unit）１５、ＳＤカード（SD　Memory　Card）１７、及びＵＳＢ（Universal　Serial　Bus）１８を有する。さらに、サイズ変換部１９、サイズ変換部２１、ビデオ信号処理部２４、ＨＤＭＩ（High-Definition　Multimedia　Interface）２５及びＬＣＤ（Liquid　Crystal　Display：液晶ディスプレイ）２６等を有する。各処理部は、バス１０を介して接続されている。
　カメラ信号処理部１３は、図示しない同期信号発生部やＹ／Ｃ処理部等を有している。同期信号発生部は、生成される画像データの水平サイズ及び垂直サイズに対応し、かつ内部クロックに同期した水平同期信号及び垂直同期信号を生成する。撮像部からの画像データは、この水平同期信号及び垂直同期信号に同期した画像データをカメラ信号処理部１３に入力する。Ｙ／Ｃ処理部では、撮像部により生成された複数の画像データを順次Ｙ／Ｃ処理する。Ｙ／Ｃ処理とは画像データを輝度データ（Ｙ）と色データ（Ｃ）に分離、変換する処理である。すなわち、カメラ信号処理部１３は、撮像データから色分離、白バランス調整、及びＹ／Ｃ処理等の一連のカメラ信号処理した（動）画像データを出力する。
　サイズ変換部１９は、カメラ信号処理部１３から出力される動画像データのサイズを変換する。この動画像データは、一旦ＤＤＲメインメモリ１６に書き込みされる。
　動画コーデック２０は、記録時には、上述したように、一旦ＤＤＲメインメモリ１６に書き込みされた動画像データを、例えばＨ.２６４／ＡＶＣ規格やＭＰＥＧ２規格に準じた形式でエンコード処理を実施する。エンコード後のエンコードデータはＤＤＲメインメモリ１６に書き込みされ、必要に応じてＳＤカード１７等の外部メモリに転送される。また、再生時には、例えばＳＤカード１７等の外部メモリから読み出され、ＤＤＲメインメモリ１６に書き込みされたエンコード済み動画像データに対してデコード処理を実施する。
　サイズ変換部２１は上述のように静止画フレーム取得部（図示せず）により取得された静止画フレームのサイズを変換する。なお、これらのサイズ変換部１９及びサイズ変換部２１は必要に応じて設ければよい。
　ＳＤカード１７は、大容量の外部記憶媒体であり、このＳＤカード１７に動画像データや静止画データが書き込まれ、ＬＣＤ２６により表示する等することができる。ＳＤカード１７に格納されている画像データは、一旦ＤＤＲメインメモリ１６に書き込みされ、動画コーデック２０によりデコードされ、ビデオ信号処理部２４を介してＬＣＤ２６に出力されたり、ＨＤＭＩ２５を介して出力されることができる。また、撮像装置１は、ＵＳＢ１８を介して様々な周辺機器に接続される。
　ビデオ信号処理部２４は、デコードした画像データをＨＤＭＩ２５やＬＣＤ２６に応じた形式の出力データに変換する一連のビデオ信号処理を実施し、ＬＣＤ２６を介して画像を表示したり、ＨＤＭＩ２５を介してテレビモニタ等の外部モニタ装置等に画像データを出力する。
＜通常撮影ルートと高速撮影ルート＞
　ところで、本実施の形態にかかる撮像装置１は、ＤＤＲメインメモリ１６に書き込みされた生データ又はデコード済みの動画像データから静止画フレームを取得し、サイズ変換部２１によりサイズ変換し、ラインメモリ２２を介してＪＰＥＧコーデック２３によりエンコードしてＤＤＲメインメモリ１６に書き込みするというルートも有している。
　つまり、ＤＤＲメインメモリ１６は、撮像素子１２により取得された動画像データ（第１動画像データ）又はＳＤカード１７等の外部メモリから読み込まれたエンコード済み動画像データがデコードされた動画像データ（第２動画像データ）を書き込みする。この場合、第１動画像データ、第２動画像データについても、ユーザの指示等による任意のタイミングで静止画フレームが取得され、サイズ変換部２１に出力される。そして、静止画フレームはサイズ変換部２１によりその画像サイズが変換され、ラインメモリ２２にその一部の静止画データが順次書き込みされ、ＪＰＥＧコーデック２３にて、ラインメモリ２２に書き込みされた静止画データのエンコードを行ってＤＤＲメインメモリ１６にエンコードされたエンコードデータが出力される。なお、ＤＤＲメインメモリ１６に書き込みされた生データ又はデコード済みの動画像データ（第１及び第２動画像データ）から静止画フレームを取得する場合、ユーザが指定したタイミングのフレーム１枚のみならず、その近傍の複数枚のフレームを加重平均するなどして合成し１枚の静止画フレームを取得するようにしてもよい。
　ここで、本実施の形態１にかかる撮像装置１のＤＤＲメインメモリ１６は、カメラ信号処理部１３からＤＤＲメインメモリ１６を経由せずにＪＰＥＧエンコードする場合（以下、高速撮影ルートともいう。）にはラインメモリ２２を３面で使用することが好ましく、ＤＤＲメインメモリ１６を経由してＪＰＥＧエンコードする場合（以下、「通常ルート」ともいう。）は、ラインメモリ２２の３面のうちの２面を使用するようにしてもよい。以下、本実施の形態１におけるＤＤＲメインメモリ１６を３面構成とする理由について説明する。
　通常ルートの場合、ＤＤＲメインメモリ１６から生データを転送することになるが、生データ転送の場合、転送のボトルネックはＤＤＲメインメモリ１６のバス１０のバス帯域に依存する。したがって、通常ルートの場合には、後述するバス帯域を使用する優先度を上げるなどしてバス帯域を確保すれば２面構成とすることが可能となる。
　本実施の形態１にかかる撮像装置１の高速撮影ルート時のボトルネックの１つはＪＰＥＧコーデック２３のエンコードの処理能力に依存する。ＪＰＥＧコーデック２３は、通常、入力データ量＞エンコードデータ量
の大小関係が成立するが、画像の複雑度によってはハフマン符号の割り当て等によりエンコードデータ量が多くなり上の式が逆転することがある。その場合、瞬間的に画像データのリード処理が滞りラインメモリ２２の２面を使用するだけでは処理が破綻する可能性があり、ラインメモリ２２を３面構成とする必要がある。言い換えればＪＰＥＧコーデック２３において、
入力の転送レート＜出力のデータ転送レート
の状態が常になりたてば２面構成のみでの処理が可能となる。しかし、瞬間的に
入力の転送レート＞出力のデータ転送レート
の状態が発生する場合があり、このとき、ＤＤＲメインメモリ１６を３面構成としておけば、画像データのリード処理が滞ってもそれを吸収することができる。
　本実施の形態においては、動画撮影時に静止画を同時に取得する場合は、高速撮影ルートを通り、カメラ信号処理部１３からの静止画データが直接エンコードされ、ＤＤＲメインメモリ１６に書き込まれるため、従来のように生データが書き込まれる場合に比して、データ量を削減することができる。これにより、ＤＤＲメインメモリ１６のバス１０のバス帯域を確保することができ、毎秒６０枚取得される静止画フレーム等のエンコード済みの静止画データのＤＤＲメインメモリ１６への書き込みが可能となるのである。
　また、ラインメモリ２２は、ｎ（ｎは１以上の整数）ラインからなるラインメモリを３面以上有していることが好ましい。ラインメモリを３面設けることにより、一部のラインメモリを、リアルタイムなエンコード処理時の処理レートの変動を吸収するバッファとして機能させると共に、エンコード処理後のエンコードデータがＤＤＲメインメモリ１６へ書き込みされる際のタイミングを調整するバッファとして機能させることができる。
＜静止画フレームのリアルタイム記録処理＞
　ここで、本実施の形態にかかる撮像装置１は、上述したように、動画像の記録と並列して高速に静止画フレームをリアルタイムでエンコードして記録する処理（以下、高速撮影ルートで静止画フレームをエンコードする処理をリアルタイム記録処理ともいう。また、静止画フレームのエンコード処理をリアルタイムに実行する各処理部を総称して、静止画リアルタイム処理部という。）が可能な装置である。次に、この静止画フレームのリアルタイム記録処理の詳細について説明する。
＜１.　静止画リアルタイム処理部の基本構成＞
　図２は、静止画フレームのリアルタイム記録処理を実現する基本構成を示す図である。なお、図２及び後述する図３乃至図１６において、図１に示す撮像装置１と同一の構成要素には同一の符号を付し、その詳細な説明を省略する。また、図２乃至図６においては、静止画フレームのリアルタイム記録処理を説明するために撮像装置１の一部を抜き出して示している。
　図２に示すように、動画像と共に入力される静止画フレームＤ１についてのリアルタイム記録処理を実施するパス（高速撮影ルートＲ１）と、ＤＤＲメインメモリ１６に書き込みされた生データ又はデコード済みの動画像データから取得した静止画フレームＤ２について、エンコードするパス（通常ルート）とを切り替えるセレクタ２７を有している。
　高速撮影ルートＲ１において、撮像素子１２より取得された動画像データから取得された静止画フレームをリアルタイムでエンコードする場合は、セレクタ２７を介してこの静止画フレームＤ１が選択され、これがラインメモリ２２に順次入力される。ラインメモリ２２は、１フレーム分の静止画データ未満のデータを書き込みする。ラインメモリ２２の詳細については後述する。ラインメモリ２２の後段に配置されたＪＰＥＧエンコーダ２３ａは、ラインメモリ２２から出力される静止画データをＪＰＥＧ形式にエンコードして出力する。このエンコードデータはＤＤＲメインメモリ１６に書き込みされる。
　一方、通常ルートの場合は、ＤＤＲメインメモリ１６に書き込みされている生データの動画像データが使用される。この動画像データは、例えばレンズ１１及び撮像素子１２を介して取得された動画像データがＤＤＲメインメモリ１６に書き込みされたものである。または、ＳＤカード１７等の外部メモリから入力されたエンコード済み動画像データが一旦ＤＤＲメインメモリ１６に書き込みされ、これが図１に示す動画コーデック２０にてデコードされて再びＤＤＲメインメモリ１６に書き込みされたものである。いずれの場合も生データ又はデコード済みである非圧縮の動画像データである。
　これらの動画像データに対しても、ユーザの指示に基づく任意のタイミングで静止画フレームが取得されてサイズ変換部２１へ出力される。このＤＤＲメインメモリ１６からサイズ変換部２１、ラインメモリ２２を介してＪＰＥＧコーデック２３によりエンコード処理されるルートが通常ルートである。ＪＰＥＧコーデック２３にてエンコードされたエンコード静止画データはＤＤＲメインメモリ１６に書き込みされる。
＜２.　静止画リアルタイム処理部の第１の変形例＞
　次に、図２に示す基本構成の変形例について説明する。図３乃至５は、それぞれ第１乃至３の変形例を示すブロック図である。先ず、第１の変形例である図３に示す例は、カメラ信号処理部１３の後段であって、セレクタ２７の前段にサイズ変換部２１を設けた例である。本変形例では高速撮影ルートＲ１における静止画フレームをサイズ変換部２１にてサイズ変換することで、エンコード後のデータ容量を小さくすることができる。また、ユーザは取得する静止画データを所望のサイズのデータとすることができる。本変形例においては、通常パスについては、ＤＤＲメインメモリ１６から静止画フレームＤ２が取得され、セレクタ２７を介してラインメモリ２２に入力され、ＪＰＥＧエンコーダ２３ａによりエンコードされるパスと、ＤＤＲメインメモリ１６から同じく静止画フレームＤ３が取得され、サイズ変換部２１によりサイズ変換されてからセレクタ２７を介してラインメモリ２２に入力され、ＪＰＥＧエンコーダ２３ａによりエンコードされるパスと２つの経路を有している。すなわち、ユーザはサイズ変換するか否かを選択することができる。
＜３.　静止画リアルタイム処理部の第２の変形例＞
　次に、第２の変形例である図４に示す例は、カメラ信号処理部１３を介して入力される動画像データから取得された静止画フレームのサイズをリアルタイムに変換して主画像データ及び副画像データを生成するそれぞれ主画像サイズ変換部２１ａ及び副画像サイズ変換部２１ｂとを有する。
　また、主画像サイズ変換部２１ａ及び副画像サイズ変換部２１ｂに対応して、それぞれラインメモリ２２ａ、２２ｂと、ＪＰＥＧエンコーダ２３ａ、２３ｂとが設けられている。ラインメモリ２２ａ、２２ｂの動作はラインメモリ２２と同様であり、ＪＰＥＧエンコーダ２３ｂの動作はＪＰＥＧエンコーダ２３ａと同様である。
　そしてセレクタ２７は、カメラ信号処理部１３からの動画像データから取得された静止画フレームＤ１が主画像サイズ変換部２１ａにより主画像サイズにサイズ変換されたもの、同じく静止画フレームＤ１が副画像サイズ変換部２１ｂにより副画像サイズにサイズ変換されたもの、ＤＤＲメインメモリ１６に書き込みされている生データ又はデコード済みの動画像データから取得された静止画フレームＤ２、又は同じくＤＤＲメインメモリ１６の生データ又はデコード済みの動画像データから取得された静止画フレームＤ３が主画像サイズ変換部２１ａ若しくは副画像サイズ変換部２１ｂによりサイズ変換された静止画データのいずれかを選択し、ラインメモリ２２ａ又はラインメモリ２２ｂに出力する。
　本第２の変形例においては、主画像サイズ変換部２１ａ、ラインメモリ２２ａ及びＪＰＥＧエンコーダ２３ａにより、主画像サイズの静止画データのリアルタイムエンコード処理をすることができる。こうしてリアルタイムエンコード処理され、そのエンコードデータがＤＤＲメインメモリ１６に書き込みされるルートを主画像高速撮影ルートＲ１とする。この主画像高速撮影ルートは、図３に示す高速撮影ルートに対応している。
　一方、副画像サイズ変換部２１ｂ、ラインメモリ２２ｂ及びＪＰＥＧエンコーダ２３ｂにより、サムネイル等の副画像サイズの静止画データのリアルタイムエンコード処理をすることができる。こうしてリアルタイムエンコード処理され、そのエンコードデータがＤＤＲメインメモリ１６に書き込みされるルートを副画像高速撮影ルートＲ２とする。
　本第２の変形例においても、主画像高速撮影ルートＲ１又は副画像高速撮影ルートＲ２により、リアルタイムに静止画フレームを取得し静止画圧縮データに変換し、ＤＤＲメインメモリ１６へ書き込む。ＪＰＥＧエンコード時の量子化係数にもよるが、一般的にＪＰＥＧエンコードを行うと元の画像サイズの１／３程度のデータ量となる。よって、上述の実施の形態１及び第１の変形例と同様に、ＤＤＲメインメモリ１６のバス１０のバス帯域への負荷を軽減し、これにより高速な静止画撮影が可能となる。
　また、撮像素子１２から出力される画像サイズをリアルタイムで縮小することで、ユーザの希望する様々なサイズのＪＰＥＧファイルを、縮小しないとき同様の処理時間でエンコードが可能となる。
　さらに、インデックス用の副画像（サムネイル）をリアルタイムに主画像データと並列処理（縮小及びメインメモリへの転送）をすることでＥＸＩＦパッケージ処理をより高速に実現することができる。
　さらにまた、主画像データとサムネイル画像データを並列処理するため、回路構成次第で縮小処理に必要なラインメモリを主画像データとサムネイルデータとで共有することができる。
＜４.　静止画リアルタイム処理部の第３の変形例＞
　次に、上記のように、主画像サイズ変換部及び副画像サイズ変換部のリソースを共有する例を第３の変形例として説明する。第３の変形例である図５に示すように、本変形例においては、主画像高速撮影ルートＲ１と副画像高速撮影ルートＲ２とで、主画像サイズ変換部２１ｃを共有している。この主画像サイズ変換部２１ｃは、主画像のサイズ変換を行う。したがって、主画像サイズ変換部２１ｃの出力はセレクタ２７に入力される。セレクタ２７は、モードに応じて主画像高速撮影ルートＲ１からの静止画データ（Ｄ１）と、ＤＤＲメインメモリ１６に書き込みされた生データ又はデコード済みの動画像データから取得された静止画フレームＤ３のいずれかを選択出力する。セレクタ２７に選択され出力された静止画データはラインメモリ２２ａに入力され、次いでＪＰＥＧエンコーダ２３ａに入力され、エンコードされてＤＤＲメインメモリ１６に書き込みされる。
　そして、本第３の変形例においては、主画像サイズ変換部２１ｃに直列に接続された副画像サイズ変換部２１ｄを有している。通常、主画像サイズの方が副画像サイズより大きい。よって先ず主画像サイズ変換部２１ｃによりサイズ変換した静止画フレームを副画像サイズ変換部２１ｄによりサイズ変換する方が、動画像データから取得した静止画フレームＤ１のサイズ変換をするより、サイズ変換の度合いが小さくてすむ。したがって、本変形例においては、主画像サイズ変換部２１ｃの結果を利用して副画像サイズ変換部２１ｄで静止画フレームの変換を行う。これにより、副画像サイズ変換部２１ｄにおける演算処理量を低減することができる。
　すなわち、様々な縮小率を実現するには、サムネイル生成の方が水平画素数は少ないものの、間引きの縮小率が高いため、垂直フィルタ回路で利用するラインメモリ（スケーラ用バッファ２１２ａ／ｂ）の必要ライン数が多くなる。そこで、システム構成を工夫することにより、主画像用画像データに対しプリフィルタ処理してラインメモリに書き込んだデータに対し、サムネイル用画像データには追加で周波数特性を落とすフィルタ処理を実施すれば、残りのサムネイル画像データのラインメモリのリソースを他に振り分けることができる。
　また、本第３の変形例においては、副画像高速撮影ルートＲ２に、ＪＰＥＧコーデックを有していない。これは、副画像データは、主画像データと比較すると大きさが小さいため、データ容量もそれほど大きくないためである。したがって、リアルタイムにエンコード処理をせずに、非圧縮のデータとしてＤＤＲメインメモリ１６に書き込みするようにすることも可能である。
＜５.　静止画リアルタイム処理部の第４の変形例＞
　次に図６は、図２に示す基本構成の第４の変形例にかかり、動画像データの撮影ルートＲ３を合わせて示している。図１における撮像装置１と比較すると、サイズ変換部１９を有していない点が異なる。その他の構成は図１に示す撮像装置１と同様である。動画撮影ルートＲ３では、カメラ信号処理部１３からの動画像データは一旦ＤＤＲメインメモリ１６に書き込みされる。その後、動画エンコーダ２０ａにより、動画像データが、例えばＨ．２６４／ＡＶＣ規格又はＭＰＥＧ２規格準拠のエンコードデータとされ、ＤＤＲメインメモリ１６に書き戻される。
＜本発明の実施の形態１の詳細＞
　次に、本実施の形態１について、更に詳細に説明する。図７は、カメラ信号処理部１３とＤＤＲメインメモリ１６との間の高速撮影ルート及び動画像撮影ルートに関するブロックを示す図である。本例においては、撮像装置１は、カメラ信号処理部１３から出力される動画像データから取得された静止画フレームをエンコードする２つのパスを有している。１つは主画像となる静止画データに関するパス（以下、パス１という。）であり、もう１つは副画像（サムネイル）となる静止画データに関するパス（以下、パス２という。）である。
　パス１の方は、第１の入力画像選択部２８、主画像サイズ変換部２１ａ、及びラインメモリ２２ａからなり、ラインメモリ２２ａからの静止画データがＪＰＥＧコア２３ｃに入力され、リアルタイムエンコードされる。
　パス２の方は、第２の入力画像選択部２９、副画像サイズ変換部２１ｂ、及びラインメモリ２２ｂからなり、ラインメモリ２２ｂからの静止画データがＪＰＥＧコア２３ｃに入力され、リアルタイムエンコードされる。なお、上述したように、パス２の方の静止画データは、リアルタイムにエンコードする必要はなく、一旦ＤＤＲメインメモリ１６ａに書き込みされるようにしてもよい。
　ここで、主画像サイズ変換部２１ａは、サイズ変換部２１１ａ、スケーラ用バッファ２１２ａを有し、副画像サイズ変換部２１ｂは、サイズ変換部２１１ｂ、スケーラ用バッファ２１２ｂを有する。スケーラ用バッファ２１２ａ、２１２ｂは、ラインメモリである。主画像サイズ変換部２１ａ、副画像サイズ変換部２１ｂは、基本的にはカメラ信号処理部１３から入力される静止画データをそれぞれ主画像用、サムネイル用のサイズに変換する。この主画像サイズ変換部２１ａ、副画像サイズ変換部２１ｂについての詳細は後述する。
　ラインメモリ２２ａは、メモリコントローラ２２１ａ、ＳＲＡＭ等からなるバッファ２２２ａを有し、ラインメモリ２２ｂは、メモリコントローラ２２１ｂ、バッファ２２２ｂを有する。バッファ２２２ａ、２２２ｂは、それぞれ３面及び２面のバッファである。また、ＪＰＥＧコア２３ｃにも、例えば２面構成のバッファ２３１が接続されている。
　バッファ２２２ａ、２２２ｂは、例えばＳＲＡＭからなり、その機能については後述する。メモリコントローラ２２１ａ、２２１ｂは、例えばＳＲＡＭをラインメモリとして機能させるために、バッファ２２２ａ、２２２ｂへのデータアクセスを制御する。また、主画像サイズ変換部２１ａ、副画像サイズ変換部２１ｂと、ＪＰＥＧコア２３ｃとでクロック周波数が異なる場合は、当該クロック周波数を変換する処理等も行うことができる。
　ＪＰＥＧコア２３ｃは、ＪＰＥＧコーデック及びインターフェースを有し、エンコードなしの場合は、主画像については主画像ＹＵＶデータを、サムネイルについては、サムネイルＹＵＶデータをＤＤＲメインメモリ１６ａに転送する。エンコード有りの場合は、主画像データをエンコードすると共にストリームをＤＤＲメインメモリ１６ａに転送する。また、サムネイル画像については、サムネイル画像データをエンコードすると共にストリームをＤＤＲメインメモリ１６ａに転送する。ここで、本例におけるＤＤＲメインメモリ１６ａは、ＤＤＲインターフェースも含むものとなっている。
　第１の入力画像選択部２８及び第２の入力画像選択部２９は、複数ルートからの入力画像データを選択する図２乃至図６に示したセレクタ２７の機能を有する。基本的には、通常動画撮影時にはＤＤＲメインメモリ１６ａからの生動画像データ又はデコード済みの動画像データから取得された静止画フレームを選択する。また、動画撮影時の静止画撮影時には、高速撮影ルートからの静止画フレームを選択する。動画再生時には動画再生ルート、すなわちＤＤＲメインメモリ１６ａに書き込みされている生動画像データ又はデコード済みの動画像データから取得された入力静止画フレームを選択する。
　主画像サイズ変換部２１ａ、副画像サイズ変換部２１ｂでは、カメラ信号処理部１３からの動画像データ又はＤＤＲメインメモリ１６ａからの動画像データから取得された静止画フレームがそれぞれ主画像用、サムネイル用のサイズに変換される。
　水平方向、及び垂直方向のサイズ変換を施された静止画フレームは、メモリコントローラ２２１ａ、２２１ｂに制御されるそれぞれバッファ２２２ａ、２２２ｂに格納される。このラインメモリ２２ａ、２２ｂを構成するバッファ２２２ａ、２２２ｂは、８×８ＤＣＴに必要な画素を記憶するための８ライン分のバッファであり、
Ｙ８ライン×３面＋Ｃ８ライン×３面（フォーマット４：２：２の場合）
Ｙ１６ライン×３面＋Ｃ８ライン×３面（画像フォーマット４：２：０の場合）
の構成となっている。面数はシングルポート時とする。３面としたのは、後述するように、後段に控えるＪＰＥＧエンコード処理のリアルタイム処理で一時的に処理負担が増して処理レートが下がった場合の処理低下を吸収すると共に、その後段のＤＤＲメインメモリ１６ａへの書き込み処理が停滞した場合の遅延を吸収するためである。なお、システム構成によっては２面構成とすることも可能である。
　ＪＰＥＧコア２３ｃにより、
・主画像エンコードなし時のＹＵＶ転送
・主画像エンコード有り時のエンコード処理＋ストリーム転送
・サムネイルエンコードなし時のＹＵＶ転送
・サムネイルエンコード有り時のエンコード処理＋ストリーム転送
等が実施される。また、主画像エンコード時にはＤＤＲメインメモリ１６ａの転送前にストリーム用バッファ２３１を使用する。
　バッファ２３１は、ＳＲＡＭ２面構成等とすることができる。なお、容量はシステム構成により様々であり、ＤＤＲメインメモリ１６ａに転送データを書き込みするための書き込み処理が停滞した場合の遅延を吸収することができればよい。
＜サイズ変換部の処理＞
　次に、サイズ変換部２１について詳細に説明する。図８は、サイズ変換部２１の詳細を示すブロック図である。取得される静止画データに応じて、２チャンネル構成となっている。これにより、２ライン（プログレッシブならＯＤＤ（奇数番目）、ＥＶＥＮ（偶数番目））同時に入力された場合にもデータを処理することができる。２チャンネル同時とすることにより、カメラ処理の処理クロックレートを下げることができる。
　入力画像は、水平フィルタ回路（ｃｈ１）４１、水平フィルタ回路（ｃｈ２）４２で、必要な周波数特性に制限される。例えば、サンプリング周波数をｆｓの水平１０２４画素×垂直７６８ラインを５１２画素×３８４ラインに間引くとした場合、フィルタのカットオフ周波数をｆｓ／４になるように設定してフィルタリングする。そして、水平間引き回路４３で５１２画素に間引きし、スケーラ用バッファ２１２ａに書き込みする。水平フィルタ回路４１、４２による周波数特性の制限を行わないで間引きを実行すると、いわゆるモワレ（折り返し歪）が発生する。
　スケーラ処理ラインメモリコントローラ４４では、水平間引き回路４３により間引きした画像データのスケール調整をする。具体的には、間引き後のデータについて、サンプル点がサンプリング点の間にある場合フィルタリング処理された画像信号２サンプル分から補間後サンプルの距離に応じて演算して値を求めて、画素間の直線補間等を実施する。
　水平補間後の静止画フレームは、垂直フィルタ回路４５、４６に出力される。水平方向と同様に折り返し歪の発生を抑制するため、垂直フィルタ回路４５、４６により、ラインメモリ（スケーラ用バッファ２１２ａ）から読み出された静止画データに対して垂直方向にフィルタリング処理する。フィルタリング後に、垂直間引き回路４７により垂直間引きを行い、必要な画像データのみ、その後段のメモリコントローラ２２１ａ、２２１ｂを介してバッファ２２２ａ、２２２ｂに書き込みする。
　ここで、サイズ変換は、主画像とサムネイル画像とで、独立して並列処理することができる。また、スケーラ用バッファ２１２ａを共有してバッファサイズを削減することも可能である。例えば、主画像用静止画データを、水平フィルタ回路４１、４２における周波数特性削減処理でｆｓ／４にする場合について考える。その後段に直列で接続されたサムネイル用水平フィルタ回路４８、４９でのフィルタ処理では水平１６０画素×垂直１２０ラインとする。したがって、
　サイズ変換部２１１ａのみ（それぞれ独立使用）：ｆｓ／１２．８処理必要
　サイズ変換部２１１ａ＋２１１ｂ
スケーラ１＋スケーラ２（後段に直列で接続する）：ｆｓ／６．４処理（前段でｆｓ／２→ｆｓ／４のため）
で構成され、後段に直列で接続する方が、周波数特性の制限幅が少なくてすむ。制限幅が少ない場合、同じ次数ならば帯域の制限効率がよく画質メリットを生じる。一方、同程度の画質でよいのであれば、次数を減らすことが可能となる。その結果、スケーラ用バッファ２１２ｂの必要ラインメモリが少なくなり、余ったラインメモリを他のリソースに振り分けることができる。
　サムネイル用のサイズ変換部は、垂直フィルタ回路４５、４６と垂直間引き回路４７との間の信号が使用される。すなわち、主画像用のサイズ変換部でサイズ変換された後の静止画データのサイズ変換を行う。サムネイル用のサイズ変換部も、水平フィルタ回路４８、４９、水平間引き回路、スケーラ処理ラインメモリコントローラ、垂直フィルタ回路、垂直間引き回路を同様に有し、同様の処理によりサイズ変換した静止画画像を出力する。
　バッファ２２２ａ、２２２ｂに書き込みされた静止画データは、例えば８ラインデータとして書き込みされる毎にＤＤＲメインメモリ１６ａへ転送される。ＤＤＲメインメモリ１６ａ側の処理は、システムに応じて様々であるが、静止画ルートや動画ルート、その他カメラ制御信号のための演算結果などをＤＤＲメインメモリ１６ａに書き込みするのが通常である。したがって、静止画フレームのリアルタイム記録処理のデータレート以上のレートを処理できる帯域を確保するよう構成されている。ただし、静止画フレームのリアルタイム記録処理以外のデータでバス１０のバス帯域を占有する瞬間も有り得る。よって、撮像装置は、ＤＤＲメインメモリ１６ａの処理遅延を吸収するために、スケーラ用バッファ２１２ａ、２１２ｂ、バッファ２２２ａ、２２２ｂ、及びストリーム用バッファ２３１などを有している。
＜３面構成のラインメモリについて＞
　次に、ラインメモリ２２を３面構成とすることが好ましい理由について説明する。図９は、８ラインメモリが２面構成の例を示す図、図１０は、８ラインメモリが３面構成の例を示す図である。図９に示すように、２面構成のラインメモリ５０は、８ラインメモリ５１、５２がスイッチ６１により切り替えられる。また、図１０に示すように、３面構成のラインメモリ７０は、８ラインメモリ７１乃至７３がスイッチ８２により切り替えられる。
　図１１は、ラインメモリ５０への書き込み期間及び読み出し期間、並びにＪＰＥＧエンコード期間を示すタイミングチャートである。ラインメモリ５０の書き込みは、８水平同期期間（Ｔ１乃至Ｔ８）継続して行い、読み出しは、ＪＰＥＧエンコーダが８ライン分のデータをエンコードするタイミングとほぼ等しくなる。
　ＪＰＥＧエンコーダのエンコード期間は、入力画像データによって処理にかかる演算量が変化する。ほとんどの場合は、圧縮率が１以下であり、エンコード処理は８ライン以下の処理期間であるが、複雑な絵柄の場合には、圧縮率が１以上となり、８ライン以上の処理期間となる場合がある。
　図１１において期間Ｔ１１で複雑な絵柄になるとする。この場合、ラインメモリ５１が画像データを読み出す期間が８ライン分の長さ（Ｔ６）より長くなり、ラインメモリ５１の書き込み期間Ｔ７とタイミングが重なる期間Ｔ１２が発生する。この期間は、読み出そうとするラインメモリ上に、新しいデータの書き込みが発生するため、正しいＪＰＥＧエンコードが行なえなくなる。
　図１２は、３面構成のラインメモリ７０への書き込み期間、読み出し期間、ＪＰＥＧエンコード期間を示す図である。図１２に示すように、ＪＰＥＧエンコーダのエンコード期間が、入力画像が複雑な絵柄の場合で、８ライン以上の処理期間となる期間Ｔ１１の場合でも、ラインメモリ７２を読み出す期間Ｒ５が８ラインより長くなり、書き込みを行なうラインメモリがラインメモリ７１（Ｔ７）であるので、同一ラインメモリにおいてタイミングが重なる期間が発生せず、正しくＪＰＥＧエンコードを行なうことができる。
　すなわち、ラインメモリ２２を、８ラインメモリの３面構成とすることによって、圧縮率を１近傍とした場合にも、タイミングを気にする必要がなくなる。
　このように、一部のラインメモリを、静止画フレームのリアルタイム処理時の処理レートの変動を吸収するバッファとして機能させることができる。一方で、このラインメモリは、圧縮処理後の圧縮データがＤＤＲメインメモリ１６へ書き込みされる際のタイミングを調整するバッファとして機能させることも可能である。
＜バス１０の調停処理＞
　ＤＤＲメインメモリ１６ａのバス１０にデータを出力する際には、バス１０の調停が行なわれ、バス１０へのデータ出力が許可されるブロックが優先度に応じて決定される。出力が許可されたブロックはデータをＤＤＲメインメモリ１６ａに出力し、それ以外の許可されなかったブロックは出力許可が出されるまで出力を停止する。
　すなわち、ＪＰＥＧコーデック２３がＪＰＥＧエンコードストリームをＤＤＲメインメモリ１６ａのバス１０に出力する際、バス１０への出力が許可されなければ、ＪＰＥＧストリームの出力を停止する動作を行なう。図１３は、同じく、３面構成のラインメモリ７０への書き込み期間、読み出し期間、ＪＰＥＧエンコード期間の他の例を示す図である。図１３において、期間Ｔ１３で示す期間は、他のブロックがバス１０への出力を許可され、ＪＰＥＧコーデック２３はＪＰＥＧストリームをバス１０に出力できなくなる期間を示す。
　ＪＰＥＧコーデック２３は、出力が許可されるまで出力段に設けられたバッファにＪＰＥＧエンコードストリームを蓄積する。出力許可後にバッファからＤＤＲメインメモリ１６ａのバス１０へＪＰＥＧエンコードストリームを出力すれば、ＪＰＥＧストリームを途切れさせることなく動作が可能である。
　出力段のバッファ容量以上の期間、出力許可が得られない場合には、ＪＰＥＧストリームが途切れてしまうため、バッファ容量は大きく余裕をもたせる必要がある。ここで、ラインメモリ２２の８ラインメモリを使用することで、ＤＤＲメインメモリ１６の出力バッファ容量が足りなくなることを防ぐことができる。
　すなわち、ラインメモリ２２の８ラインメモリからの読み出しタイミングをＤＤＲメインメモリ１６ａのバス１０への出力が可能となるまで遅らせて（Ｒ４）、ＪＰＥＧエンコードの開始を遅らせることにより、ＪＰＥＧストリームをＤＤＲメインメモリ１６ａに転送するタイミングを遅らせることができる。
　なお、図１３においては、説明のためＪＰＥＧストリームの占める割合を大きくとっているが、実際には、動画用のサイズ変換出力、動画コーデック、及びビデオ処理等を合わせた状態で、このようなタイミングが発生する。後述の実施の形態２にて説明するように、各ブロックのＤＤＲメインメモリ１６ａのバス１０への出力段は、バス出力できないことに対応するためにバッファを有している。そして、本例のように、ＪＰＥＧコーデック２３の前段にあるラインメモリ２２の８ラインメモリも、バス出力を調整するバッファと同様の役割を持たせることが可能である。
＜撮像装置１による動画再生時の静止画キャプチャ動作＞
　次に、動画再生時の静止画キャプチャ動作について説明しておく。なお、本動作は従来の撮像装置の動作と同様である。図１４は、撮像装置の再生時の動作を説明する図である。図１４に示すように、動画再生時には、ＤＤＲメインメモリ１６に書き込みされているエンコード済みのエンコード動画データが動画デコーダ２０ｂに入力され、デコードされてＤＤＲメインメモリ１６に書き込みされる。デコードされた動画像データは、上述したように、ビデオ信号処理部２４にてビデオ信号処理され、ＬＣＤ２６やＨＤＭＩ２５に出力される。
　また、ＤＤＲメインメモリ１６に書き込みされている生データ又はデコード済みの動画像データをＬＣＤ２６に出力し表示することで任意のタイミングでユーザがシャッタを押すことができる。この場合、シャッタのタイミングに応じた静止画フレームが取得され、セレクタ２７を介してＪＰＥＧエンコーダ２３ａに入力され、エンコードされてＤＤＲメインメモリ１６に書き込みされる。なお、動画像データから静止画フレームを取得する場合に、２枚以上のフレームから平均又は加重平均して１枚の静止画フレームを生成するようにしてもよい。
　本実施の形態においては、撮影中の動画像データから取得した静止画フレームをメインメモリに書き込みせずに直接リアルタイムにエンコードすることで、最小の回路規模、最小の動作クロック、及びそれに伴う最小の消費電力を実現しつつ、多画素の画像サイズであってもより枚数の多い、例えば１秒間に６０フレーム等の高速撮影処理を実現することができる。さらに、通常、動画取得処理を行ないながらの静止画取得処理は、システム的に負担がかかる。したがって実現するためにはコストが増大し、バスクロック周波数を高める等、ＬＳＩ生成難易度が上がると共に消費電力の増加に繋がったり、動画処理レートが低減する等のデメリットや制限が発生するが、本実施の形態においては、静止画処理を高効率化することができ動画取得処理に影響を及ぼすことなく高速な静止画取得処理を実行することができる。すなわち、必要最小限の構成で動画再生時においても高速、高効率に静止画キャプチャを実現することができる。
＜本発明の実施の形態２．＞
　次に、本発明の実施の形態２について説明する。図１５は、本実施の形態にかかる撮像装置を示すブロック図である。図１５に示すように、本実施の形態にかかる撮像装置１ａにおいては、静止画フレーム取得部９４が設けられている。上述したように、１秒間６０フレームからなる動画像データの全フレームを高速撮影ルートＲ１にて処理する場合は、全データを順次サイズ変換部２１、ラインメモリ２２、ＪＰＥＧコーデック２３に送ればよく、特に静止画フレーム取得部９４を設ける必要はない。
　ユーザが動画を撮像しながら又は動画を再生しながら任意のタイミングでシャッタを押して静止画撮影をする場合は、静止画フレーム取得部９４にはそのシャッタタイミングが入力され、そのスイッチング動作等により、カメラ信号処理部１３から出力される動画像データ又はＤＤＲメインメモリ１６に書き込みされているデコード済みの動画データから所定のフレームの画像データがサイズ変換部２１側へ流れるようにする。
　そして、本実施の形態にかかる撮像装置１０５ａにおいては、動画像データがＤＤＲメインメモリ１６へ書き込みされる際及びＪＰＥＧコーデック２３からのエンコードデータがＤＤＲメインメモリ１６へ書き込みされる際等にＤＤＲメインメモリ１６のバス１０の使用を調停するための複数のタイミング調整用バッファ９１乃至９３が設けられている。
　また、複数のタイミング調整用バッファ９１乃至９３を制御する調停部として機能するアービタ９５を有する。高速撮影ルートＲ１を通る静止画データはエンコードされてＤＤＲメインメモリ１６に書き込みされるが、あるタイミングにおいては、ＤＤＲメインメモリ１６のバス１０のバス帯域が不足する場合があり、このバス帯域をこの複数のタイミング調整用バッファ９１乃至９３を使用して調停する必要が生じる場合がある。
　なお、ここでは、タイミング調整用バッファ９１乃至９３のみ図示しているが、ＳＤカード１７やビデオ信号処理部２４等にも必要に応じてタイミング調整用バッファを設けてもよいことは勿論である。
＜アービタ９５の制御＞
　図１６は、アービタ９５の制御を説明するための図である。本例においては、アービタ９５は、動画像データのサイズ変換部１９のサイズ変換後のＤＤＲメインメモリ１６へのデータの書き込み（Ａ）、動画コーデック２０のＤＤＲメインメモリ１６からの読み出し（Ｂ）、動画コーデック２０のＤＤＲメインメモリ１６への書き込み（Ｃ）、及びＪＰＥＧコーデック２３のエンコードデータのＤＤＲメインメモリ１６への書き込み（Ｄ）動作について調停する場合について説明する。
　図１６には、サイズ変換部１９、動画コーデック２０のリード時、動画コーデック２０のライト時、ＪＰＥＧコーデック２３のＤＤＲメインメモリ１６へのアクセスリクエストをアービタ９５に伝えるリクエスト信号と、アクセスが許可されない場合にアービタ９５から受けとるウェイト信号とを示している。アービタ９５は、リクエスト信号を受け取ると、他にリクエスト信号を受け取っておらず、ＤＤＲメインメモリ１６のバス１０のバス帯域が空いていれば、アクセスを許可する。
　一方、アービタ９５が複数のリクエスト信号を受け取った場合、例えばタイミングＴ２１においては、優先度３の動画コーデックリードのリクエスト信号と、優先度４の動画コーデックライトのリクエスト信号とが出力されている。この場合、アービタ９５は、動画コーデックライトのウェイト信号を出力し、動画コーデックライトを停止させ、より優先度が高い優先度３の動画コーデックリードの処理を実行させる。
　また、タイミングＴ２２でリクエスト信号を出力した動画コーデックライトがライトしている間に、優先度２のサイズ変換部１９がリクエスト信号を出力している。ただし、この後、より優先度が高い優先度１のＪＰＥＧコーデック２３からリクエスト信号が出力されている。したがって、サイズ変換部１９は優先度がＪＰＥＧコーデック２３より低いため、再びウェイト状態となり、ＪＰＥＧコーデック２３のライト動作が終了したタイミングＴ２４で、サイズ変換部１９のライト動作が許可されることとなる。
　このように頻繁に発生するウェイト時に、タイミング調整用バッファ９１乃至９３にデータを蓄えることで、サイズ変換部１９、動画コーデック２０、ＪＰＥＧコーデック２３の動作を途切れないようにすることができる。上述したように、本実施の形態にかかる撮像装置１ａは、動画撮影時に高速静止画撮影を可能とするため、静止画フレームをＤＤＲメインメモリ１６に書き込みすることなく、直接リアルタイムにエンコードする。このことにより、静止画フレームの生データをＤＤＲメインメモリ１６に一旦書き込みした後、エンコードするという従来のルートに比して、ＤＤＲメインメモリ１６のバス１０のバス帯域にかかる負荷を低減することができ、結果、高速静止画撮影を可能としている。すなわち、従来は、動画撮像と同時では、１秒間に複数枚、高々１０枚程度しか静止画撮影を行うことができなかった。これに対し、本実施の形態においては、静止画フレームをＤＤＲメインメモリ１６に書き込みすることなくリアルタイムにエンコードしてからＤＤＲメインメモリ１６に書き込みすることで、例えば１秒間に６０フレームからなる動画像データの全フレームについて静止画フレームの取得が可能となる。
　そして、動画撮影時に高速静止画撮影をすると、ＤＤＲメインメモリ１６のメモリ帯域幅が不足する場合が生じる。このような場合であっても、本実施の形態のように、タイミング調整用バッファ９１乃至９３等を設け、アービタ９５でバス１０の調停を実施することで、ＤＤＲメインメモリ１６への処理を滞りなく実施することができる。
　また、タイミング調整用バッファ９１は、ＪＰＥＧコーデック２３のＤＤＲメインメモリ１６のバス帯域使用時のタイミングを調整するために設けられているが、上述したように、本実施の形態にかかるＪＰＥＧコーデック２３は、８ラインメモリの３面構成となっている。よって、このラインメモリの一部をタイミング調整用バッファ９１の代わりに使用してもよい。
　本実施の形態においても実施の形態１と同様に、静止画撮影において、高効率処理、高速処理、及び低コスト化が可能な撮像装置を提供することができる。特に動画撮影時においても効率的な静止画処理により、より低コストで高速な静止画処理を可能とする。
　なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
　例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central　Processing　Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory　computer　readable　medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible　storage　medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read　Only　Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable　ROM）、ＥＰＲＯＭ（Erasable　PROM）、フラッシュＲＯＭ、ＲＡＭ（random　access　memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory　computer　readable　medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　１　撮像装置
　１１　レンズ
　１２　撮像素子
　１３　カメラ信号処理部
　１４　ズーム・フォーカス制御部
　１５　ＣＰＵ
　１６　ＤＤＲメインメモリ
　１６ａ　ＤＤＲメインメモリ
　１７　ＳＤカード
　１８　ＵＳＢ
　１９　サイズ変換部
　２０　動画コーデック
　２０ａ　動画エンコーダ
　２０ｂ　動画デコーダ
　２１　サイズ変換部
　２１ａ　主画像サイズ変換部
　２１ｂ　副画像サイズ変換部
　２１ｃ　主画像サイズ変換部
　２１ｄ　副画像サイズ変換部
　２２　ラインメモリ
　２２ａ　ラインメモリ
　２２ｂ　ラインメモリ
　２３　ＪＰＥＧコーデック
　２３ａ　ＪＰＥＧエンコーダ
　２３ｂ　ＪＰＥＧエンコーダ
　２３ｃ　ＪＰＥＧコア
　２４　ビデオ信号処理部
　２５　ＨＤＭＩ
　２６　ＬＣＤ
　２７　セレクタ
　２８　第１の入力画像選択部
　２９　第２の入力画像選択部
　３１　動画コーデック
　４１　水平フィルタ回路
　４２　水平フィルタ回路
　４３　水平間引き回路
　４４　スケーラ処理ラインメモリコントローラ
　４５　垂直フィルタ回路
　４６　垂直フィルタ回路
　４７　垂直間引き回路
　４８　水平フィルタ回路
　４９　水平フィルタ回路
　９１　タイミング調整用バッファ
　９２　タイミング調整用バッファ
　９３　タイミング調整用バッファ
　９４　静止画フレーム取得部
　９５　アービタ
　２１１ａ　サイズ変換部
　２１１ｂ　サイズ変換部
　２１２ａ　スケーラ用バッファ
　２１２ｂ　スケーラ用バッファ
　２２１ａ　メモリコントローラ
　２２１ｂ　メモリコントローラ
　２２２ａ　バッファ
　２２２ｂ　バッファ

Claims (12)

  1. 　撮像素子と、
    　前記撮像素子により取得された動画像データを格納するメインメモリと、
    　前記メインメモリに格納された動画像データを圧縮処理する動画圧縮部と、
    　前記撮像素子により取得された動画像データから任意のタイミングで静止画フレームを取得する静止画フレーム取得部と、
    　前記静止画フレーム取得部により取得された静止画フレームの一部である静止画データを格納するラインメモリと、
    　前記ラインメモリに格納された静止画データを圧縮処理する静止画圧縮部とを有し、
    　前記静止画圧縮部は、前記動画像データの前記メインメモリへの格納と並行してリアルタイムで前記静止画データを圧縮処理し、
    　前記メインメモリは、前記動画像データを格納すると共に、前記静止画圧縮部によりリアルタイムで圧縮処理された圧縮データを格納することを特徴とする画像処理装置。
  2. 　前記画像処理装置はタイミング調整用バッファをさらに有し、
    　前記タイミング調整用バッファは、前記動画像データが前記メインメモリへ格納される際のタイミングと、前記静止画圧縮部によりリアルタイムで圧縮処理された圧縮データが前記メインメモリへ格納される際のタイミングとを調整することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記ラインメモリは、３面以上のｎ（ｎは１以上の整数）ラインからなるメモリから構成され、前記メモリの一部は、前記静止画圧縮部による前記静止画データの圧縮処理における処理レートの変動を吸収するバッファとして機能すると共に、圧縮処理後の圧縮データが前記メインメモリへ格納される際のタイミングを調整するバッファとして機能することを特徴とする請求項１に記載の画像処理装置。
  4. 　前記画像処理装置はサイズ変換部をさらに有し、
    　前記サイズ変換部は前記静止画フレーム取得部により取得された静止画フレームのサイズをリアルタイムに変換することを特徴とする請求項１に記載の画像処理装置。
  5. 　前記画像処理装置は主画像サイズ変換部及び副画像サイズ変換部をさらに有し、
    　前記主画像サイズ変換部は前記静止画フレーム取得部により取得された静止画フレームのサイズをリアルタイムに変換して主画像データを生成し、
    　前記副画像サイズ変換部は前記静止画フレーム取得部により取得された静止画フレームのサイズをリアルタイムに変換して副画像データを生成するとこを特徴とする請求項１に記載の画像処理装置。
  6. 　前記副画像サイズ変換部は、前記主画像サイズ変換部が生成した前記主画像データのサイズをリアルタイムに変換して副画像データを生成することを特徴とする請求項５に記載の画像処理装置。
  7. 　前記ラインメモリは、前記主画像サイズ変換部により生成された主画像データの一部を格納し、
    　前記静止画圧縮部は、前記動画像データの前記メインメモリへの格納と並行してリアルタイムで前記主画像データを圧縮処理し、前記副画像サイズ変換部が生成した副画像データは圧縮処理することなく前記メインメモリに格納することを特徴とする請求項５に記載の画像処理装置。
  8. 　前記サイズ変換部はサイズ変換用ラインメモリを備え、
    　前記サイズ変換用ラインメモリは、前記静止画フレーム、前記主画像データ又は前記副画像データの一部を格納するラインメモリを有する、ことを特徴とする請求項１に記載の画像処理装置。
  9. 　前記画像処理装置は動画像用サイズ変換部をさらに有し、
    　前記動画像用サイズ変換部は前記撮像素子により取得された動画像データのサイズを変換し、
    　前記メインメモリは、前記動画像用サイズ変換部によりサイズ変換された動画像データを格納することを特徴とする請求項１に記載の画像処理装置。
  10. 　前記メインメモリはさらに、外部メモリから読み込まれた圧縮動画像データが伸長された動画像データを格納し、
    　前記ラインメモリは、前記メインメモリに格納された、前記撮像素子により取得された動画像データ、又は前記伸長された動画像データの何れかから任意のタイミングで取得した静止画フレームの一部である静止画データを格納し、
    　前記静止画圧縮部は、前記ラインメモリに格納された前記静止画データの圧縮処理を行うことを特徴とする請求項１に記載の画像処理装置。
  11. 　撮像素子により取得された動画像データをメインメモリに格納する動画像格納工程と、
    　前記撮像素子により取得された動画像データから任意のタイミングで取得された静止画フレームの一部である静止画データをラインメモリに格納するラインメモリ格納工程と、
    　前記ラインメモリに格納された前記静止画データに対しリアルタイムで圧縮処理を行う静止画圧縮工程と、
    　前記静止画圧縮工程にてリアルタイムに圧縮処理された圧縮データを前記メインメモリに格納する静止画格納工程と、
    　前記ラインメモリ格納工程、前記静止画圧縮工程又は前記静止画格納工程と並行して前記撮像素子により取得された動画像データをメインメモリに格納する動画像格納工程と
    を含むことを特徴とする画像処理方法。
  12. 　動画像の記録処理と並行して静止画像の記録処理をコンピュータに実行させるためのプログラムであって、
    　撮像素子により取得された動画像データをメインメモリに格納する動画像格納処理と、
    　前記撮像素子により取得された動画像データから任意のタイミングで取得された静止画フレームの一部である静止画データをラインメモリに格納するラインメモリ格納処理と、
    　前記ラインメモリに格納された前記静止画データに対しリアルタイムで圧縮処理を行う静止画圧縮処理と、
    　前記静止画圧縮処理にてリアルタイムに圧縮処理された圧縮データを前記メインメモリに格納する静止画格納処理と、
    　前記ラインメモリ格納処理、前記静止画圧縮処理又は前記静止画格納処理と並行して、前記撮像素子により取得された動画像データをメインメモリに格納する動画像格納処理とをコンピュータに実行させるためのプログラム。
PCT/JP2012/053875 2011-02-18 2012-02-17 画像処理装置、画像処理方法、及びプログラム Ceased WO2012111825A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/965,852 US9179065B2 (en) 2011-02-18 2013-08-13 Image processing apparatus, image processing method, and program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-033978 2011-02-18
JP2011033978A JP2012175303A (ja) 2011-02-18 2011-02-18 撮像装置、撮像方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/965,852 Continuation US9179065B2 (en) 2011-02-18 2013-08-13 Image processing apparatus, image processing method, and program product

Publications (1)

Publication Number Publication Date
WO2012111825A1 true WO2012111825A1 (ja) 2012-08-23

Family

ID=46672735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/053875 Ceased WO2012111825A1 (ja) 2011-02-18 2012-02-17 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US9179065B2 (ja)
JP (1) JP2012175303A (ja)
WO (1) WO2012111825A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6799826B2 (ja) * 2017-03-22 2020-12-16 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラム及びそれを記録した記録媒体
JP7170478B2 (ja) * 2018-09-18 2022-11-14 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
US11503310B2 (en) * 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
CN115701120B (zh) * 2021-07-26 2024-06-25 荣耀终端有限公司 电子设备和摄像头模组
CN114339226B (zh) * 2021-12-28 2024-02-09 山东云海国创云计算装备产业创新中心有限公司 一种提高画面的流畅度的方法、装置及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513542A (ja) * 1997-07-10 2000-10-10 フラッシュポイント テクノロジー インコーポレイテッド 画像捕獲デバイスにおけるライブ・ビューおよび即時レビューのための方法および装置
JP2004129242A (ja) * 2002-09-11 2004-04-22 Olympus Corp 電子カメラ装置及びその画像処理方法
WO2005020566A1 (ja) * 2003-08-08 2005-03-03 Sanyo Electric Co., Ltd. 撮像装置
JP2007135102A (ja) * 2005-11-11 2007-05-31 Canon Inc 撮像装置
JP2007228119A (ja) * 2006-02-22 2007-09-06 Sony Corp 撮像装置、画像処理方法、およびプログラム
JP2009130562A (ja) * 2007-11-22 2009-06-11 Sony Corp 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラム
JP2009200627A (ja) * 2008-02-19 2009-09-03 Canon Inc 撮像装置及び撮像方法
JP2010141687A (ja) * 2008-12-12 2010-06-24 Sony Corp 情報処理装置、バッファ制御方法およびコンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4026104B2 (ja) 1999-05-06 2007-12-26 富士フイルム株式会社 電子カメラ及び画像記録方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513542A (ja) * 1997-07-10 2000-10-10 フラッシュポイント テクノロジー インコーポレイテッド 画像捕獲デバイスにおけるライブ・ビューおよび即時レビューのための方法および装置
JP2004129242A (ja) * 2002-09-11 2004-04-22 Olympus Corp 電子カメラ装置及びその画像処理方法
WO2005020566A1 (ja) * 2003-08-08 2005-03-03 Sanyo Electric Co., Ltd. 撮像装置
JP2007135102A (ja) * 2005-11-11 2007-05-31 Canon Inc 撮像装置
JP2007228119A (ja) * 2006-02-22 2007-09-06 Sony Corp 撮像装置、画像処理方法、およびプログラム
JP2009130562A (ja) * 2007-11-22 2009-06-11 Sony Corp 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラム
JP2009200627A (ja) * 2008-02-19 2009-09-03 Canon Inc 撮像装置及び撮像方法
JP2010141687A (ja) * 2008-12-12 2010-06-24 Sony Corp 情報処理装置、バッファ制御方法およびコンピュータプログラム

Also Published As

Publication number Publication date
US20130329069A1 (en) 2013-12-12
US9179065B2 (en) 2015-11-03
JP2012175303A (ja) 2012-09-10

Similar Documents

Publication Publication Date Title
JP5056370B2 (ja) 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラム
US7573504B2 (en) Image recording apparatus, image recording method, and image compressing apparatus processing moving or still images
US9818169B2 (en) On-chip upscaling and downscaling in a camera architecture
JP4131052B2 (ja) 撮像装置
JP4187425B2 (ja) 画像制御装置およびディジタルカメラ
JP4253881B2 (ja) 撮像装置
US10003767B2 (en) Image processing apparatus and image processing method
CN1977532B (zh) 摄像装置及方法
US9179065B2 (en) Image processing apparatus, image processing method, and program product
JP4636755B2 (ja) 撮像装置、画像処理方法、記録媒体およびプログラム
US10360660B2 (en) Image processing apparatus and image processing method for handling raw images
US20100135644A1 (en) Photographing apparatus and method of controlling the same
US20070065022A1 (en) Image signal processing apparatus and method
JP4158245B2 (ja) 信号処理装置
JP4264602B2 (ja) 画像処理装置
CN102132568A (zh) 运动检测装置
JP2014033333A (ja) 撮像装置、画像圧縮方法
TWI424371B (zh) Video processing device and processing method thereof
JP2020031336A (ja) 撮像装置
JP2009130561A (ja) 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP2009130563A (ja) データ処理装置、データ処理方法およびデータ処理プログラム、ならびに、撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP2013219682A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12746819

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12746819

Country of ref document: EP

Kind code of ref document: A1