WO2007029738A1 - 撮像素子 - Google Patents

撮像素子 Download PDF

Info

Publication number
WO2007029738A1
WO2007029738A1 PCT/JP2006/317648 JP2006317648W WO2007029738A1 WO 2007029738 A1 WO2007029738 A1 WO 2007029738A1 JP 2006317648 W JP2006317648 W JP 2006317648W WO 2007029738 A1 WO2007029738 A1 WO 2007029738A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
image
shift register
region
unit
Prior art date
Application number
PCT/JP2006/317648
Other languages
English (en)
French (fr)
Inventor
Katsuhiro Kanamori
Hiroyoshi Komobuchi
Hideto Motomura
Kenji Kondo
Takeo Azuma
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US11/990,589 priority Critical patent/US7623174B2/en
Priority to CN2006800297401A priority patent/CN101243682B/zh
Priority to JP2007534451A priority patent/JP4129287B2/ja
Publication of WO2007029738A1 publication Critical patent/WO2007029738A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode

Definitions

  • the present invention relates to an image sensor, and more particularly to an image sensor used for acquiring moving image data in which pixel density is mixed in one screen.
  • Patent Document 1 discloses an image input device that can simultaneously obtain whole image information by thinning scanning and high-resolution partial image information by all pixel scanning from the same frame. That is, the scanning control means scans all pixels only in a predetermined group of pixels in the pixel array and performs thinning scanning for the pixel groups in the remaining area of the pixel array.
  • Patent Document 2 discloses a video input device that can simultaneously acquire a low-resolution whole video and a high-resolution partial video at high speed. That is, a low-resolution whole video scanning unit that outputs low-resolution whole video data and a high-resolution partial video scanning unit that outputs high-resolution partial video data are provided and switched within a predetermined frame period. The low resolution whole video data and the high resolution partial video data are sequentially output. Also, based on the low-resolution whole video data, the cut-out position of the high-resolution partial video in the next frame is automatically determined.
  • Patent Document 1 Japanese Patent Laid-Open No. 2000-32318
  • Patent Document 2 JP 2004-180240 A
  • the entire pixel scanning region and the thinning scanning region are included in one screen.
  • this all-pixel scanning area has a predetermined position set in advance. It is fixed to. For this reason, for example, when the position of the all-pixel scanning region is changed for each frame, high-resolution partial image information is acquired for the entire frame, and it is impossible to realize such processing. It has not been.
  • the scanning position is set in advance to a predetermined position. For this reason, the entire image information obtained by the thinning-out scanning also forms the image data force at the same scanning position in each frame, so that the image quality may be deteriorated.
  • the cutout position of the high-resolution partial video in each frame is not fixed, and is automatically determined based on the low-resolution whole video data in the previous frame. That is, the position of the high-resolution partial video changes from frame to frame.
  • a process of intentionally moving the position of the high-resolution partial video cannot be realized, and such a process is not possible. Assumed that it is also obscene.
  • the scanning position is set in advance to a predetermined position. For this reason, the entire low-resolution video data is formed with the same image data force at the same scanning position in each frame, and therefore the image quality may be lowered.
  • the present invention makes it possible to acquire information on a high-resolution image portion for the entire frame as an image sensor for acquiring moving image data in which pixel density is mixed in one screen. Is an issue.
  • the present invention solves the problem of improving the image quality of a low-resolution image portion as an imaging device for acquiring moving image data in which pixel density is mixed in one screen.
  • the storage units of all rows are used by using the readout pulse generated by the progressive scan shift register. Perform progressive readout to read out the pixel force signal.
  • the second area including all areas other than the first area is skipped.
  • the interlaced line readout for reading out the signal from the accumulation unit pixel in the skipped row is performed. As a result, a high-resolution image is obtained for the first region, and a low-resolution image with a lower resolution is obtained for the second region.
  • the progressive scan shift register generates a read pulse so that the first area moves frame by frame, and the first area scans the entire area of the storage section over a plurality of frames. .
  • the first region in which a high-resolution image is obtained moves so as to occupy the entire frame over a plurality of frames for each frame. Therefore, it is possible to acquire information on the high-resolution image portion for the entire frame.
  • the interlaced scanning shift register generates a read pulse so that the position of the skipped row moves from frame to frame. For this reason, in the second area where a low-resolution image is obtained, the row from which the image is read moves for each frame. Therefore, so-called interlaced reading is realized, and the image quality of the low-resolution image portion is improved.
  • the first region where a high-resolution image is obtained moves so as to occupy the entire frame over a plurality of frames for each frame. It becomes possible to get about.
  • the second region where a low-resolution image is obtained movement is performed for each power frame in which image reading is performed, so that so-called interlaced reading is realized, and the image quality of the low-resolution image portion is improved.
  • FIG. 1 is a flowchart showing a recording process in an image processing method according to a reference example.
  • FIG. 2 is a flowchart showing a resolution enhancement process in the image processing method according to the reference example.
  • Figure 3 is a schematic diagram showing an example of the recording process and the resolution enhancement process in the reference example. It is a mere idea.
  • FIG. 4 is a flowchart showing an example of the process in step S13 of FIG.
  • FIG. 5 is a flowchart showing an example of the process of step S23 of FIG.
  • FIG. 6 is a diagram showing an example of a method for converting to a texture feature amount in step S132 of FIG.
  • FIG. 7 is a diagram showing texture feature amounts after conversion.
  • FIG. 8 is a diagram showing a configuration example of an image processing apparatus according to the first embodiment of the present invention.
  • FIG. 9 is a conceptual diagram illustrating a configuration example of a pixel density mixed imaging unit in FIG.
  • FIG. 10 is a diagram illustrating an example of a pixel readout method using a pixel density mixed image sensor.
  • FIG. 11 is a diagram illustrating an example of a pixel readout method using a pixel density mixed image sensor.
  • FIG. 11A is a conceptual diagram showing spatio-temporal uniform readout.
  • FIG. 11B is a diagram showing a read pattern in consideration of uniformity in time and space.
  • FIG. 12 is a diagram showing an example of a circuit configuration of the image sensor according to the first embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a circuit configuration example of an imaging unit pixel in the imaging device of FIG.
  • FIG. 14 is a diagram illustrating an example of a circuit configuration of a storage unit pixel in the image sensor of FIG.
  • FIG. 15 is a diagram illustrating a circuit configuration example of an interlaced scanning shift register in the image sensor of FIG. 12.
  • FIG. 16 is an operation sequence diagram illustrating an outline of a series of operations of imaging, transferring and reading of the image sensor shown in FIGS. 12 to 15.
  • FIG. 17 is a timing chart showing the operation in the high-speed V transfer period of FIG.
  • FIG. 18 is a timing chart showing the operation in the horizontal readout period of FIG.
  • FIG. 19 is a timing chart showing the output of the selector of FIG.
  • FIG. 20 is a diagram conceptually showing the texture conversion process in the first embodiment of the present invention.
  • FIG. 21 is a diagram showing a method for creating an analysis codebook and a reproduction codebook.
  • FIG. 22 is a diagram showing a configuration of an image display unit according to the first embodiment of the present invention. Explanation of symbols
  • an imaging unit in which imaging unit pixels that perform photoelectric conversion of incident light are two-dimensionally arranged, and storage unit pixels are two-dimensionally arranged corresponding to the imaging unit pixels, respectively.
  • a storage unit a transfer unit that transfers a charge generated in each imaging unit pixel to the corresponding storage unit pixel as a signal; and an output unit that reads a signal from each storage unit pixel.
  • a read pulse applied to a first region of a part of the storage unit A progressive scan shift register that generates a read scan, and an interlaced scan shift register that generates a read pulse to be applied to a skipped row in a second region including all regions other than the first region.
  • the readout pulse generated by the progressive shift register is used to perform progressive readout for reading signals from the accumulation unit pixels of all rows, while for the second area, Using the readout pulse generated by the interlaced scanning shift register, the interlaced line readout that reads out signals from the accumulation unit pixels in the interlaced rows can be performed.
  • the first area moves from frame to frame, and a plurality of frames Over arm, so that the first region to scan the entire area of the storage unit, to provide an imaging device that generates the readout pulse.
  • an imaging unit in which imaging unit pixels that perform photoelectric conversion of incident light are two-dimensionally arranged, and storage unit pixels are two-dimensionally arranged corresponding to the imaging unit pixels, respectively.
  • a progressive scan shift register that generates a read pulse to be applied to a first region of a part of the storage unit, and a read pulse to be applied to a skipped row in a second region including all regions other than the first region
  • the interlaced scanning shift register for generating the first region, the first region includes all read-out pulses generated by the progressive shift register.
  • the second region is interlaced in which signals are read out from the storage unit pixels in the skipped rows using the readout pulses generated by the interlaced scanning shift register.
  • the interlaced scanning shift register is configured to be able to perform line readout, and provides an image sensor that generates the readout pulse so that the position of the skipped row moves for each frame. To do.
  • the interlaced scanning shift register reads the reading so that the position of the skipped row scans the entire second region over a plurality of frames.
  • the image sensor according to the second aspect, which generates a protruding pulse, is provided.
  • FIG. 1 and 2 are flowcharts showing an image processing method according to a reference example of the present invention.
  • Fig. 1 shows the recording process when shooting a scene
  • Fig. 2 shows the high-resolution process when playing back and displaying recorded video data.
  • the processes in Fig. 1 and Fig. 2 generally correspond to the time of video shooting and the time of playback display where the recorded video is viewed on the display.
  • a low-resolution image LF (t) at time t is acquired and recorded (Sl l).
  • a high-resolution image HWF (t) is acquired in the window region occupying a part of the image frame (S12). Since this high-resolution image HWF (t) is only used for the subsequent processing, it is not always necessary to record it as moving image data.
  • a high resolution parameter P (t) as a resolution conversion rule is learned and recorded (S13).
  • the window area setting position is moved to another position (S14). If the recording is continued, the process proceeds to the process at the next time t + 1 (S16), and if the recording is completed, the process is terminated (S15).
  • step S13 a texture feature amount is obtained for each of the low resolution image LF (t) and the high resolution image HWF (t), and the correspondence between the texture feature amounts is parameterized.
  • This parameter P (t) is referred to as a high resolution parameter in the present specification.
  • the entity is a function or table that inputs a low resolution texture TFL and outputs a high resolution texture TFH.
  • This high resolution parameter is used as a resolution conversion rule.
  • the low resolution video data LF (t) recorded in the recording process and the high resolution parameter P (t) learned in the recording process are acquired (S21). Then, one frame of the moving image data is acquired (S22), and the resolution is increased using the resolution enhancement parameter for the frame (S23). Complete for all frames If so, the process is terminated (S24). Otherwise, the process proceeds to the next frame (S25).
  • step S23 resolution enhancement is performed using not only the resolution enhancement parameters learned in the frame but also the resolution enhancement parameters learned in at least one frame before and after that. Is preferred. This is because the frame only learns the resolution enhancement parameter only in the window region that is a part of the image, and is not necessarily sufficient for increasing the resolution of the entire image.
  • the resolution enhancement parameter P (t ′) for a period including the period before and after the time T may be applied to the time t of the frame. That is,
  • FIG. 3 is a diagram conceptually showing an example of a recording process and a resolution enhancement process in this reference example.
  • each frame of the low-resolution video data LF (t) consists of an image of 8 x 8 pixels, and one area obtained by dividing the entire image into four is designated as window areas WD1 to WD4.
  • the setting positions of the window areas WD1 to WD4 change from frame to frame.
  • the window areas WD1 to WD4 move in order in the sub-scanning direction (vertical direction) from top to bottom and from the bottom to the top.
  • the shape and movement method of the window area are not limited to this, but a simple example is given for convenience of explanation.
  • an image is taken with a higher resolution than in an area outside the window area, and a high-resolution image HWF (t) is obtained.
  • imaging is performed with a pixel density that is 2 ⁇ 2 times the horizontal and vertical dimensions of the other areas.
  • moving image data that has a high resolution inside the window area and a low resolution outside the window area and that has a mixed pixel density in one screen. Absent.
  • Such moving image data is referred to as pixel density mixed moving image data in this specification.
  • a low-resolution image in the window area can be generated by performing image filtering such as thinning or averaging on a high-resolution image that does not need to be acquired again.
  • This model has a shape that is close to reality by considering the aperture shape of the optical system and image sensor. The accuracy can be improved. For example, a PSF (Point Spread Function) is performed as a convolution operation with a Gaussian function on a high-resolution image, and then this is integrated over the range of the image sensor area with a constant width in two dimensions. Can be considered.
  • PSF Point Spread Function
  • window region WD3 at time t, and window region WD4 at time t3 correspond to each other.
  • the high-resolution parameter force corresponding to each of the partial areas AR1 to AR4 has already been learned at times t ⁇ 2, t ⁇ 1, t, and t ⁇ 3.
  • the frame rate of the video data is lZ30 (sec)
  • the time lapse from time t-3 to time t is only about lZlO (sec)
  • almost no change occurs in each frame unless a very instantaneous screen change occurs.
  • Similar feature amount information is acquired. For this reason, it is effective to apply high resolution parameters from time t-3 to time t.
  • resolution enhancement parameters P (t 3), P (t ⁇ 2),... are given at each time.
  • the window area corresponds to the position of each partial area, and the high resolution parameter is applied to the frame with little time shift. Therefore, it is sufficient to increase the resolution.
  • the resolution enhancement parameter P (t-2) is increased for the partial area AR1, and the resolution is increased for the partial area AR2.
  • the parameter P (t-1) is set to the high resolution parameter P (t) for the partial area AR3, and the high resolution parameter P (t + 1) is set to the partial area AR4.
  • Apply each one For example, the high resolution parameter P (t + 2) may be applied to the partial area AR1, and the high resolution parameter P (t + 3) is applied to the partial area AR2. Even if it's powerless!
  • the force shown in the example of four divisions is set such that one area obtained by dividing the entire image by n (n is an integer of 2 or more) is a window area, and occupies the entire image over n frames.
  • the window area may be moved. In addition to this, it is preferable to move the window area so that the entire image is scanned over a plurality of frames for each frame.
  • FIG. 4 is a flowchart showing an example of the process of step S 13 in FIG.
  • learning of a high resolution parameter is performed using multiresolution analysis by wavelet transform.
  • the low resolution image LF (t) is interpolated and enlarged (S131).
  • two images LF (t) and HWF (t) are wavelet transformed using wavelet transformation by three-stage scaling described later (S132).
  • the correspondence relationship between the wavelet coefficients of the two images LF (t) and HWF (t) is accumulated for each pixel position (S133). This correspondence is the high resolution parameter P (t).
  • FIG. 5 is a flowchart showing an example of the process of step S23 in FIG.
  • the resolution is increased by applying the resolution enhancement parameter P (t ') in a certain period.
  • the low resolution image LF (t) is interpolated and enlarged to fit the image size to the high resolution image HWF (t) (S231).
  • wavelet transform is performed on the low-resolution image LF (t) (S232), and the wavelet coefficients are replaced using the high-resolution parameter P (t ') (S233).
  • reverse wavelet transform is performed to convert the image into a high resolution image (S234).
  • step S233 as described with reference to FIG. 3, high resolution key parameters at different frame times may be used for partial regions on the image.
  • the resolution enhancement parameters in a certain period may be quantized into one set and applied as the resolution enhancement parameters.
  • FIG. 6 is a diagram showing an example of wavelet transform in step S132 of FIG.
  • the input image IN force X and Y direction wavelet transform are used in the first stage (scale).
  • H1H1, H1L1, L1H1, and L1L1 of the same size as the input image IN.
  • the second stage among the decomposed four components, components other than the X and Y bidirectional high frequency components HI HI are further decomposed.
  • L1L1 is resolved again in both directions X and Y, whereas H1L1 and L1H1 are only decomposed in one direction, resulting in a total of eight components.
  • each pixel of the input image IN is decomposed into 16-dimensional components as shown in FIG.
  • the vector force bundling these 16 components is the texture feature TF1 at pixel position PP.
  • step S13 corresponds to creating an analysis code book and a reproduction code book. From this, the resolution enhancement parameter P (t) shown by (Equation 1) is calculated.
  • a high-resolution image is acquired only in a window region that is a part of the image, and a high-resolution parameter is generated using an image feature quantity such as a texture.
  • the high resolution parameter can be learned with respect to the subject itself of the video data that is actually increased in resolution later, rather than having to be obtained by another video data force prior learning. Image processing can be realized. Also, since the resolution enhancement parameter is a function of time, by learning for each frame, the optimal resolution enhancement parameter can be obtained instantaneously regardless of the appearance of a subject with any characteristics on the screen, and can be used for display. it can. For this reason, the resolution enhancement parameters obtained by learning and the actual high resolution In principle, there is no performance degradation due to the difference in characteristics from moving image data to be imaged.
  • the recording process shown in FIG. 1 and the high resolution process shown in FIG. 2 are typically performed in the order of the recording process and the high resolution process. If transmission display is performed at the same time, the recording process and the high resolution process may be performed in parallel in time.
  • the recording process is executed by using a video movie camera including a pixel density mixed imaging unit configured to be able to capture the above-described pixel density mixed moving image data.
  • the pixel density mixed imaging unit is configured using an XY address type imaging device such as a CMOS type imaging sensor.
  • FIG. 8 is an image processing apparatus using the image sensor according to the present embodiment, and is a block diagram showing a configuration example applied to a video movie camera.
  • the image processing apparatus 10 in FIG. 8 includes a lens 101, a mixed pixel density imaging unit 102, a low-resolution frame memory 103 that stores one frame LF (t) of low-resolution moving image data, and a low-resolution recording that records low-resolution moving image data DLF.
  • Movie recording unit 104 high-resolution window memory 105 that stores high-resolution image HWF (t) in the window area in one frame, low-resolution that converts high-resolution image HWF (t) in the window area to low resolution by image processing Transformer 106, window area height High resolution parameter learning unit 120 that learns high resolution parameter P (t) using resolution image HWF (t), high resolution parameter recording unit 109 that records high resolution parameter DP, and overall control unit 110 And a recording button 111.
  • the high-resolution parameter learning unit 120 is a texture conversion unit 107 that converts a high-resolution image HWF (t) into a texture feature amount, and corrects the pixel size of the low-resolution image and then corrects the image size that is converted into a texture.
  • a texture conversion unit 112 and a texture learning unit 108 for learning the correspondence between textures are provided.
  • the thinning circuit 115 that performs pixel thinning in the horizontal direction includes the pixel density mixed imaging unit 102 and the low-resolution frame memory 103. Between them.
  • the overall control unit 110 sends a recording command to the pixel density mixed imaging unit 102 and the low-resolution moving image recording unit 104.
  • the pixel density mixed imaging unit 102 executes imaging in response to the recording command, and the low resolution image LF (t) is accumulated in the low resolution frame memory 103 for each frame.
  • the low-resolution moving image recording unit 104 converts the low-resolution image LF (t) stored in the low-resolution frame memory 103 into moving image data continuously in time, and further performs processing such as compression to reduce the low-resolution image LF (t). Recorded media on the network as resolution video data DLF.
  • the overall control unit 110 sends a learning signal to the texture learning unit 108 and the high resolution parameter recording unit 109 simultaneously with sending the recording command.
  • the high-resolution image HWF (t) in the window area acquired by the pixel density mixed imaging unit 102 is accumulated in the high-resolution window memory 105 and input to the texture learning unit 108 via the texture conversion unit 107.
  • the high resolution image HWF (t) is also converted to a low resolution by the low resolution conversion unit 106 and then input to the texture learning unit 108 via the image size correction / texture conversion unit 112.
  • the texture learning unit 108 learns the resolution enhancement parameter P (t), which is a resolution conversion rule, by associating the correspondence between the textures at the same time with different resolutions.
  • the high resolution parameter recording unit 109 accumulates or transmits the high resolution parameter recording unit 109 as a high resolution parameter DP.
  • the output of the low resolution conversion unit 106 is also supplied to the low resolution frame memory 103.
  • the pixel density mixed imaging unit 102 to the low-resolution moving image recording unit 104 can be configured by, for example, node software, and the texture learning unit 108 and the high-resolution parameter recording unit 109 are CPUs.
  • a GPU Graphic Processing Unit
  • the like can be centrally configured.
  • FIG. 9 is a conceptual diagram illustrating a configuration example of the pixel density mixed imaging unit 102.
  • an optical system for capturing color images in a three-plate normal video movie is used.
  • the wavelength band is separated into red (R), green (G), and blue (B) by the dichroic prism 131.
  • the color density mixed imaging elements 132R, 132G, and 132B are assigned to the respective color bands.
  • the signal processing circuit 133 processes the outputs from the pixel density mixed image pickup devices 132R, 132G, and 132B to generate a luminance signal Y and color difference signals Cr and Cb.
  • the signal is output after being separated into a low-resolution signal subjected to “interlaced line readout” described later and a high-resolution signal subjected to “progressive readout” described later.
  • This YCrCb format is used for recording moving image data.
  • all the luminance color difference signals may be used in the YCrCb format, or only the luminance Y signal may be used.
  • the magnification power of higher resolution exceeds ⁇ 4
  • the higher resolution with only luminance ⁇ is insufficient in image quality. Therefore, it is necessary to increase the resolution of both the color difference CrCb separately. Therefore, in the case of a magnification of 4 ⁇ 4 or more, three signal components of red R, green G, and blue B may be used for texture learning.
  • the mixed pixel density imaging devices 132R, 132G, and 132B are assigned to all of the let, green, and blue, and the moving image data recording method is set to the conventional luminance color difference space.
  • Luminance Y and two types of color difference Cr and Cb signals are used independently.
  • FIG. 10 is a diagram illustrating an example of a read pixel position by the pixel density mixed image sensor.
  • pixels marked with “no” and “notch” are readout target pixels.
  • a practical imaging device has about 2000 x 3000 pixels.
  • a 16 x 16 pixel that is, a vertical (V direction) 16 lines and a horizontal (H direction) 16 lines two-dimensional sensor. It is drawn as an example.
  • (A) to (D) correspond to four consecutive frames in time
  • the window area corresponds to the window area for acquiring high-resolution images
  • other areas for interlaced reading are also moved downward in order, and the position of the window area repeats the same movement with 4 frames from (A) to (D) as one cycle.
  • the window area for reading all lines is moved regularly by 4 lines in the vertical direction, and 3 lines are read at fixed positions in other directions.
  • this reading method it is possible to perform mixed pixel density imaging without reading the same pixel twice. In this embodiment, this reading method is used.
  • FIG. 11 is a diagram showing another example of the read pixel position by the pixel density mixed image sensor.
  • the method for reading out the low-resolution image is different from that in FIG.
  • the low-resolution image thinned out to 1Z4 is read out at different positions for each frame, independent of reading out all lines in the window area. This is aimed at equalizing the spatio-temporal sampling, and it is allowed to overlap the readout for some pixels.
  • the vertical line number for interlaced scanning is set to ⁇ , ( ⁇ ) to ⁇ (1, 5, 9, 13), ( ⁇ ) to ⁇ (2, 6, 10, 14), (C). ⁇ ⁇ (3, 7, 11, 15), (
  • interlaced line readout is performed at different phases for each frame, and readout is performed so as to make a round in n frames.
  • Figure 11B shows the read pattern that actually considers space-time uniformity when n is 4 or 5.
  • the present invention is based on the premise of an image sensor that can freely set a pattern of interlaced lines within one period.
  • FIG. 12 is a circuit block diagram showing an example of the structure of a pixel density mixed image sensor as the image sensor according to the present embodiment.
  • a two-dimensional sensor with 16 vertical lines and 16 horizontal lines is shown as an example, and the reading method shown in FIG. 11 is realized.
  • the process of reading a part of the screen with high resolution is called “progressive reading”, and the process of reading the screen with a low resolution image is called “interlaced line reading”. Shall be used.
  • the image pickup device roughly includes an image pickup unit 201 in which image pickup unit pixels 211 that perform photoelectric conversion of incident light are two-dimensionally arranged (array arrangement), and storage unit pixels 221 that correspond to the image pickup unit pixels 211, respectively.
  • the storage unit 202 is disposed two-dimensionally and includes a light blocking unit for incident light.
  • the imaging unit 201 and the storage unit 202 are connected by a signal line p2str that moves signal charges from the imaging unit 201 to the storage unit 202.
  • a readout system that sequentially shifts readout pulses line by line.
  • the shift register 203 and the reset shift register 204 for sequentially shifting the reset pulse for each line are provided.
  • the readout pulse is sent to each imaging unit pixel 211 of the imaging unit 201 via the readout pulse supply line rd-p, and the reset pulse is sent via the reset pulse supply line rst-p.
  • the imaging unit pixel 211 that has received the readout pulse outputs a signal charge, and the imaging unit pixel 211 that has received the reset pulse resets the signal charge.
  • an interlaced scanning shift register 205 that outputs a readout pulse used for "interlaced line readout”
  • a progressive scanning shift register 206 that outputs a readout pulse used for "progressive readout”
  • a selector 207 that selects one of the outputs of the interlaced scanning shift register 205 and the progressive scanning shift register 206 and supplies it to the accumulating unit 202, and a signal charge transferred from the imaging unit 201 to the accumulating unit 202
  • a read shift register 208 to be used is provided.
  • the readout pulse output from the selector 207 is supplied to each accumulation unit pixel 221 of the accumulation unit 202 via the readout pulse supply line rd-s.
  • the transfer pulse output from the reading shift register 208 is supplied to each storage unit pixel 221 of the storage unit 202 via the transfer pulse supply line trn.
  • the progressive scan shift register 206 reads out a pulse for reading a high-resolution image read out of all lines partially in each frame (for example, outputting 1Z4 screens per frame to form one screen in 4 frames). ,appear. That is, the progressive scan shift register 206 generates a read pulse to be applied to a first region of a part of the storage unit 202. Then, the progressive scan shift register 206 generates a read pulse so that the first area moves for each frame, and the first area scans the entire area of the storage unit 202 over a plurality of frames. .
  • the interlaced scanning shift register 205 generates a pulse for obtaining one screen of a low resolution image of interlaced line reading every frame.
  • the interlaced scanning shift register 205 generates a read pulse to be applied to the skipped rows in the second area including the entire area other than the first area.
  • the interlaced scanning shift register 205 generates a read pulse so that the position of the interlaced line moves for each frame.
  • the interlaced scan shift register 205 indicates that the position of this skipped row is A read pulse is generated to scan the entire second region.
  • a select transistor group 209 a horizontal shift register 210, and an output amplifier 211 are provided. Based on the order selected by the horizontal shift register 210 via the signal output line sig-out, the signal charge accumulated in each accumulation unit pixel 221 of the accumulation unit 202 is selected by the select transistor group 209 and the output amplifier 211. And output to the outside.
  • the timing generation circuit 212 includes a read shift register 203, a reset shift register 204, an interlaced scan shift register 205, a progressive scan shift register 206, a selector 207, a read shift register 208, and a horizontal shift register 210. , And a pulse is supplied to the reset pulse supply line rst-s.
  • the timing generation circuit 212 may be divided and mounted on a separate chip from the image sensor.
  • a transfer unit is configured by the signal line p2str, the read shift register 203, the read pulse supply line rd-p, the read shift register 208, and the transfer pulse supply line trn.
  • the signal output line sig-out, the interlaced scanning shift register 205, the progressive scan shift register 206, the selector 207, and the readout pulse supply line rd-s constitute an output section.
  • FIG. 13 is a diagram illustrating an example of the configuration of the imaging unit pixel 211.
  • the configuration in Fig. 13 is an orthodox three-transistor configuration. That is, the photodiode PD that generates signal charges by light, the gate is connected to the readout pulse supply line rd-p, the readout transistor TR1 for outputting the signal charges to the signal line p2str, the source follower transistor TR2, In addition, the gate is connected to the reset pulse supply line rst-p, and a reset transistor TR3 for resetting the accumulated signal charge is provided.
  • FIG. 14 is a diagram showing an example of the configuration of the storage unit pixel 221.
  • the configuration in Fig. 14 consists of four transistors and one capacitor. That is, the transistor TR4 whose gate is connected to the transfer pulse supply line trn, the signal line p2str, and the storage capacitor C-str for storing the signal charge transferred from the imaging unit pixel 211 through the transistor TR4, and the gate supplies the read pulse Transistor TR5 connected to the line rd—s and used to read out the signal charge stored in the storage capacitor C—str to the signal output line sig—out, and the gate is a reset pulse It is connected to the supply line rst—s and includes a transistor TR6 and a source follower transistor TR7 for resetting the storage capacitor C—str to GND level.
  • FIG. 15 is a diagram illustrating an example of the configuration of the interlaced scanning shift register 205.
  • the interlaced scanning shift register 205 is also configured with an interlace line designation register 251, a line group scanning shift register 252, and a D latch 253. Details of the operation will be described later.
  • FIG. 16 is an operation sequence diagram for explaining an outline of a series of operations of imaging, transfer and reading in the pixel density mixed image sensor shown in FIGS. 12 to 15.
  • Figure 16 shows the schematic operation for four consecutive frame periods (however, the third frame is omitted for the sake of illustration).
  • the signal charge on the line PDR1 is transferred to the pixel of the corresponding line STR1 in the storage unit 202 in the subsequent transfer period T11. It is transferred in a batch of lines.
  • the transferred signal charge is stored in the storage capacitor C-str in the storage unit pixel 221 corresponding to the horizontal position.
  • the signal charges on the line PDR2 are transferred to the corresponding line STR2 pixels of the storage unit 202 in a lump.
  • the transferred signal charge is stored in the storage capacitor C-str in the storage unit pixel 221 corresponding to the horizontal position.
  • Such read-out 'transfer operation power is executed sequentially for 16 lines PDR1 to PDR16 in the high-speed V transfer period Tp2str.
  • the signal charge photoelectrically converted by the photodiode PD in each imaging unit pixel 211 during the exposure time is transferred from the imaging unit 201 to the storage unit 202 and stored in the high-speed V transfer period Tp2str.
  • the signal charge stored in the storage unit 202 in the first frame is read out to the outside in the horizontal readout period of the next second frame.
  • progressive reading is performed for four lines STR5 to STR8, and interlaced reading is performed for four lines STR2, STR6, STRIO, and STR14.
  • Other lines are not read.
  • the storage unit reset period all the storage unit pixels 2 of the storage unit 202 are applied by applying a reset pulse to the reset pulse supply line rst-s.
  • the storage capacity C-str in 21 is reset to GND level all at once.
  • the storage capacitor C-str in all storage unit pixels 221 of the storage unit 202 is simultaneously reset to the GND level by applying a reset pulse to the reset pulse supply line rst-s. Is done.
  • progressive reading is performed continuously for four lines, and interlaced reading is performed for every four lines.
  • the number of lines to be read is not limited to this.
  • progressive reading may be performed continuously for n lines, and interlaced reading may be performed every m lines.
  • duplicate reading is performed for the line STR6, but it is not always necessary to duplicate.
  • FIG. 17 is a timing chart showing the operation in the high-speed V transfer period Tp2str.
  • a read pulse is supplied to the read pulse supply line rd-p. This readout pulse is applied to the gate of the transistor TR1 in the imaging unit pixel 211 in FIG. 13, and the signal potential corresponding to the signal charge of the photodiode PD is output to the signal line P 2str via the source follower transistor TR2. .
  • a transfer pulse is supplied to the transfer pulse supply line trn on the line STR1
  • this transfer pulse is applied to the gate of the transistor TR4 in the storage unit pixel 221 in FIG. 14, and is stored from the signal line p2str through the transistor TR4.
  • the signal charge is transferred to the capacitor C str.
  • the reset pulse is supplied to the reset pulse supply line rst-p. This reset pulse is applied to the gate of the transistor TR3 in the imaging unit pixel 211 in FIG. 13, thereby resetting the photodiode PD.
  • the signal charges of the imaging unit pixels 211 in the lines PDR1 to PDR16 of the imaging unit 201 are stored in the storage unit images of the corresponding lines STR1 to STR16 of the storage unit 202. All are transferred to the element 221.
  • FIG. 18 is a timing chart showing operations in the horizontal readout period and the storage unit reset period.
  • a clock CK is supplied from the timing generation circuit 212.
  • the shift clock CK-H force extracted from the clock CK by the selection signal sel-HZL is applied to the progressive scan shift register 206.
  • the progressive scan shift register 206 receives the shift clock CK—H and the shift data Data—H (not shown) supplied from the timing generation circuit 212, and reads a read pulse toward the lines STR1 to STR4. Is output.
  • the progressive scan shift register 206 outputs a reading pulse toward the lines STR5 to STR8.
  • the interlaced scanning shift register 205 includes an interlaced line designation register 251 for determining interlaced lines in the frame, and a line group for scanning a plurality of lines in the same phase. And a scan shift register 252.
  • the interlaced line designation register 251 receives the clock CK—L1 and interlaced line selection data Data—L1 supplied from the timing generation circuit 212, and outputs the interlaced scan line in the corresponding frame from the outputs L1 to L16. Set the corresponding item to "H". LI, L5, L9, L13 force, and so on in the first frame.
  • the line group scanning shift register 252 is supplied with the data shift clock CK-L2 and data Data-L2 supplied from the timing generation circuit 212.
  • data Data—L2 has four cycles of data latch clock CK—L3 as one cycle, and one cycle period (4 pulses of data shift clock CK—L2) is “H”, then 3 It is assumed that “L” data is given during the cycle period.
  • the outputs LT1 to LT16 of each D latch 253 are as shown in FIG.
  • Each AND gate 254 outputs a logical product signal of the outputs L1 to L16 of the interlaced line designation register 251 and the outputs LT1 to LT16 of each D latch 253, respectively. Output signal power of each AND gate 254 becomes a readout pulse.
  • FIG. 19 is a timing chart showing the output of the selector 207.
  • the selector 207 selects the output of the progressive scanning shift register 206 when the selection signal sel—HZL is “H”, and selects the output of the interlaced scanning shift register 205 when the selection signal sel—HZL is “H”. This As a result of the series of operations shown in FIG. 18, outputs as shown in FIG. 19 are obtained for the lines STR1 to STR16.
  • the data Data—L2 the data shift clock CK L2 and the data latch clock CK L3 which are outputs of the timing generation circuit 212 are changed. Good.
  • the “H” period in the selection signal se 1-HZL which is also the output of the timing generation circuit 212 may be changed.
  • the number of interlaced lines and the number of continuous lines of progressive scanning are not uniquely determined by the circuit configuration.
  • the operation mode can be freely set, and driving with a high degree of freedom is possible. It has been.
  • reading of one line in the horizontal reading period is performed as follows.
  • the horizontal shift register 210 receives the selection signal HSEL of one horizontal period and the horizontal transfer clock Hck supplied from the timing generation circuit 212, and in response to this, pulses the transistors C1 to C16 in the select transistor group 209. Supply one after another.
  • the signal charge power stored in the storage capacitor C-str of the storage unit pixel 222 from the line selected by the output of the selector 207 among the lines STR1 to STR16 is sequentially output via the output amplifier 211.
  • the data is transferred to a circuit (not shown here), and the reading is completed.
  • the pixel values progressively read out from the mixed pixel density imaging unit 102 are temporarily stored in the high image degree window memory 105 as a high resolution image HWF (t). Further, the pixel values read out from the interlaced pixel density imaging unit 102 are skipped to 1 Z4 in the H direction by the thinning circuit 115 and then temporarily stored in the low resolution frame memory 103 as one frame screen. In the examples of FIGS. 10 and 11, this thinning is realized by an operation in which only the pixel values of the pixel numbers (2, 6, 10, 14) in the H direction are allowed to pass through and others are discarded.
  • the low resolution conversion unit 106 performs image processing such as sampling processing on the high resolution image HWF (t) and stores it in the corresponding position in the low resolution frame memory 103.
  • image processing such as sampling processing on the high resolution image HWF (t) and stores it in the corresponding position in the low resolution frame memory 103.
  • the low-resolution image LF (t) accumulated in the low-resolution frame memory 103 and thinned to 1/4 X 1/4 is recorded by the low-resolution moving image data recording unit 104 sequentially for each frame. It is recorded. At this time, it is optional to apply an existing moving image data compression method.
  • the luminance component of the high-resolution image HWF (t) accumulated in the high-resolution window memory 105 is input to the texture conversion unit 107, and texture features of the luminance image are obtained by multi-resolution conversion such as wavelet conversion. Is converted to On the other hand, the luminance component of the low-resolution image output from the low-resolution conversion unit 106 is input to the image size correction / texture conversion unit 112.
  • the image size correction / texture conversion unit 112 temporarily converts the low-resolution image to the same number of pixels as the high-resolution image, and then performs multi-resolution conversion such as wavelet conversion to convert it to a texture feature value of the luminance image. To do.
  • image size correction methods such as force nonlinear interpolation and bicubic interpolation can be used.
  • the image size correction method used here is used as a pre-processing in the case of increasing the resolution from a low resolution image later when displaying high resolution moving image data.
  • FIG. 20 is a diagram conceptually showing the texture conversion process.
  • 2001 is a high-resolution image in the window area, and a square window area is assumed here.
  • 2002 is a wavelet coefficient image composed of a plurality of layers obtained by wavelet transform of the high-resolution image 2001.
  • 2003 is a low-resolution image
  • 2004 is an image in which the number of pixels is matched with the high-resolution image 2001 by pixel size correction
  • 2005 is a wavelet coefficient image obtained from the image 2004. If image 2001 is called a sharpened image and image 2004 is called a blurred image, 2006 and 2007 are texture features with 16-dimensional components at pixel positions PP in sharpened image 2001 and blurred image 2004, respectively. .
  • the relationship between the texture feature values 2006 and 2007 is learned, and a conversion rule from the low-resolution texture feature value 2007 to the high-resolution texture feature value 2006 is obtained as a high-resolution parameter.
  • the low resolution image 2003 is input, the pixel size correction is performed to obtain the blurred image 2004, and the learned high resolution parameter is applied to obtain the high resolution image 2001.
  • the ideal resolution is achieved.
  • unlearned images are often the target. However, it does not restore to an ideal high-resolution image.
  • the resolution enhancement parameters are learned together with a part of the window area of the subject at the time of imaging, so that there are several steps compared to the method of obtaining the resolution enhancement parameters by learning similar subjects in advance. High resolution with high performance can be realized.
  • the texture learning unit 108 learns the relationship between the texture feature quantities output from the texture conversion unit 107 and the image size correction 'texture conversion unit 112, and creates an analysis codebook and a reproduction codebook to increase the resolution. Generate parameters. This method will be described with reference to FIG.
  • both the blurred image and the sharp image are composed of 100 pixels.
  • the blurred image and the sharp image are converted into multi-resolution vectors U1 to U100 and V1 to V100 for each pixel position. Since there is a relationship that the pixel positions are the same between the vectors U1 to U100 and the vectors V1 to V100, the codebook may be created so that the corresponding V is output when U is input. In practice, however, each multi-resolution vector is classified into a representative vector by means of beta quantization.
  • the vector U is quantized into two types 2101 and 2102
  • the vector V is quantized into two types 2103 and 2104.
  • the quantization index of the analysis codebook and the reproduction codebook means the number assigned to the quantized vector set. And drawing a codebook is nothing but obtaining a number such as 1, 2 which is the number of a set of quantized vectors when the vector number V is input.
  • the quantization set 2103 is associated with the representative vector Z1, and the quantization set 2104 is associated with the representative vector Z2.
  • These representative vectors are calculated by a method such as taking an average value or a representative value of vectors belonging to the quantization set.
  • the code book described here is calculated for each frame as a function of time t, and becomes the resolution enhancement parameter P (t).
  • an analysis codebook IG that outputs a quantization index (1 or 2) from a vector number and a reproduction codebook IF that inputs a quantization index (1 or 2) and outputs a reproduction vector are generated. Is done. Analysis codebook and playback codebook generated in this way By using these in combination, the multi-resolution vector of the blurred image can be converted into the multi-resolution vector of the sharp image.
  • the analysis code book and the reproduction code book obtained as described above are stored as the high resolution parameter DP by the high resolution parameter recording unit 109.
  • FIG. 22 is a diagram showing a configuration of the image display unit according to the present embodiment.
  • the configuration of FIG. 22 has a function of displaying high-resolution video data captured by an image processing device such as the video movie camera of FIG. 8, and can be realized as a display unit attached to the video movie camera, for example. It is installed on other portable display terminals and large TVs in the home.
  • the image display unit 30 in FIG. 22 includes a moving image input unit 301, an image size correction / texture conversion unit 302, a texture replacement unit 303, a texture reverse conversion unit 304, a resolution enhancement parameter input unit 305, an overall control unit 306, and A display 307 is provided.
  • the image size correction / texture conversion unit 3 02, the texture replacement unit 303, and the texture reverse conversion unit 304 constitute a high resolution unit 3 10.
  • the low-resolution moving image data DLF and the high-resolution parameter DP recorded by the image processing apparatus 10 in FIG. 8 are input to the image display unit 30 via a network or various media.
  • the overall control unit 306 sends a command to the moving image data input unit 301.
  • the moving image data input unit 301 decompresses and reads out the compressed low resolution moving image data DLF, for example.
  • a luminance color difference signal of YCrCb is generated.
  • the image size correction / texture converter 303 then changes the image size vertically and horizontally.
  • the image is blurred to obtain a blurred image, and then texture conversion is performed independently for the luminance component Y of the color signal and the color difference CrCb. This operation is the same as that of the image size correction 'texture conversion unit 112 in FIG.
  • the overall control unit 306 sends a command to the high resolution parameter input unit 305.
  • the high resolution parameter input unit 305 reads the high resolution parameter DP and reads the texture replacement unit 303.
  • the texture replacement unit 303 uses a combination of the analysis codebook described in the resolution enhancement parameter and the playback codebook to sharpen the multi-resolution vector (texture feature amount) representing the texture of the blurred image. Convert to a multi-resolution vector that represents the texture of the image.
  • the texture reverse conversion unit 304 converts the sharp image texture feature value into a high-resolution luminance image.
  • the high-resolution luminance Y image and the original color difference CrCb image are input to the display 303, and the high-resolution image is displayed as moving image data.
  • color moving image data is handled separately as a luminance 'chrominance component called YCrCb, and each composition is independently increased in resolution.
  • YCrCb luminance 'chrominance component
  • the present invention is not limited to this.
  • Color video data is handled with RGB components, and all components have high resolution independently, or only have luminance components. May be.
  • high-resolution moving image data can be generated and displayed from low-resolution recorded moving image data. Therefore, the amount of stored information can be reduced at the time of camera shooting, and power consumption is high.
  • an ultra-high-speed image sensor for resolution moving image data becomes unnecessary. This makes it possible to apply to ultra-compact video cameras with limited power consumption. As a result, it has a great advantage that it can cope with processing such as moving image data shot by an ultra-small video camera to be enlarged and displayed on a large screen display or to further enlarge a portion to be viewed.
  • the imaging device when acquiring moving image data with mixed pixel densities, information on the high-resolution image portion is acquired for the entire frame, or the image quality of the low-resolution image portion is improved. Therefore, for example, it is effective for image processing for learning resolution conversion rules using a high-resolution image and increasing the resolution of moving image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　蓄積部（２０２）の一部の第１の領域について、プログレッシブ走査用シフトレジスタ（２０６）によって生成された読み出しパルスを用いて、全ての行の蓄積単位画素（２２１）から信号を読み出すプログレッシブ読み出しを行う。一方、第１の領域以外の全領域を含む第２の領域については、飛び越し走査用シフトレジスタ（２０５）によって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素（２２１）から信号を読み出す飛び越しライン読み出しを行う。プログレッシブ走査用シフトレジスタ（２０６）は、第１の領域が、フレーム毎に移動し、かつ、複数のフレームにわたって蓄積部（２０２）の領域全体を走査するよう、読み出しパルスを生成する。

Description

明 細 書
撮像素子
技術分野
[0001] 本発明は、撮像素子に関し、特に、一画面中に画素密度が混在している動画デー タを取得するために用いる撮像素子に関するものである。
背景技術
[0002] 従来から、一画面中に画素密度が混在している動画データを取得するための構成 として、次のようなものが提案されている。
[0003] 特許文献 1では、同一フレームから、間引き走査による全体画像情報と、全画素走 查による高解像度部分画像情報とを同時に得られるようにした画像入力装置が、開 示されている。すなわち、走査制御手段が、画素アレイの連続する所定領域の画素 群のみを全画素走査するとともに、画素アレイの残りの領域の画素群については間 引き走査を行っている。
[0004] 特許文献 2では、低解像度の全体映像と高解像度の部分映像とを、同時にかつ高 速に取得可能な映像入力装置が、開示されている。すなわち、低解像度の全体映像 データを出力する低解像度全体映像走査部と、高解像度の部分映像データを出力 する高解像度部分映像走査部とを備え、これらを予め定めたフレーム周期内で切り 替えて、低解像度全体映像データと高解像度部分映像データとを順次出力させる。 また、低解像度全体映像データに基づいて、次フレームにおける高解像度部分映像 の切り出し位置を自動的に決定する。
特許文献 1 :特開 2000— 32318号公報
特許文献 2 :特開 2004— 180240号公報
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、従来の技術には、次のような問題があった。
[0006] 特許文献 1に開示された技術によると、一画面内に、全画素走査領域と間引き走査 領域とが含まれている。ところがこの全画素走査領域は、予め設定された所定の位置 に固定されている。このため、例えば、全画素走査領域の位置をフレーム毎に変更 することによって、高解像度部分画像情報をフレーム全体について取得する、といつ た処理は実現できず、また、このような処理について想定もされていない。
[0007] また、間引き走査についても、走査を行う位置は予め所定の位置に設定されている 。このため、間引き走査によって得られる全体画像情報は、各フレームにおいて、全 て同一の走査位置の画像データ力も形成されることになり、したがって、画質が低下 する可能性がある。
[0008] 特許文献 2では、各フレームにおける高解像度部分映像の切り出し位置は、固定さ れておらず、前フレームにおける低解像度全体映像データに基づいて、自動的に決 定されている。すなわち、高解像度部分映像の位置はフレーム毎に変化する。しかし ながら、例えば、高解像度部分映像をフレーム全体について取得するために、意図 的に、高解像度部分映像の位置を移動させる、といった処理は実現できず、また、こ のような処理にっ 、て想定もされて ヽな 、。
[0009] また、低解像度全体映像データにつ!、て、走査を行う位置は予め所定の位置に設 定されている。このため、低解像度全体映像データは、各フレームにおいて、全て同 一の走査位置の画像データ力 形成されることになり、したがって、画質が低下する 可能性がある。
[0010] 前記の問題に鑑み、本発明は、一画面中に画素密度が混在している動画データを 取得するための撮像素子として、高解像度画像部分の情報をフレーム全体について 取得可能にすることを課題とする。
[0011] また、本発明は、一画面中に画素密度が混在している動画データを取得するため の撮像素子として、低解像度画像部分について、画質を向上させることを課題とする 課題を解決するための手段
[0012] 本発明では、蓄積単位画素が 2次元配置された蓄積部における一部の第 1の領域 については、プログレッシブ走査用シフトレジスタによって生成された読み出しパルス を用いて、全ての行の蓄積単位画素力 信号を読み出すプログレッシブ読み出しを 行う。その一方で、第 1の領域以外の全領域を含む第 2の領域については、飛び越し 走査用シフトレジスタによって生成された読み出しパルスを用 、て、飛び飛びの行の 蓄積単位画素から信号を読み出す飛び越しライン読み出しを行う。この結果、第 1の 領域については、高解像度画像が得られるとともに、第 2の領域については、それよ りも解像度が低 ヽ低解像度画像が得られる。
[0013] そして、プログレッシブ走査用シフトレジスタは、第 1の領域がフレーム毎に移動し、 かつ、複数のフレームにわたって、第 1の領域が蓄積部の領域全体を走査するよう、 読み出しパルスを生成する。このため、高解像度画像が得られる第 1の領域は、フレ ーム毎に、複数のフレームにわたってフレーム全体を占めるように、移動することにな る。したがって、高解像度画像部分の情報を、フレーム全体について取得することが 可會 になる。
[0014] あるいは、飛び越し走査用シフトレジスタは、飛び飛びの行の位置がフレーム毎に 移動するよう、読み出しパルスを生成する。このため、低解像度画像が得られる第 2 の領域において、画像読み出しが行われる行が、フレーム毎に移動することになる。 したがって、いわゆるインターレース読み出しが実現されることになり、低解像度画像 部分の画質が向上する。
発明の効果
[0015] 本発明によると、高解像度画像が得られる第 1の領域は、フレーム毎に、複数のフ レームにわたってフレーム全体を占めるように、移動するので、高解像度画像部分の 情報を、フレーム全体について取得することが可能になる。また、低解像度画像が得 られる第 2の領域において、画像読み出しが行われる行力 フレーム毎に移動するの で、いわゆるインターレース読み出しが実現されることになり、低解像度画像部分の 画質が向上する。
図面の簡単な説明
[0016] [図 1]図 1は、参考例に係る画像処理方法における録画プロセスを示すフローチヤ一 トである。
[図 2]図 2は、参考例に係る画像処理方法における高解像度化プロセスを示すフロー チャートである。
[図 3]図 3は、参考例における録画プロセスおよび高解像度化プロセスの例を示す概 念図である。
[図 4]図 4は、図 1のステップ S13の処理の一例を示すフローチャートである。
[図 5]図 5は、図 2のステップ S23の処理の一例を示すフローチャートである。
[図 6]図 6は、図 4のステップ S 132におけるテクスチャ特徴量への変換手法の一例を 示す図である。
[図 7]図 7は、変換後のテクスチャ特徴量を示す図である。
[図 8]図 8は、本発明の第 1の実施形態に係る画像処理装置の構成例を示す図であ る。
[図 9]図 9は、図 8における画素密度混在撮像部の構成例を示す概念図である。
[図 10]図 10は、画素密度混在撮像素子による画素読み出し方法の一例を示す図で ある。
[図 11]図 11は、画素密度混在撮像素子による画素読み出し方法の一例を示す図で ある。
[図 11A]図 11Aは、時空間均等読み出しを示す概念図である。
[図 11B]図 11Bは、時空間における均等性を考慮した読み出しパターンを示す図で ある。
[図 12]図 12は、本発明の第 1の実施形態に係る撮像素子の回路構成の例を示す図 である。
[図 13]図 13は、図 12の撮像素子における撮像単位画素の回路構成例を示す図で ある。
[図 14]図 14は、図 12の撮像素子における蓄積単位画素の回路構成例を示す図で ある。
[図 15]図 15は、図 12の撮像素子における飛び越し走査用シフトレジスタの回路構成 例を示す図である。
[図 16]図 16は、図 12〜図 15に示す撮影素子の撮像、転送および読み出しの一連 の動作概要を説明する動作シーケンス図である。
[図 17]図 17は、図 16の高速 V転送期間における動作を示すタイミングチャートである [図 18]図 18は、図 16の水平読み出し期間の動作を示すタイミングチャートである。
[図 19]図 19は、図 12のセレクタの出力を示すタイミングチャートである。
[図 20]図 20は、本発明の第 1の実施形態におけるテクスチャ変換処理を概念的に示 す図である。
[図 21]図 21は、分析コードブックおよび再生コードブックの作成手法を示す図である
[図 22]図 22は、本発明の第 1の実施形態に係る画像表示部の構成を示す図である。 符号の説明
[0017] 201 撮像部
202 蓄積部
203 読み出し用シフトレジスタ
205 飛び越し走査用シフトレジスタ
206 プログレッシブ走査用シフトレジスタ
207 セレクタ
208 読み込み用シフトレジスタ
211 撮像単位画素
221 蓄積単位画素
p2str
rd-p 読み出しパルス供給線
trn 転送パルス供給線
sig— out 出力線
rd- s 読み出しパルス供給線
発明を実施するための最良の形態
[0018] 本発明の第 1態様では、入射光の光電変換を行う撮像単位画素が 2次元配置され た撮像部と、前記撮像単位画素にそれぞれ対応して蓄積単位画素が 2次元配置さ れた蓄積部と、前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素 に信号として転送する転送部と、前記各蓄積単位画素から、信号を読み出す出力部 とを備え、前記出力部は、前記蓄積部の一部の第 1の領域に与える読み出しパルス を生成するプログレッシブ走査用シフトレジスタと、前記第 1の領域以外の全領域を 含む第 2の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越 し走査用シフトレジスタとを備え、前記第 1の領域については、前記プログレッシブ走 查用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単 位画素から信号を読み出すプログレッシブ読み出しを行う一方、前記第 2の領域に ついては、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを 用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出し を行うことが可能なように、構成されており、前記プログレッシブ走査用シフトレジスタ は、前記第 1の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、前記 第 1の領域が前記蓄積部の領域全体を走査するよう、前記読み出しパルスを生成す る撮像素子を提供する。
[0019] 本発明の第 2態様では、入射光の光電変換を行う撮像単位画素が 2次元配置され た撮像部と、前記撮像単位画素にそれぞれ対応して蓄積単位画素が 2次元配置さ れた蓄積部と、前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素 に信号として転送する転送部と、前記各蓄積単位画素から、信号を読み出す出力部 とを備え、前記出力部は、前記蓄積部の一部の第 1の領域に与える読み出しパルス を生成するプログレッシブ走査用シフトレジスタと、前記第 1の領域以外の全領域を 含む第 2の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越 し走査用シフトレジスタとを備え、前記第 1の領域については、前記プログレッシブ走 查用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単 位画素から信号を読み出すプログレッシブ読み出しを行う一方、前記第 2の領域に ついては、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを 用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出し を行うことが可能なように、構成されており、前記飛び越し走査用シフトレジスタは、前 記飛び飛びの行の位置がフレーム毎に移動するよう、前記読み出しパルスを生成す る撮像素子を提供する。
[0020] 本発明の第 3態様では、前記飛び越し走査用シフトレジスタは、複数のフレームに わたって、前記飛び飛びの行の位置が前記第 2の領域全体を走査するよう、前記読 み出しパルスを生成する前記第 2態様の撮像素子を提供する。
[0021] まず、本発明の撮像素子が用いられる参考例となる画像処理方法について、説明 する。
[0022] (参考例）
図 1および図 2は本発明の参考例に係る画像処理方法を示すフローチャートである 。図 1はシーンを撮影する場合の録画プロセスを示し、図 2は録画した動画データを 再生、表示する場合の高解像度化プロセスを示す。図 1および図 2のプロセスは、一 般には、ビデオ撮影時と、撮影したビデオをディスプレイで観る再生表示時とにそれ ぞれ対応する。
[0023] 図 1の録画プロセスでは、まず時刻 tにおける低解像度画像 LF (t)を取得して記録 する（Sl l)。またこれとともに、画像フレームの一部を占めるウィンドウ領域において 、高解像度画像 HWF (t)を取得する（S12)。この高解像度画像 HWF (t)は以降の 処理に用いるだけなので、動画データとして記録する必要は必ずしもない。そして、 この解像度が異なる画像 LF (t) , HWF (t)から、解像度変換ルールとしての高解像 度化パラメータ P (t)を学習し記録する（S13)。次に、ウィンドウ領域の設定位置を他 の位置へ移動する（S 14)。そして、録画が続行されていれば次の時刻 t+ 1での処 理に進み（S16)、録画が完了すれば、プロセスを終了する（S15)。
[0024] ステップ S13では、低解像度画像 LF (t)と高解像度画像 HWF (t)とにっ 、てそれ ぞれテクスチャ特徴量を求め、このテクスチャ特徴量同士の対応関係をパラメータ化 する。このパラメータ P (t)のことを、本願明細書において、高解像度化パラメータと呼 ぶ。その実体は、低解像度テクスチャ TFLを入力して高解像度テクスチャ TFHを出 力する関数またはテーブル
TFH= Function (TFL, t) …（式 1)
に他ならな ヽ。この高解像度化パラメータを解像度変換ルールとして用いる。
[0025] 図 2の高解像度化プロセスにおいて、録画プロセスで記録された低解像度の動画 データ LF (t)および録画プロセスで学習された高解像度化パラメータ P (t)を取得す る（S21)。そして、動画データの 1フレームを取得し（S22)、当該フレームについて 高解像度化パラメータを用いて高解像度化を行う（S23)。全フレームについて完了 したときはプロセスを終了し（S24)、そうでないときは、次のフレームの処理に進む（S 25)。
[0026] ここで、ステップ S23では、当該フレームにおいて学習した高解像度化パラメータだ けでなぐその前後の少なくとも 1つのフレームにおいて学習した高解像度化パラメ一 タも併せて用いて、高解像度化を行うのが好ましい。この理由は、当該フレームでは 、画像の一部であるウィンドウ領域のみにおいて高解像度化パラメータを学習してい るに過ぎず、画像全体の高解像度化には必ずしも十分ではないためである。例えば 、当該フレームの時刻 tに対して時間 Tだけの前後期間を含む期間の高解像度化パ ラメータ P (t' )を適用すればよい。すなわち、
t-T≤t'≤t+T …（式 2)
[0027] 図 3は本参考例における録画プロセスおよび高解像度化プロセスの例を概念的に 示す図である。図 3では、低解像度動画データ LF (t)の各フレームは 8 X 8画素の画 像からなり、画像全体を 4分割した 1個の領域をウィンドウ領域 WD1〜WD4として ヽ る。ウィンドウ領域 WD1〜WD4の設定位置はフレーム毎に変化しており、ここでは 副走査方向（縦方向）に順に、上から下へ、そして下端から上端に戻るように移動し ている。もちろん、ウィンドウ領域の形状や移動方法はこれに限定されるものではな いが、説明の便宜上、簡単な例を挙げている。
[0028] そして、ウィンドウ領域 WD1〜WD4内では、ウィンドウ領域外の領域よりも高解像 度で撮像を行い、高解像度画像 HWF (t)を得る。ここでは、ウィンドウ領域内では、 他領域に対して縦横 2 X 2倍の画素密度によって撮像を行うものとする。なお、後述 するように、ウィンドウ領域内は高解像で撮像し、ウィンドウ領域外は低解像度で撮像 した、一画面中で画素密度が混在している動画データを取得するようにしても力まわ ない。このような動画データを、本願明細書では、画素密度混在動画データと呼ぶ。
[0029] 画素密度混在動画データを取得した場合、ウィンドウ領域外では低解像度画像が 記録されるが、ウィンドウ領域内では高解像度画像しか記録されない。ただし、ウィン ドウ領域における低解像度画像は再度取得する必要はなぐ高解像度画像に対して 間引きまたは平均化などの画像フィルタ処理を行うことによって生成できる。なお、こ のモデルィ匕は、光学系や撮像素子の開口形状を考慮することによって現実に近い形 に高精度化することができる。例えば、高解像度画像に対して PSF(Point Spread Fu nction)をガウス型関数との畳み込み演算として実施し、次にこれを 2次元的に一定の 幅を持つ撮像素子領域の範囲で積分する手法などが考えられる。
[0030] V、ま、時刻 tに着目すると、画像を縦方向に 4分割した各部分領域 AR1〜AR4に ついて、上から順に、時刻 t—2のウィンドウ領域 WD1、時刻 t 1のウィンドウ領域 W D2、時刻 tのウィンドウ領域 WD3および時刻 t 3のウィンドウ領域 WD4力 それぞ れ対応している。すなわち、時刻 tでは、各部分領域 AR1〜AR4に対応する高解像 度化パラメータ力 すでに、時刻 t—2, t- 1, t, t— 3において学習済になっている。 動画データのフレームレートを lZ30(sec)とすると、時刻 t— 3から時刻 tまでの時間 経過は約 lZlO(sec)程度に過ぎず、よほど瞬間的な画面変化が発生しない限り、各 フレームにおいてほぼ同様の特徴量情報が取得される。このため、時刻 t— 3から時 刻 tまでの高解像度化パラメータを適用することは有効である。
[0031] また、時刻 tにおける低解像度画像の領域は、時刻 tに加えて、
•時刻 (t- 1)または時刻 (t+ 3)
•時刻 (t- 2)または時刻 (t+ 2)
•時刻 (t- 3)または時刻 (t+ 1)
において、必ず高解像度にて取得されているという性質がある。このため、前後 3フレ 一ムの高解像度化パラメータを適用することによって、その時間内に大きなシーン変 化が無い限り、高解像度化は有効であるといえる。これは、上の（式 1)において T= 3 とすることに相当する。
[0032] 図 3に示すように、各時刻において、高解像度化パラメータ P (t 3) , P (t- 2) ,… が与えられたとする。高解像度化プロセスでは、低解像度動画データの各フレームに ついて、各部分領域に対して、その位置にウィンドウ領域が対応しており、かつ、時 刻ずれが少ないフレームにおける高解像度化パラメータを適用して、高解像度化を 行えばよい。例えば、時刻 tにおける画像 LF (t)の場合には、画像の上部から順に、 部分領域 AR1に対しては高解像度化パラメータ P (t- 2)を、部分領域 AR2に対し ては高解像度化パラメータ P (t- 1)を、部分領域 AR3に対しては高解像度化パラメ ータ P (t)を、そして部分領域 AR4に対しては高解像度化パラメータ P (t+ 1)を、そ れぞれ適用すればよい。なお、例えば部分領域 AR1に対しては、高解像度化パラメ ータ P (t+ 2)を適用してもよいし、部分領域 AR2に対しては、高解像度化パラメータ P (t + 3)を適用しても力まわな!、。
[0033] なお、図 3では 4分割の例を示した力 画像全体を n (nは 2以上の整数)分割した 1 個の領域をウィンドウ領域とし、 n個のフレームにわたって画像全体を占めるように、 ウィンドウ領域を移動させてもよい。また、これ以外でも、ウィンドウ領域は、フレーム 毎に、複数フレームにわたって画像全体を走査するように、移動させるのが好ましい
[0034] 図 4は図 1におけるステップ S 13の処理の一例を示すフローチャートである。ここで は、画像をテクスチャ特徴量ベクトルに変換する手法の一例として、ウェーブレット変 換による多重解像度解析を用いて、高解像度化パラメータの学習を行うものとする。 まず、低解像度画像 LF (t)と高解像度画像 HWF (t)の画像サイズを合わせるために 、低解像度画像 LF (t)を補間拡大する（S131)。次に、後述する 3段階のスケーリン グによるウェーブレット変換を用いて、 2枚の画像 LF (t) , HWF (t)をウェーブレット 変換する（S 132)。最後に、 2枚の画像 LF (t) , HWF (t)のウェーブレット係数の対 応関係を、画素位置ごとに、蓄積する (S133)。この対応関係が、高解像度化パラメ ータ P (t)となる。
[0035] 図 5は図 2におけるステップ S23の処理の一例を示すフローチャートである。ここで は、ある期間における高解像度化パラメータ P (t' )を適用して、高解像度化を行う。ま ず、低解像度画像 LF (t)を補間拡大して画像サイズを高解像度画像 HWF (t)に合 わせる（S231)。次に、低解像度画像 LF (t)をウェーブレット変換し (S232)、高解像 度化パラメータ P (t' )を用いてウェーブレット係数を置換する（S233)。そして、逆ゥェ 一ブレット変換を行い、高解像度画像に変換する（S234)。ステップ S233において、 図 3で説明したように、画像上の部分領域に対して異なるフレーム時刻の高解像度 ィ匕パラメータを用いてもよい。あるいは、ある期間における高解像度化パラメータを 1 つの集合に量子化し、これを高解像度化パラメータとして適用してもよい。
[0036] 図 6は図 4のステップ S132におけるウェーブレット変換の例を示す図である。図 6に おいて、第 1段 (スケール）では、入力画像 IN力 X、 Y方向のウェーブレット変換によ り、入力画像 INと同一サイズの 4成分画像 H1H1、 H1L1、 L1H1、 L1L1に分解さ れる。第 2段 (スケール)では、分解した 4成分のうち、 X, Y双方向の高周波成分 HI HI以外の成分がさらに分解される。このとき、 L1L1のみが再度 X, Yの双方向に分 解されるのに対して、 H1L1と L1H1は 1方向への分解だけが行われ、計 8個の成分 となる。さらに第 3段 (スケール)では、 H1H2, H2H1, H2H2以外の成分を分解し、 同様に L2L2のみが X, Y双方向へ分解され、他は 1方向への分解が行われ、 12個 の成分に分解される。ここで、スケールの増加によって 2個、 4個に再分解されたもの (点線で図示）は、後の合成によって作成することができる。
[0037] 図 6のようなウェーブレット変換の分解によって、図 7に示すように、入力画像 INは、 各画素が 16次元の成分に分解されたことになる。これら 16成分を束ねたベクトル力 画素位置 PPにおけるテクスチャ特徴量 TF1である。
[0038] 以上のようにして、低解像度画像と高解像度画像とをそれぞれテクスチャ特徴量に 変換し、これら相互の関係を学習して、分析コードブックと再生コードブックを作成す る。なお、この処理については、阿部淑人、菊池久和、佐々木重信、渡辺弘道、斎藤 義明「多重解像度ベクトル量子化を用いた輪郭強調」電子情報通信学会論文誌 Vo 1.J79A 1996/5 (1032— 1040ページ）、などに詳しく説明されており、ここでは詳細 な説明を省略する。この場合、ステップ S13におけるパラメータ化とは、分析コードブ ックおよび再生コードブックを作成することに相当する。ここから、（式 1)によって示し た高解像度化パラメータ P (t)が算出される。
[0039] 本参考例では、撮影時に、画像の一部であるウィンドウ領域のみにぉ 、て高解像 度画像を取得し、テクスチャなどの画像特徴量を用いて高解像度パラメータを生成 する。このような処理にした利点は、以下のとおりである。
[0040] 第 1に、高解像度化パラメータは、別の動画データ力 事前学習によって求めてお くのではなぐ後で実際に高解像度化する動画データの被写体自身に関して学習で きるため、高精度の画像処理が実現できることである。また高解像度化パラメータは 時間の関数であるため、フレーム毎に学習することによって、画面内にいかなる特性 をもつ被写体が出現しても瞬時に最適な高解像度化パラメータを取得でき、表示時 に利用できる。このため、学習によって取得した高解像度化パラメータと実際に高解 像度化を行う動画データとの特性の違いに起因する性能劣化が、原理的に存在しな い。
[0041] 第 2に、高解像度化に利用するのは画像テクスチャなどの特徴量であるため、画面 内の位置と直接的には無関係であり、ウィンドウ領域をいかに移動しても、その影響 を受けることはあまりない、ということである。したがって、ウィンドウを適宜移動して画 像全体をカバーすることにより、画面全域からの情報を十分に利用できる。
[0042] なお、図 1に示す録画プロセスと図 2に示す高解像度化プロセスは、典型的には、 録画プロセス、高解像度化プロセスの順に実施される力 例えば中継放送のように、 カメラ撮影と伝送表示とが同時に実行される場合は、録画プロセスと高解像度化プロ セスを時間的に並行して実施してもかまわな 、。
[0043] また、録画プロセスでは、低解像度動画データのみを記録して、これを高解像度化 プロセスで高解像度化するものとした力 これ以外でも例えば、図 3に示したようない わゆる画素密度混在動画データを、そのまま録画しておき、これを高解像度化プロセ スで高解像度化する、 、う態様にしても力まわな 、。
[0044] 以下、本発明の実施の形態について、図面を参照して、詳細に説明する。
[0045] (第 1の実施形態）
本発明の第 1の実施形態では、上述の参考例をベースとして、具体的な装置構成 を例にとって説明する。ここでは、上述した画素密度混在動画データを撮像可能に 構成された画素密度混在撮像部を備えたビデオムービーカメラを用いて、録画プロ セスを実行するものとする。画素密度混在撮像部は、後述するとおり、 CMOS型撮 像センサ等の XYアドレス型撮像素子を用いて構成される。
[0046] 図 8は本実施形態に係る撮像素子が用いられる画像処理装置であって、ビデオム 一ビーカメラに応用した構成例を示すブロック図である。図 8の画像処理装置 10は、 レンズ 101、画素密度混在撮像部 102、低解像度動画データの 1フレーム LF (t)を 蓄積する低解像度フレームメモリ 103、低解像度動画データ DLFを録画する低解像 度動画記録部 104、 1フレーム内のウィンドウ領域における高解像度画像 HWF (t) を蓄積する高解像度ウィンドウメモリ 105、ウィンドウ領域の高解像度画像 HWF (t) を画像処理によって低解像度に変換する低解像度変換部 106、ウィンドウ領域の高 解像度画像 HWF (t)を用いて高解像度化パラメータ P (t)を学習する高解像度化パ ラメータ学習部 120、高解像度化パラメータ DPを記録する高解像度化パラメータ記 録部 109、全体制御部 110および録画ボタン 111を備えている。高解像度化パラメ ータ学習部 120は、高解像度画像 HWF (t)をテクスチャ特徴量に変換するテクスチ ャ変換部 107、低解像度画像の画素サイズを補正した後、テクスチャに変換する画 像サイズ補正 ·テクスチャ変換部 112、およびテクスチャの対応関係を学習するテクス チヤ学習部 108を備えている。なお、ここでは、画素密度混在撮像部 102はライン単 位の読み出しを行うものとしているので、水平方向の画素間引きを行う間引き回路 11 5が、画素密度混在撮像部 102と低解像度フレームメモリ 103との間に設けられてい る。
[0047] 録画ボタン 111が押されると、全体制御部 110が、画素密度混在撮像部 102およ び低解像度動画記録部 104に録画コマンドを送出する。画素密度混在撮像部 102 は録画コマンドを受けて撮像を実行し、低解像度画像 LF (t)が低解像度フレームメ モリ 103内にフレームごとに蓄積される。そして低解像度動画記録部 104は、低解像 度フレームメモリ 103に蓄積された低解像度画像 LF (t)を時間的に連続して動画デ ータとし、さらに圧縮などの処理を行って、低解像度動画データ DLFとして蓄積メデ ィァゃネットワーク上に記録する。
[0048] 全体制御部 110は、録画コマンドの送出と同時に、テクスチャ学習部 108および高 解像度化パラメータ記録部 109に学習信号を送出する。画素密度混在撮像部 102 が取得したウィンドウ領域における高解像度画像 HWF (t)は、高解像度ウィンドウメ モリ 105〖こ蓄積され、テクスチャ変換部 107を経由してテクスチャ学習部 108に入力 される。高解像度画像 HWF (t)はまた、低解像度変換部 106によって低解像度変換 された後、画像サイズ補正 ·テクスチャ変換部 112を経由してテクスチャ学習部 108 に入力される。テクスチャ学習部 108は、解像度が異なる同一時刻の画像カゝらテクス チヤ同士の対応を関連づけて、解像度変換ルールである高解像度化パラメータ P (t) を学習する。高解像度化パラメータ記録部 109は、これを高解像度化パラメータ DP として蓄積またはネットワーク上に送出する。
[0049] なお、低解像度変換部 106の出力は低解像度フレームメモリ 103にも供給されてい る。これは、画素密度混在撮像部 102は、ウィンドウ領域内は高解像度画像のみを 取得しており、低解像度画像を読み出していないので、低解像度画像 LF (t)におい て欠落したウィンドウ領域の部分を補充するためである。
[0050] 録画ボタン 111の押下が解除されると、上述した動作は停止する。
[0051] 図 8の構成において、画素密度混在撮像部 102から低解像度動画記録部 104まで は例えばノヽードウエアによって構成でき、また、テクスチャ学習部 108および高解像 度化パラメータ記録部 109は、 CPUまたは GPU(Graphic Processing Unit)などを中 心に構成することも可能である。
[0052] 図 9は画素密度混在撮像部 102の構成例を示す概念図である。図 9において、 3板 方式の通常のビデオムービーにおけるカラー画像撮像用の光学系が用いられている 。 3板方式では、ダイクロックプリズム 131によって波長帯域がレッド (R)、グリーン（G )、ブルー (B)に分離される。そして、各カラーバンドにそれぞれ、画素密度混在撮像 素子 132R, 132G, 132Bが割り当てられる。信号処理回路 133はこれら画素密度 混在撮像素子 132R, 132G, 132Bからの出力を処理して、輝度信号 Yと色差信号 Cr, Cbを生成する。このとき、後述する「飛び越しライン読み出し」がなされた低解像 度の信号と、同じく後述する「プログレッシブ読み出し」がなされた高解像度の信号と に分離されて出力される。
[0053] 動画データの記録には、この YCrCb形式が用いられる。一方、テクスチャ学習には 、この YCrCb形式のまま輝度色差信号を全て用いてもよいし、輝度 Y信号のみを用 いてもよい。ただし、高解像度化倍率力 Χ 4を超える場合には、人視覚系の輝度成 分と色成分の周波数応答特性比率から考えると、輝度 Υのみの高解像度化では画 質的に不十分であるため、色差 CrCbの両方を別個に高解像度化する必要がある。 したがって、 4 X 4以上の倍率の場合には、テクスチャ学習にはレッド R、グリーン G、 ブルー Bの 3信号成分を用いてもよい。図 9の構成では、レット、グリーン、ブルー全て に画素密度混在撮像素子 132R, 132G, 132Bを割り当て、かつ、動画データ記録 方式を従来の輝度色差空間に設定しているため、テクスチャ学習には、輝度 Yと 2種 類の色差 Cr, Cb信号を独立に用いるものとする。
[0054] 図 10は画素密度混在撮像素子による読み出し画素位置の一例を示す図である。 図 10において、ノ、ツチが付された画素が読み出し対象画素である。なお、実用的撮 像素子は 2000 X 3000個程度の画素を有する力 ここでは簡単のため、 16 X 16画 素すなわち垂直 (V方向） 16ライン、水平 (H方向） 16ラインの 2次元センサを例として 描いている。（A)〜（D)は時間的に連続する 4個のフレームにそれぞれ対応している
[0055] 図 10から分かるように、 256 ( = 16 X 16)個の画素は、全画素読み出しを行う範囲
(高解像度画像を取得するウィンドウ領域に相当）と、それ以外の飛び越し読み出し を行う範囲とに分離されている。ウィンドウ領域は下力も上に順に移動しており、 (A) から（D)までの 4フレームを 1周期として、ウィンドウ領域の位置は同様の移動を繰り 返す。
[0056] ウィンドウ領域以外の低解像度画像の読み出しは、様々な方法が考えられるが、図 10では、画像全体を均等に 16分割した仮想的なブロックの概略中心を、低解像度 画像の読み出し画素位置として設定している。この方法によって、水平 H、垂直 V方 向それぞれに 1Z4に間引きされた低解像度画像が得られる。図 10では、飛び越し 読み出しを行う垂直ライン番号は、 (A)では（7, 11, 15)、 (B)では（3, 11, 15)、 (
C)では（3, 7, 15)、 (D)では（3, 7, 11)となっている。
[0057] このように、全ラインを読み出すウィンドウ領域は、垂直方向に 4ラインづっ規則的 に移動させ、それ以外の場所では、垂直方向に 3ラインを固定位置で読みだす。この 方法により、同一画素を 2回読み出すことなぐ画素密度混在撮像を行うことができる 。本実施形態では、この読み出し方法を用いるものとする。
[0058] 図 11は画素密度混在撮像素子による読み出し画素位置の他の例を示す図である 。図 11の例では、低解像度画像の読み出し方法が図 10と異なっている。この方式で は、ウィンドウ領域における全ライン読み出しとは独立に、 1Z4に間引きされた低解 像度画像を、フレーム毎に異なる位置で読み出すようにしている。これは、時空間的 なサンプリングを均等化する効果をねらったものであり、一部の画素について読み出 しが重複することも許している。図 11では、飛び越し読み出しを行う垂直ライン番号 ίま、（Α)で ίま（1, 5, 9, 13)、（Β)で ίま（2, 6, 10, 14)、（C)で ίま（3, 7, 11, 15)、 (
D)では (4, 8, 12, 16)となっている。黒く塗りつぶされた画素は、重複読み出しが 行われるものである。この方法では、飛び越し読み出しの画素だけで低解像度動画 データを構成することが可能となる。このため、低解像度画像において欠落したウイ ンドウ領域を補充するための、低解像度変換部 106から低解像度フレームメモリ 103 への画素値の供給処理力 不要になるという利点がある。
[0059] 時空間サンプリングの均等化について説明する。上述の参考例では、高解像度ゥ インドウ領域の学習によって高解像度化が実現できるが、前処理として通常の補間 処理が実施される。動画の場合、この補間処理を時空間（空間 xyと時間 tの）につい て行うと、時間方向の高画質ィ匕に効果的である。時空間を y— t空間とした場合、時空 間で予め走査線の均等読み出しを行った方力 この補間処理が良好になる。この考 えに基づいて、図 11では、フレーム毎に異なる位置での読み出しを行っている。
[0060] これを時空間で表現すると、図 11Aに示すように、各フレーム毎に異なる位相で飛 び越しライン読み出しが実施され、 nフレームで一周するように読み出しが行われる。 図 11Bは nが 4, 5の場合に、実際に時空間における均等性を考慮した読み出しパタ ーンである。本発明は、このように 1周期内で自由に飛び越しラインのパターンを設定 できるような撮像素子を前提にして 、る。
[0061] <本実施形態に係る撮像素子の構造 >
図 12は本実施形態に係る撮像素子としての画素密度混在撮像素子の構造の一例 を示す回路ブロック図である。図 12では、垂直 16ライン、水平 16ラインの 2次元セン サを例として示しており、図 11で示したような読み出し方法を実現するものとする。な お、以降の説明では、画面の一部を高解像度で読み出す処理を「プログレッシブ読 み出し」、画面を低解像度画像で読み出す処理を「飛び越しライン読み出し」というよ うに、ラインを基準とした用語を用いるものとする。
[0062] 撮像素子は概略、入射光の光電変換を行う撮像単位画素 211が 2次元配置 (ァレ ィ配置)された撮像部 201と、撮像単位画素 211にそれぞれ対応して蓄積単位画素 221が 2次元配置されており、入射光に対して遮光部を備えた蓄積部 202とを備えて いる。そして撮像部 201と蓄積部 202とは、撮像部 201から蓄積部 202へ信号電荷 を移動する信号線 p2strによって接続されて 、る。
[0063] 撮像部 201の周辺には、読み出しパルスをライン毎に順次シフトする読み出し用シ フトレジスタ 203、およびリセットパルスをライン毎に順次シフトするリセット用シフトレ ジスタ 204が設けられている。読み出しパルスは読み出しパルス供給線 rd—pを介し て、リセットパルスはリセットパルス供給線 rst—pを介して、撮像部 201の各撮像単位 画素 211に送られる。読み出しパルスを受けた撮像単位画素 211は信号電荷を出力 し、リセットパルスを受けた撮像単位画素 211は信号電荷をリセットする。
[0064] 蓄積部 202の周辺には、「飛び越しライン読み出し」に用いる読み出しパルスを出 力する飛び越し走査用シフトレジスタ 205、「プログレッシブ読み出し」に用いる読み 出しパルスを出力するプログレッシブ走査用シフトレジスタ 206、飛び越し走査用シフ トレジスタ 205およびプログレッシブ走査用シフトレジスタ 206の出力のいずれかを選 択して蓄積部 202に供給するセレクタ 207、および、撮像部 201から蓄積部 202に信 号電荷を転送する際に用いる読み込み用シフトレジスタ 208が設けられて 、る。セレ クタ 207から出力される読み出しパルスは、読み出しパルス供給線 rd—sを介して蓄 積部 202の各蓄積単位画素 221に供給される。また、読み込み用シフトレジスタ 208 カゝら出力された転送パルスは、転送パルス供給線 trnを介して蓄積部 202の各蓄積 単位画素 221に供給される。
[0065] プログレッシブ走査用シフトレジスタ 206は、全ライン読み出しの高解像度画像を毎 フレーム部分的に読み出す (例えば、毎フレーム 1Z4画面ずつ出力し、 4フレームに て 1画面を構成する）ためのパルスを、発生する。すなわち、プログレッシブ走査用シ フトレジスタ 206は、蓄積部 202の一部の第 1の領域に与える読み出しパルスを生成 する。そして、プログレッシブ走査用シフトレジスタ 206は、第 1の領域がフレーム毎に 移動し、かつ、複数のフレームにわたって、この第 1の領域が蓄積部 202の領域全体 を走査するよう、読み出しパルスを生成する。
[0066] 一方、飛び越し走査用シフトレジスタ 205は、飛び越しライン読み出しの低解像度 画像を毎フレーム 1画面得るためのパルスを、発生する。すなわち、飛び越し走査用 シフトレジスタ 205は、第 1の領域以外の全領域を含む第 2の領域における、飛び飛 びの行に与える読み出しパルスを生成する。そして、飛び越し走査用シフトレジスタ 2 05は、この飛び飛びの行の位置がフレーム毎に移動するよう、読み出しパルスを生 成する。さらに、飛び越し走査用シフトレジスタ 205は、この飛び飛びの行の位置が 第 2の領域全体を走査するよう、読み出しパルスを生成する。飛び越し走査用シフト レジスタ 205に関しては、別途図 15にて詳細を説明する。
[0067] その他、セレクトトランジスタ群 209、水平シフトレジスタ 210および出力アンプ 211 が設けられている。蓄積部 202の各蓄積単位画素 221に蓄積された信号電荷は、信 号出力線 sig— outを介して、水平シフトレジスタ 210によって選択された順番にもと づき、セレクトトランジスタ群 209および出力アンプ 211を通じて、外部に出力される。
[0068] また、タイミング発生回路 212は、読み出し用シフトレジスタ 203、リセット用シフトレ ジスタ 204、飛び越し走査用シフトレジスタ 205、プログレッシブ走査用シフトレジスタ 206、セレクタ 207、読み込み用シフトレジスタ 208、水平シフトレジスタ 210、および リセットパルス供給線 rst—sにパルスを供給する。ただし、タイミング発生回路 212は 、撮像素子とは別のチップに分割搭載されて ヽても力まわな 、。
[0069] 信号線 p2str、読み出し用シフトレジスタ 203、読み出しパルス供給線 rd— p、読み 込み用シフトレジスタ 208、転送パルス供給線 trnによって、転送部が構成されている 。また、信号出力線 sig— out、飛び越し走査用シフトレジスタ 205、プログレッシブ走 查用シフトレジスタ 206、セレクタ 207、読み出しパルス供給線 rd—sによって、出力 部が構成されている。
[0070] 図 13は撮像単位画素 211の構成の一例を示す図である。図 13の構成は、ォーソ ドックスな 3トランジスタ構成である。すなわち、光によって信号電荷を発生するフォト ダイオード PD、ゲートが読み出しパルス供給線 rd—pに接続されており、信号電荷を 信号線 p2strに出力するための読み出し用トランジスタ TR1、ソースフォロアトランジ スタ TR2、および、ゲートがリセットパルス供給線 rst—pに接続されており、蓄積され た信号電荷をリセットするリセット用トランジスタ TR3を備えている。
[0071] 図 14は蓄積単位画素 221の構成の一例を示す図である。図 14の構成は、 4トラン ジスタと 1キャパシタで構成されている。すなわち、ゲートが転送パルス供給線 trnと 接続されたトランジスタ TR4、信号線 p2strおよびトランジスタ TR4を通じて撮像単位 画素 211から転送された信号電荷を蓄積するための蓄積容量 C— str、ゲートが読み 出しパルス供給線 rd—sに接続されており、蓄積容量 C— strに蓄積された信号電荷 を信号出力線 sig— outに読み出すためのトランジスタ TR5、ゲートがリセットパルス 供給線 rst— sに接続されており、蓄積容量 C— strを GNDレベルにリセットするため のトランジスタ TR6、およびソースフォロアトランジスタ TR7を備えて!/、る。
[0072] 図 15は飛び越し走査用シフトレジスタ 205の構成の一例を示す図である。図 15に おいて、飛び越し走査用シフトレジスタ 205は、飛び越しライン指定レジスタ 251、ラ イン群走査シフトレジスタ 252、および Dラッチ 253など力も構成されている。その動 作の詳細は、後述する。
[0073] 図 16は図 12〜図 15に示す画素密度混在撮像素子における撮像、転送および読 み出しの一連の動作概要を説明する動作シーケンス図である。図 16では、連続する 4フレーム期間の概略動作を示している（ただし、図示の都合上、第 3フレームを省略 している）。
[0074] 第 1フレームにおいて、撮像部 201におけるライン PDR1の露光時間 T1が終了す ると、続く転送期間 T11において、ライン PDR1上にある信号電荷は、蓄積部 202の 対応するライン STR1の画素にライン一括にて転送される。転送された信号電荷は、 水平方向位置が対応する蓄積単位画素 221における蓄積容量 C— strに、それぞれ 蓄積される。続いてライン PDR2の露光時間 T2が終了すると、続く転送期間 T21に おいて、ライン PDR2上にある信号電荷は、蓄積部 202の対応するライン STR2の画 素にライン一括にて転送される。転送された信号電荷は、水平方向位置が対応する 蓄積単位画素 221における蓄積容量 C— strに、それぞれ蓄積される。
[0075] このような読み出し '転送動作力 高速 V転送期間 Tp2strおいて、 16本のライン P DR1〜PDR16について、順次実行される。すなわち、露光時間中に各撮像単位画 素 211内のフォトダイオード PDにお 、て光電変換された信号電荷は、高速 V転送期 間 Tp2strにおいて、撮像部 201から蓄積部 202に転送され、蓄積される。
[0076] 第 1フレームにおいて蓄積部 202に蓄積された信号電荷は、次の第 2フレームの水 平読み出し期間において、外部に読み出される。第 2フレームでは、ライン STR5〜 STR8の 4ライン〖こついて、プログレッシブ読み出しがなされ、ライン STR2, STR6, STRIO, STR14の 4ラインについて、飛び越し読み出しがなされている。その他のラ インは、読み出されない。そして、蓄積部リセット期間において、リセットパルス供給線 rst— sにリセットパルスが印加されることにより、蓄積部 202の全ての蓄積単位画素 2 21における蓄積容量 C— strは、一斉に GNDレベルにリセットされる。
[0077] 以降のフレームにおいても、同様の走査が行われる。第 4フレームでは、ライン STR 13〜STR16の 4ライン〖こついて、プログレッシブ読み出しがなされ、ライン STR4, S TR8, STR12, STR16の 4ラインについて、飛び越し読み出しがなされている。その 他のラインは、読み出されない。そして、蓄積部リセット期間において、リセットパルス 供給線 rst—sにリセットパルスが印加されることにより、蓄積部 202の全ての蓄積単 位画素 221における蓄積容量 C— strは、一斉に GNDレベルにリセットされる。
[0078] なお、図 16では、各フレームにおいて、プログレッシブ読み出しを 4ライン連続で行 い、飛び越し読み出しを 4ラインおきの 4ラインについて行うものとしている力 読み出 すライン数はこれに限られるものではなぐまた、プログレッシブ読み出しと飛び越し 読み出しとで読み出すライン数を同じにする必要もない。例えば、プログレッシブ読 み出しを nライン連続で行 ヽ、飛び越し読み出しを mラインおきに行うようにしてもょ ヽ 。また、簡単のため、例えば第 2フレームでは、ライン STR6について重複読み出しを 行うものとして 、るが、重複させる必要は必ずしもな 、。
[0079] 図 17は高速 V転送期間 Tp2strにおける動作を示すタイミングチャートである。図 1 7において、第 1フレームのライン PDR1において、露光時間 T1が終了すると、読み 出しパルス供給線 rd—pに読み出しパルスが供給される。この読み出しパルスは、図 13の撮像単位画素 211におけるトランジスタ TR1のゲートに印加され、フォトダイォ ード PDの信号電荷に相当する信号電位はソースフォロアトランジスタ TR2を介して、 信号線 P2strに出力される。ライン STR1において、転送パルス供給線 trnに転送パ ルスが供給されると、この転送パルスは図 14の蓄積単位画素 221におけるトランジス タ TR4のゲートに印加され、信号線 p2strからトランジスタ TR4を介して蓄積容量 C strに信号電荷が転送される。
[0080] 読み出しパルスの供給後に、リセットパルス供給線 rst—pにリセットパルスが供給さ れる。このリセットパルスは図 13の撮像単位画素 211におけるトランジスタ TR3のゲ 一トに印加され、これにより、フォトダイオード PDがリセットされる。
[0081] このような動作により、撮像部 201の各ライン PDR1〜PDR16における撮像単位画 素 211の信号電荷は、蓄積部 202の対応するライン STR1〜STR16の蓄積単位画 素 221に、全て転送される。
[0082] 図 18は水平読み出し期間および蓄積部リセット期間の動作を示すタイミングチヤ一 トである。図 18において、タイミング発生回路 212からクロック CKが供給される。第 1 フレームの水平読み出し期間では、クロック CKから、選択信号 sel—HZLによって 切り出されたシフトクロック CK—H力 プログレッシブ走査用シフトレジスタ 206に与 えられる。プログレッシブ走査用シフトレジスタ 206は、このシフトクロック CK—Hと、タ イミング発生回路 212から供給されたシフトデータ Data— H (図示せず）とを受けて、 ライン STR1〜STR4に向けて、読み出しパルスを出力する。第 2フレームの水平読 み出し期間では、プログレッシブ走査用シフトレジスタ 206は、ライン STR5〜STR8 に向けて、読み出しパルスを出力する。
[0083] ここで図 15に示すように、飛び越し走査用シフトレジスタ 205は、当該フレームにお ける飛び越しラインを決定する飛び越しライン指定レジスタ 251と、複数のラインを同 位相で走査するためのライン群走査シフトレジスタ 252とを備えている。まず、飛び越 しライン指定レジスタ 251は、タイミング発生回路 212から供給されたクロック CK—L 1および飛び越しライン選択データ Data— L1を受けて、出力 L1〜L16のうち、当該 フレームにおける飛び越し走査ラインに対応するものを" H"にする。第 1フレームで ίま、 LI, L5, L9、 L13力 ，，になる。
[0084] 次に、ライン群走査シフトレジスタ 252は、タイミング発生回路 212から供給された データシフト用クロック CK—L2およびデータ Data— L2が与えられる。ここでは、デ ータ Data— L2として、データラッチ用クロック CK—L3の 4サイクル分を 1周期として 、 1サイクル期間（データシフト用クロック CK— L2の 4パルス分）は" H"、続く 3サイク ル期間は" L"となるデータが与えられるものとする。これにより、各 Dラッチ 253の出力 LT1〜LT16は図 18のようになる。各 ANDゲート 254は、飛び越しライン指定レジス タ 251の出力 L1〜L16と、各 Dラッチ 253の出力 LT1〜LT16との論理積信号を、 それぞれ出力する。各 ANDゲート 254の出力信号力 読み出しパルスとなる。
[0085] 図 19はセレクタ 207の出力を示すタイミングチャートである。セレクタ 207は、選択 信号 sel— HZLが" H"のときはプログレッシブ走査用シフトレジスタ 206の出力を選 択し、 "L"のときは飛び越し走査用シフトレジスタ 205の出力を選択する。これにより、 図 18に示した一連の動作の結果、各ライン STR1〜STR16に対して図 19に示すよ うな出力が得られる。
[0086] ここで、飛び越しライン数を任意に変更するためには、タイミング発生回路 212の出 力であるデータ Data— L2、データシフト用クロック CK L2およびデータラッチ用ク ロック CK L3を変更すればよい。また、プログレッシブ走査の連続するライン数を任 意に変更するためには、これもまたタイミング発生回路 212の出力である選択信号 se 1— HZLにおける" H"期間を変更すればよい。このように、飛び越しライン数やプロ グレツシブ走査の連続するライン数は回路構成によって一意に決定されるものではな ぐ本実施形態では、自由に動作モードが設定でき、自由度のある駆動が可能となつ ている。
[0087] また、水平読み出し期間における 1ラインの読み出しは、次のように行われる。水平 シフトレジスタ 210は、タイミング発生回路 212から供給された、 1水平期間の選択信 号 HSELと水平転送クロック Hckを受け、これに応じて、セレクトトランジスタ群 209に おける各トランジスタ C1〜C16にパルスを次々に供給する。この結果、ライン STR1 〜STR16のうちセレクタ 207の出力によって選択されたラインから、蓄積単位画素 2 21の蓄積容量 C— strに蓄えられていた信号電荷力 順次、出力アンプ 211を介し て外部信号処理回路 (ここでは図示せず）に転送され、読み出しが完了する。
[0088] 図 8の構成にもどり、画素密度混在撮像部 102からプログレッシブ読み出しされた 画素値は、高解像度画像 HWF (t)として高像度ウィンドウメモリ 105に一時的に蓄積 される。また、画素密度混在撮像部 102から飛び越しライン読み出しされた画素値は 、間引き回路 115によって H方向に 1 Z4に間引きされた後、低解像度フレームメモリ 103に 1フレーム画面として一時的に蓄積される。この間引きは、図 10および図 11の 例では、 H方向の画素番号（2, 6, 10, 14)のみの画素値を通過させ、他は読み捨 てる動作によって、実現される。
[0089] ここで、図 10の読み出し動作の場合には、このままでは、 1フレームのうち、ウィンド ゥ領域における低解像度画像が欠落することになる。このため、低解像度変換部 10 6が高解像度画像 HWF (t)に対してサンプリング処理などの画像処理を行い、低解 像度フレームメモリ 103における当該位置に格納する。例えば図 10の例では、ウィン ドウ領域の下辺を V方向の原点基準にして、座標 (V, H) = (2, 3)、 (6, 3)、 (10, 3 ) , (14, 3)の位置にある特定画素のサンプリングを、行えばよい。
[0090] 低解像度フレームメモリ 103に蓄積された、縦横 1/4 X 1/4に間引きされた低解 像度画像 LF (t)は、逐次、フレーム毎に低解像度動画データ記録部 104によって記 録される。この際に、既存の動画データ圧縮方式を適用することは任意である。
[0091] 高解像度ウィンドウメモリ 105に蓄積された高解像度画像 HWF (t)の輝度成分は、 テクスチャ変換部 107に入力され、ウェーブレット変換などの多重解像度変換によつ て、輝度画像のテクスチャ特徴量に変換される。一方、低解像度変換部 106から出 力された低解像度画像の輝度成分は、画像サイズ補正 ·テクスチャ変換部 112に入 力される。画像サイズ補正'テクスチャ変換部 112では、低解像度画像を一旦、高解 像度画像と同じ画素数に戻した上で、ウェーブレット変換などの多重解像度変換を 実施し、輝度画像のテクスチャ特徴量に変換する。ここで画像サイズ補正の手法は 任意である力 ノィリニア補間、バイキュービック補間などの手法を用いることができ る。ここで用いた画像サイズ補正手法は、後で動画データ高解像表示の際に低解像 度画像から高解像度化する場合の前処理として利用される。
[0092] 図 20はテクスチャ変換処理を概念的に示す図である。図 20において、 2001はウイ ンドウ領域における高解像度画像であり、ここでは正方形のウィンドウ領域を想定し ている。 2002は高解像度画像 2001をウェーブレット変換して得た複数階層からなる ウェーブレット係数画像である。また 2003は低解像度画像であり、 2004は画素サイ ズ補正により高解像度画像 2001と画素数を一致させた画像、 2005は画像 2004か ら得たウェーブレット係数画像である。画像 2001を鮮鋭化画像、画像 2004をボケ画 像と呼ぶものとすると、 2006および 2007はそれぞれ、鮮鋭化画像 2001とボケ画像 2004での画素位置 PPにおける 16次元の成分を持つテクスチャ特徴量である。
[0093] 学習（撮像）時には、テクスチャ特徴量 2006, 2007の関係を学習して、低解像度 のテクスチャ特徴量 2007から高解像度のテクスチャ特徴量 2006への変換ルールを 高解像度化パラメータとして得る。そして高解像度化においては、低解像度画像 200 3を入力し、画素サイズ補正を行うことによってボケ画像 2004を得て、学習した高解 像度化パラメータを適用することにより、高解像度画像 2001を得る。なお、ここでの 説明では、学習した画像自身を用いて高解像度化を実施しているため理想的な高 解像度化が実現されているが、実際には、未学習の画像が対象となることが多ぐ必 ずしも理想的な高解像度画像にまで復元するわけではな ヽ。ところが本発明では、 撮像時に一緒に、被写体の一部のウィンドウ領域にぉ 、て高解像度化パラメータを 学習するので、類似した被写体を予め学習して高解像度化パラメータを得る方法より も、数段性能の高い高解像度化が実現できる。
[0094] テクスチャ学習部 108は、テクスチャ変換部 107および画像サイズ補正'テクスチャ 変換部 112から出力されたテクスチャ特徴量相互の関係を学習し、分析コードブック と再生コードブックを作成して高解像度化パラメータを生成する。この手法につ!、て、 図 21を用いて説明する。
[0095] ここでは、ボケ画像と鮮鋭ィ匕画像はともに 100画素からなるものとする。ボケ画像と 鮮鋭ィ匕画像について、それぞれ、画素位置ごとに、多重解像度ベクトル U1〜U100 、 V1〜V100に変換する。ベクトル U1〜U100とベクトル V1〜V100との間には、画 素位置が同一という関係があるので、コードブックは、 Uを入力したとき対応する Vを 出力するように作成すればよい。ただし、実際には、各多重解像度ベクトルはべタト ル量子化によって代表ベクトルに分類される。
[0096] 図 21の例では、ベクトル Uは 2101と 2102の 2種に量子化され、ベクトル Vは 2103 と 2104の 2種に量子化されている。分析コードブックや再生コードブックの量子化ィ ンデッタスとは、これら量子化されたベクトル集合に付けられた番号を意味して 、る。 そして、コードブックを引くということは、ベクトル番号 Vを入力すると量子化されたべク トルの集合の番号である 1, 2といった番号を得ることに他ならない。また、量子化集 合 2103には代表ベクトル Z1が、量子化集合 2104には代表ベクトル Z2が付随して いる。これら代表ベクトルは、量子化集合に属するベクトルの平均値や代表値をとる などの方法によって計算される。本発明では、ここで述べたコードブックが時刻 tの関 数としてフレーム毎に計算され、高解像度化パラメータ P (t)となる。
[0097] 次に、ベクトル番号から量子化インデックス（1または 2)を出力する分析コードブック IGと、量子化インデックス（1または 2)を入力して再生ベクトルを出力する再生コード ブック IFとが生成される。このようにして生成した分析コードブックと再生コードブック を結合して用いることによって、ボケ画像の多重解像度ベクトルを、鮮鋭画像の多重 解像度ベクトルに変換することができる。
[0098] 以上のようにして求められた分析コードブックと再生コードブックは、高解像度パラメ ータ記録部 109により、高解像度化パラメータ DPとして蓄積される。
[0099] 図 22は本実施形態に係る画像表示部の構成を示す図である。図 22の構成は、図 8のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解 像度表示する機能を有し、例えば、ビデオムービーカメラ付属の表示部として実現さ れたり、他の携帯表示端末や家庭内の大型 TVなどに設けられたりする。図 22の画 像表示部 30は、動画入力部 301、画像サイズ補正 'テクスチャ変換部 302、テクスチ ャ置換部 303、テクスチャ逆変換部 304、高解像度化パラメータ入力部 305、全体制 御部 306およびディスプレイ 307を備えている。画像サイズ補正'テクスチャ変換部 3 02、テクスチャ置換部 303およびテクスチャ逆変換部 304によって、高解像度化部 3 10が構成されている。
[0100] まず、図 8の画像処理装置 10によって記録された低解像度動画データ DLFおよび 高解像度化パラメータ DPが、ネットワーク経由または様々な媒体経由にて、画像表 示部 30に入力される。全体制御部 306は動画データ入力部 301にコマンドを送り、 コマンドを受けた動画データ入力部 301は、例えば圧縮された低解像度動画データ DLFを伸張して読み出す。ここでは、通常のカラー動画データを想定しているので、 YCrCbの輝度色差信号が生成されるものとする。読み出された画像は、本来の高解 像度画像に比較して画素サイズが 1Z4 X 1Z4の低解像度であるから、次に画像サ ィズ補正 ·テクスチャ変換部 303が、画像サイズを縦横 4倍に拡大してボケ画像を得 て、次にカラー信号の輝度成分 Yと色差 CrCb独立にテクスチャ変換する。この動作 は、図 8の画像サイズ補正 'テクスチャ変換部 112と同様であり、説明は省略する。
[0101] 次に、全体制御部 306は高解像度化パラメータ入力部 305にコマンドを送り、コマ ンドを受けた高解像度化パラメータ入力部 305は、高解像度化パラメータ DPを読み 出してテクスチャ置換部 303に入力する。テクスチャ置換部 303は、高解像度化パラ メータに記載された分析コードブックと再生コードブックを結合して用いることによって 、ボケ画像のテクスチャを表現する多重解像度ベクトル (テクスチャ特徴量)を、鮮鋭 画像のテクスチャを表現する多重解像度ベクトルに変換する。次に、テクスチャ逆変 換部 304は鮮鋭画像テクスチャ特徴量から高解像度化された輝度画像への変換を 行う。そして、高解像度化された輝度 Y画像と元の色差 CrCb画像とがディスプレイ 3 07に入力されて、高解像度画像が動画データとして表示される。
[0102] なお、以上の説明は、カラー動画データを YCrCbという輝度'色差成分に分離して 扱い、各成文を独立に高解像度化する、という考え方に基づく。ただし本発明はこれ に限られるものではなぐカラー動画データを RGB成分で扱い、全成分について独 立に高解像度化する方法や、輝度成分しか持たな!ヽモノクロ画像を高解像度化する 方法を用いてもよい。
[0103] また上述のように、本実施形態では、低解像度の記録動画データから高解像度の 動画データを生成表示可能であるので、カメラ撮影時に蓄積情報量が少なくて済み 、消費電力の大きな高解像度動画データ用の超高速撮像素子が不要になる、という 利点がある。このため、消費電力に制限のある超小型ビデオカメラなどへの応用が可 能になる。この結果、超小型ビデオカメラで撮影した動画データを大画面ディスプレ ィに高画質拡大表示したり、見たい部分をさらに拡大する等の処理に対応できる、と いう大きな利点を有する。
産業上の利用可能性
[0104] 本発明に係る撮像素子では、画素密度混在動画データを取得する際に、高解像 度画像部分の情報をフレーム全体について取得したり、低解像度画像部分の画質を 向上させたりすることが可能となるので、例えば、高解像度画像を用いて解像度変換 ルールを学習し、動画データの高解像度化を行う画像処理に有効である。

Claims

請求の範囲
[1] 入射光の光電変換を行う撮像単位画素が 2次元配置された撮像部と、
前記撮像単位画素にそれぞれ対応して蓄積単位画素が 2次元配置された蓄積部 と、
前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転 送する転送部と、
前記各蓄積単位画素から、信号を読み出す出力部とを備え、
前記出力部は、
前記蓄積部の一部の第 1の領域に与える読み出しパルスを生成するプログレッシ ブ走査用シフトレジスタと、
前記第 1の領域以外の全領域を含む第 2の領域における、飛び飛びの行に与える 読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、
前記第 1の領域については、前記プログレッシブ走査用シフトレジスタによって生成 された読み出しパルスを用いて、全ての行の蓄積単位画素力 信号を読み出すプロ グレツシブ読み出しを行う一方、前記第 2の領域については、前記飛び越し走査用シ フトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位 画素から信号を読み出す飛び越しライン読み出しを行うことが可能なように、構成さ れており、
前記プログレッシブ走査用シフトレジスタは、
前記第 1の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、前記第 1の領域が前記蓄積部の領域全体を走査するよう、前記読み出しパルスを生成する ことを特徴とする撮像素子。
[2] 入射光の光電変換を行う撮像単位画素が 2次元配置された撮像部と、
前記撮像単位画素にそれぞれ対応して蓄積単位画素が 2次元配置された蓄積部 と、
前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転 送する転送部と、
前記各蓄積単位画素から、信号を読み出す出力部とを備え、 前記出力部は、
前記蓄積部の一部の第 1の領域に与える読み出しパルスを生成するプログレッシ ブ走査用シフトレジスタと、
前記第 1の領域以外の全領域を含む第 2の領域における、飛び飛びの行に与える 読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、
前記第 1の領域については、前記プログレッシブ走査用シフトレジスタによって生成 された読み出しパルスを用いて、全ての行の蓄積単位画素力 信号を読み出すプロ グレツシブ読み出しを行う一方、前記第 2の領域については、前記飛び越し走査用シ フトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位 画素から信号を読み出す飛び越しライン読み出しを行うことが可能なように、構成さ れており、
前記飛び越し走査用シフトレジスタは、
前記飛び飛びの行の位置がフレーム毎に移動するよう、前記読み出しパルスを生 成する
ことを特徴とする撮像素子。
請求項 2において、
前記飛び越し走査用シフトレジスタは、
複数のフレームにわたって、前記飛び飛びの行の位置が前記第 2の領域全体を走 查するよう、前記読み出しパルスを生成する
ことを特徴とする撮像素子。
PCT/JP2006/317648 2005-09-09 2006-09-06 撮像素子 WO2007029738A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/990,589 US7623174B2 (en) 2005-09-09 2006-09-06 Imaging device for multi-resolution video data
CN2006800297401A CN101243682B (zh) 2005-09-09 2006-09-06 摄像元件
JP2007534451A JP4129287B2 (ja) 2005-09-09 2006-09-06 撮像素子

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005262610 2005-09-09
JP2005-262610 2005-09-09

Publications (1)

Publication Number Publication Date
WO2007029738A1 true WO2007029738A1 (ja) 2007-03-15

Family

ID=37835568

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2006/315655 WO2007029443A1 (ja) 2005-09-09 2006-08-08 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
PCT/JP2006/317648 WO2007029738A1 (ja) 2005-09-09 2006-09-06 撮像素子

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/315655 WO2007029443A1 (ja) 2005-09-09 2006-08-08 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット

Country Status (4)

Country Link
US (3) US7623174B2 (ja)
JP (3) JP3996631B2 (ja)
CN (2) CN101053249B (ja)
WO (2) WO2007029443A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035278A (ja) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd 画素情報読出方法および撮像装置
WO2008138543A1 (en) 2007-05-10 2008-11-20 Isis Innovation Limited Image capture device and method
JP2009027559A (ja) * 2007-07-20 2009-02-05 Canon Inc 撮像装置及び撮像システム

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
CN1310505C (zh) * 2002-04-02 2007-04-11 松下电器产业株式会社 打印控制装置及打印控制方法
US9240810B2 (en) * 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
CN100539439C (zh) 2002-10-05 2009-09-09 数字方敦股份有限公司 连锁反应码的系统编码和解码系统和方法
EP2722995B1 (en) 2003-10-06 2023-04-19 QUALCOMM Incorporated Soft-Decision Decoding of Multi-Stage Chain Reaction Codes
KR101205758B1 (ko) * 2004-05-07 2012-12-03 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
CN100521743C (zh) * 2004-11-30 2009-07-29 松下电器产业株式会社 图像处理方法、图像处理装置
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) * 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9178535B2 (en) * 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US20080055414A1 (en) * 2006-09-05 2008-03-06 Stephen George Mican Modified Baird sequential detail scanning system
JP5000395B2 (ja) * 2007-06-26 2012-08-15 オリンパス株式会社 撮像表示方法および撮像表示装置
US9237101B2 (en) * 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
ES2661736T3 (es) * 2007-10-03 2018-04-03 Kabushiki Kaisha Toshiba Dispositivo de examen visual y método de examen visual
CN101868979B (zh) * 2007-12-07 2013-03-27 松下电器产业株式会社 拍摄装置
JP4998829B2 (ja) * 2008-03-11 2012-08-15 日本電気株式会社 動画符号復号装置および動画符号復号方法
JP4427097B2 (ja) * 2008-06-18 2010-03-03 パナソニック株式会社 画像処理装置、撮像装置、方法、およびプログラム
JP4469021B2 (ja) * 2008-07-08 2010-05-26 パナソニック株式会社 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置
US8270773B2 (en) * 2008-08-04 2012-09-18 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP4504443B2 (ja) * 2008-08-12 2010-07-14 株式会社東芝 再生装置および再生装置の制御方法
JP5130171B2 (ja) * 2008-09-22 2013-01-30 株式会社日立製作所 画像信号処理装置および画像信号処理方法
JP5067811B2 (ja) * 2008-12-01 2012-11-07 富士フイルム株式会社 撮像装置
JP4564565B2 (ja) * 2009-01-27 2010-10-20 株式会社東芝 再生装置および再生装置の制御方法
JP5226552B2 (ja) * 2009-02-03 2013-07-03 オリンパスイメージング株式会社 撮像装置
US9281847B2 (en) * 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US8571355B2 (en) * 2009-08-13 2013-10-29 Samsung Electronics Co., Ltd. Method and apparatus for reconstructing a high-resolution image by using multi-layer low-resolution images
KR101675117B1 (ko) * 2009-08-13 2016-11-10 삼성전자 주식회사 다계층의 저해상도 영상을 이용한 고해상도 영상 생성 방법 및 그 장치
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
RU2012117826A (ru) * 2009-09-30 2013-11-10 Шарп Кабусики Кайся Устройство увеличения изображения, программа увеличения изображения и устройство отображения
JP5640071B2 (ja) * 2010-03-01 2014-12-10 シャープ株式会社 画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置
KR101671185B1 (ko) 2010-03-22 2016-11-01 삼성전자주식회사 렌더링을 위한 빛 및 질감 추출 장치 및 방법, 그리고, 빛 및 질감을 이용한 렌더링 장치
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
KR101756841B1 (ko) * 2011-06-07 2017-07-11 삼성전자주식회사 블록 기반 영상의 해상도 변환 방법 및 장치
US9886945B1 (en) * 2011-07-03 2018-02-06 Reality Analytics, Inc. System and method for taxonomically distinguishing sample data captured from biota sources
US9047681B2 (en) * 2011-07-07 2015-06-02 Samsung Electronics Co., Ltd. Depth image conversion apparatus and method
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
JP5984260B2 (ja) * 2011-09-20 2016-09-06 東芝メディカルシステムズ株式会社 画像処理装置及び医用画像診断装置
KR101915520B1 (ko) * 2011-11-07 2018-11-07 삼성전자 주식회사 휴대단말기의 영상 표시 제어장치 및 방법
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP2013142775A (ja) * 2012-01-11 2013-07-22 Sony Corp 表示装置、電子機器、表示方法、並びにプログラム
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
US9363494B2 (en) * 2012-12-05 2016-06-07 At&T Intellectual Property I, L.P. Digital video recorder that enables recording at a selected resolution
DE102013103333A1 (de) * 2013-04-03 2014-10-09 Karl Storz Gmbh & Co. Kg Kamera zur Erfassung von optischen Eigenschaften und von Raumstruktureigenschaften
KR101490909B1 (ko) * 2013-05-10 2015-02-06 현대자동차 주식회사 차량용 영상 처리 장치 및 방법
WO2015049936A1 (ja) * 2013-10-01 2015-04-09 コニカミノルタ株式会社 器官画像撮影装置
JP6274495B2 (ja) * 2013-10-25 2018-02-07 キヤノンメディカルシステムズ株式会社 画像処理装置および超音波診断装置
US9582160B2 (en) 2013-11-14 2017-02-28 Apple Inc. Semi-automatic organic layout for media streams
US9489104B2 (en) 2013-11-14 2016-11-08 Apple Inc. Viewable frame identification
US20150254806A1 (en) * 2014-03-07 2015-09-10 Apple Inc. Efficient Progressive Loading Of Media Items
CN103927967A (zh) * 2014-03-14 2014-07-16 四川虹欧显示器件有限公司 一种等离子显示面板扫描方法
US10104316B2 (en) * 2014-05-08 2018-10-16 Sony Corporation Information processing device and information processing method
JP6202276B2 (ja) * 2014-07-14 2017-09-27 パナソニックＩｐマネジメント株式会社 画像処理システム、画像処理装置、及び画像処理方法
US9462026B2 (en) * 2014-07-31 2016-10-04 Senza Tech, Llc Communicating multimedia data
CN104410845B (zh) * 2014-11-10 2019-08-06 北京智谷睿拓技术服务有限公司 光通信发送方法和装置、接收方法和装置、光通信系统
JP6516446B2 (ja) * 2014-11-14 2019-05-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2016132151A1 (en) 2015-02-19 2016-08-25 Magic Pony Technology Limited Enhancing visual data using strided convolutions
GB201603144D0 (en) 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
EP3278559B1 (en) 2015-03-31 2021-05-05 Magic Pony Technology Limited Training end-to-end video processes
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
JP6545013B2 (ja) 2015-06-17 2019-07-17 キヤノン株式会社 画像形成方法、画像形成装置、および画像形成プログラム
JP6557568B2 (ja) * 2015-09-24 2019-08-07 日本放送協会 撮像装置
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN106851399B (zh) * 2015-12-03 2021-01-22 阿里巴巴（中国）有限公司 视频分辨率提升方法及装置
JP2017142356A (ja) * 2016-02-10 2017-08-17 ソニー株式会社 撮像装置、および、撮像装置の制御方法
EP3298579B1 (en) 2016-04-12 2021-07-21 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
GB201608101D0 (en) * 2016-05-09 2016-06-22 Magic Pony Technology Ltd Multiscale 3D texture synthesis
US10742872B2 (en) * 2016-06-28 2020-08-11 Sony Corporation Imaging device, imaging method, and program
US10701394B1 (en) 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
KR102342283B1 (ko) * 2016-11-28 2021-12-22 삼성전자주식회사 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체
KR102082816B1 (ko) * 2018-04-24 2020-02-28 주식회사 지디에프랩 스트리밍 파일의 해상도 개선 방법
JP6818724B2 (ja) 2018-10-01 2021-01-20 キヤノン株式会社 放射線撮像装置、その制御方法及び放射線撮像システム
CN112313472B (zh) * 2018-10-29 2023-12-26 松下知识产权经营株式会社 信息提示方法、信息提示装置、以及信息提示系统
CN110501339B (zh) * 2019-08-13 2022-03-29 江苏大学 一种复杂环境下的布面定位方法
KR20210078218A (ko) * 2019-12-18 2021-06-28 삼성전자주식회사 전자장치 및 그 제어방법
US11240465B2 (en) 2020-02-21 2022-02-01 Alibaba Group Holding Limited System and method to use decoder information in video super resolution
US11704767B2 (en) * 2020-07-31 2023-07-18 Spot Vision Llc Texture extraction
US11297260B1 (en) * 2020-11-20 2022-04-05 Donald Siu Techniques for capturing video in landscape mode by a handheld device
US20240135696A1 (en) * 2021-09-10 2024-04-25 Nec Corporation Model training apparatus, control method, and non-transitory computer-readable medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0265380A (ja) * 1988-08-31 1990-03-06 Canon Inc 撮像装置
JPH10276367A (ja) * 1996-07-31 1998-10-13 Olympus Optical Co Ltd 撮像表示システム
JP2000032318A (ja) * 1998-07-09 2000-01-28 Olympus Optical Co Ltd 画像入力装置
JP2004032100A (ja) * 2002-06-21 2004-01-29 Sony Corp 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2004282242A (ja) * 2003-03-13 2004-10-07 Hitachi Kokusai Electric Inc テレビジョンカメラ
JP2005012403A (ja) * 2003-06-18 2005-01-13 Fuji Photo Film Co Ltd デジタルカメラ及び画像情報取得方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US5043821A (en) * 1988-08-31 1991-08-27 Canon Kabushiki Kaisha Image pickup device having a frame-size memory
JPH02224637A (ja) * 1988-11-16 1990-09-06 A T R Tsushin Syst Kenkyusho:Kk 視線検出方法
US5103306A (en) * 1990-03-28 1992-04-07 Transitions Research Corporation Digital image compression employing a resolution gradient
US5200818A (en) * 1991-03-22 1993-04-06 Inbal Neta Video imaging system with interactive windowing capability
JP3240339B2 (ja) 1993-11-16 2001-12-17 コニカ株式会社 画像撮影装置及び画像処理装置
JP3538918B2 (ja) * 1994-10-31 2004-06-14 ソニー株式会社 画像データ採取装置および方法
WO1999040725A1 (en) * 1998-02-10 1999-08-12 Nihon Computer Co., Ltd. High-resolution high-value-added video transfer method by using pseudo natural image, high-resolution high-value-added video processor, high-resolution high-value-added video processing method, high-resolution high-value-added transfer system, and storage medium
US6906751B1 (en) * 1998-07-22 2005-06-14 Minolta Co., Ltd. Digital camera and control method thereof
CN1247993A (zh) * 1998-09-14 2000-03-22 林朝宗 多解析度影像读取装置
US6714249B2 (en) * 1998-12-31 2004-03-30 Eastman Kodak Company Producing panoramic digital images by digital camera systems
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
AU2001271847A1 (en) 2000-07-06 2002-01-21 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
US6766067B2 (en) * 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US6677979B1 (en) * 2001-06-12 2004-01-13 Cisco Technology, Inc. Method and apparatus for dual image video teleconferencing
JP3616585B2 (ja) 2001-07-11 2005-02-02 Ｎｅｃアクセステクニカ株式会社 光インタフェース終端モジュールおよび光インタフェース終端接続方法
JP2003219346A (ja) * 2002-01-17 2003-07-31 Seiko Epson Corp 画像データ生成装置、画像表示装置、画像データ生成方法、画像表示方法、画像データ生成プログラムを記録した媒体、画像表示プログラムを記録した媒体、画像データ生成プログラムおよび画像表示プログラム
EP1518333A2 (en) * 2002-03-25 2005-03-30 The Trustees of Columbia University in the city of New York Method and system for enhancing data quality
JP2003302211A (ja) * 2002-04-11 2003-10-24 Canon Inc ３次元画像処理装置及び方法
JP2004021388A (ja) * 2002-06-13 2004-01-22 Nippon Hoso Kyokai <Nhk> 画像処理装置及びそれを備えた撮影システム
JP2004120341A (ja) * 2002-09-26 2004-04-15 Riosu Corp:Kk 映像監視システム
JP4084991B2 (ja) 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
JP2004229119A (ja) * 2003-01-24 2004-08-12 Matsushita Electric Ind Co Ltd Ｍｏｓ型固体撮像素子およびこれを備えた撮像装置
CN100499752C (zh) * 2003-01-28 2009-06-10 松下电器产业株式会社 固体摄像器件、其驱动方法及应用它的相机
JP4379056B2 (ja) * 2003-08-12 2009-12-09 富士ゼロックス株式会社 三次元画像撮像装置および方法
US20050168589A1 (en) * 2004-01-30 2005-08-04 D. Amnon Silverstein Method and system for processing an image with an image-capturing device
CN1965330B (zh) * 2004-06-09 2010-04-14 松下电器产业株式会社 图象处理方法及图象处理装置、图象放大方法
CN100521743C (zh) * 2004-11-30 2009-07-29 松下电器产业株式会社 图像处理方法、图像处理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0265380A (ja) * 1988-08-31 1990-03-06 Canon Inc 撮像装置
JPH10276367A (ja) * 1996-07-31 1998-10-13 Olympus Optical Co Ltd 撮像表示システム
JP2000032318A (ja) * 1998-07-09 2000-01-28 Olympus Optical Co Ltd 画像入力装置
JP2004032100A (ja) * 2002-06-21 2004-01-29 Sony Corp 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2004282242A (ja) * 2003-03-13 2004-10-07 Hitachi Kokusai Electric Inc テレビジョンカメラ
JP2005012403A (ja) * 2003-06-18 2005-01-13 Fuji Photo Film Co Ltd デジタルカメラ及び画像情報取得方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035278A (ja) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd 画素情報読出方法および撮像装置
WO2008138543A1 (en) 2007-05-10 2008-11-20 Isis Innovation Limited Image capture device and method
US8508608B2 (en) 2007-05-10 2013-08-13 Isis Innovation Ltd. Image capture device and method of capturing images
US8570388B2 (en) 2007-05-10 2013-10-29 Isis Innovation Ltd. Image capture device and method
EP2145467B1 (en) * 2007-05-10 2014-05-07 ISIS Innovation Limited Image capture device and method
JP2009027559A (ja) * 2007-07-20 2009-02-05 Canon Inc 撮像装置及び撮像システム

Also Published As

Publication number Publication date
JP2007174689A (ja) 2007-07-05
JP3996631B2 (ja) 2007-10-24
US20070223887A1 (en) 2007-09-27
US8249370B2 (en) 2012-08-21
CN101243682B (zh) 2010-05-19
CN101053249A (zh) 2007-10-10
US7623174B2 (en) 2009-11-24
JPWO2007029443A1 (ja) 2009-03-26
US20100046906A1 (en) 2010-02-25
US7636393B2 (en) 2009-12-22
JPWO2007029738A1 (ja) 2009-03-19
JP5013889B2 (ja) 2012-08-29
CN101243682A (zh) 2008-08-13
CN101053249B (zh) 2011-02-16
US20080309780A1 (en) 2008-12-18
JP4129287B2 (ja) 2008-08-06
WO2007029443A1 (ja) 2007-03-15

Similar Documents

Publication Publication Date Title
JP4129287B2 (ja) 撮像素子
KR100666290B1 (ko) 촬상 장치 및 촬상 방법
JP4555775B2 (ja) 撮像装置
JP4469018B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラムおよび当該コンピュータプログラムを記録した記録媒体、フレーム間動き算出方法および画像処理方法
US20100020210A1 (en) Image Sensing Device And Image Processing Device
KR20090074067A (ko) 촬상 장치 및 촬상 방법
KR101046012B1 (ko) 동화상 처리 장치 및 동화상 처리 방법, 동화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
US7868925B2 (en) Device, method, and program for generating high-resolution image data at a low data transfer rate
JPH07135592A (ja) 撮像装置
US7760257B2 (en) Image capturing apparatus, control method and program thereof, and storage medium
US20040145668A1 (en) MOS solid-state imaging element and imaging device provided with the same
US20010024234A1 (en) Digital camera
US7236194B2 (en) Image signal processing apparatus
JP4246244B2 (ja) 撮像装置
KR100719988B1 (ko) 화상 신호 처리 장치
JP4022682B2 (ja) 撮像装置及び画像出力方法
JP2003092764A (ja) 画像信号処理装置
JP2003069903A (ja) 撮像装置
KR100254081B1 (ko) 화상 데이타 처리 장치 및 그 방법
JP2003116039A (ja) 高解像度画像発生装置
JP5463782B2 (ja) 電子カメラ
JP3585726B2 (ja) 撮像装置及び記録媒体
JPH05145831A (ja) 撮像方法及び撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680029740.1

Country of ref document: CN

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007534451

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11990589

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06797543

Country of ref document: EP

Kind code of ref document: A1