WO2016185831A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2016185831A1
WO2016185831A1 PCT/JP2016/061701 JP2016061701W WO2016185831A1 WO 2016185831 A1 WO2016185831 A1 WO 2016185831A1 JP 2016061701 W JP2016061701 W JP 2016061701W WO 2016185831 A1 WO2016185831 A1 WO 2016185831A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
thinning
unit
image
information
Prior art date
Application number
PCT/JP2016/061701
Other languages
English (en)
French (fr)
Inventor
清水　晃
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2016185831A1 publication Critical patent/WO2016185831A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Definitions

  • the present technology relates to an image processing apparatus and an image processing method. Specifically, the present invention relates to an image processing apparatus and an image processing method for temporarily storing an image signal in a storage device in the course of image processing.
  • an image processing system that processes a stream supplied via the Internet or the like and converts it into an image signal for display is used.
  • various image processing for example, resolution conversion processing for converting the resolution of the image in accordance with the display device is performed.
  • an image signal processed in units of frames which are image signals for one screen, is stored in the memory. Since this frame has a relatively large capacity, it is stored in a large-capacity DRAM (Dynamic Random Access Memory).
  • DRAM Dynamic Random Access Memory
  • a system has been proposed in which a frame is compressed and stored in a DRAM, read out, decompressed, and used for the above-described image processing (see, for example, Patent Document 1).
  • the above-described conventional technique reduces the frame capacity by compressing the data before storing it in the DRAM, thereby reducing the power consumption for accessing the DRAM.
  • This compression is performed by thinning the image signal, and two frames generated by different thinning methods are stored in the DRAM. When these are expanded, the original frame is restored by performing super-resolution processing from the two frames.
  • the super-resolution processing is processing for generating one high-resolution frame from a plurality of low-resolution frames.
  • a method is used in which a high-resolution frame is estimated from a low-resolution frame by repeatedly performing an operation.
  • the above-described conventional technology has a problem that the processing becomes complicated because the two compressed frames are restored by the super-resolution processing.
  • the present technology has been created in view of such a situation, and an object thereof is to perform compression and expansion when a frame is stored in a storage device by simple processing.
  • the present technology has been made to solve the above-described problems, and a first aspect of the present technology is compression by thinning out a part of the plurality of image signals in a frame composed of the plurality of image signals.
  • the image processing apparatus includes a decompression unit that decompresses the compressed frame. As a result, the compressed frame is supplied from the storage unit and expanded.
  • the first aspect further includes a thinning information generation unit that generates the thinning information, and a compression unit that performs the compression of the frame by the thinning based on the thinning information and stores the compressed frame in the storage unit. May be. This brings about the effect that the frame is compressed by the thinning-out.
  • the thinning information generation unit generates a thinning rate that is a ratio of the number of image signals to be thinned out with respect to the number of image signals included in the frame as the thinning information
  • the compression unit may perform the thinning by determining the number of image signals to be thinned based on the thinning rate. This brings about the effect that thinning is performed based on the thinning rate.
  • the compression unit may generate a plurality of arrangement patterns, which are information on the arrangement of the image signals to be thinned out, on a line obtained by dividing the frame in the horizontal direction for each line in a predetermined order.
  • the compression may be performed by applying to the thinning, and the decompression unit may perform the decompression by applying the arrangement pattern to the restoration for each line in the predetermined order. This brings about the effect that the arrangement pattern is applied to the thinning and the restoration in a preset order.
  • the thinning information generation unit may generate the thinning rate and thinning position information that is information in the predetermined order as the thinning information. As a result, the thinning rate and the thinning position information are generated as thinning information.
  • the thinning information generation unit may generate the thinning position information that is different for each of a plurality of frames that are continuous with the thinning rate as the thinning information. This brings about the effect
  • the compression unit may perform the compression based on the arrangement pattern in which the image signals to be thinned are arranged not adjacent to each other in the horizontal direction. This brings about the effect
  • the first aspect further includes a frame mixing unit that generates a new frame by mixing the second frame, which is a frame different from the frame, and the frame based on a predetermined mixing ratio
  • the thinning information generation unit may generate the thinning rate of the frame and the second frame as the thinning information based on the mixing ratio. This brings about the effect that the thinning rate of the frame and the second frame based on the mixing ratio is generated as the thinning information.
  • the information processing apparatus further includes a thinning information generation unit that generates the thinning information.
  • the storage unit stores the frame, and the frame is stored by the thinning based on the thinning information. You may compress and supply to the said expansion
  • the thinning is performed on the compressed frame, which is the frame that is compressed by thinning to remove a part of the plurality of image signals in a frame including a plurality of image signals.
  • the image processing method includes a decompression procedure for decompressing the compressed frame by restoring the image signal based on the thinning information which is the thinning information for each frame. As a result, the compressed frame is supplied from the storage unit and expanded.
  • First embodiment (example when using a thinning rate as thinning information) 2.
  • Second embodiment (example in which thinning rate and thinning position information are used as thinning information) 3.
  • Third embodiment (example in the case of using a plurality of compression units and expansion units) 4).
  • Fourth embodiment (example in which two frames are mixed and displayed) 5.
  • Fifth embodiment (example when the storage unit includes a compression unit)
  • FIG. 1 is a diagram illustrating a configuration example of an image processing device according to the first embodiment of the present technology.
  • This image processing apparatus includes an image processing unit 100 and a storage unit 200.
  • the image processing unit 100 processes the input stream to generate a frame, which is an image signal for one screen, and outputs a display frame converted into a format suitable for the display device 300.
  • the output display frame is displayed on the display device 300.
  • the storage unit 200 stores data such as frames generated in the course of processing in the image processing unit 100.
  • the storage unit 200 supplies the compressed frame to the image processing unit 100 as will be described later.
  • the storage unit 200 can be a DRAM that can be accessed at high speed, such as SDRAM (Synchronous DRAM). [Configuration of image processing unit]
  • the image processing unit 100 in FIG. 1 includes a demultiplexer 102, a processor 103, a storage unit interface 104, a video decoder 120, a compression unit 130, a decompression unit 140, a frame processing unit 150, and a resolution conversion unit 160. Is provided.
  • the image processing unit 100 further includes an on-screen display (OSD) image generation unit 170, an OSD image display unit 180, and a mixing unit 190. These are connected to each other by a bus 101.
  • OSD on-screen display
  • the demultiplexer 102 performs demultiplexing. This demultiplexing is a process of separating multiplexed image data, audio data, and caption data from a stream.
  • the processor 103 controls the entire image processing unit 100.
  • the processor 103 controls each unit of the image processing unit 100 based on the firmware.
  • This firmware is stored in a ROM (Read Only Memory) (not shown).
  • the storage unit interface 104 is an interface for exchanging with the storage unit 200.
  • the video decoder 120 converts the image data separated by the demultiplexer 102 into a plurality of continuous frames.
  • the video decoder 120 converts the image data into frames by decoding the encoded image data.
  • the compression unit 130 performs frame compression based on thinning information described later. Here, reducing the data amount of the frame is referred to as compression.
  • the compressed frame (hereinafter referred to as a compressed frame) is stored in the storage unit 200. Details of compression in the compression unit 130 will be described later.
  • the decompression unit 140 decompresses the compressed frame held in the storage unit 200 based on the thinning information. Here, returning the compressed frame to the original frame is referred to as decompression. Details of expansion in the expansion unit 140 will be described later.
  • the frame processing unit 150 processes a frame.
  • This frame processing includes, for example, interlace / progressive conversion processing for changing the frame scanning method between interlace and progressive, noise reduction processing for removing noise contained in the frame, and the like.
  • the resolution converter 160 converts the resolution of the frame.
  • the resolution conversion unit 160 converts the frame resolution to the display device 300 resolution when the frame resolution and the display device 300 resolution are different.
  • the OSD image generation unit 170 generates an on-screen display (OSD) image.
  • the OSD image is a user interface such as a subtitle portion, an icon, and a menu, and is an image that is displayed by being superimposed on an image supplied by a stream or the like.
  • This OSD image is also a kind of frame, and is processed as a target of compression by the compression unit 130 and expansion by the expansion unit 140.
  • the OSD image display unit 180 converts the resolution of the OSD image generated by the OSD image generation unit 170 into the resolution of the display device 300.
  • the mixing unit 190 mixes the frame and the OSD image whose resolution has been converted by the resolution conversion unit 160 and the OSD image display unit 180, respectively, to generate one frame.
  • the generated frame is output to the display device 300 as a display frame.
  • alpha blend that mixes a frame and an OSD image based on a predetermined mixing ratio can be used.
  • the mixing ratio is determined by the processor 103 based on the frame image and the like.
  • demultiplexer 102 and the like in the figure are realized by dedicated hardware, they can also be realized as software processing executed by the processor 103.
  • the processor 103 When storing a frame or the like in the storage unit 200, the processor 103 generates a command for instructing writing (write command) and outputs the command to the storage unit 200. Along with this command, a write destination address and write target data are output to the storage unit 200. The storage unit 200 interprets the write command and stores the write target data at the write destination address.
  • the processor 103 when a frame or the like is read from the storage unit 200, the processor 103 generates a command (read command) that instructs reading, and outputs the command to the storage unit 200. Along with this command, a read destination address is output to the storage unit 200.
  • the storage unit 200 interprets the read command and outputs the data stored at the read destination address to the image processing unit 100. In this manner, data is exchanged between the image processing unit 100 and the storage unit 200.
  • FIG. 2 is a diagram illustrating a functional configuration example of the image processing apparatus according to the first embodiment of the present technology.
  • This figure shows the functional configuration of each unit of the image processing unit 100 and the storage unit 200 and the flow of data such as frames.
  • the image processing unit 100 shown in the figure is different from the image processing unit 100 described in FIG. 1 in that a thinning information generation unit 110 is provided.
  • the thinning information generation unit 110 generates thinning information, which will be described later, based on a frame, and supplies the thinning information to the compression unit 130 and the decompression unit 140.
  • the processing of the thinning information generation unit 110 is executed by software, for example, by the processor 103 described with reference to FIG.
  • the stream input to the image processing apparatus is separated into image data, audio data, and caption data by the demultiplexer 102 and stored in the storage unit 200.
  • the audio data is converted into audio and output by a speaker or the like (not shown).
  • the image data is read from the storage unit 200 and input to the video decoder 120.
  • the video decoder 120 converts the image data into frames and stores them in the storage unit 200.
  • this frame is read from the storage unit 200 and input to the frame processing unit 150.
  • Frames processed by the frame processing unit 150 (hereinafter referred to as processed frames) are compressed by the compression unit 130 and stored in the storage unit 200.
  • the thinning information generation unit 110 generates thinning information to be described later based on the frame, and the compression unit 130 performs compression based on the generated thinning information.
  • the compressed processed frame (hereinafter referred to as a processed compressed frame) is read from the storage unit 200, decompressed by the decompressing unit 140, and converted into a processed frame again.
  • the resolution of the processed converted frame is converted by the resolution conversion unit 160 and input to the mixing unit 190.
  • the caption data is read from the storage unit 200 and input to the OSD image generation unit 170.
  • An OSD image is generated based on the caption data.
  • the OSD image generation unit 170 also generates an OSD image when displaying icons and menus.
  • These generated OSD images are compressed by the compression unit 130 and stored in the storage unit 200. Also at this time, compression by the compression unit 130 is performed based on the thinning information generated by the thinning information generation unit 110.
  • the compressed OSD image is read from the storage unit 200, decompressed by the decompression unit 140, and input to the OSD image display unit 180.
  • the OSD image display unit 180 converts the resolution of the OSD image and inputs it to the mixing unit 190.
  • the processed frame and the OSD image whose resolution has been changed are mixed by the mixing unit 190 and output as a display frame.
  • the processed frame and the OSD image are compressed by the compression unit 130 and stored in the storage unit 200.
  • the compressed frames are read from the storage unit 200 and then expanded by the expansion unit 140.
  • the amount of data transferred to and from the storage unit 200 can be reduced, and power consumption can be reduced.
  • FIG. 3 is a diagram illustrating an example of processing of the image processing unit 100 according to the first embodiment of the present technology. This figure shows the flow of processing in each part of the functional configuration diagram described in FIG. In the drawing, the processing of the portion denoted as “DRAM” represents processing for storing a frame or the like in the storage unit 200 or processing for reading a frame or the like from the storage unit 200.
  • DRAM the processing of the portion denoted as “DRAM” represents processing for storing a frame or the like in the storage unit 200 or processing for reading a frame or the like from the storage unit 200.
  • the stream input to the image processing unit 100 is demultiplexed by the demultiplexer 102, and the image data separated from the stream is stored in the storage unit 200.
  • the image data stored in the storage unit 200 is read out, decoded by the video decoder 120 to generate a frame, and stored in the storage unit 200.
  • the frame stored in the storage unit 200 is read, and the thinning information generation unit 110 generates thinning information based on the read frame.
  • the generated thinning information is used for subsequent compression processing in the compression unit 130 and expansion processing in the expansion unit 140.
  • the frame read from the storage unit 200 is processed by the frame processing unit 150 to generate a processed frame, and is compressed by the compression unit 130 and stored in the storage unit 200.
  • the processed compressed frame read from the storage unit 200 is expanded by the expansion unit 140 and the resolution is converted by the resolution conversion unit 160.
  • the OSD image is generated by the OSD image generation unit 170, compressed by the compression unit 130, and stored in the storage unit 200.
  • the compressed OSD image read from the storage unit 200 is expanded by the expansion unit 140, and the resolution is converted by the OSD image display unit 180.
  • FIG. 4 is a diagram illustrating an example of a compression method according to the embodiment of the present technology. Circles shown in the figure represent image signals in a frame. Thus, the frame is configured by arranging image signals in two dimensions. A plurality of image signals when a frame is divided in the horizontal direction corresponds to a line. The frame shown in the figure has n lines. The numbers assigned to the image signals in the figure represent the positions from the beginning of each line.
  • Compressing in the embodiment of the present technology is performed by thinning out image signals.
  • the thinning is to remove a part of a plurality of image signals constituting a frame.
  • Compression can be performed by removing the image signal to be thinned out and converting the image signal into a frame composed of only another image signal 502.
  • the thinning can be performed based on a thinning rate that is a ratio of the number of image signals to be thinned out to the number of image signals included in the frame. In the figure, one image signal is thinned out for every eight image signals, and the thinning rate becomes 1/8. The higher the thinning rate, the smaller the number of image signals in the compressed frame, and the higher the compression rate. Further, the thinning rate can be set to the same value for all the lines constituting the frame.
  • This thinning rate corresponds to the thinning information described above, and is generated for each frame by the thinning information generation unit 110 described with reference to FIG.
  • the thinning information generation unit 110 can generate thinning information based on the resolution of the frame and the like. For example, it is possible to generate thinning information with a high thinning rate when a frame has a high resolution or when a plurality of images are displayed like a multi-screen, and with a low thinning rate when the frame has a low resolution.
  • the image signals 501 to be thinned out within the line are arranged so as not to be adjacent in the horizontal direction. Thereby, it is possible to prevent the image signals 501 to be thinned out from being concentrated on the line.
  • a process of restoring the thinned image signal is performed. This is because when the restored image signal is concentrated at a specific position in the line, the image is noticeably deteriorated and the image quality is lowered.
  • the position of the image signal 501 to be thinned is shifted for each line. Thereby, it is possible to prevent the image signals to be thinned out from concentrating on a specific column of the frame.
  • the thinning rate is 1/8, there are eight combinations of the arrangement of image signals to be thinned and other image signals.
  • this combination is referred to as an arrangement pattern.
  • FIG. 5 is a diagram illustrating an example of thinning information according to the first embodiment of the present technology.
  • the thinning rate for each frame is recorded as thinning information.
  • This thinning information may be stored in the storage unit 200 after being compressed by the compression unit 130.
  • the decompression unit 140 decompresses the compressed frame
  • the thinning information corresponding to the compressed frame can be read from the storage unit 200 and used.
  • this thinning-out information can use a method of holding together with image information for each frame, for example, image parameters such as display position and color format.
  • the thinning information can be added to the compressed frame and stored in the storage unit 200.
  • the compression unit 130 adds thinning information to the compressed frame
  • the decompression unit 140 extracts the thinning information from the compressed frame and performs decompression. Furthermore, it is possible to adopt a configuration in which thinning information is added for each line of the frame. In this case, thinning information is generated for each line. As a result, the thinning rate can be changed for each line.
  • FIG. 6 is a diagram illustrating an example of an arrangement pattern (thinning rate 1/8) according to the embodiment of the present technology.
  • a represents an example of an arrangement pattern when the thinning rate is 1/8.
  • b represents an example of an arrangement pattern when the thinning rate is 1/8.
  • the thinning rate is 1/8.
  • the arrangement pattern can be identified by the thinning position information.
  • 1 to 8 are assigned as thinning position information to each of the eight arrangement patterns.
  • the order of application of these arrangement patterns to each line in the frame can be determined in advance, and the compression and decompression of the frame can be performed based on this order. For example, it can be determined that the arrangement pattern corresponding to the thinning position information 1 to 8 is applied to each line in this order. In this case, an arrangement pattern corresponding to the thinning position information 1 to 8 is applied in order from the first line of the frame, and is used for compression and expansion.
  • N ((a + b ⁇ 2)% 8 + 1) + 8 ⁇ n (Expression 1)
  • N represents the position from the head in each line of the image signal to be thinned.
  • % is an operator representing a remainder operation.
  • FIG. 7 is a diagram illustrating an example of an arrangement pattern (thinning rate 2/8) according to the embodiment of the present technology.
  • “a” represents an example of an arrangement pattern when the thinning rate is 2/8, and two image signals to be thinned are arranged for eight image signals.
  • B in the figure represents an example of an arrangement pattern when the thinning rate is 2/8.
  • the thinning-out position information b in FIG. 10 is the same as that in FIG.
  • FIG. 8 is a diagram illustrating an example of an arrangement pattern (thinning rate 3/8) according to the embodiment of the present technology.
  • “a” represents an example of an arrangement pattern when the thinning rate is 3/8, and three image signals to be thinned are arranged for eight image signals.
  • B in the figure represents an example of an arrangement pattern when the thinning rate is 3/8.
  • FIG. 9 is a diagram illustrating an example of an arrangement pattern (thinning rate 4/8) according to the embodiment of the present technology.
  • “a” represents an example of an arrangement pattern when the thinning rate is 4/8, and four image signals to be thinned are arranged for eight image signals.
  • B in the figure represents an example of an arrangement pattern when the thinning rate is 4/8.
  • the thinning rate needs to be at most 4/8, that is, 1/2. For this reason, the arrangement pattern of the figure becomes the maximum thinning-out rate in the embodiment of the present technology.
  • the image signal is thinned out for each line in the oblique direction, and the resolution in the oblique direction is halved.
  • the vertical and horizontal directions of the image signal the same resolution as before the thinning is maintained, and the expansion processing described later can be easily performed. In many natural images, the resolution in the vertical and horizontal directions is higher than the resolution in the oblique direction. Therefore, the compression and expansion method according to the embodiment of the present technology is a method suitable for a system that processes natural images.
  • FIG. 10 is a diagram illustrating a configuration example of the compression unit 130 according to the first embodiment of the present technology.
  • the compression unit 130 includes an image signal removal unit 131 and an image signal rearrangement unit 132.
  • the image signal removal unit 131 removes the image signal to be thinned out from the input frame based on the thinning rate in the input thinning information.
  • the image signal removing unit 131 applies the arrangement pattern corresponding to the thinning rate to thinning for each line in a predetermined order.
  • the image signal removal unit 131 can employ a method of holding the input frame in a line memory or the like and deleting data at an address corresponding to the image signal to be thinned out.
  • the image signal rearrangement unit 132 rearranges the image signals not to be removed at the position of the image signal removed by the image signal removal unit 131 to reduce the frame size.
  • the rearrangement unit 132 can perform processing of moving the image signal data that is not the removal target on the line memory so as to fill the address data corresponding to the thinning target image signal in the line memory.
  • the compression can be performed by overwriting the data at the address corresponding to the image signal to be thinned out in the line memory with the data of the image signal not to be thinned out and rearranging the data.
  • FIG. 11 is a diagram illustrating an example of the decompression method according to the embodiment of the present technology.
  • an empty image signal 503 is inserted at the position of the image signal to be thinned based on the arrangement pattern.
  • the image signal thinned out based on the image signal around the inserted image signal 503 is restored.
  • the restored image signal 504 is overwritten at the position of the image signal 503. As a result, the frame can be expanded.
  • FIG. 12 is a diagram illustrating an example of the image signal restoration method according to the embodiment of the present technology.
  • the figure shows an example in the case of restoring the image signal at the position of the empty image signal 503, and images are obtained from the image signals (image signals 505 to 508) arranged on the upper, lower, left and right sides of the empty image signal 503.
  • the signal 504 is restored by interpolation.
  • a method of calculating an average value of the image signals 505 to 508 and interpolating the image signal 504 can be used.
  • a method is used in which a weighted average obtained by weighting based on the correlation between the upper and lower image signals (image signals 505 and 506) and the left and right image signals (image signals 507 and 508) is calculated and the image signal 504 is interpolated.
  • interpolation based on the correlation can be performed. Further, even in the case of the thinning-out rate 4/8 described in FIG. 9, interpolation based on the correlation can be performed using the upper, lower, left, and right image signals of the image signal to be restored.
  • FIG. 13 is a diagram illustrating a configuration example of the decompression unit 140 according to the first embodiment of the present technology.
  • the decompression unit 140 includes an image signal insertion unit 141 and a restoration unit 142.
  • the image signal insertion unit 141 inserts an empty image signal at the position of the input image signal that has been thinned out based on the input thinning information.
  • the image signal insertion unit 141 applies the arrangement pattern for each line based on the same order as that applied to the thinning in the compression unit 130 described above, and grasps the position of the thinned image signal. Then, an empty image signal 503 is inserted at this position.
  • the image signal insertion unit 141 can take a method of holding the input compressed frame in a line memory or the like and inserting empty data at the position of the thinned image signal.
  • the restoration unit 142 restores the thinned image signal. As described above, the restoration unit 142 interpolates the value of the image signal 504 by performing calculation using the upper, lower, left, and right image signals of the empty image signal 503, and sets the address corresponding to the empty image signal 503. It can be restored as data.
  • FIG. 14 is a diagram illustrating an example of the compression processing according to the first embodiment of the present technology.
  • the compression process of FIG. 9 is executed when the compression unit 130 compresses a frame.
  • the thinning information generation unit 110 generates thinning information based on a frame to be compressed (step S901).
  • the compression unit 130 removes the image signal to be thinned in the first line of the frame (step S902).
  • the arrangement pattern corresponding to the thinning rate of the thinning information is applied in a predetermined order.
  • the image signal is rearranged by the compression unit 130 (step S903).
  • step S904 it is determined whether or not processing has been performed for all the lines of the frame. If the next processing target line exists (step S904: Yes), the arrangement pattern is changed (step S905), and the processing from step S902 is executed again. On the other hand, when the process is completed for all lines (step S904: No), the compression unit 130 ends the compression process.
  • FIG. 15 is a diagram illustrating an example of the decompression process according to the first embodiment of the present technology.
  • the decompression process in FIG. 10 is executed when the decompression unit 140 decompresses a frame.
  • thinning information of a compressed frame to be decompressed is acquired (step S951). This is performed by reading out the thinning information corresponding to the compressed frame from the storage unit 200.
  • the decompression unit 140 inserts an empty image signal at the position of the thinned image signal in the first line of the frame (step S952). At this time, the arrangement pattern corresponding to the thinning rate of the thinning information is applied in a predetermined order.
  • step S953 the image signal thinned out by the decompression unit 140 is restored (step S953).
  • step S954 it is determined whether or not processing has been performed for all lines of the frame. If the next processing target line exists (step S954: Yes), the arrangement pattern is changed (step S955), and the processing from step S952 is executed again. On the other hand, when the processing is completed for all lines (step S954: No), the decompression unit 140 terminates the decompression processing.
  • Second Embodiment> compression and decompression are performed in the application order of the same arrangement pattern in a frame to which the same thinning rate is applied.
  • the arrangement pattern application order is changed for each of a plurality of consecutive frames. As a result, deterioration of image quality is prevented.
  • FIG. 16 is a diagram illustrating an example of a compression method according to the second embodiment of the present technology.
  • This figure corresponds to the case where the thinning rate is 1/8 and shows the application order of the arrangement pattern in the first to fourth frames which are continuous frames.
  • the arrangement pattern is applied in the order of the thinning position information 1 to 8, and these are applied in order from the first line.
  • the arrangement pattern application order does not change in the order of the thinning position information 1 to 8
  • the arrangement pattern of the thinning position information 2 is applied to the first line.
  • the arrangement pattern of the thinning position information 3 is applied to the first line.
  • the arrangement pattern of the thinning position information 1 to 8 is circulated and applied to each line of the frame, while the arrangement pattern starting from each frame is shifted and applied to each line.
  • the application order of the arrangement pattern is changed for each frame.
  • the application order of the arrangement pattern can be identified by, for example, thinning position information corresponding to the arrangement pattern applied to the first line.
  • the application order of the arrangement pattern can be identified by corresponding the thinning position information 1 to 4 to the first to fourth frames, respectively.
  • FIG. 17 is a diagram illustrating an example of thinning information according to the second embodiment of the present technology. As shown in the figure, the thinning rate and the thinning position information for each frame are recorded as the thinning information.
  • the positions of the thinned image signals in a plurality of consecutive frames are dispersed, so that the image quality can be improved.
  • compression and decompression are performed by the compression unit 130 and the decompression unit 140.
  • processing is performed by a plurality of compression units and decompression units, respectively. Thereby, the processing of the image processing unit 100 can be performed at high speed.
  • FIG. 18 is a diagram illustrating a configuration example of an image processing device according to the third embodiment of the present technology.
  • This image processing apparatus does not need to include the compression unit 130 and the expansion unit 140 as compared with the image processing apparatus described with reference to FIG. This is because the frame processing unit 150, the OSD image generation unit 170, the resolution conversion unit 160, and the OSD image display unit 180 have a compression or expansion function, as will be described later.
  • FIG. 19 is a diagram illustrating a configuration example of the frame processing unit 150 according to the third embodiment of the present technology. It is assumed that the frame processing unit 150 according to the third embodiment of the present technology performs interlace / progressive conversion and noise reduction as frame processing.
  • the frame processing unit 150 includes an interlace progressive conversion (IPC) unit 152, a noise reduction unit 153, a compression unit 154, and a line memory 155.
  • IPC interlace progressive conversion
  • the line memory 155 is a memory that temporarily holds a frame.
  • the IPC unit 152 changes the frame scanning method between interlaced and progressive.
  • the IPC unit 152 performs processing by holding the frame on the line memory. For example, when the frame scanning method is converted from interlaced to progressive, two consecutive frames are held in the line memory 155. Next, conversion is performed by taking out each line of these frames in order and combining them into one frame.
  • the noise reduction unit 153 removes noise included in the frame.
  • the noise reduction unit 153 can perform, for example, a two-dimensional noise reduction process that attenuates high-frequency components of image signals belonging to the same frame.
  • a frame is held in the line memory 155, and an average value of adjacent image signals is calculated to generate a new image signal, thereby leveling the image signal within the frame and removing noise. I do.
  • This method is mainly used for removing noise from the moving image part.
  • the compression unit 154 compresses frames based on the thinning information.
  • the compression unit 154 performs processing such as thinning of the image signal described with reference to FIG. At this time, the frame is held in the line memory 155, and image signals are removed and rearranged on the line memory 155.
  • FIG. 20 is a diagram illustrating a configuration example of the resolution conversion unit 160 according to the third embodiment of the present technology.
  • the resolution conversion unit 160 includes an expansion unit 161, a resolution conversion processing unit 162, and a line memory 165.
  • the line memory 165 is a memory that temporarily holds a frame.
  • the decompression unit 161 decompresses the compressed frame based on the thinning information.
  • the decompression unit 161 performs processing such as insertion of an image signal described in FIG. At this time, the compressed frame is held in the line memory 165, and an image signal is inserted and restored on the line memory 165.
  • the resolution conversion processing unit 162 performs a process of converting the resolution in the same manner as the resolution conversion unit 160 described in FIG. For example, when a high-resolution stream image (for example, a 4K image) is displayed on a display device that supports 2K images, the resolution conversion processing unit 162 performs resolution conversion. In this case, the conversion is performed by halving the number of frame image signals. As this conversion processing, for example, an average value of two image signals adjacent in the horizontal and vertical directions of the original frame (high-resolution image) is calculated, and this value is converted into a new frame image signal. be able to. At this time, the resolution conversion processing unit 162 stores the original frame in the line memory 165 and performs the above-described processing on the line memory 165.
  • a high-resolution stream image for example, a 4K image
  • the resolution conversion processing unit 162 performs resolution conversion. In this case, the conversion is performed by halving the number of frame image signals. As this conversion processing, for example, an average value of two image signals
  • the line memory 165 is configured with a storage capacity capable of holding a frame.
  • the interpolation processing described in FIG. 12 can be performed with high accuracy. More specifically, in FIG. 12, the image signals adjacent to the image signal 503 (image signals 505 to 508) are used when calculating the weighted average obtained by performing weighting based on the correlation.
  • the line memory 165 having a large storage capacity can be used, so that the correlation detection range can be expanded. For this reason, more accurate correlation can be detected, and highly accurate interpolation processing can be performed.
  • FIG. 21 is a diagram illustrating a configuration example of the OSD image generation unit 170 according to the third embodiment of the present technology.
  • the OSD image generation unit 170 includes an OSD image generation processing unit 171, a compression unit 174, and a line memory 175.
  • the line memory 175 is a memory that temporarily holds an OSD image.
  • the OSD image generation processing unit 171 performs the same processing as the OSD image generation unit 170 described with reference to FIG.
  • the OSD image generation processing unit 171 generates the OSD image (caption) by combining the input caption data with the image of the caption display area built in the OSD image generation unit 170. At this time, the image of the caption display area is held on the line memory 175, and the caption data is combined on the line memory 175.
  • the compression unit 174 compresses a frame (OSD image).
  • the operation of the compression unit 174 is the same as that of the compression unit 154 described in FIG.
  • FIG. 22 is a diagram illustrating a configuration example of the OSD image display unit 180 according to the third embodiment of the present technology.
  • the OSD image display unit 180 includes an expansion unit 181, an OSD image resolution conversion unit 182, and a line memory 185.
  • the line memory 185 is a memory that temporarily holds an OSD image.
  • the decompression unit 181 decompresses a frame (OSD image) compressed based on the thinning information.
  • the operation of the expansion unit 181 is the same as that of the expansion unit 161 described in FIG.
  • the OSD image resolution conversion unit 182 performs the same processing as the OSD image display unit 180 described with reference to FIG.
  • the OSD image resolution conversion unit 182 converts the OSD image generated by the OSD image generation unit 170 into an OSD image having a resolution suitable for the display device by deleting an image signal.
  • the OSD image resolution conversion unit 182 stores the OSD image in the line memory 185 and performs processing for converting the resolution on the line memory 185.
  • the frame processing unit 150 and the OSD image generation unit 170 in the third embodiment of the present technology each include the compression units 154 and 174, and the resolution conversion unit 160 and the OSD image display unit 180 each include the decompression unit 161. And 181 are incorporated.
  • the compression unit and decompression unit perform processing using a line memory included in the frame processing unit 150 and the like. Therefore, it is possible to individually perform compression and expansion processing in the frame processing unit 150 and the like without increasing the number of line memories necessary for compression and expansion processing. When displaying a moving image, it is necessary to sequentially process consecutive frames.
  • the frame processing unit 150 or the like individually performs compression and decompression processing and performs storage and reading with respect to the storage unit 200, processing of each unit in the image processing unit 100 can be made into pipeline processing, Processing can be performed at high speed.
  • FIG. 23 is a diagram illustrating a functional configuration example of the image processing unit 100 according to the fourth embodiment of the present technology.
  • This figure describes the thinning information generation unit 110, compression unit 130, decompression unit 140, frame processing unit 150, resolution conversion unit 160, OSD image display unit 180, and mixing unit 190 in the image processing unit 100. is there.
  • the image processing unit 100 according to the fourth embodiment of the present technology simultaneously processes two pieces of image data to generate two frames, mixes these into one frame, and outputs the mixed frame to the display device 300. This mixing is performed by the mixing unit 190 based on a mixing ratio described later. This mixing ratio is supplied by the processor 103.
  • the thinning information generation unit 110 generates thinning information for each frame based on a mixture ratio and two frames (frame 1 and frame 2), which will be described later, and supplies them to the compression unit 130 and the expansion unit 140.
  • the frame processing unit 150 performs processing for two frames.
  • the compression unit 130 compresses the two processed frames and the OSD image, and stores them in the storage unit 200.
  • the decompression unit 140 reads out the two processed compressed frames and the compressed OSD image from the storage unit 200 and performs decompression.
  • the resolution converter 160 converts the resolution of the two processed frames.
  • the mixing unit 190 mixes two resolution-converted frames and a resolution-converted OSD image to generate a display frame.
  • the mixing unit 190 includes a frame mixing unit 191 and a frame OSD image mixing unit 192.
  • the frame OSD image mixing unit 192 generates a display frame by mixing the frame and the OSD image, similarly to the mixing unit 190 described in FIG.
  • the frame mixing unit 191 performs mixing of two frames.
  • the frame mixing unit 191 mixes two resolution converted frames based on a predetermined mixing ratio. This mixing can be performed as follows.
  • Q ⁇ ⁇ P1 + (1 ⁇ ) ⁇ P2
  • P1 and P2 are the image signals of the frame before mixing
  • Q is the image signal of the frame after mixing
  • ⁇ is the mixing ratio.
  • the frame mixing unit 191 multiplies each frame by ⁇ or 1- ⁇ , and adds these to mix the two frames in a translucent state.
  • Such mixing is referred to as alpha blending.
  • the mixing ratio is 0.5, the ratio of the two frames to be mixed is equal.
  • mixing is performed by reducing the ratio of the frame.
  • the thinning rate can be increased for the thinly displayed frame. This is because the display quality is not noticeable even when the number of image signals to be thinned is large because the display is thin.
  • the thinning information generation unit 110 generates a thinning rate of two frames based on the mixing ratio. Specifically, the thinning rate of a frame in which a low mixing ratio is set is set to a value higher than the thinning rate of the other frame and is supplied to the compression unit 130 and the like. As a result, the thinning-out frame thinning rate can be increased and the frame capacity can be reduced.
  • the compression unit 130, the decompression unit 140, the frame processing unit 150, and the resolution conversion unit 160 process two frames at the same time. Two sets may be arranged. This is because two frames can be processed simultaneously.
  • the other configuration of the image processing unit 100 is the same as the configuration of the image processing unit described with reference to FIG.
  • the image processing unit 100 includes the compression unit 130 and the expansion unit 140, and the storage unit 200 stores the compressed frame.
  • the storage unit 200 includes a compression unit, and performs compression when outputting a frame to the image processing unit 100. This reduces the frequency of compression processing.
  • FIG. 24 is a diagram illustrating a configuration example of the storage unit 200 according to the fifth embodiment of the present technology.
  • the storage unit 200 includes an image processing unit interface 210, a control unit 220, a column address decoder 240, a row address decoder 250, a memory cell array 260, and a compression unit 230.
  • the image processing unit interface 210 is an interface for exchanging with the image processing unit 100.
  • the image processing unit interface 210 interprets the command output from the image processing unit 100 and outputs an address, data, and thinning information based on the command.
  • the memory cell array 260 is configured by two-dimensionally arranging memory cells for storing data. In writing and reading data, a desired memory cell is selected, and data is stored and stored data is read.
  • the memory cells arranged in two dimensions are connected to row and column wirings in an XY matrix, and each memory cell can be selected by selecting these wirings.
  • the control unit 220 outputs the address output from the image processing unit interface 210 by separating it into a row address and a column address.
  • the column address decoder is for selecting a column wiring of the memory cell array 260 based on the column address.
  • the row address decoder selects a row wiring of the memory cell array 260 based on the row address.
  • the compression unit 230 compresses data (output data) read from the memory cell array 260 based on the thinning information.
  • the configuration of the compression unit 230 is the same as that of the compression unit 130 described in FIG.
  • the image processing unit 100 according to the fifth embodiment of the present technology does not need to include the compression unit 130 described in FIG. Since the other configuration of the image processing apparatus is the same as that of the image processing apparatus described with reference to FIG.
  • a write command is output from the image processing unit 100, and a frame that is write data is output along with this.
  • the storage unit 200 interprets the write command and writes the frame data to the memory cell of the memory cell array 260 corresponding to the write destination address. As a result, the frame is stored.
  • the image processing unit 100 When the image processing unit 100 reads a frame from the storage unit 200, the image processing unit 100 outputs a read command.
  • the storage unit 200 interprets the read command, reads a frame from the memory cell of the memory cell array 260 corresponding to the read destination address, and then performs compression by the compression unit 230 to generate a compressed frame.
  • the compressed frame is output to the image processing unit 100.
  • the compressed frame output from the storage unit 200 is decompressed by the decompression unit 140 of the image processing unit 100.
  • the image processing apparatus according to the fifth embodiment of the present technology performs compression when a frame or the like is read from the storage unit 200.
  • the OSD image is rarely changed once it is generated. For this reason, it is possible to use a method in which an OSD image is generated and stored in the storage unit 200 when the system is started, and is read out and mixed with a frame as necessary to generate a display frame. This is to reduce the OSD image generation process. Therefore, in such a case, the image processing apparatus according to the fifth embodiment of the present technology is used, an uncompressed OSD image is stored in the storage unit 200, and based on a thinning rate according to a stream to be displayed. Then, the data is compressed in the storage unit 200 and transferred to the image processing unit 100. Thereby, it is possible to select and compress an appropriate thinning rate according to the frame to be displayed.
  • FIG. 25 is a diagram illustrating an example of processing of the image processing unit 100 according to the fifth embodiment of the present technology. This figure shows the flow of processing in each part of the image processing unit 100 as in FIG. Demultiplex processing and decoding are performed on the input stream to generate a frame, which is stored in the storage unit 200. This frame is read out, and based on this, the thinning information generation unit 110 generates thinning information.
  • the frame read from the storage unit 200 is processed by the frame processing unit 150 to generate a processed frame and stored in the storage unit 200.
  • the resolution of the processed frame read from the storage unit 200 is converted by the resolution conversion unit 160.
  • the OSD image is generated in advance by the OSD image generation unit 170 and stored in the storage unit 200.
  • the stored OSD image is compressed and read by the compression unit 230 of the storage unit 200 based on the thinning information generated by the thinning information generation unit 110 described above, and is expanded by the expansion unit 140.
  • the OSD image display unit 180 converts the resolution of the expanded OSD image.
  • a frame stored in the storage unit 200 in an uncompressed state is compressed based on a thinning rate as necessary and output from the storage unit 200. It is possible to prevent the display quality of the frame from being deteriorated.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • a storage unit that supplies a compressed frame, which is the frame that has been compressed by thinning to remove a part of the plurality of image signals in a frame configured by a plurality of image signals;
  • An image processing unit comprising: a decompression unit that decompresses the compressed frame by restoring the thinned image signal in the supplied compressed frame based on the thinning information that is the thinning information for each frame.
  • apparatus (2) a thinning information generation unit for generating the thinning information;
  • the image processing apparatus according to (1) further comprising: a compression unit that performs the compression of the frame by the decimation based on the decimation information and stores the compression in the storage unit.
  • the thinning information generation unit generates, as the thinning information, a thinning rate that is a ratio of the number of image signals to be thinned with respect to the number of image signals included in the frame.
  • the image processing device wherein the compression unit performs the thinning by determining the number of image signals to be thinned based on the thinning rate.
  • the compression unit applies a plurality of arrangement patterns, which are information on the arrangement of the image signals to be thinned, on the line obtained by dividing the frame in the horizontal direction to the thinning for each line in a predetermined order.
  • the image processing apparatus performs the expansion by applying the arrangement pattern to the restoration for each line in the predetermined order.
  • the thinning information generation unit generates the thinning rate and thinning position information that is information in the predetermined order as the thinning information.
  • the thinning information generation unit generates the thinning position information that is different for each of the plurality of frames that are continuous with the thinning rate as the thinning information.
  • (9) further comprising a thinning information generation unit for generating the thinning information;
  • the image processing apparatus wherein the storage unit stores the frame, performs the compression of the stored frame by the thinning based on the thinning information, and supplies the compressed frame to the expansion unit.
  • the thinned image signal in the compressed frame which is the frame that has been compressed by thinning to remove a part of the plurality of image signals in a frame composed of a plurality of image signals, for each frame
  • An image processing method comprising a decompression procedure for decompressing the compressed frame by restoring based on the thinning information that is the thinning information.
  • DESCRIPTION OF SYMBOLS 100 Image processing part 102 Demultiplexer 103 Processor 104 Storage part interface 110 Decimation information generation part 120 Video decoder 130,154,174,230 Compression part 131 Image signal removal part 132 Image signal rearrangement part 140,161,181 Expansion part 141 Image Signal insertion unit 142 Restoration unit 150 Frame processing unit 152 IPC unit 153 Noise reduction unit 155, 165, 175, 185 Line memory 160 Resolution conversion unit 162 Resolution conversion processing unit 170 OSD image generation unit 171 OSD image generation processing unit 180 OSD image display Unit 182 OSD image resolution conversion unit 190 mixing unit 191 frame mixing unit 192 frame OSD image mixing unit 200 storage unit 210 image processing unit interface 20 control unit 240 a column address decoder 250 row address decoder 260 memory cell array 300 display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

画像信号からなるフレームを記憶装置に記憶する際の圧縮および伸張を簡便な処理により行う。　画像処理装置において、記憶部は、複数の画像信号により構成されるフレームにおいて複数の画像信号の一部を除去する間引きにより圧縮が行われたフレームである圧縮フレームを供給する。伸張部は、供給された圧縮フレームにおける間引きされた画像信号をフレーム毎の間引きの情報である間引き情報に基づいて復元することにより圧縮フレームの伸張を行う。

Description

画像処理装置および画像処理方法
　本技術は、画像処理装置および画像処理方法に関する。詳しくは、画像処理の過程で一時的に記憶装置に画像信号を記憶させる画像処理装置および画像処理方法に関する。
　従来、インターネット等を経由して供給されるストリームを処理して表示用の画像信号に変換する画像処理システムが使用されている。このストリームから表示用の画像信号を生成する際、各種の画像処理、例えば、画像の解像度を表示装置に合わせて変換する解像度変換処理等が行われる。これらの処理のたびに、１画面分の画像信号であるフレームを単位として処理された画像信号がメモリに記憶される。このフレームは、比較的容量が大きいため、大容量のＤＲＡＭ（Dynamic Random Access Memory）に記憶される。また、動画を表示する際には時系列のフレームを逐次処理する必要があり、ＤＲＡＭに対するアクセスが増加する。この結果、ＤＲＡＭアクセスのための消費電力が増加するという問題がある。そこで、フレームを圧縮してＤＲＡＭに記憶させ、読み出した後に伸張して上述の画像処理に使用するシステムが提案されている（例えば、特許文献１参照。）。
特開２０１０－２５１８８２号公報
　上述の従来技術は、ＤＲＡＭに記憶させる前に圧縮することによりフレームの容量を減らし、ＤＲＡＭアクセスのための消費電力を削減するものである。この圧縮は画像信号を間引くことにより行われ、異なる間引き方法により生成された２つのフレームがＤＲＡＭに記憶される。これらを伸張する際には、２つのフレームから超解像処理を行って元のフレームを復元する。ここで、超解像処理とは、複数の低解像度フレームから１つの高解像度フレームを生成する処理である。演算を繰返し行って低解像度フレームから高解像度フレームを推定する方式が使用される。このように、上述の従来技術では、圧縮した２つフレームの復元を超解像処理により行うため、処理が複雑になるという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、フレームを記憶装置に記憶させる際の圧縮および伸張を簡便な処理により行うことを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の画像信号により構成されるフレームにおいて上記複数の画像信号の一部を除去する間引きにより圧縮が行われた上記フレームである圧縮フレームを供給する記憶部と、上記供給された上記圧縮フレームにおける上記間引きされた上記画像信号を上記フレーム毎の上記間引きの情報である間引き情報に基づいて復元することにより上記圧縮フレームの伸張を行う伸張部とを具備する画像処理装置である。これにより、上記圧縮フレームが記憶部から供給されて伸張されるという作用をもたらす。
　また、この第１の側面において、上記間引き情報を生成する間引き情報生成部と、上記間引き情報に基づく上記間引きにより上記フレームの上記圧縮を行って上記記憶部に記憶させる圧縮部とをさらに具備してもよい。これにより、上記間引きによりフレームの圧縮が行われるという作用をもたらす。
　また、この第１の側面において、上記間引き情報生成部は、上記フレームに含まれる上記画像信号数に対する上記間引きの対象となる上記画像信号数の比率である間引き率を上記間引き情報として生成し、上記圧縮部は、上記間引き率に基づいて上記間引きの対象となる上記画像信号数を決定して上記間引きを行ってもよい。これにより、上記間引き率に基づいて間引きが行われるという作用をもたらす。
　また、この第１の側面において、上記圧縮部は、上記フレームを水平方向に分割したラインにおける上記間引き対象の上記画像信号の配置の情報である複数の配置パターンを所定の順序により上記ライン毎の上記間引きに適用して上記圧縮を行い、上記伸張部は、上記配置パターンを上記所定の順序により上記ライン毎の上記復元に適用して上記伸張を行ってもよい。これにより、予め設定された順序により上記配置パターンが上記間引きおよび上記復元に適用されるという作用をもたらす。
　また、この第１の側面において、上記間引き情報生成部は、上記間引き率と上記所定の順序の情報である間引き位置情報とを上記間引き情報として生成してもよい。これにより、上記間引き率および上記間引き位置情報が間引き情報として生成されるという作用をもたらす。
　また、この第１の側面において、上記間引き情報生成部は、上記間引き率と連続する複数の上記フレーム毎に異なる上記間引き位置情報とを上記間引き情報として生成してもよい。これにより、連続する複数の上記フレーム毎に異なる上記間引き位置情報が生成されるという作用をもたらす。
　また、この第１の側面において、上記圧縮部は、上記間引きの対象となる上記画像信号が水平方向に隣接しない配置となる上記配置パターンに基づいて上記圧縮を行ってもよい。これにより、上記間引きの対象となる上記画像信号が水平方向に隣接しない配置になるという作用をもたらす。
　また、この第１の側面において、上記フレームとは異なるフレームである第２のフレームと上記フレームとを所定の混合比率に基づいて混合して新たなフレームを生成するフレーム混合部をさらに具備し、上記間引き情報生成部は、上記混合比率に基づいて上記フレームおよび上記第２のフレームの上記間引き率を上記間引き情報として生成してもよい。これにより、上記混合比率に基づく上記フレームおよび上記第２のフレームの上記間引き率が上記間引き情報として生成されるという作用をもたらす。
　また、この第１の側面において、上記間引き情報を生成する間引き情報生成部をさらに具備し、上記記憶部は、上記フレームを記憶し、上記間引き情報に基づく上記間引きにより上記記憶した上記フレームの上記圧縮を行って上記伸張部に供給してもよい。これにより、上記フレームが記憶部において圧縮されるという作用をもたらす。
　また、本技術の第２の側面は、複数の画像信号により構成されるフレームにおいて上記複数の画像信号の一部を除去する間引きにより圧縮が行われた上記フレームである圧縮フレームにおける上記間引きされた上記画像信号を上記フレーム毎の上記間引きの情報である間引き情報に基づいて復元することにより上記圧縮フレームの伸張を行う伸張手順を具備する画像処理方法である。これにより、上記圧縮フレームが記憶部から供給されて伸張されるという作用をもたらす。
　本技術によれば、フレームを記憶装置に記憶させる際の圧縮および伸張を簡便な処理により行うという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における画像処理装置の構成例を示す図である。 本技術の第１の実施の形態における画像処理装置の機能構成例を示す図である。 本技術の第１の実施の形態における画像処理部１００の処理の一例を示す図である。 本技術の実施の形態における圧縮方法の一例を示す図である。 本技術の第１の実施の形態における間引き情報例を示す図である。 本技術の実施の形態における配置パターン（間引き率１／８）例を示す図である。 本技術の実施の形態における配置パターン（間引き率２／８）例を示す図である。 本技術の実施の形態における配置パターン（間引き率３／８）例を示す図である。 本技術の実施の形態における配置パターン（間引き率４／８）例を示す図である。 本技術の第１の実施の形態における圧縮部１３０の構成例を示す図である。 本技術の実施の形態における伸張方法の一例を示す図である。 本技術の実施の形態における画像信号の復元方法の一例を示す図である。 本技術の第１の実施の形態における伸張部１４０の構成例を示す図である。 本技術の第１の実施の形態における圧縮処理の一例を示す図である。 本技術の第１の実施の形態における伸張処理の一例を示す図である。 本技術の第２の実施の形態における圧縮方法の一例を示す図である。 本技術の第２の実施の形態における間引き情報例を示す図である。 本技術の第３の実施の形態における画像処理装置の構成例を示す図である。 本技術の第３の実施の形態におけるフレーム処理部１５０の構成例を示す図である。 本技術の第３の実施の形態における解像度変換部１６０の構成例を示す図である。 本技術の第３の実施の形態におけるＯＳＤイメージ生成部１７０の構成例を示す図である。 本技術の第３の実施の形態におけるＯＳＤイメージ表示部１８０の構成例を示す図である。 本技術の第４の実施の形態における画像処理部１００の機能構成例を示す図である。 本技術の第５の実施の形態における記憶部２００の構成例を示す図である。 本技術の第５の実施の形態における画像処理部１００の処理の一例を示す図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（間引き情報として間引き率を使用する場合の例）
　２．第２の実施の形態（間引き情報として間引き率および間引き位置情報を使用する場合の例）
　３．第３の実施の形態（複数の圧縮部および伸張部を使用する場合の例）
　４．第４の実施の形態（２つのフレームを混合して表示する場合の例）
　５．第５の実施の形態（記憶部が圧縮部を備える場合の例）
　＜１．第１の実施の形態＞
　［画像処理装置の構成］
　図１は、本技術の第１の実施の形態における画像処理装置の構成例を示す図である。この画像処理装置は、画像処理部１００と、記憶部２００とを備える。
　画像処理部１００は、入力されたストリームを処理して１画面分の画像信号であるフレームを生成し、表示装置３００に適合する形式に変換した表示用フレームを出力するものである。出力された表示用フレームは、表示装置３００にて表示される。
　記憶部２００は、画像処理部１００における処理の過程で生成されたフレーム等のデータを記憶するものである。この記憶部２００は、後述するように圧縮されたフレームを画像処理部１００に供給する。また、この記憶部２００には、ＳＤＲＡＭ（Synchronous DRAM）等の高速にアクセス可能なＤＲＡＭを使用することができる。
　［画像処理部の構成］
　同図の画像処理部１００は、デマルチプレクサ１０２と、プロセッサ１０３と、記憶部インターフェース１０４と、ビデオデコーダ１２０と、圧縮部１３０と、伸張部１４０と、フレーム処理部１５０と、解像度変換部１６０とを備える。また、画像処理部１００は、オンスクリーンディスプレイ（ＯＳＤ：On Screen Display）イメージ生成部１７０と、ＯＳＤイメージ表示部１８０と、混合部１９０とをさらに備える。これらは、バス１０１により相互に接続される。
　デマルチプレクサ１０２は、デマルチプレクスを行うものである。このデマルチプレクスは、多重化された画像データ、音声データおよび字幕データをストリームから分離する処理である。
　プロセッサ１０３は、画像処理部１００の全体を制御するものである。このプロセッサ１０３は、ファームウェアに基づいて画像処理部１００の各部を制御する。なお、このファームウェアは図示しないＲＯＭ（Read Only Memory）に記憶される。
　記憶部インターフェース１０４は、記憶部２００とのやり取りを行うインターフェースである。
　ビデオデコーダ１２０は、デマルチプレクサ１０２により分離された画像データを連続する複数のフレームに変換するものである。このビデオデコーダ１２０は、符号化された画像データの復号を行うことにより、画像データをフレームに変換する。
　圧縮部１３０は、後述する間引き情報に基づいてフレームの圧縮を行うものである。ここで、フレームのデータ量を削減することを圧縮と称する。圧縮されたフレーム（以下、圧縮フレームと称する）は、記憶部２００に記憶される。圧縮部１３０における圧縮の詳細については、後述する。
　伸張部１４０は、間引き情報に基づいて記憶部２００に保持された圧縮フレームの伸張を行うものである。ここで、圧縮フレームを元のフレームに戻すことを伸張と称する。伸張部１４０における伸張の詳細については、後述する。
　フレーム処理部１５０は、フレームを処理するものである。このフレームの処理には、例えば、フレームの走査方式をインターレースおよびプログレッシブ相互に変更するインターレース・プログレッシブ変換処理やフレームに含まれるノイズを除去するノイズリダクション処理等が該当する。
　解像度変換部１６０は、フレームの解像度を変換するものである。この解像度変換部１６０は、フレームの解像度と表示装置３００の解像度とが異なる場合に、フレームの解像度を表示装置３００の解像度に変換する。
　ＯＳＤイメージ生成部１７０は、オンスクリーンディスプレイ（ＯＳＤ）イメージを生成するものである。ここで、ＯＳＤイメージとは、字幕部分やアイコン、メニュー等のユーザインターフェースであり、ストリーム等により供給された画像等に重畳されて表示される画像である。このＯＳＤイメージもフレームの一種であり、圧縮部１３０による圧縮および伸張部１４０による伸張の対象として処理される。
　ＯＳＤイメージ表示部１８０は、ＯＳＤイメージ生成部１７０により生成されたＯＳＤイメージの解像度を表示装置３００の解像度に変換するものである。
　混合部１９０は、解像度変換部１６０およびＯＳＤイメージ表示部１８０によりそれぞれ解像度が変換されたフレームおよびＯＳＤイメージを混合して１つのフレームを生成するものである。生成されたフレームは、表示用フレームとして表示装置３００に対して出力される。混合部１９０における混合方法としてフレームおよびＯＳＤイメージを所定の混合比率に基づいて混合するアルファブレンドを使用することができる。この混合比率は、フレームの画像等に基づいてプロセッサ１０３により決定される。
　なお、同図のデマルチプレクサ１０２等は専用ハードウェアにより実現されているが、プロセッサ１０３が実行するソフトウェアによる処理として実現することもできる。
　次に、画像処理部１００と記憶部２００との間のデータのやり取りについて説明する。フレーム等を記憶部２００に記憶させる際には、プロセッサ１０３が書込みを指示するコマンド（書込みコマンド）を生成し、記憶部２００に対して出力する。このコマンドに付随して、書込み先のアドレスおよび書込み対象のデータが記憶部２００に対して出力される。記憶部２００は、書込みコマンドを解釈して書き込み先のアドレスに書き込み対象のデータを記憶させる。一方、記憶部２００からフレーム等を読み出す場合には、プロセッサ１０３が読出しを指示するコマンド（読出しコマンド）を生成し、記憶部２００に対して出力する。このコマンドに付随して、読出し先のアドレスが記憶部２００に対して出力される。記憶部２００は、読出しコマンドを解釈して読出し先のアドレスに記憶されたデータを画像処理部１００に対して出力する。このように、画像処理部１００と記憶部２００との間のデータのやり取りが行われる。
　図２は、本技術の第１の実施の形態における画像処理装置の機能構成例を示す図である。同図は、画像処理部１００の各部および記憶部２００の機能構成とフレーム等のデータの流れを表したものである。同図の画像処理部１００は、間引き情報生成部１１０を備える点で図１において説明した画像処理部１００と異なっている。この間引き情報生成部１１０は、後述する間引き情報をフレームに基づいて生成し、圧縮部１３０および伸張部１４０に供給するものである。間引き情報生成部１１０の処理は、例えば、図１において説明したプロセッサ１０３によりソフトウェアにより実行される。
　画像処理装置に入力されたストリームは、デマルチプレクサ１０２により画像データ、音声データおよび字幕データに分離され、それぞれ記憶部２００に記憶される。このうち音声データは、スピーカ等（不図示）により音声に変換されて出力される。
　一方、画像データは、記憶部２００から読み出されて、ビデオデコーダ１２０に入力される。このビデオデコーダ１２０により、画像データはフレームに変換されて、記憶部２００に記憶される。次に、このフレームは、記憶部２００から読み出されて、フレーム処理部１５０に入力される。フレーム処理部１５０により、処理されたフレーム（以下、処理済みフレームと称する）は、圧縮部１３０により圧縮されて記憶部２００に記憶される。この際、間引き情報生成部１１０が後述する間引き情報をフレームに基づいて生成し、この生成された間引き情報に基づいて圧縮部１３０による圧縮が行われる。次に、圧縮された処理済みフレーム（以下、処理済み圧縮フレームと称する）は、記憶部２００から読み出されて、伸張部１４０により伸張され、再度処理済みフレームに変換される。この処理済み変換フレームは、解像度変換部１６０により解像度が変換されて、混合部１９０に入力される。
　また、字幕データは、記憶部２００から読み出されてＯＳＤイメージ生成部１７０に入力される。この字幕データに基づいてＯＳＤイメージが生成される。また、アイコンやメニューを表示させる際にもＯＳＤイメージ生成部１７０によりＯＳＤイメージが生成される。これら生成されたＯＳＤイメージは、圧縮部１３０により圧縮されて記憶部２００に記憶される。この際にも、間引き情報生成部１１０が生成する間引き情報に基づいて圧縮部１３０による圧縮が行われる。次に、圧縮されたＯＳＤイメージは、記憶部２００から読み出され、伸張部１４０により伸張されて、ＯＳＤイメージ表示部１８０に入力される。ＯＳＤイメージ表示部１８０により、ＯＳＤイメージの解像度が変換されて混合部１９０に入力される。
　解像度が変更された処理済みフレームおよびＯＳＤイメージが混合部１９０により混合され、表示用フレームとして出力される。
　このように、処理済みフレームおよびＯＳＤイメージが圧縮部１３０により圧縮されて記憶部２００に記憶される。また、圧縮されたこれらのフレームが記憶部２００から読み出された後に伸張部１４０により伸張される。これらにより、記憶部２００との間で転送されるデータ量が削減され、消費電力を低減することができる。
　図３は、本技術の第１の実施の形態における画像処理部１００の処理の一例を示す図である。同図は、図２において説明した機能構成図の各部における処理の流れを表したものである。同図において「ＤＲＡＭ」と表記された部分の処理は、フレーム等が記憶部２００に記憶される処理または記憶部２００からフレーム等を読み出す処理を表している。
　まず、画像処理部１００に入力されたストリームはデマルチプレクサ１０２によりデマルチプレクス処理が行われ、ストリームから分離された画像データが記憶部２００に記憶される。次に、記憶部２００に記憶された画像テータが読み出されて、ビデオデコーダ１２０により復号されてフレームが生成されて、記憶部２００に記憶される。次に、記憶部２００に記憶されたフレームが読み出され、間引き情報生成部１１０が読み出されたフレームに基づいて間引き情報を生成する。生成された間引き情報は、以降の圧縮部１３０における圧縮処理および伸張部１４０における伸張処理に使用される。また、記憶部２００から読み出されたフレームは、フレーム処理部１５０により処理されて処理済みフレームが生成され、圧縮部１３０により圧縮されて記憶部２００に記憶される。次に、記憶部２００から読み出された処理済み圧縮フレームが伸張部１４０により伸張され、解像度変換部１６０により解像度が変換される。
　一方、ＯＳＤイメージは、ＯＳＤイメージ生成部１７０により生成され、圧縮部１３０により圧縮されて、記憶部２００に記憶される。次に、記憶部２００から読み出された圧縮されたＯＳＤイメージが伸張部１４０により伸張されて、ＯＳＤイメージ表示部１８０により解像度が変換される。
　最後に、解像度が変更された処理済みフレームおよびＯＳＤイメージが混合部１９０により混合される。
　［圧縮方法］
　図４は、本技術の実施の形態における圧縮方法の一例を示す図である。同図に記載された円は、フレームにおける画像信号を表している。このように、フレームは、画像信号が２次元に配置されて構成されている。フレームを水平方向に分割した際の複数の画像信号がラインに該当する。同図のフレームは、ｎ本のラインを有している。同図の画像信号に付された番号は、各ラインの先頭からの位置を表している。
　本技術の実施の形態における圧縮は、画像信号の間引きにより行われる。ここで、間引きとは、フレームを構成する複数の画像信号の一部を除去することである。同図の画像信号のうち点線により記載された画像信号５０１が間引き対象の画像信号に該当する。この間引き対象の画像信号を除去し、他の画像信号５０２のみにより構成されたフレームに変換することにより圧縮を行うことができる。間引きは、フレームに含まれる画像信号数に対する間引き対象となる画像信号数の比率である間引き率に基づいて行うことができる。同図では、８個の画像信号毎に１個の画像信号を間引きしており、間引き率は１／８になる。間引き率が高いほど圧縮後のフレームの画像信号数が少なくなり、高い圧縮率にすることができる。また、間引き率は、フレームを構成する全てのラインに対して同じ値にすることができる。
　この間引き率は、前述した間引き情報に該当し、図２において説明した間引き情報生成部１１０によりフレーム毎に生成される。この際、間引き情報生成部１１０は、フレームの解像度等に基づいて間引き情報を生成することができる。例えば、解像度が高いフレームの場合やマルチ画面のように複数の画像を表示する場合には高い間引き率とし、解像度が低いフレームの場合には低い間引き率とした間引き情報を生成することができる。
　同図では、ライン内の間引き対象の画像信号５０１が水平方向に隣接しない配置となっている。これにより、ラインにおいて間引き対象の画像信号５０１が集中することを防ぐことができる。後述するように、圧縮フレームを元のフレーム変換する際、間引かれた画像信号を復元する処理が行われる。この復元された画像信号がライン内の特定の位置に集中すると画像の劣化が目立ち、画質が低下するためである。また、同図では、ライン毎に間引き対象の画像信号５０１の位置をずらしている。これにより、フレームの特定の列に間引き対象の画像信号が集中することを防ぐことができる。特定の列への復元された画像信号の集中を防ぐためである。同図のように間引き率が１／８の場合、間引き対象の画像信号および他の画像信号の配置の組合せは、８通り存在する。ここで、この組合せを配置パターンと称する。この８通りの配置パターンをフレームにおける第１のラインから順に適用して間引きを行うことにより、間引き対象の画像信号５０１の位置をライン毎にずらすことができる。
　［間引き情報］
　図５は、本技術の第１の実施の形態における間引き情報例を示す図である。同図に表したように、フレーム毎の間引き率が間引き情報として記録される。この間引き情報は、圧縮部１３０による圧縮の後に、記憶部２００に記憶させてもよい。伸張部１４０において圧縮フレームの伸張を行う際には、圧縮フレームに対応した間引き情報を記憶部２００から読み出して使用することができる。なお、この間引き情報は、フレーム毎の画像の情報、例えば表示位置やカラーフォーマット等の画像パラメータとともに保持する方式を使用することもできる。また、間引き情報を圧縮フレームに付加して記憶部２００に記憶させることもできる。この場合、圧縮部１３０が圧縮フレームに間引き情報を付加し、伸張部１４０が間引き情報を圧縮フレームから取り出して伸張を行う。さらに、間引き情報をフレームのライン毎に付加する構成を採ることもできる。この場合には、ライン単位で間引情報が生成される。これにより、間引き率をライン毎に変更することが可能となる。
　［配置パターン］
　図６は、本技術の実施の形態における配置パターン（間引き率１／８）例を示す図である。同図におけるａは、間引き率１／８の場合の配置パターンの例を表したものである。これは、図５と同様に、８個の画像信号に対して１個の間引き対象の画像信号５０１が配置された場合の例である。同図におけるｂは、間引き率１／８の場合の配置パターンの例を表したものである。前述のように、間引き率１／８の場合には、８通りの配置パターンが存在する。この８通りの配置パターンがライン毎に順に適用されて間引きが行われる。
　同図におけるｂは、間引き対象の画像信号５０１がライン毎に右方向にシフトする順に配置パターンが適用されて間引きが行われる例を表している。配置パターンは、間引き位置情報により識別することができる。同図におけるｂでは、８通りの配置パターンのそれぞれに間引き位置情報として１乃至８を付している。これらの配置パターンのフレームにおける各ラインへの適用順序を予め定めておき、この順序に基づいてフレームの圧縮および伸張を行うことができる。例えば、間引き位置情報１乃至８に対応する配置パターンがこの順に各ラインに適用されるものと定めることができる。この場合、フレームの第１のラインから順に間引き位置情報１乃至８に対応する配置パターンが適用されて、圧縮および伸張の際に使用される。
　各ラインにおける間引き対象の画像信号の位置は、次式により算出することができる。
　　Ｎ＝（（ａ＋ｂ－２）％８＋１）+８×ｎ　　・・・（式１）
ただし、Ｎは、間引き対象の画像信号の各ラインにおける先頭からの位置を表す。ａは、間引き率に応じた間引き対象の画像信号の位置を表す。同図の例では、ａ＝１となる。ｎは、０および正の整数を表す。すなわち、ｎ＝０、１、２・・・である。なお、％は、剰余演算を表す演算子である。
　図７は、本技術の実施の形態における配置パターン（間引き率２／８）例を示す図である。同図におけるａは、間引き率２／８の場合の配置パターンの例を表したものであり、８個の画像信号に対して２個の間引き対象の画像信号が配置される。同図におけるｂは、間引き率２／８の場合の配置パターンの例を表したものである。同図におけるｂの間引き位置情報は図６と同様であるため、説明を省略する。同図においても、各ラインにおける間引き対象の画像信号の位置は、式１により算出することができる。ただし、ａ＝１、５となる。
　図８は、本技術の実施の形態における配置パターン（間引き率３／８）例を示す図である。同図におけるａは、間引き率３／８の場合の配置パターンの例を表したものであり、８個の画像信号に対して３個の間引き対象の画像信号が配置される。同図におけるｂは、間引き率３／８の場合の配置パターンの例を表したものである。各ラインにおける間引き対象の画像信号の位置は、式１においてａ＝１、３、５とすることにより算出することができる。
　図９は、本技術の実施の形態における配置パターン（間引き率４／８）例を示す図である。同図におけるａは、間引き率４／８の場合の配置パターンの例を表したものであり、８個の画像信号に対して４個の間引き対象の画像信号が配置される。同図におけるｂは、間引き率４／８の場合の配置パターンの例を表したものである。各ラインにおける間引き対象の画像信号の位置は、式１においてａ＝１、３、５、７とすることにより算出することができる。
　前述のように、ライン内の間引き対象の画像信号５０１を水平方向に隣接しない配置にするため、間引き率は最大でも４／８すなわち１／２にする必要がある。このため、同図の配置パターンが本技術の実施の形態における最大の間引き率となる。同図におけるｂにおいて、画像信号は斜め方向の１ライン毎に間引きされており、斜め方向の解像度は１／２になる。一方、画像信号の垂直および水平方向については、間引き前と同じ解像度が維持されており、後述する伸張処理を容易に行うことができる。多くの自然画では、斜め方向の解像度より垂直および水平方向の解像度の方が高いため、本技術の実施の形態の圧縮および伸張方式は、自然画を処理するシステムに適合する方式である。
　［圧縮部の構成］
　図１０は、本技術の第１の実施の形態における圧縮部１３０の構成例を示す図である。この圧縮部１３０は、画像信号除去部１３１と、画像信号並べ替え部１３２とを備える。
　画像信号除去部１３１は、入力された間引き情報のうちの間引き率に基づいて、入力されたフレームから間引き対象の画像信号を除去するものである。この画像信号除去部１３１は、間引き率に対応する配置パターンを予め定められた順序によりライン毎の間引きに適用する。この際、画像信号除去部１３１は、入力されたフレームをラインメモリ等に保持し、間引き対象の画像信号に対応するアドレスのデータを削除する方式を採ることができる。
　画像信号並べ替え部１３２は、画像信号除去部１３１により除去された画像信号の位置に除去対象でない画像信号を配置する並べ替えを行い、フレームのサイズを縮小するものである。この並べ替え部１３２は、上述のラインメモリにおいて、間引き対象の画像信号に対応するアドレスのデータを埋めるように除去対象でない画像信号のデータをラインメモリ上で移動させる処理を行うことができる。
　なお、ラインメモリに保持されたフレームの間引き対象の画像信号に対応するアドレスのデータに間引き対象でない画像信号のデータを上書きして並べ替えを行うことにより圧縮することもできる。
　［伸張方法］
　図１１は、本技術の実施の形態における伸張方法の一例を示す図である。まず、配置パターンに基づいて空きの画像信号５０３を間引き対象の画像信号の位置に挿入する。次に、挿入した画像信号５０３の周囲の画像信号に基づいて間引きされた画像信号を復元する。この復元された画像信号５０４を画像信号５０３の位置に上書きする。これにより、フレームの伸張を行うことができる。
　［画像信号の復元］
　図１２は、本技術の実施の形態における画像信号の復元方法の一例を示す図である。同図は、空きの画像信号５０３の位置の画像信号を復元する場合の例を表したものであり、空きの画像信号５０３の上下左右に配置された画像信号（画像信号５０５乃至５０８）から画像信号５０４を補間することにより復元する場合の例である。この方式として、画像信号５０５乃至５０８の平均値を算出して画像信号５０４を補間する方式を使用することができる。また、上下の画像信号（画像信号５０５および５０６）および左右の画像信号（画像信号５０７および５０８）の相関関係に基づく重み付けを行った加重平均を算出して画像信号５０４を補間する方式を使用することもできる。具体的には、上下の画像信号および左右の画像信号のそれぞれの差分を算出し、差分が小さい方の画像信号（上下の画像信号または左右の画像信号）に大きな重み付けを行って加重平均を算出することができる。これにより、相関関係に基づいた補間を行うことができる。また、図９において説明した、間引き率４／８の場合においても、復元の対象となる画像信号の上下左右の画像信号を使用し、相関関係に基づく補間を行うことができる。
　［伸張部の構成］
　図１３は、本技術の第１の実施の形態における伸張部１４０の構成例を示す図である。この伸張部１４０は、画像信号挿入部１４１と、復元部１４２とを備える。
　画像信号挿入部１４１は、入力された間引き情報に基づいて、入力された圧縮フレームの間引きされた画像信号の位置に空きの画像信号を挿入するものである。この画像信号挿入部１４１は、前述した圧縮部１３０における間引きに適用された順序と同じ順序に基づいて配置パターンをライン毎に適用し、間引きされた画像信号の位置を把握する。そして、この位置に空きの画像信号５０３を挿入する。この際、画像信号挿入部１４１は、入力された圧縮フレームをラインメモリ等に保持し、間引きされた画像信号の位置に空きデータを挿入する方式を採ることができる。
　復元部１４２は、間引きされた画像信号の復元を行うものである。この復元部１４２は、上述したように、空きの画像信号５０３の上下左右の画像信号を用いた演算を行うことにより、画像信号５０４の値を補間し、空きの画像信号５０３に対応するアドレスのデータとして保持させて、復元を行うことができる。
　［圧縮処理］
　図１４は、本技術の第１の実施の形態における圧縮処理の一例を示す図である。同図の圧縮処理は、圧縮部１３０においてフレームの圧縮を行う際に実行される。まず、間引き情報生成部１１０により圧縮の対象となるフレームに基づいた間引き情報が生成される（ステップＳ９０１）。次に、間引き情報に基づいて、圧縮部１３０がフレームの第１ラインにおける間引き対象の画像信号の除去を行う（ステップＳ９０２）。この際、間引き情報の間引き率に応じた配置パターンが予め定められた順に適用される。次に、圧縮部１３０により画像信号の並べ替えが行われる（ステップＳ９０３）。次に、フレームの全てのラインについて処理が行われたか否かが判断される（ステップＳ９０４）。次の処理対象のラインが存在する場合には（ステップＳ９０４：Ｙｅｓ）、配置パターンを変更し（ステップＳ９０５）、再度ステップＳ９０２からの処理を実行する。一方、全てのラインについて処理が終了した場合には（ステップＳ９０４：Ｎｏ）、圧縮部１３０は、圧縮処理を終了する。
　［伸張処理］
　図１５は、本技術の第１の実施の形態における伸張処理の一例を示す図である。同図の伸張処理は、伸張部１４０においてフレームの伸張を行う際に実行される。まず、伸張の対象となる圧縮フレームの間引き情報を取得する（ステップＳ９５１）。これは、圧縮フレームに対応する間引き情報が記憶部２００から読み出されることにより行われる。次に、間引き情報に基づいて、伸張部１４０がフレームの第１ラインにおける間引きされた画像信号の位置に空きの画像信号を挿入する（ステップＳ９５２）。この際、間引き情報の間引き率に応じた配置パターンが予め定められた順に適用される。次に、伸張部１４０により間引きされた画像信号の復元が行われる（ステップＳ９５３）。次に、フレームの全てのラインについて処理が行われたか否かが判断される（ステップＳ９５４）。次の処理対象のラインが存在する場合には（ステップＳ９５４：Ｙｅｓ）、配置パターンを変更し（ステップＳ９５５）、再度ステップＳ９５２からの処理を実行する。一方全てのラインについて処理が終了した場合には（ステップＳ９５４：Ｎｏ）、伸張部１４０は、伸張処理を終了する。
　このように、本技術の第１の実施の形態では、比較的簡便な処理である画像信号の間引きおよび補間によりフレームの圧縮および伸張を行うことができる。
　＜２．第２の実施の形態＞
　上述の実施の形態では、同一の間引き率が適用されたフレームにおいて同一の配置パターンの適用順序により圧縮および伸張が行われていた。これに対し、本技術の第２の実施の形態では、連続する複数のフレーム毎に配置パターンの適用順序を変更する。これにより、画質の低下を防止する。
　［圧縮方法］
　図１６は、本技術の第２の実施の形態における圧縮方法の一例を示す図である。同図は、間引き率１／８の場合に対応し、連続するフレームである第１乃至第４のフレームにおける配置パターンの適用順序を表したものである。同図の第１のフレームでは、図６と同様に、配置パターンの適用順序は間引き位置情報１から８の順であり、これらが第１のラインから順に適用される。続く第２のフレームでは、配置パターンの適用順序は間引き位置情報１から８の順で変わらないものの、間引き位置情報２の配置パターンが第１のラインに適用される。同様に第３のフレームでは、間引き位置情報３の配置パターンが第１のラインに適用される。このように、間引き位置情報１乃至８の配置パターンが循環してフレームの各ラインに適用される一方、フレーム毎に始まりとなる配置パターンがずらされて各ラインに適用される。このように、本技術の第２の実施の形態では、配置パターンの適用順序をフレーム毎に変更する。これにより、間引き対象画像信号を連続するフレームにおける異なる位置に分散することができ、画質の低下を防止することができる。
　配置パターンの適用順序については、例えば、第１のラインに適用される配置パターンに対応する間引き位置情報により識別することができる。同図の例では、第１乃至第４のフレームに対してそれぞれ間引き位置情報１乃至４を対応させることにより配置パターンの適用順序を識別することができる。
　［間引き情報］
　図１７は、本技術の第２の実施の形態における間引き情報例を示す図である。同図に表したように、フレーム毎の間引き率および間引き位置情報が間引き情報として記録される。
　これ以外の画像処理装置の構成は本技術の第１の実施の形態と同様であるため、説明を省略する。
　このように、本技術の第２の実施の形態によれば、連続する複数のフレームにおいて間引きされた画像信号の位置が分散されるため、画質を向上させることができる。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、圧縮部１３０および伸張部１４０により圧縮および伸張を行っていた。これに対し、本技術の第３の実施の形態では、それぞれ複数の圧縮部および伸張部により処理を行う。これにより、画像処理部１００の処理を高速に行うことができる。
　［画像処理装置の構成］
　図１８は、本技術の第３の実施の形態における画像処理装置の構成例を示す図である。この画像処理装置は、図１において説明した画像処理装置と比較して、圧縮部１３０および伸張部１４０を備える必要はない。後述するように、フレーム処理部１５０、ＯＳＤイメージ生成部１７０、解像度変換部１６０およびＯＳＤイメージ表示部１８０が圧縮または伸張の機能を備えるためである。
　［フレーム処理部の構成］
　図１９は、本技術の第３の実施の形態におけるフレーム処理部１５０の構成例を示す図である。本技術の第３の実施の形態におけるフレーム処理部１５０は、フレームの処理としてインターレース・プログレッシブ変換およびノイズリダクションを行う場合を想定する。このフレーム処理部１５０は、インターレース・プログレッシブ変換（ＩＰＣ：Interlace Progressive Converter）部１５２と、ノイズリダクション部１５３と、圧縮部１５４と、ラインメモリ１５５とを備える。
　ラインメモリ１５５は、フレームを一時的に保持するメモリである。ＩＰＣ部１５２は、フレームの走査方式をインターレースおよびプログレッシブ相互に変更するものである。このＩＰＣ部１５２は、フレームをラインメモリ上に保持させて処理を行う。例えば、フレームの走査方法をインターレースからプログレッシブに変換する際には、連続する２フレームをラインメモリ１５５に保持させる。次に、これらのフレームの各ラインを順に取り出して１つのフレームに合成することにより変換を行う。
　ノイズリダクション部１５３は、フレームに含まれるノイズを除去するものである。このノイズリダクション部１５３は、例えば、同一フレームに属する画像信号の高周波成分を減衰させる２次元ノイズリダクション処理を行うことができる。この２次元ノイズリダクション処理では、フレームをラインメモリ１５５に保持させ、隣接する画像信号の平均値を算出して新たな画像信号を生成することにより、フレーム内で画像信号を平準化してノイズの除去を行う。主に動画部分のノイズ除去に使用される方式である。また、例えば、連続するフレームの画像信号を用いてノイズを除去する３次元ノイズリダクション処理を行うこともできる。この３次元ノイズリダクション処理では、複数のフレームをラインメモリ１５５に保持させ、各画像信号のフレーム間の平均値を算出して新たなフレームを生成する。これにより、連続するフレームにおいて画像信号の平準化を行いノイズの除去を行う。主に静止画部分のノイズ除去に使用される方式である。
　圧縮部１５４は、間引き情報に基づいてフレームの圧縮を行うものである。この圧縮部１５４は、図４において説明した画像信号の間引き等の処理を行う。この際、ラインメモリ１５５にフレームを保持させ、ラインメモリ１５５上で画像信号の除去および並べ替えを行う。
　［解像度変換部の構成］
　図２０は、本技術の第３の実施の形態における解像度変換部１６０の構成例を示す図である。この解像度変換部１６０は、伸張部１６１と、解像度変換処理部１６２と、ラインメモリ１６５とを備える。
　ラインメモリ１６５は、フレームを一時的に保持するメモリである。伸張部１６１は、間引き情報に基づいて圧縮フレームの伸張を行うものである。この伸張部１６１は、図１１において説明した画像信号の挿入等の処理を行う。この際、ラインメモリ１６５に圧縮フレームを保持させ、ラインメモリ１６５上で画像信号の挿入および復元を行う。
　解像度変換処理部１６２は、図１において説明した解像度変換部１６０と同様に解像度を変換する処理を行う。例えば、高解像度のストリームの画像（例えば、４Ｋ画像）を２Ｋ画像対応の表示装置に表示する場合に、解像度変換処理部１６２が解像度の変換を行う。この場合には、フレームの画像信号数を半減させて変換を行う。この変換処理として、例えば、元のフレーム（高解像度の画像）の水平および垂直方向に隣接する２個の画像信号の平均値を算出し、この値を新たなフレームの画像信号にする処理を行うことができる。この際、解像度変換処理部１６２は、元のフレームをラインメモリ１６５に保持させ、ラインメモリ１６５上で上述の処理を行う。このような処理を行うため、ラインメモリ１６５はフレームを保持可能な記憶容量に構成される。このラインメモリ１６５を上述の伸張部１６１と共用することにより、図１２において説明した補間処理を高精度に行うことができる。具体的に説明すると、図１２においては、相関関係に基づく重み付けを行った加重平均の算出の際に、画像信号５０３に隣接する画像信号（画像信号５０５乃至５０８）を使用していた。これに対し、本技術の第３の実施の形態の伸張部１６１では、記憶容量の大きなラインメモリ１６５を使用可能なため、相関関係の検出範囲を広げることができる。このため、より正確な相関関係の検出を行うことができ、高精度の補間処理を行うことができる。
　［ＯＳＤイメージ生成部の構成］
　図２１は、本技術の第３の実施の形態におけるＯＳＤイメージ生成部１７０の構成例を示す図である。このＯＳＤイメージ生成部１７０は、ＯＳＤイメージ生成処理部１７１と、圧縮部１７４と、ラインメモリ１７５とを備える。
　ラインメモリ１７５は、ＯＳＤイメージを一時的に保持するメモリである。ＯＳＤイメージ生成処理部１７１は、図１において説明したＯＳＤイメージ生成部１７０と同様の処理を行うものである。このＯＳＤイメージ生成処理部１７１は、入力された字幕データをＯＳＤイメージ生成部１７０が内蔵する字幕表示領域のイメージに結合させてＯＳＤイメージ（字幕）を生成する。この際、字幕表示領域の画像をラインメモリ１７５上に保持させ、ラインメモリ１７５上で字幕データの結合を行う。
　圧縮部１７４は、フレーム（ＯＳＤイメージ）の圧縮を行うものである。圧縮部１７４の動作は図１９において説明した圧縮部１５４と同様であるため、説明を省略する。
　［ＯＳＤイメージ表示部の構成］
　図２２は、本技術の第３の実施の形態におけるＯＳＤイメージ表示部１８０の構成例を示す図である。このＯＳＤイメージ表示部１８０は、伸張部１８１と、ＯＳＤイメージ解像度変換部１８２と、ラインメモリ１８５とを備える。
　ラインメモリ１８５は、ＯＳＤイメージを一時的に保持するメモリである。伸張部１８１は、間引き情報に基づいて圧縮されたフレーム（ＯＳＤイメージ）の伸張を行うものである。伸張部１８１の動作は、図２０において説明した伸張部１６１と同様であるため、説明を省略する。
　ＯＳＤイメージ解像度変換部１８２は、図１において説明したＯＳＤイメージ表示部１８０と同様の処理を行うものである。このＯＳＤイメージ解像度変換部１８２は、ＯＳＤイメージ生成部１７０により生成されたＯＳＤイメージに対して画像信号の削除等を行うことにより、表示装置に適合する解像度のＯＳＤイメージに変換する。この際、ＯＳＤイメージ解像度変換部１８２は、ＯＳＤイメージをラインメモリ１８５に保持させ、ラインメモリ１８５上で解像度を変換する処理を行う。
　これ以外の画像処理装置の構成は本技術の第１の実施の形態と同様であるため、説明を省略する。
　このように、本技術の第３の実施の形態におけるフレーム処理部１５０およびＯＳＤイメージ生成部１７０はそれぞれ圧縮部１５４および１７４を内蔵し、解像度変換部１６０およびＯＳＤイメージ表示部１８０はそれぞれ伸張部１６１および１８１を内蔵している。また、これら圧縮部および伸張部は、フレーム処理部１５０等が有するラインメモリを使用して処理を行っている。このため、圧縮および伸張の処理に必要となるラインメモリ数を増加させることなく、フレーム処理部１５０等において個別に圧縮および伸張の処理を行うことができる。動画を表示する場合には、連続するフレームを順次処理する必要がある。フレーム処理部１５０等が個別に圧縮および伸張の処理を行って記憶部２００に対して記憶および読出しを行うことにより、画像処理部１００における各部の処理をパイプライン的な処理にすることができ、処理を高速に行うことができる。
　＜４．第４の実施の形態＞
　上述の第１の実施の形態では、１つのフレームについて処理を行っていた。これに対し本技術の第４の実施の形態では、２つのフレームを混合して表示する場合について提案する。
　図２３は、本技術の第４の実施の形態における画像処理部１００の機能構成例を示す図である。同図は、画像処理部１００のうち間引き情報生成部１１０、圧縮部１３０、伸張部１４０、フレーム処理部１５０、解像度変換部１６０、ＯＳＤイメージ表示部１８０および混合部１９０の部分について記載したものである。本技術の第４の実施の形態の画像処理部１００は、２つの画像データを同時に処理して２つのフレームを生成し、これらを１つのフレームに混合して表示装置３００に出力する。この混合は、後述する混合比率に基づいて混合部１９０により行われる。この混合比率は、プロセッサ１０３により供給される。
　間引き情報生成部１１０は、後述する混合比率と２つのフレーム（フレーレム１およびフレーム２）とに基づいてそれぞれのフレームの間引き情報を生成し、圧縮部１３０および伸張部１４０に供給する。
　フレーム処理部１５０は、２つのフレームについて処理を行う。圧縮部１３０は、２つの処理済みフレームおよびＯＳＤイメージの圧縮を行い、記憶部２００に記憶させる。伸張部１４０は、記憶部２００から２つの処理済み圧縮フレームおよび圧縮されたＯＳＤイメージを読み出して伸張を行う。解像度変換部１６０は、２つの処理済みフレームの解像度を変換する。
　混合部１９０は、２つの解像度変換済みフレームおよび解像度変換済みＯＳＤイメージを混合して表示用のフレームを生成する。この混合部１９０は、フレーム混合部１９１と、フレームＯＳＤイメージ混合部１９２とを備える。
　フレームＯＳＤイメージ混合部１９２は、図１において説明した混合部１９０と同様に、フレームおよびＯＳＤイメージを混合して表示用フレームを生成するものである。
　フレーム混合部１９１は、２つのフレームの混合を行うものである。このフレーム混合部１９１は、２つの解像度変換済みフレームを所定の混合比率に基づいて混合する。この混合は、次のように行うことができる。
　　Ｑ＝α×Ｐ１＋（１－α）×Ｐ２
ただし、Ｐ１およびＰ２は混合前のフレームの画像信号、Ｑは混合後のフレームの画像信号、αは混合比率を表している。このようにフレーム混合部１９１は、αまたは１－αをそれぞれのフレームに乗算し、これらを加算することにより、２つのフレームを半透明状態にして混合する。このような混合は、アルファブレンドと称される。混合比率が０．５の場合には、混合する２つのフレームの比率は等しくなる。しかし、一方のフレームを他方のフレームよりも薄い表示にする場合には、当該フレームの比率を低下させて混合を行う。この薄く表示されるフレームについては、間引き率を高くすることができる。薄く表示されるため、間引きされる画像信号数が大きい場合でも表示品質の低下が目立たないためである。
　そこで、間引き情報生成部１１０が混合比率に基づいて２つのフレームの間引き率を生成する。具体的には、低い混合比率が設定されたフレームの間引き率を他方のフレームの間引き率より高い値にして圧縮部１３０等に供給する。これにより、薄く表示されるフレームの間引き率を高めて、フレームの容量を削減することができる。
　なお、上述の画像処理部１００では、圧縮部１３０、伸張部１４０、フレーム処理部１５０および解像度変換部１６０が２つのフレームを同時に処理しているが、図１において説明した画像処理部１００等を２組配置する構成にしてもよい。これらにより、２つのフレームの処理を同時に行うことができるためである。これ以外の画像処理部１００の構成は図１において説明した画像処理部の構成と同様であるため、説明を省略する。
　このように、本技術の第４の実施の形態によれば、２つのフレームに対してアルファブレンドを行う際に、薄く表示されるフレームの間引き率を高めて記憶部２００に記憶させることにより、アクセスの際の消費電力をさらに低減することができる。
　＜５．第５の実施の形態＞
　上述の第１の実施の形態では、画像処理部１００が圧縮部１３０および伸張部１４０を有し、記憶部２００に圧縮フレームを記憶させていた。これに対し本技術の第５の実施の形態では、記憶部２００が圧縮部を有し、フレームを画像処理部１００に出力する際に圧縮を行う。これにより、圧縮処理の頻度を低減する。
　図２４は、本技術の第５の実施の形態における記憶部２００の構成例を示す図である。この記憶部２００は、画像処理部インターフェース２１０と、制御部２２０と、カラムアドレスデコーダ２４０と、ローアドレスデコーダ２５０と、メモリセルアレイ２６０と、圧縮部２３０とを備える。
　画像処理部インターフェース２１０は、画像処理部１００とのやり取りを行うインターフェースである。この画像処理部インターフェース２１０は、画像処理部１００が出力したコマンドを解釈するとともに、これに基づくアドレス、データおよび間引き情報を出力する。
　メモリセルアレイ２６０は、データを記憶するメモリセルが２次元に配置されて構成されたものである。データの書込みおよび読出しの際には、所望のメモリセルが選択されて、データの記憶および記憶されたデータの読出しが行われる。２次元に配置されたメモリセルには、ＸＹマトリクス状にローおよびカラムの配線が接続されており、これらの配線を選択することにより、各メモリセルを選択することができる。
　制御部２２０は、画像処理部インターフェース２１０が出力したアドレスをローアドレスおよびカラムアドレスに分離して出力するものである。
　カラムアドレスデコーダは、カラムアドレスに基づいてメモリセルアレイ２６０のカラムの配線を選択するものである。
　ローアドレスデコーダは、ローアドレスに基づいてメモリセルアレイ２６０のローの配線を選択するものである。
　圧縮部２３０は、メモリセルアレイ２６０から読み出されたデータ（出力データ）を間引き情報に基づいて圧縮するものである。圧縮部２３０の構成は、図１において説明した圧縮部１３０と同様であるため、説明を省略する。
　本技術の第５の実施の形態における画像処理部１００は、図１において説明した圧縮部１３０を備える必要はない。これ以外の画像処理装置の構成は図１において説明した画像処理装置と同様であるため、説明を省略する。
　同図の記憶部２００と画像処理部１００との間のフレームのやりとりについて説明する。画像処理部１００がフレームを記憶部２００に記憶させる際には、画像処理部１００から書込みコマンドが出力され、これに付随して書込みデータであるフレームが出力される。記憶部２００は、書込みコマンドを解釈し、書込み先アドレスに対応するメモリセルアレイ２６０のメモリセルにフレームのデータを書き込む。これによりフレームが記憶される。
　画像処理部１００が記憶部２００からフレームを読み出す際には、画像処理部１００が読出しコマンドを出力する。記憶部２００は、読出しコマンドを解釈し、読出し先アドレスに対応するメモリセルアレイ２６０のメモリセルからフレームを読み出した後、圧縮部２３０による圧縮を行って圧縮フレームを生成する。この圧縮フレームを画像処理部１００に出力する。記憶部２００から出力された圧縮フレームは、画像処理部１００の伸張部１４０により伸張される。このように、本技術の第５の実施の形態の画像処理装置は、フレーム等を記憶部２００から読み出す際に圧縮を行う。
　ＯＳＤイメージは、一旦生成された後は、ほとんど変更されることはない。このため、システムの起動時等にＯＳＤイメージを生成して記憶部２００に記憶させておき、必要に応じて読み出してフレームと混合し、表示用フレームを生成する方式を使用することができる。ＯＳＤイメージの生成処理を削減するためである。そこで、このような場合に、本技術の第５の実施の形態の画像処理装置を使用し、非圧縮のＯＳＤイメージを記憶部２００に記憶させておき、表示するストリームに応じた間引き率に基づいて記憶部２００において圧縮を行って画像処理部１００に転送する。これにより、表示するフレームに合わせた適切な間引き率を選択して圧縮することができる。
　図２５は、本技術の第５の実施の形態における画像処理部１００の処理の一例を示す図である。同図は、図３と同様に画像処理部１００の各部における処理の流れを表したものである。入力されたストリームに対してデマルチプレクス処理および復号が行われてフレームが生成され、記憶部２００に記憶される。このフレームが読み出され、これに基づいて間引き情報生成部１１０が間引き情報を生成する。また、記憶部２００から読み出されたフレームは、フレーム処理部１５０により処理されて処理済みフレームが生成されて、記憶部２００に記憶される。次に、記憶部２００から読み出された処理済みフレームは、解像度変換部１６０により解像度が変換される。
　一方、ＯＳＤイメージは、予めＯＳＤイメージ生成部１７０により生成されて記憶部２００に記憶される。記憶されたＯＳＤイメージは、上述の間引き情報生成部１１０により生成された間引き情報に基づいて、記憶部２００の圧縮部２３０により圧縮されて読み出され、伸張部１４０により伸張される。伸張されたＯＳＤイメージは、ＯＳＤイメージ表示部１８０により解像度が変換される。
　最後に、解像度が変更された処理済みフレームおよびＯＳＤイメージが混合部１９０により混合される。
　このように、本技術の第５の実施の形態によれば、非圧縮の状態で記憶部２００に記憶させたフレームに対して必要に応じた間引き率に基づいて圧縮して記憶部２００から出力させることができ、フレームの表示品質の低下を防止することができる。
　上述のように、本技術の実施の形態によれば、フレームを記憶部２００に記憶させる際の圧縮および伸張の処理を簡便な処理である画像信号の間引きおよび補間により行うことができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）複数の画像信号により構成されるフレームにおいて前記複数の画像信号の一部を除去する間引きにより圧縮が行われた前記フレームである圧縮フレームを供給する記憶部と、
　前記供給された前記圧縮フレームにおける前記間引きされた前記画像信号を前記フレーム毎の前記間引きの情報である間引き情報に基づいて復元することにより前記圧縮フレームの伸張を行う伸張部と
を具備する画像処理装置。
（２）前記間引き情報を生成する間引き情報生成部と、
　前記間引き情報に基づく前記間引きにより前記フレームの前記圧縮を行って前記記憶部に記憶させる圧縮部と
をさらに具備する
前記（１）に記載の画像処理装置。
（３）前記間引き情報生成部は、前記フレームに含まれる前記画像信号数に対する前記間引きの対象となる前記画像信号数の比率である間引き率を前記間引き情報として生成し、
　前記圧縮部は、前記間引き率に基づいて前記間引きの対象となる前記画像信号数を決定して前記間引きを行う
前記（２）に記載の画像処理装置。
（４）前記圧縮部は、前記フレームを水平方向に分割したラインにおける前記間引き対象の前記画像信号の配置の情報である複数の配置パターンを所定の順序により前記ライン毎の前記間引きに適用して前記圧縮を行い、
　前記伸張部は、前記配置パターンを前記所定の順序により前記ライン毎の前記復元に適用して前記伸張を行う
前記（３）に記載の画像処理装置。
（５）前記間引き情報生成部は、前記間引き率と前記所定の順序の情報である間引き位置情報とを前記間引き情報として生成する前記（４）に記載の画像処理装置。
（６）前記間引き情報生成部は、前記間引き率と連続する複数の前記フレーム毎に異なる前記間引き位置情報とを前記間引き情報として生成する前記（５）に記載の画像処理装置。
（７）前記圧縮部は、前記間引きの対象となる前記画像信号が水平方向に隣接しない配置となる前記配置パターンに基づいて前記圧縮を行う前記（４）または（５）に記載の画像処理装置。
（８）前記フレームとは異なるフレームである第２のフレームと前記フレームとを所定の混合比率に基づいて混合して新たなフレームを生成するフレーム混合部をさらに具備し、
　前記間引き情報生成部は、前記混合比率に基づいて前記フレームおよび前記第２のフレームの前記間引き率を前記間引き情報として生成する
前記（３）から（７）のいずれかに記載の画像処理装置。
（９）前記間引き情報を生成する間引き情報生成部をさらに具備し、
　前記記憶部は、前記フレームを記憶し、前記間引き情報に基づく前記間引きにより前記記憶した前記フレームの前記圧縮を行って前記伸張部に供給する
前記（１）に記載の画像処理装置。
（１０）複数の画像信号により構成されるフレームにおいて前記複数の画像信号の一部を除去する間引きにより圧縮が行われた前記フレームである圧縮フレームにおける前記間引きされた前記画像信号を前記フレーム毎の前記間引きの情報である間引き情報に基づいて復元することにより前記圧縮フレームの伸張を行う伸張手順を具備する画像処理方法。
　１００　画像処理部
　１０２　デマルチプレクサ
　１０３　プロセッサ
　１０４　記憶部インターフェース
　１１０　間引き情報生成部
　１２０　ビデオデコーダ
　１３０、１５４、１７４、２３０　圧縮部
　１３１　画像信号除去部
　１３２　画像信号並べ替え部
　１４０、１６１、１８１　伸張部
　１４１　画像信号挿入部
　１４２　復元部
　１５０　フレーム処理部
　１５２　ＩＰＣ部
　１５３　ノイズリダクション部
　１５５、１６５、１７５、１８５　ラインメモリ
　１６０　解像度変換部
　１６２　解像度変換処理部
　１７０　ＯＳＤイメージ生成部
　１７１　ＯＳＤイメージ生成処理部
　１８０　ＯＳＤイメージ表示部
　１８２　ＯＳＤイメージ解像度変換部
　１９０　混合部
　１９１　フレーム混合部
　１９２　フレームＯＳＤイメージ混合部
　２００　記憶部
　２１０　画像処理部インターフェース
　２２０　制御部
　２４０　カラムアドレスデコーダ
　２５０　ローアドレスデコーダ
　２６０　メモリセルアレイ
　３００　表示装置

Claims (10)

  1. 　複数の画像信号により構成されるフレームにおいて前記複数の画像信号の一部を除去する間引きにより圧縮が行われた前記フレームである圧縮フレームを供給する記憶部と、
    　前記供給された前記圧縮フレームにおける前記間引きされた前記画像信号を前記フレーム毎の前記間引きの情報である間引き情報に基づいて復元することにより前記圧縮フレームの伸張を行う伸張部と
    を具備する画像処理装置。
  2. 　前記間引き情報を生成する間引き情報生成部と、
    　前記間引き情報に基づく前記間引きにより前記フレームの前記圧縮を行って前記記憶部に記憶させる圧縮部と
    をさらに具備する
    請求項１記載の画像処理装置。
  3. 　前記間引き情報生成部は、前記フレームに含まれる前記画像信号数に対する前記間引きの対象となる前記画像信号数の比率である間引き率を前記間引き情報として生成し、
    　前記圧縮部は、前記間引き率に基づいて前記間引きの対象となる前記画像信号数を決定して前記間引きを行う
    請求項２記載の画像処理装置。
  4. 　前記圧縮部は、前記フレームを水平方向に分割したラインにおける前記間引き対象の前記画像信号の配置の情報である複数の配置パターンを所定の順序により前記ライン毎の前記間引きに適用して前記圧縮を行い、
    　前記伸張部は、前記配置パターンを前記所定の順序により前記ライン毎の前記復元に適用して前記伸張を行う
    請求項３記載の画像処理装置。
  5. 　前記間引き情報生成部は、前記間引き率と前記所定の順序の情報である間引き位置情報とを前記間引き情報として生成する請求項４記載の画像処理装置。
  6. 　前記間引き情報生成部は、前記間引き率と連続する複数の前記フレーム毎に異なる前記間引き位置情報とを前記間引き情報として生成する請求項５記載の画像処理装置。
  7. 　前記圧縮部は、前記間引きの対象となる前記画像信号が水平方向に隣接しない配置となる前記配置パターンに基づいて前記圧縮を行う請求項４記載の画像処理装置。
  8. 　前記フレームとは異なるフレームである第２のフレームと前記フレームとを所定の混合比率に基づいて混合して新たなフレームを生成するフレーム混合部をさらに具備し、
    　前記間引き情報生成部は、前記混合比率に基づいて前記フレームおよび前記第２のフレームの前記間引き率を前記間引き情報として生成する
    請求項３記載の画像処理装置。
  9. 　前記間引き情報を生成する間引き情報生成部をさらに具備し、
    　前記記憶部は、前記フレームを記憶し、前記間引き情報に基づく前記間引きにより前記記憶した前記フレームの前記圧縮を行って前記伸張部に供給する
    請求項１記載の画像処理装置。
  10. 　複数の画像信号により構成されるフレームにおいて前記複数の画像信号の一部を除去する間引きにより圧縮が行われた前記フレームである圧縮フレームにおける前記間引きされた前記画像信号を前記フレーム毎の前記間引きの情報である間引き情報に基づいて復元することにより前記圧縮フレームの伸張を行う伸張手順を具備する画像処理方法。
PCT/JP2016/061701 2015-05-19 2016-04-11 画像処理装置および画像処理方法 WO2016185831A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015101647A JP2016219973A (ja) 2015-05-19 2015-05-19 画像処理装置および画像処理方法
JP2015-101647 2015-05-19

Publications (1)

Publication Number Publication Date
WO2016185831A1 true WO2016185831A1 (ja) 2016-11-24

Family

ID=57320157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/061701 WO2016185831A1 (ja) 2015-05-19 2016-04-11 画像処理装置および画像処理方法

Country Status (2)

Country Link
JP (1) JP2016219973A (ja)
WO (1) WO2016185831A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159850A1 (ja) * 2018-02-14 2019-08-22 日本電気株式会社 信号処理装置、信号処理システム、信号処理方法、および信号処理用プログラムが記憶された記憶媒体
WO2019159846A1 (ja) * 2018-02-14 2019-08-22 日本電気株式会社 信号処理装置、信号処理システム、信号処理方法、および信号処理用プログラムが記憶された記憶媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03109889A (ja) * 1989-09-22 1991-05-09 Sony Corp ビデオ信号伝送装置及び伝送方法
JPH0888849A (ja) * 1994-09-14 1996-04-02 Sony Corp 画像信号処理方法及び画像信号伝送装置
JPH0937243A (ja) * 1995-07-20 1997-02-07 Sanyo Electric Co Ltd 動画像符号化装置及び復号装置
JPH09172621A (ja) * 1995-12-20 1997-06-30 Sony Corp 圧縮高解像度ビデオ信号の補間装置および補間方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03109889A (ja) * 1989-09-22 1991-05-09 Sony Corp ビデオ信号伝送装置及び伝送方法
JPH0888849A (ja) * 1994-09-14 1996-04-02 Sony Corp 画像信号処理方法及び画像信号伝送装置
JPH0937243A (ja) * 1995-07-20 1997-02-07 Sanyo Electric Co Ltd 動画像符号化装置及び復号装置
JPH09172621A (ja) * 1995-12-20 1997-06-30 Sony Corp 圧縮高解像度ビデオ信号の補間装置および補間方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159850A1 (ja) * 2018-02-14 2019-08-22 日本電気株式会社 信号処理装置、信号処理システム、信号処理方法、および信号処理用プログラムが記憶された記憶媒体
WO2019159846A1 (ja) * 2018-02-14 2019-08-22 日本電気株式会社 信号処理装置、信号処理システム、信号処理方法、および信号処理用プログラムが記憶された記憶媒体

Also Published As

Publication number Publication date
JP2016219973A (ja) 2016-12-22

Similar Documents

Publication Publication Date Title
JP5568884B2 (ja) 映像処理装置、映像処理方法
JP4687725B2 (ja) 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP5899503B2 (ja) 描画装置及び方法
WO1999029112A1 (en) Image processor, image data processor and variable length encoder/decoder
WO2016185831A1 (ja) 画像処理装置および画像処理方法
JP4634410B2 (ja) 映像再生装置，映像再生方法および字幕重畳装置
JP2007259193A (ja) 映像出力装置、及び方法
KR101648449B1 (ko) 디스플레이 장치에서 영상 처리 방법 및 디스플레이 장치
JP2012029010A (ja) 情報処理装置、フレームデータ変換方法及びプログラム
JP6049910B2 (ja) 映像処理装置及び映像表示装置
JP5520890B2 (ja) 画像処理装置、画像データ生成装置、画像処理方法、画像データ生成方法、および画像ファイルのデータ構造
JP6478621B2 (ja) 画像処理装置
JP2010245768A (ja) 画像処理装置および画像処理方法
JP2011142410A (ja) 画像処理装置
JP2014216668A (ja) 撮像装置
WO2011114633A1 (ja) 映像信号処理装置及び映像信号処理方法
JP2009042338A (ja) 画素数変換方法、画素数変換装置及び画素数変換プログラム
CN101926169A (zh) 影像信号处理方法、集成电路以及影像再现装置
JP2005331674A (ja) 画像表示装置
JP2013247582A (ja) 映像合成方法、映像記録方法、映像合成装置、映像記録装置、映像表示システム
JP3630587B2 (ja) 映像編集方法及びその装置
JP2007094806A (ja) 画像表示方法、画像表示装置及び画像表示プログラム
JP2007094391A (ja) 動画像表示装置
JP2001155673A (ja) 走査型電子顕微鏡
JP2007286167A (ja) 映像信号表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796225

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16796225

Country of ref document: EP

Kind code of ref document: A1