JP5175796B2 - Encoding / preprocessing device, decoding / postprocessing device, encoding device, decoding device, and program - Google Patents
Encoding / preprocessing device, decoding / postprocessing device, encoding device, decoding device, and program Download PDFInfo
- Publication number
- JP5175796B2 JP5175796B2 JP2009109748A JP2009109748A JP5175796B2 JP 5175796 B2 JP5175796 B2 JP 5175796B2 JP 2009109748 A JP2009109748 A JP 2009109748A JP 2009109748 A JP2009109748 A JP 2009109748A JP 5175796 B2 JP5175796 B2 JP 5175796B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- region
- image signal
- horizontal
- frequency component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
本発明は、サブサンプリング画像信号を非可逆符号化する際の符号化・前処理装置、復号化・後処理装置、符号化装置、復号装置及びプログラムに関するものであり、特に、符号化効率を劣化させることなく、視覚感度の高い最高周波数の1/2近傍の周波数成分に係る画質を改善する、符号化・前処理装置、復号化・後処理装置、符号化装置、復号装置及びプログラムに関するものである。 The present invention relates to an encoding / preprocessing device, a decoding / postprocessing device, an encoding device, a decoding device, and a program for irreversibly encoding a sub-sampled image signal. In particular, the encoding efficiency is deteriorated. The present invention relates to an encoding / preprocessing device, a decoding / postprocessing device, an encoding device, a decoding device, and a program that improve image quality related to a frequency component in the vicinity of ½ of the highest frequency with high visual sensitivity. is there.
スーパーハイビジョン等の映像を符号化するための符号化システムでは、扱う符号量が膨大であるため、サブサンプリング(半画素ずらし)法で符号量を低減した後に、標準化されたH.264等のコーデックを使用して符号化するのが常套手段となっている。 In an encoding system for encoding video such as Super Hi-Vision, the amount of code to be handled is enormous. Therefore, after the amount of code is reduced by the sub-sampling (half-pixel shift) method, Coding using a codec such as H.264 is a common practice.
サブサンプリング法は、水平又は垂直方向に1画素ごとに半画素ずらして画素を間引く符号化・前処理の1つとしての技法であり、これにより元画像の符号量を簡便に半減させることができる。しかしながら、サブサンプリング法によれば、例えば間引く前の元画像の水平又は垂直方向の直線はジグザグに変形されることがある。このジグザグに変形されたデータを非可逆符号化した場合、このデータは元の直線に対して斜め方向の成分が抑圧された直線として符号化される。一方、このデータを復号時には、単なる直線として復号するため、復号化・後処理として、サブサンプリング法に基づいて元画像の復元を行なうと、水平又は垂直方向に1画素ごとに符号化・前処理時とは逆方向に半画素ずらして元の位置に戻すことになる。従って、元画像では直線であったデータがジグザグに復元されるために画質の劣化が生じる。この問題を解決するために、半画素ごとに半画素ずらしを行なう方向とは逆方向へ1/4画素ずつ移動して並べ替える方法が提案され、画質の改善が図られている(例えば、特許文献1参照)。 The sub-sampling method is a technique as one of encoding / preprocessing in which pixels are thinned out by shifting a half pixel for each pixel in the horizontal or vertical direction, and thus the code amount of the original image can be easily halved. . However, according to the sub-sampling method, for example, a straight line in the horizontal or vertical direction of the original image before thinning may be deformed into a zigzag. When the data transformed into the zigzag is irreversibly encoded, the data is encoded as a straight line in which a component in an oblique direction is suppressed with respect to the original straight line. On the other hand, when this data is decoded, it is decoded as a simple straight line. Therefore, when the original image is restored based on the sub-sampling method as decoding / post-processing, encoding / pre-processing is performed for each pixel in the horizontal or vertical direction. The original position is restored by shifting half a pixel in the opposite direction to the time. Therefore, since the data that was a straight line in the original image is restored in a zigzag manner, the image quality deteriorates. In order to solve this problem, a method has been proposed in which each half-pixel is moved and rearranged by 1/4 pixel in a direction opposite to the direction in which the half-pixel shift is performed to improve image quality (for example, patents). Reference 1).
しかし、特許文献1の技法ではジグザグ変形による画質劣化の問題は解決することができるが、元画像の画素数で決まる最大周波数の1/2近傍の周波数成分が抑圧されることによる画質劣化は解決されない。最大周波数の1/2近傍の周波数成分は、画像を視聴する際の視覚感度として高いために、この成分の劣化を如何にして改善するかが問題となる。
However, although the technique of
より具体的には、図7に示すように、元画像の画像信号の2次元周波数空間(水平周波数成分,垂直周波数成分)において、元画像の画素数で決まる最大周波数を1として正規化したとき、(0,0)と(0,1)と(1,0)とからなる周波数領域(以下、「低域側周波数領域」と称する)と、低域側周波数領域の帯域外となる(1,0)と(0,1)と(1,1)とからなる周波数領域(以下、「帯域外領域」と称する)とに分けることができる。図7に示すように、符号化器は、符号化・前処理(サブサンプリング法)によって画素数を半減させた方向の高周波成分領域(1)を帯域外領域内の領域(2)に折り返したデータについて、符号化する。これは、領域(1)の成分のうち、視覚感度の高い最大周波数の1/2であるC点近傍の成分はD点近傍に移動することを意味する。しかしながら、通常、符号化器においてD点近傍の成分に対して割り当てられるビットは、より低周波であるC点近傍の成分と比較して小さく設定される。従って、符号化データを復号したデータについて元画像を復元するにあたり、復号化・後処理によって元の領域(1)に戻すことになるため、領域(1)における視覚感度の高いC点近傍の成分が抑圧されて復元され、画質の劣化となる。 More specifically, as shown in FIG. 7, in the two-dimensional frequency space (horizontal frequency component, vertical frequency component) of the image signal of the original image, the maximum frequency determined by the number of pixels of the original image is normalized as 1. , (0,0), (0,1), and (1,0), a frequency region (hereinafter referred to as “low frequency region”) is outside the low frequency region band (1 , 0), (0, 1), and (1, 1) can be divided into frequency regions (hereinafter referred to as “out-of-band regions”). As shown in FIG. 7, the encoder folds the high frequency component region (1) in the direction in which the number of pixels is halved by encoding / preprocessing (subsampling method) into the region (2) in the out-of-band region. Encode the data. This means that among the components in the region (1), the component in the vicinity of the C point that is ½ of the maximum frequency with high visual sensitivity moves to the vicinity of the D point. However, normally, the bits assigned to the component near the point D in the encoder are set smaller than the component near the point C having a lower frequency. Therefore, when the original image is restored for the data obtained by decoding the encoded data, the original image is restored to the original area (1) by decoding and post-processing. Therefore, the component near the point C in the area (1) with high visual sensitivity. Is suppressed and restored, resulting in degradation of image quality.
また、民生用のデジタルビデオカメラやデジタルスチルカメラでは、そのほとんどが単板式撮像素子を採用しており、輝度又は最も輝度に寄与する緑の信号はサブサンプリング法によって半画素ずらされた画像信号として撮像系から出力される。この場合、出力された画像信号は、符号化・前処理の1つとしてデ・モザイキングされ、その後H.264、MPEG2又はJPEG等のコーデックを使用して符号化される。 In addition, most digital video cameras and digital still cameras for consumer use employ a single-plate image sensor, and the green signal that contributes most to the luminance or luminance is converted into an image signal shifted by half a pixel by the sub-sampling method. Output from the imaging system. In this case, the output image signal is de-mosaiced as one of encoding and pre-processing, and then H.264. It is encoded using a codec such as H.264, MPEG2 or JPEG.
しかしながら、このデ・モザイキングを用いる技法では、デ・モザイキングによって、サブサンプリング法による画像信号(即ち、「低域側周波数領域」の成分)が本来成分を持たない2次元周波数のサブサンプリング帯域外の画像信号(即ち、「帯域外領域」の成分)を強制的に生成することになる。従って、全周波数領域の信号として圧縮符号化することは、サブサンプリング法による画像信号を符号化する符号量が増加し、符号化効率の低下につながる。 However, in this technique using de-mosaicing, the image signal by the sub-sampling method (that is, the component of the “low-frequency side frequency region”) is not included in the original sub-sampling band of the two-dimensional frequency. An image signal (that is, a component of “out-of-band region”) is forcibly generated. Therefore, compression encoding as a signal in the entire frequency domain increases the amount of code for encoding an image signal by the subsampling method, leading to a decrease in encoding efficiency.
そこで、本発明の目的は、符号化効率を劣化させることなく、視覚感度の高い最高周波数の1/2近傍の周波数成分に係る画質を改善する、符号化・前処理装置、復号化・後処理装置、符号化装置、復号装置及びプログラムを提供することにある。 Accordingly, an object of the present invention is to provide an encoding / preprocessing device, a decoding / postprocessing, which improve image quality related to a frequency component in the vicinity of ½ of the highest frequency with high visual sensitivity without degrading the encoding efficiency. An apparatus, an encoding device, a decoding device, and a program are provided.
上記課題を解決するために、本発明の前処理装置を提供する。本発明の前処理装置は、符号化対象の画像信号の周波数成分に対して前処理を行う前処理装置であって、2次元周波数空間における低域側周波数領域の周波数成分から、水平及び垂直周波数の最大周波数の3/4以上の高周波成分をそれぞれ抽出する高周波成分抽出手段と、抽出した前記高周波成分の各々を、前記低域側周波数領域の帯域外である帯域外領域内の領域のうち、水平及び垂直の最大周波数の1/2以上であり、且つ3/4以下の領域にそれぞれ配置変換する配置変換手段と、前記低域側周波数領域の周波数成分から前記抽出した前記高周波成分の各々を差分した差分周波数成分と、前記配置変換された周波数成分の各々とを加算して得られる画像信号に対して画素数を3/4倍に間引くサンプリングレート変換手段と、
を備えることを特徴とする。また、本発明の符号化装置は、本発明の前処理装置と、前記サンプリングレート変換手段によって間引いた画像信号を符号化する符号化手段とを備えることを特徴とする。
In order to solve the above problems, a pretreatment apparatus of the present invention is provided. The pre-processing device of the present invention is a pre-processing device that performs pre-processing on the frequency components of the image signal to be encoded. From the frequency components in the low-frequency region in the two-dimensional frequency space, the horizontal and vertical frequencies A high-frequency component extracting means for extracting a high-frequency component of 3/4 or more of the maximum frequency of each of the extracted high-frequency components, out of the region in the out-of-band region that is outside the low-frequency side frequency region, Placement conversion means for changing the placement to a region that is 1/2 or more of the horizontal and vertical maximum frequencies and 3/4 or less, and each of the high-frequency components extracted from the frequency components of the low-frequency region Sampling rate conversion means for thinning out the number of pixels by 3/4 times with respect to an image signal obtained by adding the difference frequency component obtained by the difference and each of the frequency components subjected to the arrangement conversion;
It is characterized by providing. The encoding apparatus of the present invention includes the preprocessing apparatus of the present invention and encoding means for encoding the image signal thinned out by the sampling rate conversion means.
また、本発明の後処理装置は、本発明の符号化装置によって符号化された画像信号について復号された画像信号に対して後処理を行う後処理装置であって、該画像信号を入力して画素数を4/3倍に拡張するサンプリングレート変換手段と、当該拡張された画像信号の周波数成分から、前記低域側周波数領域の帯域外となる当該帯域外領域内の周波数成分を抽出する帯域外成分抽出手段と、当該抽出した前記帯域外領域内の周波数成分から、水平及び垂直の最大周波数の1/2以上の高周波成分をそれぞれ抽出する高周波成分抽出手段と、抽出した前記水平及び垂直高周波成分の各々を、前記低域側周波数領域における領域のうち、水平及び垂直の最大周波数の3/4以上の領域にそれぞれ配置変換する配置変換手段と、当該帯域外領域内の周波数成分の画像信号と、該配置変換した各周波数成分の画像信号とを加算して元の画像信号を復元する信号加算手段とを備えることを特徴とする。また、本発明の復号装置は、本発明の符号化装置によって符号化された画像信号をする復号手段と、該復号された画像信号に対して後処理を行う本発明の後処理装置とを備えることを特徴とする。 The post-processing device of the present invention is a post-processing device that performs post-processing on an image signal decoded with respect to the image signal encoded by the encoding device of the present invention, and inputs the image signal. A sampling rate converting means for expanding the number of pixels by 4/3 times, and a band for extracting a frequency component in the out-of-band region that is outside the low-frequency region from the frequency component of the expanded image signal An external component extracting means, a high frequency component extracting means for extracting a high frequency component of ½ or more of the maximum horizontal and vertical frequencies from the extracted frequency components in the out-of-band region, and the extracted horizontal and vertical high frequencies Arrangement conversion means for changing the arrangement of each of the components to a region of 3/4 or more of the horizontal and vertical maximum frequencies among the regions in the low-frequency region, and in the out-of-band region And an image signal of wavenumber components, characterized in that by adding the image signals of the respective frequency components the placement transform and a signal adding means for restoring the original image signal. The decoding device of the present invention includes a decoding unit that performs an image signal encoded by the encoding device of the present invention, and a post-processing device of the present invention that performs post-processing on the decoded image signal. It is characterized by that.
更に、本発明は、符号化対象の画像信号の周波数成分に対して前処理を行う前処理装置として構成するコンピュータに、2次元周波数空間における低域側周波数領域の周波数成分から、水平及び垂直周波数の最大周波数の3/4以上の高周波成分をそれぞれ抽出するステップと、抽出した前記高周波成分の各々を、前記低域側周波数領域の帯域外となる帯域外領域内の領域のうち、水平及び垂直の最大周波数の1/2以上であり、且つ3/4以下の領域にそれぞれ配置変換するステップと、前記低域側周波数領域の周波数成分から前記抽出した前記高周波成分の各々を差分した差分周波数成分と、前記配置変換された周波数成分の各々とを加算して得られる画像信号に対して画素数を3/4倍に間引いてサンプリングレート変換するステップとを実行させるためのプログラムとしても特徴付けられる。 Furthermore, the present invention relates to a computer configured as a preprocessing device that performs preprocessing on frequency components of an image signal to be encoded, from a frequency component in a low frequency region in a two-dimensional frequency space, to horizontal and vertical frequencies. Extracting a high-frequency component of ¾ or more of the maximum frequency of each, and extracting each of the extracted high-frequency components horizontally and vertically in an out-of-band region outside the low-frequency region And a difference frequency component obtained by subtracting each of the extracted high-frequency components from the frequency components of the low-frequency region, respectively, And sampling rate conversion by thinning out the number of pixels by 3/4 with respect to an image signal obtained by adding each of the arrangement-converted frequency components. Also characterized as a program to be run.
更に、本発明は、本発明の符号化装置によって符号化された画像信号について復号された画像信号に対して後処理を行う後処理装置として構成するコンピュータに、該画像信号を入力して画素数を4/3倍に拡張してサンプリングレート変換するステップと、当該拡張された画像信号の周波数成分から、前記低域側周波数領域の帯域外となる当該帯域外領域内の周波数成分を抽出するステップと、当該抽出した前記帯域外領域内の周波数成分から、水平及び垂直の最大周波数の1/2以上の高周波成分をそれぞれ抽出するステップと、抽出した前記水平及び垂直高周波成分の各々を、前記低域側周波数領域における領域のうち、水平及び垂直の最大周波数の3/4以上の領域にそれぞれ配置変換するステップと、当該帯域外領域内の周波数成分の画像信号と、該配置変換した各周波数成分の画像信号とを加算して元の画像信号を復元するステップとを実行させるための後処理プログラムとしても特徴付けられる。 Furthermore, the present invention provides a computer configured as a post-processing device that performs post-processing on an image signal decoded with respect to an image signal encoded by the encoding device of the present invention, and inputs the image signal to the number of pixels. A sampling rate conversion by extending the frequency to 4/3 times, and a step of extracting a frequency component in the out-of-band region outside the low-frequency region from the frequency component of the expanded image signal Extracting each of the extracted horizontal and vertical high frequency components from the extracted frequency components in the out-of-band region, respectively, and extracting each of the extracted horizontal and vertical high frequency components The step of re-arranging each of the regions in the frequency region on the band side to regions of 3/4 or more of the maximum horizontal and vertical frequencies, and the frequency generation in the out-of-band region And an image signal of, also characterized as a postprocessor for by adding the image signals of the respective frequency components the placement transform and a step of restoring the original image signal.
本発明によれば、符号化効率を劣化させることなく、視覚感度の高い最高周波数の1/2近傍の周波数成分に係る画質を改善することができる。 According to the present invention, it is possible to improve the image quality related to the frequency component in the vicinity of ½ of the maximum frequency with high visual sensitivity without degrading the encoding efficiency.
特に、単板式撮像素子等から得られるサブサンプリング画像信号を、デ・モザイキングすることなくH.264、MPEG2又はJPEG等のコーデックを使用して非可逆符号化を施すことができる。 In particular, a sub-sampling image signal obtained from a single-plate image pickup device or the like is H.264 without de-mosaicing. It is possible to perform lossy encoding using a codec such as H.264, MPEG2 or JPEG.
更に、サブサンプリングされていない信号に対しても、伝送又は蓄積される情報量を低減することができる。 Furthermore, the amount of information transmitted or stored can be reduced even for signals that are not subsampled.
以下に、本発明による一実施例の符号化装置(符号化・前処理用の前処理装置を含む)、及び復号装置(復号化・後処理用の後処理装置を含む)について、図1〜図6を参照して具体的に説明する。 Hereinafter, an encoding apparatus (including a preprocessing apparatus for encoding / preprocessing) and a decoding apparatus (including a postprocessing apparatus for decoding / postprocessing) according to an embodiment of the present invention will be described with reference to FIGS. This will be specifically described with reference to FIG.
図1は、本発明による一実施例の符号化装置100のブロック図を示している。
FIG. 1 shows a block diagram of an
[符号化装置]
本実施例による符号化装置100は、符号化・前処理用の前処理装置1と、符号化器3とを備える。また、前処理装置1は、2次元フィルター11と、2次元周波数配置変換器12と、水平・垂直サンプリングレート3/4変換器13とを備える。更に、2次元周波数配置変換器12は、水平高周波成分除去器12aと、水平高周波成分抽出器12bと、水平高周波成分2次元周波数配置変換器12cと、垂直高周波成分除去器12dと、垂直高周波成分抽出器12eと、垂直高周波成分2次元周波数配置変換器12fと、信号加算器12gとを備えている。
[Encoder]
The
次に、符号化装置100の各構成要素を説明する。
Next, each component of the
2次元フィルター11は、任意の符号化対象画像(元画像)の画像信号の周波数成分を入力して低域側周波数領域内の周波数成分に変換し、2次元周波数配置変換器12に送出する機能を有する。例えば、2次元フィルター11は、当該符号化対象画像の周波数成分がサブサンプリングされておらず、且つ2次元周波数空間の帯域外領域の成分(以下、「帯域外成分」と称する)を含む場合には当該帯域外成分を削除することにより、「低域側周波数領域」の周波数成分に変換する。或いは又、2次元フィルター11は、当該符号化対象画像の周波数成分がサブサンプリングされている(半画素ずらし用に間引かれている)場合には、間引かれた画素を内挿することにより、「低域側周波数領域」の周波数成分に変換する。或いは又、任意の符号化対象画像(元画像)の画像信号の周波数成分が、既に「低域側周波数領域」の周波数成分に変換されている場合には、この2次元フィルター11は不要である。好適には、帯域制限がコサイン・ロールオフフィルタの周波数特性の場合に最良の再生画質が得られる。尚、既に「低域側周波数領域」の周波数成分に変換されている場合に、2次元フィルター11の係数をパススルーに設定するように構成することもできる。以下、「低域側周波数領域」の周波数成分を低域側周波数領域信号と称する。
The two-
2次元周波数配置変換器12は、2次元フィルター11から供給される低域側周波数領域信号から、サブサンプリング帯域内にある水平及び垂直の最高周波数の3/4以上の帯域の成分を、サブサンプリング帯域外にある最高周波数の1/2以上、且つ3/4以下の帯域にそれぞれ配置変換し、低域側周波数領域の周波数成分から当該抽出した高周波成分の各々を差分した差分周波数成分の画像信号と、当該配置変換された周波数成分の各々の画像信号とを加算して得られる画像信号を、水平・垂直サンプリングレート3/4変換器13に出力する。
The two-dimensional
水平・垂直サンプリングレート3/4変換器13は、2次元周波数配置変換器12から供給される画像信号から、水平又は垂直の画素数をそれぞれ3/4倍に間引いてサンプリングレート変換を施し、符号化器3に出力する。
The horizontal /
符号化器3は、H.264、MPEG2又はJPEG等のコーデックを使用して非可逆符号化を施す。符号化器3から出力される信号は、伝送装置(図示せず)で送信されるか、又は記憶装置(図示せず)に蓄積することができる。
The
より詳細に、前処理装置1の一部を構成する2次元周波数配置変換器12の各構成要素について説明する。
In more detail, each component of the two-dimensional
水平高周波成分除去器12aは、入力した低域側周波数領域信号から、水平周波数が最大周波数の3/4以上の帯域の信号成分を除去し、垂直高周波成分除去器12d及び垂直高周波成分抽出器12eに出力する。
The horizontal high-
水平高周波成分抽出器12bは、入力した低域側周波数領域信号から、水平周波数が最大周波数の3/4以下の帯域の信号成分を除去する1次元デジタルフィルターを使用して、最大周波数の3/4以上の高周波成分を抽出し、水平高周波成分2次元周波数配置変換器12cに出力する。尚、水平高周波成分除去器12aと水平高周波成分抽出器12bは相補的な処理を行うため、水平高周波成分抽出器12bは元の周波数領域信号と2次元帯域外成分除去器22aにより帯域制限された周波数領域信号との差分を計算するだけでよくなる。
The horizontal high-frequency component extractor 12b uses a one-dimensional digital filter that removes signal components in a band whose horizontal frequency is 3/4 or less of the maximum frequency from the input low-frequency side frequency domain signal, and
水平高周波成分2次元周波数配置変換器12cは、水平高周波成分抽出器12bによって抽出された水平周波数が最大周波数の3/4以上の高周波成分を、サブサンプリング帯域外の水平周波数が最大周波数の1/2以上且つ3/4以下の領域に配置変換し、信号加算器12gに出力する。
The horizontal high-frequency component two-dimensional
垂直高周波成分除去器12dは、入力信号から垂直周波数が最大周波数の3/4以上の帯域の信号成分を除去し、信号加算器12gに出力する。 The vertical high frequency component remover 12d removes a signal component in a band whose vertical frequency is 3/4 or more of the maximum frequency from the input signal, and outputs the signal component to the signal adder 12g.
垂直高周波成分抽出器12eは、入力信号から、垂直周波数が最大周波数の3/4以下の帯域の信号成分を除去する1次元デジタルフィルターを使用して、最大周波数の3/4以上の高周波成分を抽出し、垂直高周波成分2次元周波数配置変換器12fに出力する。
The vertical high-
垂直高周波成分2次元周波数配置変換器12fは、入力信号から、垂直最大周波数の3/4以上の高周波成分を、サブサンプリング帯域外の垂直周波数が最大周波数の1/2以上且つ3/4以下の領域に配置変換し、信号加算器12gに出力する。 The vertical high frequency component two-dimensional frequency arrangement converter 12f receives a high frequency component of 3/4 or more of the maximum vertical frequency from the input signal, and the vertical frequency outside the sub-sampling band is 1/2 or more and 3/4 or less of the maximum frequency. The arrangement is converted to the area and output to the signal adder 12g.
信号加算器12gは、入力した水平高周波成分2次元周波数配置変換器12cからの周波数成分の画像信号と、垂直高周波成分2次元周波数配置変換器12fからの周波数成分の画像信号と、垂直高周波成分除去器12dからの周波数成分の画像信号を、復号側で分離可能な任意の態様で加算して、水平・垂直サンプリングレート3/4変換器13に出力する。
The signal adder 12g removes the input frequency component image signal from the horizontal high-frequency component two-dimensional
本実施例の前処理装置1は、図3に示すように、水平及び垂直の最大周波数の3/4以上の高周波領域を、帯域外領域の(2)及び(4)にそれぞれ配置変換し、更に画素数を3/4倍に間引くことによって、従来技術において生じた最大周波数の1/2周辺の成分に起因する画質劣化を改善し、更にサブサンプリングしてデ・モザイキングした場合の符号量を半減させるものである。
As shown in FIG. 3, the
ここで、水平方向の高周波成分の配置返還を行う水平高周波成分2次元周波数配置変換器12cによる信号処理について説明する。
Here, signal processing by the horizontal high-frequency component two-dimensional
図4aは、水平高周波成分2次元周波数配置変換器12cにより水平最大周波数の3/4以上の信号領域(1)が帯域外領域(2)に配置変換する過程を示しており、図4bはそれぞれの配置での信号成分a_ij(i,jは1以上の整数)を示している。まず、サブサンプリングによって信号が半分に間引かれ、領域(1)の信号は領域(6)に折り返されて、続いて、領域(7)に配置変換される。領域(7)に配置変換された段階での信号は間引かれた状態であるが、帯域幅を元の1/2に制限するデジタルフィルターによって、水平及び垂直の双方に対して信号を内挿する。ここで、b_ij(i,jは1以上の整数)は内挿された信号成分を示している。その後、折り返されて帯域外領域の領域(2)へと配置変換される。垂直高周波成分2次元周波数配置変換器12fに関しても同様に処理される。本実施例では、水平又は垂直の最大周波数の3/4以上の高周波領域を配置変換する際に、図2に示すように、水平高周波領域(1)を領域(2)に、垂直高周波領域(3)を領域(4)に配置変換しているが、水平高周波領域(1)を領域(4)に、垂直高周波領域(3)を領域(2)に配置変換してもよい。
FIG. 4a shows a process in which the signal region (1) of 3/4 or more of the horizontal maximum frequency is rearranged to the out-of-band region (2) by the horizontal high-frequency component two-dimensional
次に、前処理装置1の動作について説明する。
Next, the operation of the
(前処理装置の動作)
図5は、本実施例の前処理装置1の動作を示すフローチャートである。
(Operation of pre-processing equipment)
FIG. 5 is a flowchart showing the operation of the
まず、ステップS501にて、2次元フィルター11により、符号化対象の画像信号から、サブサンプリングされていない場合には2次元周波数空間のサブサンプリング帯域外の帯域外成分を除去する。また、サブサンプリングされている信号に対しては、間引かれた画素を内挿する。
First, in step S501, the two-
次に、帯域外成分が除去された信号から、ステップS502にて、水平高周波成分除去器12aにより水平周波数が最大周波数の3/4以上の高周波成分を除去するとともに、水平高周波成分抽出器12bにより最大周波数の3/4以上の高周波成分を抽出する。
Next, in step S502, the horizontal high
続いて、ステップS503にて、水平高周波成分除去器12aにより水平高周波成分が除去された信号から、垂直高周波成分除去器12dにより垂直周波数が最大周波数の3/4以上の高周波成分を除去するとともに、垂直高周波成分抽出器12eにより最大周波数の3/4以上の高周波成分を抽出する。
Subsequently, in step S503, the vertical high frequency component remover 12d removes a high frequency component whose vertical frequency is 3/4 or more of the maximum frequency from the signal from which the horizontal high frequency component is removed by the horizontal high
次に、ステップS504にて、水平高周波成分抽出器12bにより水平高周波成分が抽出された信号から、水平高周波成分2次元周波数配置変換器12cにより、最大周波数の3/4以上の高周波成分を、水平周波数が1/2以上4/3以下のサブサンプリング帯域外に存在する帯域外領域に配置変換する。同様に、垂直成分についても、垂直高周波成分抽出器12eにより垂直高周波成分が抽出された信号から、垂直高周波成分2次元周波数配置変換器12fにより、最大周波数の3/4以上の高周波成分を、垂直周波数が1/2以上4/3以下のサブサンプリング帯域外に存在する帯域外領域に配置変換する。
Next, in step S504, the horizontal high-frequency component two-dimensional
その後、ステップS505にて、信号加算器12gにより、水平高周波成分2次元周波数配置変換器12cの出力と、垂直高周波成分2次元周波数配置変換器12fの出力と、垂直高周波成分除去器12dの出力を加算する。
Thereafter, in step S505, the signal adder 12g outputs the output of the horizontal high-frequency component two-dimensional
最後に、ステップS506にて、水平・垂直サンプリングレート3/4変換器13により、信号加算器12gの出力信号から水平及び垂直の画素数を3/4倍にそれぞれ間引く。
Finally, in step S506, the horizontal /
前処理装置1の出力信号は、その後、符号化器3にて符号化された後、外部に伝送されるか、又は蓄積される。復号側では、後述するように、復号化器5にて、伝送された信号を受信するか、又は蓄積された信号を読み出して復号処理を施し、後処理装置2により後処理を行なう。
The output signal of the
このように、水平及び垂直の最大周波数の3/4以上の高周波成分を、サブサンプリング帯域外の帯域外成分に配置変換し、最大周波数の3/4以下の帯域の成分についてのみ符号化するため、視覚感度の高い最大周波数の1/2近傍の、ビット割り当ての不足に起因する画質劣化を改善することが可能になる。 In this way, high-frequency components of 3/4 or more of the horizontal and vertical maximum frequencies are rearranged to out-of-band components outside the sub-sampling band, and only the components in the band of 3/4 or less of the maximum frequency are encoded. Thus, it is possible to improve image quality degradation due to insufficient bit allocation in the vicinity of ½ of the maximum frequency with high visual sensitivity.
また、符号化される総画素数は、図3に示すように帯域が水平、垂直方向ともに最大周波数の3/4に制限されるため元画像の9/16倍となる。これは、サブサンプリング信号を水平又は垂直に並べ替える場合と比較すると9/8倍である。しかし、符号化される総符号量は、(5)の領域の信号成分は存在しないため割り当てられる符号量は0であり、サブサンプリング信号を水平又は垂直に並べ替える場合と同一となる。 The total number of pixels to be encoded is 9/16 times that of the original image because the band is limited to 3/4 of the maximum frequency in both the horizontal and vertical directions as shown in FIG. This is 9/8 times that of the case where the sub-sampling signals are rearranged horizontally or vertically. However, the total code amount to be encoded is 0 because the signal component in the region (5) does not exist, and is the same as when the sub-sampling signals are rearranged horizontally or vertically.
更に、デジタルカメラ等の単板式撮像素子から得られるサブサンプリング信号についても、本実施例による前処理装置及び後処理装置を使用し、復号化後にデ・モザイキングするようにすれば、デ・モザイキングして元画像と同じ画素数にした画像信号を符号化する場合と比較して符号量が1/2となり、少ない符号量で画質の向上を達成することが可能となる。換言すれば、本実施例の前処理装置及び後処理装置を使用しない場合と符号量が同一の場合には、画質が向上することになる。 Furthermore, the sub-sampling signal obtained from a single-plate image sensor such as a digital camera can be de-mosaiced by using the pre-processing device and post-processing device according to the present embodiment and de-mosaicing after decoding. Thus, the code amount is halved compared to the case of encoding an image signal having the same number of pixels as the original image, and it is possible to achieve an improvement in image quality with a small code amount. In other words, the image quality is improved when the code amount is the same as when the pre-processing apparatus and post-processing apparatus of the present embodiment are not used.
次に、図2に示す、本発明の一実施例による復号装置200について説明する。
Next, a
[復号装置]
本実施例による復号装置200は、復号化・後処理用の後処理装置2と、復号化器5とを備える。また、後処理装置2は、水平・垂直サンプリングレート4/3変換器21と、2次元周波数配置変換器22とを備える。更に、2次元周波数配置変換器22は、2次元帯域外成分除去器22aと、2次元帯域外成分抽出器22bと、垂直高周波成分抽出器22cと、垂直高周波成分2次元周波数配置変換器22dと、水平高周波成分抽出器22eと、水平高周波成分2次元周波数配置変換器22fと、信号加算器22gとを備えている。
[Decryption device]
The
次に、復号装置200の各構成要素について説明する。
Next, each component of the
復号化器5は、符号化器3によって符号化された画像信号について、受信した画像信号又は蓄積装置から読み出された画像信号を入力して、符号化側のコーデックに対応する復号処理を施し、水平・垂直サンプリングレート4/3変換器21に出力する。
The
水平・垂直サンプリングレート4/3変換器21は、入力した復号化された画像信号に対して、水平及び垂直方向の画素数を4/3倍にそれぞれ拡張し、2次元周波数配置変換器22に出力する。
The horizontal /
2次元周波数配置変換器22は、入力したサンプリングレートが変換された画像信号に対して、水平又は垂直の最高周波数の1/2以上、且つ3/4以下の帯域に配置変換された高周波成分を、水平又は垂直の最高周波数の3/4以上の高周波領域に配置変換し、配置変換した各周波数領域信号の画像信号を加算して出力する。
The two-dimensional
より詳細に、後処理装置2の一部を構成する2次元周波数配置変換器22の各構成要素について説明する。
In more detail, each component of the two-dimensional
2次元帯域外成分除去器22aは、水平・垂直サンプリングレート4/3変換器21の出力信号を入力し、2次元デジタルフィルタリングにより入力信号から2次元周波数の帯域外成分を除去して信号加算器22gに出力する。
The two-dimensional out-of-
2次元帯域外成分抽出器22bは、水平・垂直サンプリングレート4/3変換器21の出力信号を入力し、2次元周波数の帯域外成分を抽出して垂直高周波成分抽出器22c及び水平高周波成分抽出器22eに出力する。尚、2次元帯域外成分除去器22aと、当該抽出器は相補的な処理を行うため、水平・垂直サンプリングレート4/3変換器21の出力信号と2次元帯域外成分除去器22aの出力信号との差分を計算するだけでよい。
The two-dimensional out-of-
垂直高周波成分抽出器22cは、入力信号から垂直周波数が最大周波数の1/2以下の帯域の信号成分を除去し、垂直高周波成分2次元周波数配置変換器22dに出力する。
The vertical high
水平高周波成分抽出器22eは、入力信号から水平周波数が最大周波数の1/2以下の帯域の信号成分を除去し、水平高周波成分2次元周波数配置変換器22fに出力する。
The horizontal high
垂直高周波成分2次元周波数配置変換器22dは、入力信号から、垂直周波数が最大周波数の1/2以上の成分を、本来配置されていたサブサンプリング帯域内の最大周波数の3/4以上の領域に配置変換し、信号加算器22gに出力する。
The vertical high frequency component two-dimensional
水平高周波成分2次元周波数配置変換器22fは、入力信号から、水平周波数が最大周波数の1/2以上の成分を、本来配置されていたサブサンプリング帯域内の最大周波数の3/4以上の領域に配置変換し、信号加算器22gに出力する。 The horizontal high-frequency component two-dimensional frequency arrangement converter 22f converts a component having a horizontal frequency of 1/2 or more of the maximum frequency from the input signal into a region of 3/4 or more of the maximum frequency in the sub-sampling band where it was originally arranged. The arrangement is converted and output to the signal adder 22g.
信号加算器22gは、入力した2次元帯域外成分除去器22aからの周波数成分の画像信号と、垂直高周波成分2次元周波数配置変換器22dからの周波数成分の画像信号と、水平高周波成分2次元周波数配置変換器22fからの周波数成分の画像信号とを加算して、元画像用の画像信号(周波数信号又は画素信号)を復元する。
The signal adder 22g receives the input frequency component image signal from the two-dimensional out-of-
ここで、後処理装置2の動作について説明する。
Here, the operation of the
(後処理装置の動作)
図6は、本実施例による後処理装置2の動作を示すフローチャートである。
(Operation of post-processing equipment)
FIG. 6 is a flowchart showing the operation of the
まず、ステップS601にて、水平・垂直サンプリングレート4/3変換器21により、復号化器5の出力信号から水平又は垂直の画素数をそれぞれ4/3倍に拡張する。
First, in step S601, the horizontal /
次に、ステップS602にて、水平・垂直サンプリングレート4/3変換器21の出力信号から、2次元帯域外成分除去器22aにより2次元周波数空間におけるサブサンプリング帯域外の帯域外成分を除去するとともに、2次元帯域外成分抽出器22bにより2次元周波数空間におけるサブサンプリング帯域外の帯域外成分を抽出する。
Next, in step S602, out-of-band components outside the sub-sampling band in the two-dimensional frequency space are removed from the output signal of the horizontal /
続いて、ステップS603にて、垂直高周波成分抽出器22cにより垂直周波数が最大周波数の1/2以上の高周波成分を抽出するとともに、水平高周波成分抽出器22eにより最大周波数の1/2以上の高周波成分を抽出する。
Subsequently, in step S603, the vertical high-
次に、ステップS604にて、垂直高周波成分2次元周波数配置変換器22dは、垂直高周波成分抽出器22cにより抽出された垂直周波数が最大周波数の1/2以上の成分を、本来配置されていた最大周波数の3/4以上の領域に配置変換する。同様に、水平成分についても、水平高周波成分抽出器22eの出力から、水平高周波成分2次元周波数配置変換器22fにて、最大周波数の1/2以上の成分を、本来配置されていた最大周波数の3/4以上の領域に配置変換する。
Next, in step S604, the vertical high-frequency component two-dimensional
最後に、ステップS605にて、信号加算器22gにより、2次元帯域外成分除去器22aの出力と、垂直高周波成分2次元周波数配置変換器22dの出力と、水平高周波成分2次元周波数配置変換器22fの出力を加算する。
Finally, in step S605, the signal adder 22g causes the output of the two-dimensional out-of-
こうして、復号化器5で復号化された画像信号が後処理装置2で処理され、サブサンプリング帯域全体の成分を含む画像信号が得られる。出力された画像信号は、2次元周波数の帯域外成分を含まない信号として使用したり、2次元サブサンプリングして使用することも可能である。
In this way, the image signal decoded by the
以上のように、本発明による一実施例の前処理装置及び後処理装置を使用して、視覚感度の高い最高周波数の1/2近傍の成分に係る画質劣化を改善するとともに符号化効率を向上させることが可能となる。 As described above, by using the pre-processing device and post-processing device according to an embodiment of the present invention, image quality deterioration related to a component near ½ of the highest frequency with high visual sensitivity is improved and encoding efficiency is improved. It becomes possible to make it.
更に、本発明の一態様として、符号化装置1又は復号装置2を、各装置として機能するコンピュータとしてそれぞれ構成させることができる。コンピュータに、前述した各構成要素を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはROM又はRAMなどの内部記憶装置で実現することができる。各コンピュータに備えられる制御部は、中央演算処理装置(CPU)などの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各成要素の機能をハードウェアの全部又は一部で実現しても良い。
Furthermore, as an aspect of the present invention, the
また、この処理内容を記述したプログラムを、例えばDVD又はCD−ROMなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばIPなどのネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。 In addition, the program describing the processing contents can be distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM, and such a program can be distributed on a network such as an IP. The program can be distributed by storing the program in the storage unit of the server and transferring the program from the server to another computer via the network.
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記
録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶
することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型
記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することと
してもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、
受け取ったプログラムに従った処理を実行することとしてもよい。尚、本態様におけるプ
ログラムには、電子計算機の処理の用に供する情報であってプログラムに準ずるもの(コ
ンピュータに対する直接の指令ではないが、コンピュータの処理を規定する性質を有する
データ等)を含むものとする。
In addition, a computer that executes such a program can temporarily store, for example, a program recorded on a portable recording medium or a program transferred from a server in its own storage unit. As another embodiment of the program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and each time the program is transferred from the server to the computer. In turn,
Processing according to the received program may be executed. Note that the program in this aspect includes information provided for processing of an electronic computer and equivalent to the program (data that is not a direct command to the computer but has a property that defines the processing of the computer). .
本発明は、情報量が膨大なスーパーハイビジョン等の符号化システム、単板式デジタルビデオカメラやデジタルスチルカメラにおける画質改善および符号量抑制に有用である。また、サブサンプリングされていない一般の信号に対しても、画質の劣化を生じることなく符号化効率を向上させる上で有用である。 INDUSTRIAL APPLICABILITY The present invention is useful for image quality improvement and code amount suppression in an encoding system such as Super Hi-Vision that has a large amount of information, a single-panel digital video camera, and a digital still camera. In addition, it is useful for improving coding efficiency without causing deterioration of image quality even for general signals that are not subsampled.
以上、具体例を挙げて本発明を詳細に説明してきたが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。従って、本発明は上記の実施例に限定されるものではない。 Although the present invention has been described in detail with specific examples, it will be apparent to those skilled in the art that various modifications and changes can be made without departing from the scope of the claims of the present invention. Therefore, the present invention is not limited to the above embodiments.
1 前処理装置
2 後処理装置
3 符号化器
5 復号化器
11 2次元フィルター
12 2次元周波数配置変換器
12a 水平高周波成分除去器
12b 水平高周波成分抽出器
12c 水平高周波成分2次元周波数配置変換器
12d 垂直高周波成分除去器
12e 垂直高周波成分抽出機
12f 垂直高周波成分2次元周波数配置変換器
12g 信号加算器
13 水平・垂直サンプリングレート3/4変換器
21 水平・垂直サンプリングレート4/3変換器
22 2次元周波数配置変換器
22a 2次元帯域外成分除去器
22b 2次元帯域外成分抽出器
22c 垂直高周波成分抽出器
22d 垂直高周波成分2次元周波数配置変換器
22e 水平高周波成分抽出器
22f 水平高周波成分2次元周波数配置変換器
22g 信号加算器
100 符号化装置
200 復号装置
DESCRIPTION OF
Claims (6)
2次元周波数空間における低域側周波数領域の周波数成分から、水平及び垂直周波数の最大周波数の3/4以上の高周波成分をそれぞれ抽出する高周波成分抽出手段と、
抽出した前記高周波成分の各々を、前記低域側周波数領域の帯域外となる帯域外領域内の領域のうち、水平及び垂直の最大周波数の1/2以上であり、且つ3/4以下の領域にそれぞれ配置変換する配置変換手段と、
前記低域側周波数領域の周波数成分から前記抽出した前記高周波成分の各々を差分した差分周波数成分の画像信号と、前記配置変換された周波数成分の各々の画像信号とを加算して得られる画像信号に対して画素数を3/4倍に間引くサンプリングレート変換手段と、
を備えることを特徴とする前処理装置。 A preprocessing device that performs preprocessing on frequency components of an image signal to be encoded,
High-frequency component extraction means for extracting high-frequency components of 3/4 or more of the maximum horizontal and vertical frequencies from the frequency components in the low-frequency region in the two-dimensional frequency space;
Each of the extracted high-frequency components is a region that is not less than ½ of the horizontal and vertical maximum frequencies and is not more than 3/4 of the region in the out-of-band region that is outside the low-frequency region. A layout conversion means for converting the layout to
An image signal obtained by adding an image signal of a difference frequency component obtained by subtracting each of the extracted high frequency components from a frequency component of the low frequency region and an image signal of each of the frequency components subjected to the arrangement conversion Sampling rate conversion means for thinning out the number of pixels by 3/4 times,
A pre-processing apparatus comprising:
前記サンプリングレート変換手段によって間引いた画像信号を符号化する符号化手段と、
を備えることを特徴とする符号化装置。 The pretreatment device according to claim 1;
Encoding means for encoding the image signal thinned out by the sampling rate conversion means;
An encoding device comprising:
該画像信号を入力して画素数を4/3倍に拡張するサンプリングレート変換手段と、
当該拡張された画像信号の周波数成分から、前記低域側周波数領域の帯域外となる当該帯域外領域内の周波数成分を抽出する帯域外成分抽出手段と、
当該抽出した前記帯域外領域内の周波数成分から、水平及び垂直の最大周波数の1/2以上の高周波成分をそれぞれ抽出する高周波成分抽出手段と、
抽出した前記水平及び垂直高周波成分の各々を、前記低域側周波数領域における領域のうち、水平及び垂直の最大周波数の3/4以上の領域にそれぞれ配置変換する配置変換手段と、
当該帯域外領域内の周波数成分の画像信号と、該配置変換した各周波数成分の画像信号とを加算して元の画像信号を復元する信号加算手段と、
を備えることを特徴とする後処理装置。 A post-processing device that performs post-processing on an image signal decoded for an image signal encoded by the encoding device according to claim 2,
Sampling rate conversion means for inputting the image signal and expanding the number of pixels to 4/3 times;
Out-of-band component extraction means for extracting a frequency component in the out-of-band region that is outside the band of the low-frequency side frequency region from the frequency component of the expanded image signal;
High-frequency component extraction means for extracting high-frequency components that are 1/2 or more of the horizontal and vertical maximum frequencies from the extracted frequency components in the out-of-band region;
Arrangement conversion means for arranging and converting each of the extracted horizontal and vertical high-frequency components into a region of 3/4 or more of the maximum horizontal and vertical frequencies among the regions in the low frequency region;
Signal adding means for adding the image signal of the frequency component in the out-of-band region and the image signal of each frequency component subjected to the arrangement conversion to restore the original image signal;
A post-processing device comprising:
該復号された画像信号に対して後処理を行う、請求項3に記載の後処理装置と、
を備えることを特徴とする復号装置。 Decoding means for performing an image signal encoded by the encoding device according to claim 2;
The post-processing device according to claim 3, wherein post-processing is performed on the decoded image signal;
A decoding apparatus comprising:
2次元周波数空間における低域側周波数領域の周波数成分から、水平及び垂直周波数の最大周波数の3/4以上の高周波成分をそれぞれ抽出するステップと、
抽出した前記高周波成分の各々を、前記低域側周波数領域の帯域外となる帯域外領域内の領域のうち、水平及び垂直の最大周波数の1/2以上であり、且つ3/4以下の領域にそれぞれ配置変換するステップと、
前記低域側周波数領域の周波数成分から前記抽出した前記高周波成分の各々を差分した差分周波数成分と、前記配置変換された周波数成分の各々とを加算して得られる画像信号に対して画素数を3/4倍に間引いてサンプリングレート変換するステップと、
を実行させるためのプログラム。 In a computer configured as a preprocessing device that performs preprocessing on the frequency components of the image signal to be encoded,
Extracting a high frequency component of 3/4 or more of the maximum horizontal and vertical frequencies from the frequency components in the low frequency region in the two-dimensional frequency space;
Each of the extracted high-frequency components is a region that is not less than ½ of the horizontal and vertical maximum frequencies and is not more than 3/4 of the region in the out-of-band region that is outside the low-frequency region. Each of the step of converting the arrangement,
The number of pixels is determined for an image signal obtained by adding a difference frequency component obtained by subtracting each of the extracted high frequency components from the frequency component of the low frequency region and the frequency components subjected to the arrangement conversion. Converting the sampling rate by thinning out to 3/4 times;
A program for running
該画像信号を入力して画素数を4/3倍に拡張してサンプリングレート変換するステップと、
当該拡張された画像信号の周波数成分から、前記低域側周波数領域の帯域外となる当該帯域外領域内の周波数成分を抽出するステップと、
当該抽出した前記帯域外領域内の周波数成分から、水平及び垂直の最大周波数の1/2以上の高周波成分をそれぞれ抽出するステップと、
抽出した前記水平及び垂直高周波成分の各々を、前記低域側周波数領域における領域のうち、水平及び垂直の最大周波数の3/4以上の領域にそれぞれ配置変換するステップと、
当該帯域外領域内の周波数成分の画像信号と、該配置変換した各周波数成分の画像信号とを加算して元の画像信号を復元するステップと、
を実行させるための後処理プログラム。 A computer configured as a post-processing device that performs post-processing on an image signal decoded for an image signal encoded by the encoding device according to claim 2,
Inputting the image signal, expanding the number of pixels by 4/3, and converting the sampling rate;
Extracting a frequency component in the out-of-band region that is outside the band of the low-frequency side frequency region from the frequency component of the expanded image signal;
Extracting from the extracted frequency components in the out-of-band region, high frequency components that are ½ or more of the horizontal and vertical maximum frequencies, respectively;
Rearranging each of the extracted horizontal and vertical high-frequency components into a region of 3/4 or more of the horizontal and vertical maximum frequencies among the regions in the low frequency region,
Restoring the original image signal by adding the image signal of the frequency component in the out-of-band region and the image signal of each frequency component subjected to the arrangement conversion;
A post-processing program for executing
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009109748A JP5175796B2 (en) | 2009-04-28 | 2009-04-28 | Encoding / preprocessing device, decoding / postprocessing device, encoding device, decoding device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009109748A JP5175796B2 (en) | 2009-04-28 | 2009-04-28 | Encoding / preprocessing device, decoding / postprocessing device, encoding device, decoding device, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010258991A JP2010258991A (en) | 2010-11-11 |
JP5175796B2 true JP5175796B2 (en) | 2013-04-03 |
Family
ID=43319358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009109748A Expired - Fee Related JP5175796B2 (en) | 2009-04-28 | 2009-04-28 | Encoding / preprocessing device, decoding / postprocessing device, encoding device, decoding device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5175796B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8669702B2 (en) | 2010-11-19 | 2014-03-11 | Semiconductor Energy Laboratory Co., Ltd. | Lighting device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02162888A (en) * | 1988-12-15 | 1990-06-22 | Matsushita Electric Ind Co Ltd | Method and device for compressing video signal |
JPH03250882A (en) * | 1990-02-28 | 1991-11-08 | Sony Corp | Transmission system for video signal |
JPH0698304A (en) * | 1992-09-10 | 1994-04-08 | Matsushita Electric Ind Co Ltd | Subsample coder |
JPH07143486A (en) * | 1993-11-16 | 1995-06-02 | Canon Inc | High efficiency coder |
-
2009
- 2009-04-28 JP JP2009109748A patent/JP5175796B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010258991A (en) | 2010-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI624804B (en) | A method and system for providing high resolution image through super-resolution reconstrucion | |
JP5831587B2 (en) | Image processing apparatus and method | |
EP2524505B1 (en) | Edge enhancement for temporal scaling with metadata | |
JP5544996B2 (en) | Image processing apparatus and method | |
JP5581688B2 (en) | Image processing apparatus and method, and program | |
WO2011018965A1 (en) | Image processing device and method | |
CN105900424B (en) | Decoding apparatus, coding/decoding method, code device and coding method | |
CN104125468A (en) | Image processing device and method | |
WO2012096229A1 (en) | Encoding device, encoding method, decoding device, and decoding method | |
JP2011151682A (en) | Image processing apparatus and method | |
CN101689297A (en) | Efficient image representation by edges and low-resolution signal | |
US20130216150A1 (en) | Image processing device, image processing method, and program | |
JP4824703B2 (en) | Two-dimensional filter arithmetic apparatus and method | |
JP2011135184A (en) | Image processing device and method, and program | |
CN102224735A (en) | Image processing device and method | |
JP5113479B2 (en) | Image signal processing apparatus and image signal processing method | |
US20130094584A1 (en) | Encoding device, encoding method, decoding device, and decoding method | |
JP5175796B2 (en) | Encoding / preprocessing device, decoding / postprocessing device, encoding device, decoding device, and program | |
JP2008125002A (en) | Image encoder, image decoder and image processing program | |
US20050100239A1 (en) | Image signal processing method, image signal processing apparatus, and image signal processing program | |
JP2006340300A (en) | Signal processing method, signal processing apparatus, signal processing program and information recording medium | |
JP5011138B2 (en) | Image coding apparatus, image coding method, image decoding apparatus, and image decoding method | |
JP2006101440A (en) | Information processing apparatus and method | |
JP2017152902A (en) | Image processing system and image processing apparatus | |
JP2016076758A (en) | Reproducer, encoder, and reproduction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121115 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130107 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |