WO1998051072A1 - Image converter and image conversion method - Google Patents

Image converter and image conversion method Download PDF

Info

Publication number
WO1998051072A1
WO1998051072A1 PCT/JP1998/002009 JP9802009W WO9851072A1 WO 1998051072 A1 WO1998051072 A1 WO 1998051072A1 JP 9802009 W JP9802009 W JP 9802009W WO 9851072 A1 WO9851072 A1 WO 9851072A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
class
prediction
pixel data
data
Prior art date
Application number
PCT/JP1998/002009
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Yasushi Tatehira
Hideo Nakaya
Takaya Hoshino
Masaaki Hattori
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to DE69838536T priority Critical patent/DE69838536T2/de
Priority to IL12791098A priority patent/IL127910A/xx
Priority to CN98800490A priority patent/CN1129301C/zh
Priority to EP98919492A priority patent/EP0912045B1/en
Publication of WO1998051072A1 publication Critical patent/WO1998051072A1/ja
Priority to US09/226,808 priority patent/US6233019B1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Definitions

  • the present invention relates to a pixel conversion device and method.
  • the present invention relates to a pixel conversion device and a pixel conversion method capable of reliably performing blurred image correction.
  • the applicant of the present invention has proposed, for example, Japanese Patent Application Laid-Open No. 8-51599, which is a technique for obtaining pixel data with higher resolution.
  • this proposal for example, when creating image data consisting of HD (High Definition) pixel data from image data consisting of SD (Standard Definition) pixel data, the Classification is performed using the located SD pixel data (the class is determined), a set of prediction coefficient values is learned for each class, and the intra-frame correlation is used in the still image part. In the moving part, HD pixel data closer to the true value is obtained using the intra-field correlation.
  • image data having very poor image quality can be corrected to image data having good image quality.
  • image data with very poor image quality if class classification is performed using the image data with very poor image quality, appropriate class classification cannot be performed, and an appropriate class must be determined. Can not. Therefore, if an appropriate class cannot be obtained, an appropriate set of prediction coefficient values cannot be obtained, and as a result, there has been a problem that a sufficient image quality cannot be corrected. Disclosure of the invention
  • the present invention has been made in view of such circumstances, and provides an image conversion apparatus and an image conversion method that can surely correct the image quality even if the image quality of input image data is poor. Things.
  • An image conversion device is an image conversion device that converts a first image signal including a plurality of pixel data into a second image data including a plurality of pixel data.
  • a class tap extraction circuit for extracting, as class taps, a plurality of pixel data for generating a class code from a class tap; a class classification circuit for classifying the class taps to generate a class code representing the class;
  • a generation circuit that generates prediction data corresponding to the class code; a generation circuit that outputs a second image signal using the prediction data; and a feature amount that indicates a degree of blur of the image of the first image signal
  • a detection circuit that controls the operation of extracting the class taps of the first extraction circuit in accordance with the detection result.
  • the image conversion method of the present invention is an image conversion method for converting a first image signal composed of a plurality of pixel data into a second image data composed of a plurality of pixel data.
  • a plurality of pixel data for generating a class code are extracted as class taps, a class code representing the class is generated by classifying the class taps, and prediction data corresponding to the class code is generated. Is generated, and a second image signal is output using the prediction data.
  • a feature amount representing a degree of blur of the image of the first image signal is detected, and the feature amount corresponding to the detection result is detected. And controls the extraction operation of the class tap.
  • the class tap is controlled in accordance with the feature amount representing the blur amount of the input image data. Therefore, even if the image quality of the input image data is poor, the optimal class tap can be extracted, and the optimal prediction processing can be performed.
  • FIG. 1 is a block diagram illustrating a configuration example of an image conversion apparatus to which the present invention has been applied.
  • FIG. 2 is a diagram for explaining a cutout process in the region cutout unit 1 in FIG.
  • FIG. 3 is a diagram for explaining a cutout process in the region cutout unit 1 in FIG.
  • FIG. 4 is a flowchart for explaining the feature amount extraction processing in the feature amount extraction unit 3 in FIG.
  • FIG. 5 is a diagram illustrating the process of calculating the autocorrelation coefficient in step S1 of FIG.
  • FIG. 6 is a diagram illustrating the autocorrelation coefficient calculated in step S1 of FIG.
  • FIG. 7 is a diagram illustrating another feature amount detection process in the feature amount extraction unit 3 of FIG.
  • FIG. 9 is a diagram showing an example of another feature amount detection in the feature amount extraction unit 3 in FIG.
  • FIG. 10 is a diagram for explaining a cutout process in the region cutout unit 1 of FIG.
  • FIG. 11 is a diagram for explaining a cutout process in the region cutout unit 1 of FIG.
  • FIG. 12 is a block diagram showing a configuration example for performing a learning process of a prediction coefficient of the ROM table 6 of FIG. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 is a block diagram illustrating a configuration example of an image conversion device to which the present invention has been applied.
  • SD image data with poor image quality (of a blurred image) (or HD image data) is improved in SD image data.
  • SD image data with poor image quality (of a blurred image) (or HD image data) is shown.
  • the input image data is the SD image data.
  • image data with poor image quality is input to an image conversion device via an input terminal.
  • the input image data is supplied to a region cutout unit 1, a region cutout unit 2, and a feature amount extraction unit 3.
  • the feature amount extraction unit 3 detects a feature amount representing a blur amount of the input SD image data, and outputs the detected feature amount to the region cutout unit 1, the region cutout unit 2, and the class code generation unit 5.
  • the area cutout unit 1 cuts out a set of class taps within a predetermined range from the input pixel data, and divides the set of ADRC (
  • a d ap t i v e D y n a m i c R a n g e C o d i n g n o n o n o n t e n Output to the extraction unit 4.
  • the cluster cut out by the region cutout unit 1 is controlled according to the feature amount output from the feature amount extraction unit 3.
  • the ADRC pattern extraction unit 4 performs class classification for the purpose of representing a waveform in space.
  • the class code generator 5 generates a class code corresponding to the class output from the ADRC pattern extractor 4 and the feature output from the feature extractor 3, and outputs the generated class code to the ROM table 6.
  • ROM table 6 includes each class A predetermined set of prediction coefficients is stored in advance corresponding to (class code), and the set of prediction coefficients corresponding to the class code is output to the prediction calculation unit 7.
  • the area cutout unit 2 cuts out a predetermined range of pixel data from the input image data as a set of prediction taps, and outputs pixel data forming the prediction taps to the prediction calculation unit 7.
  • the set of prediction taps cut out by the region cutout unit 2 is controlled in accordance with the feature amount output from the feature amount extraction unit 3 and representing the blur amount.
  • the prediction calculation unit 7 performs a prediction calculation from the set of prediction taps input from the region cutout unit 2 and the set of prediction coefficients input from the ROM table 6, and calculates the image quality based on the calculation result. Output as corrected image data.
  • the output image data is displayed on, for example, a display device (not shown), recorded on a recording device, or transmitted by a transmission device.
  • the area cutout unit 1 executes a process of cutting out predetermined pixel data from the input image data as a class tap. For example, as shown in Fig. 2, a total of five pixel data consisting of the pixel data at the position corresponding to the pixel data of interest and the pixel data adjacent vertically, horizontally and Cut out as a tap. Alternatively, as shown in FIG. 3, the pixel data corresponding to the target pixel data and the pixel data adjacent to a position separated by three pixels in the vertical, horizontal, and horizontal directions are extracted as a cluster. What kind of pixel data is cut out as a class tap is determined in accordance with the feature amount representing the blur amount output from the feature amount extraction unit 3.
  • step S1 the feature amount extraction unit 3 calculates an autocorrelation coefficient for each frame with respect to each pixel data of the input image data. Then, the autocorrelation coefficient is calculated as the blur amount of the pixel data. It is used as a measure of the feature value to be expressed. That is, as shown in FIG. 5, assuming that the image data of the i-frame is composed of pixel data of 720 pixels ⁇ 480 pixels, the pixel data of interest is determined for predetermined pixel data of interest.
  • a block composed of pixel data of 512 pixels X 256 pixels of the pixel data of 720 pixels X 480 pixels (referred to as a reference block as appropriate) is formed.
  • the position of the block is moved up and down and left and right within a predetermined range in pixel units, and the autocorrelation coefficient corresponding to each position when moved is calculated.
  • FIG. 6 shows an example of the autocorrelation coefficient thus obtained.
  • the autocorrelation coefficient is 1.
  • frame F1 for example, when the block (reference block) is shifted rightward by three pixels, the autocorrelation coefficient decreases to 0.85, and the shift is further reduced. As the amount increases, the autocorrelation coefficient decreases to smaller values. This is the same when the block (reference block) is shifted to the left.
  • step S2 the feature amount extraction unit 3 calculates a pixel shift amount at which the autocorrelation coefficient becomes a predetermined reference value (for example, 0.85), and in step S3, calculates the pixel shift amount. It is output as a feature that indicates the amount of blur. In other words, by comparing the reference value with the autocorrelation coefficient corresponding to each position where the reference block is shifted within a predetermined range, the pixel shift amount at which the autocorrelation coefficient becomes the reference value is determined.
  • the feature amount is set to 3.
  • the feature amount is 1. It is said.
  • the region cutout unit 1 cuts out pixel data arranged within a narrow interval as a class tap, for example, as shown in FIG. ).
  • the region cutout unit 1 cuts out (extracts) pixel data arranged at wider intervals as class taps as shown in FIG.
  • the range of the pixel data having a strong autocorrelation is narrower in the image having the feature amount of 1 (frame F2). Therefore, as shown in Figure 2 As described above, pixel data that constitutes a class tap is selected in a narrow range. On the other hand, in the case of an image having a feature value of 3 (frame F 1), the range having strong autocorrelation is wider. Therefore, as shown in Fig. 3, the pixel data constituting the class tap is also cut out from a wider range. In this way, by appropriately changing the pixel data to be cut out as a class tap in accordance with the feature amount representing the blur amount, a more appropriate class tap can be cut out.
  • the prediction tap in the region extraction unit 2 also corresponds to the feature amount representing the blur amount output from the feature amount extraction unit 3, similarly to the extraction of the cluster in the region extraction unit 1. Then, the pixel data to be cut out as a prediction tap is changed dynamically. Note that the method of cutting out the prediction taps in the area cutout unit 2 may be the same as or different from the class taps in the area cutout unit 1.
  • the ADRC pattern extraction unit 4 performs ADRC processing on the class taps cut out by the region cutout unit 1 to perform class classification (determines the class). That is, the dynamic range in the five pixel data extracted as class taps is DR, the bit allocation is n, the level of each pixel data as a class tap is L, and the requantization code is When Q is given, the following equation is calculated.
  • ⁇ means truncation processing.
  • MAX and MIN represent the maximum and minimum values of the five pixel data that make up the class tap, respectively.
  • the class code generation unit 5 adds a bit representing the feature amount representing the blur amount supplied from the feature value extraction unit 3 to the data representing the space class input from the ADRC pattern extraction unit 4. Generate class code. For example, assuming that the feature amount representing the blur amount is represented by 2 bits, a 12-bit class code S is generated and supplied to the ROM table 6. This class code corresponds to the address in ROM table 6.
  • ROM table 6 a set of prediction coefficients corresponding to each class (class code) is stored in an address corresponding to the class code, and based on the class code supplied from the class code generator 5, The set of prediction coefficients ⁇ to ⁇ stored in the address corresponding to the class code is read and supplied to the prediction calculation unit 7.
  • Predictive calculation unit 7 the pixel data X 1 to chi eta that make up the prediction tap supplied from the region clipping unit 2, with respect to set omega 1 to con prediction coefficients, as shown in the following equation, the product Perform a sum operation
  • the predicted value y is the pixel data whose image quality (blurring) has been corrected.
  • FIG. 7 illustrates an example of another feature amount extraction process in the feature amount extraction unit 3.
  • step S11 an edge near a predetermined target pixel is detected.
  • step S12 an edge code corresponding to the detected edge is output as a feature value. For example, when an oblique edge is detected from the upper right to the lower left as shown in FIG. 8, the feature amount extraction unit 3 outputs an edge code 0, and as shown in FIG. If edge is detected, edge code 1 is output.
  • the region extracting unit 1 outputs the edge code 0 shown in FIG.
  • pixel data as shown in Fig. 10 is cut out (extracted) as a class tap.
  • This class tap is composed of pixel data that is optimal for detecting an edge extending from the upper right to the lower left.
  • the area cutout unit 1 cuts out (extracts) pixel data as shown in FIG. 11 as a class tap.
  • This class tap is composed of pixel data that is optimal for detecting a horizontal edge.
  • the region cutout unit 2 executes a cutout (extraction) process of pixel data forming a prediction tap corresponding to an edge code.
  • FIG. 12 shows a configuration example for obtaining a set of prediction coefficients for each class (for each class code) stored in the ROM table 6 by learning.
  • a set of prediction coefficients for each class (for each class code) is generated using SD image data (or HD image data) as a teacher signal (learning signal) having good image quality. Is shown.
  • the configuration example described below is an example for generating a set of prediction coefficients for each class corresponding to the image conversion apparatus in FIG. 1 of the present embodiment.
  • image data as a teacher signal (learning signal) having good image quality is input to the normal equation operation unit 27 and to a low-pass filter (LPF) 21.
  • the LPF 21 generates image data (learning signal) with degraded image quality by removing the low-frequency component of the image data as the input teacher signal (learning signal).
  • the degraded image data (learning signal) from the low-pass filter 21 is used as a class tap to cut image data in a predetermined range. Extracting (extracting) an area extracting section 22, extracting (extracting) image data in a predetermined range as a prediction tap (extracting) an area extracting section 23, and a feature extracting section extracting a feature representing an amount of blur. 2 Entered in 4.
  • the feature amount extraction unit 24 extracts the feature amount representing the blur amount of the input image data (learning signal) pixel data with deteriorated image quality, and extracts the extracted feature amount into the region cutout unit 22 and the region cutout unit. 2 and 3 and the class code generator 26.
  • the region cutout unit 22 and the region cutout unit 23 dynamically change the pixel data cut out as a class tap or a prediction tap according to the input feature amount representing the blur amount. .
  • the ADRC pattern extraction unit 25 classifies the pixel data as the class tap input from the region extraction unit 22 (determines the class), and classifies the classification result into a class code generation unit 2. Output to 6.
  • the class generator 26 generates a class code from the classified class and the feature amount representing the blur amount, and outputs the generated class code to the normal equation calculator 27.
  • FIG. 1 shows the configuration and operation of each of the above-described region cutout unit 22, region cutout unit 23, feature amount extraction unit 24, ADRC pattern extraction unit 25, and classcode generation unit 26. Since they are the same as the region cutout unit 1, the region cutout unit 2, the feature amount extraction unit 3, the ADRC pattern extraction unit 4, and the class code generation unit 6, the description is omitted here.
  • the normal equation calculation unit 27 calculates a normal equation for each class (for each class code) from the input teacher signal (learning signal) and the pixel data as a prediction tap supplied from the region cutout unit 23. Is generated, and the normal equation is supplied to the class prediction coefficient determination unit 28. When the required number of normal equations is obtained for each class, for example, the normal equations are solved using the least squares method for each class, and a set of prediction coefficients for each class is calculated. The calculated set of prediction coefficients for each class is supplied from the prediction coefficient determination unit 28 to the memory 29, and the It is stored in the memory 29. The set of prediction coefficients for each class stored in the memory 29 is written to the ROM table 6 in FIG.
  • the set of prediction coefficients for each class is described as being calculated by the configuration shown in FIG. 12, but in practice, it is calculated by a simulation using a computer. May be done.
  • a set of predictors for each class calculated by the method shown in FIG. 12 and stored in the ROM table 6 shown in FIG. 1 is cut out as a prediction tap.
  • the pixel data with improved image quality (improved blur) is generated from the pixel data obtained by the present invention.
  • the present invention is not limited to this.
  • For each class (each class code) calculated by learning the ROM table 6 The predicted value itself of the pixel data may be stored, and the predicted value may be read based on the class code.
  • the region cutout unit 2 shown in FIG. 1 and the region cutout unit 23 shown in FIG. 12 can be omitted, and the prediction calculation unit 7 shown in FIG. Is converted to a format corresponding to the output device and output.
  • a prediction value for each class is generated using the centroid method, and the prediction value for each class is Stored in memory 29.
  • the predicted value for each class may be normalized with a reference value, and the normalized predicted value for each class may be stored in the ROM table 6. .
  • the prediction calculation unit 7 shown in FIG. 1 calculates a prediction value from a prediction value normalized based on the reference value.
  • the number of pixel data extracted as class taps or prediction taps is five when the autocorrelation coefficient is used and 13 when the edge code is obtained.
  • the present invention is not limited to this, and the number of pieces of pixel data cut out as class taps or prediction taps is arbitrary. There may be.
  • the number of cuts as class taps or prediction taps increases, the accuracy of image quality improvement increases.However, since the amount of computation increases and the memory increases, the amount of computation and hardware are reduced. Since the addition is large, it is necessary to set an optimal number.
  • the conversion from the SD image signal to the SD image signal is performed.
  • SD-SD conversion conversion from HD image signals to HD image signals
  • HD-HD conversion conversion from SD image signals to HD image signals
  • the gist of the present invention is not limited to the present embodiment.
  • the extraction of the cluster tap or the prediction tap is controlled in accordance with the feature amount representing the blur amount of the input image data. Even if the image quality of the image data to be obtained is poor, the optimal pixel data can be extracted as a class tap or a prediction tab, and appropriate prediction processing can be performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

糸田 画像変換装置及び画像変換方法 技術分野
本発明は、 画素変換装置および方法に関する。 特に、 ぼけた画像の補正 を確実に行うことができるようにした画素変換装置および方法に関する。 背景技術
本出願人は、 例えば、 特開平 8— 5 1 5 9 9号と して、 よ り高解像度の 画素データを得ることができるようにする技術を提案している。 この提案 においては、 例えば S D (S t a n d a r d D e f e i n i t i o n) 画 素データからなる画像デ一タからで HD (H i g h D e f i n i t i o n) 画素データからなる画像データを創造する場合、 創造する HD画素データ の近傍に位置する S D画素データを用いてクラス分類を行い （クラスを決 定し） 、 それぞれのクラス毎に、 予測係数値のセッ トを学習させておき、 画像静止部においては、 フレーム内相関を利用し、 動き部においては、 フ ィール ド内相関を利用して、 よ り真値に近い HD画素データを得るように している。
ところで、 この技術を用いて、 例えば、 非常に画質の悪い （画像のぼけ た） 画像データを良好な画質の画像データに補正することができる。 しか しながら、 非常に画質が悪い画像データの場合、 この非常に画質が悪い画 像データを用いてクラス分類を行う と、 適切なクラス分類を行う ことがで きず、 適切なクラスを決定することができない。 従って、 適切なクラスを 求めることができないと、 適切な予測係数値のセッ トを得ることができず、 結局、 充分な画質の補正を行うことができない課題があった。 発明の開示
本発明は、 このような状況に鑑みてなされたものであり、 入力された画像 データの画質が悪く とも、 確実に画質を補正することができるよ うにした 画像変換装置および画像変換方法を提供するものである。
本発明の画像変換装置は、 複数の画素データからなる第 1 の画像信号を 複数の画素デ一タからなる第 2の画像データに変換する画像変換装置にお いて、 第 1の画像データの中からクラスコ一ドを生成するための複数の画 素データをクラスタップと して抽出するクラスタップ抽出回路と、 クラス タップをクラス分類することによりそのクラスを表すクラスコー ドを発生 するクラス分類回路と、 クラスコ一 ドに対応する予測データを発生する発 生回路と、 予測データを用いて第 2の画像信号を出力する生成回路と、 第 1の画像信号の画像のぼけの程度を表す特徴量を検出して、 その検出結果 に対応して、 第 1の抽出回路のクラスタップの抽出動作を制御する検出回 路とからなることを特徴とする。
また、 本発明の画像変換方法は、 複数の画素データからなる第 1の画像 信号を複数の画素データからなる第 2の画像データに変換する画像変換方 法において、 第 1 の画像データの中からクラスコードを生成するための複 数の画素デ一タをクラスタップと して抽出し、 そのクラスタップをクラス 分類することによりそのクラスを表すクラスコードを発生し、 そのクラス コードに対応する予測データを発生し、 その予測データを用いて第 2の画 像信号を出力するようになされ、 第 1の画像信号の画像のぼけの程度を表 す特徴量を検出して、 その検出結果に対応してクラスタップの抽出動作を 制御することを特徴とする。
従って、 本発明の画像変換装置及び画像変換方法によれば、 入力された画 像データのぼけ量を表す特徴量に対応してクラスタップを制御するよ うに したので、 入力される画像データの画質が悪くても、 最適なクラスタップ を抽出することができ、 最適な予測処理を行うことが可能となる。 図面の簡単な説明
図 1 は、 本発明を適用した画像変換装置の構成例を示すプロック図であ る。
図 2は、 図 1 の領域切り出し部 1 における切り出し処理を説明する図で ある。
図 3は、 図 1 の領域切り出し部 1 における切り出し処理を説明する図で ある。
図 4は、 図 1 の特徴量抽出部 3における特徴量抽出処理を説明するフロ —チャートである。
図 5は、 図 4のステップ S 1の自己相関係数を算出する処理を説明する 図である。
図 6は、 図 4のステップ S 1 において算出される自己相関係数を説明す る図である。
図 7は、 図 1 の特徴量抽出部 3における他の特徴量検出処理を説明する 図である。
図 8は、 図 1 の特徴量抽出部 3における他の特徴量検出の例を示す図で め 0
図 9は、 図 1 の特徴量抽出部 3における他の特徴量検出の例を示す図で める。
図 1 0は、 図 1の領域切り出し部 1 における切り出し処理を説明する図 である。
図 1 1は、 図 1の領域切り出し部 1 における切り出し処理を説明する図 である。 図 1 2は、 図 1の R OMテーブル 6の予測係数の学習処理を行うための 構成例を示すブロック図である。 発明を実施するための最良の形態
以下に本発明の一実施の形態について説明する。 図 1は、 本発明を適用し た、 画像変換装置の構成例を示すブロック図である。 この構成例において は、 例えば画質の悪い （ぼけた画像の） S D画像データ （または、 HD画 像データ） を画質改善された S D画像データ画質の悪い （ボケた画像の） S D画像データ （または、 HD画像データ） に変換する構成が示されてい る。 以下においては、 入力画像データが S D画像データの場合について説 明する。
例えば、 画質の悪い （ぼけた画像の） 画像データが、 入力端子を介して画 像変換装置に入力される。 入力された画像データは、 領域切り出し部 1、 領域切り出し部 2、 および特徴量抽出部 3に供給される。 特徴量抽出部 3 は、 入力された S D画像データのぼけ量を表す特徴量を検出し、 その検出 した特徴量を領域切り出し部 1 、 領域切り出し部 2、 およびクラスコード 発生部 5に出力する。 領域切り出し部 1は、 入力された画素データから所 定の範囲のクラスタップのセッ トを切り出し、 これを AD R C (
A d a p t i v e D y n a m i c R a n g e C o d i n gノ ノ タ―ン 抽出部 4に出力する。 領域切り出し部 1 において切り出されるクラスタツ プは、 特徴量抽出部 3の出力する特徴量に対応して制御される。 AD R C パターン抽出部 4は、 空間内の波形表現を目的と したクラス分類を行うよ うになされている。
クラスコード発生部 5は、 A D R Cパターン抽出部 4 より出力されたク ラス及び特徴量抽出部 3から出力された特徴量に対応するクラスコードを 発生し、 R OMテーブル 6に出力する。 ROMテ一ブル 6には、 各クラス (クラスコード） に対応して予め所定の予測係数のセッ トが記憶されてお り、 クラスコ一ドに対応する予測係数のセッ トを予測演算部 7に出力する。 領域切り出し部 2は、 入力された画像データから所定範囲の画素データ を予測タップのセッ トと して切り出し、 その予測タップを構成する画素デ ータを予測演算部 7に出力する。 この領域切り出し部 2により切り出され る予測タップのセッ トは、 特徴量抽出部 3の出力するぼけ量を表す特徴量 に対応して制御される。 予測演算部 7は、 領域切り出し部 2より入力され た予測タップのセッ トと、 R O Mテ一ブル 6 より入力された予測係数のセ ッ トとから予測演算を行い、 その演算結果を、 画質を補正した画像データ と して出力する。 この出力された画像データが、 例えば図示しない表示デ バイスで表示されたり、 記録デバイスに記録されたり、 伝送デバイスで伝 送される。
次に、 その動作について説明する。 領域切り出し部 1 は、 画像データが 入力されると、 入力された画像データの中から、 所定の画素データをクラ スタップと して切り出す処理を実行する。 例えば、 図 2に示すよ うに、 所 定の注目画素データを中心と して、 その注目画素データに対応する位置の 画素データと、 上下左右に隣接する画素データの合計 5個の画素データを クラスタップと して切り出す。 あるいは、 図 3に示すよ うに、 注目画素デ —タに対応する画素データと、 上下左右方向に 3画素分離れた位置に隣接 する画素データをクラスタ ップと して抽出する。 どのよ うな画素データが クラスタップと して切り出されるかは、 特徴量抽出部 3 の出力するぼけ量 を表す特徴量に対応して決定される。
そこで、 次に、 図 4のフロ一チャー トを参照して、 特徴量抽出部 3の特徴 量抽出処理について説明する。 最初にステップ S 1 において、 特徴量抽出 部 3は、 入力された画像データの各画素データに対するフレーム毎の自己 相関係数を算出する。 そして、 この自己相関係数を画素データのぼけ量を 表す特徴量の尺度に利用する。 すなわち、 図 5に示すよ うに、 i フレ一ム の画像データが 7 2 0画素 X 4 8 0画素の画素データで構成されていると すると、 所定の注目画素データに対してその注目画素データを中心と して、 7 2 0画素 X 4 8 0画素の画素データのうちの 5 1 2画素 X 2 5 6画素の 画素データからなるブロック （適宜、 基準ブロック と呼ぶ） を構成し、 そ の基準プロ ックの位置を画素単位で所定の範囲内を上下左右方向に移動さ せ、 移動させたときのそれぞれの位置に対応する自己相関係数を算出する。 例えば、 所定の注目画素データを中心と した基準プロック内の各画素値を X , j ( i = 0，l，2〜n、 j = 0，l ,2〜m) 、 基準ブロ ック内の画素値の平 均値 、 基準プロ ックが移動された位置に対応するプロック内の各画素値 を Y i i ( ί = 0，1，2···η、 j = 0， l，2〜m) 、 そのブロック内の画素ィ直の 平均値マとすると、 基準プロックを移動させたときのその位置に対応する 自己相関係数は、
自己相関係数
Figure imgf000008_0001
で表される。
なお、 上述したように、 本実施の形態では、 基準ブロックが 5 1 2画素 X 2 5 6画素の画素データから構成されているため、 n = 5 1 1、 m= 2 5 5の値である。 このようにして、 所定の範囲内を基準ブロ ックをシフ ト し てそれぞれの位置に対応する自己相関係数を得ることができる。
図 6は、 このようにして求められた自己相関係数の例を表している。 ブ ロック （基準ブロ ック） をシフ トしないとき、 自己相関係数は 1である。 これに対して、 フレーム F 1の場合、 例えばブロ ック （基準ブロック） を 右方向に 3画素分シフ ト したとき、 自己相関係数は 0 . 8 5に低下し、 さ らに、 シフ ト量を増加させるに従って、 自己相関係数は、 よ り小さい値に 低下する。 このことは、 ブロック （基準ブロ ック） を左方向にシフ ト した 場合にも同様である。
一方、 フ レーム F 2においては、 ブロック （基準ブロ ック） を 1画素分 右または左方向にシフ トしたとき、 自己相関係数が 0 . 8 5に低下し、 そ れ以上シフ トすると、 自己相関係数はさらに低下する。 このことは、 フレ —ム F 1は、 フレーム F 2に比べて、 周囲との自己相関が強い、 つまり、 フレーム F 1は、 フレーム F 2に比べてぼけ量が大きいことを意味してい る。
特徴量抽出部 3は、 ステップ S 2において、 自己相関係数が所定の基準 値 （例えば、 0 . 8 5 ) となる画素シフ ト量を求め、 ステップ S 3で、 そ の画素シフ ト量をぼけ量を表す特徴量と して出力する。 つまり、 所定の範 囲内を基準プロ ックをシフ トしたそれぞれの位置に対応する自己相関係数 と基準値を比較するこによ り、 自己相関係数が基準値となる画素シフ ト量 を求める。 図 6の例の場合、 入力された画素データがフレーム F 1の画素 データである場合、 特徴量は 3 とされ、 入力された画素データがフレーム F 2の画素データである場合、 特徴量は 1 とされる。
領域切り出し部 1は、 特徴量抽出部 3から、 特徴量 1が入力されたとき、 例えば、 図 2に示すように、 狭い間隔内に配置された画素データをクラス タップと して切り出す （抽出する） 。 これに対して、 特徴量 3が入力され たとき、 領域切り出し部 1 は、 図 3に示すよ うに、 より広い間隔で配置さ れている画素データをクラスタップとして切り出す （抽出する） 。
図 6 に示すよ うに、 特徴量が 1である画像 （フレーム F 2 ) は、 強い自 己相関を有する画素データの範囲が狭く なつている。 そこで、 図 2に示す ように、 クラスタップを構成する画素データと しても狭い範囲に配置され ているものを選択する。 これに対して、 特徴量が 3である画像 （フレーム F 1 ) の場合、 強い自己相関を有する範囲がより広くなつている。 そこで、 図 3に示すよ うに、 クラスタップを構成する画素データも、 より広い範囲 から切り出すようにする。 このように、 ぼけ量を表す特徴量.に応じて、 ク ラスタップと して切り出す画素データをダイナミ ックに変化させるように することで、 より適切なクラスタップを切り出すことが可能となる。
図示は省略するが、 領域切り出し部 2における予測タ ップも、 領域切り 出し部 1 におけるクラスタ ップの切り出しと同様に、 特徴量抽出部 3の出 力するぼけ量を表す特徴量に対応して、 予測タップと して切り出す画素デ —タをダイナミ ックに変化される。 なお、 この領域切り出し部 2における 予測タップの切り出し方は、 領域切り出し部 1 におけるクラスタップと同 一にしてもよいし、 異なるものとしてもよい。
A D R Cパターン抽出部 4は、 領域切り出し部 1 で切り出されたクラス タップに対して A D R C処理を実行してクラス分類を行う （クラスを決定 する） 。 すなわち、 クラスタップと して抽出された 5つの画素データ内の ダイナミ ック レンジを D R、 ビッ ト割当を n、 クラスタップと しての各画 素データのレベルを L、 再量子化コー ドを Qとするとき、 次式を演算する。
Q = { ( L - M I N + 0 . 5 ) X 2 n/ D R }
D R = M A X - M I N + 1
なお、 ここで { } は切り捨て処理を意味する。 また、 M A Xと M I N は、 クラスタップを構成する 5つの画素データ内の最大値と最小値をそれ ぞれ表している。 これによ り、 例えば、 領域切り出し部 1 で切り出された クラスタップを構成する 5個の画素データが、 それぞれ例えば 8 ビッ ト （n = 8 ) で構成されているとすると、 これをそれぞれ 2ビッ トに圧縮する。 従って、 合計 1 0 ビッ トで表される空間クラスを表すデータが、 クラスコ 一ド発生部 5に供給される。
クラスコ一ド発生部 5は、 AD R Cパターン抽出部 4 より入力された空 間クラスを表すデータに、 特徴量抽出部 3 よ り供給されるぼけ量を表す特 徴量を表すビッ トを付加してクラスコードを発生する。 例えば、 ぼけ量を 表す特徴量が 2 ビッ トで表されるとすると、 1 2 ビッ トのクラスコ一ドカ S 発生され、 R OMテーブル 6に供給される。 このクラスコードは、 ROM テーブル 6のァ ドレスに対応している。
ROMテーブル 6には、 各クラス （クラスコード） に対応する予測係数 のセッ トがクラスコ一ドに対応するァドレスにそれぞれ記憶されており、 クラスコード発生部 5より供給されたクラスコードに基いて、 そのクラス コードに対応するァ ドレスに記憶されている予測係数のセッ ト ωΐ 乃至 ωη が読み出され、 予測演算部 7に供給される。
予測演算部 7は、 領域切り出し部 2より供給された予測タップを構成す る画素データ X 1 乃至 χ η と、 予測係数のセッ ト ω 1 乃至 con に対して、 次 式に示すように、 積和演算を行う
ことで、 予測結果 yを演算する。
Υ = ω1χ 1+ ω2χ2+ · · · + ω η χ η
この予測値 yが、 画質 （ボケ） が補正された画素データとなる。
図 7は、 特徴量抽出部 3における他の特徴量抽出処理の例を表している。 この例においては、 ステップ S 1 1 において、 所定の注目画素の近傍のェ ッジが検出される。 ステップ S 1 2において、 検出したエッジに対応する エッジコードが特徴量と して出力される。 例えば、 図 8に示すよ うに、 右 上から左下方向に、 斜めのエッジが検出された場合、 特徴量抽出部 3は、 エッジコード 0を出力し、 図 9に示すように、 水平方向のエッジが検出さ れた場合、 エッジコード 1 を出力する。
領域切り出し部 1 は、 特徴量抽出部 3 より、 図 8に示すエッジコード 0 が入力されたとき、 図 1 0に示すよ うな画素デ一タをクラスタップと して 切り出す （抽出する） 。 このクラスタップは、 右上から左下方向に延在す るェッジを検出するのに最適な画素データで構成されている。 これに対し て、 領域切り出し部 1 は、 図 9に示すようなエッジコード 1が入力された とき、 図 1 1 に示すよ うな画素データをクラスタップと して切り出す （抽 出する） 。 このクラスタップは、 水平方向のエッジを検出するのに最適な 画素データで構成される。 領域切り出し部 2においても同様に、 エッジコ —ドに対応して予測タップを構成する画素データの切り出し （抽出） 処理 が実行される。
このように、 入力された画素データの自己相関、 エッジといった特徴量 に対応して切り出すクラスタップ、 または予測タップと して切り出す画素 データをダイナミ ックに変化させることができるので、 より適切な予測演 算結果を得ることが可能となる。
図 1 2は、 R O Mテーブル 6に記憶するクラス毎 （クラスコード毎） の予 測係数のセッ トを学習によって得るための構成例を示している。 この構成 例においては、 例えば、 画質の良好な教師信号 （学習信号） と しての S D 画像データ （または、 H D画像データ） を用いてクラス毎 （クラスコード 毎） の予測係数のセッ トを生成する構成が示されている。 なお、 以下に説 明する構成例は、 本実施の形態の図 1の画像変換装置に対応するクラス毎 の予測係数のセッ トを生成するための例である。
例えば、 画質の良好な教師信号 （学習信号） と しての画像データが、 正規 方程式演算部 2 7に入力されるとともに、 ローパスフィルタ （L P F ) 2 1 に入力される。 L P F 2 1は、 入力された教師信号 （学習信号） と して の画像データの低域成分を除去することで、 画質の劣化した画像データ （学 習信号） を生成する。 ローパスフィルタ 2 1 からの画質の劣化した画像デ ータ （学習信号） は、 クラスタップと して所定の範囲の画像データを切り 出す （抽出する） 領域切り出し部 2 2、 予測タップと して所定の範囲の画 像データを切り出す （抽出する） 領域切り出し部 2 3、 およびぼけ量を表 す特徴量を抽出する特徴量抽出部 2 4に入力される。 特徴量抽出部 2 4は、 入力された画質の劣化した画像データ （学習信号） 画素データのぼけ量を 表す特徴量を抽出し、 抽出したその特徴量を、 領域切り出し部 2 2、 領域 切り出し部 2 3、 およびクラスコー ド発生部 2 6に供給する。 領域切り出 し部 2 2 と、 領域切り出し部 2 3は、 入力されたぼけ量を表す特徴量に対 応してクラスタップ、 または予測タップと して切り出す画素データをダイ ナミ ックに変化させる。
A D R Cパターン抽出部 2 5は、 領域切り出し部 2 2より入力されたクラ スタップと しての画素データのク ラス分類を行い （ク ラスを決定し） 、 そ の分類結果をクラスコ一ド発生部 2 6に出力する。 ク ラスコ一ド発生部 2 6は、 分類されたクラスとぼけ量を表す特徴量とからクラスコードを発生 し、 正規方程式演算部 2 7に出力する。 なお、 上述した領域切り出し部 2 2、 領域切り出し部 2 3、 特徴量抽出部 2 4 、 A D R Cパターン抽出部 2 5およびクラスコ一ド発生部 2 6のそれぞれの構成および動作は、 図 1 に 示された領域切り出し部 1 、 領域切り出し部 2、 特徴量抽出部 3 、 A D R Cパターン抽出部 4およびクラスコード発生部 6 と同一であるため、 ここ では説明を省略する。
正規方程式演算部 2 7は、 入力される教師信号 （学習信号） と領域切り出 し部 2 3から供給される予測タップと しての画素データとから、 クラス毎 (ク ラスコード毎） に正規方程式を生成し、 その正規方程式をク ラス予測 係数決定部 2 8に供給する。 そして、 クラス毎に必要な数の正規方程式が 求められたとき、 例えば、 クラス毎に最小自乗法を用いて正規方程式を解 き、 クラス毎の予測係数のセッ トを演算する。 求められたクラス毎の予測 係数のセッ トは、 予測係数決定部 2 8からメモリ 2 9に供給され、 そのメ モリ 2 9に記憶される。 このメモリ 2 9に記憶されたクラス毎の予測係数 のセッ トが、 図 1の R O Mテーブル 6に書き込まれることになる。
なお、 上述したように、 クラス毎に予測係数のセッ トは図 1 2に示される 構成によって演算されるように説明されているが、 実際には、 コンビユー タを用いてシュミレーションで演算されるようになされてもよい。
また、 本実施の形態においては、 図 1に示される R O Mテ一ブル 6に記憶 された図 1 2に示される方法で演算されたクラス毎の予測係 のセッ トを 予測タップと して切り出された画素データとから画質改善 （ぼけ改善） さ れた画素データを生成するようになされているが、 本発明はこれに限らず、 R O Mデーブル 6に学習によって演算されたクラス毎 （クラスコード毎） の画素データの予測値そのものを記憶しておき、 クラスコードによってそ の予測値を読み出すようにしてもよい。 この場合、 図 1 に示される領域切 り出し部 2および図 1 2に示される領域切り出し部 2 3は省略でき、 図 1 に示される予測演算部 7は、 R O Mテーブル 6から出力された画素データ を出力デバイスに対応したフォーマッ トに変換して出力するようになされ る。 さらに、 この場合は、 図 1 2に示される正規方程式演算部 2 7および 予測係数決定部 2 8のかわりに、 重心法を用いてクラス毎の予測値が生成 され、 このクラス毎の予測値がメモリ 2 9に記憶される。 さ .らに、 クラス 毎の予測値そのもののかわりに、 クラス毎の予測値のそれぞれを基準値で 正規化し、 クラス毎の正規化された予測値を R O Mテーブル 6に記憶して おいてもよい。 この場合、 図 1 に示される予測演算部 7では、 基準値に基 いて正規された予測値から予測値を演算することになる。
さらに、 本実施の形態において、 クラスタップまたは予測タップとして切 り出される画素データの数は、 自己相関係数を用いた場合は 5つ、 エッジ コードを求める場合には 1 3つであつたが、 本発明はこれに限らず、 クラ スタップまたは予測タップと して切り出される画素データの数はいくつで あってもよい。 ただし、 クラスタップまたは予測タップと して切り出す数 を多くすればするほど画質改善の精度は高く なるが、 演算量が多く なつた り、 メモリが大きく なつたりするため、 演算量、 ハード面での付加が大き くなるため、 最適な数を設定する必要性がある。
また、 本実施の形態においては、 S D画像信号から S D画像信号への変換
( S D— S D変換） 、 H D画像信号から H D画像信号への変換 （H D— H D変換） について記載されているが、 本発明はこれに限らず、 他のフォー マッ ト （イ ンターレース信号、 ノンインターレース信号など） の変換にも もちろん適用可能である。 また、 S D画像信号から H D画像信号への変換
( S D— H D変換） やインタ一レース信号からノ ンィンタ一レース信号へ の変換 （インタ——ノンインタ一変換） などの異なるフォーマッ ト間の変 換にも適用可能である。 但し、 この場合には、 クラスタップまたは予測タ ップと して画像データを切り出す際には、 注目画素データとなる画素は実 際には存在しないため切り出しの対象画素データとはならない。
なお、 本発明の主旨を逸脱しない範囲において、 さまざまな変形や応用 例が考えうる。 従って本発明の要旨は本実施の形態に限定されるものでは ない。
以上の如く、 本発明の画像変換装置および画像変換方法によれば、 入力 された画像データのぼけ量を表す特徴量に対応して、 クラスタツプまたは 予測タップの切り出しを制御するよ うにしたので、 入力される画像データ の画質が悪くても、 クラスタップまたは予測タッブと して最適な画素デー タを抽出することができ、 適切な予測処理を行うことが可能となる。 産業上の利用可能性
入力された画像信号を同一フォーマッ トもしくは異なるフォーマツ トの画 像信号に変換する際に、 入力された画像データの画質が悪く とも、 確実に 画質が補正されたもしくは画質が改善された画像信号を提供する場合に利 用することが可能である。

Claims

請求の範囲
1 . 複数の画素データからなる第 1 の画像信号を複数の画素データからな る第 2の画像データに変換する画像変換装置において、
上記第 1の画像データの中からクラスコ一ドを生成するための複数の画素 データをクラスタップとして抽出するクラスタップ抽出回路と、
上記クラスタップをクラス分類することによりそのクラスを表すクラスコ 一ドを発生するクラス分類回路と、
上記クラスコードに対応する予測データを発生する発生回路と、 上記予測データを用いて上記第 2の画像信号を出力する生成回路と、 上記第 1の画像信号の画像のぼけの程度を表す特徴量を検出して、 その検 出結果に対応して、 上記第 1の抽出回路のク ラスタップの抽出動作を制御 する検出回路と
からなることを特徴とする画像変換装置。
2 . 請求の範囲第 1項において、
上記第 2の画像信号は上記第 1の画像信号より画質改善された信号である ことを特徴とする画像変換装置。
3 . 請求の範囲第 1項において、
上記第 1 の画像信号と上記第 2の画像信号は同じフォーマッ トの画像信 号であることを特徴とする画像変換装置。
4 . 請求の範囲第 1項において、
上記発生回路は、 画質の良好な学習信号を用いてクラス毎に予め学習よつ て生成された予測データを記憶するメモリからなり、 上記メモリは、 上記 クラスコードをァ ドレスと して予測データを出力する
ことを特徴とする画像変換装置。
5 . 請求の範囲第 1項において、 さらに、 上記第 1の画像データの中から予測演算を行うための複数の画素データを 予測タップと して抽出する予測タップ抽出回路からなり、
上記発生回路は、 クラスコードに対応する予測係数 （複数形） のセッ トを 発生し、
上記生成回路は、 上記予測タップ抽出回路からの予測タップと上記発生回 路からの予測係数のセッ トを用いて予測演算することによ り上記第 2の画 像信号を出力する
ことを特徴とする画像変換装置。
6 . 請求の範囲第 5項において、
上記発生回路は、 画質の良好な学習信号を用いてクラス毎に予め学習よつ て生成された予測係数のセッ トを記憶するメモリからなり、 上記メモリは、 上記クラスコ一ドをァ ドレスと して予測係数のセッ トを出力する
ことを特徴とする画像変換装置。
7 . 請求の範囲第 1項において、
上記検出回路は、 画像信号の所定の範囲において画素データをシフ トする ことにより、 そのシフ トされたそれぞれ位置に対応する自己相関係数を算 出し、 その自己相関係数を画像のぼけの程度を表す尺度と して上記画像の ぼけの程度を表す特徴量を検出する
ことを特徴とする画像変換装置。
8 . 請求の範囲第 1項において、
上記クラス分類回路は、 上記クラスタップをクラス分類することによりそ のクラスを表す第 1のクラスコードと上記画像のぼけの程度を表す特徴量 を表す第 2のク ラスコードからなるクラスコ一ドを発生すること
を特徴とする画像変換装置。
9 . 請求の範囲第 7項において、
上記検出回路は、 基準値に対応する上記自己相関係数を決定し、 その決定 された自己相関係数に対応する画素データのシフ ト量を上記画像のぼけの 程度を表す特徴量と して出力する
1 0 . 請求の範囲第 7項及び第 9項において、
上記自己相関係数は、 画像のぼけ具合を表す尺度であること.を特徴とする 画像変換装置。
1 1 . 複数の画素データからなる第 1の画像信号を複数の画素データから なる第 2の画像データに変換する画像変換方法において、
上記第 1の画像データの中からクラスコードを生成するための複数の画素 データをクラスタップとして抽出し、
上記クラスタップをクラス分類することによりそのクラスを表すクラスコ ―ドを発生し、
上記クラスコードに対応する予測データを発生し、
上記予測データを用いて上記第 2の画像信号を出力し、
上記第 1の画像信号の画像のぼけの程度を表す特徴量を検出して、 その検 出結果に対応して、 上記第 1の抽出回路のクラスタップの抽出動作を制御 する
ことを特徴とする画像変換方法。
1 2 . 請求の範囲第 1 1項において、
上記第 2の画像信号は上記第 1の画像信号より画質改善された信号である ことを特徴とする画像変換方法。
1 3 . 請求の範囲第 1 1項において、
上記第 1 の画像信号と上記第 2の画像信号は同じフォーマツ トの画像信 号であることを特徴とする画像変換方法。
1 4 . 請求の範囲第 1 1項において、
上記予測データを発生するステップは、 上記クラスコードをァ ドレスと し て、 メモリに記憶された、 画質の良好な学習信号を用いてクラス毎に予め 学習よつて生成された予測データを出力する
ことを特徴とする画像変換方法。
1 5 . 請求の範囲第 1 1項において、 さらに、
上記第 1の画像デ一タの中から予測演算を行うための複数の画素データを 予測タップとして抽出し、
上記予測データを発生するステップは、 クラスコー ドに対応する予測係数 (複数形） のセッ トを発生し、
上記第 2の画像信号を出力するステップは、 上記予測タップと上記予測係 数のセッ トを用いて予測演算することにより上記第 2の画像信号を出力す る
ことを特徴とする画像変換方法。
1 6 . 請求の範囲第 1 5項において、
上記予測係数のセッ トを発生するステップは、 上記クラスコ一ドをァ ドレ スと して、 メモリ に記憶された、 画質の良好な学習信号を用いてクラス毎 に予め学習よつて生成された予測係数のセッ トを出力する
ことを特徴とする画像変換方法。
1 7 . 請求の範囲第 1 1項において、
上記特徴量を検出するステップは、 画像信号の所定の範囲において画素デ ータをシフ トすることによ り、 そのシフ トされたそれぞれ位置に対応する 自己相関係数を算出し、 その自己相関係数を画像のぼけの程度を表す尺度 として上記画像のぼけの程度を表す特徴量を検出する
ことを特徴とする画像変換方法。
1 8 . 請求の範囲第 1 1項において、
上記クラスコ一ドを発生するステップは、 上記クラスタップをクラス分類 することによ りそのクラスを表す第 1のクラスコ一 ドと上記画像のぼけの 程度を表す特徴量を表す第 2のクラスコ一ドからなるク ラスコ一 ドを発生 すること
を特徴とする画像変換方法。
1 9 . 請求の範囲第 1 7項において、
上記特徴量を検出するステップは、 基準値に対応する上記自己相関係数を 決定し、 その決定された自己相関係数に対応する画素データのシフト量を 上記画像のぼけの程度を表す特徴量として出力する
2 0 . 請求の範囲第 1 7項及び第 1 9項において、
上記自己相関係数は、 画像のぼけ具合を表すことを特徴とする画像変換方 法。
PCT/JP1998/002009 1997-05-06 1998-05-06 Image converter and image conversion method WO1998051072A1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE69838536T DE69838536T2 (de) 1997-05-06 1998-05-06 Bildwandler und bildwandlungsverfahhren
IL12791098A IL127910A (en) 1997-05-06 1998-05-06 Image converter and image converting method
CN98800490A CN1129301C (zh) 1997-05-06 1998-05-06 图像转换设备和图像转换方法
EP98919492A EP0912045B1 (en) 1997-05-06 1998-05-06 Image converter and image conversion method
US09/226,808 US6233019B1 (en) 1997-05-06 1999-01-06 Image converter and image converting method for improving image quality

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP11543797 1997-05-06
JP9/115437 1997-05-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US09/226,808 Continuation US6233019B1 (en) 1997-05-06 1999-01-06 Image converter and image converting method for improving image quality

Publications (1)

Publication Number Publication Date
WO1998051072A1 true WO1998051072A1 (en) 1998-11-12

Family

ID=14662546

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/002009 WO1998051072A1 (en) 1997-05-06 1998-05-06 Image converter and image conversion method

Country Status (7)

Country Link
US (1) US6233019B1 (ja)
EP (1) EP0912045B1 (ja)
KR (1) KR100499434B1 (ja)
CN (1) CN1129301C (ja)
DE (1) DE69838536T2 (ja)
IL (1) IL127910A (ja)
WO (1) WO1998051072A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002013512A1 (fr) * 2000-08-07 2002-02-14 Sony Corporation Procede et dispositif de traitement d'image et support enregistre
US6907413B2 (en) 2000-08-02 2005-06-14 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
US7412384B2 (en) 2000-08-02 2008-08-12 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
US7584008B2 (en) 2000-08-02 2009-09-01 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4345231B2 (ja) * 1998-09-18 2009-10-14 ソニー株式会社 データ変換装置および方法、並びに記録媒体
US6718073B1 (en) 1998-09-30 2004-04-06 Sony Corporation Arithmetic device, and converter, and their methods
EP1037471B1 (en) * 1998-10-05 2012-02-08 Sony Corporation Image transform device and method and recording medium
EP1197946B1 (en) * 2000-02-10 2007-04-04 Sony Corporation Image processing device and method, and recording medium
JP4277446B2 (ja) * 2000-12-26 2009-06-10 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体
JP4066146B2 (ja) * 2002-04-26 2008-03-26 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP3702464B2 (ja) * 2002-05-08 2005-10-05 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4265291B2 (ja) * 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
JP4281453B2 (ja) * 2003-07-31 2009-06-17 ソニー株式会社 信号処理装置および信号処理方法
US7595819B2 (en) * 2003-07-31 2009-09-29 Sony Corporation Signal processing device and signal processing method, program, and recording medium
JP4311258B2 (ja) * 2004-04-02 2009-08-12 ソニー株式会社 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体
JP2005311629A (ja) * 2004-04-20 2005-11-04 Sony Corp 係数データの生成装置および生成方法、情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体
US7916177B2 (en) * 2007-08-03 2011-03-29 Panasonic Corporation Image-capturing apparatus, image-capturing method and program for detecting and correcting image blur
CN103326151B (zh) * 2010-07-30 2015-04-29 昆山宏泽电子有限公司 卡缘连接器
DE102021210426A1 (de) 2021-09-20 2023-03-23 Zf Friedrichshafen Ag Verfahren und System zur Kollisionsverhinderung eines Wasserfahrzeugs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5947881A (ja) * 1982-09-10 1984-03-17 Pioneer Electronic Corp 画像処理フイルタ
JPH0851599A (ja) * 1994-08-08 1996-02-20 Sony Corp 画像情報変換装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0361538A1 (en) * 1985-04-12 1990-04-04 International Business Machines Corporation Method and system for edge enhancement in reproducing multi-level digital images on a bi-level printer of fixed dot size
JP2830111B2 (ja) 1989-07-21 1998-12-02 ソニー株式会社 高能率符号化装置
JP3092024B2 (ja) 1991-12-09 2000-09-25 松下電器産業株式会社 画像処理方法
KR100360206B1 (ko) 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
US5499057A (en) 1993-08-27 1996-03-12 Sony Corporation Apparatus for producing a noise-reducded image signal from an input image signal
JP3845870B2 (ja) 1994-09-09 2006-11-15 ソニー株式会社 ディジタル信号処理用集積回路
US5852470A (en) * 1995-05-31 1998-12-22 Sony Corporation Signal converting apparatus and signal converting method
US5912708A (en) 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5947881A (ja) * 1982-09-10 1984-03-17 Pioneer Electronic Corp 画像処理フイルタ
JPH0851599A (ja) * 1994-08-08 1996-02-20 Sony Corp 画像情報変換装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0912045A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907413B2 (en) 2000-08-02 2005-06-14 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
US6990475B2 (en) 2000-08-02 2006-01-24 Sony Corporation Digital signal processing method, learning method, apparatus thereof and program storage medium
US7412384B2 (en) 2000-08-02 2008-08-12 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
US7584008B2 (en) 2000-08-02 2009-09-01 Sony Corporation Digital signal processing method, learning method, apparatuses for them, and program storage medium
WO2002013512A1 (fr) * 2000-08-07 2002-02-14 Sony Corporation Procede et dispositif de traitement d'image et support enregistre
US6987884B2 (en) 2000-08-07 2006-01-17 Sony Corporation Image processing device and method, and recorded medium
KR100780516B1 (ko) * 2000-08-07 2007-11-29 소니 가부시끼 가이샤 화상 처리 장치 및 방법, 및 기록 매체
JP4725001B2 (ja) * 2000-08-07 2011-07-13 ソニー株式会社 画像処理装置及び方法、並びに記録媒体

Also Published As

Publication number Publication date
EP0912045B1 (en) 2007-10-10
IL127910A0 (en) 1999-11-30
DE69838536T2 (de) 2008-07-24
IL127910A (en) 2003-01-12
KR20000023569A (ko) 2000-04-25
CN1223050A (zh) 1999-07-14
DE69838536D1 (de) 2007-11-22
CN1129301C (zh) 2003-11-26
KR100499434B1 (ko) 2005-07-07
US6233019B1 (en) 2001-05-15
EP0912045A4 (en) 2000-08-02
EP0912045A1 (en) 1999-04-28

Similar Documents

Publication Publication Date Title
WO1998051072A1 (en) Image converter and image conversion method
EP1804488A2 (en) Motion estimator and motion method
US20100202711A1 (en) Image processing apparatus, image processing method, and program
US8331710B2 (en) Image processing apparatus and method, learning apparatus and method, and program
WO2016002068A1 (ja) 画像拡大装置、画像拡大方法、及び監視カメラ、並びにプログラム及び記録媒体
EP1806925A2 (en) Frame rate converter
EP1039746B1 (en) Line interpolation method and apparatus
US20080239144A1 (en) Frame rate conversion device and image display apparatus
JP5116602B2 (ja) 映像信号処理装置及び方法、プログラム
JP4062771B2 (ja) 画像変換装置および方法、並びに記録媒体
JP4035895B2 (ja) 画像変換装置および方法、並びに記録媒体
JP2002247611A (ja) 画像判別回路、画質補正装置、画像判別方法、画質補正方法、およびプログラム
JP4650683B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
JPH10155139A (ja) 画像処理装置および画像処理方法
KR101509552B1 (ko) 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도
JP4139979B2 (ja) 画像変換装置および方法、並びに記録媒体
JP4131303B2 (ja) 画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体
JP2000092455A (ja) 画像情報変換装置および画像情報変換方法
JP3826434B2 (ja) 信号変換装置および方法
JP4250807B2 (ja) フィールド周波数変換装置および変換方法
JP2003319171A (ja) 画像信号処理装置
JP4650684B2 (ja) 画像処理装置および方法、プログラム並びに記録媒体
JP3480011B2 (ja) 画像情報変換装置
JP2000200349A (ja) 画像情報変換装置および画像情報変換方法、学習装置および学習方法
JP3800638B2 (ja) 画像情報変換装置および方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 127910

Country of ref document: IL

Ref document number: 98800490.9

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN IL KR SG US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): CY DE FR GB

WWE Wipo information: entry into national phase

Ref document number: 1998919492

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1019997000013

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 09226808

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1998919492

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019997000013

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019997000013

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1998919492

Country of ref document: EP