JP3501954B2 - Image quality evaluation device - Google Patents
Image quality evaluation deviceInfo
- Publication number
- JP3501954B2 JP3501954B2 JP20474198A JP20474198A JP3501954B2 JP 3501954 B2 JP3501954 B2 JP 3501954B2 JP 20474198 A JP20474198 A JP 20474198A JP 20474198 A JP20474198 A JP 20474198A JP 3501954 B2 JP3501954 B2 JP 3501954B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- frequency filter
- signal
- variable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、デジタル圧縮、伸
張などのディジタル画像処理に伴う画質劣化を自動的に
測定し、人問の主観評価に近い評価値を出力することを
可能とする、画像処理に伴なう画質劣化を評価するため
の画質評価装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention automatically measures deterioration of image quality due to digital image processing such as digital compression and expansion, and outputs an evaluation value close to the subjective evaluation of a person. The present invention relates to an image quality evaluation device for evaluating image quality deterioration due to processing.
【０００２】[0002]
【従来の技術】画像信号のデジタル圧縮・伸張やコンポ
ーネントーコンポジット変換あるいはアナログ処理で
は、程度の差はあっても画質劣化を伴う。これら画質劣
化の程度を人間の主観評価に近い評価値で測定する目的
で、例えば、ブロック内での視覚特性を考慮した重み付
けをするなど空間的な処理に工夫を加えた圧縮画像評価
システム（テレビジョン学会技術報告ＩＴＥ Ｔｅｃｈ
ｎｉｃａｌ ＲｅｐｏｒｔＶｏ１．２０，Ｎｏ．３５
「ディジタル圧縮画像評価システムの開発」平成８年６
月２０日発表）がある。2. Description of the Related Art In digital compression / expansion of an image signal, component-composite conversion or analog processing, the image quality is deteriorated to some extent. For the purpose of measuring the degree of image quality deterioration with an evaluation value close to human subjective evaluation, for example, a compressed image evaluation system (television) is devised in spatial processing such as weighting considering visual characteristics in a block. John Society Technical Report ITE Tech
nical Report Vo1.20, No. 35
“Development of Digital Compressed Image Evaluation System” 1996 1996
Announced on the 20th of a month).
【０００３】[0003]
【発明が解決しようとする課題】しかし、デジタル圧縮
・伸張した符号化画像は、圧縮・伸張前の画像に対して
様々な信号処理が行われているため、それら処理による
信号の歪みは空間内や時間方向に一定ではなく、画像の
種類、複雑さ及びエッジ近傍など様々な要素で変化し、
上述した測定方法や装置などによるこれまでの手法では
測定結果を人間の主観評価値に近づけることが因難であ
った。However, since a digitally compressed / decompressed coded image is subjected to various signal processes on the image before being compressed / decompressed, the signal distortion due to these processes is spatial. And is not constant in the time direction, but changes depending on various factors such as image type, complexity, and edge neighborhood,
It has been difficult to bring the measurement result close to the human subjective evaluation value in the above-described methods using the above-described measurement method and device.
【０００４】また、デジタル圧縮・伸張に伴う信号の歪
みの評価を、画像の複雑さやエッジ近傍であるか否かな
どにより評価値に重み付けを行う方法によって、ある程
度主観評価値に近づけることができることが、論文（Ｎ
ＨＫ技研Ｒ＆Ｄ Ｎ０．３６「放送用ディジタル符号化
画像の客観的評価尺度の検討」平成７年５月１５日発
行）等で示されているが、これにおいても、信号の歪み
評価値を未だ十分に人間の主観評価値に近づけることが
できないでいた。Further, the evaluation of the signal distortion due to the digital compression / expansion can be brought close to the subjective evaluation value to some extent by a method of weighting the evaluation value depending on the complexity of the image and whether or not it is near the edge. , Paper (N
HK Giken R & D N0.36 "Examination of Objective Evaluation Scale for Digitally Coded Images for Broadcasting" issued on May 15, 1995), etc., but the signal distortion evaluation value is still sufficient. It was impossible to approach the human subjective evaluation value.
【０００５】本発明の目的は、前記従来の画質評価装置
の評価値が十分に人間の主観評価値に近づいていないと
いう問題点を解決するため、その評価結果が人間の行う
主観評価値に精度良く一致する結果の得られる画像処理
に伴う画質劣化を評価するための画質評価装置を提供す
ることにある。An object of the present invention is to solve the problem that the evaluation value of the conventional image quality evaluation apparatus is not sufficiently close to the human subjective evaluation value. Therefore, the evaluation result is accurate to the human subjective evaluation value. An object of the present invention is to provide an image quality evaluation device for evaluating image quality deterioration due to image processing that can obtain a result that matches well.
【０００６】[0006]
【課題を解決するための手段】人間の視覚特性の中に
は、明るさ依存性という特性が存在する。これは、テレ
ビジョン信号などの画像中で信号レベルが高く明るい部
分と、信号レベルが低く暗い部分とでは、同じ量の歪み
が存在しても、人間の視覚上、異なった量の歪みとして
認識されるという特性である。これを視覚の明るさ依存
性と呼ぶ。本発明では、この性質に注目して、画像信号
の明るさをパラメータとして持つ時間フィルタ、空間フ
ィルタを適用した画質評価装置を構成することにより、
より人間の主観評価値に近い結果の得られる画質評価装
置を構成するものである。Among the human visual characteristics, there is a characteristic called brightness dependency. This is because even if the same amount of distortion is present in a bright part where the signal level is high and in a dark part where the signal level is low in a picture such as a television signal, it is perceived by the human eye as different amounts of distortion. It is a characteristic that is done. This is called visual brightness dependency. In the present invention, paying attention to this property, by configuring the image quality evaluation device to which the temporal filter having the brightness of the image signal as a parameter and the spatial filter are applied,
The image quality evaluation device is capable of obtaining a result closer to a human subjective evaluation value.
【０００７】上記のように、請求項１記載の発明による
画像処理に伴う画質劣化を評価するための画質評価装置
では、画像処理を行う前と行った後との両画像信号間で
差分演算を行う差分演算部と、該差分演算部からの出力
信号を２分してそれぞれに対してフィルタ処理を行う可
変の時間周波数フィルタと可変の空間周波数フィルタと
を含み、それら可変の時間周波数フィルタと可変の空間
周波数フィルタの周波数特性が前記画像処理を行う前ま
たは行った後のいずれかの画像信号レベルに基づいて選
択されるように構成された時空間演算部と、該時空間演
算部から出力される可変の時間周波数フィルタを施した
信号および可変の空間周波数フィルタを施した信号、さ
らに前記差分演算部からの出力信号に対してそれぞれ積
分を施した後に重み付け加算を行って評価値として出力
する時空間積分部と、を備えたことを特徴とするもので
ある。As described above, in the image quality evaluation apparatus for evaluating the image quality deterioration due to the image processing according to the first aspect of the invention, the difference calculation is performed between both image signals before and after the image processing. And a variable spatial frequency filter that performs a filtering process on the output signal from the differential arithmetic unit by dividing the output signal from the differential arithmetic unit into two parts, and the variable temporal frequency filter and the variable spatial frequency filter. And a space-time operation unit configured to select the frequency characteristic of the spatial frequency filter based on an image signal level before or after performing the image processing, and output from the space-time operation unit. The variable time-frequency filtered signal, the variable spatial frequency filtered signal, and the output signal from the difference calculation section are each integrated and then weighted. A spatial integrator when outputting as an evaluation value by performing an addition with, it is characterized in that it comprises a.
【０００８】また、請求項２記載の発明では、画像処理
を行う前と行った後との両画像信号間で差分演算を行う
差分演算部と、該差分演算部からの出力信号を２分して
それぞれに対してフィルタ処理を行う可変の時間周波数
フィルタと可変の空間周波数フィルタとを含み、それら
可変の時間周波数フィルタと可変の空間周波数フィルタ
の周波数特性が前記画像処理を行う前または行った後の
いずれかの画像信号レベルに基づいて選択されるように
構成された時空間演算部と、該時空間演算部から出力さ
れる可変の時間周波数フィルタを施した信号および可変
の空間周波数フィルタを施した信号、さらに両信号の電
力和を演算することにより生成される信号に対してそれ
ぞれ積分を施した後に重み付け加算を行って評価値とし
て出力する時空間積分部と、を備えたことを特徴とする
ことを特徴とするものである。According to the second aspect of the present invention, a difference calculation unit for performing a difference calculation between the image signals before and after the image processing and an output signal from the difference calculation unit are divided into two. Including a variable time-frequency filter and a variable spatial frequency filter for performing filter processing on each of them, the frequency characteristics of the variable time-frequency filter and variable spatial frequency filter before or after performing the image processing. Of the image signal level, the spatiotemporal calculation unit is configured to be selected, and the variable time-frequency filtered signal output from the spatiotemporal calculation unit and the variable spatial frequency filter are output. Signal and the signal generated by calculating the power sum of both signals are each integrated, then weighted addition is performed and output as an evaluation value. Is characterized in that comprising: the Wakebe, a.
【０００９】また、請求項３記載の発明では、請求項１
または請求項２記載の画質評価装置において、前記時空
間積分部は、時空間演算部から出力される可変の時間周
波数フィルタを施した信号および可変の空間周波数フィ
ルタを施した信号、さらに前記差分演算部からの出力信
号あるいは前記フィルタ出力の両信号の電力和を演算す
ることにより生成される信号に対してそれぞれしきい値
処理を行って、しきい値に満たない信号については前記
積分の対象から除外するかまたは値をゼロとし、積分を
施した後に重み付け加算を行って評価値として出力する
ことを特徴とするものである。In the invention according to claim 3, the invention according to claim 1
3. The image quality evaluation apparatus according to claim 2, wherein the spatiotemporal integration unit outputs a variable time-frequency filtered signal output from the spatiotemporal calculation unit, a variable spatial frequency filtered signal, and the difference calculation. Threshold value is applied to each of the signals generated by calculating the power sum of the output signal from the unit or the two signals of the filter output. It is characterized in that the values are excluded or set to zero, integration is performed, weighted addition is performed, and the result is output as an evaluation value.
【００１０】また、請求項４記載の発明では、請求項１
〜請求項３記載のいずれかの画質評価装置において、前
記時空間積分部は、画像処理を行う前と行った後との両
画像信号間の差分を複数入力し、出力される評価値が前
記画像処理を行った後の主観評価結果に整合するよう
に、重み付け加算の際の重み付け係数が校正されている
ことを特徴とするものである。According to the invention described in claim 4,
The image quality evaluation apparatus according to claim 3, wherein the spatiotemporal integration unit inputs a plurality of differences between the image signals before and after the image processing, and the evaluation value output is the The weighting coefficient at the time of weighted addition is calibrated so as to match the subjective evaluation result after image processing.
【００１１】また、請求項５記載の発明では、請求項１
〜請求項４記載のいずれかの画質評価装置において、前
記時空間演算部の可変の時間周波数フィルタおよび空間
周波数フィルタのゲイン特性は、空間方向２次元の帯域
制限を行った白色雑音を入力してフィルタ処理し、前記
時空間積分部の評価値出力として視覚特性の検知限を示
す特性が出力されるように設定されていることを特徴と
するものである。According to the invention of claim 5, claim 1
The image quality evaluation apparatus according to any one of claims 4 to 5, wherein the variable time-frequency filter and the gain characteristic of the space-frequency filter of the space-time calculation unit are white noises that are two-dimensionally band-limited in the spatial direction. It is characterized in that it is set so that a characteristic indicating a detection limit of the visual characteristic is output as an evaluation value output of the spatiotemporal integration unit.
【００１２】また、請求項６記載の発明では、請求項１
〜請求項５記載のいずれかの画質評価装置において、さ
らに、前記時空間積分部の評価値出力を蓄積する内部も
しくは外部の蓄積媒体を備えたことを特徴とするもので
ある。According to the invention described in claim 6, claim 1
The image quality evaluation device according to claim 5, further comprising an internal or external storage medium for storing the evaluation value output of the spatiotemporal integration unit.
【００１３】また、請求項７記載の発明では、請求項１
〜請求項６記載のいずれかの画質評価装置において、さ
らに、前記時空間積分部の評価値出力を表示可能な値域
に変換して表示する内部または外部の表示装置を備えた
ことを特徴とするものである。According to the invention of claim 7, claim 1
7. The image quality evaluation device according to claim 6, further comprising an internal or external display device for converting the evaluation value output of the spatiotemporal integration unit into a displayable value range for display. It is a thing.
【００１４】[0014]
【発明の実施の形態】実施の形態１．以下に本発明の実
施の形態１を、図に基づいて詳細に説明する。図１は、
テレビジョン画像情報工学ハンドブックの３８頁の“図
１・６２ 測定パターンの提示条件による視覚のＭＴ
Ｆ”の（ａ）に示される画像の平均輝度と視覚の感度と
の関係を示す図である。同じ空間周波数でも、明るさが
異なると、線種が異なるグラフから分かるように、感度
が異なっている。BEST MODE FOR CARRYING OUT THE INVENTION Embodiment 1. Embodiment 1 of the present invention will be described in detail below with reference to the drawings. Figure 1
Page 38 of the Television Image and Information Technology Handbook, "Figure 1.62.
It is a figure which shows the relationship between the average brightness | luminance of the image shown to (a) of F ", and even if it is the same spatial frequency, if brightness differs, as shown in a graph from which line types differ, sensitivity differs. ing.
【００１５】次に、図２は、同様にテレビジョン画像情
報工学ハンドブックの４０頁の“図１・６４ 正弦波変
調された明るさに対する弁別閾感度特性，視野の大きさ
６５°，人工瞳孔使用”に示される時間周波数に対する
視覚の特性を明るさをパラメータとして示したものであ
る。この図からも、時間周波数の変化により視覚の感度
が大きく変化する様と、その変化のレベルが明るさによ
り大きく異なることが明白である。図１から、空間周波
数に対する視覚の特性も読み取ることが可能で、ここで
も、空間周波数の変化による視覚の感度が変化する様
と、その変化のレベルが明るさにより異なることが読み
取れる。Next, FIG. 2 is also the same as in the Television Image and Information Technology Handbook, page 40, “FIG. 1 · 64, Discrimination threshold sensitivity characteristic for brightness modulated by sinusoidal wave, size of visual field 65 °, use of artificial pupil. The visual characteristics with respect to the time frequency indicated by "" are indicated by using the brightness as a parameter. From this figure, it is clear that the visual sensitivity greatly changes due to the change of the temporal frequency and that the level of the change greatly depends on the brightness. From FIG. 1, it is also possible to read the visual characteristics with respect to the spatial frequency, and it can also be read here that the visual sensitivity changes due to the change of the spatial frequency and the level of the change varies depending on the brightness.
【００１６】本発明による画像処理に伴う画質劣化を評
価するための画質評価装置は、これら図２および図１に
それぞれ示される時間周波数特性と空間周波数特性と
を、適応的な可変の特性をもつ時空間フィルタにより実
現し、時空間フィルタ演算を行い、フィルタ出力を積分
し、重み付け加算することにより、人間の主観評価値に
近い評価結果を得ることが出来るようにしたことを特徴
とするものである。An image quality evaluation apparatus for evaluating image quality deterioration due to image processing according to the present invention has adaptive variable characteristics of the temporal frequency characteristic and spatial frequency characteristic shown in FIGS. 2 and 1, respectively. It is characterized by being realized by a spatiotemporal filter, performing spatiotemporal filter calculation, integrating filter outputs, and performing weighted addition, so that an evaluation result close to a human subjective evaluation value can be obtained. is there.
【００１７】図３は、本発明による画質評価装置の原理
的構成をブロック図で示している。図において、１は差
分演算部、２は時空間演算部、３は時空間積分部、１１
は差分器、１２は固定の空間周波数フィルタ、１３は可
変の時間周波数フィルタ、１４は可変の空間周波数フィ
ルタ、１５は固定の時間周波数フィルタ、１６はレベル
依存制御回路、１７，１８は乗算器、１９，２０，２１
はそれぞれ積分器、２２は重み付け加算器である。な
お、フィルタ１２，１３，１４，１５は、それぞれ、図
上に大まかに描かれた特性を有する固定もしくは可変の
時間周波数フィルタあるいは空間周波数フィルタであ
る。FIG. 3 is a block diagram showing the basic configuration of the image quality evaluation apparatus according to the present invention. In the figure, 1 is a difference calculation unit, 2 is a space-time calculation unit, 3 is a space-time integration unit, 11
Is a differentiator, 12 is a fixed spatial frequency filter, 13 is a variable temporal frequency filter, 14 is a variable spatial frequency filter, 15 is a fixed temporal frequency filter, 16 is a level dependent control circuit, 17 and 18 are multipliers, 19, 20, 21
Are integrators, and 22 is a weighted adder. The filters 12, 13, 14, and 15 are fixed or variable time-frequency filters or spatial-frequency filters having the characteristics roughly drawn in the figure.
【００１８】次に動作を説明する。図３において、い
ま、画像処理を行う前のデジタル画像と、行った後のデ
ジタル画像とが差分演算部１の差分器１１の被減算入力
端子（＋）と減算入力端子（−）とにそれぞれ供給され
るものとする。その結果、差分器１１の出力端子から
は、例えば、圧縮・伸張による歪み分が出力され、これ
が次段の時空間演算部２に供給される。Next, the operation will be described. In FIG. 3, the digital image before the image processing and the digital image after the image processing are respectively applied to the subtracted input terminal (+) and the subtraction input terminal (−) of the difference unit 11 of the difference calculation unit 1. Shall be supplied. As a result, from the output terminal of the differentiator 11, for example, a distortion component due to compression / expansion is output, and this is supplied to the space-time computing unit 2 in the next stage.
【００１９】時空間演算部２は、４個の時空間周波数フ
ィルタ１２，１３，１４，１５を含み、このうち可変の
時間周波数フィルタ１３と、可変の空間周波数フィルタ
１４とがフィルタ特性に関し制御可能となっている。差
分演算部１からの出力は、時空間演算部２に入力されて
まず２分岐され、特性が曲線ａで示される固定の空間周
波数フィルタ１２と、特性が曲線Ｃ−１〜Ｃ−４で示さ
れる可変の空間周波数フィルタ１４とにそれぞれ供給さ
れる。The space-time calculation unit 2 includes four space-time frequency filters 12, 13, 14, 15 of which the variable time-frequency filter 13 and the variable spatial-frequency filter 14 can control the filter characteristics. Has become. The output from the difference calculation unit 1 is input to the space-time calculation unit 2 and first branched into two, and the fixed spatial frequency filter 12 whose characteristic is shown by the curve a and the characteristic is shown by the curves C-1 to C-4. And the variable spatial frequency filter 14 that is supplied.
【００２０】そして、固定の空間周波数フィルタ１２の
出力はそれに縦続接続される特性が曲線ｂ−１〜ｂ−４
で示される可変の時間周波数フィルタ１３に、可変の空
間周波数フィルタ１４の出力はそれに縦続接続される特
性が曲線ｄで示される固定の時間周波数フィルタ１５に
それぞれ供給され、それぞれのフィルタ１３，１５から
濾波出力が得られる。The output of the fixed spatial frequency filter 12 has the characteristic that it is cascade-connected to the curves b-1 to b-4.
The output of the variable spatial frequency filter 14 is supplied to the variable time frequency filter 13 indicated by, and the output of the variable spatial frequency filter 14 is supplied to the fixed time frequency filter 15 whose characteristic is cascaded. A filtered output is obtained.
【００２１】ここで、可変の時間周波数フィルタ１３お
よび可変の空間周波数フィルタ１４の特性は、それぞれ
図２および図１で示す特性になっている。図２および図
１から分かるように、フィルタの特性を選択するための
パラメータは画像信号のレベルに相当する画像の明るさ
であり、可変の時間周波数フィルタ１３の場合は曲線ｂ
−１、ｂ−２、ｂ−３およびｂ−４の中から、また、可
変の空間周波数フィルタ１４の場合は曲線ｃ−１、ｃ−
２，ｃ−３およびｃ−４の中から、それぞれ画像信号の
レベル（明るさ）に応じて特定の曲線を切り替えて使用
する。The characteristics of the variable time-frequency filter 13 and the variable spatial-frequency filter 14 are the characteristics shown in FIGS. 2 and 1, respectively. As can be seen from FIGS. 2 and 1, the parameter for selecting the filter characteristic is the image brightness corresponding to the level of the image signal, and in the case of the variable time-frequency filter 13, the curve b.
-1, b-2, b-3 and b-4, and in the case of the variable spatial frequency filter 14, the curves c-1, c-.
From among 2, c-3 and c-4, a specific curve is switched and used according to the level (brightness) of the image signal.
【００２２】このため、図３に示す例では、時空間演算
部２はレベル依存制御回路１６を備え、そこに供給され
る処理前または処理後の画像信号（本例では、処理後の
画像信号を使用している。）のレベルによって可変の時
空間フィルタ１３，１４の曲線選択を制御している。Therefore, in the example shown in FIG. 3, the spatiotemporal operation unit 2 includes a level-dependent control circuit 16 and is supplied to the image signal before or after the processing (in this example, the image signal after the processing). , Which controls the curve selection of the variable space-time filters 13 and 14.
【００２３】[0023]
【００２４】なお、ここでは、可変のフィルタ１３，１
４の曲線は，４種類のものを示したが、本発明では、こ
れに限定されず、ともに少なくとも３種類程度あれば本
発明による画質評価装置を構成するのに十分である。ま
た、人間の視覚特性をより忠実に再現するために曲線の
種類を増やしてもいいことは言うまでもない。In this case, the variable filters 13 and 1 are
The four curves show four types, but the present invention is not limited to this, and at least about three types are enough to configure the image quality evaluation apparatus according to the present invention. Also, it goes without saying that the number of types of curves may be increased in order to more faithfully reproduce human visual characteristics.
【００２５】また、この実施の形態１の説明では、固定
のフィルタ１２，１５のフィルタ特性は、固定の空間周
波数フィルタおよび固定の時間周波数フィルタを適用し
ているが、これらについても画像信号のレベルに応じた
可変の空間周波数フィルタおよび可変の時間周波数フィ
ルタを適用してもよいことはいうまでもない。In the description of the first embodiment, the fixed spatial frequency filter and the fixed temporal frequency filter are applied as the filter characteristics of the fixed filters 12 and 15. However, these also apply to the image signal level. It goes without saying that a variable spatial frequency filter and a variable time frequency filter according to the above may be applied.
【００２６】また、この実施の形態１の説明では、レベ
ル依存制御回路１６を制御するための入力として、画像
処理を行った後の画像を使用しているが、画像処理を行
う前の画像を使用してもよい。In the description of the first embodiment, the image after the image processing is used as the input for controlling the level-dependent control circuit 16, but the image before the image processing is used. May be used.
【００２７】次に、次段の時空間積分部３においては、
まず、時空間演算部２からのそれぞれ可変の時間周波数
フィルタ１３および固定の時間周波数フィルタ１５の出
力が、乗算器１７，１８にそれぞれ供給され、この乗算
器１７，１８では、時空間演算部２中のレベル依存制御
回路１６からの制御信号によって可変および固定の各時
間周波数フィルタ１３，１５の出力信号に乗算すべき係
数を制御して、その係数を乗算する。Next, in the space-time integration unit 3 in the next stage,
First, the outputs of the variable time-frequency filter 13 and the fixed time-frequency filter 15 from the space-time calculation unit 2 are supplied to the multipliers 17 and 18, respectively. A coefficient to be multiplied by the output signals of the variable and fixed time-frequency filters 13 and 15 is controlled by the control signal from the level-dependent control circuit 16 inside, and the coefficient is multiplied.
【００２８】例えば、乗算器１７，１８の乗算係数を、
画像処理を行った後の画像信号レベルに依存して変化さ
せることにより、可変および固定の各時間周波数フィル
タ１３，１５の出力を視覚感度特性に合わせることがで
きる。この可変精度は１６レベル程度の精度で可変また
は切り替えをすることにより、視覚の特性に近い充分な
精度が得られる。もちろん、これ以上の精度のレベルを
もって切り替えることになんらの問題もない。For example, the multiplication coefficients of the multipliers 17 and 18 are
The outputs of the variable and fixed time-frequency filters 13 and 15 can be adjusted to the visual sensitivity characteristics by changing the output depending on the image signal level after the image processing. By varying or changing this variable precision with a precision of about 16 levels, sufficient precision close to visual characteristics can be obtained. Of course, there is no problem in switching with a level of accuracy higher than this.
【００２９】次に、時空間積分部３の積分器１９，２０
は、これに、例えば、ＲＭＳＥ（Root Mean Square
Error）値を用いた積分を行うことにより、視覚的な刺
激値に比例した信号出力を得ることができるとともに、
フィルタの位相特性が可変の時間周波数フィルタ１３
と、固定の時間周波数フィルタ１５とで異なる場合で
も、加算器２２で互いに相殺することなく加算すること
ができる。また、加算器２２には、差分演算部１の出力
を積分器２１で積分した結果も入力されており、重み付
け加算器２２は、積分器１９，２０，２１の積分出力に
対し重み付け加算を行って、その重み付け加算値を評価
値として出力するようにする。Next, the integrators 19 and 20 of the space-time integration unit 3
To this, for example, RMSE (Root Mean Square
By performing the integration using the (Error) value, it is possible to obtain a signal output proportional to the visual stimulus value,
Time-frequency filter 13 with variable filter phase characteristics
Even if the fixed time-frequency filter 15 is different from the fixed time-frequency filter 15, the adder 22 can perform addition without canceling each other. The adder 22 also receives the result of integrating the output of the difference calculation unit 1 by the integrator 21, and the weighted adder 22 performs weighted addition on the integrated outputs of the integrators 19, 20, 21. Then, the weighted addition value is output as an evaluation value.
【００３０】ここで、重み付け加算器２２において使用
される重み付け係数は、複数種類の画像を入力して得ら
れる重み付け加算器２２に入力される信号と、前記複数
種類の入力画像に対する主観評価値とが整合するような
重み係数になるよう校正されている。Here, the weighting coefficient used in the weighting adder 22 is a signal input to the weighting adder 22 obtained by inputting a plurality of types of images, and a subjective evaluation value for the plurality of types of input images. Are calibrated so that they have matching weighting factors.
【００３１】従って、この実施の形態１の画質評価装置
によれば、画像処理を行う前と行った後との両画像信号
間で差分演算を行い、この差分演算出力を２分して、そ
れぞれ可変の時間周波数フィルタと可変の空間周波数フ
ィルタとから画像信号のレベルに応じた最適な特性のフ
ィルタをそれぞれ選択してフィルタ演算を施し、前記差
分演算出力と、前記２分したフィルタ演算の出力を各々
積分演算を施した出力とを重み付け加算した結果を評価
値としているので、人間の主観評価値に精度良く一致し
た評価値を、装置の出力として得ることが可能である。
なお、この実施の形態１の説明では、時空間積分部３に
おいて、時空間演算部２から出力される信号に対して乗
算器１７，１８で制御した係数をかけ、その後、積分器
１９，２０により積分するように説明したが、本発明で
は、乗算器１７，１８を省略した構成をとることも可能
である。この場合、乗算器１７，１８で行っていた処理
は、レベル依存制御回路１６により制御する時空間フィ
ルタ１３，１４のゲイン特性において代用させることが
できる。また、これは、以下の他の実施の形態でも同様
である。Therefore, according to the image quality evaluation apparatus of the first embodiment, the difference calculation is performed between the image signals before and after the image processing, and the difference calculation output is divided into two, respectively. A filter having optimum characteristics corresponding to the level of the image signal is selected from a variable time-frequency filter and a variable spatial frequency filter to perform filter calculation, and the difference calculation output and the halved filter calculation output are output. Since the result obtained by weighting and adding the output obtained by each integration operation is used as the evaluation value, it is possible to obtain, as the output of the apparatus, the evaluation value that accurately matches the human subjective evaluation value.
In the description of the first embodiment, the spatiotemporal integrator 3 multiplies the signal output from the spatiotemporal calculator 2 by a coefficient controlled by the multipliers 17 and 18, and then the integrators 19 and 20. However, in the present invention, the multipliers 17 and 18 may be omitted. In this case, the processing performed by the multipliers 17 and 18 can be substituted by the gain characteristics of the space-time filters 13 and 14 controlled by the level-dependent control circuit 16. This also applies to the other embodiments described below.
【００３２】実施の形態２．この実施の形態２は、時空
間積分部３の構成を、図３に示す実施の形態１の時空間
積分部３の構成とは変えたことを特徴とするものであ
る。Embodiment 2. The second embodiment is characterized in that the structure of the space-time integration unit 3 is changed from the structure of the space-time integration unit 3 of the first embodiment shown in FIG.
【００３３】図４は、時空間積分部３に図３に示す実施
の形態１のものとは別構成を用いた実施の形態２の画質
評価装置の構成を示している。図中、差分演算部１と時
空間演算部２は、図３の構成と同一であるため、それら
の説明は省略し、時空間積分部３の構成を説明すると、
１７，１８は乗算器、１９，２０，２４は積分器、２２
は重み付け加算器、２３は電力和演算器である。FIG. 4 shows the configuration of the image quality evaluation apparatus of the second embodiment in which the space-time integration unit 3 has a configuration different from that of the first embodiment shown in FIG. In the figure, the difference calculation unit 1 and the spatiotemporal calculation unit 2 have the same configuration as that of FIG. 3, so description thereof will be omitted and the configuration of the spatiotemporal integration unit 3 will be described.
17, 18 are multipliers, 19, 20, 24 are integrators, 22
Is a weighted adder, and 23 is a power sum calculator.
【００３４】次に動作を説明する。時空間積分部３にお
いては、時空間演算部２からの可変の時間周波数フィル
タ１３および固定の時間周波数フィルタ１５の出力が、
乗算器１７，１８に供給される。Next, the operation will be described. In the space-time integration unit 3, the outputs of the variable time-frequency filter 13 and the fixed time-frequency filter 15 from the space-time calculation unit 2 are
It is supplied to the multipliers 17 and 18.
【００３５】乗算器１７，１８では、上記実施の形態１
の場合と同様に、時空間演算部２中のレベル依存制御回
路１６からの制御信号に基づいて、画像処理を行った後
の画像信号のレベル（明るさ）に依存して変化させ、各
フィルタ１３，１５の出力信号に乗算すべき係数を制御
する。In the multipliers 17 and 18, the first embodiment described above is used.
In the same manner as in the above case, each filter is changed based on the control signal from the level-dependent control circuit 16 in the spatiotemporal calculation unit 2 depending on the level (brightness) of the image signal after image processing. It controls the coefficient to be multiplied by the output signals of 13 and 15.
【００３６】積分器１９，２０では、図３の同番号で示
される積分器１９，２０と同様の動作、たとえばＲＭＳ
Ｅを用いた積分を行い、各々視覚特性に比例した信号出
力を得る。The integrators 19 and 20 operate in the same manner as the integrators 19 and 20 shown by the same numbers in FIG.
Integration using E is performed to obtain a signal output proportional to each visual characteristic.
【００３７】また、電力和演算器２３には、乗算器１
７，１８の両出力が接続され、両フィルタ１３，１５の
両出力の電力和に相当する信号出力が得られる。電力和
の演算方法としては、例えば、両出力をＸ，Ｙとおいた
ときに、Ｘ2＋Ｙ2の電力加算や、｜Ｘ｜＋｜Ｙ｜の絶対
値加算、（（Ｘ2＋Ｙ2）／２）1/2等の演算が考えられ
る。そして、この電力和演算器２３の出力は、積分器２
４において積分され、前記１９，２０の積分器の出力と
ともに、重み付け加算器２２に出力される。重み付け加
算器２２では、積分器１９，２０の出力と、積分器２４
の出力とを重み付け加算して、その演算された結果が評
価値として出力される。The power sum calculator 23 includes a multiplier 1
Both outputs of 7 and 18 are connected, and a signal output corresponding to the power sum of both outputs of both filters 13 and 15 is obtained. As the calculation method of the power sum, for example, when both outputs are set to X and Y, the power addition of X 2 + Y 2 , the absolute value addition of | X | + | Y |, and ((X 2 + Y 2 ) / 2) Calculations such as 1/2 are possible. The output of the power sum calculator 23 is the integrator 2
4 and is output to the weighting adder 22 together with the outputs of the integrators 19 and 20. The weighted adder 22 outputs the outputs of the integrators 19 and 20 and the integrator 24.
And the output of are weighted and added, and the calculated result is output as an evaluation value.
【００３８】従って、この実施の形態２の画質評価装置
によれば、上記実施の形態１と同様に、画像処理を行う
前と行った後との両画像信号間で差分演算を行い、この
差分演算出力を２分して、それぞれ可変の時間周波数フ
ィルタと可変の空間周波数フィルタとから画像信号のレ
ベルに応じた最適な特性のフィルタをそれぞれ選択しフ
ィルタ演算を施して評価値を求めているので、人間の主
観評価値に精度良く一致した評価値を、装置の出力とし
て得ることが可能である。Therefore, according to the image quality evaluation apparatus of the second embodiment, as in the first embodiment, the difference calculation is performed between the image signals before and after the image processing, and the difference is calculated. Since the operation output is divided into two, the filter having the optimum characteristic corresponding to the level of the image signal is selected from the variable time-frequency filter and the variable spatial frequency filter, and the evaluation value is obtained by performing the filter operation. It is possible to obtain, as the output of the device, an evaluation value that accurately matches the human subjective evaluation value.
【００３９】また、この実施の形態２では、差分演算部
１の出力の代わりに、乗算器１７，１８において各フィ
ルタ１３，１５の出力を画像処理を行った後の画像信号
レベルに依存して変化させた乗算係数により乗算して加
算し、その加算結果を積分器２４で積分した値を用い
て、その値と、積分器１９，２０の出力との重み付け加
算をとるようにしたので、実施の形態１の場合よりも、
より人間の主観評価値に精度良く一致した評価値を得る
ことが可能である。In the second embodiment, instead of the output of the difference calculation unit 1, the outputs of the filters 13 and 15 in the multipliers 17 and 18 depend on the image signal level after the image processing. Since the values are multiplied by the changed multiplication coefficient and added, and the addition result is integrated by the integrator 24, the value and the outputs of the integrators 19 and 20 are weighted and added. Than the case of Form 1
It is possible to obtain an evaluation value that more accurately matches the human subjective evaluation value.
【００４０】実施の形態３．この実施の形態３は、上記
実施の形態２の場合と同様に、時空間積分部３の構成
を、図３に示す実施の形態１の時空間積分部３の構成と
は変えたことを特徴とするものである。Embodiment 3. The third embodiment is characterized in that the configuration of the space-time integration unit 3 is different from the configuration of the space-time integration unit 3 of the first embodiment shown in FIG. 3 as in the case of the second embodiment. It is what
【００４１】図５は、本実施の形態３の時空間積分部３
の構成を示したものである。図において、１７，１８は
乗算器、１９，２０，２１は積分器、２２は重み付け加
算器、２５，２６，２７は足切り器である。つまり、こ
の実施の形態３の時空間積分部３は、図３に示す実施の
形態１の時空間積分部３に対し、各積分器１９，２０，
２１の前段に、足切り器２５，２６，２７を設けたこと
を特徴とするものである。FIG. 5 shows the space-time integrating unit 3 of the third embodiment.
It shows the configuration of. In the figure, 17 and 18 are multipliers, 19 and 20 and 21 are integrators, 22 is a weighted adder, and 25, 26 and 27 are cutoff devices. That is, the space-time integration unit 3 of the third embodiment is different from the space-time integration unit 3 of the first embodiment shown in FIG.
It is characterized in that foot clippers 25, 26, and 27 are provided in front of 21.
【００４２】次に動作を説明する。時空間演算部２から
の可変の時間周波数フィルタ１３および固定の時間周波
数フィルタ１５の出力、および差分演算部１の出力が、
それぞれ、足切り器２５，２６，２７に入力され、足切
り器２５，２６，２７では、所定のしきい値に満たない
信号成分をゼロとし、各々出力を、積分器１９，２０，
２１に接続する。Next, the operation will be described. The outputs of the variable time-frequency filter 13 and the fixed time-frequency filter 15 from the space-time calculation unit 2 and the output of the difference calculation unit 1 are
Each of them is input to each of the cut-off devices 25, 26, 27. In each of the cut-off devices 25, 26, 27, a signal component that does not reach a predetermined threshold value is set to zero, and each output is integrators 19, 20,
Connect to 21.
【００４３】積分器１９，２０，２１では、図３に示す
実施の形態１の積分動作と同様の積分を行い、各々の出
力を重み付け加算器２２において加算し、演算結果を評
価値として出力する。The integrators 19, 20, and 21 perform the same integration as in the integration operation of the first embodiment shown in FIG. 3, add the respective outputs in the weighting adder 22, and output the calculation result as an evaluation value. .
【００４４】従って、この実施の形態３の画質評価装置
によれば、上記実施の形態１，２と同様に、画像処理を
行う前と行った後との両画像信号間で差分演算を行い、
この差分演算出力を２分して、それぞれ可変の時間周波
数フィルタと可変の空間周波数フィルタとから画像信号
のレベルに応じた最適な特性のフィルタをそれぞれ選択
しフィルタ演算を施して評価値を求めているので、人間
の主観評価値に精度良く一致した評価値を、装置の出力
として得ることが可能になると共に、積分器１９，２
０，２１の前段にそれぞれ足切り器２５，２６，２７を
設けているので、所定のしきい値に満たない信号成分の
足切りにより積分演算の負担を小さくでき、迅速に評価
値出力を得ることができる。Therefore, according to the image quality evaluation apparatus of the third embodiment, as in the first and second embodiments, the difference calculation is performed between the image signals before and after the image processing,
The difference calculation output is divided into two, and a filter having an optimum characteristic corresponding to the level of the image signal is selected from each of the variable time-frequency filter and the variable spatial frequency filter, and filter calculation is performed to obtain an evaluation value. Since it is possible to obtain an evaluation value that accurately matches the human subjective evaluation value as the output of the device, the integrators 19, 2
Since the foot clippers 25, 26, and 27 are provided in the preceding stages of 0 and 21, respectively, the load of the integral calculation can be reduced by cutting off the signal component that does not reach the predetermined threshold value, and the evaluation value output can be obtained quickly. be able to.
【００４５】なお、上記実施の形態３の説明では、足切
り器２５，２６，２７は、図３に示す実施の形態１の時
空間積分部３について適用しているが、本発明では、こ
れに限らず、図４に示す実施の形態２の時空間積分部３
の積分器１９，２０，２４の直前に足切り器２５，２
６，２８を適用することで、例えば図６で示すような時
空間積分部３を構成することも可能である。In the above description of the third embodiment, the leg clippers 25, 26, 27 are applied to the space-time integration section 3 of the first embodiment shown in FIG. However, the space-time integration unit 3 of the second embodiment shown in FIG.
Immediately before the integrators 19, 20, 24 of
It is also possible to configure the space-time integration unit 3 as shown in FIG. 6, for example, by applying Nos. 6 and 28.
【００４６】また、足切り器２５，２６，２７におい
て、しきい値に満たないと判断された信号を次段の積分
器での積分対象から除外することによっても、上記と同
様の効果を得ることが可能である。Further, the same effect as described above can be obtained by excluding the signals, which are judged to be less than the threshold value, from the cut-off devices 25, 26 and 27 from the integration target of the integrator in the next stage. It is possible.
【００４７】実施の形態４．この実施の形態４は、上記
実施の形態１〜３において、さらに評価値出力を記憶す
ることができるようにしたことを特徴とするものであ
る。Fourth Embodiment The fourth embodiment is characterized in that the evaluation value output can be further stored in the first to third embodiments.
【００４８】図７は、評価値出力を記憶することができ
るようにした実施の形態４の画質評価装置の構成を示し
たものである。図において、３０はタイマ、３１は蓄積
媒体である。尚、図中、１，２，３は、それぞれ、上記
実施の形態１〜３の差分演算部、時空間演算部、時空間
積分部である。FIG. 7 shows the configuration of the image quality evaluation apparatus according to the fourth embodiment, which is capable of storing the evaluation value output. In the figure, 30 is a timer and 31 is a storage medium. In the figure, 1, 2 and 3 are the difference calculation unit, the spatiotemporal calculation unit and the spatiotemporal integration unit according to the first to third embodiments.
【００４９】次に動作を説明する。差分演算部１、時空
間演算部２、時空間積分部３の動作は、上記実施の形態
１〜３と同様であり、この実施の形態４では、時空間積
分部３の評価値出力が記憶媒体３１に接続される。Next, the operation will be described. The operations of the difference calculation unit 1, the spatiotemporal calculation unit 2, and the spatiotemporal integration unit 3 are the same as those in the first to third embodiments. In the fourth embodiment, the evaluation value output of the spatiotemporal integration unit 3 is stored. It is connected to the medium 31.
【００５０】ここで、記憶媒体３１と、時空間積分部３
を構成する各積分器（実施の形態１，３であれば、積分
器１９，２０，２１、実施の形態２であれば、積分器１
９，２０，２４である。）とには、タイマ３０から一定
の時間間隔で信号が入力し、各積分器は、タイマ３０か
らの入力信号に基づき積分結果を出力し、記憶媒体３１
は、この信号によりその時の重み付け加算器２２による
各積分器出力の重み付け加算値を評価値として記録す
る。尚、積分器は積分値を出力した後は、リセットして
再度積分動作を行う。Here, the storage medium 31 and the space-time integration unit 3
(In the first and third embodiments, the integrators 19, 20, and 21 are used. In the second embodiment, the integrator 1 is used.
9, 20, 24. ) And a signal is input from the timer 30 at fixed time intervals, and each integrator outputs an integration result based on the input signal from the timer 30, and the storage medium 31
Records the weighted addition value of each integrator output by the weighting adder 22 at that time as an evaluation value by this signal. After the integrator outputs the integrated value, it is reset and the integrating operation is performed again.
【００５１】従って、この実施の形態４の画質評価装置
によれば、上記実施の形態１〜３と同様の効果が得られ
ると共に、タイマ３０により所定の時間間隔で各積分器
が積分動作を行い、記録媒体３１がその積分結果の重み
付け加算値を評価値として記録するようにしたので、評
価を連続的に行うことができ、長時間にわたる評価デー
タを蓄積することが可能となる。Therefore, according to the image quality evaluation apparatus of the fourth embodiment, the same effects as those of the first to third embodiments can be obtained, and the timer 30 causes the respective integrators to perform the integration operation at predetermined time intervals. Since the recording medium 31 records the weighted addition value of the integration result as the evaluation value, the evaluation can be continuously performed, and the evaluation data can be accumulated for a long time.
【００５２】なお、この実施の形態４では、タイマ３０
はタイマ信号を一定時間間隔で出力するものとして説明
したが、本発明では、タイマ信号の出力は一定時間間隔
である必要はない。In the fourth embodiment, the timer 30
Has been described as outputting the timer signal at a constant time interval, but in the present invention, the output of the timer signal need not be at a constant time interval.
【００５３】実施の形態５．この実施の形態５は、上記
実施の形態１〜３において、さらに評価値出力を表示で
きるようにしたことを特徴とするものである。Embodiment 5. The fifth embodiment is characterized in that the evaluation value output can be further displayed in the first to third embodiments.
【００５４】図８は、時空間積分部３の出力である評価
値を表示するように構成した実施の形態５の画質評価装
置の構成を示すものである。図において、３２は評価値
変換器、３３は表示装置である。尚、図中、１，２，３
は、それぞれ、上記実施の形態１〜３の差分演算部、時
空間演算部、時空間積分部である。FIG. 8 shows the configuration of the image quality evaluation apparatus according to the fifth embodiment configured to display the evaluation value output from the space-time integration unit 3. In the figure, 32 is an evaluation value converter, and 33 is a display device. In the figure, 1, 2, 3
Are the difference calculation unit, the spatiotemporal calculation unit, and the spatiotemporal integration unit according to the first to third embodiments, respectively.
【００５５】次に動作を説明する。差分演算部１、時空
間演算部２、時空間積分部３の動作は、上記実施の形態
１〜３と同様であり、この実施の形態５では、時空間積
分部３の評価値出力が、評価値変換器３２に入力する。Next, the operation will be described. The operations of the difference calculation unit 1, the spatiotemporal calculation unit 2, and the spatiotemporal integration unit 3 are the same as those in the first to third embodiments. In the fifth embodiment, the evaluation value output of the spatiotemporal integration unit 3 is Input to the evaluation value converter 32.
【００５６】評価値変換器３２では、時空間積分部３の
評価値出力を、表示装置３３上に表示可能な形式の表示
信号に変換し、表示装置３３へ出力する。表示装置３３
では、評価値変換器３２からの表示信号に基づいて、時
空間積分部３の評価値出力を表示する。The evaluation value converter 32 converts the evaluation value output of the spatiotemporal integration unit 3 into a display signal in a format displayable on the display device 33 and outputs the display signal to the display device 33. Display device 33
Then, the evaluation value output of the space-time integration unit 3 is displayed based on the display signal from the evaluation value converter 32.
【００５７】従って、この実施の形態５の画質評価装置
によれば、上記実施の形態１〜３と同様の効果が得られ
ると共に、表示装置３３で時空間積分部３の評価値出力
を表示するようにしたので、画質評価を容易に行うこと
ができる。Therefore, according to the image quality evaluation apparatus of the fifth embodiment, the same effects as those of the first to third embodiments are obtained, and the evaluation value output of the spatiotemporal integration unit 3 is displayed on the display device 33. As a result, the image quality can be easily evaluated.
【００５８】なお、上記実施の形態５の説明では、上記
実施の形態１〜３に適用して説明したが、これに限ら
ず、図７に示す実施の形態４の構成に図８に示す評価値
変換器３２や表示装置３３を追加するようにしても勿論
よい。In the description of the fifth embodiment, the description has been made by applying it to the first to third embodiments. However, the present invention is not limited to this, and the evaluation shown in FIG. 8 in the configuration of the fourth embodiment shown in FIG. Of course, the value converter 32 and the display device 33 may be added.
【００５９】また、上記実施の形態１〜５の説明では、
差分演算部１、時空間演算部２、時空間積分部３の各々
において、輝度信号成分と、複数の色信号成分とを分け
ないで演算するように説明したが、本発明では、これに
限らず、差分演算部１、時空間演算部２、時空間積分部
３の各々において、輝度信号成分と、複数の色信号成分
とを各々個別に演算するように構成することも可能であ
る。Further, in the description of the above-mentioned first to fifth embodiments,
The difference calculation unit 1, the spatiotemporal calculation unit 2, and the spatiotemporal integration unit 3 have been described so as to calculate the luminance signal component and the plurality of color signal components without dividing them, but the present invention is not limited to this. Alternatively, each of the difference calculation section 1, the spatiotemporal calculation section 2, and the spatiotemporal integration section 3 may be configured to individually calculate the luminance signal component and the plurality of color signal components.
【００６０】また、本実施の形態１〜５の画質評価装置
では、画像処理を行う前の画像と画像処理を行った後の
画像とを入力してその評価を出力するように説明した
が、この画質評価装置の使用方法として、例えば、評価
に使用する画像を、画像処理を行う前の画像として本装
置に内蔵しておき、本装置のある場所とは離れた場所か
ら同じ画像を使って伝送された画像を、画像処理を行っ
た後の画像として、これら両画像の差分を取るように構
成すれば、遠方からの伝送時に発生する歪みなどの画質
劣化についても容易、かつ、人間の主観評価値に精度良
く一致させて評価することができる。In the image quality evaluation apparatuses of the first to fifth embodiments, the image before the image processing and the image after the image processing are input and the evaluation is output. As a method of using this image quality evaluation device, for example, an image used for evaluation is stored in the device as an image before image processing, and the same image is used from a place distant from the place where the device is present. If the transmitted image is subjected to image processing and configured to take the difference between these two images, deterioration of image quality such as distortion occurring at the time of transmission from a distance is easy, and human subjective The evaluation value can be accurately matched and evaluated.
【００６１】[0061]
【発明の効果】以上、説明してきたように、本発明で
は、画像処理を行う前と行った後との両画像信号間で差
分演算を行い、この差分演算出力を２分して、それぞれ
可変の時間周波数フィルタと可変の空間周波数フィルタ
とから画像信号のレベルに応じた最適な特性のフィルタ
をそれぞれ選択しフィルタ演算を施して評価値を求める
ようにしたので、人間の主観評価値に精度良く一致した
評価値を、装置の出力として得ることが可能である。As described above, according to the present invention, the difference calculation is performed between the image signals before and after the image processing, and the difference calculation output is divided into two to be variable. The time-frequency filter and the variable spatial frequency filter are selected to obtain the evaluation value by selecting the filter with the optimum characteristics according to the level of the image signal and performing the filter operation to obtain the human subjective evaluation value with high accuracy. The matched evaluation value can be obtained as the output of the device.
【図１】 視覚感度の信号レベル依存性と視覚の空間周
波数特性の明るさ依存性を示す図。FIG. 1 is a diagram showing the signal level dependence of visual sensitivity and the brightness dependence of visual spatial frequency characteristics.
【図２】 視覚の時間周波数特性の明るさ依存性を示す
図。FIG. 2 is a diagram showing the brightness dependency of visual time-frequency characteristics.
【図３】 本発明による画質評価装置の実施の形態１の
構成例を示すブロック図。FIG. 3 is a block diagram showing a configuration example of Embodiment 1 of the image quality evaluation apparatus according to the present invention.
【図４】 本発明による画質評価装置の実施の形態２の
構成例を示すブロック図。FIG. 4 is a block diagram showing a configuration example of a second embodiment of an image quality evaluation device according to the present invention.
【図５】 実施の形態３の時空間積分部３の構成例を示
すブロック図。FIG. 5 is a block diagram showing a configuration example of a space-time integration unit 3 according to the third embodiment.
【図６】 実施の形態３の時空間積分部３の他の構成例
を示すブロック図。FIG. 6 is a block diagram showing another configuration example of the space-time integration unit 3 according to the third embodiment.
【図７】 本発明による画質評価装置の実施の形態４の
構成例を示すブロック図。FIG. 7 is a block diagram showing a configuration example of an image quality evaluation apparatus according to a fourth embodiment of the present invention.
【図８】 本発明による画質評価装置の実施の形態５の
構成例を示すブロック図。FIG. 8 is a block diagram showing a configuration example of a fifth embodiment of an image quality evaluation device according to the present invention.
【符号の説明】
１ 差分演算部、２ 時空間演算部、３ 時空間積分
部、１１ 差分器、１２固定の空間周波数フィルタ、１
３ 可変の時間周波数フィルタ、１４ 可変の空間周波
数フィルタ、１５ 固定の時間周波数フィルタ、１６
レベル依存制御回路、１７，１８ 乗算器、１９，２
０，２１ 積分器、２２ 重み付け加算器、２３ 電力
和演算器、２４ 積分器、２５，２６，２７，２８ 足
切り器、３０ タイマ、３１ 蓄積媒体、３２ 評価値
変換器、３３ 表示装置。[Description of Reference Signs] 1 difference calculation unit, 2 spatiotemporal calculation unit, 3 spatiotemporal integration unit, 11 difference unit, 12 fixed spatial frequency filter, 1
3 variable time-frequency filter, 14 variable spatial frequency filter, 15 fixed time-frequency filter, 16
Level-dependent control circuit, 17, 18 Multiplier, 19, 2
0,21 integrator, 22 weighting adder, 23 power sum calculator, 24 integrator, 25, 26, 27, 28 cutoff device, 30 timer, 31 storage medium, 32 evaluation value converter, 33 display device.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 浅井 光太郎 東京都千代田区丸の内二丁目２番３号 三菱電機株式会社内 (72)発明者 西川 博文 東京都千代田区丸の内二丁目２番３号 三菱電機株式会社内 (72)発明者 黒田 慎一 東京都千代田区丸の内二丁目２番３号 三菱電機株式会社内 (72)発明者 ジェームズ チャオ 東京都千代田区丸の内二丁目２番３号 三菱電機株式会社内 (56)参考文献 特開 平11−215523（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 17/00 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Kotaro Asai 2-3-3 Marunouchi, Chiyoda-ku, Tokyo Mitsubishi Electric Co., Ltd. (72) Hirofumi Nishikawa 2-3-2 Marunouchi, Chiyoda-ku, Tokyo Mitsubishi Electric Incorporated (72) Inventor Shinichi Kuroda 2-3-3 Marunouchi, Chiyoda-ku, Tokyo Mitsubishi Electric Corporation (72) Inventor James Chao 2-3-2 Marunouchi, Chiyoda-ku, Tokyo Mitsubishi Electric Corporation ( 56) Reference JP-A-11-215523 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) H04N 17/00
Claims (6)
信号間で差分演算を行う差分演算部と、 該差分演算部からの出力信号を２分してそれぞれに対し
てフィルタ処理を行う可変の時間周波数フィルタと可変
の空間周波数フィルタとを含み、それら可変の時間周波
数フィルタと可変の空間周波数フィルタの周波数特性が
前記画像処理を行う前または行った後のいずれかの画像
信号レベルに基づいて選択されるように構成された時空
間演算部と、 該時空間演算部から出力される可変の時間周波数フィル
タを施した信号および可変の空間周波数フィルタを施し
た信号、さらに前記差分演算部からの出力信号に対して
それぞれ積分を施した後に重み付け加算を行って評価値
として出力する時空間積分部と、 を備えたことを特徴とする画質評価装置。1. A difference calculation unit for performing a difference calculation between both image signals before and after image processing, and an output signal from the difference calculation unit is divided into two and filter processing is performed for each. It includes a variable spatial frequency filter and a variable spatial frequency filter to perform, the frequency characteristics of the variable temporal frequency filter and the variable spatial frequency filter to the image signal level before or after performing the image processing A space-time computing unit configured to be selected on the basis of the variable space-time computing unit, a signal output from the space-time computing unit subjected to the variable temporal frequency filter and a signal subjected to the variable spatial frequency filter, and the difference computing unit. An image quality evaluation apparatus comprising: a spatio-temporal integration unit that performs integration by weighting on each output signal from and outputs the evaluation value as an evaluation value.
信号間で差分演算を行う差分演算部と、 該差分演算部からの出力信号を２分してそれぞれに対し
てフィルタ処理を行う可変の時間周波数フィルタと可変
の空間周波数フィルタとを含み、それら可変の時間周波
数フィルタと可変の空間周波数フィルタの周波数特性が
前記画像処理を行う前または行った後のいずれかの画像
信号レベルに基づいて選択されるように構成された時空
間演算部と、 該時空間演算部から出力される可変の時間周波数フィル
タを施した信号および可変の空間周波数フィルタを施し
た信号、さらに両信号の電力和を演算することにより生
成される信号に対してそれぞれ積分を施した後に重み付
け加算を行って評価値として出力する時空間積分部と、 を備えたことを特徴とする画質評価装置。2. A difference calculation unit for performing a difference calculation between both image signals before and after image processing, and an output signal from the difference calculation unit is divided into two and filter processing is performed for each. It includes a variable spatial frequency filter and a variable spatial frequency filter to perform, the frequency characteristics of the variable temporal frequency filter and the variable spatial frequency filter to the image signal level before or after performing the image processing A space-time computing unit configured to be selected based on the signals, a variable time-frequency filtered signal output from the space-time computing unit and a variable spatial frequency filtered signal, and the power of both signals. And a space-time integration unit for performing weighted addition and outputting as an evaluation value after integrating the signals generated by calculating the sum, respectively. Image quality evaluation device.
装置において、 前記時空間積分部は、時空間演算部から出力される可変
の時間周波数フィルタを施した信号および可変の空間周
波数フィルタを施した信号、さらに前記差分演算部から
の出力信号あるいは前記フィルタ出力の両信号の電力和
を演算することにより生成される信号に対してそれぞれ
しきい値処理を行って、しきい値に満たない信号につい
ては前記積分の対象から除外するかまたは値をゼロと
し、積分を施した後に重み付け加算を行って評価値とし
て出力することを特徴とする画質評価装置。3. The image quality evaluation apparatus according to claim 1, wherein the spatiotemporal integration unit includes a signal output from the spatiotemporal calculation unit and subjected to the variable temporal frequency filter, and the variable spatial frequency filter. The threshold value is applied to each of the applied signal and the signal generated by calculating the power sum of the output signal from the difference calculation unit or both signals of the filter output, and the threshold value is not satisfied. An image quality evaluation device characterized in that a signal is excluded from the subject of the integration or the value is set to zero, and after the integration is performed, weighted addition is performed and output as an evaluation value.
質評価装置において、 前記時空間積分部は、画像処理を行う前と行った後との
両画像信号間の差分を複数入力し、出力される評価値が
前記画像処理を行った後の主観評価結果に整合するよう
に、重み付け加算の際の重み付け係数が校正されている
ことを特徴とする画質評価装置。4. The image quality evaluation device according to claim 1, wherein the spatiotemporal integration unit inputs a plurality of differences between both image signals before and after image processing. An image quality evaluation apparatus, wherein the weighting coefficient at the time of weighted addition is calibrated so that the output evaluation value matches the subjective evaluation result after the image processing.
質評価装置において、さらに、 前記時空間積分部の評
価値出力を蓄積する内部もしくは外部の蓄積媒体を備え
たことを特徴とする画質評価装置。5. The image according to any one of claims 1 to 4.
In the quality evaluation device, the evaluation of the spatiotemporal integration unit is further performed.
Equipped with internal or external storage medium to store value output
Image quality evaluation device, characterized in that was.
質評価装置において、さらに、 前記時空間積分部の評
価値出力を表示可能な値域に変換して表示する内部また
は外部の表示装置を備えたことを特徴とする画質評価装
置。6. The image according to any one of claims 1 to 5.
In the quality evaluation device, the evaluation of the spatiotemporal integration unit is further performed.
Converts the value output into a displayable range and displays it
Is an image quality evaluation device having an external display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20474198A JP3501954B2 (en) | 1998-07-21 | 1998-07-21 | Image quality evaluation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20474198A JP3501954B2 (en) | 1998-07-21 | 1998-07-21 | Image quality evaluation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000036971A JP2000036971A (en) | 2000-02-02 |
| JP3501954B2 true JP3501954B2 (en) | 2004-03-02 |
Family
ID=16495563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20474198A Expired - Fee Related JP3501954B2 (en) | 1998-07-21 | 1998-07-21 | Image quality evaluation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3501954B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0314162D0 (en) * | 2003-06-18 | 2003-07-23 | British Telecomm | Edge analysis in video quality assessment |
| KR100798834B1 (en) | 2003-08-22 | 2008-01-28 | 니뽄 덴신 덴와 가부시키가이샤 | Video quality evaluation device, video quality evaluation method, recording medium for recording video quality evaluation program |
| JP4763525B2 (en) * | 2006-06-21 | 2011-08-31 | 日本電信電話株式会社 | Video alignment method |
| JP6018492B2 (en) * | 2011-12-15 | 2016-11-02 | キヤノン株式会社 | Image quality evaluation apparatus, control method therefor, and program |
-
1998
- 1998-07-21 JP JP20474198A patent/JP3501954B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000036971A (en) | 2000-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6965416B2 (en) | Image processing circuit and method for processing image | |
| US7570390B2 (en) | Image processing device and method | |
| US9020257B2 (en) | Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image | |
| US5343254A (en) | Image signal processing device capable of suppressing nonuniformity of illumination | |
| Mantiuk et al. | High-dynamic range imaging pipeline: perception-motivated representation of visual content | |
| JP4946795B2 (en) | Image processing apparatus and image processing method | |
| US7920183B2 (en) | Image processing device and digital camera | |
| US8164662B2 (en) | Image-processing device for color image data and method for the image processing of color image data | |
| US7755670B2 (en) | Tone-conversion device for image, program, electronic camera, and tone-conversion method | |
| JPH04501494A (en) | Detail processing method and apparatus for providing uniform processing of horizontal and vertical detail components | |
| JP2007208399A (en) | Image processing unit, image processing method, program thereof, and recording medium for recording the same | |
| JP2970440B2 (en) | Image synthesis method and image synthesis device | |
| KR20020087951A (en) | Green reconstruction for image sensors | |
| JP3501954B2 (en) | Image quality evaluation device | |
| KR20050085033A (en) | A unit for and method of image conversion | |
| JP2012003454A (en) | Image processing apparatus, imaging device and image processing program | |
| JP4438363B2 (en) | Image processing apparatus and image processing program | |
| JP4992379B2 (en) | Image gradation conversion apparatus, program, electronic camera, and method thereof | |
| US8508613B2 (en) | Image capturing apparatus | |
| JP3951993B2 (en) | IMAGING DEVICE AND COLOR DATA MEASURING METHOD USED FOR THIS IMAGING DEVICE | |
| JP3618998B2 (en) | Image quality evaluation device for evaluating image quality degradation associated with image processing | |
| EP2410731A2 (en) | Edge correction apparatus, edge correction method, program, and storage medium | |
| KR100745289B1 (en) | Apparatus and method for distortion compensation of camera lens in the mobile terminal | |
| Seybold | Noise Characteristics and Noise Perception | |
| JP4363125B2 (en) | Image signal processing device, viewfinder, display device, image signal processing method, recording medium, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031203 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071212 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081212 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091212 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091212 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101212 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |