KR100207392B1 - System for testing picture quality of reconstructed image and texture domain determinator therein - Google Patents

System for testing picture quality of reconstructed image and texture domain determinator therein Download PDF

Info

Publication number
KR100207392B1
KR100207392B1 KR1019950036122A KR19950036122A KR100207392B1 KR 100207392 B1 KR100207392 B1 KR 100207392B1 KR 1019950036122 A KR1019950036122 A KR 1019950036122A KR 19950036122 A KR19950036122 A KR 19950036122A KR 100207392 B1 KR100207392 B1 KR 100207392B1
Authority
KR
South Korea
Prior art keywords
image
reconstructed
block
texture
original image
Prior art date
Application number
KR1019950036122A
Other languages
Korean (ko)
Other versions
KR970025183A (en
Inventor
김진헌
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019950036122A priority Critical patent/KR100207392B1/en
Publication of KR970025183A publication Critical patent/KR970025183A/en
Application granted granted Critical
Publication of KR100207392B1 publication Critical patent/KR100207392B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인간의 시각특성을 고려하여 원영상과 복원된 재생 영상간의 강한 에지부분에서의 신호 대 잡음비 레벨을 이용하여 부호화된 원영상으로부터 복원된 재생 영상의 화질을 고정밀하게 평가할 수 있도록 한 복원 영상의 화질 평가 시스템에 관한 것이다. 본 발명은 먼저 원영상에서 내용정보가 복잡하여 그 특성분석이 어려우며 인간의 시각에 매우 둔감한 텍스쳐 영역을 검출한 다음, 그 검출결과에 따라 마스크를 이용하여 원영상과 복원된 재생 영상에서 텍스쳐 영역을 제거한다. 다음에, 텍스쳐 영역이 각각 제거된 원영상과 복원된 재생 영상간의 명암도 의존성을 제거한 다음 두 영상간의 강한 에지 성분에서의 피크 신호 대 잡음비를 이용하여 복원된 재생 영상의 화질 상태를 고정밀하게 평가할 수 있다.According to the present invention, a reconstructed image capable of accurately evaluating the image quality of a reproduced image reconstructed from an encoded original image by using a signal-to-noise ratio level at a strong edge between the original image and the reconstructed reproduced image in consideration of human visual characteristics Relates to a picture quality evaluation system. The present invention first detects a texture area that is difficult to characterize because the content information is complicated in the original image and is very insensitive to human vision, and then, based on the detection result, the texture area in the original image and the reconstructed playback image using a mask. Remove it. Next, the contrast dependence between the original image and the reconstructed reproduced image from which the texture region is removed can be removed, and the image quality state of the reconstructed reproduced image can be accurately evaluated using the peak signal-to-noise ratio at the strong edge component between the two images. .

따라서, 본 발명은 화질 평가에 아주 유리한 원영상과 복원된 재생 영상의 강한 에지 성분만을 가지고 복원된 재생 영상의 화질을 평가하므로, 부호화된 영상을 복호화하여 복원한 재생 영상의 화질 상태를 고정밀하게 평가할 수 있다.Therefore, since the present invention evaluates the image quality of the reconstructed reproduced image having only the strong edge component of the original image and the reconstructed reproduced image, which is very advantageous for the image quality evaluation, it is possible to accurately evaluate the image quality state of the reconstructed reproduced image by decoding the encoded image. Can be.

Description

텍스쳐 영역 판단장치 및 이를 이용한 복원 영상의 화질평가 시스템Texture Area Judgment Device and Image Quality Evaluation System

제1도는 본 발명의 바람직한 실시예에 따른 복원 영상의 화질 평가 시스템에 대한 블럭구성도.1 is a block diagram of a system for evaluating image quality of a reconstructed image according to an exemplary embodiment of the present invention.

제2도는 제1도의 화질 평가 시스템에 채용되는 본 발명의 바람직한 실시예에 따른 텍스쳐 영역 판단장치에 대한 블럭구성도.FIG. 2 is a block diagram of a texture area determination apparatus according to a preferred embodiment of the present invention employed in the image quality evaluation system of FIG.

제3도는 본 발명에 따른 텍스쳐 영역의 판정을 위해 NN의 서브블럭에서 낮은 주파수 부분의 계수값을 제거하는 데 사용되는 마스크의 일예를 도시한 도면.3 shows N for determining the texture area according to the invention. Diagram showing an example of a mask used to remove coefficient values of the low frequency portion in a subblock of N. FIG.

제4도는 본 발명에 따른 텍스쳐 영역의 판단을 위해 NN의 서브블럭에 4방향으로의 투사를 수행하는 일예를 도시한 도면.4 illustrates N for determining a texture region according to the present invention. A diagram showing an example of performing projection in four directions on a N subblock.

제5도는 본 발명에 따른 화질 평가과정의 설명을 위해 일예로서 도시한 프레임의 예시도.5 is an exemplary view of a frame shown as an example for explaining the image quality evaluation process according to the present invention.

제6도는 본 발명에 따라 텍스쳐 영역이 제외된 원영상과 복원된 재생 영상간의 명암(brightness) 의존성을 제거하기 위하여 픽셀 평균값으로 각 픽셀값을 제거한 상태의 명암도를 나타낸 것으로, 제6도 (a)는 명암 의존성을 제거하기 전을, 제6도 (b)는 명암 의존성을 제거한 후의 명암도를 각각 도시한 그래프.FIG. 6 is a diagram illustrating the intensity of each pixel value removed from the pixel average value in order to remove the dependence of brightness between the original image excluding the texture region and the reconstructed reproduced image according to the present invention. Fig. 6 (b) is a graph showing the contrast levels after removing the contrast dependencies.

* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings

101 : 텍스쳐 영역 판단 블록 102 : 저역 통과 필터101: texture area determination block 102: low pass filter

103,104 : 마스킹 블럭 105,106 : 평균값 산출 블럭103, 104: masking block 105, 106: average value calculation block

107,108 : 감산기 110 : PSNR 산출 블럭107,108 subtractor 110 PSNR calculation block

120,1015,1018 : 비교기 1011 : 분할 블럭120, 1015, 1018: comparator 1011: split block

1012 : DCT 블럭 1013 : 저주파 마스킹 블럭1012: DCT block 1013: low frequency masking block

1014 : 가산기 1016 : 방향성 투사 블럭1014: adder 1016: directional projection block

1017 : 평균값 산출 블럭 1019 : 앤드 게이트1017: average value calculation block 1019: AND gate

본 발명은 압축 부호화된 영상으로부터 복호화한 복원 영상의 화질을 평가하는 시스템에 관한 것으로, 더욱 상세하게는 영상의 주요부분중의 하나인 강한 에지성분에서의 피크 신호 대 잡음비(PSNR)의 차를 이용하여 부호화 되기 이전의 원영상과 복원된 영상간의 화질을 평가하는 시스템에 관한 것이다.The present invention relates to a system for evaluating the quality of a reconstructed image decoded from a compressed coded image. More particularly, the present invention relates to a peak signal-to-noise ratio (PSNR) in a strong edge component, which is one of the main parts of an image. The present invention relates to a system for evaluating image quality between an original image and a reconstructed image before encoding.

본 기술분야에 잘 알려진 바와 같이, 이산화된 영상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 영상신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비젼(HDTV)의 경우 상당한 양의 데이타가 전송되어야 한다. 그러나, 종래의 전송 채널의 사용가능한 주파수 영역이 제한되어 있으므로, 많은 양의 디지탈 데이타를 전송하기 위해서는 전송하고자 하는 데이타를 압축하여 그 전송량을 줄일 필요가 있다. 또한, 압축되는 영상신호와 오디오신호는 그들 신호의 특성상 서로 다른 부호화 기법을 통해 각각 부호화되는데, 이와같은 부호화에 있어서 오디오신호에 비해 보다 많은 양의 디지탈 데이타가 발생하는 영상신호의 압축 기법은 특히 중요한 부분을 차지한다고 볼 수 있다.As is well known in the art, the transmission of discrete video signals can maintain better image quality than analog signals. When a video signal composed of a series of image frames is represented in a digital form, a considerable amount of data must be transmitted, especially in the case of high-definition television (HDTV). However, since the usable frequency range of the conventional transmission channel is limited, in order to transmit a large amount of digital data, it is necessary to compress the data to be transmitted and reduce the amount of transmission. In addition, the compressed video signal and the audio signal are encoded through different coding techniques due to the characteristics of those signals. In this encoding, a video signal compression technique that generates a greater amount of digital data than the audio signal is particularly important. It can be said to take part.

한편, 영상신호를 부호화하는데 주로 이용되는 다양한 압축 기법으로서는, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.On the other hand, as the various compression techniques mainly used for encoding the image signal, a hybrid encoding technique combining a stochastic encoding technique and a temporal and spatial compression technique is known to be the most efficient.

상기한 효율적인 부호화 기법중의 하나인 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT계수의 양자화, VLC(가변장 부호화)등을 이용한다. 여기에서, 움직임보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이러한 방법은, 예를 들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12(1985년, 12월), 또는 Ninomiy와 Ohtsuka의 Amotion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, No.1(1982년, 1월)에 기재되어 있다.Most hybrid coding schemes, which are one of the efficient coding schemes described above, use motion compensated DPCM (differential pulse code modulation), two-dimensional discrete cosine transform (DCT), quantization of DCT coefficients, VLC (variable length coding), and the like. Here, the motion compensation DPCM determines a motion of the object between the current frame and the previous frame, and predicts the current frame according to the motion of the object to generate a differential signal representing the difference between the current frame and the prediction value. Such methods are described, for example, in Fixed and Adaptive Predictors for Hybrid Predictive / Transform Coding by Staffan Ericsson, IEEE Transactions on Communication, COM-33, NO.12 (1985, December), or Amotion Compensated Interframe Coding by Ninomiy and Ohtsuka. Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, No. 1 (January, 1982).

보다 상세하게, 움직임보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로 부터 예측하는 것이다. 여기에서, 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임벡터로 나타낼 수 있다.More specifically, the motion compensation DPCM predicts the current frame from the previous frame according to the motion of the object estimated between the current frame and the previous frame. Here, the estimated motion may be represented by a two-dimensional motion vector representing the displacement between the previous frame and the current frame.

통상적으로, 물체의 화소 변위를 추정하는 데에는 여러가지 접근방법이 있으며, 이들은 일반적으로 두개의 타입으로 분류되는데 그중 하나는 블럭단위의 움직임 추정방법이고 다른 하나는 화소단위의 움직임 추정방법이며, 블럭단위 움직임 추정에서는 현재 프레임의 블럭을 이전 프레임의 블럭들과 비교하여 최적 정합블럭을 결정한 다음, 이로 부터, 전송되는 현재 프레임에 대해 블럭 전체에 대한 프레임간 변위 벡터(프레임간에 블럭이 이동한 정도)가 추정된다.In general, there are various approaches to estimating the pixel displacement of an object, and these are generally classified into two types, one of which is a block-based motion estimation method and the other is a pixel-based motion estimation method. In the estimation, the block of the current frame is compared with the blocks of the previous frame to determine an optimal matching block, and then, from this, the interframe displacement vector (how much the block moves between frames) for the entire current frame is estimated. do.

따라서, 송신측에서는 영상신호를 전송할 때 상술한 바와같은 부호화 기법을 통해 블럭단위 또는 화소단위로 영상신호가 갖는 공간적, 시간적인 상관성을 고려해 압축 부호화하여 출력측의 버퍼에 차례로 저장하게 되며, 이와같이 저장된 부호화된 영상데이타는 채널의 요구에 부응하여 소망하는 비트 레이트로 전송채널을 통해 수신측의 복호화 시스템에 전송될 것이다.Therefore, when transmitting a video signal, the transmitting side compresses and encodes the image signal in the buffer of the output side in order by taking into account the spatial and temporal correlation of the image signal in block units or pixel units through the above-described encoding technique. The image data will be transmitted to the decoding system at the receiving side via the transmission channel at a desired bit rate in response to the channel request.

보다 상세하게, 송신측의 부호화 시스템에서는 이산 코사인 변환(DCT)등의 변환부호화를 이용하여 영상신호의 공간적인 중복성을 제거하고, 또한 움직임 추정, 예측등을 통한 차분부호화를 이용하여 영상신호의 시간적인 중복성을 제거함으로서, 영상신호를 효율적으로 압축하게 된다.More specifically, the encoding system on the transmitting side removes spatial redundancy of the video signal by using transform coding such as discrete cosine transform (DCT), and further uses temporal encoding of the video signal by using differential coding through motion estimation and prediction. By eliminating redundant redundancy, the video signal can be efficiently compressed.

따라서, 수신측의 복호화 시스템에서는 모니터로의 디스플레이를 위해 상술한 바와같은 송신측 부호화 시스템에서의 역과정(가변장 복호화, 역양자화, IDCT등)을 통해 부호화된 영상신호를 이전의 원영상신호로 복원하게 될 것이다.Therefore, in the decoding system on the receiving side, the video signal encoded through the reverse process (variable decoding, inverse quantization, IDCT, etc.) in the transmitting encoding system as described above for display on the monitor is converted into the previous original image signal. Will be restored.

그리고, 상술한 바와같은 DPCM/DCT 하이브리드 부호화 기법은 목표 비트 레이트가 Mbps 급이고, 그 응용분야가 CD-ROM, 컴퓨터, 가전제품(디지탈 VCR등), 방송(HDTV) 등이며, 세계 표준화기구에 의해 표준안이 이미 완성된, 영상내의 블럭단위 움직임의 통계적 특성만을 주로 고려하는, 고전송율의 부호화에 관한 MPEG1,2 및 H.261 부호화 알고리즘에 주로 관련된다.The DPCM / DCT hybrid coding scheme described above has a target bit rate of Mbps, and its application fields are CD-ROM, computers, home appliances (digital VCRs, etc.), broadcasting (HDTV), and the like. It is mainly concerned with MPEG-1,2 and H.261 encoding algorithms for high bit rate encoding, which mainly consider only the statistical characteristics of block-by-block motion in the image, which has already been completed by the standard.

한편, 최근들어 PC의 성능 향상과 보급 확산, 디지탈 전송기술의 발전, 고화질 디스플레이 장치의 실현, 메모리 디바이스의 발달 등으로 가전제품을 비롯한 각종 기기들이 방대한 데이타를 가진 영상 정보를 처리하고 제공할 수 있는 기술중심으로 재편되고 있는 실정이며, 이러한 요구를 충족시키기 위하여 비트레이트가 kbps급인 기존의 저속 전송로(PSTN, LAN, 이동 네트워크 등)를 통한 오디오-비디오 데이타의 전송과 한정된 용량의 저장장치로의 저장을 위해 고압축율을 가진 새로운 부호화 기술을 필요로 한다.On the other hand, in recent years, due to the improvement and spread of PC performance, the development of digital transmission technology, the realization of high-definition display device, the development of memory device, various devices such as home appliances can process and provide image information with huge data. In order to meet this demand, the transmission of audio-video data through the existing low-speed transmission path (PSTN, LAN, mobile network, etc.) and the limited capacity storage device to meet these demands. New storage techniques with high compression rates are needed for storage.

그러나, 상술한 바와같은 기존의 동영상 부호화기법들은 이동 물체의 모양과 전역 움직임(global motion)등과는 관계없이 전체 영상에서 지역적인 블럭움직임에 근거하고 있다. 따라서, 기존의 동영상 부호화기법(MC-DCT을 이용한 하이브리드 부호화 시스템)들은 저전송율에서 블럭별 이동 보상 부호화를 적용하는 경우 블럭화 현상, 모서리 떨림 현상, 반점 현상 등과 같은 화질 저하가 최종 복원되는 재생 영상에 나타나게 된다. 또한, 저전송율의 영상 전송을 위해 해상도를 유지하려면 영상데이타의 고 압축율이 필요한데, 대략 40:1 정도의 압축율을 갖는 기존의 DCT 변환에 기초한 부호화기법으로는 그 구현이 불가능하다.However, the existing video encoding techniques as described above are based on local block motion in the entire image regardless of the shape of the moving object and the global motion. Therefore, the existing video coding techniques (hybrid coding systems using MC-DCT) are applied to the playback image where the deterioration of image quality such as blocking, corner blur, and spot phenomenon is finally restored when applying block-by-block motion compensation coding at a low data rate. Will appear. In addition, in order to maintain the resolution for low data transmission, high compression ratio of image data is required, which cannot be implemented by an existing DCT transform based coding scheme having a compression ratio of about 40: 1.

따라서, 기존의 DCT 변환에 기초한 부호화기법에 비해 대략 4:1 정도의 추가 압축 실현을 위한 부호화기법의 표준이 필요한 실정이며, 이러한 시대적인 필요 욕구에 따라 최근 인간의 시각특성에 바탕을 두고 주관적 화질을 중요시하는 MPEG4의 표준안 제정을 위한 저전송율 동영상 부호화기법에 대한 연구가 도처에서 활발히 진행되고 있다.Therefore, there is a need for a coding method standard for realizing additional compression of about 4: 1, compared to the existing coding method based on the DCT transform, and subjective picture quality is based on recent human visual characteristics according to the needs of the times. The research on low bit rate video encoding technique for the development of MPEG4 standard, which focuses on the high quality, has been actively conducted everywhere.

이러한 필요 충족을 위해 현재 연구되고 있는 실현 가능한 유력한 저전송율 동영상 부호화 기법들로서는, 예를들면, 기존의 부호화기법을 향상시키고자 하는 파형 기반 부호화(Wave-Based Coding), 모델 기반 부호화(Model-Based Coding)의 일종에 속하는 물체별 부호화(Object-Based Coding), 영상을 복수개의 부블럭으로 분할하여 부호화하는 분할 기반 부호화(Segmentation-Based Coding), 영상의 자기 유사성을 이용하는 프렉탈 부호화(Fractal Coding) 등이 있다.In order to meet these needs, potential viable low bit rate video coding techniques are currently being studied, such as Wave-Based Coding and Model-Based Coding to improve existing coding techniques. Object-Based Coding, a kind of coding, Segmentation-Based Coding that divides and encodes an image into a plurality of subblocks, and Fractal Coding that uses self-similarity of an image. There is this.

이 기술분야에 잘 알려진 바와 같이, 물체별 부호화는 화소의 값이 비슷한 영역으로 영상을 구분한 후(일예로서 물체와 배경 등), 그 경계를 나타내는 윤곽선과 해당 영역(물체)의 내용정보를 따로 부호화하는 방법이다. 여기에서, 물체의 윤곽선 검출은, 이 기술분야에 잘 알려진 바와같이, 원영상의 밝기분포를 이용하여 에지를 검출함으로서 이루어진다. 그런데, 윤곽선과 내용정보는 그 성질이 전혀 다른 정보이므로 그 부호화방법이 서로 독립적이다. 따라서, 부호화시에 윤곽선과 그 밝기 정보는 각각 분리되어 부호화된 다음 멀티플렉서를 통해 다중화되어 전송된다.As is well known in the art, object-by-object coding divides an image into regions with similar pixel values (for example, objects and backgrounds), and then separates the contours representing the boundaries and the content information of the region (object). It is a method of encoding. Here, contour detection of an object is achieved by detecting edges using the brightness distribution of the original image, as is well known in the art. However, since the contour and the content information are completely different information, their encoding methods are independent of each other. Therefore, at the time of encoding, the contour and its brightness information are separated and encoded, and then multiplexed and transmitted through a multiplexer.

한편, 전술한 바와같은 MC-DCT를 이용한 하이브리드 부호화기법을 채용하는 부호화 시스템 및 복호화 시스템이나 인간의 시각특성에 바탕을 두고 주관적 화질을 중요시하는 MPEG4 관련 저전송율 부호화기법을 채용하는 부호화 시스템 및 복호화 시스템의 경우, 각 관련회사(개발사의 연구소 등)의 연구원들은 시스템의 개발초기 및 기본개발 완료후의 개량 시점에서 수많은 시뮬레이션 등을 통해 영상 데이타의 소망하는 부호화율, 부호화 정도 등의 각종 테스트를 실행하고, 또한 압축 부호화된 영상을 원신호로 복원하는 과정 등에 대한 각종 테스트(예를들면, 복원 영상의 화질 평가 등)를 실행하고 있다. 여기에서 본 발명은 이러한 시뮬레이션중 특히 압축 부호화된 영상을 원신호로 복원하여 나타나는 재생 영상의 화질을 평가하는 시스템의 개선에 관련된다.On the other hand, the coding system and decoding system employing the hybrid coding technique using the MC-DCT as described above, or the coding system and decoding system employing the MPEG-4 related low rate coding technique that emphasizes subjective picture quality based on human visual characteristics. In this case, the researchers of each affiliated company (developer's research institute, etc.) conduct various tests such as the desired coding rate and coding degree of the image data through numerous simulations at the initial stage of system development and improvement after completion of basic development. In addition, various tests (e.g., image quality evaluation of the reconstructed image) are executed for the process of reconstructing the compressed-coded image to the original signal. Herein, the present invention relates to the improvement of a system for evaluating the image quality of a reproduced image, which is obtained by reconstructing a compression-coded image into an original signal, in particular during such simulation.

통상적인 재생 영상의 화질 평가 방법의 경우, 복원된 재생 영상의 화질 평가는 부호화되기 이전의 원영상과 복원된 재생 영상간의 전체적인 피크 신호 대 잡음비(PSNR)의 비교를 통해 수행되고 있다. 다시말해, 각종 부호화기법을 통해 압축 부호화된 영상을 복호화 시스템을 통해 부호화되기 이전의 원신호로 복원한 다음, 이 복원된 재생 영상과 원영상간의 PSNR을 구하여 그 결과값과 기설정된 소정값과의 비교를 통해 복원된 재생 영상의 화질을 평가, 즉 PSNR의 결과값이 기설정 값을 초과하는 지의 여부에 따라 연구원은 해당 재생 영상의 화질을 평가할 수가 있게 될 것이다. 이때, 기설정되는 소정값은 부호화기법이 적용되는 분야, 예를들면 MC-DCT 이용 하이브리드 부호화 기법이 적용되는 분야 또는 저전송율 부호화기법 등이 적용되는 분야, 에 따라 연구원이 가변적으로 설정할 수 있을 것이다. 일예로서, 본 발명의 발명자는 저전송율 부호화기법을 통해 압축 부호화된 영상에 대한 복원된 재생 영상의 화질 평가시에, 재생 영상과 원영상간의 PSNR에 대한 기준값(기설정값)을 25dB 정도로 설정하여 시뮬레이션을 수행하였다.In the conventional method of evaluating the image quality of a reproduced image, the image quality evaluation of the reconstructed reproduced image is performed by comparing the overall peak signal-to-noise ratio (PSNR) between the original image and the reconstructed reproduced image before encoding. In other words, the compression-encoded video is reconstructed into the original signal before being coded by the decoding system, and then the PSNR between the reconstructed reproduced video and the original video is obtained. The researcher will be able to evaluate the image quality of the reconstructed playback image based on the evaluation of the image quality of the reconstructed playback image, that is, whether the PSNR result exceeds the preset value. In this case, the predetermined value may be variably set by the researcher according to a field to which a coding technique is applied, for example, a field to which a hybrid coding technique using MC-DCT is applied or a field to which a low bit rate coding technique is applied. . As an example, the inventor of the present invention sets a reference value (preset value) of the PSNR between the reproduced video and the original video at about 25 dB during the evaluation of the image quality of the reconstructed reproduced video for the compression-coded video by using a low bit rate encoding technique. The simulation was performed.

따라서, 상술한 바와같은 영상의 화질 평가 시스템은 소망하는 영상의 부호화 효율 개선 또는 복호화 효율 개선 등에 효과적으로 이용될 수 있을 것이다.Therefore, the image quality evaluation system as described above may be effectively used for improving the coding efficiency or decoding efficiency of a desired video.

한편, 상술한 바와같이 원영상과 복원된 재생 영상간의 전체적인 PSNR을 이용하여 재생 영상의 화질을 평가하는 전형적인 종래방법은, 인간의 시각특성을 고려하지 않고 전체 영상에 대한 PSNR에 근거하여 재생 영상의 화질을 평가, 즉 인간의 시각특성에 매우 둔감할 뿐만 아니라 그 내용이 매우 복잡하여 통계적 특성의 분석이 매우 어려운 텍스쳐 정보, 예를들면 제5도에 도시된 바와같은 영상에서 사선으로 채워져 참조부호 (b)로서 표시된 부분, 까지도 모두 포함시킴으로서, 재생 영상의 화질 평가에 대한 신뢰도 및 정밀도가 떨어진다는 문제가 있다. 다시말해, 대부분의 텍스쳐 정보는 에지 또는 윤곽선 등에 포함되는 내용정보(질감 정보), 즉 나무숲의 결 등, 는 매우 복잡한 부분인 것으로, 이러한 복잡한 텍스쳐 정보들은 통계적인 모델에 의하여 묘사할 수 있는 통계적 특성이 매우 어렵다는 단점이 있다.On the other hand, as described above, a typical conventional method of evaluating the image quality of a reproduced image using the overall PSNR between the original image and the reconstructed reproduced image is based on the PSNR of the entire image without considering human visual characteristics. In addition to evaluating image quality, i.e., it is very insensitive to human visual characteristics and its contents are so complex that it is difficult to analyze statistical characteristics, for example, it is filled with diagonal lines in the image as shown in FIG. By including all of the parts indicated by b), there is a problem in that the reliability and precision of image quality evaluation of the reproduced video are inferior. In other words, most of the texture information is a very complex part of the content information (texture information) included in edges or contours, that is, the texture of the tree forest, and such complex texture information can be described by a statistical model. The disadvantage is that the characteristics are very difficult.

따라서, 본 발명은 상술한 바와같은 종래기술의 문제점을 해결하기 위한 것으로, 원영상과 복원된 재생 영상간의 재생 영상간의 피크 신호 대 잡음비를 이용하여 상기 복원된 재생 영상의 화질 상태를 평가하는 데 이용가능한 텍스쳐 영역을 판단할 수 있는 장치를 제공하는 데 그 목적이 있다.Accordingly, the present invention solves the problems of the prior art as described above, and is used to evaluate the image quality state of the reconstructed reproduced image using the peak signal-to-noise ratio between the reproduced image between the original image and the reconstructed reproduced image. It is an object of the present invention to provide a device capable of determining possible texture areas.

본 발명의 다른 목적은 상기 텍스쳐 영역 판단장치의 이용이 가능하며, 인간의 시각특성을 고려하여 원영상과 복원된 재생 영상간의 강한 에지부분에서의 신호대 잡음비 레벨을 이용하여 복원된 재생 영상의 화질을 고정밀하게 평가할 수 있는 복원 영상의 화질 평가 시스템을 제공하는 데 있다.Another object of the present invention is to use the texture region determination device, and to consider the visual characteristics of the human being, using the signal-to-noise ratio level at the strong edge between the original image and the reconstructed reproduced image, The present invention provides a system for evaluating image quality of reconstructed images that can be accurately evaluated.

상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 부호화하지 않은 원영상과 복원된 재생 영상간의 피크 신호 대 잡음비를 이용하여 상기 복원된 재생 영상의 화질 상태를 평가하는 시스템에서의 텍스쳐 영역 판단장치에 있어서, 상기 원영상 또는 복원된 재생 영상을 NN의 서브블럭으로 분할하는 영상 분할 블럭; 상기 분할된 NN의 서브블럭들에 대한 시간영역의 영상신호를 코사인함수를 이용하여 NN의 주파수영역의 DCT 변환계수값으로 변환하기 위한 DCT 블럭; 상기 NN의 각 DCT 변환계수 블럭에 대해 저주파 마스크를 이용하여 가장 낮은 주파수 부분에 분포한 N개의 변환계수를 제거하는 저역 계수 제거수단; 상기 NN의 DCT 변환계수 블럭에서 제거된 상기 N개의 변환계수를 제외한 나머지 변환계수들의 절대총합값과 기설정된 임계값(Th1)을 비교하여 그 비교결과에 상응하는 출력신호를 발생하는 비교기; 상기 NN의 각 DCT 변환계수 블럭에 대해 다수 방향으로의 투사를 통해 N개의 1차원 데이타를 생성하며, 생성된 각 1차원 데이타에 속하는 각 N개의 방향성 계수값들에 대한 평균값들을 각각 산출하고, 산출된 각 평균값들간의 차값들을 산출하는 수단; 상기 산출된 각 차값들과 기설정된 임계값(Th2)을 비교하여 상기 각 차값들중 상기 임계값(Th2)보다 큰 차값이 있는지의 여부를 체크함으로서, 상기 NN의 각 DCT 변환계수 블럭에 대한 방향성 에지 성분을 검출하는 방향성 에지 검출수단; 및 상기 비교기로 부터의 출력 제어신호와 상기 방향성 에지 검출수단으로 부터의 방향성 에지 검출신호에 의거하여 상기 화질평가 시스템에 상기 NN의 각 DCT 변환계수 블럭에 대한 텍스쳐 영역 판단정보를 제공하는 판단정보 발생수단으로 이루어진 화질 평가 시스템에서의 텍스쳐 영역판단장치를 제공한다.In accordance with an aspect of the present invention, there is provided an apparatus for determining a texture area in a system for evaluating a picture quality state of a reconstructed reproduced image by using a peak signal-to-noise ratio between an uncoded original image and a reconstructed reproduced image. N, wherein the original video or the restored playback video An image segmentation block divided into N subblocks; The divided N N-time image signal of N subblocks using cosine function A DCT block for converting to a DCT transform coefficient value in a frequency domain of N; N above Low-pass coefficient removing means for removing N transform coefficients distributed in the lowest frequency portion using a low-frequency mask for each DCT transform coefficient block of N; N above A comparator for comparing an absolute total value of the remaining transform coefficients except the N transform coefficients removed from the DCT transform coefficient block of N with a preset threshold Th1 to generate an output signal corresponding to the comparison result; N above For each DCT transform coefficient block of N, N one-dimensional data is generated through projection in multiple directions, and average values for each N directional coefficient values belonging to each generated one-dimensional data are respectively calculated. Means for calculating difference values between respective average values; By comparing the calculated difference values with a predetermined threshold value Th2 and checking whether there is a difference value larger than the threshold value Th2 among the difference values, the N Directional edge detection means for detecting a directional edge component for each DCT transform coefficient block of N; And N in the image quality evaluation system based on the output control signal from the comparator and the directional edge detection signal from the directional edge detection means. A texture area determining apparatus in a picture quality evaluation system comprising decision information generating means for providing texture area decision information for each DCT transform coefficient block of N is provided.

상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 부호화하지 않은 원영상과 복원된 재생 영상간의 피크 신호 대 잡음비를 이용하여 상기 복원된 재생영상의 화질 상태를 평가하는 시스템에 있어서, 상기 원영상을 NN의 서브블럭으로 분할한 다음 분할된 각 서브블럭 단위로 텍스쳐 영역인지의 여부를 검출하여 그 검출결과에 상응하는 판단정보를 생성하는 텍스쳐 영역 판단 블럭; 상기 텍스쳐 영역 판단정보에 따라 상기 분할된 NN의 서브블럭에 대응하는 NN 마스크를 이용한 마스킹을 통해 상기 원영상에서 상기 텍스쳐 영역을 제거하는 제1 마스킹 블럭; 상기 텍스쳐 영역이 제거된 원영상의 픽셀값들의 평균값을 산출하며, 상기 텍스쳐 영역이 제거된 원영상을 이루는 각 픽셀값들을 상기 산출된 평균 픽셀값 만큼 각각 감산하여 상기 텍스쳐 영역이 제거된 새로운 원영상을 생성하는 제1수단; 상기 텍스쳐 영역 판단정보에 따라 상기 NN 마스크에 대응하는 다른 NN 마스크를 이용한 마스킹을 통해 상기 복원된 재생 영상에서 상기 텍스쳐 영역을 제거하는 제2 마스킹 블럭; 상기 텍스쳐 영역이 제거된 복원된 재생 영상의 픽셀값들의 평균값을 산출하며, 상기 텍스쳐 영역이 제거된 복원된 재생 영상을 이루는 각 픽셀값들을 상기 산출된 평균 픽셀값 만큼 각각 감산하여 상기 텍스쳐 영역이 제거된 새로운 복원된 재생 영상을 생성하는 제2수단; 상기 텍스쳐 영역이 제거된 새로운 원영상의 피크 신호 대 잡음비와 상기 텍스쳐 영역이 제거된 새로운 복원된 재생 영상의 피크 신호 대 잡음비를 각각 산출하며, 산출된 각 피크 신호 대 자음비간의 차값을 산출하는 피크 신호 대 잡음비 산출 블럭; 및 상기 산출된 각 피크 신호 대 잡음비간의 차값과 기설정된 임계값(Th3)을 비교하며, 그 비교결과에 상응하여 상기 복원된 재생 영상의 화질 상태 평가를 위한 결과신호를 발생하는 비교기로 이루어진 복원 영상의 화질 평가 시스템을 제공한다.According to another aspect of the present invention, there is provided a system for evaluating an image quality state of a reconstructed reproduced image by using a peak signal-to-noise ratio between an unencoded original image and a reconstructed reproduced image. N A texture region determination block which divides into subblocks of N and then detects whether or not the texture region is divided in units of the divided subblocks and generates determination information corresponding to the detection result; The divided N according to the texture area determination information N corresponding to N subblock A first masking block to remove the texture area from the original image by masking using an N mask; Compute an average value of pixel values of the original image from which the texture area is removed, and subtract each pixel value of the original image from which the texture area is removed by the calculated average pixel value, respectively, to remove the texture area. First means for generating a; The N according to the texture area determination information Another N corresponding to N mask A second masking block for removing the texture area from the reconstructed reproduced image by masking using an N mask; Calculating an average value of pixel values of the reconstructed reproduced image from which the texture region is removed, and subtracting each pixel value of the reconstructed reproduced image from which the texture region is removed by the calculated average pixel value, respectively, to remove the texture region; Second means for generating a new restored restored image; A peak signal-to-noise ratio of the new original image from which the texture region has been removed and a peak signal-to-noise ratio of the new reconstructed reproduced image from which the texture region is removed, respectively, and a peak that calculates a difference between the calculated peak signal-to-consonant ratios; A signal-to-noise ratio calculation block; And a comparator configured to compare the difference between the calculated peak signal-to-noise ratios and a preset threshold Th3, and generate a result signal for evaluating an image quality state of the reconstructed reproduced image corresponding to the comparison result. Provide a picture quality evaluation system.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

먼저, 본 발명에서 구현하고자 하는 것은 인간의 시각특성에 비교적 둔감한 텍스쳐 정보를 제외시키고 영상의 주요한 표시정보중의 하나인 강한 에지 부분에서의 PSNR 정보만을 가지고 원영상과 복원된 재생 영상간의 화질을 평가, 즉 부호화된 영상을 복원하여 얻은 재생 영상의 왜곡정도를 평가한다는 것이다.First of all, the present invention implements the image quality between the original image and the reconstructed reproduced image by excluding texture information relatively insensitive to human visual characteristics and having only PSNR information in the strong edge portion, which is one of the main display information of the image. Evaluation, that is, the distortion degree of the reproduced image obtained by reconstructing the encoded image is evaluated.

따라서, 본 발명은 이와같이 강한 에지 부분에서의 PSNR 정보만을 참조하여 복원된 재생 영상의 왜곡정도를 평가하도록 하는 기술수단을 채용함으로서, 전술한 종래방법에 따른 화질 평가시에 대부분이 매우 복잡한 부분으로 된 텍스쳐 정보들로 인해 야기되던 고정밀한 화질 평가 및 신뢰도의 저하를 현저하게 개선할 수가 있다. 특히, 이와같이 복원 영상의 화질 평가에 강한 에지 성분을 이용하는 본 발명은 MC-DCT를 채용한 하이브리드 부호화기법으로 부호화된 영상보다는 물체 기반 부호화기법등의 저전송율 영상 부호화기법을 통해 부호화한 영상에 매우 우수한 화질 평가 특성을 제공할 것이다.Accordingly, the present invention employs a technical means for evaluating the distortion degree of the reconstructed reproduced image by referring to only PSNR information in the strong edge portion, so that most of the above-described conventional methods are very complicated at the time of image quality evaluation. It is possible to remarkably improve the accurate image quality evaluation and the degradation of reliability caused by the texture information. In particular, the present invention using the edge component strong in image quality evaluation of the reconstructed image is superior to the image coded by the low-rate image coding technique such as object-based encoding technique rather than the image coded by the hybrid coding technique employing the MC-DCT. It will provide picture quality evaluation characteristics.

제1도는 본 발명의 바람직한 실시예에 따른 복원 영상의 화질 평가 시스템에 대한 블럭구성도를 나타낸다. 동도면에 도시된 바와같이, 본 발명의 화질 평가 시스템은, 부호화하지 않은 원영상을 신호 처리하는 경로를 이루는 텍스쳐 영역 판단 블럭(101), 제1 마스킹 블럭(103), 제1평균값 산출 블럭(105), 제1감산기(107)와 압축 부호화된 영상을 복원하여 얻은 재생 영상을 신호 처리하는 경로를 이루는 저역 통과 필터(LPF)(102), 제2마스킹 블럭(104), 제2평균값 산출 블럭(106), 제2감산기(108), 두 감산기(107,108)의 출력측에 연결된 PSNR 산출 블럭(110)과 비교기(120)를 포함한다.1 is a block diagram of a system for evaluating image quality of a reconstructed image according to an exemplary embodiment of the present invention. As shown in the drawing, the image quality evaluation system of the present invention includes a texture region determination block 101, a first masking block 103, and a first average value calculating block constituting a path for signal processing an unencoded original image. 105, a low pass filter (LPF) 102, a second masking block 104, and a second average value calculating block forming a path for signal-processing the reproduced video obtained by reconstructing the compressed coded video with the first subtractor 107. 106, a second subtractor 108, a PSNR calculation block 110 and a comparator 120 connected to the output side of the two subtractors 107, 108.

제1도에 있어서, 텍스쳐 영역 판단 블럭(101)에서는 입력측으로 부터 제공되는 원영상에서 인간의 시각특성에 매우 둔감한 영역, 즉 그 통계적 특성이 매우 복잡하여 분석이 매우 어려운 영역을 검출하는 것으로, 원영상에서 텍스쳐 영역을 판단하는 세부적인 동작과정에 대해서는 그의 세부적인 내부구성을 도시한 제2도를 참조하여 하기에 상세하게 기술한다.In FIG. 1, the texture region determination block 101 detects an area which is very insensitive to human visual characteristics, that is, a statistical characteristic that is very complex and difficult to analyze in the original image provided from the input side. The detailed operation process of determining the texture region in the original image will be described in detail below with reference to FIG. 2 showing the detailed internal structure thereof.

즉, 제2도는 상기한 텍스쳐 영역 판단 블럭(101)의 세부적인 블럭구성도로서, 동도면에 도시된 바와같이, 텍스쳐 영역 판단 블럭(101)은 분할 블럭(1011), DCT블럭(1012), 저주파 마스킹 블럭(1013), 가산기(1014), 제1비교기(1015), 방향성 투사 블럭(1016), 평균값 산출 블럭(1017), 제2비교기(1018) 및 앤드 게이트(1019)를 포함한다.That is, FIG. 2 is a detailed block diagram of the texture region determination block 101 described above. As shown in the drawing, the texture region determination block 101 includes a partition block 1011, a DCT block 1012, A low frequency masking block 1013, an adder 1014, a first comparator 1015, a directional projection block 1016, an average value calculation block 1017, a second comparator 1018 and an end gate 1019.

제2도를 참조하면, 분할 블럭(1011)은 라인(L11)을 통해 입력되는 부호화되지 않은 원영상신호를 NN의 서브블럭(예를들면, 44의 서브블럭)으로 분할하며, 이와같이 분할된 NN의 서브블럭들은 다음단의 DCT 블럭(1012)에 제공된다. 이때, 원영상의 서브블럭 분할은, 텍스쳐 영역을 제거하는 데 사용되는 마스크의 크기에 따라 88 또는 1616 등의 블럭으로 분할할 수도 있으나 전체 영상에서의 텍스쳐 영역의 탐색효율등을 고려해 볼 때 44의 서브블럭으로 분할하는 것이 가장 바람직하다.Referring to FIG. 2, the splitting block 1011 receives N uncoded original video signals inputted through line L11. A subblock of N (eg 4 N subdivided into four subblocks) The N subblocks are provided in the next DCT block 1012. In this case, subblock segmentation of the original image is performed according to the size of the mask used to remove the texture area. 8 or 16 It can be divided into blocks such as 16, but considering the search efficiency of the texture area in the whole image 4 It is most preferable to divide into four subblocks.

한편, DCT 블럭(1012)에서는 상기한 분할 블럭(1011)으로 부터 제공되는 NN 서브블럭 단위의 시간영역의 영상신호(화소 데이타)를 코사인함수를 이용하여 NN 서브블럭 단위의 주파수영역의 DCT 변환계수로 변환한다. 그런다음, 이와같이 NN 서브블럭 단위로 변환된 DCT 변환계수들은 라인(L22)을 통해 저주파 마스킹 블럭(1013)과 방향성 투사 블럭(1016)으로 각각 제공된다.On the other hand, in the DCT block 1012, N provided from the above-described partition block 1011. A video signal (pixel data) in a time domain in units of N subblocks is obtained by using a cosine function. Convert to DCT conversion coefficients in the frequency domain in units of N subblocks. Then, in this way N The DCT transform coefficients converted in units of N subblocks are provided to the low frequency masking block 1013 and the directional projection block 1016 through the line L22, respectively.

이때, DCT 블럭(1012) NN 서브블럭에서 출력되는 해당 NN 서브블럭이 텍스쳐 영역인 경우 공간적 주파수가 높기 때문에 높은 주파수 부분에 계수들이 많이 분포하게 될 것이다. 따라서, 저주파 마스킹 블럭(1013)에서는 낮은 주파수 부분을 제외하고 높은 주파수 부분에 계수들이 얼마나 분포하고 있는지를 조사하기 위하여 제3도 (a)가 도시된 마스크를 이용하여 해당 NN 서브블럭에 대한 마스킹을 수행하며, 그 결과, 제3도 (b)에서 빗금으로 표시된 바와같이 낮은 주파수 부분에 분포한 계수(3개의 변환계수)들이 제거될 것이다.At this time, DCT block 1012 N The corresponding N output from the N subblock If the N subblock is a texture region, the spatial frequency is high, so the coefficients will be distributed in the high frequency part. Accordingly, in the low frequency masking block 1013, to examine how the coefficients are distributed in the high frequency portion except for the low frequency portion, a corresponding N is used by using the mask shown in FIG. Masking is performed on the N subblocks, and as a result, coefficients (three transform coefficients) distributed in the low frequency portion as indicated by hatching in FIG. 3 (b) will be removed.

다음에, 가산기(1014)에서는 상기한 바와같이 낮은 주파수 부분의 3개의 계수들을 제외한 나머지 계수값들을 모두 가산하여 절대총합값을 산출하며, 이와같이 산출된 절대총합값은 다음단의 제1 비교기(1015)에 제공된다. 따라서, 제1비교기(1015)에서는 가산기(1014)로 부터 제공되는 절대총합값과 기설정된 임계값(Th1)을 비교하며, 그 비교결과에 상응하는 출력신호를 발생하여 앤드 게이트(1019)의 일측단자에 제공한다. 즉, 제1비교기(1015)는 절대총합값이 기설정된 임계값(Th1)보다 크면 논리 1의 출력신호를 발생하고, 이와 반대로 기설정된 임계값(Th1)보다 작으면 논리 0의 출력신호를 발생한다.Next, the adder 1014 adds all the coefficient values except for the three coefficients of the low frequency portion to calculate an absolute total value, and the absolute total value thus calculated is the first comparator 1015 of the next stage. Is provided. Accordingly, the first comparator 1015 compares the absolute total value provided from the adder 1014 with a predetermined threshold Th1, and generates an output signal corresponding to the comparison result to generate one side of the AND gate 1019. To the terminal. That is, the first comparator 1015 generates an output signal of logic 1 when the absolute total value is greater than the preset threshold Th1 and, on the contrary, generates an output signal of logic 0 when it is smaller than the preset threshold Th1. do.

다른한편, 방향성 투사 블럭(1016)에서는 라인(L22)을 통해 전술한 DCT 블럭으로부터 입력되는 NN의 각 서브블럭에 대하여, 예를들면 제4도 (b)에 각각 도시된 바와같이, 4방향으로 투사시켜 4개의 1차원 데이타(변환계수값)을 생성하여 평균값 산출 블럭(1017)에 제공한다. 즉, 방향성 투사 블럭(1016)은, 제4도 (b)의 (a)에 도시된 바와같이 수평 방향의 투사를 통해 제1의 1차원 데이터(제4도 (a)의 계수 a1, a2, a3, a4)를 생성하고, 제4도 (b)의 (b)에 도시된 바와같이 수직방향의 투사를 통해 제2의 1차원 데이터(제4도 (a)의 계수 a1, a5, a9, a13)를 생성하며, 제4도 (b)의 (c)에 도시된 바와같이 대각선 방향의 투사를 통해 제3의 1차원 데이터(제4도 (a)의 계수 a1, a6, a11, a16)를 생성하고, 제4도(b)의 (d)에 도시된 바와같이 다른 대각선 방향의 투사를 통해 제4의 1차원 데이터(제4도 (a)의 계수 a4, a7, a10, a13)를 생성한다.On the other hand, in the directional projection block 1016, N input from the above-described DCT block via line L22. For each sub-block of N, for example, as shown in FIG. 4 (b), respectively, four projections are generated in four directions to provide the average value calculation block 1017. do. That is, the directional projection block 1016 has the first one-dimensional data (coefficients a1, a2, 4, 4) through the projection in the horizontal direction as shown in (a) of FIG. 4 (b). a3, a4), and the second one-dimensional data (coefficients a1, a5, a9, a9, through the projection in the vertical direction as shown in (b) of FIG. 4 (b)). a13), and the third one-dimensional data (coefficients a1, a6, a11, a16 of FIG. 4 (a)) through diagonal projection as shown in (c) of FIG. 4 (b). Then, the fourth one-dimensional data (coefficients a4, a7, a10, a13 of FIG. 4 (a)) are generated by projecting in a different diagonal direction as shown in (d) of FIG. 4 (b). Create

다음에, 평균값 산출 블럭(1017)에서는 4개의 1차원 데이타에 대한 변화정도를 산출한다. 즉, 각각의 1차원 데이타에 속하는 각 4개의 계수값들에 대한 평균갑들을 각각 산출하여 다음단의 제2 비교기(1018)에 제공한다.Next, the average value calculation block 1017 calculates the degree of change for the four one-dimensional data. That is, the average values for each of the four coefficient values belonging to each one-dimensional data are respectively calculated and provided to the second comparator 1018 of the next stage.

한편, 제2 비교기(1018)에서는 상기한 평균값 산출 블럭(1017)으로 부터 제공되는 각 평균값들간의 차값(변화정도)들중 기설정된 임계값(Th2)보다 큰 차값이 있는지의 여부를 체크한다. 다시말해, 제2 비교기(1018)는 각 평균값들간의 차값들과 기설정된 임계값(Th2)을 각각 비교하며, 그 비교결과에 상응하는 출력신호를 발생하여 앤드 게이트(1019)의 타측단자에 제공한다. 즉, 제2 비교기(1018)는 각 평균 값들간의 차값들중 어느 하나라도 기설정된 임계값(Th2)보다 크면 논리 0의 출력신호를 발생하고, 이와 반대로 기설정된 임계값(Th2)보다 큰 것이 없으면 논리 1의 출력신호를 발생한다.On the other hand, the second comparator 1018 checks whether there is a difference value larger than the predetermined threshold value Th2 among the difference values (degrees of change) between the average values provided from the above average value calculation block 1017. In other words, the second comparator 1018 compares the difference values between the average values and the preset threshold value Th2, respectively, and generates an output signal corresponding to the comparison result, and provides it to the other terminal of the AND gate 1019. do. That is, the second comparator 1018 generates an output signal of logic 0 when any one of the difference values between the average values is larger than the preset threshold Th2, and conversely, the second comparator 1018 is larger than the preset threshold Th2. If not present, it generates an output signal of logic 1.

상술한 바와같이, NN의 각 서브블럭들에 대하여 4 방향으로 투사하여 얻어지는 4개의 1차원 데이타간의 평균값들간의 차값 비교를 수행하는 이유는 각 서브블럭이 텍스쳐 영역이 아닌 경우 높은 주파수 성분이 상술한 가산기(1014)에서의 절대총합값을 넘을 수 없기 때문에 이를 체크하여 넘는 서브블럭들에 대해서는 방향성의 강한 에지가 있다고 판단하기 위해서이다. 따라서, 이러한 서브블럭(방향성의 강한 에지를 갖는 서브블럭)은 텍스쳐 영역으로 결정되지 않게 되는 것이다.As mentioned above, N The reason for performing the difference value comparison between the average values of the four one-dimensional data obtained by projecting in four directions with respect to each subblock of N is that the high frequency component in the adder 1014 described above is used when each subblock is not a texture area. This is to check that there is a strong directional edge for the oversubblocks because it cannot exceed the absolute sum of. Thus, such subblocks (subblocks having strong directional edges) are not determined as texture regions.

따라서, 앤드 게이트(1019)는 상술한 바와같이 두개의 비교기(1015, 1018)로 부터 제공되는 논리신호에 의거하여 각 서브블럭이 텍스쳐 영역인지 아닌지의 여부에 대한 판정신호, 예를들면 해당 서브블럭이 텍스쳐 영역일 때 1의 논리신호를, 해당 서브블럭이 텍스쳐 영역이 아닐 때 0의 논리신호를 라인(L13)을 통해 제1도의 각 마스킹 블럭(103,104)에 각각 제공한다.Thus, the AND gate 1019 determines whether or not each subblock is a texture area based on logic signals provided from the two comparators 1015 and 1018 as described above, for example, the corresponding subblock. A logic signal of 1 is provided to the masking blocks 103 and 104 of FIG. 1 through a line L13 when a logic signal of 1 is used in this texture area and a logic signal of 0 when the corresponding subblock is not a texture area.

이상 설명한 바와같은 과정을 통해, 제1도의 텍스쳐 영역 판단 블럭(101)에서는 NN의 각 서브블럭이 텍스쳐 영역인지의 여부에 대한 판정신호를 라인(L13)을 통해 제1 및 제2 마스킹 블록(103,104)에 각각 제공한다.Through the process as described above, in the texture area determination block 101 of FIG. A determination signal as to whether each subblock of N is a texture area is provided to the first and second masking blocks 103 and 104 via the line L13, respectively.

다시 제1도를 참조하면, 제1마스킹 블럭(103)은 상술한 바와같은 텍스쳐 영역 판단 블럭(101)으로부터의 판정신호에 따라 제2도의 분할 블럭(1011)에서 분할되는 NN의 서브블럭에 대응하는 NN 마스크를 이용하여 라인(L11)상의 원영상신호에서 텍스쳐 영역으로 판단된 부분의 영상을 제거한다. 일예로서, 제5도에 도시된 바와같이, 입력 원영상에서의 텍스쳐 영역이 빗금이 채워져 참조부호(b)로서 표시된 바와 같다면, 이러한 텍스쳐 영역은 마스킹을 통해 제거될 것이다. 제5도에서 참조부호(a)는 에지 부분을 나타내고, (c)는 배경부분을 나타낸다. 즉, 본 발명에 따른 마스킹을 통해 원영상에서 인간의 시각에 매우 둔감한 부분인 테스쳐 영역(나무의 숲 또는 운동장에 움직한 관중 등)이 제거되고 그 배경과 고정밀한 화질 평가의 실현에 매우 유리한 강한 에지 성분만이 남게 될 것이다.Referring back to FIG. 1, the first masking block 103 is divided by N in the division block 1011 of FIG. 2 in accordance with the determination signal from the texture area determination block 101 as described above. N corresponding to N subblock The image of the portion determined as the texture area is removed from the original image signal on the line L11 using the N mask. As an example, as shown in FIG. 5, if the texture area in the input original image is hatched and indicated by reference numeral b, this texture area will be removed through masking. In FIG. 5, reference numeral a denotes an edge portion, and (c) denotes a background portion. That is, the masking according to the present invention removes the test area (a forest of a tree or a spectator moving on a playground), which is a very insensitive part of the human vision, and is very effective in realizing the background and high-quality image evaluation. Only advantageous strong edge components will remain.

한편, 라인(L12)상의 복원된 재생 영상신호는 저역 통과 필터(102)를 통해 필터링된 다음 제2 마스킹 블럭(104)에 제공된다. 여기에서, 복원된 재생 영상을 저역 필터링하는 이유는, 통상적으로 재생 영상은 부호화시의 양자화 등으로 인해 인간의 시각에 매우 거슬리게 보이는 많은 블럭 노이즈, 특히 영상의 평탄부에 나타나는 블럭 노이즈를 제거하기 위해서이다.On the other hand, the reconstructed reproduced video signal on the line L12 is filtered through the low pass filter 102 and then provided to the second masking block 104. Here, the reason for low-pass filtering the reconstructed reconstructed video is that the reconstructed video typically removes a lot of block noise that appears to be very annoying to human vision due to quantization during encoding, in particular, block noise that appears in the flat portion of the video. to be.

따라서, 제2 마스킹 블럭(104)에서는 라인(L13)을 통해 전술한 텍스쳐 영역판단 블럭(101)으로 부터 제공되는 판정신호에 의거하여 NN의 서브블럭에 대응하는 NN 마스크를 이용하여 라인(L12)상의 복원된 재생 영상신호에서 텍스쳐 영역으로 판단된 부분의 영상을 제거한다. 즉, 상술한 제1 마스킹 블럭(103)에서와 마찬가지로, 제5도에 도시된 바와같이, 입력되는 복원된 재생 영상에서의 텍스쳐 영역이 빗금으로 채워져 참조부호(b)로서 표시된 바와 같다면, 이러한 텍스쳐 영역은 마스킹을 통해 제거될 것이다.Accordingly, in the second masking block 104, N is based on the determination signal provided from the texture area determination block 101 described above via the line L13. N corresponding to N subblock An image of a portion determined as a texture area is removed from the reconstructed reproduced video signal on the line L12 using the N mask. That is, as in the above-described first masking block 103, as shown in FIG. 5, if the texture area in the inputted reconstructed reproduced image is filled with hatched and indicated by reference numeral b, The texture area will be removed by masking.

여기에서, 제2 마스킹 블럭이 전술한 텍스쳐 영역 판단 블럭(101)으로 부터의 텍스쳐 영역 판단정보를 마스킹에 그대로 적용하는 것은, 실질적으로 동일한 영상에 대한 원영상과 복원된 재생 영상은 에지 부분, 텍스쳐 영역 등이 실질적으로 거의 차가 없을 정도로 동일하다고 볼 수 있기 때문이다. 즉, 불필요한 하드웨어(복원된 재생 영상의 텍스쳐 영역을 판단하기 위한 하드웨어)의 추가를 방지하기 위해서라고 볼 수 있다. 또한, 상술한 제1 마스킹 블럭(103)에서와 마찬가지로 본 발명에 따른 마스킹을 통해 복원된 재생 영상에서 인간의 시각에 매우 둔감한 부분인 텍스쳐 영역(나무의 숲 또는 운동장에 움직한 관중 등)이 제거되고 그 배경과 고정밀한 화질 평가의 실현에 매우 유리한 강한 에지 성분만이 남게 될 것이다.Here, the second masking block applies the texture region determination information from the texture region determination block 101 as described above to the masking, so that the original image and the reconstructed reproduced image for the substantially same image are the edge portion, the texture. This is because the regions and the like can be regarded as being substantially the same with almost no difference. That is, it can be considered to prevent the addition of unnecessary hardware (hardware for determining the texture area of the restored reproduced video). In addition, as in the first masking block 103 described above, a texture region (a forest of a tree or a spectator moving on a playground), which is a very insensitive part of human vision, in the reproduced image restored through masking according to the present invention, Only a strong edge component will be left out, which is eliminated and very advantageous for its background and for the realization of high quality image evaluation.

한편, 상술한 바와같은 과정을 통해 텍스쳐 영역(제5도의 (b))이 제거된 원영상과 복원된 재생 영상은 제6도 (a)에 일예로서 도시한 바와같이, 명암도(brightness)의 차이가 날 수 있는 데, 본 발명에서는 고정밀한 화질 평가의 저해요인이 될 수 있는 명암도 의존성을 제거하기 위하여, 텍스쳐 영역이 제거된 각 영상(원영상 및 재생 영상)의 나머지 부분들에 대한 평균 픽셀값을 산출한 다음 각 픽셀값에서 평균 픽셀값을 뺀 영상(원영상 및 재생 영상)신호로 변환한다. 제6도 (a)에서 실선으로 표시된 부분은 원영상의 명암 그래프를 나타내고, 점선으로 표시된 부분은 복원된 재생 영상의 명암 그래프를 나타낸다.On the other hand, the original image from which the texture region (Fig. 5 (b)) is removed and the reconstructed reproduced image through the process as described above, as shown in Fig. 6 (a) as an example, the difference in brightness (brightness) In the present invention, an average pixel value of the remaining portions of each image (original image and reproduced image) from which the texture area is removed is removed in order to remove the contrast dependency, which may be a deterrent to high-quality image evaluation. Is calculated and then converted into an image (original and playback video) signal obtained by subtracting the average pixel value from each pixel value. In FIG. 6A, the portion indicated by the solid line represents the contrast graph of the original image, and the portion indicated by the dotted line represents the contrast graph of the restored playback image.

이를 위하여, 제1 마스킹 블럭(103)을 통해 텍스쳐 영역이 제거된 원영상(제5도의 (c)부분)은 제1 평균값 산출 블럭(105)에 제공되며, 제1 평균값 산출 블럭(105)에서는 텍스쳐 영역이 제거된 원영상에 대한 픽셀들의 평균값을 산출하여 제1 감산기(107)에 제공한다.To this end, the original image (part (c) of FIG. 5) from which the texture area is removed through the first masking block 103 is provided to the first average value calculating block 105, and the first average value calculating block 105 An average value of pixels of the original image from which the texture area is removed is calculated and provided to the first subtractor 107.

따라서, 제1 감산기(107)에서는 상술한 제1 마스킹 블럭(103)으로 부터 제공되는 텍스쳐 영역이 제거된 원영상의 각 픽셀값들에 대해 제1 평균값 산출 블럭(105)으로 부터의 평균 픽셀값을 각각 감산한 다음 라인(L15)을 통해 다음단의 PSNR 산출 블럭(110)에 제공한다.Therefore, in the first subtractor 107, the average pixel value from the first average value calculation block 105 for each pixel value of the original image from which the texture area provided from the first masking block 103 is removed. Are respectively subtracted and then provided to the next stage PSNR calculation block 110 through the line L15.

한편, 상기와 마찬가지로 제 2 마스킹 블럭(104)을 통해 텍스쳐 영역이 제거된 복원된 재생 영상(제5도의 (c)부분)은 제2 평균값 산출 블럭(106)에 제공되며, 제2 평균값 산출 블럭(106)에서는 텍스쳐 영역이 제거된 재생 영상에 대한 픽셀들의 평균값을 산출하여 제2 감산기(108)에 제공한다.On the other hand, as described above, the reconstructed reproduced image (part (c) of FIG. 5) in which the texture region is removed through the second masking block 104 is provided to the second average value calculating block 106, and the second average value calculating block In operation 106, an average value of pixels of the reproduced image from which the texture area is removed is calculated and provided to the second subtractor 108.

따라서, 제2 감산기(108)에서는 상술한 제2 마스킹 블럭(104)으로 부터 제공되는 텍스쳐 영역이 제거된 복원된 재생 영상의 각 픽셀값들에 대해 제2 평균값 산출 블럭(106)으로 부터의 평균 픽셀값을 각각 감산한 다음 라인(L14)을 통해 다음 단의 PSNR 산출 블럭(110)에 제공한다.Accordingly, in the second subtractor 108, the average from the second average value calculation block 106 is applied to the respective pixel values of the reconstructed reproduced image from which the texture area provided from the second masking block 104 described above is removed. Each pixel value is subtracted and then provided to the next stage PSNR calculation block 110 through the line L14.

예를들면, 제6도 (a)에 도시된 바와같이, 원영상과 복원된 재생 영상간에 발생 가능하며 고정밀한 화질 평가의 저해요인이 될 수 있는 명암도 차가 발생하더라도, 상술한 바와같은 과정을 통해 텍스쳐 영역이 제거된 부분의 픽셀값을 평균 픽셀값으로 감산해 주므로서, 제6도 (b)에 도시된 바와같이, 원영상과 복원된 재생 영상간의 명암도 차를 현저하게 줄일 수 있다. 그러므로, 본 발명은 복원된 재생 영상에 대한 고정밀한 화질 평가의 구현이 가능하게 되는 것이다. 제6도 (b)에서 실선으로 표시된 부분은 원영상의 명암 그래프를 나타내고, 점선으로 표시된 부분은 복원된 재생 영상의 명암 그래프를 나타낸다.For example, as shown in FIG. 6 (a), even if there is a difference in contrast that may occur between the original image and the reconstructed reproduced image, which may be a detrimental factor in the accurate image quality evaluation, through the above-described process By subtracting the pixel value of the portion where the texture area has been removed by the average pixel value, as shown in FIG. 6B, the difference in contrast between the original image and the reconstructed reproduced image can be significantly reduced. Therefore, the present invention enables the implementation of high-definition picture quality evaluation on the reconstructed reproduced video. In FIG. 6B, the portion indicated by the solid line represents the intensity graph of the original image, and the portion indicated by the dotted line represents the intensity graph of the reconstructed reproduced image.

다른한편, PSNR 산출 블럭(110)에서는 각각의 라인(L15) 및 (L14)을 통하여 제공되는 각각 명암도 의존성이 제거된 원영상과 복원된 재생 영상 각각의 피크 신호 대 잡음비(PSNR)을 구하고, 또한 구해된 각 PSNR(원영상의 PSNR과 재생 영상의 PSNR) 간의 차를 산출하며, 이와같이 산출된 각 PSNR 간의 차값은 다음단의 비교기(120)로 제공된다. 여기에서, PSNR의 단위는 이 기술분야에서 통상적으로 사용하는 dB(데시벨)이다.On the other hand, the PSNR calculation block 110 obtains the peak signal-to-noise ratio (PSNR) of each of the original image and the reconstructed reproduced image, each of which has been removed from the contrast dependency, provided through the respective lines L15 and L14. The difference between each obtained PSNR (PSNR of the original image and PSNR of the reproduced image) is calculated, and the difference value between each PSNR calculated in this way is provided to the comparator 120 of the next stage. Here, the unit of PSNR is dB (decibel) commonly used in the art.

따라서, 비교기(120)에서는 상기한 PSNR 산출 블럭(110)으로부터 제공되는 두 PSNR 간의 차값과 기설정된 임계값(Th3)을 비교하며, 그 비교결과에 상응하는 출력신호, 즉 복원된 재생 영상에 대한 화질 평가를 위한 제어신호(논리 1 또는 논리 0)를 도시 생략된 전체 평가 시스템의 제어기(예를들면, 마이크로 프로세서)로 제공한다.Accordingly, the comparator 120 compares the difference between the two PSNRs provided from the PSNR calculation block 110 and the preset threshold Th3, and compares the output signal corresponding to the comparison result, that is, the reconstructed playback image. A control signal (logic 1 or logic 0) for evaluating image quality is provided to a controller (e.g., a microprocessor) of the entire evaluation system, not shown.

이때, 기설정되는 소정값은 부호화기법이 적용되는 분야, 예를들면 MC-DCT 이용 하이브리드 부호화 기법이 적용되는 분야 또는 저전송율 부호화기법 등이 적용되는 분야, 에 따라 연구원(또는 작업자)이 가변적으로 설정할 수 있을 것이다. 일예로서, 본 발명의 발명자는 저전소율 부호화기법을 통해 압축 부호화된 영상에 대한 복원된 재생 영상의 화질 평가시에, 재생 영상과 원영상간의 PSNR에 대한 기준값(기설정값)을 25 dB 정도로 설정하여 시뮬레이션을 수행하였다.In this case, the predetermined value is variable by the researcher (or worker) depending on the field to which the coding technique is applied, for example, the field to which the hybrid coding technique using MC-DCT is applied or the field to which the low bit rate coding technique is applied. Will be set. As an example, the inventor of the present invention sets a reference value (preset value) of the PSNR between the reproduced image and the original image at about 25 dB when the image quality of the reconstructed reproduced image of the compressed coded image is low through the low power rate encoding technique. The simulation was performed.

따라서, 비교기(120)로 부터 제공되는 제어신호에 기초하는 마이크로 프로세서로 부터의 출력 제어신호에 따라 구동되는 도시 생략된 디스플레이 수단을 통해 시각 또는 청각적으로 복원된 재생 영상의 화질평가에 대한 판정신호가 디스플레이 되므로서, 작업자(또는 연구원)는 현재 복원되어 재생되는 영상의 고정밀한 화질 상태를 파악할 수 있게 될 것이다.Therefore, the determination signal for the evaluation of the image quality of the reproduced image visually or acoustically through an unillustrated display means driven according to the output control signal from the microprocessor based on the control signal provided from the comparator 120. Is displayed, the operator (or researcher) will be able to grasp the high-definition image quality of the image currently restored and reproduced.

이상 설명한 바와같이, 본 발명의 텍스쳐 영역 판단장치와 이것을 이용한 복원 영상의 화질 평가 시스템에 따르면, 그 통계적 특성 분석이 복잡한 텍스쳐 영역을 제외하고 화질 평가에 아주 유리한 원영상과 복원된 재생 영상의 강한 에지 성분만을 가지고 복원된 재생 영상의 화질을 평가하도록 함으로서, 부호화된 영상을 복호화하여 복원한 재생 영상의 화질 상태를 고정밀하게 평가할 수가 있다.As described above, according to the texture region determination apparatus of the present invention and the image quality evaluation system for reconstructed images using the same, strong edges of the original image and the reconstructed reproduced image are very advantageous for image quality evaluation except for the texture region whose statistical characteristics are complicated. By evaluating the image quality of the reconstructed reproduced video only with the components, it is possible to accurately evaluate the image quality state of the reproduced reproduced video by decoding the encoded image.

Claims (8)

원영상과 부호화된 원영상으로부터 복원된 재생영상간의 피크 신호 대 잡음비를 이용하여 상기 복원된 재생영상의 화질 상태를 평가하는 시스템에서의 텍스쳐 영역 판단장치에 있어서, 상기 원영상 또는 복원된 재생 영상을 NN의 서브블럭으로 분할하는 영상분할 블럭; 상기 분할된 NN의 서브블럭들에 대한 시간영역의 영상신호를 코사인함수를 이용하여 NN의 주파수영역의 DCT 변환계수값으로 변환하기 위한 DCT 블럭; 상기 NN의 각 DCT 변환계수 블럭에 대해 저주파 마스크를 이용하여 가장 낮은 주파수 부분에 분포한 N개의 변환계수를 제거하는 저역 계수 제거수단; 상기 NN의 DCT 변환계수 블럭에서 제거된 상기 N개의 변환계수를 제외한 나머지 변환계수들의 절대총합값과 기설정된 제1 임계값(Th1)을 비교하여 그 비교결과에 상응하는 출력신호를 발생하는 비교기; 상기 NN의 각 DCT 변환계수 블럭에 대해 다수 방향으로의 투사를 통해 N개의 1차원 데이타를 생성하며, 생성된 각 1차원 데이타에 속하는 각 N개의 방향성 계수값들에 대한 평균값들을 각각 산출하고, 산출된 각 평균값들간의 차값들을 산출하는 평균값 산출 수단; 상기 평균값 산출 수단에 의해 산출된 각 차값들과 기설정된 제2 임계값(Th2)을 비교하여 상기 각 차값들중 상기 임계값(Th2)보다 큰 차값이 있는지의 여부를 체크함으로서, 상기 NN의 각 DCT 변환계수 블럭에 대한 방향성 에지 성분을 검출하는 방향성 에지 검출수단; 상기 비교기로부터의 출력 제어신호와 상기 방향성 에지 검출수단으로 부터의 방향성 에지 검출신호에 의거하여 상기 화질 평가 시스템에 상기 NN의 각 DCT 변환계수 블럭에 대한 텍스쳐 영역 판단정보를 제공하는 판단정보 발생수단을 포함하는 것을 특징으로 하는 화질 평가 시스템에서의 텍스쳐 영역 판단장치.A texture region determination apparatus in a system for evaluating the image quality state of the reconstructed reproduced image by using a peak signal-to-noise ratio between the original image and the reproduced reproduced image from the encoded original image, wherein N An image partition block divided into N subblocks; The divided N N-time image signal of N subblocks using cosine function A DCT block for converting to a DCT transform coefficient value in a frequency domain of N; N above Low-pass coefficient removing means for removing N transform coefficients distributed in the lowest frequency portion using a low-frequency mask for each DCT transform coefficient block of N; N above A comparator for comparing an absolute total value of the remaining transform coefficients except for the N transform coefficients removed from the DCT transform coefficient block of N with a preset first threshold value Th1 to generate an output signal corresponding to the comparison result; N above For each DCT transform coefficient block of N, N one-dimensional data is generated through projection in multiple directions, and average values for each N directional coefficient values belonging to each generated one-dimensional data are respectively calculated. Average value calculating means for calculating difference values between respective average values; By comparing each difference value calculated by the average value calculating means with a preset second threshold value Th2 and checking whether there is a difference value larger than the threshold value Th2 among the difference values, the N Directional edge detection means for detecting a directional edge component for each DCT transform coefficient block of N; The N to the image quality evaluation system based on the output control signal from the comparator and the directional edge detection signal from the directional edge detection means. And determination information generating means for providing texture region determination information for each DCT transform coefficient block of N. 제1항에 있어서, 상기 생성된 각 1차원 데이타에 속하는 방향성 계수값은 N개의 방향성 계수값인 것을 특징으로 하는 화질 평가 시스템에서의 텍스쳐 영역 판단장치.The apparatus of claim 1, wherein the directional coefficient values belonging to the generated one-dimensional data are N directional coefficient values. 제1항에 있어서, 상기 저역 계수 제거수단은, 서로 인접하는 가장 낮은 주파수 부분의 3개의 변환계수를 제거하는 것을 특징으로 하는 화질 평가 시스템에서의 텍스쳐 영역 판단장치.The apparatus of claim 1, wherein the low-pass coefficient removing unit removes three transform coefficients of the lowest frequency part adjacent to each other. 제3항에 있어서, 상기 평균값 산출수단은, 상기 NN의 각 DCT 변환계수 블럭을 4방향으로 투사하여 4개의 상기 1차원 데이타를 생성하는 것을 특징으로 하는 화질 평가 시스템에서의 텍스쳐 영역 판단장치.The said average value calculation means is a said N, And the four-dimensional data is generated by projecting each DCT transform coefficient block of N in four directions. 제4항에 있어서, 상기 투사되는 4 방향은 수평, 수직 및 서로 대향하는 두개의 대각 방향인 것을 특징으로 하는 화질 평가 시스템에서의 텍스쳐 영역 판단장치.5. The apparatus of claim 4, wherein the four projection directions are horizontal, vertical, and two diagonal directions facing each other. 원영상과 부호화된 원영상으로부터 복원된 재생 영상간의 피크 신호 대잡음비를 이용하여 상기 복원된 재생 영상의 화질 상태를 평가하는 시스템에 있어서, 상기 원영상을 NN의 서브블럭으로 분할한 다음 분할된 각 서브블럭 단위로 텍스쳐 영역인지의 여부를 검출하여 그 검출결과에 상응하는 판단정보를 생성하는 텍스쳐 영역 판단 블럭; 상기 텍스쳐 영역 판단정보에 따라 상기 분할된 NN의 서브블럭에 대응하는 NN 마스크를 이용한 마스킹을 통해 상기 원영상에서 상기 텍스쳐 영역을 제거하는 제1 마스킹 블럭; 상기 텍스쳐 영역이 제거된 원영상의 픽셀값들의 평균값을 산출하며, 상기 텍스쳐 영역이 제거된 원영상을 이루는 각 픽셀값들을 상기 산출된 평균 픽셀값 만큼 각각 감산하여 상기 텍스쳐 영역이 제거된 새로운 원영상을 생성하는 제1수단; 상기 텍스쳐 영역 판단정보에 따라 상기 NN 마스크에 대응하는 다른 NN 마스크를 이용한 마스킹을 통해 상기 복원된 재생 영상에서 상기 텍스쳐 영역을 제거하는 제2 마스킹 블럭; 상기 텍스쳐 영역이 제거된 복원된 재생 영상의 픽셀값들의 평균값을 산출하며, 상기 텍스쳐 영역이 제거된 복원된 재생 영상을 이루는 각 픽셀값들을 상기 산출된 평균 픽셀값 만큼 각각 감산하여 상기 텍스쳐 영역이 제거된 새로운 복원된 재생 영상을 생성하는 제2수단; 상기 텍스쳐 영역이 제거된 새로운 원영상의 피크 신호 대 잡음비와 상기 텍스쳐 영역이 제거된 새로운 복원된 재생 영상의 피크 신호 대 잡음비를 각각 산출하며, 산출된 각 피크 신호 대 잡음비간의 차값을 산출하는 피크 신호 대 잡음비 산출 블록; 상기 산출된 각 피크 신호 대 잡음비간의 차값과 기설정된 임계값(Th3)을 비교하며, 그 비교결과에 상응하여 상기 복원된 재생 영상의 화질 상태 평가를 위한 결과신호를 발생하는 비교기를 포함하는 것을 특징으로 하는 복원 영상의 화질 평가 시스템.A system for evaluating an image quality state of a reconstructed reproduced image by using a peak signal to noise ratio between an original image and a reproduced image reconstructed from an encoded original image, wherein the original image is N. A texture region determination block which divides into subblocks of N and then detects whether or not the texture region is divided in units of the divided subblocks and generates determination information corresponding to the detection result; The divided N according to the texture area determination information N corresponding to N subblock A first masking block to remove the texture area from the original image by masking using an N mask; Compute an average value of pixel values of the original image from which the texture area is removed, and subtract each pixel value of the original image from which the texture area is removed by the calculated average pixel value, respectively, to remove the texture area. First means for generating a; The N according to the texture area determination information Another N corresponding to N mask A second masking block for removing the texture area from the reconstructed reproduced image by masking using an N mask; Calculating an average value of pixel values of the reconstructed reproduced image from which the texture region is removed, and subtracting each pixel value of the reconstructed reproduced image from which the texture region is removed by the calculated average pixel value, respectively, to remove the texture region; Second means for generating a new restored restored image; The peak signal to noise ratio of the new original image from which the texture region has been removed and the peak signal to noise ratio of the new reconstructed reproduced image from which the texture region has been removed are calculated, respectively, and the peak signal calculating the difference between the calculated peak signal to noise ratio Noise-to-noise ratio calculation block; And comparing a difference between the calculated peak signal-to-noise ratios and a preset threshold value Th3, and generating a result signal for evaluating an image quality state of the reconstructed reproduced image corresponding to the comparison result. Image quality evaluation system of restored image. 제6항에 있어서, 상기 제1 및 제2수단은, 상기 텍스쳐 영역이 제거된 새로운 원영상과 상기 텍스쳐 영역이 제거된 새로운 복원된 재생 영상간의 명암 의존성을 제거하는 것을 특징으로 하는 복원 영상의 화질 평가 시스템.7. The image quality of the reconstructed image as claimed in claim 6, wherein the first and second means remove the contrast dependency between the new original image from which the texture region is removed and the new reconstructed reproduction image from which the texture region is removed. Evaluation system. 제6항 또는 제7항에 있어서, 상기 기설정된 임계값(Th3)은 상기 원영상의 부호화 및 복호화 적용분야에 따라 가변적으로 설정 가능한 것을 특징으로 하는 복원 영상의 화질 평가 시스템.The system of claim 6 or 7, wherein the predetermined threshold (Th3) is variably set according to an application of encoding and decoding of the original image.
KR1019950036122A 1995-10-19 1995-10-19 System for testing picture quality of reconstructed image and texture domain determinator therein KR100207392B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950036122A KR100207392B1 (en) 1995-10-19 1995-10-19 System for testing picture quality of reconstructed image and texture domain determinator therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950036122A KR100207392B1 (en) 1995-10-19 1995-10-19 System for testing picture quality of reconstructed image and texture domain determinator therein

Publications (2)

Publication Number Publication Date
KR970025183A KR970025183A (en) 1997-05-30
KR100207392B1 true KR100207392B1 (en) 1999-07-15

Family

ID=19430636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950036122A KR100207392B1 (en) 1995-10-19 1995-10-19 System for testing picture quality of reconstructed image and texture domain determinator therein

Country Status (1)

Country Link
KR (1) KR100207392B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697566B1 (en) * 2010-02-01 2017-01-19 한양대학교 산학협력단 Deinterlacing Algorithm using Edge Direction from Analysis of the DCT Coefficient Distribution

Also Published As

Publication number Publication date
KR970025183A (en) 1997-05-30

Similar Documents

Publication Publication Date Title
CA1333501C (en) Hierarchical encoding method and apparatus for efficiently communicating image sequences
JP4180666B2 (en) Video signal encoding method
US6226050B1 (en) Signal adaptive filtering method for reducing ringing noise and signal adaptive filter
KR0165497B1 (en) Post processing apparatus and method for removing blocking artifact
US5751362A (en) Apparatus for encoding a video signal using feature point based motion estimation
US5852682A (en) Post-processing method and apparatus for use in a video signal decoding apparatus
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
US5757969A (en) Method for removing a blocking effect for use in a video signal decoding apparatus
US20010017887A1 (en) Video encoding apparatus and method
US20070025621A1 (en) Coding device, coding method, decoding device, decoding method, and programs of same
KR0181032B1 (en) Object-based encoding and apparatus using an interleaving technique
US8369417B2 (en) Optimal denoising for video coding
US20060093232A1 (en) Unified metric for digital video processing (umdvp)
US7031388B2 (en) System for and method of sharpness enhancement for coded digital video
JP2007521740A (en) How to find zeros in the transformation domain early
KR100204069B1 (en) Improved image coding system using adaptive quantization technique and adaptive quantization control method thereof
KR100209409B1 (en) Object-based encoding method and apparatus using an object warping
KR0159370B1 (en) Method and apparatus for encoding a video signals using a boundary of an object
KR100238889B1 (en) Apparatus and method for predicting border pixel in shape coding technique
JP3429429B2 (en) Visual error processing method and image coding apparatus using this method
JP3982615B2 (en) System for converting encoded video data
JP2009153226A (en) Decoding method
Segall et al. Super-resolution from compressed video
KR100207392B1 (en) System for testing picture quality of reconstructed image and texture domain determinator therein
JP3736291B2 (en) Image signal decoding apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120413

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20130401

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee