KR101936627B1 - Apparatus and method for enhancing image quality using fuzzy technology - Google Patents

Apparatus and method for enhancing image quality using fuzzy technology Download PDF

Info

Publication number
KR101936627B1
KR101936627B1 KR1020170104568A KR20170104568A KR101936627B1 KR 101936627 B1 KR101936627 B1 KR 101936627B1 KR 1020170104568 A KR1020170104568 A KR 1020170104568A KR 20170104568 A KR20170104568 A KR 20170104568A KR 101936627 B1 KR101936627 B1 KR 101936627B1
Authority
KR
South Korea
Prior art keywords
fuzzy
unit
interpolation
video
knowledge database
Prior art date
Application number
KR1020170104568A
Other languages
Korean (ko)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020170104568A priority Critical patent/KR101936627B1/en
Application granted granted Critical
Publication of KR101936627B1 publication Critical patent/KR101936627B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/048Fuzzy inferencing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

The present invention relates to an apparatus for enhancing image quality using a fuzzy technique and a method thereof. Further, according to the present invention, an apparatus for enhancing image quality using a fuzzy technique comprises: a knowledge database for storing fuzzy rules, in which the fuzzy rules use a video motion, a location, an interpolation method and a window size as fuzzy variables and are based on a language value defined by a fuzzy set on a discussion area of each fuzzy variable; a fuzzification unit for receiving an image stream and converting the video motion and location into a fuzzy set; a fuzzy inference unit for applying the fuzzy set received from the fuzzification unit to the fuzzy rules stored in the knowledge database, and inferring the fuzzy rules that can be used for interpolation; and a de-interlacing unit for performing de-Interlacing using the fuzzy rules inferred by the fuzzy inference unit.

Description

퍼지기술을 이용한 영상 화질 개선 장치 및 방법{Apparatus and method for enhancing image quality using fuzzy technology}[0001] Apparatus and method for improving image quality using fuzzy technology [

본 발명은 퍼지기술을 이용한 영상 화질 개선 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for improving image quality using a fuzzy technique.

전문가 시스템은 상식을 기반으로 하지만 상식은 일반적으로 모호하다 [1-3]. 따라서 이 모호한 개념은 엔지니어 지식으로 직접 사용될 수 없고 사전 처리 단계에서 처리된 후에 사용된다.Expert systems are based on common sense, but common sense is generally ambiguous [1-3]. Therefore, this ambiguous concept can not be directly used as an engineer knowledge and is used after being processed in the pre-processing stage.

그런 다음 이 지식은 의미 있는 것이 되고 엔지니어는 컴퓨터에서 이를 동일한 수준의 이해로 사용한다[4].Then this knowledge becomes meaningful and the engineer uses it at the same level of understanding on the computer [4].

여기서 문제는 컴퓨터에 대한 확실한 개념에서 모호하고 모호한 전문 지식을 관리하는 방법이다[5].The problem here is how to manage ambiguous and ambiguous expertise in certain concepts of computers [5].

이 문제를 해결하기 위해 일부 연구자는 퍼지 집합 이론을 비롯한 인공 지능을 연구했다.To solve this problem, some researchers studied artificial intelligence, including fuzzy set theory.

퍼지 집합 이론은 퍼지 및 모호성(FV)의 정도를 관리하는 데 사용된다. 이 FV는 실내 온도의 정도, 사람의 신장 정도, 차속의 정도, 학교 거리의 정도, 숙녀의 아름다움의 정도와 같은 많은 주제에 적용될 수 있다[6-9]. 이 모든 정보는 척도로 기술할 수 있다. 일반적으로 이 척도는 "예" 또는 "아니오"범주를 구별하기 어렵다.Fuzzy set theory is used to manage the degree of fuzzy and ambiguity (FV). This FV can be applied to many subjects such as the degree of room temperature, the degree of person's height, the degree of vehicle speed, the degree of school distance, and the degree of beauty of ladies [6-9]. All this information can be described on a scale. In general, this scale is difficult to distinguish between "yes" and "no" categories.

1937 년에 철학자 M. Black은 "모호성 : 논리적 분석에서의 운동"이라는 논문을 발표했다. 그 후, 1965 년에 L. Zadeh는 "퍼지 집합"을 출판했다.이 논문에서 Zadeh는 퍼지 가능성 이론을 공식 논리 체계로 사용했다.In 1937, the philosopher M. Black published a paper entitled "Ambiguity: Exercise in Logical Analysis". Later, in 1965, L. Zadeh published a "fuzzy set." In this paper, Zadeh used the fuzzy likelihood theory as the formal logic system.

또한, 그는 자연 언어 용어를 퍼지 집합에 적용하는 새로운 개념을 제안했다. 자연어는 구체적이고 즉각적이고 설명이 풍부하다. 자데(Zadeh)는 크립(crips)한 바이너리 로직을 멤버십 등급으로 나타냈다.In addition, he proposed a new concept of applying natural language terms to fuzzy sets. Natural language is concrete, immediate, and informative. Zadeh has coded binary logic as a membership grade.

따라서 고전적인 2 가치 부울 논리는 다중 가치 퍼지 논리가 되었다. 또한 퍼지 논리는 0과 1 사이의 논리 값을 나타낼 수 있다. 0과 1은 완전히 거짓이며 완전히 참이다[11-14].Thus, the classical two-valued Boolean logic has become a multi-valued fuzzy logic. The fuzzy logic can also represent a logical value between 0 and 1. 0 and 1 are completely false and totally true [11-14].

이미지 처리에서, 노이즈 제거는 해결해야 할 중요한 문제이다 [15-21].In image processing, noise reduction is an important issue to be solved [15-21].

소음에는 두 가지 유형이 있다. 하나는 임펄스 노이즈이고 다른 하나는 랜덤 노이즈이다[22-23]. 일반적으로 임펄스 노이즈는 쏠트 앤 페퍼 노이즈라고 하며, 랜덤 노이즈는 가우스 노이즈라고 한다. 가우시안 잡음은 평균(μ)과 분산(σ2) 값의 두 가지 매개 변수로 나타낸다.There are two types of noise. One is impulse noise and the other is random noise [22-23]. In general, impulse noise is referred to as the "Soul-and-Pepper noise", and random noise is referred to as "Gaussian noise". Gaussian noise is represented by two parameters: mean (μ) and variance (σ 2 ).

이미지 / 비디오 캡처, 전송 및 저장 중에 잡음이 생성된다. 따라서, TV 통신 중에는, 소음 때문에 정보가 변경될 수 있다.Noise is generated during image / video capture, transmission, and storage. Therefore, during TV communication, information may be changed due to noise.

퍼지 논리는 다중 값 계산의 과정으로, 변수는 0과 1 사이의 값이 될 수 있다. 크립(crips) 논리는 부울 논리로 불리는 퍼지 논리의 반대 개념이며 "0"과 "1"의 두 값만 사용된다.Fuzzy logic is a process of multi-valued computation, and a variable can be a value between 0 and 1. Crips logic is the opposite of fuzzy logic, which is called Boolean logic. Only two values of "0" and "1" are used.

전통적인 에지 기반 단일 필드 디인터레이싱 방법의 대부분은 적은 수의 탭으로 평균 필터를 채택하므로 평균 필터의 주파수 응답이 돔처럼 보임에 따라 복원의 정확도가 낮다.Most of the traditional edge-based single field de-interlacing methods employ an average filter with a small number of taps, so the restoration accuracy is low as the frequency response of the average filter looks like a dome.

[1] B. Reusch, M. Fathi and L. Hildebrand, “Fuzzy color processing for quality improvement”, in SoftComputing, Multimedia and Image Processing - Proceedings of the World Automation Congress. Albuquerque, NM: TSI, (1988), pp. 841-848.[1] B. Reusch, M. Fathi and L. Hildebrand, "Fuzzy color processing for quality improvement", in Soft Computing, Multimedia and Image Processing - Proceedings of the World Automation Congress. Albuquerque, NM: TSI, (1988), pp. 841-848. [2] S. Bothorrel, B. Bouchon and S. Muller, “A fuzzy logic-based approach for semiological analysis of microcalcification in mammographic images”, Int. J. Intell. Syst., vol. 12, (1997), pp. 819-843.[2] S. Bothorrel, B. Bouchon and S. Muller, "A fuzzy logic-based approach for semi-parametric analysis of microcalcification in mammographic images", Int. J. Intell. Syst., Vol. 12, (1997), pp. 819-843. [3] K. Kang, G. Jeon and J. Jeong, “A single field interlaced to progressive format conversion using edge map in the image block”, in Proc. IASTED SIP2009, Innsbruck, Austria, (2009).[3] K. Kang, G. Jeon and J. Jeong, "A single field interlaced to progressive format conversion using edge map in the image block", in Proc. IASTED SIP2009, Innsbruck, Austria, (2009). [4] C. C. Lee, “Fuzzy logic in control systems”, IEEE Trans. Syst., Man, Cybern., vol. 20, no. 2, (1990), pp. 404-435.[4] C. C. Lee, "Fuzzy logic in control systems", IEEE Trans. Syst., Man, Cybern., Vol. 20, no. 2, (1990), pp. 404-435. [5] T.-H. Tsai and H.-L. Lin, “Design and implementation for deinterlacing using the edge-based correlation adaptive method”, SPIE Journal of Electronic Imaging, vol. 18, no. 1, (2009), pp. 013014.[5] T.-H. Tsai and H.-L. Lin, " Design and implementation for deinterlacing using the edge-based correlation adaptive method ", SPIE Journal of Electronic Imaging, vol. 18, no. 1, (2009), pp. 013014. [6] Z. Wang, A. C. Bovik, H. R. Sheikh and E. P. Simoncelli, “Image quality assessment: from error visibility to structural similarity”, IEEE Trans. Image Process, vol. 13, no. 4, (2004), pp. 600.612.[6] Z. Wang, A. C. Bovik, H. R. Sheikh and E. P. Simoncelli, "Image quality assessment: from error visibility to structural similarity", IEEE Trans. Image Process, vol. 13, no. 4, (2004), pp. 600.612. [7] F. Michaud, C. T. L. Dinh and G. Lachiver, “Fuzzy detection of edge direction for video line doubling”, IEEE Trans. Circuits Syst. Video Technol., vol. 7, no. 3, (1997), pp. 539-542.[7] F. Michaud, C. T. L. Dinh and G. Lachiver, "Fuzzy detection of edge direction for video line doubling", IEEE Trans. Circuits Syst. Video Technol., Vol. 7, no. 3, (1997), pp. 539-542. [8] F. Russo and G. Ramponi, “Edge detection by FIRE operators”, in Proc. FUZZ-IEEE.94 - 3rd IEEE Int. Conf. Fuzzy Systems, (1994), pp. 249-253.[8] F. Russo and G. Ramponi, "Edge detection by FIRE operators", in Proc. FUZZ-IEEE.94 - 3rd IEEE Int. Conf. Fuzzy Systems, (1994), pp. 249-253. [9] K. Basterretxea, J. M. Tarela and I. del Campo, “Digital Gaussian membership function circuit for neuro-fuzzy hardware”, IET Electron. Lett., vol. 42, no. 1, (2006), pp. 44-46.[9] K. Basterretxea, J. M. Tarela and I. del Campo, "Digital Gaussian membership function circuit for neuro-fuzzy hardware", IET Electron. Lett., Vol. 42, no. 1, (2006), pp. 44-46. [10] L. A. Zadeh, “Fuzzy sets”, Inf. Control, vol. 8, (1965), pp. 338-353.[10] L. A. Zadeh, "Fuzzy sets", Inf. Control, vol. 8, (1965), pp. 338-353. [11] W. Wu, Z. Liu, W. Gueaieb and X. He, “Single-image super-resolution based on Markov random field and contourlet transform”, J. Electron. Imaging, vol. 20, (2011), pp. 023005.[11] W. Wu, Z. Liu, W. Gueaieb and X. He, "Single-image super-resolution based on Markov random field and contour transform", J. Electron. Imaging, vol. 20, (2011), pp. 023005. [12] J. Wu, T. Li, T.-J. Hsieh, Y.-L. Chang and B. Huang, “Digital signal processor-based 3D Wavelet 116 error-resilient lossless compression of high-resolution spectrometer data”, Journal of Applied Remote Sensing, vol. 5, (2011), pp. 051504.[12] J. Wu, T. Li, T.-J. Hsieh, Y.-L. Chang and B. Huang, " Digital signal processor-based 3D wavelet 116 error-resilient lossless compression of high-resolution spectrometer data ", Journal of Applied Remote Sensing, vol. 5, (2011), pp. 051504. [13] K. He, J. Sun and X. Tang “Guided image filtering”, in Proc. of the 11th European Conf. on Computer Vision (ECCV), vol. 6311, (2010), pp. 1-14.[13] K. He, J. Sun and X. Tang "Guided image filtering", in Proc. of the 11th European Conf. on Computer Vision (ECCV), vol. 6311, (2010), pp. 1-14. [14] I. Pekkucuksen and Y. Altunbasak, “Gradient based threshold free color filter array interpolation”, in Proc. of IEEE Int. Conf. on Image Processing (ICIP), (2010), pp. 137-140.[14] I. Pekkucuksen and Y. Altunbasak, "Gradient based threshold free color filter array interpolation", in Proc. of IEEE Int. Conf. on Image Processing (ICIP), (2010), pp. 137-140. [15] W. Wu, Z. Liu and D. Krys, “Improving laser image resolution for pitting corrosion measurement using markov random field method”, Autom. Constr., vol. 21, (2012), pp. 172-183.[15] W. Wu, Z. Liu and D. Krys, "Improving Laser Image Resolution for Markov Random Field Method", Autom. Const., Vol. 21, (2012), pp. 172-183. [16] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani and J. Jeong, “Designing of a type-2 fuzzy logic filter for improving edge-preserving restoration of interlaced-to-progressive conversion”, Inf. Sci. vol. 179, no. 13, (2009), pp. 2194-2207.[16] G. Jeon, M. Anisetti, V. Bellandi, E. Damiani and J. Jeong, "Designing a type-2 fuzzy logic filter for improving edge-preserving restoration of interlaced-to-progressive conversion", Inf. Sci. vol. 179, no. 13, (2009), pp. 2194-2207. [17] G. Jeon, M. Anisetti, D. Kim, V. Bellandi, E. Damiani and J. Jeong, “Fuzzy rough sets hybrid scheme for motion and scene complexity adaptive deinterlacing”, Image Vision Comput., vol. 27, no. 4, (2009), pp. 425-436.[17] G. Jeon, M. Anisetti, D. Kim, V. Bellandi, E. Damiani and J. Jeong, "Fuzzy rough sets hybrid scheme for motion and scene complexity adaptive deinterlacing", Image Vision Comput. 27, no. 4, (2009), pp. 425-436. [18] G. Jeon, M. Anisetti, J. Lee, V. Bellandi, E. Damiani and J. Jeong, “Concept of linguistic variable-based fuzzy ensemble approach: application to interlaced HDTV sequences”, IEEE Trans. Fuzzy Systems, vol. 17, no. 6, (2009), pp. 1245-1258.[18] G. Jeon, M. Anisetti, J. Lee, V. Bellandi, E. Damiani and J. Jeong, "A Concept of Linguistic Variable-based Fuzzy Ensemble Approach: Application to Interlaced HDTV Sequences", IEEE Trans. Fuzzy Systems, vol. 17, no. 6, (2009), pp. 1245-1258. [19] J. Wu, A. Paul, Y. Xing, Y. Fang, J. Jeong, L. Jiao and G. Shi, “Morphological dilation image 107 coding with context weights prediction”, Signal Processing: Image Communication, vol. 25, no. 10, (2010), pp.717.728.[19] J. Wu, A. Paul, Y. Xing, Y. Fang, J. Jeong, L. Jiao and G. Shi, "Morphological dilation image 107 coding with context weights prediction" . 25, no. 10, (2010), pp.717.728. [20] W. Wu, Z. Liu and X. He, “Learning-based super resolution using kernel partial least squares”, Image Vision Comput., vol. 29, (2011), pp. 394.406.[20] W. Wu, Z. Liu and X. He, "Learning-based super resolution using kernel partial least squares", Image Vision Comput., Vol. 29, (2011), pp. 394.406. [21] J. Wu, J. Huang, G. Jeon, J. Jeong, and L.C. Jiao, “An adaptive autoregressive de-interlacingmethod”, Optical Engineering, vol. 50, no. 5, (2011), pp. 057001.[21] J. Wu, J. Huang, G. Jeon, J. Jeong, and L.C. Jiao, " An adaptive autoregressive de-interlacing method ", Optical Engineering, vol. 50, no. 5, (2011), pp. 057001. [22] H. S. Malvar, L. W. He and R. Cutler, “High-quality linear interpolation for demosaicing of Bayer patterned color images”, in Proc. IEEE International Conference on Speech, Acoustics, and Signal Processing, (2004).[22] H. S. Malvar, L. W. He and R. Cutler, "High-quality linear interpolation for demosaicing of Bayer patterned color images", in Proc. IEEE International Conference on Speech, Acoustics, and Signal Processing, (2004). [23] X. Zhang and B. A.Wandell, “A spatial extension of CIELAB for digital color image reproduction”, J. Soc. Inf. Display, vol. 5, no. 1, (1997), pp. 61.67.[23] X. Zhang and B. A. Wandell, "A spatial extension of CIELAB for digital color image reproduction", J. Soc. Inf. Display, vol. 5, no. 1, (1997), pp. 61.67.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 퍼지 룰에 기반하여 디인터레이싱을 수행하여 정확도가 증가되고 효율적인 퍼지기술을 이용한 영상 화질 개선 장치 및 방법을 제공하는 데 있다.An object of the present invention is to provide an apparatus and method for enhancing image quality using an efficient fuzzy technique with increased accuracy by performing deinterlacing based on a fuzzy rule.

본 발명에 따르면, 퍼지기술을 이용한 영상 화질 개선 장치는 비디오 동작, 위치, 보간 방법 및 윈도우 크기를 퍼지 변수로 하고, 각 퍼지 변수의 논의영역상의 퍼지 집합에서 정해지는 언어 값을 기반으로한 퍼지 룰을 저장하고 있는 지식데이터베이스; 영상 스트림을 입력받아 비디오 동작과 위치를 퍼지 집합으로 변환시키는 퍼지화부; 상기 퍼지화부로부터 전달받은 퍼지 집합을 상기 지식데이터베이스에 저장되어 있는 퍼지 룰들에 적용하여 보간에 사용할 수 있는 퍼지 규칙들을 추론하는 퍼지 추론부; 및 상기 퍼지 추론부에서 추론된 퍼지 규칙들을 이용하여 디인터레이싱을 수행하는 디인터레이싱부를 포함한다.According to the present invention, an apparatus for improving image quality using a fuzzy technique includes a fuzzy rule generation unit for generating a fuzzy rule based on a language value set in a fuzzy set on a discussion area of each fuzzy variable, A knowledge database storing the information; A fuzzy unit for receiving a video stream and converting a video operation and a position into a fuzzy set; A fuzzy inference unit for applying fuzzy sets received from the fuzzy unit to fuzzy rules stored in the knowledge database to deduce fuzzy rules that can be used for interpolation; And a deinterlacer for performing deinterlacing using the fuzzy rules derived from the fuzzy inference unit.

또한, 본 발명에 따르면, 퍼지기술을 이용한 영상 화질 개선 방법은 (A) 지식데이터베이스에 비디오 동작, 위치, 보간 방법 및 윈도우 크기를 퍼지 변수로 하고, 각 퍼지 변수의 논의영역상의 퍼지 집합에서 정해지는 언어 값을 기반으로한 퍼지 룰을 저장하는 단계; (B) 퍼지화부가 영상 스트림을 입력받아 비디오 동작과 위치를 퍼지 집합으로 변환시키는 단계; (C) 퍼지 추론부가 상기 퍼지화부로부터 전달받은 퍼지 집합을 상기 지식데이터베이스에 저장되어 있는 퍼지 룰들에 적용하여 보간에 사용할 수 있는 퍼지 규칙들을 추론하는 단계; 및 (D) 디인터레싱부가 상기 퍼지 추론부에서 추론된 퍼지 규칙들을 이용하여 디인터레이싱을 수행하는 단계를 포함한다.According to the present invention, there is provided a method for improving image quality using a fuzzy technique, comprising the steps of: (A) setting a video operation, a position, an interpolation method and a window size as fuzzy variables in a knowledge database, Storing a fuzzy rule based on a language value; (B) a fuzzy logic unit receiving a video stream and converting a video operation and a position into a fuzzy set; (C) applying a fuzzy set transmitted from the fuzzy inference unit to fuzzy rules stored in the knowledge database to infer fuzzy rules that can be used for interpolation; And (D) the de-interlacing unit performing de-interlacing using the fuzzy rules derived from the fuzzy inference unit.

상기와 같은 본 발명에 따르면, 퍼지 룰에 기반하여 디인터레이싱을 수행하여 정확도가 증가되고 효율적이다.According to the present invention, the deinterlacing is performed based on the fuzzy rule, and the accuracy is increased and efficient.

도 1은 일반적으로 이미지 처리에는 세 가지 주요 주제를 설명하기 위한 개념도이다.
도 2의 (a)와 2의 (b)는 작은(μSMALL)과 큰(μLARGE)의 소속 함수(membership set)을 나타내며, 도 2의 (c)와 도 2의 (d)는 "프로도(prodor)"와 "최대(max)"의 연산자를 나타내고, 도 2의 (e)와 도 2의 (f)는 "프로덕트(product)" 및 "최소(min)"의 연산자를 나타낸다.
도 3의 (a)는 "매우"를, (b)는 "몹시"를, (c)는 "매우 매우"를, (d)는 "다소"를 및 (e)는 "확실히"를 나타낸다.
도 4는 본 발명에 적용되는 윈도우를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 퍼지기술을 이용한 영상 화질 개선 장치의 구성도이다.
도 6은 본 발명의 일 실시예에 따른 퍼지기술을 이용한 영상 화질 개선 방법의 흐름도이다.
도 7은 비행기(512x512), 아키요(512x512), 페퍼(512x512), 보트 (352x288) 등의 이미지를 나타낸다.
도 8 내지 도 11은 복원된 이미지로, (a)는 원본 이미지이고, (b)는 벤치 마크 결과이며 (c)는 본 발명에 따른 결과이다.
도 12의 (a)는 원본과 벤치 마크 사이의 차이 이미지이며, (b)는 원본과 제안 된 방법의 차이 이미지이다.
도 13은 밀크 이미지와 시각적인 성능 비교를 보여준다.
1 is a conceptual diagram for explaining three main subjects in image processing in general.
Figures 2 (a) and 2 (b) show a membership function of a small ( SMALL ) and a large ( LARGE ), and Figures 2 (c) and 2 (d) Quot; prodor " and " max ", and Figures 2 (e) and 2 (f) show the operators "product" and "min".
Figure 3 (a) shows "very", (b) shows "terrible", (c) shows "very very", (d) shows "somewhat" and (e) shows "definitely".
4 is a view showing a window to which the present invention is applied.
5 is a configuration diagram of an image quality enhancement apparatus using a purging technique according to an embodiment of the present invention.
6 is a flowchart illustrating a method of improving image quality using a fuzzy technique according to an exemplary embodiment of the present invention.
7 shows an image of an airplane 512x512, an airplane 512x512, a pepper 512x512, a boat 352x288, and the like.
8 to 11 are restored images, wherein (a) is a source image, (b) is a benchmark result, and (c) is a result according to the present invention.
Figure 12 (a) is the difference image between the original and the benchmark, and (b) is the difference image between the original and the proposed method.
Figure 13 shows a visual comparison of milk image and performance.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments will be described in detail below with reference to the accompanying drawings.

이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.The following examples are provided to aid in a comprehensive understanding of the methods, apparatus, and / or systems described herein. However, this is merely an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification. The terms used in the detailed description are intended only to describe embodiments of the invention and should in no way be limiting. Unless specifically stated otherwise, the singular form of a term includes plural forms of meaning. In this description, the expressions " comprising " or " comprising " are intended to indicate certain features, numbers, steps, operations, elements, parts or combinations thereof, Should not be construed to preclude the presence or possibility of other features, numbers, steps, operations, elements, portions or combinations thereof.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.It is also to be understood that the terms first, second, etc. may be used to describe various components, but the components are not limited by the terms, and the terms may be used to distinguish one component from another .

일반적으로 이미지 처리에는 세 가지 주요 주제가 있으며, 다음과 같이 설명 할 수 있다.In general, there are three main themes in image processing, which can be described as follows:

다음과 같다 :As follows :

(1) 시스템 고려 사항,(1) system considerations,

(2) 화질 평가,(2) image quality evaluation,

(3) 매개 변수 조정.(3) parameter adjustment.

여기에서, "시스템 고려 사항"문제는 주관성에 대한 체계적인 고려가 없다는 것을 의미한다.Here, the "system considerations" problem means there is no systematic consideration of subjectivity.

"화질 평가"문제는 동의된 이미지 품질을 평가하는 방법을 다룬다.The "image quality assessment" issue addresses how to evaluate the agreed image quality.

마지막으로 "매개 변수 조정"문제는 알고리즘의 매개 변수를 조정하는 방법을 의미한다. 이 개념은 도 1에 나와 있다.Finally, the "parameter adjustment" problem means how to adjust the parameters of the algorithm. This concept is shown in FIG.

퍼지 변수는 언어 변수로 설명될 수 있다. 퍼지 전문가 시스템은 언어 변수를 기반으로 하며 형식은 다음과 같다.Fuzzy variables can be described by language variables. The fuzzy expert system is based on language variables and has the following format.

(수학식 1)(1)

만약 A1가 B1이면 C1 이 D1이고, If A 1 is B 1 then C 1 is D 1 ,

A2가 B2라면, C2는 D2이며,If A 2 is B 2, then C 2 is D 2 ,

......

AN이 BN이면 CN이 DN이다.If A N is B N then C N is D N.

퍼지 변수의 가능한 범위는 논의 영역(universe of discourse)이다. 언어 변수에는 매우, 상당히 또는 극단적으로 여러 헤지(또는 수정자)(hedges)의 개념이 포함된다. 헤지는 운영 자체로 작동한다. 다음은 몇 가지 예이다. 헤지 "매우"는 집중 연산을 수행하고 새로운 하위 집합을 생성하고 결국에는 의미를 강조한다. 또 다른 예는 "몹시"는 더 강한 의미를 부여하는 "매우"이다.The possible range of fuzzy variables is the universe of discourse. Language variables include the concept of very, fairly or extremely hedges (or hedges). Hedge works by itself. Here are some examples. Hedge "very" performs intensive operations, creates new subsets, and ultimately emphasizes meaning. Another example is "very", which gives a stronger meaning to "heavily".

일반적으로 헤지는 효과적인 것으로 판명된 작업으로 작동한다. 또한, 헤지는 인간이 일반적으로 "몹시"와 "매우"를 구분할 수 없기 때문에 인간의 마음을 반영하는 데 도움이 된다.Generally, hedges work with tasks that are proven to be effective. Hedge also helps to reflect the human mind because humans generally can not distinguish between "terrible" and "very".

도 2의 (a)와 도 2의 (b)는 작은(μSMALL)과 큰(μLARGE)의 소속 함수(membership set)을 나타내며, 도 2의 (c)와 도 2의 (d)는 "프로도(prodor)"와 "최대(max)"의 연산자를 나타내고, 도 2의 (e)와 도 2의 (f)는 "프로덕트(product)" 및 "최소(min)"의 연산자를 나타낸다.Figures 2 (a) and 2 (b) show a membership function of small ( SMALL ) and large ( LARGE ), and Figures 2 (c) and 2 (d) Prodor "and" max ", and FIGS. 2 (e) and 2 (f) show the operators" product "and" min ".

헤지는 위에서 언급된 연산자에 적용될 수 있으며 다음과 같이 표현된다.The hedge can be applied to the above mentioned operators and is expressed as follows.

매우(very)는 집중 연산이다. 앞에서 언급했듯이 집합의 범위를 좁히고 퍼지 원소의 소속도를 낮춘다. 이 연산은 수학의 제곱 연산이다.Very is an intensive operation. As mentioned above, the range of the set is narrowed and the membership of the fuzzy element is lowered. This operation is a squaring operation of mathematics.

(수학식 2)(2)

Figure 112017079675725-pat00001
Figure 112017079675725-pat00001

몹시(extremely)는 매우와 비슷한 효과가 있는데, 그 정도가 더 크다. 이 연산은 세제곱한 것이다.Extremely, very similar effects, which are much greater. This operation is a factor of three.

(수학식 3)(3)

Figure 112017079675725-pat00002
Figure 112017079675725-pat00002

매우매우(very very)는 집중 연산을 단순히 확장한 것이다. 이 연산은 집중 연산을 제곱한 것이다.Very very simple is an extension of the intensive operation. This operation is the square of the centralized operation.

(수학식 4)(4)

Figure 112017079675725-pat00003
Figure 112017079675725-pat00003

다소(more or less)는 확장 연산이다. 집합을 확장함으로써 퍼지 원소들의 소속도를 높인다. 이 연산은 다음과 같이 나타낸다.Somewhat more (less or less) is an expansion operation. By increasing the set, we increase the membership of the fuzzy elements. This operation is represented as follows.

(수학식 5)(5)

Figure 112017079675725-pat00004
Figure 112017079675725-pat00004

확실히(Indeed)는 강화(intensification) 연산이다. 모든 문장의 의미를 강화한다. 소속도가 0.5이상이면 소속도를 더 높이고, 0.5보다 낮은 경우에는 더 낮추는 역할을 한다. 헤지 '확실히'는 두 가지 방법으로 수행될 수 있다.Indeed is an intensification operation. Strengthen the meaning of all sentences. When the belonging speed is 0.5 or more, the belonging speed is further increased, and when the belonging speed is lower than 0.5, it is lowered. Hedge 'surely' can be done in two ways.

(수학식 6)(6)

Figure 112017079675725-pat00005
Figure 112017079675725-pat00005

여기서 HM은 마운틴의 높이를 나타낸다. 예를 들어, μHM (x)가 0.5이면 매우, 몹시, 매우매우, 다소, 확실히는 0.5, 0.125, 0.0625, 0.7071 및 0.5이다. Where HM is the height of the mountain. For example, if μ HM (x) is 0.5, very, very, very very, somewhat, definitely 0.5, 0.125, 0.0625, 0.7071 and 0.5.

도 3의 (a)는 "매우"를, (b)는 "몹시"를, (c)는 "매우 매우"를, (d)는 "다소"를 및 (e)는 "확실히"를 나타낸다.Figure 3 (a) shows "very", (b) shows "terrible", (c) shows "very very", (d) shows "somewhat" and (e) shows "definitely".

도 4는 본 발명에 적용되는 윈도우를 도시한 도면이다.4 is a view showing a window to which the present invention is applied.

도 4에 도시한 바와 같이, 윈도우 사이즈(WS, Window Size)가 커질수록 화소의 개수가 증가하며, 각 화소는 계산의 편의를 위해 데이터 벡터로 표시할 수 있다. As shown in FIG. 4, as the window size (WS) increases, the number of pixels increases, and each pixel can be represented by a data vector for ease of calculation.

윈도우에 포함된 참조 화소의 수는 각각 수직 스캔 라인이 2WS, 수평 스캔 라인이 2WS+1이며, 여기에서 WS는 임의의 자연수이다. 도 4의 WS는 Window Size의 약어로 임의의 자연수 의미를 포함한다. 윈도우의 정중앙에 위치한 화소는 보간 대상 화소를 나타내며, 수직 스캔 라인은 세로로 표시되는 스캔 라인이고, 수평 스캔 라인은 가로로 표시되는 스캔 라인이다.The number of reference pixels included in the window is 2WS for the vertical scan line and 2WS + 1 for the horizontal scan line, respectively, where WS is an arbitrary natural number. WS in FIG. 4 is an abbreviation of Window Size and includes any natural number meaning. Pixels located in the center of the window represent pixels to be interpolated, the vertical scan lines are scan lines that are displayed vertically, and the horizontal scan lines are scan lines that are displayed horizontally.

도 5는 본 발명의 일 실시예에 따른 퍼지기술을 이용한 영상 화질 개선 장치의 구성도이다.5 is a configuration diagram of an image quality enhancement apparatus using a purging technique according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시예에 따른 퍼지기술을 이용한 영상 화질 개선 장치는 지식데이터베이스(100), 퍼지화부(110), 퍼지 추론부(120) 및 디인터레이싱부(130)으로 구성되어 있다.5, an apparatus for improving image quality using a fuzzy technique according to an embodiment of the present invention includes a knowledge database 100, a fuzzifier 110, a fuzzy inference unit 120, and a de-interlacing unit 130 have.

제안된 전문가 시스템은 비디오 디인터레이싱을 위해 설계된 퍼지 if-then 규칙을 기반으로 한다. 제안된 방법은 else 액션에 의해 지배되는 퍼지 추론이다. else 액션에 의해 지배되는 제안된 퍼지 추론은 다음과 같이 쓰여지며, 지식데이터베이스(100)에 저장되어 있다. 여기에서, 비디오 동작, 위치, 보간 방법, 윈도우 크기는 퍼지 변수에 해당한다.The proposed expert system is based on a fuzzy if-then rule designed for video de-interlacing. The proposed method is fuzzy reasoning governed by the else action. The proposed fuzzy inference, governed by the else action, is written as follows and stored in the knowledge database 100. Here, video operation, position, interpolation method, and window size correspond to fuzzy variables.

빠르다, 느리다는 비디오 동작의 논의영역상의 퍼지 집합에서 정해지는 언어 값이다.Fast and slow are the language values determined in the fuzzy set on the discussion area of the video action.

그리고, 균일 영역과 불균일 영역은 위치의 논의영역상의 퍼지 집합에서 정해지는 언어값이다.And, the uniform region and the nonuniform region are the language values determined in the fuzzy set on the discussion area of the position.

다음으로, 필드내 보간, 필드간 보간, 라인 평균 보간은 보간 방법의 논의 영역상의 퍼지 집합에서 정해지는 언어값이다.Next, intra-field interpolation, inter-field interpolation, and line average interpolation are language values determined in the fuzzy set on the discussion area of the interpolation method.

그리고, 작은 윈도우와 큰 윈도우는 윈도우 크기의 논의영역상의 퍼지집합에서 정해지는 언어값이다.The small window and the large window are the language values determined in the fuzzy set on the discussion area of the window size.

(( 수학식Equation 7) 7)

IF video motion is fast, THEN intra method is selected IF video motion is fast , THEN intra method is selected

Else IF video motion is slow, THEN inter method is selected Else IF video motion is slow , THEN inter method is selected

(( 수학식Equation 8) 8)

IF x ( i , j ) is located in homogeneity region, THEN larger window is IF x ( i , j ) is located in homogeneity region , THEN larger window is

usedused

Else IF x ( i , j ) is located in heterogeneity region, THEN smaller window Else IF x ( i , j ) is located in heterogeneity region , THEN smaller window

is usedis used

(( 수학식Equation 9) 9)

IF x ( i , j ) is located in homogeneity region, THEN inter method is IF x ( i , j ) is located in homogeneity region , THEN inter method is

selectedselected

Else IF x ( i , j ) is located in heterogeneity region, THEN LA method is Else IF x ( i , j ) is located in heterogeneity region , THEN LA method is

usedused

(IF 비디오 동작이 빠르다 Then 필드내 보간법을 선택한다.(If the IF video motion is fast then select the interpolation method in the field.

Else IF 비디오 동작이 느리다 Then 필드간 보간법을 선택한다.Else IF Video motion is slow Then select interpolation between fields.

IF x(i, j)가 균일 영역에 위치한다, THEN 큰 윈도우를 사용한다.IF x (i, j) is located in the uniform region, THEN uses a large window.

Else IF x(i, j)가 불균일 영역에 위치한다, THEN 작은 윈도우를 사용한다.Else IF x (i, j) is located in a non-uniform region, THEN uses a small window.

IF x(i, j)가 균일 영역에 위치한다, THEN 필드간 보간법을 선택한다.IF x (i, j) is located in the uniform region, THEN field interpolation method is selected.

Else IF x(i, j)가 불균일 영역에 위치한다, THEN 라인 평균 보간법을 사용한다.)Else IF x (i, j) is located in the non-uniform region, use the THEN line average interpolation method.)

여기에서, 공간적 상관성을 이용하는 필드 내 보간(intra-field interpolation) 방법에는 라인 반복(line repetition) 방식, 라인 평균 방식((LA: Line Average), ELA(Edge-based Line Average) 방식 등이 적용되며, 공간적 상관성과 시간적 상관성을 이용하여 필드 내의 정보뿐만 아니라 전후 필드 간의 정보를 이용하는 필드 간 보간(inter-field interpolation) 방법에는 움직임 보상형(motion compensated) 방식, 움직임 적응형(motion adaptive) 방식 등이 적용되고 있다.Here, the intra-field interpolation method using spatial correlation is applied to a line repetition method, a line average method (LA: Line Average), an edge-based linear average (ELA) method, A method of inter-field interpolation using information in fields as well as information between fields before and after using spatial correlation and temporal correlation includes a motion compensated method and a motion adaptive method .

한편, 퍼지화부(110)는 영상 스트림을 입력받아 비디오 동작(video motion)과 위치를 아래 수학식 10 내지 수학식 12를 사용하여 퍼지 집합으로 변환시킨다. The fuzzy logic unit 110 receives the video stream and converts the video motion and the position into a fuzzy set using Equation (10) to Equation (12) below.

이때 사용하는 함수는 가우스 함수를 사용한다.The function to be used at this time uses the Gaussian function.

(수학식 10)(10)

IF D VM < v 1 , THEN

Figure 112017079675725-pat00006
IF D VM < v 1 , THEN
Figure 112017079675725-pat00006

Else IF v 1 < D VM < v 2 , THEN

Figure 112017079675725-pat00007
Else IF v 1 <D VM < v 2 , THEN
Figure 112017079675725-pat00007

Else IF v 2 < D VM < v 3 , THEN

Figure 112017079675725-pat00008
Else IF v 2 <D VM < v 3 , THEN
Figure 112017079675725-pat00008

Else IF v 3 < D VM < v 4 , THEN

Figure 112017079675725-pat00009
Else IF v 3 <D VM < v 4 , THEN
Figure 112017079675725-pat00009

Else IF v 4 < D VM THEN

Figure 112017079675725-pat00010
Else IF v 4 <D VM THEN
Figure 112017079675725-pat00010

여기에서,DVM은 비디오 동작 차이이며, 매개 변수 v1, v2, v3, v4 및 v5는 경험적으로 각각 3, 5, 8, 11 및 15로 할당된다.Where D VM is the video operation difference and parameters v 1 , v 2 , v 3 , v 4 and v 5 are empirically assigned 3, 5, 8, 11 and 15 respectively.

(수학식 11)(11)

Figure 112017079675725-pat00011
Figure 112017079675725-pat00011

여기에서, cGaussian는 가우스 퍼지 집합의 중앙이며, σ는 가우스 퍼지 집합의 폭이며, x는 입력변수이다. σ는 경험적으로 결정되며, 시뮬레이션을 위하여 σ=1.5로 결정하였다. 퍼지 집합은 fast, slow, homogeneity 그리고 heterogeneity가 선택되어야 한다.Where c Gaussian is the center of the Gaussian fuzzy set, σ is the width of the Gaussian fuzzy set, and x is the input variable. σ is determined empirically and σ = 1.5 for the simulation. The fuzzy set must be selected from fast, slow, homogeneity and heterogeneity.

유사하게, 균일 영역과 불균일 영역도 다음과 같이 정의될 수 있다.Similarly, a uniform region and a non-uniform region may be defined as follows.

(수학식 12)(12)

IF DHOR < DHER + 10, THEN the region is strong homogeneityIF D HOR <D HER + 10, THEN the region is strong homogeneity

regionregion

Else IF DHOR < DHER, THEN the region is weak homogeneityElse IF D HOR <D HER , THEN the region is weak homogeneity

regionregion

Else IF DHER < DHOR, THEN the region is weak heterogeneityElse IF D HER <D HOR , THEN the region is weak heterogeneity

regionregion

Else IF DHER < DHOR + 10, THEN the region is strong heterogeneityElse IF D HER <D HOR + 10, THEN the region is strong heterogeneity

regionregion

(IF DHOR < DHER + 10이면, THEN 영역은 강한 균일 영역이고, (IF D HOR <D HER + 10, the THEN region is a strong homogeneous region,

Else IF DHOR < DHER이면, THEN 영역은 약한 균일 영역이며, Else IF D HOR <D If HER , the THEN region is a weak uniform region,

Else IF DHER < DHOR, THEN 영역은 약한 불균일 영역이고, Else IF D HER <D The HOR , THEN region is a weak non-uniform region,

Else IF DHER < DHOR + 10이면, THEN 영역은 강한 불균일 영역이다)Else IF D HER <D HOR + 10, the THEN region is a strong non-uniform region)

여기에서, 파라미터 DHOR와 DHER은 균일 영역과 불균일 영역의 차이를 나타낸다.Here, the parameters D HOR and D HER represent the difference between the uniform region and the non-uniform region.

한편, 퍼지 추론부(120)는 퍼지화부(110)로부터 전달받은 퍼지 집합을 지식 데이터베이스(100)에 저장되어 있는 퍼지 룰들에 적용하여 보간에 사용할 수 있는 퍼지 규칙들을 추론한다.The fuzzy inference unit 120 applies fuzzy sets received from the fuzzy logic unit 110 to fuzzy rules stored in the knowledge database 100 to deduce fuzzy rules that can be used for interpolation.

그리고, 디인터레이싱부(130)는 퍼지 추론부(120)에 의해 추론된 결과에 따라 보간을 수행하여 보간 결과를 출력한다.The deinterlacing unit 130 performs interpolation according to the result of the inference by the fuzzy inference unit 120 and outputs an interpolation result.

이때, 디인터레이싱부(130)에 의해 출력 픽셀은 다음과 같은 수학식 13으로 얻어진다.At this time, the output pixel by the de-interlacing unit 130 is obtained by the following expression (13).

(수학식 13)(13)

Figure 112017079675725-pat00012
Figure 112017079675725-pat00012

여기에서 (i,j)는 보간 픽셀의 위치이다.Where (i, j) is the position of the interpolation pixel.

도 6은 본 발명의 일 실시예에 따른 퍼지기술을 이용한 영상 화질 개선 방법의 흐름도이다.6 is a flowchart illustrating a method of improving image quality using a fuzzy technique according to an exemplary embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른 퍼지기술을 이용한 영상 화질 개선 방법은 비디오 디인터레이싱을 위해 설계된 퍼지 if-then 규칙을 기반으로 하여, else 액션에 의해 지배되는 퍼지 추론을 지식데이터베이스에 저장한다(S100).Referring to FIG. 6, a method of improving image quality using a fuzzy technique according to an exemplary embodiment of the present invention includes a fuzzy inference process, which is based on a fuzzy if-then rule designed for video deinterlacing, (S100).

이때, 지식데이터베이스에 저장되는 퍼지 추론은 위의 수학식 7 내지 9로 표현된다.At this time, the fuzzy inference stored in the knowledge database is expressed by Equations (7) to (9).

다음으로, 퍼지화부는 영상 스트림을 입력받아 비디오 동작(video motion)과 위치를 수학식 10 내지 수학식 12를 사용하여 퍼지 집합으로 변환시킨다(S110). Next, the fuzzy unit receives the video stream and converts the video motion and the position into a fuzzy set using Equations (10) to (12) (S110).

한편, 퍼지 추론부는 퍼지화부로부터 전달받은 퍼지 집합을 지식 데이터베이스에 저장되어 있는 퍼지 룰들에 적용하여 보간에 사용할 수 있는 퍼지 규칙들을 추론한다(S120).Meanwhile, the fuzzy inference unit applies the fuzzy set received from the fuzzy unit to the fuzzy rules stored in the knowledge database to infer the fuzzy rules that can be used for the interpolation (S120).

그리고, 디인터레이싱부는 퍼지 추론부에 의해 추론된 결과에 따라 보간을 수행하여 보간 결과를 출력한다(S130).Then, the deinterlacing unit performs the interpolation according to the result deduced by the fuzzy inference unit and outputs the interpolation result (S130).

이때, 디인터레이싱부에 의해 출력 픽셀은 수학식 12로 얻어진다.At this time, the output pixel is obtained by the de-interlacing unit in Equation (12).

이제 계속해서, 4 개의 이미지에 대한 시각적 성능 비교를 제시합니다.Continuing now, we present a comparison of visual performance for four images.

도 7은 비행기(512x512), 아키요(512x512), 페퍼(512x512), 보트 (352x288) 등의 이미지를 나타낸다.7 shows an image of an airplane 512x512, an airplane 512x512, a pepper 512x512, a boat 352x288, and the like.

본 발명에서는 LA 방법 (벤치 마크 1)과 에지 기반 라인 평균 (ELA, 벤치 마크 2) 방법의 두 가지 방법을 채택했다.In the present invention, two methods are adopted: an LA method (benchmark 1) and an edge-based line average (ELA, benchmark 2) method.

시각적 성능 비교를 위해 기본 벤치 마크에 대해서만 벤치 마크 2를 고려한다. 객관적인 성능 비교를 위해 벤치 마크 1과 벤치 마크 2 방법을 모두 고려한다. 시뮬레이션은 Intel Core 2 Duo CPU E8500 @ 3.16GHz에서 수행되었다.Consider benchmark 2 only for basic benchmarks for visual performance comparisons. Both benchmark 1 and benchmark 2 methods are considered for objective performance comparisons. The simulation was performed on Intel Core 2 Duo CPU E8500 @ 3.16GHz.

객관적인 시각 품질의 성능을 측정하려면 피크 신호 대 잡음비(PSNR)이 적용되고 PSNR은 다음과 같이 주어진다. 여기서 MSE는 평균 제곱 오류를 나타낸다.To measure the performance of objective visual quality, the peak signal-to-noise ratio (PSNR) is applied and the PSNR is given by Where MSE represents the mean square error.

(수학식 14)(14)

Figure 112017079675725-pat00013
Figure 112017079675725-pat00013

복원된 수치가 도 8-11에 표시된다. (a)에서 언급한 각 이미지는 원본 이미지를 보여준다. 이미지 (b)와 (c)는 벤치 마크 결과이며 제안된 방법의 결과이다.The restored values are shown in Figures 8-11. Each image mentioned in (a) shows the original image. Images (b) and (c) are benchmark results and are the result of the proposed method.

알 수 있듯이, 제안된 방법은 벤치 마크보다 시각적으로 우수하다. 지붕, 가장자리 및 세부 사항에서 계단 인공물이 제거되었다. 또한 (b)의 흐려진 결과가 해결되었다.As you can see, the proposed method is visually superior to the benchmark. Stair artifacts were removed from the roof, edges and details. The blurred result of (b) was also resolved.

도 12의 (a)는 원본과 벤치 마크 사이의 차이 이미지이며, (b)는 원본과 제안 된 방법의 차이 이미지이다. Figure 12 (a) is the difference image between the original and the benchmark, and (b) is the difference image between the original and the proposed method.

알 수 있듯이 (b)의 이미지는 가장자리가 적어 벤치 마크 방법보다 성능이 우수하다.As you can see, the image of (b) has better performance than the benchmark method because it has few edges.

도 13은 밀크 이미지와 시각적인 성능 비교를 보여주며, (a) 원본 이미지, (b) 벤치 마크 1, (c) 벤치 마크 2 및 (d) 제안된 방법이다Figure 13 shows a visual comparison of milk image and visual performance, with (a) original image, (b) benchmark 1, (c) benchmark 2, and (d) proposed method

표 1은 네 개의 이미지에 대한 PSNR 및 MSE 결과를 보여준다.Table 1 shows the PSNR and MSE results for the four images.

(표 1)(Table 1)

Figure 112017079675725-pat00014
Figure 112017079675725-pat00014

이미지 품질을 향상시키기 위해 형식 변환에 퍼지 조건 규칙을 사용했다. 멤버십 헤지를 사용하여 각 멤버쉽 함수에 추가 효과를 적용했다. We used fuzzy conditional rules for format conversion to improve image quality. I applied membership effects to each membership function using membership hedges.

본 발명에서는 "fast", "slow", "homogeneity"및 "heterogeneity"의 4개의 퍼지 집합을 사용했다.In the present invention, four fuzzy sets of "fast", "slow", "homogeneity" and "heterogeneity" are used.

헤지를 적용함으로써 시각적 및 객관적인 성과를 개선할 수 있었다. 시뮬레이션 결과는 제시된 퍼지 규칙 기반 방법이 두 가지 전통적인 벤치 마크 방법보다 성능이 우수함을 나타낸다.By applying hedging, we were able to improve visual and objective performance. The simulation results show that the proposed fuzzy rule-based method outperforms two traditional benchmark methods.

100 : 지식 데이터베이스 110 : 퍼지화부
120 : 퍼지추론부 130 : 디인터레이싱부
100: knowledge database 110:
120: fuzzy inference unit 130: deinterlacing unit

Claims (8)

비디오 동작, 위치, 보간 방법 및 윈도우 크기를 퍼지 변수로 하고, 각 퍼지 변수의 논의영역상의 퍼지 집합에서 정해지는 언어 값을 기반으로한 퍼지 룰을 저장하고 있는 지식데이터베이스;
영상 스트림을 입력받아 비디오 동작과 위치를 퍼지 집합으로 변환시키는 퍼지화부;
상기 퍼지화부로부터 전달받은 퍼지 집합을 상기 지식데이터베이스에 저장되어 있는 퍼지 룰들에 적용하여 보간에 사용할 수 있는 퍼지 규칙들을 추론하는 퍼지 추론부; 및
상기 퍼지 추론부에서 추론된 퍼지 규칙들을 이용하여 디인터레이싱을 수행하는 디인터레이싱부를 포함하고,
상기 지식데이터베이스에 저장된 퍼지 룰은 아래 수학식 7 내지 9로 정의되는 퍼지기술을 이용한 영상 화질 개선 장치.
(수학식 7)
IF video motion is fast, THEN intra method is selected
Else IF video motion is slow, THEN inter method is selected
(수학식 8)
IF x(i,j) is located in homogeneity region, THEN larger window is
used
Else IF x(i,j) is located in heterogeneity region, THEN smaller window
is used
(수학식 9)
IF x(i,j) is located in homogeneity region, THEN inter method is
selected
Else IF x(i,j) is located in heterogeneity region, THEN LA method is
used
A knowledge database storing a fuzzy rule based on a language value determined by a fuzzy set on a discussion area of each fuzzy variable, using a video operation, a position, an interpolation method, and a window size as fuzzy variables;
A fuzzy unit for receiving a video stream and converting a video operation and a position into a fuzzy set;
A fuzzy inference unit for applying fuzzy sets received from the fuzzy unit to fuzzy rules stored in the knowledge database to deduce fuzzy rules that can be used for interpolation; And
And a deinterlacing unit for performing deinterlacing using the fuzzy rules derived from the fuzzy inference unit,
Wherein the fuzzy rule stored in the knowledge database is defined by the following equations (7) to (9).
(7)
IF video motion is fast , THEN intra method is selected
Else IF video motion is slow , THEN inter method is selected
(8)
IF x ( i , j ) is located in homogeneity region , THEN larger window is
used
Else IF x ( i , j ) is located in heterogeneity region , THEN smaller window
is used
(9)
IF x ( i , j ) is located in homogeneity region , THEN inter method is
selected
Else IF x ( i , j ) is located in heterogeneity region , THEN LA method is
used
청구항 1항에 있어서,
상기 지식데이터베이스에 저장된 퍼지 룰의
비디오 동작의 논의영역상의 퍼지 집합에서 정해지는 언어 값으로, "빠르다"와 "느리다"를 포함하며,
위치의 논의영역상의 퍼지 집합에서 정해지는 언어값으로 "균일 영역"과 "불균일 영역값"을 포함하고,
보간 방법의 논의영역상의 퍼지 집합에서 정해지는 언어값으로 필드내 보간, 필드간 보간, 라인 평균 보간을 포함하며,
윈도우 크기의 논의영역상의 퍼지집합에서 정해지는 언어값으로 "작은 윈도우"와 "큰 윈도우"를 포함하는 퍼지기술을 이용한 영상 화질 개선 장치.
The method according to claim 1,
The fuzzy rule stored in the knowledge database
The language values determined in the fuzzy set on the discussion area of the video operation, including "fast" and "slow"
The language value defined in the fuzzy set on the discussion area of the position includes the " uniform area " and the " non-uniform area value &
Field interpolation, inter-field interpolation, and line average interpolation as language values determined in the fuzzy set in the discussion area of the interpolation method,
An apparatus for improving image quality using a fuzzy technique including a "small window" and a "large window" as language values set in a fuzzy set on a discussion area of a window size.
삭제delete 비디오 동작, 위치, 보간 방법 및 윈도우 크기를 퍼지 변수로 하고, 각 퍼지 변수의 논의영역상의 퍼지 집합에서 정해지는 언어 값을 기반으로한 퍼지 룰을 저장하고 있는 지식데이터베이스;
영상 스트림을 입력받아 비디오 동작과 위치를 퍼지 집합으로 변환시키는 퍼지화부;
상기 퍼지화부로부터 전달받은 퍼지 집합을 상기 지식데이터베이스에 저장되어 있는 퍼지 룰들에 적용하여 보간에 사용할 수 있는 퍼지 규칙들을 추론하는 퍼지 추론부; 및
상기 퍼지 추론부에서 추론된 퍼지 규칙들을 이용하여 디인터레이싱을 수행하는 디인터레이싱부를 포함하고,
상기 퍼지화부는 영상 스트림을 입력받아 비디오 동작(video motion)과 위치를 가우스 함수를 사용하여 퍼지 집합으로 변환시키는 퍼지기술을 이용한 영상 화질 개선 장치.
A knowledge database storing a fuzzy rule based on a language value determined by a fuzzy set on a discussion area of each fuzzy variable, using a video operation, a position, an interpolation method, and a window size as fuzzy variables;
A fuzzy unit for receiving a video stream and converting a video operation and a position into a fuzzy set;
A fuzzy inference unit for applying fuzzy sets received from the fuzzy unit to fuzzy rules stored in the knowledge database to deduce fuzzy rules that can be used for interpolation; And
And a deinterlacing unit for performing deinterlacing using the fuzzy rules derived from the fuzzy inference unit,
Wherein the fuzzy unit is a fuzzy unit for receiving a video stream and converting a video motion and a position into a fuzzy set using a Gaussian function.
(A) 지식데이터베이스에 비디오 동작, 위치, 보간 방법 및 윈도우 크기를 퍼지 변수로 하고, 각 퍼지 변수의 논의영역상의 퍼지 집합에서 정해지는 언어 값을 기반으로한 퍼지 룰을 저장하는 단계;
(B) 퍼지화부가 영상 스트림을 입력받아 비디오 동작과 위치를 퍼지 집합으로 변환시키는 단계;
(C) 퍼지 추론부가 상기 퍼지화부로부터 전달받은 퍼지 집합을 상기 지식데이터베이스에 저장되어 있는 퍼지 룰들에 적용하여 보간에 사용할 수 있는 퍼지 규칙들을 추론하는 단계; 및
(D) 디인터레싱부가 상기 퍼지 추론부에서 추론된 퍼지 규칙들을 이용하여 디인터레이싱을 수행하는 단계를 포함하고,
상기 (A) 단계에서 지식데이터베이스에 저장된 퍼지 룰은 아래 수학식 7 내지 9로 정의되는 퍼지기술을 이용한 영상 화질 개선 방법.
(수학식 7)
IF video motion is fast, THEN intra method is selected
Else IF video motion is slow, THEN inter method is selected
(수학식 8)
IF x(i,j) is located in homogeneity region, THEN larger window is
used
Else IF x(i,j) is located in heterogeneity region, THEN smaller window
is used
(수학식 9)
IF x(i,j) is located in homogeneity region, THEN inter method is
selected
Else IF x(i,j) is located in heterogeneity region, THEN LA method is
used
(A) storing a fuzzy rule based on a language value set in a fuzzy set on a discussion area of each fuzzy variable, using a video operation, a position, an interpolation method, and a window size as fuzzy variables in a knowledge database;
(B) a fuzzy logic unit receiving a video stream and converting a video operation and a position into a fuzzy set;
(C) applying a fuzzy set transmitted from the fuzzy inference unit to fuzzy rules stored in the knowledge database to infer fuzzy rules that can be used for interpolation; And
(D) a de-interlacing unit performing de-interlacing using fuzzy rules derived from the fuzzy inference unit,
Wherein the fuzzy rule stored in the knowledge database in the step (A) is defined by the following equations (7) to (9).
(7)
IF video motion is fast , THEN intra method is selected
Else IF video motion is slow , THEN inter method is selected
(8)
IF x ( i , j ) is located in homogeneity region , THEN larger window is
used
Else IF x ( i , j ) is located in heterogeneity region , THEN smaller window
is used
(9)
IF x ( i , j ) is located in homogeneity region , THEN inter method is
selected
Else IF x ( i , j ) is located in heterogeneity region , THEN LA method is
used
청구항 5항에 있어서,
상기 지식데이터베이스에 저장된 퍼지 룰의
비디오 동작의 논의영역상의 퍼지 집합에서 정해지는 언어 값으로, "빠르다"와 "느리다"를 포함하며,
위치의 논의영역상의 퍼지 집합에서 정해지는 언어값으로 "균일 영역"과 "불균일 영역값"을 포함하고,
보간 방법의 논의영역상의 퍼지 집합에서 정해지는 언어값으로 필드내 보간, 필드간 보간, 라인 평균 보간을 포함하며,
윈도우 크기의 논의영역상의 퍼지집합에서 정해지는 언어값으로 "작은 윈도우"와 "큰 윈도우"를 포함하는 퍼지기술을 이용한 영상 화질 개선 방법.
The method of claim 5,
The fuzzy rule stored in the knowledge database
The language values determined in the fuzzy set on the discussion area of the video operation, including "fast" and "slow"
The language value defined in the fuzzy set on the discussion area of the position includes the " uniform area " and the " non-uniform area value &
Field interpolation, inter-field interpolation, and line average interpolation as language values determined in the fuzzy set in the discussion area of the interpolation method,
A method for improving image quality using a fuzzy technique including a "small window" and a "large window" as language values set in a fuzzy set on a discussion area of a window size.
삭제delete (A) 지식데이터베이스에 비디오 동작, 위치, 보간 방법 및 윈도우 크기를 퍼지 변수로 하고, 각 퍼지 변수의 논의영역상의 퍼지 집합에서 정해지는 언어 값을 기반으로한 퍼지 룰을 저장하는 단계;
(B) 퍼지화부가 영상 스트림을 입력받아 비디오 동작과 위치를 퍼지 집합으로 변환시키는 단계;
(C) 퍼지 추론부가 상기 퍼지화부로부터 전달받은 퍼지 집합을 상기 지식데이터베이스에 저장되어 있는 퍼지 룰들에 적용하여 보간에 사용할 수 있는 퍼지 규칙들을 추론하는 단계; 및
(D) 디인터레싱부가 상기 퍼지 추론부에서 추론된 퍼지 규칙들을 이용하여 디인터레이싱을 수행하는 단계를 포함하고,
상기 (B) 단계에서 상기 퍼지화부는 영상 스트림을 입력받아 비디오 동작(video motion)과 위치를 가우스 함수를 사용하여 퍼지 집합으로 변환시키는 퍼지기술을 이용한 영상 화질 개선 방법.
(A) storing a fuzzy rule based on a language value set in a fuzzy set on a discussion area of each fuzzy variable, using a video operation, a position, an interpolation method, and a window size as fuzzy variables in a knowledge database;
(B) a fuzzy logic unit receiving a video stream and converting a video operation and a position into a fuzzy set;
(C) applying a fuzzy set transmitted from the fuzzy inference unit to fuzzy rules stored in the knowledge database to infer fuzzy rules that can be used for interpolation; And
(D) a de-interlacing unit performing de-interlacing using fuzzy rules derived from the fuzzy inference unit,
In the step (B), the fuzzing unit receives a video stream and converts a video motion and a position into a fuzzy set using a Gaussian function.
KR1020170104568A 2017-08-18 2017-08-18 Apparatus and method for enhancing image quality using fuzzy technology KR101936627B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170104568A KR101936627B1 (en) 2017-08-18 2017-08-18 Apparatus and method for enhancing image quality using fuzzy technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170104568A KR101936627B1 (en) 2017-08-18 2017-08-18 Apparatus and method for enhancing image quality using fuzzy technology

Publications (1)

Publication Number Publication Date
KR101936627B1 true KR101936627B1 (en) 2019-01-09

Family

ID=65017513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170104568A KR101936627B1 (en) 2017-08-18 2017-08-18 Apparatus and method for enhancing image quality using fuzzy technology

Country Status (1)

Country Link
KR (1) KR101936627B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210136328A (en) * 2020-05-07 2021-11-17 인천대학교 산학협력단 Structure and gradient-based image interpolation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100946202B1 (en) 2009-04-02 2010-03-09 주식회사 케이디파워 Sensitive illumination system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100946202B1 (en) 2009-04-02 2010-03-09 주식회사 케이디파워 Sensitive illumination system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gwanggil Jeon ET AL:"Locally estimated heterogeneity property and its fuzzy filter application for deinterlacing", Information Sciences, Volume 354, 1 August 2016, Pages 112-130(2016.08.01.)*
Piedad Brox ET AL:"Fuzzy logic-based embedded system for video de-interlacing", Applied Soft Computing, Volume 14, Part C, January 2014, Pages 338-346(2014.1.31.)*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210136328A (en) * 2020-05-07 2021-11-17 인천대학교 산학협력단 Structure and gradient-based image interpolation
KR102336387B1 (en) * 2020-05-07 2021-12-07 인천대학교 산학협력단 Structure and gradient-based image interpolation

Similar Documents

Publication Publication Date Title
CN109102462B (en) Video super-resolution reconstruction method based on deep learning
US5974192A (en) System and method for matching blocks in a sequence of images
WO2002102086A2 (en) Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
KR0174454B1 (en) Method and apparatus for thinning edge line in feature point based motion compensation
Jeon et al. Concept of linguistic variable-based fuzzy ensemble approach: application to interlaced HDTV sequences
Chaitanya et al. Single image dehazing using improved cycleGAN
Lee et al. Regression-based prediction for blocking artifact reduction in JPEG-compressed images
CN109767389B (en) Self-adaptive weighted double-norm remote sensing image blind super-resolution reconstruction method based on local and non-local combined prior
Son Inverse halftoning through structure-aware deep convolutional neural networks
KR101936627B1 (en) Apparatus and method for enhancing image quality using fuzzy technology
Liu et al. Adaptive postprocessing algorithms for low bit rate video signals
Chen et al. Saliency-directed color image interpolation using artificial neural network and particle swarm optimization
Tavassoli et al. A new method for impulse noise reduction from digital images based on adaptive neuro-fuzzy system and fuzzy wavelet shrinkage
Lin Partition belief median filter based on Dempster–Shafer theory for image processing
Coelho et al. Data-driven motion estimation with spatial adaptation
Pang et al. A fast NL-means method in image denoising based on the similarity of spatially sampled pixels
Van De Ville et al. Fuzzy-based motion detection and its application to de-interlacing
CN112364200B (en) Brain-like imaging method, device, equipment and storage medium
JP3743077B2 (en) Image signal conversion apparatus and method
Jeon An Expert System using Conditional Rules
Rajaei et al. An analysis of multi-stage progressive image restoration network (MPRNet)
Subhashini Quantum Dot cellular automato process in image processing techniques
Son Inverse halftoning through structure-aware deep convolutional neural networks
Shivagunde et al. Saliency guided image super-resolution using PSO and MLP based interpolation in wavelet domain
Kim et al. Image coding based on selective super-resolution network

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant