KR20220072405A - Method for processing image based on correcting image using boundart area expansion and apparatus using the same - Google Patents

Method for processing image based on correcting image using boundart area expansion and apparatus using the same Download PDF

Info

Publication number
KR20220072405A
KR20220072405A KR1020200159967A KR20200159967A KR20220072405A KR 20220072405 A KR20220072405 A KR 20220072405A KR 1020200159967 A KR1020200159967 A KR 1020200159967A KR 20200159967 A KR20200159967 A KR 20200159967A KR 20220072405 A KR20220072405 A KR 20220072405A
Authority
KR
South Korea
Prior art keywords
image
block
processing
boundary region
lossy compression
Prior art date
Application number
KR1020200159967A
Other languages
Korean (ko)
Inventor
김영세
김건우
김용균
박소희
한진희
허영준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200159967A priority Critical patent/KR20220072405A/en
Publication of KR20220072405A publication Critical patent/KR20220072405A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 방법 및 이를 이용한 장치가 개시된다. 본 발명의 일실시예에 따른 이미지 처리 방법은 이미지 변형 처리를 위해 블록화된 원본 이미지의 각 블록마다 블록 확장을 수행하는 단계; 상기 경계 영역이 확장된 블록들로 이루어진 확장된 이미지에 대해 이미지 변형 처리를 수행하고, 손실 압축 방식으로 압축하는 단계; 및 이미지 변형 처리 및 손실 압축된 상기 확장된 이미지에 대해 압축 해제 및 이미지 복원을 수행한 뒤 상기 각 블록마다 블록 축소를 수행하여 복원 이미지를 생성하는 단계를 포함한다.Disclosed are an image processing method based on image correction using boundary region extension and an apparatus using the same. An image processing method according to an embodiment of the present invention includes: performing block expansion for each block of a blocked original image for image transformation processing; performing image transformation processing on an extended image composed of blocks in which the boundary region is extended, and compressing the image using a lossy compression method; and performing decompression and image restoration on the image transformation processing and lossy compression of the expanded image, and then performing block reduction for each block to generate a restored image.

Description

경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 방법 및 이를 이용한 장치 {METHOD FOR PROCESSING IMAGE BASED ON CORRECTING IMAGE USING BOUNDART AREA EXPANSION AND APPARATUS USING THE SAME}Image processing method based on image correction using boundary area expansion and device using the same

본 발명은 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 기술에 관한 것으로, 특히 이미지 변형 및 압축 저장 기술을 사용하는 이미지 처리 분야에서 처리된 이미지의 화질 열화로 인한 문제를 효과적으로 보정할 수 있는 기술에 관한 것이다.The present invention relates to image processing technology based on image correction using boundary region extension, and in particular, to a technology capable of effectively correcting a problem caused by image quality deterioration in the image processing field using image transformation and compression storage technology. it's about

이미지 압축 기술에 있어서 JPEG로 대표되는 손실 압축 기술은 기본적으로 화질 열화가 발생하게 된다. 하지만, 이러한 손실 압축이 적용된 이미지 파일은 압축률에 따른 화질의 차이는 있을 수 있겠지만, 전용 이미지 뷰어를 이용하면 사람의 눈으로 보았을 때 원본 이미지와 동일한 형상으로 식별할 수 있을 수준으로 디스플레이 된다. In image compression technology, lossy compression technology represented by JPEG basically causes image quality deterioration. However, the image file to which such lossy compression is applied may have a difference in image quality depending on the compression ratio, but when a dedicated image viewer is used, the image file is displayed at a level that can be identified as the same shape as the original image when viewed with the human eye.

그러나, 특정 이미지 처리의 경우에는 해당 이미지 처리를 통해 변형된 이미지를 손실 압축 기술을 이용하여 압축 이미지로 저장하면, 해당 이미지를 원본 이미지의 형상으로 복원할 때 손실 압축 과정에서 발생하는 화질 열화가 노이즈를 발생시켜서 복원된 형상의 식별에 어려움을 야기할 수 있다.However, in the case of specific image processing, if the image transformed through the image processing is saved as a compressed image using lossy compression technology, when the image is restored to the shape of the original image, the image quality deterioration that occurs during the lossy compression process is noise may cause difficulties in identifying the restored shape.

이러한 화질 열화의 문제를 발생시킬 수 있는 이미지 변형과 손실 압축의 예로 블록 단위 셔플링 기반의 이미지 비식별화 처리 방법을 들 수 있다. An example of image deformation and lossy compression that can cause such image quality degradation is an image de-identification processing method based on block unit shuffling.

예를 들어, 블록 단위 셔플링 기반의 이미지 비식별화 처리 방법은 먼저 전체 이미지를 특정 블록 사이즈로 나누고, 각 블록을 임의의 방법으로 위치 변환한 후 손실 압축 기술을 이용하여 저장한다. 이 후, 저장된 이미지를 전달받은 측에서 다시 각 블록을 원래의 위치로 되돌리고 원본 이미지의 형상으로 복원하는 경우, 앞선 손실 압축 과정에서 발생한 화질 열화가 복원 이미지 내의 노이즈를 발생시키는 문제가 발생한다. 이처럼, 임의의 모양과 크기로 블록을 나누어 블록의 위치나 값을 변형하는 방식의 이미지 처리의 경우에 각 블록들이 서로 만나는 경계가 생성되는데, 이렇게 변형된 이미지를 손실 압축 기술을 통해 저장할 때 화질 열화가 발생한다. 이렇게 화질 열화가 발생한 이미지를 원본 이미지로 복원하는 경우에 노이즈를 발생시키게 된다.For example, the image de-identification processing method based on block unit shuffling first divides the entire image into a specific block size, transforms each block position in an arbitrary method, and stores it using a lossy compression technique. After that, when the receiving side of the stored image returns each block to its original position and restores the original image shape, there is a problem in that the image quality deterioration generated in the previous lossy compression process generates noise in the restored image. As such, in the case of image processing in which blocks are divided into arbitrary shapes and sizes and the positions or values of blocks are modified, a boundary is created where each block meets each other. occurs When the image in which the image quality has deteriorated in this way is restored to the original image, noise is generated.

한국 공개 특허 제10-2007-0082544호, 2007년 8월 21일 공개(명칭: 이미지 보간 방법)Korean Patent Laid-Open Patent No. 10-2007-0082544, published on August 21, 2007 (Title: Image interpolation method)

본 발명의 목적은 특정 이미지 처리 과정에서 발생하는 화질 열화로 인한 노이즈를 효과적으로 제거하여 복원 이미지의 화질을 보정할 수 있는 기술을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a technique capable of correcting the image quality of a restored image by effectively removing noise caused by image quality deterioration occurring in a specific image processing process.

또한, 본 발명의 목적은 기존의 이미지 보정에 관련된 방식들을 사용하지 않고, 이미지 처리 과정에 노이즈를 제거하기 위한 이미지 보정 단계를 포함시킴으로써 이미지 처리 과정에서 발생하는 노이즈를 용이하게 제거하는 것이다.Another object of the present invention is to easily remove noise generated in an image processing process by including an image correction step for removing noise in an image processing process without using existing image correction methods.

상기한 목적을 달성하기 위한 본 발명에 따른 이미지 처리 방법은 이미지 변형 처리를 위해 블록화된 원본 이미지의 각 블록마다 블록 확장을 수행하는 단계; 상기 경계 영역이 확장된 블록들로 이루어진 확장된 이미지에 대해 이미지 변형 처리를 수행하고, 손실 압축 방식으로 압축하는 단계; 및 이미지 변형 처리 및 손실 압축된 상기 확장된 이미지에 대해 압축 해제 및 이미지 복원을 수행한 뒤 상기 각 블록마다 블록 축소를 수행하여 복원 이미지를 생성하는 단계를 포함한다.An image processing method according to the present invention for achieving the above object includes: performing block expansion for each block of a blocked original image for image transformation processing; performing image transformation processing on an extended image composed of blocks in which the boundary region is extended, and compressing the image using a lossy compression method; and performing decompression and image restoration on the image transformation processing and lossy compression of the expanded image, and then performing block reduction for each block to generate a restored image.

이 때, 블록 확장은 상기 각 블록마다 4개의 변들에 상응하는 각각의 경계 영역에 기설정된 개수의 추가 픽셀을 추가하는 과정에 상응할 수 있다. In this case, block expansion may correspond to a process of adding a predetermined number of additional pixels to each boundary area corresponding to four sides of each block.

이 때, 블록 확장을 수행하는 단계는 상기 4개의 변들에 상응하는 각각의 경계 영역과 동일한 값을 상기 각각의 경계 영역에 추가된 상기 기설정된 개수의 추가 픽셀에 입력할 수 있다.In this case, performing the block expansion may include inputting the same value as each of the boundary regions corresponding to the four sides to the preset number of additional pixels added to each of the boundary regions.

이 때, 기설정된 개수의 추가 픽셀은 원본 이미지 및 상기 손실 압축 방식에 의한 왜곡 정도 중 적어도 하나를 고려하여 결정할 수 있다.In this case, the predetermined number of additional pixels may be determined in consideration of at least one of the original image and the degree of distortion by the lossy compression method.

이 때, 블록 축소는 상기 각 블록마다 4개의 변들에 상응하는 각각의 경계 영역에서 상기 기설정된 개수의 추가 픽셀을 제거하는 과정에 상응할 수 있다.In this case, the block reduction may correspond to a process of removing the predetermined number of additional pixels from each boundary area corresponding to four sides of each block.

또한, 본 발명의 일실시예에 따른 이미지 처리 장치는, 이미지 변형 처리를 위해 블록화된 원본 이미지의 각 블록마다 블록 확장을 수행하고, 상기 경계 영역이 확장된 블록들로 이루어진 확장된 이미지에 대해 이미지 변형 처리를 수행하고, 손실 압축 방식으로 압축하고, 이미지 변형 처리 및 손실 압축된 상기 확장된 이미지에 대해 압축 해제 및 이미지 복원을 수행한 뒤 상기 각 블록마다 블록 축소를 수행하여 복원 이미지를 생성하는 프로세서; 및 메모리를 포함한다.In addition, the image processing apparatus according to an embodiment of the present invention performs block expansion for each block of the original blocked image for image transformation processing, and provides an image with respect to the expanded image including blocks in which the boundary area is expanded. A processor that performs transformation processing, compresses in a lossy compression method, performs image transformation processing and decompression and image restoration on the lossy compressed image, and then performs block reduction for each block to generate a restored image ; and memory.

이 때, 블록 확장은 상기 각 블록마다 4개의 변들에 상응하는 각각의 경계 영역에 기설정된 개수의 추가 픽셀을 추가하는 과정에 상응할 수 있다.In this case, block expansion may correspond to a process of adding a predetermined number of additional pixels to each boundary area corresponding to four sides of each block.

이 때, 프로세서는 상기 4개의 변들에 상응하는 각각의 경계 영역과 동일한 값을 상기 각각의 경계 영역에 추가된 상기 기설정된 개수의 추가 픽셀에 입력할 수 있다.In this case, the processor may input the same value as each of the boundary regions corresponding to the four sides to the preset number of additional pixels added to each of the boundary regions.

이 때, 기설정된 개수의 추가 픽셀은 원본 이미지 및 상기 손실 압축 방식에 의한 왜곡 정도 중 적어도 하나를 고려하여 결정될 수 있다.In this case, the predetermined number of additional pixels may be determined in consideration of at least one of the original image and the degree of distortion by the lossy compression method.

이 때, 블록 축소는 상기 각 블록마다 4개의 변들에 상응하는 각각의 경계 영역에서 상기 기설정된 개수의 추가 픽셀을 제거하는 과정에 상응할 수 있다.In this case, the block reduction may correspond to a process of removing the predetermined number of additional pixels from each boundary area corresponding to four sides of each block.

본 발명에 따르면, 특정 이미지 처리 과정에서 발생하는 화질 열화로 인한 노이즈를 효과적으로 제거하여 복원 이미지의 화질을 보정할 수 있는 기술을 제공할 수 있다.According to the present invention, it is possible to provide a technique capable of correcting the image quality of a restored image by effectively removing noise due to image quality deterioration occurring in a specific image processing process.

또한, 본 발명은 기존의 이미지 보정에 관련된 방식들을 사용하지 않고, 이미지 처리 과정에 노이즈를 제거하기 위한 이미지 보정 단계를 포함시킴으로써 이미지 처리 과정에서 발생하는 노이즈를 용이하게 제거할 수 있다.In addition, according to the present invention, noise generated in the image processing process can be easily removed by including an image correction step for removing noise in the image processing process without using existing image correction methods.

도 1 내지 도 4는 본 발명에서 해결하고자 하는 이미지 처리 및 손실 압축으로 인해 발생하는 화질 열화 문제의 일 예를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 방법을 나타낸 동작흐름도이다.
도 6은 본 발명에 따른 경계 영역의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따라 블록 확장을 수행한 경계 영역의 일 예를 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 이미지 처리 방법 중 이미지를 변형 및 압축하는 과정을 상세하게 나타낸 동작흐름도이다.
도 9는 본 발명의 일실시예에 따른 이미지 처리 방법 중 변형 및 압축된 이미지를 복원하는 과정을 상세하게 나타낸 동작흐름도이다.
도 10 내지 도 13은 도 1 내지 도 4에 도시된 화질 열화 문제를 본 발명에 따라 보정한 결과의 일 예를 나타낸 도면이다.
도 14는 본 발명의 일실시예에 따른 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 장치를 나타낸 블록도이다.
1 to 4 are diagrams illustrating an example of a problem of image quality deterioration caused by image processing and lossy compression to be solved in the present invention.
5 is a flowchart illustrating an image processing method based on image correction using boundary region extension according to an embodiment of the present invention.
6 is a diagram illustrating an example of a boundary area according to the present invention.
7 is a diagram illustrating an example of a boundary area in which block expansion is performed according to the present invention.
8 is a detailed operation flowchart illustrating a process of transforming and compressing an image in an image processing method according to an embodiment of the present invention.
9 is a detailed operation flowchart illustrating a process of restoring a deformed and compressed image in an image processing method according to an embodiment of the present invention.
10 to 13 are diagrams illustrating an example of a result of correcting the image quality deterioration problem shown in FIGS. 1 to 4 according to the present invention.
14 is a block diagram illustrating an image correction-based image processing apparatus using boundary region extension according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings as follows. Here, repeated descriptions, well-known functions that may unnecessarily obscure the gist of the present invention, and detailed descriptions of configurations will be omitted. The embodiments of the present invention are provided in order to more completely explain the present invention to those of ordinary skill in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer description.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1 내지 도 4는 본 발명에서 해결하고자 하는 이미지 처리 및 손실 압축으로 인해 발생하는 화질 열화 문제의 일 예를 나타낸 도면이다.1 to 4 are diagrams illustrating an example of a problem of image quality deterioration caused by image processing and lossy compression to be solved in the present invention.

먼저, 도 1을 참조하면, 원본 이미지를 이미지 변형 처리하여 변형 및 압축 이미지를 생성한 뒤, 이 이미지를 다시 이미지 복원 처리를 통해 복원 이미지로 복원하는 과정을 도시한 것이다. First, referring to FIG. 1 , a process of restoring an original image to a restored image through image restoration processing after generating a transformed and compressed image by image transformation processing is shown.

이 때, 변형 및 압축 이미지는, 원본 이미지에 대해 임의의 블록 단위로 나누는 블록화를 수행하고, 전체 블록을 셔플링하는 이미지 변형 처리를 수행한 이후에 이를 손실 압축 방식으로 저장하여 생성될 수 있다. In this case, the deformed and compressed image may be generated by performing blockization by dividing the original image into arbitrary block units, performing image transformation processing of shuffling the entire block, and then storing it in a lossy compression method.

이 때, 도 2는 도 1에 도시된 복원 이미지를 확대하여 나타낸 것으로, 이미지 변형 처리 과정에서의 화질 열화로 인해 원본 이미지에는 없던 노이즈가 발생한 것을 확인할 수 있다. At this time, FIG. 2 is an enlarged view of the restored image shown in FIG. 1 , and it can be seen that noise that was not present in the original image occurred due to image quality deterioration in the image transformation process.

또한, 도 3은 도 1에서 적용한 이미지 변형 처리와 손실 압축 과정을 동일하게 수행하되, 블록화 이후에 각 블록을 RGB 3개의 채널로 나누어 채널 별로 독립적으로 셔플링하는 방식을 적용한 과정을 도시한 것이다. In addition, FIG. 3 shows a process in which the image transformation processing and lossy compression process applied in FIG. 1 are performed in the same manner, but after blockage, each block is divided into three RGB channels, and a method of independently shuffling for each channel is applied.

이 때, RGB 대신 YUV, HSV 등 다양한 컬러 기반의 채널 분리 방식을 적용할 수도 있다.In this case, various color-based channel separation methods such as YUV and HSV may be applied instead of RGB.

이 때, 도 4는 도 3에 도시된 복원 이미지를 확대하여 나타낸 것으로, 도 2에 도시된 복원 이미지보다 더 많은 노이즈를 포함하고 있음을 확인할 수 있다. At this time, FIG. 4 is an enlarged view of the restored image shown in FIG. 3 , and it can be confirmed that the restored image shown in FIG. 2 includes more noise.

그리고, 도 2와 도 4에 도시된 복원 이미지는 공통적으로 블록의 경계 영역에서 노이즈가 발생하였음을 확인할 수 있다. In addition, it can be confirmed that noise is generated in the boundary region of the block in common in the restored images shown in FIGS. 2 and 4 .

이 때, 이미지 변형 처리는 원본 이미지에 대해 이루어지는 특정한 이미지 처리를 의미할 수 있다. 특히, 본 발명에 의한 이미지 변형 처리로 경계 영역이 생성되고, 이후에 손실 압축 저장이 이루어지는 경우에 화질 열화가 발생하는 이미지 처리를 의미할 수 있다. 예를 들어, 원본 이미지를 특정 블록 단위로 나누고, 각 블록을 셔플링하는 처리 기법일 수 있다. In this case, the image modification processing may refer to a specific image processing performed on the original image. In particular, it may refer to image processing in which image quality is deteriorated when a boundary region is generated by the image transformation processing according to the present invention and lossy compression storage is performed thereafter. For example, it may be a processing technique of dividing the original image into specific blocks and shuffling each block.

이 때, 블록은 입력된 이미지 데이터에 대한 이미지 처리를 적용함에 있어, 이미지를 임의의 크기로 나누어 처리하기 위한 단위를 의미할 수 있다. 일반적으로 동일한 너비와 높이를 가지는 블록을 적용하지만, 필요에 따라 다양한 형상과 크기의 블록을 적용할 수도 있다.In this case, the block may mean a unit for processing the image by dividing the image into arbitrary sizes when image processing is applied to the input image data. In general, blocks having the same width and height are applied, but blocks of various shapes and sizes may be applied as needed.

이 때, 손실 압축은 원본 이미지를 압축하는 기술 중 원본 이미지의 손실이 발생하는 압축 기술을 의미할 수 있다. 해당 기술의 대표적인 예로 JPEG 압축 기술을 들 수 있다.In this case, lossy compression may refer to a compression technique in which loss of the original image occurs among techniques for compressing the original image. A typical example of the technology is the JPEG compression technology.

이 때, 이미지 복원 처리는 이미지 변형 처리를 통해 변형된 이미지를 다시 원래의 형상으로 복원하는 것을 의미할 수 있다. 본 발명에서는 이미지 변형 처리 후 손실 압축 방식으로 저장된 이미지를 대상으로 이미지 복원 처리를 수행하므로 복원의 의미가 최초의 입력 이미지와 물리적으로 동일한 이미지로 복원하는 것이 아니라 사람의 눈으로 보았을 때 동일한 형상으로 식별될 수 있도록 복원하는 것을 의미할 수 있다. 따라서, 본 발명에서 고려하는 각 단계의 이미지는 최초 입력 단계의 원본 이미지, 이미지 변형 처리 및 손실 압축 단계 이후의 변형 및 압축 이미지, 그리고 복원 단계 이후의 복원 이미지 등으로 구분할 수 있다. In this case, the image restoration process may mean restoring an image deformed through the image transformation process back to an original shape. In the present invention, since image restoration processing is performed on an image stored in a lossy compression method after image transformation processing, the meaning of restoration is not to restore the image physically identical to the original input image, but to identify the same shape as seen by the human eye. It may mean to restore it to become possible. Therefore, the image of each stage considered in the present invention can be divided into an original image of the initial input stage, a deformed and compressed image after the image transformation processing and lossy compression stage, and a restored image after the restoration stage.

이 때, 화질 열화는, 이미지 변형 처리를 통해 생성된 경계 영역 등일 손실 압축 과정에서 손실되어 화질이 저하되는 것을 의미할 수 잇다. 이러한 화질 열화로 인해, 이미지 복원 처리 후에 생성된 복원 이미지에서 원본 이미지와 달리 경계 영역에서 특정한 노이즈가 발생할 수 있다. In this case, the image quality deterioration may mean that the image quality deteriorates due to loss in the lossy compression process, such as a boundary region generated through image deformation processing. Due to such quality deterioration, a specific noise may occur in the boundary region, unlike the original image, in the restored image generated after the image restoration process.

이 때, 경계 영역은 이미지 변형 처리로 인해 생성된 블록이 만나는 경계를 의미할 수 있다. 예를 들어, 블록의 위치나 값의 변경으로 인해, 기존에는 존재하지 않았던 블록 간의 밝기나 색상의 차이가 큰 경계 영역이 생성될 수 있다. In this case, the boundary region may mean a boundary where blocks generated by image transformation processing meet. For example, a boundary region having a large difference in brightness or color between blocks that did not exist before may be generated due to a change in the position or value of the block.

손실 압축은 기본적으로 사람 눈에 민감한 저주파 영역은 가능한 유지하고, 사람 눈에 둔감한 고주파 영역인 경계나 모서리 등의 영역 제거를 통해 압축을 수행하기 때문에 손실 압축 과정에서 경계 영역으로 인한 화질 열화가 발생할 수 있다. 즉, 블록화 기반의 이미지 변형 처리는, 원본 이미지에 존재하지 않던 경계 영역이 발생하게 되어 손실 압축 과정에서 경계 영역의 화질 열화가 필연적으로 발생하게 된다. Lossy compression basically maintains the low-frequency region that is sensitive to the human eye as much as possible, and performs compression by removing regions such as boundaries and corners, which are high-frequency regions that are insensitive to the human eye. can That is, in the block-based image transformation process, a boundary region that did not exist in the original image is generated, and thus the image quality of the boundary region is inevitably deteriorated during the lossy compression process.

또한, 도 1 내지 도 4에서 발생하는 화질 열화 문제는 이미지 변형 처리 또는 손실 압축 중 어느 하나가 원인이 되어 발생하는 문제가 아니라 이미지 변형 처리 후 손실 압축이 수행될 때 발생하게 된다. 즉, 임의의 블록 단위로 전체 이미지를 나누고 이 블록들을 셔플링하는 이미지 변형 처리로 인해 기존에 존재하지 않던 블록 간의 경계가 발생하게 되고, 이를 손실 압축할 경우에 블록 간의 경계 영역의 값이 손실되는 왜곡이 발생하여 복원 이미지에 노이즈가 생성되는 화질 열화 문제가 발생하는 것이다. 더하여, 이미지 처리가 보다 경계 영역 문제를 키우는 상황, 예를 들어 블록 단위로 나누는 것에 RGB, YUV, HSV 등 채널 분리까지 추가하여 셔플링을 수행한 경우에는 블록 간의 명암이나 색상 차이가 더욱 커지게 되어 경계 영역으로 인한 노이즈가 증가할 수 있다. In addition, the problem of image quality deterioration occurring in FIGS. 1 to 4 is not caused by either image deformation processing or lossy compression, but occurs when lossy compression is performed after image deformation processing. In other words, due to image transformation processing that divides the entire image in arbitrary block units and shuffles these blocks, a boundary between blocks that did not exist before occurs, and when lossy compression is performed, the value of the boundary region between blocks is lost. A problem of image quality degradation occurs in that distortion occurs and noise is generated in the restored image. In addition, in a situation where image processing increases the boundary area problem, for example, when shuffling is performed by adding channel separation such as RGB, YUV, HSV to the division into blocks, the contrast or color difference between blocks becomes larger. Noise due to the boundary region may increase.

따라서, 본 발명에서는 이미지 변형 처리 후 손실 압축으로 인한 복원 이미지의 화질 열화 문제를 해결하기 위하여 경계 영역의 확장을 통한 효과적인 이미지 보정을 수행하는 이미지 처리 방법을 제안하고자 한다.Accordingly, the present invention intends to propose an image processing method for effectively performing image correction through extension of a boundary region in order to solve the problem of image quality deterioration of a restored image due to lossy compression after image deformation processing.

도 5는 본 발명의 일실시예에 따른 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 방법을 나타낸 동작흐름도이다.5 is a flowchart illustrating an image processing method based on image correction using boundary region extension according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 방법은 이미지 변형 처리를 위해 블록화된 원본 이미지의 각 블록마다 블록 확장을 수행한다(S510).Referring to FIG. 5 , in the image processing method based on image correction using boundary region extension according to an embodiment of the present invention, block extension is performed for each block of a blocked original image for image transformation processing ( S510 ).

예를 들어, 이미지 변형 처리를 위해 블록화된 원본 이미지는 도 6에 도시된 것처럼 블록과 블록이 만나는 경계 영역이 생성될 수 있는데, 이러한 경우 손실 압축 과정에서 경계 영역의 값들이 손실될 가능성이 높다. 이는, 압축이 실행되는 시점에서는 원본 이미지의 형상과는 무관하게 현재 블록화된 이미지만을 고려하여 압축을 수행하고, 이후에 압축 해제를 통해 블록화된 이미지의 형상을 제대로 보여질 수 있도록 하는 것만을 고려하기 때문이다. 즉, 압축 과정을 수행하는데 있어 경계 영역의 복원은 고려 대상이 아니므로, 손실 압축으로 인한 경계 영역의 손실은 필연적으로 발생하게 된다. For example, in an original image that is blocked for image transformation processing, a boundary region where blocks meet may be generated as shown in FIG. 6 . In this case, values of the boundary region are highly likely to be lost during the lossy compression process. This is to consider only the currently blocked image, irrespective of the shape of the original image, when compression is executed, and only the image that is currently blocked is considered to be compressed and then the shape of the blocked image can be properly displayed through decompression. Because. That is, since restoration of the boundary region is not considered in performing the compression process, loss of the boundary region due to lossy compression inevitably occurs.

따라서, 본 발명에서는 이러한 문제를 해결하기 위해 도 7에 도시된 것처럼 경계 영역을 확장하는 블록 확장을 통해 경계 영역으로 인한 화질 열화 문제를 최소화시킬 수 있다.Therefore, in the present invention, as shown in FIG. 7 , in order to solve this problem, it is possible to minimize the problem of image quality deterioration due to the boundary region through block expansion for extending the boundary region.

이 때, 블록화를 수행하는데 필요한 블록의 크기나 확장 크기 등에 대한 설정 값은, 사전에 정해진 고정 값을 이용할 수도 있고, 가변적으로 설정하기 위해서 입력된 원본 이미지에 따라 설정값을 생성하여 사용할 수도 있다. 이렇게 획득된 설정값을 통해 원본 이미지를 블록 크기에 따라 블록화를 수행한 뒤에 각 블록에 대해서 블록 확장을 수행할 수 있다. In this case, a predetermined fixed value may be used as a set value for the size of a block or an extension size necessary for performing blockage, or a set value may be generated and used according to an input original image in order to be set variably. Through the set value obtained in this way, after blockizing the original image according to the block size, it is possible to perform block expansion for each block.

이 때, 블록 확장은 각 블록마다 4개의 변들에 상응하는 각각의 경계 영역에 기설정된 개수의 추가 픽셀을 추가하는 과정에 상응할 수 있다. In this case, the block expansion may correspond to a process of adding a preset number of additional pixels to each boundary area corresponding to four sides of each block.

이 때, 기설정된 개수의 추가 픽셀은 원본 이미지 및 손실 압축 방식에 의한 왜곡 정도 중 적어도 하나를 고려하여 결정될 수 있다.In this case, the predetermined number of additional pixels may be determined in consideration of at least one of the original image and the degree of distortion by the lossy compression method.

이 때, 4개의 변들에 상응하는 각각의 경계 영역과 동일한 값을 각각의 경계 영역에 추가된 기설정된 개수의 추가 픽셀에 입력할 수 있다. In this case, the same value as each boundary area corresponding to the four sides may be input to a preset number of additional pixels added to each boundary area.

예를 들어, 도 7을 참조하면, 실제 블록의 경계 영역에 위치하는 픽셀 값과 동일한 값을 가지는 픽셀을 기설정된 개수만큼 경계 영역에 추가하여 블록을 확장한 것을 확인할 수 있다. 만약, 블록의 크기가 10x10이라고 가정한다면, 4변의 경계 영역에 각각 2 픽셀을 추가하여 14x14 크기의 블록으로 확장할 수 있다. For example, referring to FIG. 7 , it can be confirmed that the block is expanded by adding a preset number of pixels having the same value as the pixel value located in the boundary area of the actual block to the boundary area. If it is assumed that the size of the block is 10x10, it is possible to extend the block to a size of 14x14 by adding 2 pixels each to the boundary area of 4 sides.

이렇게 경계 영역에 경계 영역과 동일한 값을 가지는 픽셀을 추가함으로써, 실제로 경계 영역으로 인해 발생할 수 있는 화질 열화 문제가 실제 경계 영역의 픽셀이 아닌 추가 픽셀에서 발생하도록 유도할 수 있다. 따라서, 이미지 복원 과정에서 확장된 경계 영역은 복원 대상에서 제외되므로 손실 압축에 따른 화질 열화를 최소화할 수 있다.By adding a pixel having the same value as that of the boundary region to the boundary region in this way, it is possible to induce a problem of image quality degradation that may actually occur due to the boundary region to occur in the additional pixels instead of the pixels in the boundary region. Therefore, since the boundary region extended in the image restoration process is excluded from restoration, image quality deterioration due to lossy compression can be minimized.

또한, 본 발명의 일실시예에 따른 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 방법은 경계 영역이 확장된 블록들로 이루어진 확장된 이미지에 대해 이미지 변형 처리를 수행하고, 손실 압축 방식으로 압축한다(S520).In addition, in the image processing method based on image correction using boundary region extension according to an embodiment of the present invention, image transformation processing is performed on an extended image composed of blocks in which the boundary region is extended, and compression is performed using a lossy compression method. (S520).

예를 들어, 확장된 이미지에 대해 채널 분리 및 셔플링 등의 과정을 수행하여 이미지를 변형하고, 이렇게 변형된 이미지를 JPEG등의 손실 압축 방식으로 압축할 수 있다. For example, the image may be transformed by performing a process such as channel separation and shuffling on the expanded image, and the transformed image may be compressed using a lossy compression method such as JPEG.

또한, 본 발명의 일실시예에 따른 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 방법은 이미지 변형 처리 및 손실 압축된 확장된 이미지에 대해 압축 해제 및 이미지 복원을 수행한 뒤 각 블록마다 블록 축소를 수행하여 복원 이미지를 생성한다(S530).In addition, the image processing method based on image correction using boundary region expansion according to an embodiment of the present invention performs image transformation processing and decompression and image restoration on the lossy compressed expanded image, and then blocks reduction for each block. to generate a restored image (S530).

일반적으로 압축 해제 기능은 이미지 리더를 통해 이미지를 읽어들이는 과정에서 수행될 수 있다. In general, the decompression function may be performed in the process of reading an image through an image reader.

이렇게 입력된 확장된 이미지는 단계(S510)에서 적용되었던 확장된 블록 단위로 다시 블록화를 수행할 수 있다. 이 때, 필요한 블록 설정값들은 사전에 고정값으로 지정되어 있거나, 이미지의 메타데이터 등을 이용하여 전달 또는 제공하는 방식으로 획득할 수도 있다.The input extended image may be re-blocked in units of extended blocks applied in step S510 . In this case, the necessary block setting values may be designated as fixed values in advance, or may be obtained by transmitting or providing using metadata of an image.

이 후, 블록화가 수행된 확장된 이미지에 이미지 복원 처리를 수행할 수 있다. 이 때, 현재 적용되어 있는 이미지 변형 처리에 대응하는 이미지 복원 처리를 통해 이미지 복원을 수행할 수 있다.Thereafter, image restoration processing may be performed on the extended image on which the blocking has been performed. In this case, image restoration may be performed through image restoration processing corresponding to the currently applied image transformation processing.

이 후, 복원 이미지에 대한 블록 축소를 수행하여 화질 열화가 발생한 노이즈 영역을 제거할 수 있다.Thereafter, by performing block reduction on the reconstructed image, it is possible to remove a noise region in which image quality is deteriorated.

이 때, 블록 축소는 각 블록마다 4개의 변들에 상응하는 각각의 경계 영역에서 기설정된 개수의 추가 픽셀을 제거하는 과정에 상응할 수 있다. In this case, the block reduction may correspond to a process of removing a predetermined number of additional pixels from each boundary area corresponding to four sides of each block.

예를 들어, 도 7에서 블록 확장을 통해 추가되었던 추가 픽셀들을 제거하여 블록을 원래의 크기로 되돌리는 과정에 상응할 수 있다. 이 때, 삭제되는 추가 픽셀들은 손실 압축 과정에서 화질 열화가 발생한 영역에 해당할 수 있다. 즉, 각 블록의 경계 영역에 해당하는 픽셀들 대신에 추가 픽셀들에서 화질 열화가 발생하기 때문에, 각 블록의 경계 영역에 해당하는 픽셀들은 상대적으로 화질 열화에서 벗어날 수 있다. For example, in FIG. 7 , it may correspond to a process of returning the block to its original size by removing additional pixels added through block expansion. In this case, the additional pixels to be deleted may correspond to a region in which image quality is deteriorated during the lossy compression process. That is, since image quality deterioration occurs in additional pixels instead of pixels corresponding to the boundary region of each block, pixels corresponding to the boundary region of each block may relatively deviate from image quality deterioration.

도 10 내지 도 13은 앞선 도 1 내지 도 4에서 기술한 이미지 변형 처리 및 손실 압축을 통해 발생하는 화질 열화 문제를 본 발명에서 제안하는 이미지 처리 방법을 통해 보정한 결과의 일 예를 도시한 것이다. 10 to 13 show an example of a result of correcting the image quality deterioration problem that occurs through the image deformation processing and lossy compression described in FIGS. 1 to 4 through the image processing method proposed in the present invention.

도 10을 참조하면, 원본 이미지를 이미지 변형 처리하고 이미지 복원 처리하는 과정에서 각각 블록 확장과 블록 축소를 수행함으로써 전체 이미지 처리 과정 중에 이미지 보정이 수행된 것을 확인할 수 있다. 이 때, 도 11에 도시된 이미지는 도 10에 도시된 복원 이미지를 확대하여 나타낸 것으로, 도 2에서 보이는 노이즈가 거의 보이지 않는 상태로 보정되었음을 확인할 수 있다. Referring to FIG. 10 , it can be confirmed that image correction is performed during the entire image processing process by performing block expansion and block reduction, respectively, in the process of image transformation and image restoration processing on the original image. At this time, the image shown in FIG. 11 is an enlarged view of the restored image shown in FIG. 10 , and it can be confirmed that the noise shown in FIG. 2 is corrected to be almost invisible.

또한, 도 12를 참조하면, 원본 이미지를 이미지 변형 처리하고 이미지 복원 처리하는 과정에서 각각 블록 확장과 블록 축소를 수행함으로써 전체 이미지 처리 과정 중에 이미지 보정이 수행된 것을 확인할 수 있다. 이 때, 도 13에 도시된 이미지는 도 12에 도시된 복원 이미지를 확대하여 나타낸 것으로, 도 4의 복원 이미지에서 보이는 노이즈를 거의 제거하고, 블록 경계 영역의 흔적만 남아 있는 상태까지 보정되어 있음을 확인할 수 있다. In addition, referring to FIG. 12 , it can be confirmed that image correction is performed during the entire image processing process by performing block expansion and block reduction, respectively, in the process of image transformation processing and image restoration processing on the original image. At this time, the image shown in Fig. 13 is an enlarged view of the restored image shown in Fig. 12, and it is known that noise seen in the restored image of Fig. 4 is almost removed and corrected to a state where only traces of the block boundary area remain. can be checked

이와 같은 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 방법을 통해 특정 이미지 처리 과정에서 발생하는 화질 열화로 인한 노이즈를 효과적으로 제거하여 복원 이미지의 화질을 보정할 수 있다.The image quality of the restored image can be corrected by effectively removing noise caused by image quality degradation occurring in a specific image processing process through the image correction-based image processing method using the boundary region extension.

또한, 기존의 이미지 보정에 관련된 방식들을 사용하지 않고, 이미지 처리 과정에 노이즈를 제거하기 위한 이미지 보정 단계를 포함시킴으로써 이미지 처리 과정에서 발생하는 노이즈를 용이하게 제거할 수 있다.In addition, noise generated in the image processing process can be easily removed by including an image correction step for removing noise in the image processing process without using the existing image correction methods.

도 8은 본 발명의 일실시예에 따른 이미지 처리 방법 중 이미지를 변형 및 압축하는 과정을 상세하게 나타낸 동작흐름도이다. 8 is a detailed operation flowchart illustrating a process of transforming and compressing an image in an image processing method according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일실시예에 따른 이미지 처리 방법 중 이미지를 변형 및 압축하는 과정은 먼저 원본 이미지가 입력되면(S810), 이미지 변형 처리를 위한 블록화를 수행해야 하는데, 블록화를 수행하는데 필요한 블록의 크기나 확장 크기 등에 대한 설정값이 요구된다. Referring to FIG. 8 , in the process of transforming and compressing an image in the image processing method according to an embodiment of the present invention, when an original image is first input ( S810 ), blocking for image transformation processing must be performed. Blocking is performed. A set value for the size of the block or extension size required for this is required.

이 설정값은 사전에 정해진 고정값을 이용할 수도 있고, 입력된 원본 이미지에 따라 가변적으로 설정값을 생성하여 이용할 수도 있다. As this setting value, a predetermined fixed value may be used, or a setting value may be variably generated and used according to an input original image.

따라서, 설정값이 가변값인지 여부를 판단할 수 있다(S815).Accordingly, it may be determined whether the set value is a variable value (S815).

단계(S815)의 판단결과 설정값이 가변값이면, 원본 이미지에 따라 설정값 생성(S820)한 뒤에 생성된 설정값으로 블록화(S830)를 수행할 수 있다.If it is determined in step S815 that the set value is a variable value, the set value is generated according to the original image (S820), and then block (S830) may be performed with the generated set value.

또한, 단계(S815)의 판단결과 설정값이 가변값이 아니면, 고정된 설정값으로 블록화(S830)를 수행할 수 있다.In addition, if it is determined in step S815 that the set value is not a variable value, block (S830) may be performed with a fixed set value.

이 후, 각 블록의 경계 영역을 확장하는 블록 확장(S840)을 수행하고, 확장된 이미지에 대해 이미지 변형 처리(S850)를 수행할 수 있다.Thereafter, block expansion ( S840 ) for extending the boundary region of each block may be performed, and image transformation processing ( S850 ) may be performed on the expanded image.

이 후, 처리된 이미지의 저장을 위해서 손실 압축(S860)을 수행하고 나면, 최종적으로 변형 및 압축 이미지를 출력할 수 있다(S870).Thereafter, after lossy compression (S860) is performed for storage of the processed image, a deformed and compressed image may be finally output (S870).

도 9는 본 발명의 일실시예에 따른 이미지 처리 방법 중 변형 및 압축된 이미지를 복원하는 과정을 상세하게 나타낸 동작흐름도이다.9 is a detailed operation flowchart illustrating a process of restoring a deformed and compressed image in an image processing method according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 일실시예에 따른 이미지 처리 방법 중 변형 및 압축된 이미지를 복원하는 과정은 먼저, 본 발명에 따라 이미지 보정이 적용되어 생성된 변형 및 압축 이미지가 입력되면(S910), 압축 해제를 수행할 수 있다(S920).Referring to FIG. 9 , in the process of restoring a deformed and compressed image in the image processing method according to an embodiment of the present invention, first, when a deformed and compressed image generated by applying image correction according to the present invention is input (S910) ), decompression may be performed (S920).

이 때, 압축 해제 기능은 이미지 리더를 통해 이미지를 읽어들이는 과정에서 수행될 수 있다. In this case, the decompression function may be performed in the process of reading the image through the image reader.

이렇게 압축 해제되어 입력된 이미지는 이미지 변형 처리 과정에서 적용되었던 확장 블록 단위로 블록화를 수행할 수 있다(S930).The decompressed input image may be blocked in units of extended blocks applied in the image transformation process (S930).

이 때, 필요한 블록 설정값들은 사전에 고정값으로 지정되어 있거나, 이미지의 메타데이터 등을 이용하여 전달 또는 제공하는 방식을 통해 획득될 수도 있다.In this case, the necessary block setting values may be designated as fixed values in advance, or may be obtained through a method of transmitting or providing using metadata of an image, or the like.

이 후, 블록화가 완료되면, 현재 적용되어 있는 이미지 변형 처리에 대응하는 이미지 복원 처리를 수행하고(S940), 이미지 복원 처리가 완료된 이미지에 대해서 각 블록마다 적용된 확장된 경계 영역을 제거하여 블록 축소를 수행한다(S950).After that, when the blocking is completed, image restoration processing corresponding to the currently applied image transformation processing is performed (S940), and the image restoration processing is completed by removing the extended boundary area applied to each block to reduce the block. perform (S950).

이 후, 블록 축소를 완료하여 복원 이미지의 생성을 완료하고, 복원 이미지를 출력할 수 있다(S960).Thereafter, by completing block reduction, generation of the restored image may be completed, and the restored image may be output ( S960 ).

도 14는 본 발명의 일실시예에 따른 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 장치를 나타낸 블록도이다.14 is a block diagram illustrating an image correction-based image processing apparatus using boundary region extension according to an embodiment of the present invention.

도 14를 참조하면, 본 발명의 일실시예에 따른 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 장치는 통신부(1410), 프로세서(1420), 메모리(1430)를 포함한다.Referring to FIG. 14 , an image processing apparatus based on image correction using boundary region extension according to an embodiment of the present invention includes a communication unit 1410 , a processor 1420 , and a memory 1430 .

통신부(1410)는 네트워크와 같은 통신망을 통해 이미지 처리를 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 이 때, 네트워크는 장치들간에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다.The communication unit 1410 may serve to transmit/receive information necessary for image processing through a communication network such as a network. In this case, the network provides a path for transferring data between devices, and is a concept that encompasses both an existing network and a network that can be developed in the future.

예를 들면, 네트워크는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 등일 수 있으며, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다.For example, the network is IP Network, which provides large-capacity data transmission and reception service and data service without interruption through Internet Protocol (IP), and All IP, which is an IP network structure that integrates different networks based on IP. ) network, etc., wired network, Wibro (Wireless Broadband) network, 3G mobile communication network including WCDMA, HSDPA (High Speed Downlink Packet Access) network and 3.5G mobile communication network including LTE network, 4 including LTE advanced It may be achieved by combining one or more of a generation mobile communication network, a satellite communication network, and a Wi-Fi network.

또한, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.In addition, the network includes a wired and wireless local area network that provides communication of various information devices within a limited area, a mobile communication network that provides communication between and between mobile devices and between a mobile device and the outside of the mobile device, and a satellite communication network that provides communication between an earth station and an earth station using satellites. or any one of wired and wireless communication networks, or a combination of two or more. Meanwhile, the transmission method standard of the network is not limited to the existing transmission method standard, and may include all transmission method standards to be developed in the future.

프로세서(1420)는 이미지 변형 처리를 위해 블록화된 원본 이미지의 각 블록마다 블록 확장을 수행한다.The processor 1420 performs block expansion for each block of the original blocked image for image transformation processing.

예를 들어, 이미지 변형 처리를 위해 블록화된 원본 이미지는 도 6에 도시된 것처럼 블록과 블록이 만나는 경계 영역이 생성될 수 있는데, 이러한 경우 손실 압축 과정에서 경계 영역의 값들이 손실될 가능성이 높다. 이는, 압축이 실행되는 시점에서는 원본 이미지의 형상과는 무관하게 현재 블록화된 이미지만을 고려하여 압축을 수행하고, 이후에 압축 해제를 통해 블록화된 이미지의 형상을 제대로 보여질 수 있도록 하는 것만을 고려하기 때문이다. 즉, 압축 과정을 수행하는데 있어 경계 영역의 복원은 고려 대상이 아니므로, 손실 압축으로 인한 경계 영역의 손실은 필연적으로 발생하게 된다. For example, in an original image that is blocked for image transformation processing, a boundary region where blocks meet may be generated as shown in FIG. 6 . In this case, values of the boundary region are highly likely to be lost during the lossy compression process. This is to consider only the currently blocked image, irrespective of the shape of the original image, when compression is executed, and only the image that is currently blocked is considered to be compressed and then the shape of the blocked image can be properly displayed through decompression. Because. That is, since restoration of the boundary region is not considered in performing the compression process, loss of the boundary region due to lossy compression inevitably occurs.

따라서, 본 발명에서는 이러한 문제를 해결하기 위해 도 7에 도시된 것처럼 경계 영역을 확장하는 블록 확장을 통해 경계 영역으로 인한 화질 열화 문제를 최소화시킬 수 있다.Therefore, in the present invention, as shown in FIG. 7 , in order to solve this problem, it is possible to minimize the problem of image quality deterioration due to the boundary region through block expansion for extending the boundary region.

이 때, 블록화를 수행하는데 필요한 블록의 크기나 확장 크기 등에 대한 설정 값은, 사전에 정해진 고정 값을 이용할 수도 있고, 가변적으로 설정하기 위해서 입력된 원본 이미지에 따라 설정값을 생성하여 사용할 수도 있다. 이렇게 획득된 설정값을 통해 원본 이미지를 블록 크기에 따라 블록화를 수행한 뒤에 각 블록에 대해서 블록 확장을 수행할 수 있다. In this case, a predetermined fixed value may be used as a set value for the size of a block or an extension size necessary for performing blockage, or a set value may be generated and used according to an input original image in order to be set variably. Through the set value obtained in this way, after blockizing the original image according to the block size, it is possible to perform block expansion for each block.

이 때, 블록 확장은 각 블록마다 4개의 변들에 상응하는 각각의 경계 영역에 기설정된 개수의 추가 픽셀을 추가하는 과정에 상응할 수 있다. In this case, the block expansion may correspond to a process of adding a preset number of additional pixels to each boundary area corresponding to four sides of each block.

이 때, 기설정된 개수의 추가 픽셀은 원본 이미지 및 손실 압축 방식에 의한 왜곡 정도 중 적어도 하나를 고려하여 결정될 수 있다.In this case, the predetermined number of additional pixels may be determined in consideration of at least one of the original image and the degree of distortion by the lossy compression method.

이 때, 4개의 변들에 상응하는 각각의 경계 영역과 동일한 값을 각각의 경계 영역에 추가된 기설정된 개수의 추가 픽셀에 입력할 수 있다. In this case, the same value as each boundary area corresponding to the four sides may be input to a preset number of additional pixels added to each boundary area.

예를 들어, 도 7을 참조하면, 실제 블록의 경계 영역에 위치하는 픽셀 값과 동일한 값을 가지는 픽셀을 기설정된 개수만큼 경계 영역에 추가하여 블록을 확장한 것을 확인할 수 있다. 만약, 블록의 크기가 10x10이라고 가정한다면, 4변의 경계 영역에 각각 2 픽셀을 추가하여 14x14 크기의 블록으로 확장할 수 있다. For example, referring to FIG. 7 , it can be confirmed that the block is expanded by adding a preset number of pixels having the same value as the pixel value located in the boundary area of the actual block to the boundary area. If it is assumed that the size of the block is 10x10, it is possible to extend the block to a size of 14x14 by adding 2 pixels each to the boundary area of 4 sides.

이렇게 경계 영역에 경계 영역과 동일한 값을 가지는 픽셀을 추가함으로써, 실제로 경계 영역으로 인해 발생할 수 있는 화질 열화 문제가 실제 경계 영역의 픽셀이 아닌 추가 픽셀에서 발생하도록 유도할 수 있다. 따라서, 이미지 복원 과정에서 확장된 경계 영역은 복원 대상에서 제외되므로 손실 압축에 따른 화질 열화를 최소화할 수 있다.By adding a pixel having the same value as that of the boundary region to the boundary region in this way, it is possible to induce a problem of image quality degradation that may actually occur due to the boundary region to occur in the additional pixels instead of the pixels in the boundary region. Therefore, since the boundary region extended in the image restoration process is excluded from restoration, image quality deterioration due to lossy compression can be minimized.

또한, 프로세서(1420)는 경계 영역이 확장된 블록들로 이루어진 확장된 이미지에 대해 이미지 변형 처리를 수행하고, 손실 압축 방식으로 압축한다.In addition, the processor 1420 performs image transformation processing on the extended image composed of blocks in which the boundary region is extended, and compresses the image using a lossy compression method.

예를 들어, 확장된 이미지에 대해 채널 분리 및 셔플링 등의 과정을 수행하여 이미지를 변형하고, 이렇게 변형된 이미지를 JPEG등의 손실 압축 방식으로 압축할 수 있다. For example, the image may be transformed by performing a process such as channel separation and shuffling on the extended image, and the transformed image may be compressed using a lossy compression method such as JPEG.

또한, 프로세서(1420)는 이미지 변형 처리 및 손실 압축된 확장된 이미지에 대해 압축 해제 및 이미지 복원을 수행한 뒤 각 블록마다 블록 축소를 수행하여 복원 이미지를 생성한다.In addition, the processor 1420 generates a restored image by performing image transformation processing and decompression and image restoration on the lossy-compressed expanded image, and then performing block reduction for each block.

일반적으로 압축 해제 기능은 이미지 리더를 통해 이미지를 읽어들이는 과정에서 수행될 수 있다. In general, the decompression function may be performed in the process of reading an image through an image reader.

이렇게 입력된 확장된 이미지는 단계(S510)에서 적용되었던 확장된 블록 단위로 다시 블록화를 수행할 수 있다. 이 때, 필요한 블록 설정값들은 사전에 고정값으로 지정되어 있거나, 이미지의 메타데이터 등을 이용하여 전달 또는 제공하는 방식으로 획득할 수도 있다.The input extended image may be re-blocked in units of extended blocks applied in step S510 . In this case, the necessary block setting values may be specified as fixed values in advance, or may be obtained by transmitting or providing using metadata of an image.

이 후, 블록화가 수행된 확장된 이미지에 이미지 복원 처리를 수행할 수 있다. 이 때, 현재 적용되어 있는 이미지 변형 처리에 대응하는 이미지 복원 처리를 통해 이미지 복원을 수행할 수 있다.Thereafter, image restoration processing may be performed on the extended image on which the blocking has been performed. In this case, image restoration may be performed through image restoration processing corresponding to the currently applied image transformation processing.

이 후, 복원 이미지에 대한 블록 축소를 수행하여 화질 열화가 발생한 노이즈 영역을 제거할 수 있다.Thereafter, by performing block reduction on the reconstructed image, it is possible to remove a noise region in which image quality is deteriorated.

이 때, 블록 축소는 각 블록마다 4개의 변들에 상응하는 각각의 경계 영역에서 기설정된 개수의 추가 픽셀을 제거하는 과정에 상응할 수 있다. In this case, the block reduction may correspond to a process of removing a predetermined number of additional pixels from each boundary area corresponding to four sides of each block.

예를 들어, 도 7에서 블록 확장을 통해 추가되었던 추가 픽셀들을 제거하여 블록을 원래의 크기로 되돌리는 과정에 상응할 수 있다. 이 때, 삭제되는 추가 픽셀들은 손실 압축 과정에서 화질 열화가 발생한 영역에 해당할 수 있다. 즉, 각 블록의 경계 영역에 해당하는 픽셀들 대신에 추가 픽셀들에서 화질 열화가 발생하기 때문에, 각 블록의 경계 영역에 해당하는 픽셀들은 상대적으로 화질 열화에서 벗어날 수 있다. For example, in FIG. 7 , it may correspond to a process of returning the block to its original size by removing additional pixels added through block expansion. In this case, the additional pixels to be deleted may correspond to a region in which image quality is deteriorated during the lossy compression process. That is, since image quality deterioration occurs in additional pixels instead of pixels corresponding to the boundary region of each block, pixels corresponding to the boundary region of each block may relatively deviate from image quality deterioration.

도 10 내지 도 13은 앞선 도 1 내지 도 4에서 기술한 이미지 변형 처리 및 손실 압축을 통해 발생하는 화질 열화 문제를 본 발명에서 제안하는 이미지 처리 장치를 통해 보정한 결과의 일 예를 도시한 것이다. 10 to 13 show an example of a result of correcting the image quality deterioration problem that occurs through the image deformation processing and lossy compression described in FIGS. 1 to 4 by the image processing apparatus proposed in the present invention.

도 10을 참조하면, 원본 이미지를 이미지 변형 처리하고 이미지 복원 처리하는 과정에서 각각 블록 확장과 블록 축소를 수행함으로써 전체 이미지 처리 과정 중에 이미지 보정이 수행된 것을 확인할 수 있다. 이 때, 도 11에 도시된 이미지는 도 10에 도시된 복원 이미지를 확대하여 나타낸 것으로, 도 2에서 보이는 노이즈가 거의 보이지 않는 상태로 보정되었음을 확인할 수 있다. Referring to FIG. 10 , it can be confirmed that image correction is performed during the entire image processing process by performing block expansion and block reduction, respectively, in the process of image transformation and image restoration processing on the original image. At this time, the image shown in FIG. 11 is an enlarged view of the restored image shown in FIG. 10 , and it can be confirmed that the noise shown in FIG. 2 is corrected to be almost invisible.

또한, 도 12를 참조하면, 원본 이미지를 이미지 변형 처리하고 이미지 복원 처리하는 과정에서 각각 블록 확장과 블록 축소를 수행함으로써 전체 이미지 처리 과정 중에 이미지 보정이 수행된 것을 확인할 수 있다. 이 때, 도 13에 도시된 이미지는 도 12에 도시된 복원 이미지를 확대하여 나타낸 것으로, 도 4의 복원 이미지에서 보이는 노이즈를 거의 제거하고, 블록 경계 영역의 흔적만 남아 있는 상태까지 보정되어 있음을 확인할 수 있다. In addition, referring to FIG. 12 , it can be confirmed that image correction is performed during the entire image processing process by performing block expansion and block reduction, respectively, in the process of image transformation processing and image restoration processing on the original image. At this time, the image shown in Fig. 13 is an enlarged view of the restored image shown in Fig. 12, and it is known that noise seen in the restored image of Fig. 4 is almost removed and corrected to a state where only traces of the block boundary area remain. can be checked

메모리(1430)는 상술한 이미지 처리 과정에서 발생하는 다양한 정보를 저장한다.The memory 1430 stores various information generated in the above-described image processing process.

이와 같은 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 장치를 이용함으로써 특정 이미지 처리 과정에서 발생하는 화질 열화로 인한 노이즈를 효과적으로 제거하여 복원 이미지의 화질을 보정할 수 있다.By using the image correction-based image processing apparatus using the boundary region extension as described above, it is possible to correct the image quality of the restored image by effectively removing noise due to image quality deterioration occurring in a specific image processing process.

또한, 기존의 이미지 보정에 관련된 방식들을 사용하지 않고, 이미지 처리 과정에 노이즈를 제거하기 위한 이미지 보정 단계를 포함시킴으로써 이미지 처리 과정에서 발생하는 노이즈를 용이하게 제거할 수 있다.In addition, noise generated in the image processing process can be easily removed by including an image correction step for removing noise in the image processing process without using the existing image correction methods.

이상에서와 같이 본 발명에 따른 경계 영역 확장을 이용한 이미지 보정 기반의 이미지 처리 방법 및 이를 이용한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the configuration and method of the embodiments described above are not limitedly applicable to the image correction-based image processing method using boundary region extension and the apparatus using the same according to the present invention, but the embodiments are All or a part of each embodiment may be selectively combined and configured so that various modifications may be made.

1410: 통신부
1420: 프로세서
1430: 메모리
1410: communication department
1420: Processor
1430: memory

Claims (1)

이미지 변형 처리를 위해 블록화된 원본 이미지의 각 블록마다 블록 확장을 수행하는 단계;
상기 경계 영역이 확장된 블록들로 이루어진 확장된 이미지에 대해 이미지 변형 처리를 수행하고, 손실 압축 방식으로 압축하는 단계; 및
이미지 변형 처리 및 손실 압축된 상기 확장된 이미지에 대해 압축 해제 및 이미지 복원을 수행한 뒤 상기 각 블록마다 블록 축소를 수행하여 복원 이미지를 생성하는 단계
를 포함하는 것을 특징으로 하는 이미지 처리 방법.
performing block expansion for each block of the original blocked image for image transformation processing;
performing image transformation processing on an extended image composed of blocks in which the boundary region is extended, and compressing the image using a lossy compression method; and
Creating a restored image by performing decompression and image restoration on the image deformation processing and lossy compression of the expanded image, and then performing block reduction for each block
Image processing method comprising a.
KR1020200159967A 2020-11-25 2020-11-25 Method for processing image based on correcting image using boundart area expansion and apparatus using the same KR20220072405A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200159967A KR20220072405A (en) 2020-11-25 2020-11-25 Method for processing image based on correcting image using boundart area expansion and apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200159967A KR20220072405A (en) 2020-11-25 2020-11-25 Method for processing image based on correcting image using boundart area expansion and apparatus using the same

Publications (1)

Publication Number Publication Date
KR20220072405A true KR20220072405A (en) 2022-06-02

Family

ID=81985626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200159967A KR20220072405A (en) 2020-11-25 2020-11-25 Method for processing image based on correcting image using boundart area expansion and apparatus using the same

Country Status (1)

Country Link
KR (1) KR20220072405A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070082544A (en) 2006-02-15 2007-08-21 삼성전자주식회사 Image interpolation method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070082544A (en) 2006-02-15 2007-08-21 삼성전자주식회사 Image interpolation method

Similar Documents

Publication Publication Date Title
RU2679239C1 (en) Preprocessing and encoding pixels
US6192155B1 (en) Systems and methods for reducing boundary artifacts in hybrid compression
WO2010092740A1 (en) Image processing apparatus, image processing method, program and integrated circuit
US10531094B2 (en) Image processing device and moving image transmission method
CN109479151B (en) Pixel processing with color components
WO2012029208A1 (en) Image coding method, image decoding method, image coding device, and image decoding device
US20220385949A1 (en) Block-based compressive auto-encoder
EP1173005B1 (en) Method and apparatus for color image data processing and compression
JP2001094990A (en) Image coder
KR20170047489A (en) Apparatus for Processing Images, Method for Processing Images, and Computer Readable Recording Medium
US20190289300A1 (en) Image compression system and image compression method using image compression system
US10250891B2 (en) Video coding device, video coding method, video decoding device and video decoding method
EP0609985B1 (en) Compression factor adjustment to facilitate image display
KR20220072405A (en) Method for processing image based on correcting image using boundart area expansion and apparatus using the same
US9497357B2 (en) Image compressing/decompressing apparatus and image forming apparatus
US9646403B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN112788338B (en) Image compression and decompression method, equipment, device and storage medium
JP4380741B2 (en) Image processing device
JP5682387B2 (en) Image processing apparatus and image processing method
US9591332B2 (en) Image processing apparatus performing preprocessing to prevent boundary positions of divided rectangular regions of image data from being separated into dense and sparse portions
US8115967B2 (en) Localized signal data preservation within signal bandwidth
US20230316579A1 (en) Methods and apparatus for image processing
US11490126B1 (en) Video processing
US20170280097A1 (en) Spectrum pre-shaping in video
JP3825871B2 (en) Image processing apparatus and method, and computer-readable recording medium storing image processing program code