KR101629163B1 - Signal Filling Method Using Watershed Algorithm for MRC-based Image Compression - Google Patents
Signal Filling Method Using Watershed Algorithm for MRC-based Image Compression Download PDFInfo
- Publication number
- KR101629163B1 KR101629163B1 KR1020150003996A KR20150003996A KR101629163B1 KR 101629163 B1 KR101629163 B1 KR 101629163B1 KR 1020150003996 A KR1020150003996 A KR 1020150003996A KR 20150003996 A KR20150003996 A KR 20150003996A KR 101629163 B1 KR101629163 B1 KR 101629163B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- priority
- mrc
- filling
- pixels
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G06T7/0091—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법에 관한 것으로서, 상세하게는 MRC 모델(Mixed Raster Content Model)의 전경과 배경 레이어에 발생하는 DCR("don't care" region)에 대한 신호 채움시 발생하는 AC성분을 줄이기 위해, 분수령 알고리즘을 기반으로 한 효과적으로 신호 채움을 수행하기 위한 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법에 관한 것이다.
[0001] The present invention relates to a signal filling method using a watershed algorithm for MRC-based image coding, and more particularly, to a signal filling method using a DCR ("do not care" region) generated in the foreground and background layer of an MRC model (Mixed Raster Content Model) The present invention relates to a signal filling method using a watershed algorithm for MRC-based image coding for effectively performing signal filling based on a watershed algorithm in order to reduce AC components generated during signal filling of a signal.
카메라에 의해 촬영되는 자연 영상과 달리 웹 페이지, PDF 파일, 슬라이드, 컴퓨터 화면 등과 같이 컴퓨터 또는 스마트폰 등의 다양한 전자기기에 의해 생성된 영상을 스크린 이미지라 한다. 스크린 이미지는 일반적으로 문자/그래픽 영역과 자연영상 영역이 같이 혼재되어 있으며, 이중에서 문자/그래픽 영역은 자연영상 영역과는 구별되는 통계적 특성들을 갖고 있다. 이러한 강한 이방성을 갖는 스크린 이미지의 특성상 자연영상의 효율적인 압축을 목적으로 개발된 기존의 표준 부호화기를 스크린 이미지에 그대로 적용하는 것은 압축 성능 면에서 매우 비효율적이다. 따라서 이를 보완하고 스크린 이미지의 특성을 잘 고려함으로써 고효율의 압축이 가능한 새로운 부호화 기술에 대한 연구가 활발히 진행되고 있다.
Unlike a natural image captured by a camera, an image generated by a variety of electronic devices such as a web page, a PDF file, a slide, a computer screen, and the like, such as a computer or a smart phone, is called a screen image. In the screen image, the character / graphics area and the natural image area are mixed together, and the character / graphics area has statistical characteristics different from the natural image area. It is very inefficient to apply the conventional standard encoder developed for the purpose of efficient compression of natural images to the screen image because of the nature of the screen image having strong anisotropy. Therefore, new coding techniques capable of high-efficiency compression are being actively studied in consideration of the characteristics of the screen image.
최근에 스크린 이미지와 같은 혼합 영상을 위한 새로운 부호화 방안으로 레이어 기반의 Mixed Raster Content(MRC) model이 제안되었다. MRC 모델은 입력 영상을 도 1-(a)와 같이 전경 레이어, 마스크 레이어, 그리고 배경 레이어로 분할한다. 마스크 레이어는 입력 이미지에서 문자 영역에 속하는 픽셀들의 위치 정보를 나타내고, 전경 레이어는 이진 마스크 레이어에 기록된 픽셀들, 즉 문자 영역의 색상 정보를 저장한다. 이 두 레이어는 함께 하나의 쌍을 구성하며 도 1-(b)와 같이 동일한 배경 레이어 위에 다수의 전경/마스크 쌍이 형성될 수도 있다. 배경 레이어는 전경 영역을 제외한 나머지 영역들에 대한 색상 정보를 저장한다. 이와 같이 MRC 모델의 부호화 방식은 입력 이미지를 동질의 특성을 갖는 3계층의 레이어로 분할한 뒤, 각 레이어의 신호 특성에 적합한 방식으로 독립적 부호화를 수행함으로써 부호화 효율을 최적화하는 압축 기법이다.Recently, a layer based Mixed Raster Content (MRC) model has been proposed as a new coding scheme for mixed images such as screen images. The MRC model divides an input image into a foreground layer, a mask layer, and a background layer as shown in Fig. 1- (a). The mask layer represents position information of pixels belonging to the character region in the input image, and the foreground layer stores color information of pixels recorded in the binary mask layer, i.e., the character region. These two layers together constitute one pair, and a plurality of foreground / mask pairs may be formed on the same background layer as shown in FIG. 1- (b). The background layer stores color information for regions other than the foreground region. The encoding method of the MRC model is a compression scheme that optimizes the encoding efficiency by dividing the input image into three layers having the same characteristics and performing independent encoding in a manner suited to the signal characteristics of each layer.
MRC 모델의 부호화에 있어서 가장 중요한 화두는 전경과 배경을 분할하는 방식, 그리고 전경과 배경 레이어에 생기는 빈 영역("don't care" region)을 채우는 방식이라고 할 수 있다. 먼저 전경과 배경의 분할에 있어서 가장 중요한 것은 배경 영역과 문자 영역의 정확한 분할이라고 할 수 있다. 이는 입력 영상을 문자의 전경 영역과 자연 영상의 배경 영역으로 구분하는 분할의 정확도에 따라 전체 부호화기의 압축 효율이 달라지기 때문이다. 이에 관련된 다양한 연구가 진행되어 왔다.The most important issue in the coding of the MRC model is the way to divide the foreground and the background, and to fill the "do not care" region in the foreground and background layers. First of all, the most important thing in splitting the foreground and the background is the accurate division of the background area and the character area. This is because the compression efficiency of the entire encoder varies depending on the accuracy of the division of the input image into the foreground region of the character and the background region of the natural image. Various studies related to this have been carried out.
분할 후 전경과 배경 레이어에는 도 3과 같이 빈 영역("don't care" region)이 발생하게 된다. 전경 레이어일 경우 도 3-(a)와 같이 전경 영역을 제외한 배경 영역(검은색 영역)이 빈 영역이 되며 배경 레이어일 경우 도 3-(b)와 같이 전경 영역(검은색 영역)이 빈 영역이 된다.After the division, a "do not care" region is generated in the foreground and background layers as shown in FIG. In the case of the foreground layer, the background area (black area) except for the foreground area is an empty area as shown in FIG. 3- (a), and the foreground area (black area) .
전경과 배경 레이어에 발생하는 DCR(don't care region)에 의해 기존 신호와 빈 영역 간에 AC성분이 발생하게 되며 이 AC성분에 의해 부호화시 많은 비트량이 발생하게 된다. 부호화 효율을 향상시키기 위해 DCR에 다른 신호 값을 채워 신호간 불연속을 제거하기 위한 다양한 연구가 진행되어 왔다. 이 영역을 채우는 기존의 방식에는 대표적으로 레이어 내에 존재하는 기존 신호 값들의 평균값으로 채우는 방식, 그리고 주위 기존 신호 값들을 이용하여 채워 나가는 방식으로 분류할 수 있다. An AC component is generated between the existing signal and the free space due to the DCR (do not care region) generated in the foreground and background layer, and a large amount of bits is generated due to the AC component. Various studies have been carried out to eliminate discontinuity between signals by filling different signal values in DCR to improve coding efficiency. The existing method of filling this area can be classified into a method of filling with the average value of the existing signal values existing in the layer and a method of filling by using the surrounding existing signal values.
전역 평균값을 이용한 신호 채움 방식의 단점은 레이어 내의 전체 신호 값들의 편차가 매우 작아야 한다는 제약을 갖는다. 기존 신호간의 편차가 클 경우 DCR을 평균 신호 값으로 채운 후에도 신호 간에 불연속이 여전히 남아있게 되어 높은 부호화 효율을 기대할 수 없다. 이는 국부 신호 특성을 고려하지 않은 방식으로 매우 비효율적인 방식이다.
A disadvantage of the signal filling method using the global average value is that the deviation of the entire signal values in the layer must be very small. If the deviation between the existing signals is large, even after filling the DCR with the average signal value, the discontinuity still remains between the signals, and high coding efficiency can not be expected. This is a very inefficient method in which local signal characteristics are not considered.
"MRC compression of compound documents using H.264/AVC-I"와, "Iterative pre- and post-processing for MRC layers of scanned documents,"는 "Pre-processing for MRC layers of scanned images"에서 제안한 웨이블릿 기반의 영역 채움 방식을 적용하였다. 이 방식은 기존 신호의 평균값으로 영역 채움을 수행하며 웨이블릿 부호화-복호화를 반복적으로 수행하여 기존 신호와 채워진 평균 신호 값 간에 불연속을 없앴다. 이 방식은 기존 신호와 채워진 평균 신호의 경계를 부드러운 이행 신호로 만들어 전역 평균값 방식의 단점을 보완하였으나 기존 신호 영역의 지역적 특성이 반영되지 않아 큰 부호화 효율을 기대할 수 없으며 반복적인 부호화-복호화로 인한 수행시간 대비 부호화 효율의 trade-off 불균형이 심회된다는 단점이 있다.
Based on the "wavelet-based" proposed in "Pre-processing for MRC layers of scanned images" and "Iterative pre- and post-processing for MRC layers of scanned documents" Area filling method was applied. This method performs region filling with the average value of existing signals and performs wavelet encoding-decoding repeatedly to eliminate discontinuity between the existing signal and the average signal value filled. This method compensates for the disadvantage of the global average method by making the boundary between the existing signal and the average signal filled in as a smooth transition signal. However, since the regional characteristic of the existing signal area is not reflected, a large coding efficiency can not be expected, and repeated coding / decoding The trade-off imbalance of encoding efficiency with respect to time is intensified.
"Compound Image Compression with Multi-step Text Extraction Method"는 Dynamic color palette를 이용하여 영역 채움을 수행한다. 이 방식은 블록 내 발생 빈도가 가장 높은 밝기 값으로 DCR을 채우는 방식으로, 블록 단위 처리로 국부 특성을 고려하였으나 블록 내 전체 DCR이 단일 신호 값으로 채워져 전역 평균값을 이용한 영역 채움과 마찬가지로 높은 부호화 효율을 기대할 수 없다. 또한 블록 단위의 신호 채움으로 각각의 블록이 독립적으로 수행되어 blocking artifact 현상이 나타날 수 있으며 이 문제를 해결하기 위한 후처리가 필요해 진다는 문제점을 갖는다.
"Compound Image Compression with Multi-step Text Extraction Method" performs region filling using a dynamic color palette. In this method, the DCR is filled with the most frequently occurring brightness value in the block, and the local characteristic is considered by the block unit processing. However, since the entire DCR in the block is filled with the single signal value, the same high efficiency as the region filling using the global average value I can not expect it. Also, each block is independently executed by signal filling of block unit, and blocking artifact phenomenon may occur, and there is a problem that a post-processing is needed to solve this problem.
"On Data Filling Algorithms for MRC layers"은 국부 신호를 이용하여 영역 채움을 수행한다. 홀 픽셀 주위의 4방향 픽셀(NSEW) 값들의 평균값을 이용한 영역 채움을 하고 있으나 참조하는 픽셀의 개수가 너무 적고 영역 채움의 우선순위를 정하지 않는다. 그 결과 홀 주변의 기존 전경 영역에 고주파 성분이 존재할 경우 그 신호 특성이 홀 영역에 그대로 반영될 수 있다는 문제점이 있다.
"On Data Filling Algorithms for MRC layers" perform region filling using local signals. Area filling is performed using the average value of four-directional pixel (NSEW) values around the hall pixel, but the number of reference pixels is too small and the area filling is not prioritized. As a result, when a high frequency component exists in the existing foreground region around the hole, the signal characteristic can be reflected in the hole region as it is.
"JPEG2000-matched MRC compression of compound document"은 가우시안 모델을 이용한 국부 영역의 가중치 평균값으로 홀을 채우는 방식을 제안하였으며, "An image inpainting technique based on the fast marching method,"은 기존 신호와의 가중치와 기울기를 이용한 FMM(Fast Marching Method) 방식을 제안 하였다.
The "JPEG2000-matched MRC compression of compound document" proposes a method of filling a hole with a weighted average value of a local region using a Gaussian model. An "image inpainting technique based on the fast marching method" FMM (Fast Marching Method).
그러나, 가우시안 모델을 이용한 국부 영역의 가중치 평균값으로 홀을 채우는 방식은 영역 채움의 순서가 레스터 스캔 방식으로 이루어지며, 이 때, 신호 채움시 AC 성분 발생을 예방할 수가 없는 문제점이 있다.However, in the method of filling the hole with the weighted average value of the local area using the Gaussian model, the order of the region filling is made by the raster scanning method. In this case, there is a problem that the generation of the AC component can not be prevented in the signal filling.
기존 신호와의 가중치와 기울기를 이용한 FMM 방식은 기울기에 따른 우선순위를 이용하여 레이어 내에 존재하는 기존 신호 값들 간의 상관도와 가중치를 이용한 영역 채움을 수행함으로써, 채워진 신호 영역들이 부드러운 이행 영역을 이루어 높은 부호화 효율을 얻을 수 있는 장점이 있지만, 우선순위를 결정할 때 강한 에지를 포함하고 있는 홀 영역부터 신호 채움을 수행하기 때문에 채워진 신호 영역에 많은 이행 영역이 만들어진다는 단점이 있다.
The FMM method using the weights and the slopes of the existing signals performs region filling using correlation and weight values between existing signal values existing in the layer using the priority according to the slope so that the filled signal regions form a smooth transition region, However, there is a disadvantage in that a large number of transition regions are formed in the filled signal region because the signal filling is performed from the hole region including the strong edge when determining the priority.
한편, 부호화기의 측면에서 볼 때, MRC 모델의 전경과 배경 레이어에 발생하는 DCR에 대한 신호 채움의 목적은 신호 채움시 발생되는 AC성분을 최소화하여 부호화 효율을 높이는 것이다. 신호 채움시 AC성분이존재하는 기존의 고르지 못한 신호 영역(도 4-②)이 먼저 확장 되었을 경우 AC성분이 그대로 확장되어 도 5-(a)와 같이 영역마다 많은 이행 영역을 발생시킨다. 이는 부호화 효율 저하를 야기한다. 영상 내 기존 신호 영역들의 밀집도와 영역들의 밝기 차이가 다양할수록 신호 채움시 영역 간 많은 이행 영역이 만들어져 부호화시 많은 비트량을 발생시키게 된다. 뿐만 아니라 국부 특성을 고려하지 않는 전역적 신호 채움 방식은 영상 내 기존 신호영역간의 밝기 차이가 클수록 채워진 신호와 기존 신호간의 불연속으로 인해 부호화 효율이 심각하게 저하될 수 있다.
On the other hand, from the viewpoint of the encoder, the purpose of signal filling for the DCR generated in the foreground and background layers of the MRC model is to minimize the AC component generated during signal filling, thereby improving the coding efficiency. If the AC component is expanded before the existing uneven signal region (FIG. 4-2) existing at the time of signal filling, the AC component is extended as it is. This causes a decrease in coding efficiency. As the density of the existing signal regions in the image and the difference in the brightness of the regions are varied, a large amount of transition region is formed between the regions during signal filling, resulting in a large amount of bits in coding. In addition, the global signal filling method that does not consider the local characteristics may seriously degrade the coding efficiency due to the discontinuity between the filled signal and the existing signal as the difference in brightness between the existing signal areas is larger.
본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 스크린 이미지를 MRC 모델로 분할했을 때 전경 레이어와 배경 레이어에 발생하는 DCR(don't care region)을 효과적으로 채울 수 있는 신호 채움 알고리즘으로서, DCR에 신호 채움시 발생하는 이행 영역을 최소화시키기 위해 DCR 이외의 기존 신호 영역의 특성을 이용한 신호 채움을 기반으로 하는 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법을 제공하는데 그 목적이 있다.
It is an object of the present invention to effectively fill a DCR (do not care region) generated in the foreground layer and the background layer when the screen image is divided into the MRC model In this paper, we propose a signal filling method using a watershed algorithm for MRC - based image coding based on signal filling using characteristics of existing signal regions other than DCR to minimize the transition region generated in signal filling in DCR. The purpose is to provide.
본 발명의 일 실시예에 따른 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법은, MRC 모델의 부호화로 분할된 전경 레이어와 배경 레이어에서 발생하는 빈 영역(DCR)에 대한 신호 채움을 분수령 알고리즘을 이용하여 수행하는 방법에 있어서, 범람(flooding)을 수행하기 위한 초기 시드를 결정하는 단계, 우선순위에 따른 홀 픽셀을 저장할 큐 리스트를 생성하는 단계, 모든 홀 픽셀에 대하여 편차에 따른 우선순위를 결정한 후, 해당 큐 인덱스에 삽입하는 단계, 우선순위에 따라 큐 버퍼에 쌓여 있는 홀 픽셀을 꺼내 신호 채움을 수행하는 단계를 포함하는 것을 특징으로 한다.The signal filling method using the watershed algorithm for MRC-based image coding according to an embodiment of the present invention is characterized in that signal filling of the foreground layer (DCR) generated in the foreground layer and the background layer, which are divided by the encoding of the MRC model, The method of
여기서 상기 초기 시드는 기존 신호영역과의 경계를 이루고 있는 홀 픽셀들로 이루어지며, 이후 범람 과정을 전개하기 위한 각 시드의 우선순위는 시드로 결정된 픽셀을 중심으로 생성한 bounding box 내부의 홀 픽셀이 아닌 기존 신호들의 편차로 결정되는 것을 특징으로 한다.Herein, the initial seed is composed of the hole pixels forming the boundary with the existing signal region, and then the priority of each seed for developing the flooding process is not the hole pixel in the bounding box generated around the pixel determined by the seed And is determined by the deviation of the existing signals.
또한, 우선순위를 결정하기 위한 상기 편차는 하기의 첫 번째 수식으로, 상기 영역에 채워질 신호 값에 해당하는 평균(
(첫번째 수식)(First formula)
(두번째 수식)(Second formula)
(여기서, round는 반올림 연산하며, round의 내부 연산은 홀이 아닌 bounding box 내부 픽셀들에 대한 표준편차이며, P(p,q)는 홀 픽셀에서 생성한 bounding box 내부의 밝기 값의 편차로 계산되는 계층적 큐 리스트의 상기 우선순위를 의미함. N과 M은 bounding box의 크기를 나타내며 
더 나아가, 상기 우선순위에 따라 채워질 홀 픽셀의 값은 bounding box 내부의 홀이 아닌 픽셀들의 평균값으로 채워지며, 상기 계산된 편차값 중 작은 편차값은 높은 우선순위를 갖도록 설정하며, 큰 편차값은 낮은 우선순위를 갖도록 설정하는 것을 특징으로 한다.Further, the value of the hall pixel to be filled in accordance with the priority order is filled with an average value of pixels not holes in the bounding box, and a small deviation value among the calculated deviation values is set to have a high priority, And setting the priority to be low.
또한, 높은 우선순위 큐가 완전히 비워질 때까지 다음 우선순위 큐의 pop은 이루어지지 않으며, 이 과정을 큐 내부에 홀 픽셀이 존재하지 않을 때까지 계속 진행하는 것을 특징으로 한다.Also, popping of the next priority queue is not performed until the high priority queue is completely emptied, and this process is continued until there is no hole pixel in the queue.
이 때, 상기 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법은 상기 단계들을 통해, 영상 내 모든 홀 픽셀들은 우선순위에 따라 신호 채움이 이루어지되, 모든 홀 픽셀에 대한 신호 채움 후, 채워진 신호 영역 간의 잔여 고주파 성분을 제거하기 위하여 채워진 신호 영역에 대하여 Low-pass 필터링을 수행한 뒤 부호화를 수행하는 것을 특징으로 한다.
At this time, in the signal filling method using the sub-division algorithm for the MRC-based image coding, all the hall pixels in the image are signal-filled in accordance with the priority order, and after filling the signal for all the hall pixels, Low-pass filtering is performed on the filled signal region to remove residual high-frequency components between the signal regions, and encoding is performed.
본 발명의 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법에 따르면, DCR을 제외한 기존 신호 영역의 특성은 국부 신호 영역의 분산으로 판단함에 따라 이 분산 값에 따른 우선순위로 모든 홀 픽셀에 대하여 적응적 신호 채움을 수행함으로써 DCR에 대한 신호 채움시 발생하는 이행 영역을 최소화시키며, 기존 알고리즘에 비해 더 높은 부호화 효율을 가진다.According to the signal filling method using the watershed algorithm for the MRC-based image coding of the present invention, since the characteristics of the existing signal region except for DCR are determined as the dispersion of the local signal region, The adaptive signal filling minimizes the transition area in signal filling for DCR and has a higher coding efficiency than the existing algorithm.
또한, 우선순위를 결정하기 위한 편차를 계산할 때 픽셀 거리에 따른 가중치를 적용하지 않았기 때문에, 향후 추가적인 알고리즘 적용과 기존 알고리즘을 개선하여 더 높은 부호화 효율을 얻을 수 있어, 본 발명이 적용되는 분야에서 다양하고 지속적인 연구와 응용이 가능하다.
Further, since the weight according to the pixel distance is not applied when calculating the deviation for determining the priority, higher coding efficiency can be obtained by further applying the algorithm and improving the existing algorithm in the future, And continuous research and application is possible.
도 1은 일반적인 MRC 모델의 개념도로서, 도 1(a)는 전경 레이어, 마스크 레이어, 그리고 배경 레이어로 분할한 구성을 보인 것이며, 도 1(b)는 다중 쌍으로 구성된 MRC 모델의 개념을 보인 것이다.
도 2는 MRC 모델에서 레이어 분할 방식의 흐름을 보인 흐름도이다.
도 3은 MRC 전경과 배경 영역의 빈 영역(don't care region, DCR)을 비교하기 위한 것으로,
도 3(a)는 전경 레이어의 빈 영역을 보인 것이며, 도 3(b)는 배경 레이어의 빈 영역을 보인 것이다.
도 4는 객체-배경 영역의 서로 다른 신호 특성을 보여주기 위한 도면이다.
도 5는 본 발명에서 분수령 알고리즘을 이용하여 우선순위 적용에 따른 영역 채움을 비교한 도면으로서,
도 5(a)는 전경 레이어에 대한 FMM 방식인 경우에 해당하고, 도 5(b)는 전경 레이어에 대한 제안된 신호 채움 방식인 경우에 해당한다.
도 6은 본 발명인 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법에 이용되는 분수령 알고리즘의 개념을 설명하기 위한 도면이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법의 과정을 보인 순서도이다.
도 8은 본 발명에서 Priority queue list 의 예를 보인 도면이다.
도 9는 본 발명에서 Flooding On/Off에 따른 전경 레이어를 비교하기 위한 도면으로서,
도 9(a)는 전경 레이어에 대한 Flood Off인 경우에 해당하고, 도 9(b)는 전경 레이어에 대한 Flood On인 경우에 해당한다.
도 10은 본 발명의 실험을 위한 네 가지 종류의 실험 영상 도면이다.
도 11 내지 도 14는 본 발명의 신호 채움 방식에 따른 부호화 성능을 비교하기 위한 도면이다.FIG. 1 is a conceptual diagram of a general MRC model. FIG. 1 (a) shows a configuration in which a foreground layer, a mask layer, and a background layer are divided, and FIG. 1 (b) shows a concept of an MRC model composed of multiple pairs .
2 is a flowchart showing the flow of the layer division method in the MRC model.
3 is for comparing the do not care region (DCR) of the MRC foreground with the background region,
Fig. 3 (a) shows the empty area of the foreground layer, and Fig. 3 (b) shows the empty area of the background layer.
4 is a diagram for showing different signal characteristics of the object-background region.
FIG. 5 is a diagram comparing region filling according to priority application using a watershed algorithm in the present invention,
FIG. 5A corresponds to the FMM method for the foreground layer, and FIG. 5B corresponds to the case of the proposed signal filling method for the foreground layer.
FIG. 6 is a view for explaining the concept of a watershed algorithm used in a signal filling method using a watershed algorithm for MRC-based image encoding according to the present invention.
7 is a flowchart illustrating a signal filling method using a watershed algorithm for MRC-based image coding according to an embodiment of the present invention.
8 is a diagram illustrating an example of a priority queue list according to the present invention.
9 is a diagram for comparing foreground layers according to Flooding On / Off in the present invention,
FIG. 9A corresponds to the case of Flood Off for the foreground layer, and FIG. 9B corresponds to the case of Flood On for the foreground layer.
10 is a drawing of four kinds of experimental images for experiments of the present invention.
11 to 14 are diagrams for comparing coding performance according to the signal filling method of the present invention.
이하 첨부한 도면들을 참조하여 본 발명의 일 실시예에 따른 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.Hereinafter, a signal filling method using a watershed algorithm for MRC-based image coding according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. The following drawings are provided by way of example so that those skilled in the art can fully understand the spirit of the present invention. Therefore, the present invention is not limited to the following drawings, but may be embodied in other forms. In addition, like reference numerals designate like elements throughout the specification.
이 때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
In this case, unless otherwise defined, technical terms and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. In the following description and the accompanying drawings, A description of known functions and configurations that may unnecessarily obscure the description of the present invention will be omitted.
이하, 본 발명의 바람직한 실시예에 따른 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법을 상세하게 설명하면 다음과 같다.
Hereinafter, a signal filling method using a watershed algorithm for MRC-based image coding according to a preferred embodiment of the present invention will be described in detail.
본 발명에서는 기존의 문제점을 해결하기 위해 국부 특성을 고려한 분수령 알고리즘 기반의 적응적 신호 채움 방식으로서, MRC모델의 전경과 배경 레이어에 발생하는 DCR에 대한 신호 채움시 발생하는 AC성분을 줄이기 위해, 분수령 알고리즘을 기반으로 한 효과적인 신호 채움 방법을 제공한다.
In order to solve the existing problems, the present invention proposes an adaptive signal filling method based on a watershed algorithm considering local characteristics. In order to reduce the AC components generated in the signal filling of the DCR generated in the foreground and background layers of the MRC model, And provides an efficient signal filling method based on an algorithm.
여기서, 분수령 알고리즘(watershed algorithm)은 영역 성장을 이용한 방식이며 주로 영상 분할에서 쓰이는 알고리즘으로 Lantuejoul과 Beucher에 의해 소개되었다. 분수령 알고리즘은 2차원 이미지의 픽셀 값을 지형으로 생각한 후, 지형 상의 국부 최소에 구멍을 뚫고 담수(湛水) 과정을 전개한다. 이 과정에서 서로 인접한 두 담수 지역이 분수령에서 만나는 위치에 경계를 세워 두 담수 지역의 경계선을 형성한다. 그 결과 영역 간 경계선을 형성하게 되어 모든 국부 최소마다 독립된 영역을 갖게 된다. 분수령 알고리즘은 지역적 잡음이 분수령에 의해 차단되어 전역 오류로 전파되지 않는다는 장점이 있다. 도 6의 봉우리(peak)는 분수령을 나타내며 협곡(valley)은 담수가 이루어지는 국부최소를 나타낸다. Here, the watershed algorithm is a method using area growth and mainly used in image segmentation, which is introduced by Lantuejoul and Beucher. The watershed algorithm considers the pixel values of a two-dimensional image as a topography and then drills a hole in the local minimum in the topography and develops a flooding process. In this process, two freshwater areas adjacent to each other are bounded at the location where they meet at the watershed, forming the boundary of two freshwater areas. As a result, boundary lines between regions are formed, so that each region has an independent region. The watershed algorithm has the advantage that the local noise is blocked by the watershed and is not propagated as a global error. The peak in FIG. 6 represents the watershed and the valley represents the local minimum where fresh water is generated.
또한 분수령 알고리즘의 담수(영역 채움)는 범람(flooding)방식을 이용한다. 범람은 낮은 고도의 협곡부터 물을 채워 넣는 방식으로 시드(seed)결정과 범람(flooding)과정을 통해 이루어진다. 시드는 국부최소를 의미하며, 이 시드영역에서부터 범람 과정을 전개한다. 범람은 시드 결정 후 선택된 시드 영역과 유사한 인접 홀 픽셀을 동일한 영역으로 간주하며 영역을 확장해 나가는 과정이다. In addition, freshwater (area filling) of the watershed algorithm uses the flooding method. Inundation is accomplished through seed determination and flooding in a way that fills water from low altitude canyons. Seed means the local minimum, and the inundation process is developed from this seed area. The overflow is a process of expanding the area by considering adjacent hole pixels similar to the selected seed area after the seed determination as the same area.
이때의 영역 확장은 우선순위에 따라 진행되며, 우선순위는 하기의 수학식 1과 같이, 시드 주변 화소(
At this time, the area expansion is performed according to the priority order, and the priority is given by the following equation (1)
이때, 기울기가 작다는 것은 협곡의 고도가 낮다는 것을 의미하며, 높은 우선순위를 갖는다. 이와 반대로 기울기가 큰 영역은 경계로 의심되어 지는 영역으로 낮은 우선순위를 갖게 된다. 이와 같이 우선순위에 따라 낮은 고도부터 담수가 이루어지게 되며 기울기가 큰 영역의 확장을 늦춰 경계로 추출하게 된다.
At this time, a small slope means that the altitude of the gorge is low, and has a high priority. On the contrary, a region having a large slope has a low priority as a region suspected to be a boundary. In this way, according to the order of priority, fresh water is generated from low altitudes, and the expansion of a region with a large slope is delayed and extracted as a boundary.
본 발명에서는 신호 채움시 AC성분을 최소화시키기 위하여 기존의 부드러운 신호 영역(도 4-①)을 먼저 확장시킨다. 신호 영역의 특성에 따른 신호 채움의 우선순위를 결정하기 위해 홀 픽셀 주위의 기존 신호로부터의 편차를 계산한다.In the present invention, the existing smooth signal region (FIG. 4-1) is first expanded to minimize the AC component in signal filling. The deviation from the existing signal around the hall pixel is calculated to determine the priority of the signal filling according to the characteristics of the signal area.
이때, 큰 편차값을 갖는 홀 영역은 AC성분이 존재하는 영역을 의미하며, 이와 반대로 작은 편차값을 갖는 홀 영역은 AC성분이 없는 부드러운 영역을 의미한다. 모든 홀 픽셀에 대하여 편차값에 따른 우선순위를 결정하는 동시에, 우선순위에 따른 flooding을 수행하여 영역 채움을 수행한다. In this case, the hole region having a large deviation value means a region in which an AC component exists, while the hole region having a small deviation value means a soft region having no AC component. For all the hall pixels, the priority according to the deviation value is determined, and flooding according to the priority is performed to perform the area filling.
그 결과 도 5-(b)와 같이 DCR에 채워진 신호 영역간의 이행영역을 최소화 시킬 수 있었으며 실험을 통해 본 발명이 기존의 방식보다 더 높은 부호화 효율을 가짐을 확인했다.
As a result, as shown in FIG. 5- (b), the transition area between the signal regions filled in the DCR can be minimized, and through experimentation, it is confirmed that the present invention has higher coding efficiency than the conventional method.
도 7은 본 발명의 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법의 전체 순서도를 보여준다. 도 7에 도시된 바와 같이, 본 발명의 신호 채움은 크게 초기화 단계(step 1.)와 범람 단계(step 2.)로 2단계 과정으로 구분하여 이루어진다.
FIG. 7 shows an overall flowchart of a signal filling method using a watershed algorithm for MRC-based image encoding of the present invention. As shown in FIG. 7, the signal filling of the present invention is largely divided into a two-step process by an initialization step (step 1) and an overflow step (step 2).
초기화 단계는 범람(flooding)을 수행하기 위한 초기 시드를 결정하고 각 시드 픽셀의 우선순위를 결정하는 과정과 우선순위에 따른 홀 픽셀을 저장할 큐 리스트를 생성하는 과정 및 모든 시드 픽셀을 계산된 우선순위에 따라 큐 리스트에 삽입하는 과정을 포함한다(S100, S102, S104, S122).The initialization step includes determining an initial seed for performing flooding and determining a priority of each seed pixel, generating a cue list to store the hole pixels according to the priority, (S100, S102, S104, S122).
초기 시드는 기존 신호영역과의 경계를 이루고 있는 홀 픽셀로 이루어지며 이후 범람 과정을 전개하기 위한 각 시드의 우선순위는 시드로 결정된 픽셀 주위의 편차로 결정된다. 큐는 도 8과 같은 구조의 큐 리스트(queue[0∼255])로 형성되며, 하기의 표 1의 Algorithm 1로 수행된다.
The initial seed is composed of the hole pixels forming the boundary with the existing signal region, and the priority of each seed for developing the flooding process is determined by the deviation around the pixel determined by the seed. The queue is formed of a queue list (queue [0 to 255]) having the structure shown in FIG. 8, and is performed with
allocation(Queue[i]);
end
for y=0 to Height do
for x=0 to Width do
if p(x,y) == hole then
if ∀8 neighbors of p(x,y)! = hole then
Calc. STD at p(x,y);
Push p(x,y) into QueueList[STD];
end
end
end
end for i = Min_Priority to Max_Priority do
allocation (Queue [i]);
end
for y = 0 to Height do
for x = 0 to Width do
if p (x, y) == hole then
if ∀8 neighbors of p (x, y)! = hole then
Calc. STD at p (x, y);
Push p (x, y) into QueueList [STD];
end
end
end
end
우선순위를 결정하기 위한 편차와 채워질 신호 값인 평균은 하기의 수학식 2와 수학식 3으로 계산된다(S104, S120).
The deviation for determining the priority and the average of the signal values to be filled are calculated by the following equations (2) and (3) (S104, S120).
상기의 수학식 2의 P(p,q)는 큐 리스트의 index로 사용된다. P (p, q) in the above equation (2) is used as an index of the cue list.
상기의 수학식 2와 수학식 3에서, round는 반올림 연산을 나타내며, round의 내부 연산은 홀이 아닌 bounding box 내부 픽셀들에 대한 표준편차를 나타낸다.In Equation (2) and Equation (3), round represents a rounding operation, and an internal operation of round represents a standard deviation of pixels in a bounding box rather than a hole.
즉, P(p,q)는 홀 픽셀에서 생성한 bounding box 내부의 밝기 값의 편차로 계산되며, 이는 계층적 큐 리스트의 우선순위를 의미한다. M과 N은 홀 픽셀을 중심으로 생성한 bounding box의 크기를 나타내며 
That is, P (p, q) is calculated as a deviation of the brightness value inside the bounding box generated in the hall pixel, which means the priority of the hierarchical cue list. M and N represent the size of the bounding box generated around the hole pixel
범람(Flooding) 단계는 우선순위에 따라 큐 버퍼에 쌓여 있는 홀 픽셀을 꺼내 홀 픽셀을 중심으로 생성한 bounding box 내부 신호 평균값으로 신호 채움을 수행한 후, 신호 채움이 이루어진 홀 픽셀 주위의 8방향 픽셀들을 조사하여 홀 픽셀일 경우, bounding box 내부의 편차를 계산하여 그 편차에 따른 우선순위를 결정하고 해당 큐 인덱스에 삽입하는 단계를 포함한다(S106, S108, S110, S112, S118, S120).The flooding step takes out the hole pixels accumulated in the queue buffer according to the priority order, performs signal filling with the average value of the signal inside the bounding box generated around the hall pixel, (S106, S108, S110, S112, S118, and S120). In the case of the Hall pixel, the deviation of the bounding box is calculated, and the priority is determined according to the deviation.
범람 단계는 하기의 표 2의 Algorithm 2로 수행된다.
The flooding step is performed with
while Queue[n] ! = empty do
for k=0 to n do
if Queue[k] != empty do
n=k;
end
end
Pop hole pixel p(x,y) in QueueList[n];
Assign avg value of non-hole pixels in the mask to p(x,y);
if ∀8 neighbors of p(x,y)==hole then
Calc. STD at neignbor pixel;
Push the neighbor pixel into QueueList[STD];
end
end
end for n = Min_Priority to Max_Priority do
while Queue [n]! = empty do
for k = 0 to n do
if Queue [k]! = empty do
n = k;
end
end
Pop hole pixel p (x, y) in QueueList [n];
Assign avg value of non-hole pixels in the mask to p (x, y);
if ∀8 neighbors of p (x, y) == hole then
Calc. STD at neignbor pixel;
Push the neighbor pixel into QueueList [STD];
end
end
end
우선순위에 따라 채워질 홀 픽셀의 값은 bounding box 내부 평균값으로 채워지며, 계산된 편차값 중 작은 편차값은 높은 우선순위를 갖는다. 이와 반대로 큰 편차값은 낮은 우선순위를 갖는다. 우선순위가 낮다는 것은 편차를 계산할 때 bounding box 내부에 포함되는 기존 신호 영역의 밝기 분포가 넓게 퍼져 있다는 것을 의미하며 이와 반대로 높은 우선순위는 밝기 분포가 좁다는 것을 의미한다.
The value of the hole pixel to be filled in accordance with the priority is filled with the average value inside the bounding box, and the small deviation value among the calculated deviation values has a high priority. On the other hand, large deviation values have low priority. The low priority means that the brightness distribution of the existing signal area included in the bounding box is widely spread when calculating the deviation, whereas the high priority means that the brightness distribution is narrow.
높은 우선순위 큐가 완전히 비워질 때까지 다음 우선수위 큐의 pop은 이루어지지 않으며, 이 과정을 큐 내부에 홀 픽셀이 존재하지 않을 때까지 진행한다 (S106, S112).The next priority queue is not popped until the high priority queue is completely emptied. This process is continued until there is no hole pixel in the queue (S106, S112).
그 결과 도 9와 같이 영상 내 모든 홀 픽셀들은 우선순위에 따라 신호 채움이 이루어지게 된다. 모든 홀 픽셀에 대한 신호 채움 후, 채워진 신호 영역 간의 잔여 고주파 성분을 제거하기 위하여 채워진 신호 영역에 대하여 Low-pass 필터링을 수행한 뒤 부호화를 수행한다(S114, S116). 본 발명에서는 평균과 편차를 계산하기 위한 마스크의 크기를 15로 정의했다.
As a result, as shown in FIG. 9, all the hall pixels in the image are signal-filled according to the priority order. After signal filling for all the hole pixels, low-pass filtering is performed on the filled signal region to remove residual high frequency components between the filled signal regions (S114, S116). In the present invention, the size of the mask for calculating the average and the deviation is defined as 15.
상기와 같이 본 발명의 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법을 설명하였으며, 이와 같이 설계된 방법의 성능을 검증하기 위해 DCR에 기존 신호의 평균값을 채운 경우와 인페인팅 알고리즘을 참조 기법으로 사용하여 실험 시뮬레이션을 수행하였다.
As described above, the signal filling method using the watershed algorithm for the MRC-based image coding of the present invention has been described. In order to verify the performance of the designed method, the case where the average value of the existing signal is filled in the DCR and the in- And the experimental simulations were performed.
실험 영상으로는 도 10과 같이 4종류의 스크린 이미지를 사용했다. 실험에 사용된 영상은 객관적인 성능 평가를 위해 자연영역과 그래픽 영역이 혼합된 이미지를 사용했다. MRC 모델의 전경(FG)과 배경(BG) 레이어의 부호화는 H.264/AVC-I를 사용 했으며 MRC 모델의 Mask 레이어는 JBIG2를 사용했다. 본 발명의 부호화 효율을 검증하기 위해 비교 대상 알고리즘과의 PSNR을 비교했다. As experimental images, four types of screen images were used as shown in FIG. The images used in the experiments were images with mixed natural and graphic areas for objective performance evaluation. H.264 / AVC-I was used for encoding the foreground (FG) and background (BG) layers of the MRC model and JBIG2 was used for the mask layer of the MRC model. In order to verify the coding efficiency of the present invention, the PSNR with the comparison target algorithm was compared.
도 11 내지 도 14와, 하기의 표 3 내지 표 6에서 보는 것과 같이, 4 종류의 실험 영상에서 본 발명이 기존의 전역 평균값을 이용한 신호 채움 방식과 인페인팅 방식에 비해 부호화 효율 향상을 보인다.
As shown in FIGS. 11 to 14 and Tables 3 to 6, the present invention improves the coding efficiency compared to the signal filling method and the inpainting method using the global average value in the four kinds of experimental images.
표 3-(a)의 경우, 본 발명이 인페인팅과 평균값 방식에 비해 평균적으로 각각 3.14%, 10.4%의 비트량 감소와 0.06%, 1.89%의 PSNR이 증가하는 것을 확인할 수 있다. 또한 4종류의 실험 영상에서 전역 평균값 신호 채움 방식에 비해 평균적으로 1.62%의 PSNR증가 대비 23.76%의 발생 비트량 감소를 보이며 인페인팅 방식에 비해 평균적으로 0.11%의 PSNR증가 대비 4.44%의 발생 비트량 감소를 확인했다. 이 결과를 통해 본 발명이 비교 대상 알고리즘에 비해 전경과 배경 레이어에 발생하는 DCR에 대한 신호 채움의 효율을 큰 폭으로 개선시킨다는 것을 확인할 수 있다.
In the case of Table 3 (a), it can be seen that the present invention increases 3.14% and 10.4% bit amount reduction, 0.06%, and 1.89% PSNR, respectively, on the average compared with the inpaining and average value method. In addition, in the four types of experimental images, the generated bit amount decreased by 23.76% compared to the average PSNR of 1.62% on the average, and the generated bit amount of 4.44% as compared with the inpainting method by 0.11% . It can be seen from the results that the present invention greatly improves the efficiency of signal filling with respect to the DCR generated in the foreground and background layers as compared with the comparison algorithm.
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술되는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
Therefore, it is to be understood that the subject matter of the present invention is not limited to the described embodiments, and all of the equivalents or equivalents of the claims are included in the scope of the present invention will be.
S100 내지 S122 : 본 발명에 의한 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법의 각 단계S100 to S122: Each step of the signal filling method using the watershed algorithm for MRC-based image coding according to the present invention
Claims (6)
범람(flooding)을 수행하기 위한 초기 시드를 결정하는 단계;
우선순위에 따른 홀 픽셀을 저장할 큐 리스트를 생성하는 단계;
홀 픽셀을 중심으로 생성한 bounding box 내부 신호의 밝기 분포 평균값을 이용한 편차에 따른 신호 채움의 우선순위를 결정한 후, 해당 큐 인덱스에 삽입하는 단계;
우선순위에 따라 큐 버퍼에 쌓여 있는 홀 픽셀을 꺼내 신호 채움을 수행하는 단계;
를 포함하는 MRC 기반 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법.
A method of performing signal filling of a foreground layer (DCR) generated in a foreground layer and a background layer in an MRC model by using a subdivision algorithm,
Determining an initial seed for performing flooding;
Generating a cue list for storing the hole pixels according to the priority;
Determining a priority of a signal filling according to a deviation using a brightness distribution average value of a signal in a bounding box generated around a hall pixel, and then inserting the priority in a corresponding queue index;
Extracting the hole pixels accumulated in the queue buffer according to the priority order to perform signal filling;
A signal filling method using a watershed algorithm for MRC - based image coding.
상기 초기 시드는
기존 신호영역과의 경계를 이루고 있는 홀 픽셀들로 이루어지며, 이후 범람 과정을 전개하기 위한 각 시드의 우선순위는 시드로 결정된 픽셀을 중심으로 생성한 bounding box 내부의 홀 픽셀이 아닌 기존 신호들의 편차로 결정되는 것을 특징으로 하는 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법.
The method according to claim 1,
The initial seed
The priority of each seed for developing the overflow process is composed of the difference of the existing signals rather than the hole pixels in the bounding box created around the pixel determined by the seed. And the signal filling method using the watershed algorithm for MRC-based image coding.
홀 픽셀에서 생성한 bounding box 내부의 밝기 값의 편차를 이용한 계층적 큐 리스트의 우선순위는 하기의 첫 번째 수식으로,
상기 영역에 채워질 신호 값에 해당하는 평균(
(첫번째 수식)
(두번째 수식)
(여기서, round는 반올림 연산하며, round의 내부 연산은 홀이 아닌 bounding box 내부 픽셀들에 대한 표준편차와 평균이며, P(p,q)는 홀 픽셀에서 생성한 bounding box 내부의 밝기 값의 편차로 계산되는 계층적 큐 리스트의 상기 우선순위를 의미함. M과 N은 bounding box의 크기를 나타내며
The method according to claim 1,
The priority of the hierarchical cue list using the deviation of the brightness value inside the bounding box generated by the hall pixel is given by the following first formula,
The average value corresponding to the signal value to be filled in the region (
(First formula)
(Second formula)
P (p, q) is the deviation of the brightness value inside the bounding box generated in the hole pixel, and P (p, q) is the standard deviation and mean of the pixels inside the bounding box, M and N denote the size of the bounding box,
상기 우선순위에 따라 채워질 홀 픽셀의 값은
bounding box 내부의 홀이 아닌 픽셀들의 평균값으로 채워지며, 상기 계산된 편차값의 크기 순서와 반대의 우선순위를 갖도록 설정하는 것을 특징으로 하는 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법.
The method of claim 3,
The value of the hole pixel to be filled in accordance with the priority is
wherein the average value of pixels in the bounding box is filled with the average value of pixels and has a priority opposite to the order of magnitude of the calculated deviation value.
하나의 우선순위 큐가 완전히 비워질 때까지 다음 우선순위 큐의 픽셀 값을 큐 리스트에 pop은 이루어지지 않으며, 이 과정을 큐 내부에 홀 픽셀이 존재하지 않을 때까지 계속 진행하는 것을 특징으로 하는 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법.
The method according to claim 1,
The pixel value of the next priority queue is not popped in the queue list until one priority queue is completely emptied, and this process is continued until there is no hole pixel in the queue. A Signal Filling Method Using Watershed Algorithm for Image - Based Video Coding.
상기 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법은
상기 단계들을 통해, 영상 내 모든 홀 픽셀들은 우선순위에 따라 신호 채움이 이루어지되, 모든 홀 픽셀에 대한 신호 채움 후, 채워진 신호 영역 간의 잔여 고주파 성분을 제거하기 위하여 채워진 신호 영역에 대하여 Low-pass 필터링을 수행한 뒤 부호화를 수행하는 것을 특징으로 하는 MRC 기반의 영상 부호화를 위한 분수령 알고리즘을 이용한 신호 채움 방법.The method according to claim 1,
The signal filling method using the watershed algorithm for MRC-based image coding
Through the above steps, all the hall pixels in the image are signal-filled in accordance with the priority order. After filling the signal for all the hall pixels, low-pass filtering is performed on the filled signal area to remove residual high- And then performs encoding. The signal filling method using the watershed algorithm for MRC-based image coding.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150003996A KR101629163B1 (en) | 2015-01-12 | 2015-01-12 | Signal Filling Method Using Watershed Algorithm for MRC-based Image Compression |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150003996A KR101629163B1 (en) | 2015-01-12 | 2015-01-12 | Signal Filling Method Using Watershed Algorithm for MRC-based Image Compression |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101629163B1 true KR101629163B1 (en) | 2016-06-13 |
Family
ID=56191367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150003996A KR101629163B1 (en) | 2015-01-12 | 2015-01-12 | Signal Filling Method Using Watershed Algorithm for MRC-based Image Compression |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101629163B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410223A (en) * | 2018-11-07 | 2019-03-01 | 电子科技大学 | A kind of SAR image segmentation method based on watershed algorithm and dictionary learning |
-
2015
- 2015-01-12 KR KR1020150003996A patent/KR101629163B1/en active IP Right Grant
Non-Patent Citations (13)
| Title |
|---|
| A. Telea, "An image inpainting technique based on the fast marching method," Proc. of Journal of Graphics Tools, Vol.9, No.1, pp.23-34, 2004. |
| A. Zaghetto and R. L. de Queiroz, "Iterative pre- and post-processing for MRC layers of scanned documents," IEEE International Conference, pp.1009-1012, Oct, 2008. |
| A. Zaghetto and R. L. de Queiroz, "MRC compression of compound documents using H.264/AVC-I", XXV Simpsio Brasileiro de Telecomunicaes, Recife, Brazil, Sep. 2007. |
| D. Mukherjee, et. al, "JPEG2000-matched MRC compression of compound document", IEEE International Conference Image Processing(ICIP), pp.73-76, 2002. |
| MRC Document Compression Using SPIHT, INTERNATIONAL JOURNAL OF INNOVATIVE RESEARCH & DEVELOPMENT, Vol 3 Issue 3(2014.03) |
| MRC Document Compression Using SPIHT, INTERNATIONAL JOURNAL OF INNOVATIVE RESEARCH & DEVELOPMENT, Vol 3 Issue 3(2014.03) * |
| Priority-Flood: An Optimal Depression-Filling and Watershed-Labeling Algorithm for Digital Elevation Models, Computers & Geosciences Volume 62 (2014.01) |
| Priority-Flood: An Optimal Depression-Filling and Watershed-Labeling Algorithm for Digital Elevation Models, Computers & Geosciences Volume 62 (2014.01) * |
| R. L. de Queiroz, "Pre-processing for MRC layers of scanned images", IEEE International Conference Image Processing(ICIP), pp.3093-3096, Oct, 2006. |
| R. L. Queiroz, "On Data Filling Algorithms for MRC layers", IEEE International Conference Image Processing(ICIP), pp.586-9, 2000. |
| Xi Qi, Xing Wu, and Zhang. S. "Compound Image Compression with Multi-step Text Extraction Method", Fifth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, pp.1270-1273, 2009. |
| 담수과정에서 동적 영역 병합과 분수령선을 결정하는 개선된 분수령 알고리즘, 전자공학회논문지-CI 38.6 (2001) * |
| 워터쉐드 변환과 영역 병합을 이용한 이미지 분할, 한국정보처리학회 논문지 14.1 (2007) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410223A (en) * | 2018-11-07 | 2019-03-01 | 电子科技大学 | A kind of SAR image segmentation method based on watershed algorithm and dictionary learning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8983185B2 (en) | Image compression | |
| US9135722B2 (en) | Perceptually lossless color compression | |
| US7634150B2 (en) | Removing ringing and blocking artifacts from JPEG compressed document images | |
| JP6648580B2 (en) | Document type recognition device, image forming device, document type recognition method and program | |
| JP2010532628A (en) | Apparatus and method for reducing artifacts in images | |
| CN111898136A (en) | High-fidelity reversible information hiding method and device based on prediction error value sequencing | |
| US20150332115A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US8331695B1 (en) | Integrated circuit having a circuit for and method of updating parameters associated with a background estimation portion of a video frame | |
| WO2011102074A1 (en) | Image encoding method, image encoding device and imaging system | |
| US20120114230A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US9948824B2 (en) | Image compressing device, image forming apparatus, image compressing method, and recording medium | |
| KR102491674B1 (en) | Method and apparatus for generating virtual viewpoint image | |
| KR101629163B1 (en) | Signal Filling Method Using Watershed Algorithm for MRC-based Image Compression | |
| Su et al. | Reversible data hiding using the dynamic block-partition strategy and pixel-value-ordering | |
| US8472716B2 (en) | Block-based noise detection and reduction method with pixel level classification granularity | |
| US10217032B2 (en) | Method for choosing a compression algorithm depending on the image type | |
| Grundland et al. | Automatic contrast enhancement by histogram warping | |
| JP4516994B2 (en) | Method and system for determining the background color of a digital image | |
| CN109615600B (en) | Color image segmentation method of self-adaptive hierarchical histogram | |
| Jen et al. | Generalized histogram equalization based on local characteristics | |
| Gui et al. | Efficient reversible data hiding based on two-dimensional pixel-intensity-histogram modification | |
| Li et al. | Modified clipped histogram equalization for contrast enhancement | |
| Maity et al. | Intelligent modified difference expansion for reversible watermarking | |
| Castillo et al. | Morphological amoeba-based patches for exemplar-based inpainting | |
| AU2007249099B2 (en) | Block-based noise detection and reduction method with pixel level classification granularity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190529 Year of fee payment: 4 |