KR20190023846A

KR20190023846A - Method and apparatus for content-based image resizing

Info

Publication number: KR20190023846A
Application number: KR1020170110185A
Authority: KR
Inventors: 김창익; 김윤형
Original assignee: 한국과학기술원
Priority date: 2017-08-30
Filing date: 2017-08-30
Publication date: 2019-03-08
Also published as: KR102007738B1

Abstract

According to the present invention, a method and an apparatus for resizing an image based on content can improve the image resizing processing speed and can minimize visual distortion of a main object in an original image by providing a grid modifying model by adjusting a quad size not a grid coordinate point in image resizing while having an aspect ratio change in an image resizing apparatus based on content due to a nonlinear grid modification. To this end, the apparatus for resizing an image based on content includes an image input unit, a saliency image generation unit, a linear component image generation unit, a summary image generation unit, a target grid calculation unit, and a pixel interpolation unit.

Description

[0001] METHOD AND APPARATUS FOR CONTENT-BASED IMAGE RESIZING [0002]

본 발명은 이미지 리사이징에 관한 것으로, 특히 종횡비 변화를 동반한 이미지 리사이징 시 그리드 좌표점이 아닌 쿼드 크기 조정에 의한 그리드 변형 모델을 제시하여 이미지 리사이징 처리 속도를 개선하고 원본 영상 내 주요 물체의 시각적 왜곡을 최소화시키는 쿼드 크기 조정에 따른 비선형적 그리드 변형에 의한 콘텐츠 기반 이미지 리사이징 방법 및 장치에 관한 것이다.The present invention relates to image resizing, and more particularly, to a grid deformation model based on quad size adjustment rather than a grid coordinate point in image resizing accompanied by an aspect ratio change, thereby improving the speed of image resizing and minimizing the visual distortion of the main object in the original image And more particularly, to a method and apparatus for content-based image resizing by nonlinear grid deformations caused by quad size adjustment.

이미지 리사이징 기술은 주어진 영상을 사용자가 원하는 크기로 변형하는 기술을 말하며, 이러한 이미지 리사이징 기술은 크게 일반적 접근법과 콘텐츠 기반 접근법으로 나뉘어질 수 있다.Image resizing technology refers to a technique for transforming a given image into a size desired by a user. Such image resizing techniques can be roughly divided into a general approach and a content-based approach.

먼저, 일반적 접근법으로는 입력 영상을 선형적 비례로 보간하는 스케일링(Scaling), 입력 영상의 일부를 잘라내는 크롭핑(Cropping), 입력 영상의 좌우 또는 상하 영역에 빈 공간을 채우는 레터박싱(Letterboxing) 등이 있다. The general approach is scaling to linearly interpolate the input image, cropping to cut out a part of the input image, letterboxing to fill the empty space in the left and right or upper and lower areas of the input image, .

이때, 이러한 일반적 접근법은 원 영상의 종횡비(Aspect ratio) 변화를 동반한 리사이징 시 영상 내 주요 콘텐츠의 훼손 또는 디바이스 공간의 낭비를 초래하는 문제점이 있으며, 이러한 현상의 일례를 도 1에 도시하였다. In this case, such a general approach has a problem that the main content in the image is damaged or the device space is wasted when the aspect ratio of the original image is changed, and an example of such a phenomenon is shown in FIG.

도 1을 참조하면, 종횡비 변화를 동반한 리사이징 수행 시, 스케일링은 종횡비 변화가 영상 전반에 선형적으로 작용되기 때문에 주요 물체의 원형이 훼손되고, 크롭핑은 영상의 일부분이 제거되며, 레터박싱은 디스플레이 공간의 일부를 빈 공간으로 낭비하게 된다.Referring to FIG. 1, in the resizing process with the aspect ratio change, the scaling changes the aspect ratio of the image linearly. Therefore, the prototype of the main object is damaged, the cropping part is removed, A part of the display space is wasted as an empty space.

다음으로, 콘텐츠 기반 접근법은 상기한 일반적 접근법의 단점을 보완하기 위해 제시된 기술로써, 콘텐츠 기반 이미지 리사이징(Content-based image resizing) 또는 이미지 리타게팅(Image retargeting)으로 불린다. 콘텐츠 기반 접근법은 이미지 리사이징 시 원 영상 내 상대적으로 중요한 영역의 원형은 유지하고 덜 중요한 영역의 변형을 허용함으로써 전반적인 시각적 왜곡을 경감시키는 데 그 목적이 있다. 이러한 콘텐츠 기반 접근법의 일례를 도 1의 (e)에 도시하였다.Next, the content-based approach is referred to as content-based image resizing or image retargeting as a technique proposed to overcome the disadvantages of the general approach described above. The content-based approach aims at alleviating the overall visual distortion by allowing the transformation of less important areas while preserving the prototypes of relatively important areas in the original image during image resizing. One example of this content-based approach is shown in Figure 1 (e).

한편, 위와 같은 콘텐츠 기반 접근법은 리사이징 방식에 따라 이산적 접근법(Discrete approach 또는 Seam carving-based approach)과 와핑 기반 접근법(Warping-based approach)으로 나뉠 수 있다. On the other hand, the content-based approach can be divided into a discrete approach or a seam carving-based approach and a warping-based approach according to the resizing method.

이산적 접근법에서는 원 영상에서 중요도(또는 에너지)가 작은 경로로 형성된 수직 또는 수평 방향의 픽셀 줄기인 심(Seam)을 반복적으로 제거 또는 삽입함으로써 리사이징을 수행한다. 그러나 이러한 이산적 접근법의 경우, 픽셀들을 직접적으로 제거 또는 추가하기 때문에 리사이징의 비율이 커질수록 시각적 왜곡이 급격히 증가하는 단점이 있다. 또한, 1픽셀 단위로 반복적 연산을 수행하기 때문에 리사이징 비율이 커질수록 연산량도 그에 비례하여 커지는 단점이 있다.In the discrete approach, resizing is performed by repeatedly removing or inserting a seam, which is a vertically or horizontally oriented pixel stem formed by a route of low importance (or energy) in the original image. However, in this discrete approach, since the pixels are directly removed or added, there is a disadvantage that the visual distortion increases sharply as the ratio of resizing increases. In addition, since iterative operations are performed in units of one pixel, there is a disadvantage that the larger the resizing ratio, the larger the computation amount is.

와핑 기반 접근법은 원 영상을 바둑판 형태의 그리드로 구획화하고, 중요도에 따라 그리드를 목표 크기에 맞게 비선형적으로 변형한 후, 새롭게 얻어진 그리드를 골격으로 픽셀 보간을 수행하여 리사이징을 한다. In the warping-based approach, the original image is partitioned into grid-like grid, and the grid is nonlinearly transformed to the target size according to the importance, and the resizing is performed by performing pixel interpolation with the newly obtained grid.

도 2는 와핑 기반 접근법과 관련된 주요 용어들을 도시한 것이다. 도 2를 참조하면, 원 영상을 바둑판 형태로 구획화하는 골격이 그리드이고, 그리드를 구성하는 수직 및 수평 방향 축(Axis) 간의 교차점을 그리드 교차점(Vertex)이라 한다. 초기 그리드 내의 가장 작은 직사각형 구획을 쿼드(Quad)라 하며, 각각의 초기 쿼드는 동일한 높이(height : h)와 너비(width : w)를 가진다. 와핑 기반 접근법의 기본 원리는 주요 콘텐츠를 포함하는 그리드 영역에 대해서는 쿼드의 종횡비를 유지하고, 그렇지 않은 영역에 대해서는 쿼드의 종횡비 변형을 허용함으로써 전반적인 시각적 왜곡을 경감시키는 것이다.Figure 2 illustrates the key terms associated with the warping-based approach. Referring to FIG. 2, a skeleton that divides an original image into a grid shape is a grid, and an intersection between vertical and horizontal axes constituting the grid is called a grid intersection (vertex). The smallest rectangular section in the initial grid is called a quad, and each initial quad has the same height (height: h) and width (width: w). The basic principle of the warping-based approach is to reduce the overall visual distortion by maintaining the aspect ratio of the quad for the grid area containing the main content and allowing the aspect ratio modification of the quad for the non-main area.

종래의 와핑 기반 접근법은 그리드 변형을 위한 최적화 연산 시, 그리드 교차점들의 비선형적 이동을 통해 타겟 그리드를 획득하였다. 다시 말해, 그리드 교차점들의 좌표 위치를 변수로 설정하여 최적화를 수행하였다. Conventional warping-based approaches have acquired target grids through nonlinear movement of grid intersections during optimization operations for grid transformation. In other words, optimization was performed by setting the coordinate positions of the grid intersections as variables.

도 3은 교차점에 의한 그리드 변형 모델을 도시한 것이다. 도 3을 참조하면, 그리드의 해상도를 수직, 수평 방향으로 각각 M, N개 구획으로 설정한 경우, 교차점은 총 (M+1)*(N+1)개가 생성된다. 각 교차점은 X와 Y좌표를 가지며, 변형 그리드 획득을 위한 최적화 수행 시 X좌표와 Y좌표에 대하여 수렴 조건이 만족될 때까지 독립적, 반복적으로 최적화 계산이 이루어진다. Figure 3 shows a grid deformation model by an intersection point. Referring to FIG. 3, when the grid resolution is set to M and N divisions in the vertical and horizontal directions, a total of (M + 1) * (N + 1) intersections is generated. Each intersection has X and Y coordinates. Optimization for acquiring the transformation grid is performed independently and repeatedly until the convergence condition is satisfied for the X and Y coordinates.

그러나, 종래의 교차점에 의한 그리드 변형 모델은 X 및 Y좌표에 대해 반복적으로 연산을 수행하기 때문에 계산상의 비용이 높으며, 이는 그리드의 해상도가 증가할수록 기하급수적으로 증가하는 문제점이 있다.However, since the grid deformation model based on the conventional intersection points performs repetitive operations on X and Y coordinates, the computational cost is high, which increases exponentially as the resolution of the grid increases.

(특허문헌)(Patent Literature)

대한민국 공개특허번호 10-2015-0073120호(공개일자 2015년 06월 30일)Korean Patent Publication No. 10-2015-0073120 (published on June 30, 2015)

따라서, 본 발명에서는 종횡비 변화를 동반한 이미지 리사이징 시 그리드 좌표점이 아닌 쿼드 크기 조정에 의한 그리드 변형 모델을 제시하여 이미지 리사이징 처리 속도를 개선하고 원본 영상 내 주요 물체의 시각적 왜곡을 최소화시키는 쿼드 크기 조정에 따른 비선형적 그리드 변형에 의한 콘텐츠 기반 이미지 리사이징 방법 및 장치를 제공하고자 한다.Therefore, the present invention proposes a grid deformation model by adjusting the quad size instead of the grid coordinate point in the image resizing with the aspect ratio change, thereby improving the speed of the image resizing process and adjusting the quad size to minimize the visual distortion of the main object in the original image A method and an apparatus for content-based image resizing by nonlinear grid deforming.

상술한 본 발명은 콘텐츠 기반 이미지 리사이징 장치로서, 리사이징 대상이 되는 타겟 영상을 입력받는 영상 입력부와, 상기 타겟 영상을 기초로 세일리언시(saliency) 영상을 생성하는 세일리언시 영상 생성부와, 상기 타겟 영상을 기초로 직선 성분 영상을 생성하는 직선 성분 영상 생성부와, 상기 세일리언시 영상과 상기 직선 성분 영상에 대해 상기 타겟 영상의 그리드의 해상도에 대응하도록 변환시킨 요약 세일리언시 영상과 요약 직선 성분 영상을 생성하는 요약 영상 생성부와, 상기 요약 세일리언시 영상과 상기 요약 직선 성분 영상을 포함하는 그리드 영역과 그 외의 그리드 영역에 대해 상기 그리드를 구성하는 각 쿼드의 종횡비를 서로 비율로 변환시켜 상기 그리드를 변형한 타겟 그리드를 산출하는 타겟 그리드 산출부와, 상기 타겟 그리드를 기반으로 상기 타겟 영상에 대한 상기 리사이징을 수행하는 픽셀 보간부를 포함한다.According to another aspect of the present invention, there is provided a content-based image resizing apparatus comprising: an image input unit receiving a target image to be resized; a saliency image generating unit generating a saliency image based on the target image; A linear component image generating unit for generating a linear component image based on the target image, a summarizing salesian image and a summarizing straight line image obtained by converting the saliency image and the linear image image to correspond to the resolution of the grid of the target image, An aspect ratio generator for generating a component image and an aspect ratio generator for converting the aspect ratio of each quad constituting the grid to a grid area including the summary salesline image and the summary linear component image and the other grid area, A target grid computing unit for computing a target grid in which the grid is modified; And a pixel interpolator for performing the resizing for the target image based on the pixel interpolator.

또한, 상기 요약 세일리언시 영상에 대한 국소적 종횡비를 유지시키는 국소적 종횡비 목적 함수를 산출하고, 상기 요약 직선 성분 영상에 대한 국소적 휘어짐을 방지시키는 국소적 휘어짐 방지 목적 함수를 산출하는 목적함수 산출부를 더 포함하며, 상기 타겟 그리드 산출부는, 상기 두 개의 목적 함수를 가산한 종합 목적 함수를 표준 2차 프로그래밍 형식으로 변환하여 상기 타겟 영상의 상기 리사이징을 위한 타겟 그리드를 산출하는 것을 특징으로 한다.Also, an objective function calculation for calculating a local aspect ratio objective function for maintaining a local aspect ratio for the summary Saleian image and for calculating a local anti-warping objective function for preventing local warping for the summary linear component image Wherein the target grid calculating unit converts a general objective function obtained by adding the two objective functions to a standard secondary programming format to calculate a target grid for the resizing of the target image.

또한, 상기 요약 영상 생성부는, 상기 타겟 영상의 그리드를 구성하는 각 쿼드 영역에 대하여 상기 세일리언시 영상과 상기 직선 성분 영상의 픽셀들의 평균값을 계산하여 상기 요약 세일리언시 영상과 상기 요약 직선 성분 영상을 생성하는 것을 특징으로 한다.The summary image generation unit may calculate an average value of the pixels of the saliency image and the linear component image with respect to each quad area constituting the grid of the target image and output the summary summary image and the summary linear component image .

또한, 상기 목적 함수 산출부는, 상기 리사이징에 따라 상기 그리드의 변형 시 상기 그리드 내의 모든 쿼드에 대하여 각 쿼드의 종횡비가 초기 종횡비에서 벗어난 정도를 에너지값으로 산출하는 함수를 상기 국소적 종횡비 목적 함수로 산출하는 것을 특징으로 한다.Also, the objective function calculating unit may calculate a function for calculating, as an energy value, an extent of the aspect ratio of each quad in the quad in the grid when the grid is deformed according to the resizing, from the initial aspect ratio, as the local aspect ratio objective function .

또한, 상기 국소적 종횡비 목적 함수는, 상기 그리드의 변형 후 모든 쿼드의 종횡비가 상기 그리드의 변형 전 퀴드의 종횡비와 같을 때 최소값을 가지는 것을 특징으로 한다.Also, the local aspect ratio objective function has a minimum value when the aspect ratios of all the quads after the deformation of the grid are equal to the aspect ratios of the pre-deformation rid of the grid.

또한, 상기 목적 함수 산출부는, 상기 리사이징에 따라 상기 그리드의 변형 시 상기 그리드 내의 모든 상하 쿼드 쌍에 대하여 각 쿼드 쌍의 쿼드 길이의 차이를 에너지값으로 산출하는 함수를 상기 국소적 휘어짐 방지 목적 함수로 산출하는 것을 특징으로 한다.The objective function calculating unit may calculate a function for calculating an energy value as a difference between quad lengths of each quad pair with respect to all the upper and lower quad pairs in the grid when the grid is deformed according to the resizing as the local anti- .

또한, 상기 국소적 휘어짐 방지 목적 함수는, 상기 그리드의 변형 후 상기 그리드내 인접한 상하 쿼드 쌍의 높이가 서로 동일할 때 최소값을 가지는 것을 특징으로 한다.The local anti-warping objective function is characterized by having a minimum value when the height of adjacent upper and lower quad pairs in the grid after the deformation of the grid is equal to each other.

또한, 상기 타겟 그리드 산출부는, 상기 2차 프로그래밍 방식으로 변환된 상기 종합 목적 함수를 최적화시키는 것을 통해 상기 타겟 영상의 리사이징을 위한 타겟 그리드를 산출하는 것을 특징으로 한다.The target grid computing unit may calculate a target grid for the resizing of the target image by optimizing the integrated objective function converted by the secondary programming method.

또한, 본 발명은 콘텐츠 기반 이미지 리사이징 방법으로서, 리사이징 대상이 되는 타겟 영상을 입력받는 단계와, 상기 타겟 영상을 기초로 세일리언시 영상과 직선 성분 영상을 생성하는 단계와, 상기 세일리언시 영상과 상기 직선 성분 영상에 대해 상기 타겟 영상의 그리드의 해상도에 대응하도록 변환시킨 요약 세일리언시 영상과 요약 직선 성분 영상을 생성하는 단계와, 상기 요약 세일리언시 영상과 상기 요약 직선 성분 영상을 포함하는 그리드 영역과 그 외의 그리드 영역에 대해 상기 그리드를 구성하는 각 쿼드의 종횡비를 서로 비율로 변환시켜 상기 그리드를 변형한 타겟 그리드를 산출하는 산출하는 단계와, 상기 타겟 그리드를 기반으로 상기 타겟 영상에 대한 상기 리사이징을 수행하는 단계를 포함한다.According to another aspect of the present invention, there is provided a content-based image resizing method comprising: inputting a target image to be resized; generating a saliency image and a linear component image based on the target image; Generating a summary saliency image and a summary linear component image transformed to correspond to the resolutions of the grid of the target image with respect to the linear component image and a grid including the summary saliency image and the summary linear component image, Calculating a target grid in which the grid is deformed by converting a ratio of aspect ratios of the quads constituting the grid to a ratio of the ratio of the aspect ratios of the quads constituting the grid to the grid area of the grid and the other grid areas; And performing resizing.

또한, 상기 타켓 그리드를 산출하는 단계는, 상기 요약 세일리언시 영상에 대한 국소적 종횡비를 유지시키는 국소적 종횡비 목적 함수를 산출하는 단계와, 상기 요약 직선 성분 영상에 대한 국소적 휘어짐을 방지시키는 국소적 휘어짐 방지 목적 함수를 산출하는 단계와, 상기 두 개의 목적 합수를 가산한 종합 목적 함수를 표준 2차 프로그래밍 형식으로 변환하여 상기 타겟 영상의 상기 리사이징을 위한 타겟 그리드를 산출하는 단계를 포함하는 것을 특징으로 한다.The step of calculating the target grid may further include calculating a local aspect ratio objective function for maintaining a local aspect ratio of the summary saliency image, calculating a local aspect ratio objective function for maintaining a local aspect ratio And calculating a target grid for the resizing of the target image by converting the integrated objective function obtained by adding the two objective integers to a standard quadratic programming form .

또한, 상기 요약 세일리언시 영상과 요약 직선 성분 영상을 생성하는 단계는, 상기 타겟 영상의 그리드를 구성하는 각 쿼드 영역에 대하여 상기 세일리언시 영상의 픽셀들의 평균값을 계산하여 상기 세일리언시 영상을 생성하는 단계와, 상기 타겟 영상의 그리드를 구성하는 각 쿼드 영역에 대하여 상기 직선 성분 영상의 픽셀들의 평균값을 계산하여 상기 요약 직선 성분 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.The generating of the summary saliency image and the summary linear component image may include calculating the average value of the pixels of the saliency image for each quadrant constituting the grid of the target image, And generating the summary linear component image by calculating an average value of the pixels of the linear component image with respect to each quad area constituting the grid of the target image.

또한, 상기 국소적 종횡비 목적 함수는, 상기 리사이징에 따라 상기 그리드의 변형 시 상기 그리드 내의 모든 쿼드에 대하여 각 쿼드의 종횡비가 초기 종횡비에서 벗어난 정도를 에너지값으로 산출하는 함수인 것을 특징으로 한다.In addition, the local aspect ratio objective function is a function of calculating, as an energy value, a degree of an aspect ratio of each quad deviating from an initial aspect ratio with respect to all quads in the grid when the grid is deformed according to the resizing.

또한, 상기 국소적 휘어짐 방지 목적 함수는, 상기 리사이징에 따라 상기 그리드의 변형 시 상기 그리드 내의 모든 상하 쿼드 쌍에 대하여 각 쿼드 쌍의 쿼드 길이의 차이를 에너지값으로 산출하는 함수를 상기 국소적 휘어짐 방지 목적 함수로 산출하는 것을 특징으로 한다.The local anti-warping objective function may be a function of calculating a difference in quad length between quad pairs of all the upper and lower quad pairs in the grid when the grid is deformed according to the resizing as an energy value, And is calculated as an objective function.

또한, 상기 국소적 휘어짐 방지 목적 함수는, 상기 그리드의 변형 후 상기 그리드 내 인접한 상하 쿼드 쌍의 높이가 서로 동일할 때 최소값을 가지는 것을 특징으로 한다.The local anti-warping objective function is characterized by having a minimum value when the height of adjacent upper and lower quad pairs in the grid after the deformation of the grid is equal to each other.

본 발명에 따르면, 비선형적 그리드 변형에 의한 콘텐츠 기반 이미지 리사이징 장치에서 종횡비 변화를 동반한 이미지 리사이징 시 그리드 좌표점이 아닌 쿼드 크기 조정에 의한 그리드 변형 모델을 제시하여 이미지 리사이징 처리 속도를 개선하고 원본 영상 내 주요 물체의 시각적 왜곡을 최소화시키는 이점이 있다.According to the present invention, in the content-based image resizing apparatus by the nonlinear grid deformation, the grid reshaping model by the quad size adjustment instead of the grid coordinate point in the image resizing with the change of the aspect ratio is presented to improve the image resizing processing speed, This has the advantage of minimizing the visual distortion of the main object.

도 1은 종래 콘텐츠 기반 이미지 리사이징 접근법 예시도.
도 2는 종래 와핑 기반 접근법과 관련된 그리드 화면 예시도.
도 3은 종래 교차점에 의한 그리드 변형 모델 예시도.
도 4는 본 발명의 실시예에 따른 퀴드 크기에 의한 그리드 변형 모델 예시도.
도 5는 본 발명의 실시예에 따른 콘텐츠 기반 이미지 리사이징 장치의 블록 구성도,
도 6은 본 발명의 실시예에 따른 콘텐츠 기반 이미지 리사이징 장치에서 이미지 리사이징을 수행하는 신호 처리 흐름도.
도 7은 본 발명의 실시예에 따른 요약 세일리언시 영상과 요약 직선 성분 영상 예시도.
도 8은 본 발명의 실시예에 따른 선형 스케일링과 비선형 그리드 변형에 따른 직선 성분 휘어짐 왜곡 예시도.
도 9는 본 발명의 실시예에 따른 콘텐츠 기반 이미지 리사이징에 따라 타겟 영상이 리사이징되는 순서 예시도.Figure 1 illustrates an example of a conventional content-based image resizing approach.
2 is an illustration of a grid screen associated with a conventional warping-based approach;
3 is an illustration of a grid deformation model by a conventional intersection point.
4 is an illustration of a grid deformation model by a quad size according to an embodiment of the present invention.
FIG. 5 is a block diagram of a content-based image resizing apparatus according to an embodiment of the present invention;
6 is a signal processing flowchart for performing image resizing in a content-based image resizing apparatus according to an embodiment of the present invention;
7 is a diagram illustrating a summary saliency image and a summary linear component image according to an embodiment of the present invention.
Figure 8 is an illustration of linear component warping distortion in accordance with linear scaling and nonlinear grid deformation according to an embodiment of the present invention;
FIG. 9 is a diagram illustrating an example of a sequence in which a target image is resized according to a content-based image resizing according to an embodiment of the present invention; FIG.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, the operation principle of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and these may be changed according to the intention of the user, the operator, or the like. Therefore, the definition should be based on the contents throughout this specification.

도 4는 본 발명의 실시예에 따른 쿼드 크기에 의한 그리드 변형 모델을 도시한 것이다.FIG. 4 illustrates a grid deformation model based on quad size according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시예에서는 종래 기술의 단점을 보완하기 위해 콘텐츠 기반 이미지 리사이징을 위한 새로운 그리드 변형 모델을 제안한다. 즉, 본 발명의 실시예에서는 제안하는 그리드 모델은 그리드의 교차점이 아닌 쿼드의 높이와 너비를 최적화 변수로 설정한다. Referring to FIG. 4, in an embodiment of the present invention, a new grid deformation model for content-based image resizing is proposed to overcome the shortcomings of the prior art. That is, in the embodiment of the present invention, the proposed grid model sets the height and width of the quad rather than the intersection of the grid as optimization variables.

또한, 도 4에서와 같이 그리드의 해상도를 수직, 수평 방향으로 각각 M, N개 구획으로 설정한 경우, 쿼드 높이 및 너비는 총 2*(M+1)*(N+1)개가 생성된다. 이때, 쿼드 높이 및 너비는 좌표(벡터)가 아닌 스칼라이기 때문에 반복적 계산 없이 한번의 계산으로 타겟 그리드를 획득할 수 있다. In addition, when the resolution of the grid is set to M and N divisions in the vertical and horizontal directions as shown in FIG. 4, a total of 2 * (M + 1) * (N + 1) quad heights and widths are generated. At this time, since the quad height and width are scalar rather than coordinate (vector), the target grid can be obtained with one calculation without iterative calculation.

즉, 본 발명의 실시예에서는 새로운 그리드 모델 외에, 2개의 최적화 목적 함수(Objective function)를 설계하였고, 이를 통해 고품질, 고속 콘텐츠 기반 이미지 리사이징 방법 및 장치를 구현한다.That is, in the embodiment of the present invention, in addition to the new grid model, two optimization objective functions are designed, thereby realizing a high-quality, high-speed content-based image resizing method and apparatus.

도 5는 본 발명의 실시예에 따른 콘텐츠 기반 이미지 리사이징 장치의 블록 구성을 도시한 것이다.5 is a block diagram of a content-based image resizing apparatus according to an embodiment of the present invention.

도 6은 도 5의 콘텐츠 기반 이미지 리사이징 장치에서 이미지 리사이징을 수행하는 신호 처리 흐름을 도시한 것이다. FIG. 6 shows a signal processing flow for performing image resizing in the content-based image resizing apparatus of FIG. 5;

이하, 도 5와 도 6을 참조하여 본 발명의 실시예에 따른 콘텐츠 기반 이미지 리사이징 장치의 각 구성요소에서의 동작을 상세히 설명하기로 한다.Hereinafter, operation of each component of the content-based image resizing apparatus according to the embodiment of the present invention will be described in detail with reference to FIG. 5 and FIG.

먼저, 영상 입력부(502)는 콘텐츠 기반 이미지 리사이징 대상이 되는 타겟 영상을 로딩한다. 이때, 위와 같은 타겟 영상에 대해 리사이징 크기가 함께 입력될 수 있으며, 이미지 리사이징을 위한 초기 그리드는 영상 입력부(502)로부터 입력된 타겟 영상의 영역을 수직, 수평 방향으로 각각 M, N개의 간격 구획으로 나뉘어 만들어진 2차원 배열이 될 수 있다.First, the image input unit 502 loads a target image to be a content-based image resizing target. In this case, the resizing size for the target image may be input together, and the initial grid for image resizing may be divided into M and N space divisions in the vertical and horizontal directions, respectively, from the target image region input from the image input unit 502 It can be a two-dimensional array made by dividing.

세일리언시 영상 생성부(504)는 영상 입력부로부터 입력된 이미지 리사이징 대상 타겟 영상으로부터 세일리언시 영상을 생성한다. 이때, 이러한 세일리언시 영상은 타겟 영상과 동일한 크기의 그레이 스케일(grayscale) 영상이며, 타겟 영상의 국소적 중요도 또는 관심 영역(ROI : Region of interest)을 나타내는 영상을 의미할 수 있다. 또한, 세일리언시 영상을 획득하는 방법으로 세일리언시 영상 검출 알고리즘을 사용할 수 있으나, 세일리언시 영상을 검출할 수 있는 임의의 알고리즘을 사용하는 것도 가능하다.The salishian image generating unit 504 generates a saliency image from the image of the image resizing target input from the image input unit. At this time, the saliency image is a grayscale image having the same size as the target image, and may be an image representing a local importance or a region of interest (ROI) of the target image. In addition, the Saleian image detection algorithm can be used as a method of obtaining Saleian image, but it is also possible to use an arbitrary algorithm capable of detecting Saleian image.

직선 성분 영상 생성부(506)는 영상 입력부(502)로부터 입력된 이미지 리사이징 대상 타겟 영상으로부터 직성 성분 영상을 생성한다. 이때, 이러한 직선 성분 영상은 타겟 영상 내의 직선 성분들을 검출한 영상으로 타겟 영상과 동일한 크기의 그레이 스케일 영상이며, 타겟 영상의 직선 성분과 각 직선 성분의 길이에 따른 중요도를 나타낼 수 있다. 또한, 직선 성분 영상 생성부(506)는 검출된 직선 성분들에 대해 각 길이에 비례하여 중요도를 산출할 수 있다.The linear component image generating unit 506 generates a linear component image from the image to be resized target image input from the image input unit 502. In this case, the linear component image is a gray-scale image having the same size as the target image, which represents linear components in the target image, and can represent the importance according to the linear component and the length of each linear component of the target image. In addition, the linear component image generating unit 506 can calculate the importance of the detected straight line components in proportion to each length.

요약 영상 생성부(508)는 위와 같이 생성된 세일리언시 영상과 직선 성분 영상에 대해 그리드(grid) 배열의 해상도에 맞게 요약 영상으로 변환시킨다. 이때, 요약 영상 생성부(508)는 세일리언시 영상과 직성 성분 영상에 대해 그리드를 구성하는 각 퀴드 영역에 대하여 세일리언시 영상 및 직선 성분 영상 픽셀들의 평균값을 계산하여 요약 영상으로 변환시킬 수 있다. The summary image generation unit 508 converts the generated saliency image and the linear component image into the summary image according to the resolution of the grid array. At this time, the summary image generation unit 508 may calculate an average value of the saliency image and the straight line component image pixels for each quadrant constituting the grid with respect to the salesian image and the linear component image, and convert the average value to a summary image .

이때, 요약 세일리언시 영상은

, 요약 직선 성분 영상은

과 같이 표기될 수 있다.At this time, the summary Saleian image

, The summary linear component image

As shown in FIG.

도 7은 본 발명의 실시예에 따라 요약 영상 생성부(508)에서 생성되는 요약 세일리언시 영상과 요약 직선 성분 영상을 도시한 것이다.7 shows a summary saliency image and a summary linear component image generated by the summary image generation unit 508 according to an embodiment of the present invention.

도 7을 참조하면, 도 7의 (a)에서와 같은 원본 타겟 영상에 대해 세일리언시 영상은 도 7의 (b)에서와 같이 생성될 수 있으며, 직선 성분 영상은 도 7의 (c)에서와 같이 생성될 수 있다. 7, a saliency image for the original target image as shown in FIG. 7 (a) can be generated as shown in FIG. 7 (b), and a linear component image can be generated as shown in (c) As shown in FIG.

이때, 위와 같은 도 7의 (b)에서와 같은 세일리언시 영상은 도 7의 (d)에서와 같이 요약 세일리언시 영상으로 변환될 수 있으며, 도 7의 (c)에서와 같은 직선 성분 영상은 도 7의 (e)에서와 같이 요약 직선 성분 영상으로 변환될 수 있다.7 (b) can be converted into a summarized Saleian image as shown in FIG. 7 (d), and a linear component image as shown in FIG. 7 (c) Can be converted into a summary linear component image as shown in FIG. 7 (e).

한편, 위와 같은 요약 세일리언시 영상과 요약 직선 성분 영상은 각각 원 영상 내의 시각적 중요도 분포와 구조적 성분의 분포를 나타낸다고 볼 수 있다. On the other hand, the summary saliency image and the summary linear component image as described above can be regarded as the distribution of the visual importance distribution and the structural component in the original image, respectively.

목적 함수 산출부(510)는 요약 영상 생성부(508)로부터 생성된 요약 세일리언시 영상 및 요약 직선 성분 영상을 기반으로 콘텐츠 기반 이미지 리사이징을 위한 두 가지 최적화 목적 함수(Objective function)를 산출한다. 이러한 두 가지 목적 함수 중 첫 번째는 목적 함수는 요약 세일리언시 영상에 따른 국소적 종횡비 유지 목적 함수일 수 있고, 두 번째는 요약 직선 성분 영상에 따른 국소적 휘어짐 방지 목적 함수일 수 있다.The objective function calculating unit 510 calculates two objective functions for content-based image resizing based on the summary saliency image and the summary linear image image generated from the summary image generating unit 508. [ The first of these two objective functions can be the objective function to maintain the local aspect ratio according to the summary saliency image and the second can be the objective function to prevent local warping according to the summary linear component image.

먼저, 첫 번째 목적 함수인 국소적 종횡비 유지 목적 함수는 총 4개의 하위 목적 함수의 합으로써 얻어지며, 그 중 첫 번째 하위 목적 함수는 도 4를 참조하여 다음과 같이 정의될 수 있다.First, the objective function of maintaining the local aspect ratio, which is the first objective function, is obtained as the sum of four sub-objective functions, of which the first sub-objective function can be defined as follows with reference to FIG.

위 [수학식 1]은 그리드 변형 시 그리드 내의 모든 쿼드에 대하여 각 쿼드의 종횡비가 초기 종횡비에서 벗어난 정도를 에너지로 설정한다. 다시 말해, 위 목적 함수는 그리드 변형 후 모든 쿼드의 종횡비가 변형 전 종횡비와 같을 때 최소값

을 가지게 된다. 해당 목적 함수가 그리드 변형에 미치는 영향은 두 가지 경우를 들어 설명할 수 있다. 첫 번째 경우는 리사이징 시 종횡비 변화를 동반하지 않는 경우이다. Equation (1) sets the degree to which the aspect ratio of each quad deviates from the initial aspect ratio with respect to all the quads in the grid when the grid is deformed. In other words, the objective function above is the minimum value when all the quad aspect ratios after the grid deformation are equal to the pre-

. The effect of the objective function on the grid deformation can be explained in two cases. The first case is when there is no change in aspect ratio when resizing.

이때에는 그리드 변형 후 모든 쿼드의 종횡비가 변형 전과 동일하게 유지될 때 위 [수학식1]은 최소값을 가지게 되고, 따라서 선형 스케일링(Scaling)과 동일한 결과를 산출한다. In this case, when the aspect ratios of all the quads after the grid deformation are kept the same as before the deformation, the above formula (1) has the minimum value, and thus the same result as the linear scaling is obtained.

두 번째 경우는 리사이징 시 종횡비 변화를 동반하는 경우이다. 이때에는 쿼드들의 종횡비 변화가 불가피하게 되는데, 위 목적 함수를 통한 그리드 변형 시 상대적으로 중요한 쿼드 즉,

의 값이 큰 쿼드에 대해서는 종횡비를 유지시키고, 그와 동시에 상대적으로 덜 중요한 쿼드에 대해서는 더 많은 종횡비 변화를 허용하는 특정 조건에서 위 [수학식1]은 최소값을 가지게 된다.The second case is when the aspect ratio changes with resizing. In this case, the aspect ratio of the quads is inevitably changed. In the case of the grid transformation through the above objective function,

(1) has a minimum value in a certain condition that maintains the aspect ratio for a quad with a larger value of r, while permitting a larger aspect ratio change for a relatively less important quad.

위의 [수학식 1]을 도 4와 함께 비교하면, [수학식 1]에 표현된 목적 함수는 특정 쿼드의 종횡비를 산출 시 쿼드의 좌측 높이값과 상단 너비값의 비율을 통해 종횡비를 나타냄을 알 수 있다. 특정 쿼드에 대하여 정의되는 종횡비는 이것 이외에 3가지 경우(좌측 높이값 대비 하단 너비값, 우측 높이값 대비 상단 너비값, 우측 높이값 대비 하단 너비값)에 대해 정의될 수 있다. 이 3가지 경우에 대한 목적 함수는 각각

와 같이 표현되며, 이들 각각은 [수학식 1]과 비슷한 방식으로 정의된다. 상기한 총 4개의 목적 함수는 아래의 [수학식 2]에서와 같이 더해져 국소적 종횡비 목적 함수로 정의된다.Comparing Equation 1 with Equation 1, the objective function expressed in Equation (1) represents the aspect ratio through the ratio of the left height value to the upper width value of the quad when calculating the aspect ratio of a specific quad Able to know. In addition to these, the aspect ratios defined for a particular quad can be defined for three cases (the lower width value relative to the left height value, the upper width value relative to the right height value, and the lower width value relative to the right height value). The objective function for these three cases is

, Each of which is defined in a manner similar to [Equation 1]. The total of the four objective functions is defined as a local aspect ratio objective function, as in Equation (2) below.

다음으로, 두 번째 목적 함수인 국소적 휘어짐 방지 목적 함수는 도 4를 참조하는 경우 총 2개의 하위 목적 함수의 합으로써 얻어지며, 그 중 첫 번째 목적 함수는 다음과 같이 정의된다.Next, the second objective function, the local anti-warp objective function, is obtained as the sum of two sub-objective functions in total with reference to FIG. 4, wherein the first objective function is defined as follows.

위 [수학식3]에서는 그리드 변형 시 그리드 내의 모든 상하 쿼드 쌍에 대하여 각 쌍의 쿼드 길이(이 경우 높이) 차이를 에너지로 설정한다. 따라서 위 목적 함수는 그리드 변형 후 서로 인접한 쿼드 쌍의 높이가 서로 동일할 때 최소값

을 가지게 된다. 해당 목적 함수가 그리드 변형에 미치는 영향은 두 가지 경우를 들어 설명할 수 있다. 첫 번째 경우는 리사이징 시 종횡비 변화를 동반하지 않는 경우이다. 이때에는 첫 번째 목적 함수인

에 의해 그리드는 선형 스케일링이 수행되기 때문에 그리드 변형 후 모든 쿼드의 높이는 서로 동일한 값을 가지게 되고, 이에 따라 목적 함수는 최소값

을 가지게 된다. Equation (3) sets the difference in quad length (in this case, height) of each pair to energy for all the upper and lower quad pairs in the grid when the grid is deformed. Therefore, the above objective function is a function of the minimum value when the height of quad pairs adjacent to each other after the grid deformation are equal to each other

. The effect of the objective function on the grid deformation can be explained in two cases. The first case is when there is no change in aspect ratio when resizing. At this time, the first objective function

The grid is subjected to linear scaling so that the height of all the quads after the grid deformation becomes equal to each other,

.

두 번째 경우는 리사이징 시 종횡비 변화를 동반하는 경우이다. 이때에는 첫 번째 목적 함수에 의해 비선형적 그리드 변형이 일어나는데, 상기한 국소적 휘어짐 방지 목적 함수를 통해 그리드의 불규칙적 변형을 방지할 수 있다. 해당 목적 함수는 원 영상 내 직선 성분의 유무 및 강도에 따라 선택적, 국소적으로 적용된다. 직선 성분의 강도

는 위 [수학식 4]에서와 같이 요약 직선 성분 영상

로부터 추출되며, 이 값이 큰 영역일수록 목적 함수의 영향을 더 강하게 받는다. The second case is when the aspect ratio changes with resizing. At this time, the nonlinear grid deformation occurs due to the first objective function. The irregular deformation of the grid can be prevented by the above-described local anti-bending objective function. The objective function is applied selectively and locally according to the presence and intensity of the linear component in the original image. Strength of linear component

As in Equation (4) above,

, And the larger the value is, the stronger the effect of the objective function is.

도 8은 본 발명의 실시예에 따른 선형 스케일링과 비선형 그리드 변형에 따른 직선 성분 휘어짐 왜곡을 예시한 것으로, 국소적 휘어짐 방지 목적 함수는 도 8의 (b)와 같은 비선형 그리드 변형에 의한 휘어짐 현상을 방지하는 효과가 있다.8 illustrates the linear component warping distortion according to the linear scaling and the nonlinear grid deformation according to the embodiment of the present invention. The local anti-warping objective function is a function of the warping due to the nonlinear grid deformation as shown in FIG. 8 (b) .

한편, 위의 [수학식3]은 쿼드들의 높이 차이에만 관련된 항임을 알 수 있다. 이와 비슷한 방식으로 너비에 대한 하위 목적 함수

를 정의할 수 있고, 두 하위 목적 함수는 아래의 [수학식5]에서와 같이 더해져 국소적 휘어짐 방지 목적 함수로 정의된다.It can be seen that Equation (3) above is related only to the height difference of the quads. In a similar way, the sub-objective function

, And the two sub-objective functions are defined as a local anti-warp objective function, as in Equation (5) below.

상기 과정을 통해 두 가지 목적 함수 즉, 요약 세일리언시 영상에 따른 국소적 종횡비 유지 목적 함수(

) 및 요약 직선 성분 영상에 따른 국소적 휘어짐 방지 목적 함수(

)를 산출하였다. 이 두 목적 함수는 아래의 [수학식6]에서와 같이 더해짐으로써 종합 목적 함수가 산출된다.Through the above process, the objective function of maintaining the local aspect ratio according to the summary Saleian image

) And the local anti-warping objective function according to the summary linear component image

). These two objective functions are added together as shown in Equation (6) below to calculate a total objective function.

타겟 그리드 산출부(512)는 목적 함수 산출부(510)로부터 산출된 국소적 종횡비 유지 목적 함수와 국소적 휘어짐 방지 목적 함수를 표준 2차 프로그래밍 형식으로 변환하여 최적화를 수행하고 타겟 그리드를 산출한다.The target grid computing unit 512 converts the target aspect ratio maintaining objective function and the local anti-warping objective function calculated from the objective function calculating unit 510 into a standard secondary programming format, performs optimization, and calculates a target grid.

이때, 위와 같은 2차 프로그래밍 최적화는 2차식으로 표현된 목적 함수와 선형 경계조건(Linear constraint)들로 이루어진 경우 적용 가능하다. 2차 프로그래밍을 적용하기 위해서 주어진 종합 목적 함수를 아래 [수학식7]에서와 같이 표준 2차 프로그래밍 형식(Standard quadratic programming form)으로 변환한다.In this case, the above-mentioned second-order programming optimization is applicable to a case where the linear function is expressed by a quadratic equation and linear boundary conditions. To apply the quadratic programming, a given overall objective function is transformed into a standard quadratic programming form as shown in Equation (7) below.

위 [수학식7]에서,

는 변수 벡터를,

는 계수 행렬을,

는 계수 벡터를 각각 가리킨다. 그리드 내 모든 쿼드 높이 및 너비를 포함하는 변수 벡터

는 아래의 [수학식8]에서와 같이 정의된다.In Equation (7) above,

A variable vector,

A coefficient matrix,

Respectively. A variable vector containing all the quad height and width in the grid

Is defined as in Equation (8) below.

여기서, 계수 행렬

는 아래의 [수학식9]에서와 같이 두 개의 목적 함수에 대한 계수 행렬

의 합으로 표현되며, 이는 [수학식6]에 대응하여 이해할 수 있다.Here, the coefficient matrix

Is a coefficient matrix for two objective functions as shown in the following equation (9)

, Which can be understood in correspondence with Equation (6).

또한, 국소적 종횡비 유지 목적 함수에 대한 계수 행렬인

은 위 [수학식2]의 정의에 따라 아래의 [수학식10]에서와 같이 표현되며, 이는 [수학식2]에 대응하여 이해할 수 있다.Also, the coefficient matrix for the objective aspect ratio maintaining objective function

Is expressed as in the following Equation (10) according to the definition of Equation (2), which can be understood in correspondence with Equation (2).

이어, 국소적 종횡비 유지 목적 함수의 첫 번째 하위 목적 함수에 대한 계수 행렬

은 아래의 [수학식11]에서와 같이 산출된다.Then, the coefficient matrix for the first sub-objective function of the objective aspect ratio maintaining objective function

Is calculated as shown in the following equation (11).

또한, 국소적 종횡비 유지 목적 함수의 나머지 계수 행렬

은 위와 비슷한 방식으로 산출되어 위 [수학식10]에서와 같이 더해진다.The remaining coefficient matrix of the objective aspect ratio maintaining objective function

Is calculated in a manner similar to the above and is added as in Equation (10).

이어, 국소적 휘어짐 방지 목적 함수에 대한 계수 행렬인

은 [수학식5]의 정의에 따라 아래의 [수학식12]에서와 같이 표현되며, 이는 [수학식5]에 대응하여 이해할 수 있다.Next, the coefficient matrix for the local anti-warp objective function

Is expressed as in the following Equation (12) according to the definition of Equation (5), which can be understood corresponding to Equation (5).

또한, 국소적 휘어짐 방지 목적 함수의 첫 번째 하위 목적 함수에 대한 계수 행렬

는 아래의 [수학식13]에서와 같이 산출된다.Also, the coefficient matrix for the first sub-objective function of the local anti-warp objective function

Is calculated as shown in the following equation (13).

이어, 국소적 휘어짐 방지 목적 함수의 두 번째 계수 행렬

는 위와 비슷한 방식으로 산출되어 [수학식12]에서와 같이 더해진다.Next, the second coefficient matrix of the local anti-warp objective function

Is calculated in a manner similar to the above and is added as in Equation (12).

또한, 상기한 두 계수 행렬

은 [수학식9]에서와 같이 더해짐으로써 종합 계수 행렬

가 얻어지며, 계수 벡터

는

이다.In addition, the two coefficient matrices

Is added as shown in Equation (9)

Is obtained, and the coefficient vector

The

to be.

이때, 2차 프로그래밍 최적화를 위한 선형 경계조건은 아래의 [수학식14]에서와 같다.At this time, the linear boundary condition for the secondary programming optimization is as in Equation (14) below.

위의 경계조건에 따른 계수 행렬

와 계수 벡터

는 상기한 목적 함수에 대한 계수 행렬 및 계수 벡터 산출과 비슷한 방식으로 산출된다. 상기한 방식에 의해 얻어진 종합 계수 행렬

와 계수 행렬

, 계수 벡터

를 변수 벡터

와 더불어 표준 2차 프로그래밍 형식으로 표현된 것이 [수학식 7]이다.The coefficient matrix according to the above boundary condition

And coefficient vector

Is calculated in a manner similar to the coefficient matrix and the coefficient vector calculation for the objective function. The total coefficient matrix obtained by the above-

And coefficient matrix

, Coefficient vector

To a variable vector

And Equation (7) is expressed in a standard secondary programming format.

즉, 타겟 그리드 산출부(512)는 상기한 목적 함수 및 선형 경계조건을 이용하여 2차 프로그래밍 최적화를 통해 타겟 그리드를 산출한다.That is, the target grid computing unit 512 computes the target grid through the secondary programming optimization using the objective function and the linear boundary condition described above.

픽셀 보간부(514)는 타겟 그리드 산출부(512)를 통해 새롭게 얻어진 타겟 그리드를 기반으로 픽셀 보간을 수행하여 리사이징 이미지를 생성한다.The pixel interpolator 514 performs pixel interpolation based on the newly obtained target grid through the target grid calculator 512 to generate a resizing image.

디스플레이부(516)는 제어부(518)의 제어에 따라 이미지 리사이징 대상이 되는 타겟 영상을 디스플레이하거나, 본 발명의 실시예에 따라 콘텐츠 기반 이미지 리사이징 장치(500)에서 수행된 이미지 리사이징된 영상을 디스플레이시킨다.The display unit 516 displays a target image to be subjected to image resizing under the control of the controller 518 or displays an image resized image performed in the content-based image resizing apparatus 500 according to an embodiment of the present invention .

제어부(518)는 데이터 저장부(520)에 저장된 동작 프로그램에 따라 콘텐츠 기반 이미지 리사이징 장치(500)의 전반적인 동작을 제어한다. 또한, 제어부(518)는 콘텐츠 기반 이미지 리사이징 장치(500)의 각 구성요소를 제어하며, 국소적 종횡비 유지 목적 함수 및 국소적 휘어짐 방지 목적 함수를 이용하여 변형된 그리드를 기반으로 이미지 리사이징을 수행하는 도 6에 도시된 일련의 과정을 제어한다.The control unit 518 controls the overall operation of the content-based image resizing apparatus 500 according to an operation program stored in the data storage unit 520. In addition, the control unit 518 controls each component of the content-based image resizing apparatus 500 and performs image resizing based on the modified grid using the local aspect ratio maintaining objective function and the local anti-warping objective function And controls a series of processes shown in FIG.

도 9는 본 발명의 실시예에 따른 콘텐츠 기반 이미지 리사이징에 따라 타겟 영상이 리사이징되는 순서를 도시한 것이다.FIG. 9 illustrates a sequence in which a target image is resized according to a content-based image resizing according to an embodiment of the present invention.

위 도 9를 참조하는 경우 도 9의 (a)에서와 같은 원본 타겟 영상은 세일리언시 영상 생성부를 통해 도 9의 (b)에서와 같은 세일리언시 영상으로 변환되며, 직선 성분 영상 생성부를 통해 도 9의 (c)에서와 같은 직선 성분 영상으로 변환된다.9, an original target image as shown in FIG. 9A is converted into a Saleanian image as shown in FIG. 9B through a salesian image generating unit, Is converted into a linear component image as shown in Fig. 9 (c).

이어, 세일리언시 영상과 직선 성분 영상은 요약 영상 생성부를 통해 각각 도 9의 (d)와 (e)에서와 같이 요약 세일리언시 영상과 요약 직선 성분 영상으로 변환된다.Then, the saliency image and the linear component image are converted into a summarized Saleian image and a summarized linear component image, respectively, as shown in (d) and (e) of FIG. 9 through the summary image generating unit.

이어, 요약 세일리언시 영상과 요약 직선 성분 영상은 2차 프로그래밍 최적화 및 타겟 그리드 산출부를 통해 생성된 타겟 그리드를 기반으로 픽셀 보간이 수행되어 최종 리사이징 영상으로 변환된다.Next, the summary saliency image and the summary linear component image are subjected to pixel interpolation based on the target grid generated through the secondary programming optimization and the target grid calculator, and then converted into the final resizing image.

상술한 바와 같이, 본 발명에 따르면, 비선형적 그리드 변형에 의한 콘텐츠 기반 이미지 리사이징 장치에서 종횡비 변화를 동반한 이미지 리사이징 시 그리드 좌표점이 아닌 쿼드 크기 조정에 의한 그리드 변형 모델을 제시하여 이미지 리사이징 처리 속도를 개선하고 원본 영상 내 주요 물체의 시각적 왜곡을 최소화시킬 수 있다.As described above, according to the present invention, in the content-based image resizing apparatus by the nonlinear grid deformation, the grid reshaping model by the quad size adjustment rather than the grid coordinate point in the image resizing with the aspect ratio change is presented, And to minimize the visual distortion of the main object in the original image.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Combinations of the steps of each flowchart attached to the present invention may be performed by computer program instructions. These computer program instructions may be loaded into a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus so that the instructions, which are executed via a processor of a computer or other programmable data processing apparatus, Lt; / RTI > These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible to produce manufacturing items that contain instruction means for performing the functions described in each step of the flowchart. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible for the instructions to perform the processing equipment to provide steps for executing the functions described in each step of the flowchart.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in the steps may occur out of order. For example, the two steps shown in succession may in fact be performed substantially concurrently, or the steps may sometimes be performed in reverse order according to the corresponding function.

한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention. Accordingly, the scope of the invention should not be limited by the described embodiments but should be defined by the appended claims.

502 : 영상 입력부 504 : 세일리언시 영상 생성부
506 : 직선성분 영상 생성부 508 : 요약 영상 생성부
510 : 목적 함수 산출부 512 : 타겟 그리드 산출부
514 : 픽셀 보간부 516 : 디스플레이부
518 : 제어부 520 : 데이터 저장부 502: Image input unit 504: Salesian image generating unit
506: Linear component image generator 508:
510: objective function calculating unit 512: target grid calculating unit
514: Pixel interpolator 516:
518: Control section 520: Data storage section

Claims

A video input unit for receiving a target video to be resized,
A saliency image generating unit for generating a saliency image based on the target image,
A linear component image generator for generating a linear component image based on the target image;
A summary image generating unit for generating a summary saliency image and a summary linear component image transformed to correspond to the resolution of the grid of the target image with respect to the saliency image and the linear component image,
A target for calculating a target grid obtained by transforming the aspect ratio of each quad constituting the grid with respect to the grid area including the summary salient image and the summary linear component image and the other grid areas, A grid calculation unit,
A pixel interpolator for performing the resizing of the target image based on the target grid,
Based image resizing apparatus.

The method according to claim 1,
An objective function calculating unit for calculating a local aspect ratio objective function for maintaining a local aspect ratio of the summary Salient image and calculating a local anti-warping objective function for preventing local warping of the summary linear component image &Lt; / RTI &
Wherein the target grid calculating unit calculates a target grid for the resizing of the target image by transforming a general objective function obtained by adding the two objective functions to a standard secondary programming format.

The method according to claim 1,
The summary image generation unit generates,
A content-based image resizing device for calculating the average value of the pixels of the saliency image and the linear component image for each quad area constituting the grid of the target image to generate the summary saliency image and the summary linear component image, .

3. The method of claim 2,
Wherein the objective function calculating section calculates,
Wherein the local aspect ratios function is calculated as a function of calculating, as an energy value, an extent to which an aspect ratio of each quad deviates from an initial aspect ratio with respect to all quads in the grid when the grid is deformed according to the resizing.

5. The method of claim 4,
Wherein the local aspect ratio objective function comprises:
And a minimum value when the aspect ratios of all the quads after the deformation of the grid are equal to the aspect ratios of the pre-deformation quads of the grid.

6. The method of claim 5,
Wherein the objective function calculating section calculates,
And calculating a difference in quad length of each quad pair as an energy value with respect to all the upper and lower quad pairs in the grid when the grid is deformed according to the resizing, as the local anti-bending objective function.

The method according to claim 6,
Wherein the local anti-warp objective function comprises:
And a minimum value when the height of adjacent pairs of upper and lower quads in the grid after mutating the grid is equal to each other.

3. The method of claim 2,
The target grid calculating unit calculates,
Wherein the target grid is computed by optimizing the integrated objective function transformed by the secondary programming method to a target grid for resizing the target image.

Receiving a target image to be resized,
Generating a saliency image and a linear component image based on the target image;
Generating a summary saliency image and a summary linear component image transformed to correspond to the resolution of the grid of the target image with respect to the saliency image and the linear component image,
Calculating a target grid in which the grid is deformed by converting the aspect ratios of the quads constituting the grid with respect to the grid area including the summary salient image and the summary linear component image and the other grid areas, , &Lt; / RTI &
Performing the resizing of the target image based on the target grid
Based image resizing method.

10. The method of claim 9,
Wherein the step of calculating the target grid comprises:
Calculating a local aspect ratio objective function that maintains a local aspect ratio for the summary saliency image,
Calculating a local anti-warping objective function to prevent local warping of the summary linear component image;
Calculating a target grid for the resizing of the target image by converting the total objective function obtained by adding the two objective integers to a standard quadratic programming format
Based image resizing method.

10. The method of claim 9,
Wherein the generating the summary saliency image and the summary linear component image comprises:
Generating a saliency image by calculating an average value of pixels of the saliency image for each quad area constituting the grid of the target image;
Calculating a mean value of pixels of the linear component image for each quad area constituting the grid of the target image to generate the summary linear component image
Based image resizing method.

11. The method of claim 10,
Wherein the local aspect ratio objective function comprises:
And calculating an energy value as a degree of deviation of the aspect ratio of each quad from the initial aspect ratio with respect to all the quads in the grid when the grid is deformed according to the resizing.

13. The method of claim 12,
Wherein the local aspect ratio objective function comprises:
And a minimum value when the aspect ratios of all the quads after the deformation of the grid are equal to the aspect ratios of the pre-deformation quads of the grid.

14. The method of claim 13,
Wherein the local anti-warp objective function comprises:
And calculating a difference in quad length of each quad pair as an energy value with respect to all the upper and lower quad pairs in the grid upon deformation of the grid according to the resizing, as the local anti-curvature objective function.

15. The method of claim 14,
Wherein the local anti-warp objective function comprises:
Wherein the grid has a minimum value when the height of adjacent pairs of upper and lower quads in the grid is equal to each other after deformation of the grid.