KR20150094108A - Method for generating saliency map based background location and medium for recording the same - Google Patents

Method for generating saliency map based background location and medium for recording the same Download PDF

Info

Publication number
KR20150094108A
KR20150094108A KR1020140014988A KR20140014988A KR20150094108A KR 20150094108 A KR20150094108 A KR 20150094108A KR 1020140014988 A KR1020140014988 A KR 1020140014988A KR 20140014988 A KR20140014988 A KR 20140014988A KR 20150094108 A KR20150094108 A KR 20150094108A
Authority
KR
South Korea
Prior art keywords
image
interest
map
value
generating
Prior art date
Application number
KR1020140014988A
Other languages
Korean (ko)
Other versions
KR101592087B1 (en
Inventor
김만배
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020140014988A priority Critical patent/KR101592087B1/en
Publication of KR20150094108A publication Critical patent/KR20150094108A/en
Application granted granted Critical
Publication of KR101592087B1 publication Critical patent/KR101592087B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40012—Conversion of colour to monochrome

Abstract

The present invention relates to a method for ameliorating a saliency map. A method for generating a saliency map of the present invention includes: a step for converting a red-green-blue (RGB) image having a background region into a grayscale image when the image is inputted; a step for determining the background region from the converted grayscale image; a step for generating a fist saliency map from the inputted RGB image; and a step for generating a second saliency map using a position of the background region on the fist saliency map. According to the present invention, the performance of a saliency map is enhanced and ameliorated by generating the saliency map using a background image.

Description

배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체 {Method for generating saliency map based background location and medium for recording the same}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for generating a map of interest using a position of a background image,

본 발명은 관심맵의 개선 방법에 관한 것으로서, 더욱 상세하게는 배경 영역의 위치를 이용한 관심맵의 개선 방안에 관한 것이다.
Field of the Invention [0002] The present invention relates to a method for improving a map of interest, and more particularly, to a method for improving a map of interest using a position of a background area.

최근 디스플레이 기술이 갈수록 발전하면서 현재는 극장 혹은 집안에서 3D TV를 통해 손쉽게 입체영상을 시청할 수 있을 정도로 발전되었다. 하지만 그럼에도 불구하고 보다 향상된 입체감을 느끼고자 하는 요구는 계속되고 있다. 이러한 요구를 충족시키기 위해 여러 가지 입체 지각 요인을 활용하여 보다 개선된 입체감에 관한 연구들이 수행되고 있다. Recently, as the display technology has been developing, it has been developed so that stereoscopic images can be easily viewed through a 3D TV in a theater or a house. Nevertheless, there is a continuing need to feel a greater sense of depth. In order to satisfy these demands, various 3D sensory factors have been used to improve 3D sensation.

최근 RGB(red-green-blue) 영상으로부터 관심맵(saliency map)을 얻는 방법은 그 동안 많은 연구가 진행되어 왔다. Recently, many researches have been conducted to obtain a saliency map from red-green-blue (RGB) images.

관심맵이란 인간이 생물학적으로 눈으로 장면 혹은 영상을 인식하면서 눈에 띄는 영역이나 객체를 집중하는 방식을 수치적으로 표현하기 위하여 컴퓨터로 모델링한 것을 의미한다. 관심맵은 영상 리타겟팅(retargeting), 영상 확대 및 축소, 객체 추적, 인식 등과 같이 대부분의 영상처리 및 컴퓨터비전에서 사용되는 기술로 다양한 방면에서 활용이 가능하다. A map of interest refers to a computer modeling a numerical representation of the manner in which a human eye visually recognizes a scene or an image and concentrates on a prominent area or object. The map of interest can be applied to various aspects such as image retargeting, image enlargement and reduction, object tracking, recognition, and the like, which are used in most image processing and computer vision.

관심맵은 RGB영상으로부터 픽셀의 빈도수(frequency)가 크거나, 영역이 큰 픽셀에는 작은 관심(saliency)값을 할당하고, 반대인 경우에는 큰 관심 값을 할당하는 방법이 주를 이루며, 기존 관심맵 생성 알고리즘에 따라 time complexity 및 성능에서 많은 차이를 보이고 있다. 일반적인 관심맵 생성 방법은 전체 영상을 대상으로 해서 관심객체를 추출하는 방식이다.
The interest map is mainly composed of a method in which a frequency of pixels is large from an RGB image, a small saliency value is allocated to a pixel having a large area, and a large interest value is assigned when the pixel is large, There are many differences in time complexity and performance depending on the generation algorithm. A general interest map generation method is a method of extracting objects of interest based on the entire image.

대한민국 등록특허 10-1142701Korean Patent No. 10-1142701

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 배영 영역(background)을 이용하여 관심맵의 성능을 개선하는 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method for improving the performance of a map of interest using a background area.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명의 관심맵 생성 방법은 배경 영역이 존재하는 RGB(red-green-blue) 영상이 입력되면, 이를 그레이스케일(grayscale) 영상으로 변환하는 단계, 변환된 그레이스케일 영상으로부터 배경 영역을 결정하는 단계, 상기 입력된 RGB 영상으로부터 제1 관심맵(saliency map)을 생성하는 단계 및 상기 제1 관심맵에서 상기 배경 영역의 위치를 이용하여 제2 관심맵을 생성하는 단계를 포함한다. In order to achieve the above object, a method of creating a map of interest of the present invention includes converting a red-green-blue (RGB) image having a background area into a grayscale image, Generating a first interest map from the input RGB image and generating a second interest map using the location of the background region in the first interest map, .

상기 제1 관심맵을 생성하는 단계에서, 상기 RGB 영상이 주어지면 색상의 유사도, 색상 값, 색상간의 값 차이를 고려하여 상기 제1 관심맵을 생성하기 위한 중요도 값을 계산할 수 있다. In the step of generating the first interest map, when the RGB image is given, the importance value for generating the first interest map may be calculated in consideration of a value difference between color similarity, color value, and hue.

I는 전체 영상이고, D(Ik,Ii)는 RGB 컬러에서 두 픽셀 사이의 색의 차이 값이라고 할 때, 픽셀 Ik의 중요도 값은 입력 영상에서 다른 픽셀들과의 색 값의 차이를 이용하여

Figure pat00001
과 같이 구할 수 있고, 히스토그램 H(i)는 W×H 의 입력영상에서 픽셀 값이 i인 픽셀의 개수라고 할 때,
Figure pat00002
이고, 정규화된 빈도확률(normalized probability of frequency)은,
Figure pat00003
이고, 정규화된 빈도확률을 가중치(weight)로 적용하면, 픽셀 k의 관심 값(saliency value)은,
Figure pat00004
의 수학식으로 나타낼 수 있다.I is the entire image, D (I k, I i) are when said difference of color between the two pixels in RGB color, the importance value of the pixel I k is the difference between the color value of the other pixel in the input image using
Figure pat00001
And the histogram H (i) is the number of pixels having the pixel value i in the input image of W × H,
Figure pat00002
, And the normalized probability of frequency is defined as:
Figure pat00003
, And applying the normalized frequency probability as a weight, the saliency value of the pixel k is given by:
Figure pat00004
. ≪ / RTI >

배경 영역에서의 빈도확률을 hbg(i)라고 할 때,

Figure pat00005
이고, 관심 제어 요소(saliency control factor)를 λ라고 할 때,
Figure pat00006
이고,
Figure pat00007
이며,
Figure pat00008
이고, 최종 빈도 확률은,
Figure pat00009
이고, 최종적으로 배경 영역을 고려하는 관심값은,
Figure pat00010
의 수학식으로 나타낼 수 있다. When the frequency probability in the background region is h bg (i)
Figure pat00005
And the saliency control factor is λ,
Figure pat00006
ego,
Figure pat00007
Lt;
Figure pat00008
, And the final frequency probability is
Figure pat00009
And finally, the interest value considering the background area is "
Figure pat00010
. ≪ / RTI >

RGB 영상에서 Red, Green, Blue 성분에 대해 각각 관심값을 구한 후에, 최종 관심맵은,

Figure pat00011
의 수학식으로 나타낼 수 있다.
After obtaining the respective values of interest for the Red, Green, and Blue components in the RGB image,
Figure pat00011
. ≪ / RTI >

본 발명에 의하면 배경 영상을 이용하여 관심맵을 생성함으로써, 관심맵의 성능을 증가시키고 개선할 수 있는 효과가 있다.
According to the present invention, there is an effect that the performance of a map of interest can be increased and improved by generating a map of interest using a background image.

도 1은 본 발명의 일 실시예에 따른 배경 영역을 이용한 관심맵 생성 방법을 보여주는 흐름도이다.
도 2는 배경 영역이 존재하는 영상의 예시도이다.
도 3은 전체 영역에서 3개의 배경 영역을 표시한 도면이다.
도 4는 배경 영역을 다수 개의 서브 배경 영역으로 분할한 모습을 나타낸 도면이다.
도 5는 원 영상, 관심맵 영상, 본 발명에서 제안된 방식으로 개선된 관심맵 영상을 비교하기 위한 영상이다.1 is a flowchart illustrating a method of generating a map of interest using a background area according to an embodiment of the present invention.
2 is an illustration of an image in which a background region exists.
3 is a diagram showing three background areas in the entire area.
4 is a diagram illustrating a background region divided into a plurality of sub-background regions.
5 is an image for comparing an original image, a map of interest, and an improved interest map image in a manner proposed in the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted in an ideal or overly formal sense unless expressly defined in the present application Do not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

본 발명에서 배경 영역을 이용한 관심맵(Saliency map) 생성 방법은 일종의 알고리즘이며 소프트웨어 개념이다. 따라서, 어떤 장치의 제어부나 프로세서(processor)가 그 수행 주체일 수 있다. 즉, 본 발명의 관심맵 생성 방법은 일종의 소프트웨어인 알고리즘이며, 이러한 소프트웨어는 컴퓨터의 제어부 또는 프로세서(processor)에서 실행될 수 있다.In the present invention, a method of generating a salience map using a background region is a kind of algorithm and software concept. Accordingly, a control unit or a processor of a certain apparatus may be an execution subject thereof. That is, the method of generating a map of interest of the present invention is an algorithm which is a kind of software, and the software may be executed in a control unit or a processor of the computer.

본 발명은 배경 영역이 존재하는 영상을 전제로 한다. The present invention is based on an image in which a background area exists.

도 1은 본 발명의 일 실시예에 따른 배경 영역을 이용한 관심맵 생성 방법을 보여주는 흐름도이다. 1 is a flowchart illustrating a method of generating a map of interest using a background area according to an embodiment of the present invention.

도 1을 참조하면, 배경 영역이 존재하는 RGB(red-green-blue) 영상이 입력되면(S101), 이를 그레이스케일(grayscale) 영상으로 변환한다(S103). Referring to FIG. 1, when a red-green-blue (RGB) image having a background region is input (S101), the image is converted into a grayscale image (S103).

그리고, 변환된 그레이스케일 영상으로부터 배경 영역을 결정한다(S105).Then, a background area is determined from the converted gray-scale image (S105).

또한, 입력된 RGB 영상으로부터 제1 관심맵을 생성한다(S107).Also, a first attention map is generated from the input RGB image (S107).

그리고, 배경 영역의 위치를 이용하여 제1 관심맵으로부터 제2 관심맵을 생성한다(S109).
Then, a second interest map is generated from the first interest map using the position of the background area (S109).

S107 단계에서 제1 관심맵을 생성하는 과정을 구체적으로 설명하면 다음과 같다. The process of generating the first attention map in step S107 will be described in detail as follows.

RGB 영상이 주어지면 색상의 유사도, 색상 값, 색상간의 값 차이 등을 고려 하여 중요도 값을 계산한다. 픽셀 Ik의 중요도 값은 입력 영상에서 다른 픽셀들과의 색 값의 차이를 이용하여 다음 수학식 1과 같이 계산한다. 여기서 색은 Red, Green, Blue이다. Given an RGB image, the importance value is calculated in consideration of the color similarity, the color value, and the difference in value between colors. The importance value of the pixel I k is calculated according to the following Equation 1 using the difference of the color values with other pixels in the input image. Here, the colors are Red, Green, and Blue.

Figure pat00012
Figure pat00012

여기서, I는 전체 영상이고, D(Ik,Ii)는 RGB 컬러에서 두 픽셀 사이의 색의 차이 값이다.Where I is the overall image and D ( Ik , Ii ) is the color difference value between two pixels in the RGB color.

수학식 1을 전개하면 다음과 같다.Equation 1 is expanded as follows.

Figure pat00013
Figure pat00013

여기서, N는 영상 I의 픽셀 개수이다. Here, N is the number of pixels of the image I.

본 발명에서는 특정 픽셀값의 빈도수가 크면 관심값을 작게하고, 반대로 빈도수가 적으면 관심값을 크게 하기 위해서 히스토그램(histogram)을 이용한다. 히스토그램은 다음과 같이 구해진다.In the present invention, a histogram is used to reduce the interest value when the frequency of a specific pixel value is large, and to increase the interest value when the frequency value is low. The histogram is obtained as follows.

히스토그램 H(i)는 W×H 의 입력영상에서 픽셀 값이 i인 픽셀의 개수이며, 다음 수학식을 만족한다. The histogram H (i) is the number of pixels whose pixel value is i in the input image of W × H, and satisfies the following equation.

Figure pat00014
Figure pat00014

정규화된 빈도확률(normalized probability of frequency)은 다음 수학식과 같이 구해진다. The normalized probability of frequency is obtained by the following equation.

Figure pat00015
Figure pat00015

여기서 정규화된 빈도확률을 가중치(weight)로 적용하면, 픽셀 k의 관심 값(saliency value)은 다음 수학식으로부터 얻어진다.Here, if the normalized frequency probability is applied as a weight, the saliency value of the pixel k is obtained from the following equation.

Figure pat00016
Figure pat00016

수학식 5의 원리는 다음과 같다. 예를 들어, Ik=2이고, h(2)의 값이 크다고 가정하면, D(I2-I2)는 0이 된다. 상대적으로 h(i)(i≠2)는 작은 값을 가지므로, S(I2)의 관심 값은 작다. 반대로 h(2)의 값이 작으면 h(i) 값은 커지게 되고, 따라서 S(I2)의 관심 값은 커지게 된다.
The principle of Equation (5) is as follows. For example, assuming that I k = 2 and that the value of h (2) is large, D (I 2 -I 2 ) becomes zero. Relatively h (i) (i ≠ 2) has a small value, so the interesting value of S (I 2 ) is small. On the other hand, if h (2) is small, the value of h (i) becomes large and therefore the interest of S (I 2 ) becomes large.

이제 본 발명의 S105 단계에서 배경 영역을 결정하는 과정을 상세히 설명하기로 한다. The process of determining the background area in step S105 of the present invention will now be described in detail.

일반적으로 영상은 배경과 전경으로 분리된다. 복잡한 구조의 영상에서는 배경영역을 찾는 것은 쉽지 않지만, 본 발명에서는 배경 영역이 존재하는 영상을 대상으로 하기로 전제한다. 도 2는 배경 영역이 존재하는 영상의 예시도이다. In general, images are separated into a background and a foreground. It is not easy to find the background area in the image having the complicated structure, but it is assumed that the image having the background area exists in the present invention. 2 is an illustration of an image in which a background region exists.

도 3은 전체 영역에서 3개의 배경 영역을 표시한 도면이다. 3 is a diagram showing three background areas in the entire area.

도 3에서 보는 바와 같이, 본 발명에서 배경 영역은 위(BG A), 좌(BG B), 우(BG C)의 세 곳에 존재한다고 가정한다. As shown in FIG. 3, it is assumed in the present invention that background areas exist in three places: the upper (BG A), the left (BG B), and the right (BG C).

W×H 의 영상에 존재하는 배경 영역의 위치를 찾기 위해서 영상 경계에서의 에지(edge) 픽셀을 이용한다. Edge pixels at the image boundary are used to find the position of the background area existing in the image of W × H.

BG A 영역은 [0, W-1]×[0, τ], BG B 영역은 [0, τ]×[0, H-1], BG C 영역은 [W-τ, W-1]×[0, H-1]이다. The BG B region is [0, τ] × [0, H-1], the BG C region is [W-τ, W-1] × [0, H-1].

에지를 추출하게 위해서 소벨 (Sobel) 연산자 또는 캐니(Canny) 연산자를 사용하는데, 일반적으로 연산이 간단한 소벨 연산자를 사용한다. We use the Sobel operator or the Canny operator to extract the edge, usually using a simple Sobel operator.

소벨 연산자는 수평 에지연산자 H와 수직 에지연산자 V로 구분되며 다음 수학식과 같다.The Sobel operator is divided into a horizontal edge operator H and a vertical edge operator V and is expressed by the following equation.

Figure pat00017
Figure pat00017

영상의 해당 픽셀을 중심으로 한 블록에 H와 V를 각각 곱하여 얻은 값의 합으로 에지를 추출하며, 수평에지와 수직에지를 검출하는 식은 각각 다음과 같다.The edge is extracted by the sum of the values obtained by multiplying H and V by the block centered on the corresponding pixel of the image, and the equations for detecting the horizontal edge and the vertical edge are respectively as follows.

Figure pat00018
Figure pat00018

에지 크기(edge magnitude)는 다음 수학식과 같이 계산된다.The edge magnitude is calculated by the following equation.

Figure pat00019
Figure pat00019

다음, 각 배경 영역에 존재하는 에지 픽셀의 에지 크기가 임계값 T보다 큰 픽셀들로부터 다음 값을 구한다. Next, the following values are obtained from the pixels whose edge size of edge pixels existing in each background area is larger than the threshold value T.

Figure pat00020
Figure pat00020

여기서, Mj은 영역 j에서 ｜E｜>T인 픽셀의 개수이다. j는 A, B, C이다. Here, M j is the number of pixels of | E | > T in the region j. j is A, B, and C.

3개의 배경영역의 Ej 값을 얻은 후에, 3개의 배경 영역 중에서 최소값을 갖는 영역을 배경 영역으로 결정한다.After obtaining the E j values of the three background areas, the area having the minimum value among the three background areas is determined as the background area.

결정된 배경 영역에서 보다 정확히 배경영역을 탐색하기 위해서 배경 영역(BG)을 L개의 서브(sub) 배경 영역(BG)으로 분할한다.The background region BG is divided into L sub-background regions BG to more accurately search the background region in the determined background region.

도 4는 배경 영역을 다수 개의 서브 배경 영역으로 분할한 모습을 나타낸 도면이다. 4 is a diagram illustrating a background region divided into a plurality of sub-background regions.

배경은 상대적으로 전경 객체보다 카메라로부터 먼 거리에 있다. 따라서 블러(blur)가 더 증가하는 특징이 있다. 이 블러는 수학적으로 표준편차(standard deviation) σ 로 표현되는데, σ가 크면 블러가 작고, σ가 작으면 블러가 증가하게 된다. The background is relatively far from the camera than the foreground object. Therefore, there is a feature that the blur increases more. This blur is expressed mathematically as a standard deviation σ. If σ is large, blur is small, and if σ is small, blur is increased.

따라서 배경영역 A, B, C 의 σ를 구한 후에, 최소 σ를 얻는 서버 배경을 최종 배경영역으로 결정한다. 그레이스케일 영상 Y가 주어지면, 각 서브 배경 영역(sub BG)의 σ를 다음 수학식과 같이 계산한다.Therefore, after computing the σ of the background areas A, B, and C, the server background that obtains the minimum σ is determined as the final background area. Given a gray scale image Y, the sigma of each sub-background area (sub BG) is calculated according to the following equation.

Figure pat00021
Figure pat00021

Figure pat00022
Figure pat00022

여기서, l={1,2,...,L}이다. Nl은 서브 배경영역(sub BG) l의 픽셀 개수이다.
Where l = {1,2, ..., L}. N l is the number of pixels of the sub background area (sub BG) l.

이제 본 발명의 S109 단계에서 배경영역을 이용하여 제2 관심맵을 생성하는 과정에 대하여 상세히 설명하면 다음과 같다. The process of generating the second attention map using the background area in step S109 of the present invention will now be described in detail.

서브 배경영역(sub BG)이 정해지면, 배경의 특성을 이용하여 전경의 관심맵을 개선한다. 이는 배경 영역의 관심 값을 작게 만들면, 반대로 전경 영역의 관심값이 증가하는 것에 기반한다. When the sub background area (sub BG) is determined, the background map is used to improve the foreground interest map. This is based on an increase in the value of interest in the foreground region, on the contrary, if the value of interest in the background region is made smaller.

그리고, 수학식 5를 이용하여 배경 영역에서의 빈도확률 hbg(i)를 구한다. Then, the frequency probability h bg (i) in the background area is obtained using the equation (5).

수학식 5에서 h(k)｜xk-xk｜때문에 픽셀값 Ik가 배경에 존재하더라도, h(k)｜xk-xk｜은 0이 된다. 즉, h(k) 값의 변경은 관심값에 영향을 주지 않는다. H (k) | x k -x k | becomes zero even if the pixel value I k exists in the background due to h (k) | x k -x k | in Equation (5). That is, changing the value of h (k) does not affect the value of interest.

반대로 배경 영역의 픽셀 Ik의 h(k) 값을 증가시키면, 상대적으로 다른 픽셀(pixel)의 h(i)(i≠k) 값은 감소한다. Conversely, if the value of h (k) of the pixel Ik in the background region is increased, the value of h (i) (i? K) of a relatively different pixel decreases.

따라서, S(Ik)는 감소하게 되어, 배경 영역의 관심값은 작아지게 된다. 이러한 원리를 수학식으로 나타내면 다음과 같다.Thus, S (I k ) decreases and the value of interest in the background area becomes smaller. This principle can be expressed as follows.

Figure pat00023
Figure pat00023

여기서, hbg는 [0,1] 값을 가진다. hbg 값을 증가시키면 상대적으로 배경 영역의 관심값은 더 줄어들게 된다. 일반적으로 hbg 는 대부분 작은 값을 가지고 있다. 따라서, 수학식 12의 분모는 1에 가까우므로,

Figure pat00024
가 되어서, 출력 관심맵의 변화가 크지 않다. 따라서, 관심 제어 요소(saliency control factor) λ를 설정하여 관심값의 제어가 가능하다.Here, h bg has a value of [0, 1]. Increasing the value of h bg will further reduce the value of interest in the background area. Generally, h bg has mostly small values. Therefore, since the denominator in equation (12) is close to 1,
Figure pat00024
So that the change of the output interest map is not large. Therefore, it is possible to control the value of interest by setting the saliency control factor [lambda].

Figure pat00025
Figure pat00025

λ는 다음 수학식으로 정의된다. is defined by the following equation.

Figure pat00026
Figure pat00026

따라서, h'(i)는 다음 수학식으로 표현된다. Therefore, h '(i) is expressed by the following equation.

Figure pat00027
Figure pat00027

마지막으로, 최종 빈도 확률은 다음 수학식과 같이 계산된다. Finally, the final frequency probability is calculated by the following equation.

Figure pat00028
Figure pat00028

따라서, 최종적으로 배경 영역을 고려하는 관심값은 다음 수학식과 같이 구할 수 있다. Therefore, the interest value finally considering the background area can be obtained by the following equation.

Figure pat00029
Figure pat00029

본 발명에서 RGB 영상에서 Red, Green, Blue 성분에 대해 각각 관심값을 구한 후에, 최종 관심맵은 다음 수학식과 같이 구할 수 있다. In the present invention, after obtaining the interest values for the red, green, and blue components in the RGB image, the final attention map can be obtained as shown in the following equation.

Figure pat00030
Figure pat00030

또한, 본 발명의 다른 실시예에서 R,G,B 세 관심값의 평균 또는 최대값 등으로 최종 관심맵을 구할 수도 있다.
In another embodiment of the present invention, the final attention map may be obtained by an average or a maximum value of the R, G, and B interest values.

도 5는 원 영상, 관심맵 영상, 본 발명에서 제안된 방식으로 개선된 관심맵 영상을 비교하기 위한 영상이다.5 is an image for comparing an original image, a map of interest, and an improved interest map image in a manner proposed in the present invention.

도 5의 실험에서는 FHD 해상도의 영상을 실험하였고, 또한, 본 발명에서 제안하는 관심맵 생성 방법의 성능을 검증하기 위해서 배경영역이 존재하는 영상을 선택하였다. 도 5에서 배경영역은 주로 탑(top) 영역이다. In the experiment of FIG. 5, an image having FHD resolution was experimentally selected. Also, in order to verify the performance of the interest map generating method proposed in the present invention, an image having a background region was selected. In Fig. 5, the background region is mainly a top region.

도 5에서 (a)는 원 영상, (b)는 생성된 제1 관심맵, 그리고 (c)는 본 발명에서 제안하는 배경 영역을 이용한 관심맵 생성 방법으로 생성된 제2 관심맵 영상이다.In FIG. 5, (a) is an original image, (b) is a generated first attention map, and (c) is a second interest map image generated by the interest map generating method using the background area proposed in the present invention.

도 5를 참조하면, (b)의 배경보다는 (c)의 배경의 값이 상대적으로 낮은 것을 확인할 수 있다.
Referring to FIG. 5, it can be seen that the background of (c) is relatively lower than the background of (b).

한편, 본 발명의 실시예에 따른 관심맵 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.Meanwhile, the interest map generating method according to the embodiment of the present invention can be implemented as computer readable code on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.For example, the computer-readable recording medium includes a ROM, a RAM, a CD-ROM, a magnetic tape, a hard disk, a floppy disk, a removable storage device, a nonvolatile memory, , Optical data storage devices, and the like, as well as carrier waves (for example, transmission over the Internet).

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
In addition, the computer readable recording medium may be distributed and executed in a computer system connected to a computer communication network, and may be stored and executed as a code readable in a distributed manner.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.

Claims (6)

배경 영역이 존재하는 RGB(red-green-blue) 영상이 입력되면, 이를 그레이스케일(grayscale) 영상으로 변환하는 단계;
변환된 그레이스케일 영상으로부터 배경 영역을 결정하는 단계;
상기 입력된 RGB 영상으로부터 제1 관심맵(saliency map)을 생성하는 단계; 및
상기 제1 관심맵에서 상기 배경 영역의 위치를 이용하여 제2 관심맵을 생성하는 단계를 포함하는 관심맵 생성 방법.
Converting an RGB (red-green-blue) image having a background region into a grayscale image;
Determining a background area from the converted gray-scale image;
Generating a first saliency map from the input RGB image; And
And generating a second interest map using the location of the background area in the first interest map.
청구항 1에 있어서,
상기 제1 관심맵을 생성하는 단계에서,
상기 RGB 영상이 주어지면 색상의 유사도, 색상 값, 색상간의 값 차이를 고려하여 상기 제1 관심맵을 생성하기 위한 중요도 값을 계산하는 것을 특징으로 하는 관심맵 생성 방법.
The method according to claim 1,
In the step of generating the first attention map,
Wherein, when the RGB image is given, a significance value for generating the first attention map is calculated in consideration of a value difference between color similarity, color value, and hue.
청구항 2에 있어서,
I는 전체 영상이고, D(Ik,Ii)는 RGB 컬러에서 두 픽셀 사이의 색의 차이 값이라고 할 때, 픽셀 Ik의 중요도 값은 입력 영상에서 다른 픽셀들과의 색 값의 차이를 이용하여
Figure pat00031
과 같이 구할 수 있고,
히스토그램 H(i)는 W×H 의 입력영상에서 픽셀 값이 i인 픽셀의 개수라고 할 때,
Figure pat00032
이고,
정규화된 빈도확률(normalized probability of frequency)은,
Figure pat00033
이고,
정규화된 빈도확률을 가중치(weight)로 적용하면, 픽셀 k의 관심 값(saliency value)은,
Figure pat00034

의 수학식으로 나타낼 수 있는 것을 특징으로 하는 관심맵 생성 방법.
The method of claim 2,
I is the entire image, D (I k, I i) are when said difference of color between the two pixels in RGB color, the importance value of the pixel I k is the difference between the color value of the other pixel in the input image using
Figure pat00031
Can be obtained as follows,
Assuming that the histogram H (i) is the number of pixels having a pixel value i in the input image of W × H,
Figure pat00032
ego,
The normalized probability of frequency,
Figure pat00033
ego,
Applying the normalized frequency probability as a weight, the saliency value of the pixel k is given by:
Figure pat00034

Wherein the map of interest is generated by the following formula:
청구항 3에 있어서,
배경 영역에서의 빈도확률을 hbg(i)라고 할 때,
Figure pat00035
이고,
관심 제어 요소(saliency control factor)를 λ라고 할 때,
Figure pat00036
이고,
Figure pat00037
이며,
Figure pat00038
이고,
최종 빈도 확률은,
Figure pat00039
이고,
최종적으로 배경 영역을 고려하는 관심값은,
Figure pat00040
의 수학식으로 나타낼 수 있는 것을 특징으로 하는 관심맵 생성 방법.
The method of claim 3,
When the frequency probability in the background region is h bg (i)
Figure pat00035
ego,
When the saliency control factor is λ,
Figure pat00036
ego,
Figure pat00037
Lt;
Figure pat00038
ego,
The final frequency probability,
Figure pat00039
ego,
Finally, the interest value, which considers the background area,
Figure pat00040
Wherein the map of interest is generated by the following formula:
청구항 4에 있어서,
RGB 영상에서 Red, Green, Blue 성분에 대해 각각 관심값을 구한 후에, 최종 관심맵은,
Figure pat00041
의 수학식으로 나타낼 수 있는 것을 특징으로 하는 관심맵 생성 방법.
The method of claim 4,
After obtaining the respective values of interest for the Red, Green, and Blue components in the RGB image,
Figure pat00041
Wherein the map of interest is generated by the following formula:
청구항 1 내지 청구항 5 중 어느 한 청구항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
A computer-readable recording medium having recorded thereon a program capable of causing a computer to execute the method according to any one of claims 1 to 5.
KR1020140014988A 2014-02-10 2014-02-10 Method for generating saliency map based background location and medium for recording the same KR101592087B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140014988A KR101592087B1 (en) 2014-02-10 2014-02-10 Method for generating saliency map based background location and medium for recording the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140014988A KR101592087B1 (en) 2014-02-10 2014-02-10 Method for generating saliency map based background location and medium for recording the same

Publications (2)

Publication Number Publication Date
KR20150094108A true KR20150094108A (en) 2015-08-19
KR101592087B1 KR101592087B1 (en) 2016-02-04

Family

ID=54057666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140014988A KR101592087B1 (en) 2014-02-10 2014-02-10 Method for generating saliency map based background location and medium for recording the same

Country Status (1)

Country Link
KR (1) KR101592087B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903294A (en) * 2019-01-25 2019-06-18 北京三快在线科技有限公司 Image processing method, device, electronic equipment and readable storage medium storing program for executing

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241068A (en) 2019-07-18 2021-01-19 三星电子株式会社 Image display device capable of multi-depth expression
WO2023219189A1 (en) * 2022-05-12 2023-11-16 주식회사 엔씨소프트 Electronic device for compositing images on basis of depth map and method therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903294A (en) * 2019-01-25 2019-06-18 北京三快在线科技有限公司 Image processing method, device, electronic equipment and readable storage medium storing program for executing
CN109903294B (en) * 2019-01-25 2020-05-29 北京三快在线科技有限公司 Image processing method and device, electronic equipment and readable storage medium

Also Published As

Publication number Publication date
KR101592087B1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
JP7236545B2 (en) Video target tracking method and apparatus, computer apparatus, program
US10803554B2 (en) Image processing method and device
US11457138B2 (en) Method and device for image processing, method for training object detection model
US10872420B2 (en) Electronic device and method for automatic human segmentation in image
US10043313B2 (en) Information processing apparatus, information processing method, information processing system, and storage medium
EP3232371A1 (en) Object recognition method, object recognition device, and classifier training method
US11270158B2 (en) Instance segmentation methods and apparatuses, electronic devices, programs, and media
CN110622177B (en) Instance partitioning
JP5554984B2 (en) Pattern recognition method and pattern recognition apparatus
KR20170047167A (en) Method and apparatus for converting an impression of a face in video
JP2018022360A (en) Image analysis device, image analysis method and program
WO2018082308A1 (en) Image processing method and terminal
US11720745B2 (en) Detecting occlusion of digital ink
US20230143452A1 (en) Method and apparatus for generating image, electronic device and storage medium
CN114627173A (en) Data enhancement for object detection by differential neural rendering
US11468571B2 (en) Apparatus and method for generating image
CN111598065A (en) Depth image acquisition method, living body identification method, apparatus, circuit, and medium
US10567635B2 (en) Three dimensional moving pictures with a single imager and microfluidic lens
KR101592087B1 (en) Method for generating saliency map based background location and medium for recording the same
US10268881B2 (en) Pattern classifying apparatus, information processing apparatus, pattern classifying method, and non-transitory computer readable storage medium
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
KR101833943B1 (en) Method and system for extracting and searching highlight image
JP2016219879A (en) Image processing apparatus, image processing method and program
JP7176616B2 (en) Image processing system, image processing apparatus, image processing method, and image processing program
JP6467817B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200113

Year of fee payment: 5