KR101082665B1 - 관심 객체 추출 장치 및 방법 - Google Patents

관심 객체 추출 장치 및 방법 Download PDF

Info

Publication number
KR101082665B1
KR101082665B1 KR1020090100322A KR20090100322A KR101082665B1 KR 101082665 B1 KR101082665 B1 KR 101082665B1 KR 1020090100322 A KR1020090100322 A KR 1020090100322A KR 20090100322 A KR20090100322 A KR 20090100322A KR 101082665 B1 KR101082665 B1 KR 101082665B1
Authority
KR
South Korea
Prior art keywords
interest
image
region
candidate region
extracting
Prior art date
Application number
KR1020090100322A
Other languages
English (en)
Other versions
KR20110043279A (ko
Inventor
박기태
문영식
장경현
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020090100322A priority Critical patent/KR101082665B1/ko
Publication of KR20110043279A publication Critical patent/KR20110043279A/ko
Application granted granted Critical
Publication of KR101082665B1 publication Critical patent/KR101082665B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

관심 객체 추출 장치 및 방법이 개시된다. 관심 객체 추출 장치는 원본 영상과 서로 다른 스케일을 적용하여 생성된 복수 개의 영상을 분할하는 영상 분할부와, 상기 분할된 영상들에 대해 배경 영역을 제거하여 관심 객체 후보 영역을 검출하는 관심 객체 후보 영역 검출부 및 상기 검출된 관심 객체 후보 영역으로부터 관심 객체를 추출하는 관심 객체 추출부를 포함한다.
배경, 영역, 제거, 관심, 객체, 분할

Description

관심 객체 추출 장치 및 방법{APPARATUS AND METHOD FOR EXTRACTING INTEREST OBJECT}
본 발명은 관심 객체를 추출하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 영상 검색 시스템에서 입력 영상에 대한 배경을 제거하여 관심 객체를 추출하는 장치 및 방법에 관한 것이다.
영상 검색 시스템은 사람의 고수준 개념을 표현하기에 적절한 영상에 포함된 객체를 이용하여 영상의 내용에 관한 핵심 정보를 제공한다. 이러한 영상 검색 시스템은 질의 영상에 포함된 객체에 기반을 두고 동일한 객체 또는 유사한 객체를 포함하는 다른 영상을 검색하고자 할 때 영상을 객체 단위로 접근할 수 있어야 하므로 영상으로부터 관심 객체를 자동으로 추출하는 기술이 필요하다.
본 발명은 영상 내에서 배경 영역을 제거하여 관심 객체를 자동으로 추출하는 장치 및 방법을 제공한다.
또한 본 발명은 관심 객체를 추출하기 위해 원본 영상과 서로 다른 스케일을 적용한 영상들을 이용하는 장치 및 방법을 제공한다.
또한 본 발명은 관심 객체를 효과적으로 추출하기 위해서 영상의 가장자리에 인접한 영역들을 배경 영역으로 제거하고, 배경 영역을 제거한 영상들에 대해서 논리적인 AND 연산을 수행함으로써 관심 객체 후보 영역을 검출할 수 있는 장치 및 방법을 제공한다.
또한 본 발명은 종래 그래프 컷 방식이 관심 객체를 추출하기 위해 사용자에 의해 설정된 사각형 영역을 초기 영역으로 설정하는 것과 달리 자동으로 검출된 관심 객체 후보 영역을 초기 영역으로서 설정하여 관심 객체를 추출할 수 있는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 관심 객체 추출 장치는 원본 영상과 서로 다른 스케일을 적용하여 생성된 복수 개의 영상을 분할하는 영상 분할부와, 상기 분할된 영상들에 대해 배경 영역을 제거하여 관심 객체 후보 영역을 검출하는 관심 객체 후보 영역 검출부 및 상기 검출된 관심 객체 후보 영역으로부터 관심 객체를 추출하는 관심 객체 추출부를 포함한다.
본 발명의 일측면에 따르면, 바이레터럴 필터(bilateral filter)를 이용하여 상기 원본 영상과 서로 다른 스케일을 적용하는 복수 개의 영상을 생성하는 다중 스케일 영상 생성부를 더 포함하고, 상기 영상 분할부는 상기 생성된 복수 개의 영상에 대해 JSEG(J-value segmentation) 알고리즘을 이용하여 각각 영상을 분할할 수 있다.
또한 본 발명의 일측면에 따르면, 상기 관심 객체 후보 영역 검출부는 상기 분할된 영상의 가장자리에 인접한 영역들을 배경 영역으로 제거하고, 상기 배경 영역이 제거된 영상들에 대해 논리 연산을 수행하여 상기 관심 객체 후보 영역을 검출할 수 있다.
또한 본 발명의 일측면에 따르면, 상기 관심 객체 추출부는 상기 검출된 관심 객체 후보 영역을 초기 영역으로 설정하고, 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 관심 객체를 추출할 수 있다.
또한 본 발명의 일측면에 따르면, 상기 관심 객체 추출부는, 상기 검출된 관심 객체 후보 영역을 초기 영역으로 설정하고, 상기 초기 영역의 내부 관심 객체 영역과 상기 초기 영역의 외부 배경 영역에 대해서 각각 가우시안 혼합 모델 기법을 사용하여 색상에 관하여 모델링하고, 반복적인 그래프 컷을 수행하여 상기 관심 객체를 추출할 수 있다.
본 발명의 일실시예에 따른 관심 객체 추출 방법은 상기 영상 분할부가 원본 영상과 서로 다른 스케일을 적용하여 생성된 복수 개의 영상을 분할하는 단계와, 상기 관심 객체 후보 영역 검출부가 상기 분할된 영상들에 대해 배경 영역을 제거 하여 관심 객체 후보 영역을 검출하는 단계 및 상기 관심 객체 추출부가 상기 검출된 관심 객체 후보 영역으로부터 관심 객체를 추출하는 단계를 포함한다.
본 발명의 일측면에 따르면, 상기 다중 스케일 영상 생성부가 바이레터럴 필터(bilateral filter)를 이용하여 상기 원본 영상과 서로 다른 스케일을 적용하는 복수 개의 영상을 생성하는 단계를 더 포함하고, 상기 영상을 분할하는 단계는 상기 영상 분할부가 상기 생성된 복수 개의 영상에 대해 JSEG 알고리즘을 이용하여 각각 영상을 분할할 수 있다.
또한 본 발명의 일측면에 따르면, 상기 관심 객체 후보 영역을 검출하는 단계는 상기 관심 객체 후보 영역 검출부가 상기 분할된 영상의 가장자리에 인접한 영역들을 배경 영역으로 제거하고, 상기 배경 영역이 제거된 영상들에 대해 논리 연산을 수행하여 상기 관심 객체 후보 영역을 검출할 수 있다.
또한 본 발명의 일측면에 따르면, 상기 관심 객체를 추출하는 단계는 상기 관심 객체 추출부가 상기 검출된 관심 객체 후보 영역을 초기 영역으로 설정하고, 그래프 컷 알고리즘을 이용하여 상기 관심 객체를 추출할 수 있다.
또한 본 발명의 일측면에 따르면, 상기 관심 객체를 추출하는 단계는 상기 관심 객체 추출부가 상기 검출된 관심 객체 후보 영역을 초기 영역으로 설정하고, 상기 초기 영역의 내부 관심 객체 영역과 상기 초기 영역의 외부 배경 영역에 대해서 각각 가우시안 혼합 모델 기법을 사용하여 색상에 관하여 모델링하고, 반복적인 그래프 컷을 수행하여 상기 관심 객체를 추출할 수 있다.
본 발명에 따른 관심 객체 추출 장치 및 방법은 사용자의 개입 없이도 영상에서 다수의 객체 영역을 자동으로 추출함으로써 자동화된 영상 처리 시스템에 적용될 수 있다.
또한 본 발명에 따른 관심 객체 추출 장치 및 방법은 학습 기반의 기술이 아니므로 어느 분야에나 그대로 적용 가능하며, 알고리즘이 단순하고 구현이 간단하여 휴대용 장치에도 적용될 수 있다.
또한 본 발명에 따른 관심 객체 추출 장치 및 방법은 영상 검색, 영상 분류, 영상 압축, 워터마킹, 객체 인식 등과 같은 영상 처리 기술을 필요로 하는 다양한 분야에 적용될 수 있다.
이하 첨부된 도면들을 참조하여 관심 객체 추출 장치 및 방법을 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 관심 객체 추출 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 관심 객체 추출 장치(100)는 다중 스케일 영상 생성부(110), 영상 분할부(120), 관심 객체 후보 영역 검출부(130) 및 관심 객체 추출부(140)를 포함하며, 영상에서 배경 영역을 효과적으로 제거하여 관심 객체를 추출한다.
다중 스케일 영상 생성부(110)는 원본 영상과 서로 다른 스케일(scale)을 적용한 복수 개의 영상을 생성한다. 일례로 다중 스케일 영상 생성부(110)는 바이레 터럴 필터(bilateral filter)를 이용하여 상기 원본 영상과 서로 다른 스케일을 적용하는 복수 개의 영상을 생성할 수 있다. 상기 바이레터럴 필터(bilateral filter)는 색상과 공간에 대한 가우시안 가중치를 혼합하여 각 색상 값의 가중치를 계산하기 때문에 영상 내의 관심 객체의 경계선과 같은 강한 에지(edge)는 유지하면서 영상을 평활화(smoothing)함으로써 영상을 과분할(over-segmentation)할 수 있는 요소들을 제거할 수 있다.
도 2는 다중 스케일 영상의 일례를 나타내는 도면이다.
도 2를 참조하면, 제1 영상(210)은 원본 영상이고, 제2 영상(220)은 상기 원본 영상에 대한 제1 스케일이 적용된 영상이고, 제3 영상(230)은 상기 원본 영상에 대해 제2 스케일이 적용된 영상이다. 일례로 다중 스케일 영상 생성부(110)는 상기 원본 영상인 제1 영상(210)과 각기 스케일이 다른 제2 영상(220) 및 제3 영상(230)을 생성할 수 있다.
영상 분할부(120)는 다중 스케일 영상 생성부(110)에 의해 생성된 복수 개의 영상을 분할한다. 즉, 영상 분할부(120)는 상기 원본 영상과 다중 스케일 영상 생성부(110)에 의해 생성된 상기 원본 영상과 다른 스케일을 가지는 복수 개의 영상을 분할한다. 일례로 영상 분할부(120)는 상기 생성된 복수 개의 영상에 대해 JSEG(J-value segmentation) 알고리즘을 이용하여 각각 영상을 분할할 수 있다. JSEG 알고리즘에 관해서는 공지된 논문(Deng, Y. and MANJUNATH, B. S.: 'Unsupervised segmentation of color-texture regions in images and video', IEEE Trans. on Pattern Analysis and Machine Intelligence, 2001, 23, (8), pp. 800-810) 등을 통해 잘 알려져 있으므로, 본 명세서에서는 JSEG 알고리즘에 관한 자세한 설명은 생략한다.
JSEG 알고리즘이 자연 영상에 대해서 비교적 우수한 영상 분할 결과를 보이고 있지만 영상 잡음, 색상, 질감과 같은 영향으로 인하여 영상이 과분할되는 경향이 있으므로 하나의 원본 영상만을 분할한 후 영상 가장자리에 인접한 영역을 배경 영역으로 제거할 경우에 효과적으로 제거할 수 없기 때문에 영상 분할부(120)는 원본 영상뿐만 아니라 서로 다른 스케일을 적용한 바이레터럴 필터링된 영상들을 분할한다.
도 3은 영상을 분할한 일례를 나타내는 도면이다.
도 3을 참조하면, 제1 분할 영상(310)은 도 2에 도시된 제1 영상(210)에 대한 분할 영상이고, 제2 분할 영상(320)은 도 2에 도시된 제2 영상(220)에 대한 분할 영상이고, 제3 분할 영상(330)은 도 2에 도시된 제3 영상(230)에 대한 분할 영상이다. 일례로 영상 분할부(120)는 도 2에 도시된 제1 영상(210)을 분할하여 도 3에 도시된 제1 분할 영상(310)을 출력하고, 제2 영상(220)을 분할하여 제2 분할 영상(230)을 출력하고, 제3 영상(230)을 분할하여 제3 분할 영상(330)을 출력할 수 있다.
관심 객체 후보 영역 검출부(130)는 상기 분할된 영상들에 대해 배경 영역을 제거하여 관심 객체 후보 영역을 검출한다. 즉, 관심 객체 후보 영역 검출부(130)는 상기 원본 영상과 상기 다중 스케일 영상들에 대한 분할 결과들을 활용하여 배경 영역을 제거함으로써 상기 관심 객체 후보 영역을 검출한다. 일례로 관심 객체 고리즘을 이용하여 상기 분할된 영상들의 가장자리에 인접한 영역들을 배경 영역으로 제거하고, 상기 배경 영역을 제거된 영상들에 대해서 논리적인 연산을 수행하여 상기 관심 객체 후보 영역을 검출할 수 있다.
Figure 112009064526073-pat00001

초기화 단계
화소값들이 0인
Figure 112009064526073-pat00002
영상 생성

1 단계 : 다중스케일 영상들로부터 각각 가장자리에 인접한 영역을 제거한 영상 생성
(관심 객체 영역 : 255, 배경 영역 : 0)

2 단계 : 관심 객체 후보 영역 결정

Figure 112009064526073-pat00003


3 단계 : 미결정 영역들에 대한 객체 후보 영역 결정
3.1 객체 후보 영역, 배경 영역, 미결정 영역에 대한 영역 인접 그래프 생성
3.2 미결정 영역들에 대해서 객체 후보 영역과 인접 관계 조사
3.2.1 인접 관계가 있으면
Figure 112009064526073-pat00004

3.2.2 인접 관계가 없으면
Figure 112009064526073-pat00005
도 4는 관심 객체 후보 영역을 검출하는 일례를 나타내는 도면이다.
도 4를 참조하면, 제1 배경 제거 영상(410)은 도 3에 도시된 제1 분할 영상(310)에서 가장자리에 인접한 영역들이 배경으로 제거된 영상이고, 제2 배경 제거 영상(420)은 도 3에 도시된 제2 분할 영상(320)에서 가장자리에 인접한 영역들이 배경으로 제거된 영상이고, 제3 배경 제거 영상(430)은 도 3에 도시된 제3 분할 영상(330)에서 가장자리에 인접한 영역들이 배경으로 제거된 영상이다. 일례로 관심 객체 후보 영역 검출부(130)는 제1 분할 영상(310)에서 가장자리에 인접한 영역들을 배경으로 제거하여 제1 배경 제거 영상(410)을 생성하고, 제2 분할 영상(320)에서 가장자리에 인접한 영역들을 배경으로 제거하여 제2 배경 제거 영상(420)을 생성하고, 제3 분할 영상(330)에서 가장자리에 인접한 영역들을 배경으로 제거하여 제3 배경 제거 영상(430)을 생성할 수 있다.
논리 연산 영상(440)은 제1 배경 제거 영상(410), 제2 배경 제거 영상(420) 및 제3 배경 제거 영상(430)에 대해서 논리적인 AND 연산이 수행된 결과 영상이고, 관심 객체 후보 영역 영상(450)은 관심 객체 후보 영역이 추출된 영상이다. 여기서, 검은색 영역은 배경 영역을 나타내고, 흰색 영역은 객체 후보 영역을 나타내고, 회색 영역은 미결정 영역을 나타낸다. 일례로 관심 객체 후보 영역 검출부(130)는 분할된 영상들로부터 각각의 영상 가장자리에 인접한 영역들이 배경으로 제거된 제1 배경 제거 영상(410), 제2 배경 제거 영상(420) 및 제3 배경 제거 영상(430)을 논리적 AND 연산을 수행함으로써 논리 연산 영상(440)을 생성할 수 있다. 그리고, 관심 객체 후보 영역 검출부(130)는 제1 배경 제거 영상(410), 제2 배경 제거 영상(420) 및 제3 배경 제거 영상(430)을 논리적인 AND 연산한 후 제1 배경 제거 영상(410), 제2 배경 제거 영상(420) 및 제3 배경 제거 영상(430)으로부터 각 화소가 관심 객체에 포함되는지 배경 영역에 포함되는지를 분류한다. 즉, 관심 객체 후보 영역 검출부(130)는 논리 연산 영상(440)에서 상기 미결정 영역에 대해 상기 객체 후보 영역과 인접 관계를 조사하여 인접 관계가 있으면 관심 객체 후보 영역으로 설정하고, 인접 관계가 없으면 배경 영역으로 설정하여 최종적으로 객체 후보 영역을 검출할 수 있다.
관심 객체 추출부(140)는 상기 검출된 관심 객체 후보 영역으로부터 관심 객체를 추출한다. 즉, 관심 객체 추출부(140)는 상기 검출된 관심 객체 후보 영역을 초기 영역으로 설정하고, 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 관심 객체를 추출한다. 그래프 컷 알고리즘은 한 영상을 객체와 배경 영역으로 분할하기 위해 반복적인 그래프 컷 기법에 기반하고 있으며, 그래프 컷 내에서 에너지의 최소화 형태로 표현된다. 그래프 컷 알고리즘에 대해서는 공지된 논문(ROTHER, C. KOLMOGOROV, V., and BLAKE, A.: 'GrabCut - Interative foreground extraction using iterated graph cut', ACM Trans. on Graphics, 2004, 23, (3), pp. 309-314) 등을 통해 당업자에게 잘 알려져 있으므로, 자세한 설명은 생략한다.
본 발명에 따른 관심 객체 추출부(140)는 종래 그래프 컷 방법이 관심 객체를 추출하기 위하여 사용자에 의해 설정된 사각형 영역을 초기 영역으로 설정하는 것과 다르게 배경 제거에 의해 자동으로 추출된 관심 객체 후보 영역을 초기 영역으로 자동 설정함으로써 상기 관심 객체 후보 영역으로부터 관심 객체를 추출할 수 있다.
일례로 관심 객체 추출부(140)는 상기 검출된 관심 객체 후보 영역을 초기 영역으로 설정하고, 상기 초기 영역의 내부 관심 객체 영역과 상기 초기 영역의 외부 배경 영역에 대해서 각각 가우시안 혼합 모델 기법을 사용하여 색상에 관하여 모델링하고, 반복적인 그래프 컷을 수행하여 상기 관심 객체를 추출할 수 있다.
도 5는 관심 객체 영역을 추출하는 일례를 나타내는 도면이다.
도 5를 참조하면, 관심 객체 추출부(140)는 관심 객체 후보 영역(510)으로부터 관심 객체 영역(520)을 추출한다.
도 6은 본 발명의 일실시예에 따른 관심 객체 추출 방법의 동작 흐름을 나타내는 도면이다.
도 1 내지 도 6을 참조하면, 단계(610)에서 다중 스케일 영상 생성부(110)는 원본 영상과 서로 다른 스케일(scale)을 적용한 복수 개의 영상을 생성한다. 일례로 단계(610)에서 다중 스케일 영상 생성부(110)는 바이레터럴 필터(bilateral filter)를 이용하여 상기 원본 영상과 서로 다른 스케일을 적용하는 복수 개의 영상을 생성할 수 있다.
단계(620)에서 영상 분할부(120)는 다중 스케일 영상 생성부(110)에 의해 생성된 복수 개의 영상을 분할한다. 즉, 단계(620)에서 영상 분할부(120)는 상기 원본 영상과 다중 스케일 영상 생성부(110)에 의해 생성된 상기 원본 영상과 다른 스케일을 가지는 복수 개의 영상을 분할한다. 일례로 단계(620)에서 영상 분할부(120)는 상기 생성된 복수 개의 영상에 대해 JSEG 알고리즘을 이용하여 각각 영상을 분할할 수 있다.
단계(630)에서 관심 객체 후보 영역 검출부(130)는 상기 분할된 영상들에 대해 배경 영역을 제거하여 관심 객체 후보 영역을 검출한다. 즉, 단계(630)에서 관심 객체 후보 영역 검출부(130)는 상기 원본 영상과 상기 다중 스케일 영상들에 대한 분할 결과들을 활용하여 배경 영역을 제거함으로써 상기 관심 객체 후보 영역을 검출한다. 일례로 단계(630)에서 관심 객체 후보 영역 검출부(130)는 상기 분할된 영상들의 가장자리에 인접한 영역들을 배경 영역으로 제거하고, 상기 배경 영역을 제거된 영상들에 대해서 논리적인 연산을 수행하여 상기 관심 객체 후보 영역을 검출할 수 있다.
단계(640)에서 관심 객체 추출부(140)는 상기 검출된 관심 객체 후보 영역으로부터 관심 객체를 추출한다. 즉, 단계(640)에서 관심 객체 추출부(140)는 상기 검출된 관심 객체 후보 영역을 초기 영역으로 설정하고, 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 관심 객체를 추출한다. 일례로 단계(640)에서 상기 관심 객체 추출부가 상기 검출된 관심 객체 후보 영역을 초기 영역으로 설정하고, 상기 초기 영역의 내부 관심 객체 영역과 상기 초기 영역의 외부 배경 영역에 대해서 각각 가우시안 혼합 모델 기법을 사용하여 색상에 관하여 모델링하고, 반복적인 그래프 컷을 수행하여 상기 관심 객체를 추출할 수 있다.
도 7은 다양한 원본 영상에 대한 관심 객체 후보 영역, 관심 객체 영역을 나타내는 도면이다.
도 1 및 도 7을 참조하면, 관심 객체 추출 장치(100)는 (a) 원본 영상과 서로 다른 스케일을 적용한 영상들을 생성하고, 생성된 영상들에서 배경 영역을 제거하여 논리적인 AND 연산을 수행하여 (b) 관심 객체 후보 영역을 검출하고, 검출된 관심 객체 후보 영역으로부터 (c) 관심 객체 영역을 추출할 수 있다.
이와 같이, 본 발명에 따른 관심 객체 추출 방법은 관심 객체가 존재하는 위치에 상관없이 효과적으로 관심 객체를 추출하며, 다중 관심 객체들이 존재하더라도 관심 객체들을 추출할 수 있다. 즉, 본 발명에 따른 관심 객체 추출 방법은 배경 영역을 제거하는 방식에 의한 관심 객체 후보 영역을 추출한 후 반복적인 그래프 컷 기법을 사용하여 관심 객체의 위치와 수에 상관없이 효과적으로 영상내의 관심 객체를 정확하게 추출할 수 있다.
또한 본 발명에 따른 관심 객체 추출 방법은 단순한 배경뿐만 아니라 복잡한 배경을 가지고 있는 영상에서도 효과적으로 관심 객체 추출 결과를 얻을 수 있다.
또한 본 발명에 따른 관심 객체 추출 방법은 영상 검색, 영상 분류, 영상 압축, 워터마킹, 객체 인식 등 영상 처리 기술을 필요로 하는 다양한 분야에 적용될 수 있다.
일례로, 영상 검색 기술의 경우 영상에 포함된 객체는 사람의 고수준 개념을 표현하기에 적절하며 영상의 내용에 관한 핵심 정보를 제공한다. 영상 검색 기술의 사용자는 질의 영상에 포함된 객체에 기반을 두고 동일한 객체 또는 유사한 객체를 포함하는 다른 영상을 검색하고자 한다. 따라서 영상을 객체 단위로 접근할 수 있는 기술을 요구한다. 본 발명에 따른 관심 객체 추출 방법은 영상 검색 기술에서 영상으로부터 관심 객체를 자동으로 추출하는 기술로서 활용이 가능하다.
다른 예로, 본 발명에 따른 관심 객체 추출 방법을 영상 합성 및 편집 기술에 적용이 가능하며 보다 편리한 사용자 인터페이스를 제공하는데 활용될 수 있다. 또한, 휴대 장치들의 다양한 해상도와 화질에 따라 적합한 영상을 제공하기 위하여 자동으로 영상을 변환하는 기술인 Image Adaptation 기술에 활용이 가능하다.
또 다른 예로, 영상 압축 기술의 경우 최근 널리 사용되는 영상 압축 표준 MPEG4는 비디오 객체 평면(video object plane)의 구성을 통해 객체 단위의 압축 기법을 제공하고 있다. 또한 아직은 널리 사용되고 있지는 않으나 기존 정지 영상 압축 기술에 비해 우수한 성능을 보이는 JPEG2000은 관심 영역(ROI: Region Of Interest) 별로 접근이 가능한 기술을 제공한다. 본 발명에 따른 관심 객체 추출 방법은 영상의 주요 객체를 분리해줌으로써 이와 같은 영상 압축 기술을 이용하여 효과적인 압축이 가능하게 하는데 적용이 가능하다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 관심 객체 추출 장치의 구성을 나타내는 도면이다.
도 2는 다중 스케일 영상의 일례를 나타내는 도면이다.
도 3은 영상을 분할한 일례를 나타내는 도면이다.
도 4는 관심 객체 후보 영역을 검출하는 일례를 나타내는 도면이다.
도 5는 관심 객체 영역을 추출하는 일례를 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 관심 객체 추출 방법의 동작 흐름을 나타내는 도면이다.
도 7은 다양한 원본 영상에 대한 관심 객체 후보 영역, 관심 객체 영역을 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 관심 객체 추출 장치
110: 다중 스케일 영상 생성부
120: 영상 분할부
130: 관심 객체 후보 영역 검출부
140: 관심 객체 추출부

Claims (10)

  1. 원본 영상과 서로 다른 스케일을 적용하여 생성된 복수 개의 영상을 분할하는 영상 분할부;
    상기 분할된 영상들에 대해 배경 영역을 제거하여 관심 객체 후보 영역을 검출하는 관심 객체 후보 영역 검출부; 및
    상기 검출된 관심 객체 후보 영역으로부터 관심 객체를 추출하는 관심 객체 추출부
    를 포함하는 관심 객체 추출 장치.
  2. 제1항에 있어서,
    바이레터럴 필터(bilateral filter)를 이용하여 상기 원본 영상과 서로 다른 스케일을 적용하는 복수 개의 영상을 생성하는 다중 스케일 영상 생성부를 더 포함하고,
    상기 영상 분할부는,
    상기 생성된 복수 개의 영상에 대해 JSEG(J-value segmentation) 알고리즘을 이용하여 각각 영상을 분할하는, 관심 객체 추출 장치.
  3. 제1항에 있어서,
    상기 관심 객체 후보 영역 검출부는,
    상기 분할된 영상들에서 배경 영역을 제거하고, 상기 배경 영역이 제거된 영상들에 대해 논리 연산을 수행하여 상기 관심 객체 후보 영역을 검출하는, 관심 객체 추출 장치.
  4. 제1항에 있어서,
    상기 관심 객체 추출부는,
    상기 검출된 관심 객체 후보 영역을 초기 영역으로 설정하고, 그래프 컷 알고리즘(Graph Cut Algorithm)을 이용하여 상기 관심 객체를 추출하는, 관심 객체 추출 장치.
  5. 제1항에 있어서,
    상기 관심 객체 추출부는,
    상기 검출된 관심 객체 후보 영역을 초기 영역으로 설정하고, 상기 초기 영역의 내부 관심 객체 영역과 상기 초기 영역의 외부 배경 영역에 대해서 각각 가우시안 혼합 모델 기법을 사용하여 색상에 관하여 모델링하고, 반복적인 그래프 컷을 수행하여 상기 관심 객체를 추출하는, 관심 객체 추출 장치.
  6. 영상 분할부, 관심 객체 후보 영역 추출부 및 관심 객체 추출부를 포함하는 관심 객체 추출 장치에서의 관심 객체 추출 방법에 있어서,
    상기 영상 분할부가 원본 영상과 서로 다른 스케일을 적용하여 생성된 복수 개의 영상을 분할하는 단계;
    상기 관심 객체 후보 영역 검출부가 상기 분할된 영상들에 대해 배경 영역을 제거하여 관심 객체 후보 영역을 검출하는 단계; 및
    상기 관심 객체 추출부가 상기 검출된 관심 객체 후보 영역으로부터 관심 객체를 추출하는 단계
    를 포함하는 관심 객체 추출 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020090100322A 2009-10-21 2009-10-21 관심 객체 추출 장치 및 방법 KR101082665B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090100322A KR101082665B1 (ko) 2009-10-21 2009-10-21 관심 객체 추출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090100322A KR101082665B1 (ko) 2009-10-21 2009-10-21 관심 객체 추출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110043279A KR20110043279A (ko) 2011-04-27
KR101082665B1 true KR101082665B1 (ko) 2011-11-14

Family

ID=44048578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090100322A KR101082665B1 (ko) 2009-10-21 2009-10-21 관심 객체 추출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101082665B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101349699B1 (ko) * 2012-06-29 2014-01-10 에스케이플래닛 주식회사 영상 추출 및 합성 장치, 이의 방법
KR101394895B1 (ko) * 2012-10-12 2014-05-14 전남대학교산학협력단 Ｂｌｏｃｋ Ｃｌｕｓｔｅｒｉｎｇ 을 이용한 관심영역기반 자동객체분할방법 및 자동객체분할시스템
KR101384627B1 (ko) * 2012-10-26 2014-04-11 전남대학교산학협력단 영상 내 객체 영역 자동분할 방법
KR102083624B1 (ko) * 2013-01-15 2020-03-02 에스케이플래닛 주식회사 관심대상 분석 시스템 및 그 방법, 그리고 이에 적용되는 장치
KR101821989B1 (ko) * 2016-08-11 2018-01-25 이노뎁 주식회사 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법
KR102106029B1 (ko) * 2018-07-19 2020-05-04 네이버랩스 주식회사 간판 검출 성능 향상을 위한 방법 및 시스템

Also Published As

Publication number Publication date
KR20110043279A (ko) 2011-04-27

Similar Documents

Publication Publication Date Title
JP5844783B2 (ja) テキスト領域を含むグレースケール文書画像を処理する方法、グレースケール文書画像の少なくともテキスト領域を二値化する方法、グレースケール文書画像においてグリッドを形成するテーブルの抽出方法及びプログラム
Shivakumara et al. A laplacian approach to multi-oriented text detection in video
Cohen et al. Robust text and drawing segmentation algorithm for historical documents
KR101082665B1 (ko) 관심 객체 추출 장치 및 방법
JP6569500B2 (ja) 画像処理装置及び画像処理方法
CN102054271B (zh) 文本行检测方法和装置
JP2004126648A (ja) 画像処理方法、画像処理装置および画像処理プログラム
Kavitha et al. A new watershed model based system for character segmentation in degraded text lines
Shi et al. Adaptive graph cut based binarization of video text images
KR101245957B1 (ko) 배경 제거와 그래프 컷을 이용한 비교사 영상 분할 방법 및 시스템
Dixit et al. Automatic logo detection from document image using HOG features
Feild et al. Scene text recognition with bilateral regression
Sravani et al. Robust detection of video text using an efficient hybrid method via key frame extraction and text localization
CN106446920B (zh) 一种基于梯度幅度约束的笔画宽度变换方法
CN104992176B (zh) 一种面向碑文的汉字提取方法
Huang A novel video text extraction approach based on Log-Gabor filters
Felhi et al. Multiscale stroke-based page segmentation approach
Khatib et al. A hybrid multilevel text extraction algorithm in scene images
Vu et al. Automatic extraction of text regions from document images by multilevel thresholding and k-means clustering
Lin et al. SI-Cut: Structural inconsistency analysis for image foreground extraction
Chang et al. Texture-based color image segmentation using local contrast information
Prasanna et al. KANNADA TEXT EXTRACTION FROM IMAGES AND VIDEOS FORVISION IMPAIRED PERSONS
Manisha et al. Text frame classification and recognition using segmentation technique
Xiao et al. An effective graph and depth layer based RGB-D image foreground object extraction method
US20220021787A1 (en) Apparatus, method, and storage medium for removing shading dots

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20091021

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20091028

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20091021

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110216

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20111018

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20111104

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20111104

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20141014

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20141014

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20151002

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20151002

Start annual number: 5

End annual number: 5

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20170814