KR20030029353A - 영상내의 오브젝트 영역 추출방법 - Google Patents

영상내의 오브젝트 영역 추출방법 Download PDF

Info

Publication number
KR20030029353A
KR20030029353A KR1020010061833A KR20010061833A KR20030029353A KR 20030029353 A KR20030029353 A KR 20030029353A KR 1020010061833 A KR1020010061833 A KR 1020010061833A KR 20010061833 A KR20010061833 A KR 20010061833A KR 20030029353 A KR20030029353 A KR 20030029353A
Authority
KR
South Korea
Prior art keywords
pixel
boundary
area
object region
region
Prior art date
Application number
KR1020010061833A
Other languages
English (en)
Other versions
KR100474760B1 (ko
Inventor
이진수
유재신
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2001-0061833A priority Critical patent/KR100474760B1/ko
Priority to EP02021379A priority patent/EP1321897A3/en
Priority to CNB021440433A priority patent/CN1223203C/zh
Priority to US10/265,635 priority patent/US20030067983A1/en
Publication of KR20030029353A publication Critical patent/KR20030029353A/ko
Application granted granted Critical
Publication of KR100474760B1 publication Critical patent/KR100474760B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 영상내의 오브젝트 영역 추출방법은, 오브젝트 영역의 경계 화소에서 가장 가까운 에지(edge) 화소를 찾아 오브젝트 영역의 경계를 수정하는 단계; 및 상기 수정된 오브젝트 영역의 경계 화소에서 특정 범위 내에 영역을 확장하고, 주위 영역과 칼라 유사도를 비교하여 오브젝트 영역의 경계를 수정하는 단계; 를 포함한다.
여기서, 상기 오브젝트 영역의 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역의 경계를 수정함에 있어, 기준 오브젝트 영역의 경계 화소에서 4 방향으로 경계 화소와의 색 차이가 소정의 제 1 임계값(Th1) 이상 발생되는 화소가 제일 먼저 나타났을 때, 해당 화소를 에지 화소로 결정한다.
또한, 오브젝트 영역의 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역의 경계를 수정함에 있어, 경계 화소에서 에지 화소까지의 직선에 속한 화소들을 대상으로, 경계 화소와의 색 차이가 소정의 제 2 임계값 (Th2) 이하인 화소를 구하고, 해당 화소가 현재 오브젝트 영역에 속해 있으면 오브젝트 영역에서 제외시키고, 현재 오브젝트 영역에 속해 있지 않으면 오브젝트 영역에 포함시킨다.
또한, 상기 제 2 임계값(Th2)은, 상기 에지 화소 여부를 판단하는 제 1 임계값(Th1)보다 작은 값을 갖는다.

Description

영상내의 오브젝트 영역 추출방법{Object domain detecting method for image}
본 발명은 영상내의 오브젝트 영역 추출에 관한 것으로서, 특히 대략적인 오브젝트 영역이 주어졌을 경우에, 현재의 영상에서 정확한 오브젝트 영역을 추출할 수 있는 방법에 관한 것으로, 오브젝트 기반 영상 코딩이나, 비디오 메일 등에서 사용되는 비디오 편집 툴, 객체 기반 검색 데이터의 검색 정보 추출 툴, 핫 스팟(hot-spot) TV 프로그램 영상 데이터 툴 등에 이용될 수 있는 영상내의 오브젝트 영역 추출방법에 관한 것이다.
오늘날, 영상에서 오브젝트 영역을 추출하거나 추적하는 기술은 최근 들어, 그 중요성이 증가하면서 많이 보고되고 있다. 특히, 오브젝트 기반의 압축 코딩이 가능한 MPEG-4가 표준화되면서 다양한 오브젝트 영역 추출 알고리즘이 소개되고 있다. 또한, 대략적으로 영역을 수동으로 추출한 후, 자동으로 정확한 오브젝트 영역을 추출해주는 방법은 오브젝트 추출 방법의 어려움과 실용화 측면을 고루 수용하여, 실재 적용 가능한 오브젝트 기반의 응용 예를 보여준다는 의미에서 많이 연구되어지고 있다. 그리고, 대략적인 오브젝트 영역에서 정확한 영역을 추출하는 방법은 화상 통신 등에서 오브젝트 기반 코딩을 하기 위해 유용하게 사용되기도 한다.
한편, 대략적인 오브젝트 영역이 주어졌을 때, 자세한 오브젝트 영역의 경계를 자동으로 찾아주는 방법은 다음과 같은 여러 가지 응용에서 매우 유용하다.
- 비디오/이미지 등에서의 편집/데코레이션(decoration) 기능
최근에는 이동 통신 단말기나 PDA를 이용한 비디오 메일 서비스가 범용화되고 있다. 비디오 메일은 그 특성상 사용자가 오프라인(off-line)으로 영상을 편집할 수도 있는데, 이때 사용자가 대략적으로 분리한 오브젝트 영역을 자동적으로 세밀화함으로써, 손쉽게 영역을 분리할 수 있다. 일반적으로 사용자가 자신의 얼굴이나 몸 영역을 기준으로 다양한 장식화면을 꾸며서 비디오 메일을 편집할 때 이러한 세밀화 알고리즘이 유용하게 적용된다. 또한, 자신의 사진 등에 연예인 사진을 합성하여 재미있는 사진을 만들기도 하는데, 이럴 때도 이러한 오브젝트 추출방법이 유용하게 이용된다.
- 검색을 위한 오브젝트 기반 정지영상 정보 추출
이미지 검색 등의 검색 분야에서 높은 성능을 나타내기 위해서는 오브젝트 기반의 검색을 행해야 한다. 즉, 이미지 전체에 대한 유사도 검색이 아닌 관심 영역 중심의 검색을 행했을 때, 보다 높은 검색 성능이 가능하다. 하지만, 정지영상에서 의미 있는 오브젝트 영역을 분리하기란 쉽지 않다. 따라서, 반자동 오브젝트 분리 방법이 많이 사용되는데, 사용자가 대략의 관심 영역을 표기하면, 이에 따라 자동으로 정확한 오브젝트 영역을 추출함으로써 이루어진다.
- Hot Spot 용 데이터 추출
최근 디지털 TV, 인터렉티브 TV 등이 출시되면서, 사용자가 시청 도중 관심있는 물품을 가리키면 바로 해당 물품에 대한 정보가 나오는 Hot-Spot 기술이 주목받고 있다. 이와 같은 Hot-Spot 기능을 제공하기 위해서는 오브젝트 영역 분리가 우선되어야 하는데, 전 자동으로 오브젝트 영역을 분리하는 것은 현재 기술로는 불가능하여, 컨텐츠 제공자(contents-provider)가 손쉽게 반자동으로 오브젝트 영역을 추출할 수 있는 방법을 제공하도록 하는 방법이 많이 연구되어지고 있다.
- 동영상에서의 자동 오브젝트 추출 알고리즘
앞에서 기술했던 내용과 같은 부분으로서, 전체가 자동으로 오브젝트 영역을 추출해야 할 때 응용된다. 이때, 세밀화 과정은 움직임 기반으로만 추출된 대략의 오브젝트 영상을 실제 정확한 경계영역으로 정밀화하여 배경 전환 등의 응용에 유용하게 사용될 수 있다.
한편, 일반적인 오브젝트 영역 추출 방법에 대한 기존 연구에는 다양한 것들이 있는데, 대표적으로는 다음과 같은 방법들이 있다. 흔히 오브젝트 영역 또는 관심 영역(ROI:Region Of Interest)이라고 불리는 영역을 추출하는 방법은 크게 정지된 카메라로 취득된 영상을 대상으로 하거나, 이동하는 카메라로 취득한 영상을 대상으로 하는 경우로 나뉘어 생각할 수 있다. 일반적으로 정지된 카메라로 취득된 영상에 비해, 이동하는 카메라로 취득한 영상이 관심 영역을 추출하기가 훨씬 어려우므로 대부분 기존 연구에서는 정지된 카메라로 취득한 영상을 대상으로 하고 있다.
그리고, 정지된 카메라로 취득한 영상에서 오브젝트 영역의 분리는 대부분 움직이는 영역을 추출함으로써 이루어진다. 하지만, 카메라로 취득한 영상은 잡음등으로 인하여 움직이는 물체 이외에도 정지된 배경에서 움직임이 찾아지거나, 오브젝트 경계 영역에서의 그림자 등으로 인하여 원래의 오브젝트 영역과 비교해서 일그러진 오브젝트를 추출하게 된다. 따라서, 움직임 정보만으로는 정확한 오브젝트 영역을 추출하기가 어려우므로, 칼라나 텍스쳐 등을 이용한 영역 분리를 사용한다. 이렇게 분리된 영역들은 움직임 정보와 칼라의 유사도가 비슷한 것들끼리 그룹화되어 다시 하나의 오브젝트 영역으로 된다. 그런데, 이러한 방법은 처리 시간이 오래 걸리는 단점이 있다.
또한, 일반적으로 동영상에서 오브젝트 영역을 추출하는 방법은 초기 오브젝트 영역을 추출하는 단계와, 이후 추출된 오브젝트 영역을 기준으로 다음 프레임에서의 오브젝트 영역을 예측함으로써 이루어지는 오브젝트 영역 추적 단계로 구성된다. 이는 아무런 정보도 없는 초기 단계에서 오브젝트 영역을 추출하려면 문제의 난이도가 어려우므로 복잡한 알고리즘을 사용해야 할 경우가 많다. 하지만, 매 프레임마다 이렇게 복잡한 알고리즘을 사용할 경우 실시간 처리가 어려우므로, 처음에만 정확하지만 복잡한 알고리즘을 사용하여 초기 오브젝트 영역을 추출하고, 이후에는 이를 기준으로 다음 프레임에서는 단순한 예측 방법을 적용하여 변형된 오브젝트 영역을 만듦으로써, 다음 프레임에서의 오브젝트 영역을 예측하게 된다.
이때, 초기 오브젝트 영역의 추출은 사용자의 도움으로 반자동 추출을 행하거나 특정한 조건, 예를 들어 움직임이 많이 일어난 경우 등에 한해서 오브젝트 영역을 추출할 수 있다. 이후 추출된 오브젝트 영역을 기준으로 다음 프레임에서의 오브젝트 영역을 추출할 때에는 움직임 정보나 칼라 정보들을 단순하게 사용하여실시간 처리를 가능하게 한다.
이와 같이, 주어진 대략의 오브젝트 영역을 다시 정확한 오브젝트 영역으로 수정하는 세밀화 과정은 앞에서 언급하였듯이 수동 영역 추출 방법과 결합하여 유용하게 이용되기도 하며, 자동 오브젝트 영역 추출 분야에서도 매우 중요하다. 상기에서 기술하였듯이 움직임 정보를 사용할 경우, 오브젝트 영역의 경계 부분에서 나타나는 그림자나 움직임으로 인해 발생되는 잔상으로 인하여 정확한 오브젝트 영역을 추출하기 어렵다. 따라서, 이 경우 다른 방법을 사용하여 대략적으로 추출된 오브젝트 영역을 정확하게 수정하는 세밀화 과정(refining)이 필요하게 된다. 또는 움직임이 느릴 경우, 이전 프레임에서의 오브젝트 영역과 현재 프레임에서의 오브젝트 영역의 차가 크지 않으므로, 처음부터 이전 프레임에서의 오브젝트 영역을 세밀화 과정을 통해 수정함으로써 현재 프레임에서의 오브젝트 영역을 추적할 수도 있다.
이와 같이, 세밀화 과정은 주로 칼라 정보를 사용하여 이루어지는데, 예를 들어 같은 칼라를 갖는 영역이 주어진 오브젝트의 경계 영역과 맞지 않을 경우, 같은 칼라를 갖는 영역의 경계 영역으로 수정할 수 있다. 이때, 기본적으로 가지고 있는 오브젝트 영역(기준 영역)을 이용하여 그 영역의 경계 화소를 기준으로 주위 화소의 색 차이를 구해 두 화소 사이의 색 차이가 임계값 보다 작고, 주위 화소와 현재 관심 영역의 경계 화소의 거리가 임계값 보다 작으면 그 화소를 현재 오브젝트 영역에 포함시키고, 그렇지 않으면 현재 오브젝트 영역에 포함시키지 않는 방법이다.
이러한 방법은 기준 영역의 경계가 실제 오브젝트 영역의 경계와 매우 근접해 있을 경우 비교적 우수한 결과를 나타낸다. 하지만, 기준 영역은 상기에서 기술하였듯이 움직임 정보만을 사용하여 구하거나, 이전 프레임에서의 오브젝트 영역을 사용하므로 실제 오브젝트 영역의 경계와 근접하는 경우는 오브젝트의 움직임이 거의 없을 경우를 제외하면 거의 없다.
더구나, 오브젝트의 움직임이 거의 없을 경우에는 세밀화 과정을 하지 않더라도 비교적 이전 프레임에서의 오브젝트 영역이 현재의 영역과 동일하므로 세밀화 과정이 필요없다. 또한, 기존 영역이 실제 오브젝트 영역의 경계와 많이 떨어져 있을 경우, 오히려 상기와 같은 알고리즘을 적용할 경우 부정확한 경계를 만들 수도 있는 단점이 있다.
그리고, 오브젝트 영역 추적과정에서 일그러진 경계에서도 위와 같은 알고리즘을 사용하여 오브젝트 영역의 경계를 보정할 수 있지만, 오브젝트 영역이 빠르게 움직였을 경우 부정확한 경계를 얻을 수 있고, 그에 따른 부정확한 경계 보정이 될 수 밖에 없다. 이와 같이, 기존 방법은 영상의 잡음으로 인하여 원하는 경계 영역까지 영역을 확장하지 못하거나, 또는 오브젝트 이외의 영역으로 잘못 확장되는 등의 오류를 발생시킬 수 있는 단점이 있다.
본 발명은 상기와 같은 여건을 감안하여 창출된 것으로서, 대략적인 기준 영역 정보를 사용하여 정확한 오브젝트 영역을 추출할 수 있으며, 기존에 복잡한 배경이나 잡음으로 인해 발생되었던 오브젝트 영역 경계의 혼란성을 해결하고 빠른실시간 처리를 수행할 수 있는 영상내의 오브젝트 영역 추출방법을 제공함에 그 목적이 있다.
도 1은 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 의하여 오브젝트 영역을 추출하는 과정을 나타낸 순서도.
도 2는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역을 세밀화 하는 과정을 나타낸 순서도.
도 3은 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 경계 화소에서 가장 가까운 에지 화소를 찾고 오브젝트 영역을 세밀화 하는 과정을 개념적으로 설명하기 위한 도면.
도 4는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역을 세밀화시킨 예를 나타낸 도면.
도 5는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 칼라 유사도를 비교하여 오브젝트 영역을 세밀화 하는 과정을 나타낸 순서도.
도 6은 본 발명에 따른 오브젝트 경계화소를 기준으로, 칼라 유사도를 비교하여 오브젝트 영역을 세밀화시킨 예를 나타낸 도면.
도 7은 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역을 변경시킨 후, 칼라 유사도를 비교하여 오브젝트 영역을 세밀화시킨 예를 나타낸 도면.
상기의 목적을 달성하기 위하여 본 발명에 따른 영상내의 오브젝트 영역 추출방법은,
오브젝트 영역의 경계 화소에서 가장 가까운 에지(edge) 화소를 찾아 오브젝트 영역의 경계를 수정하는 단계; 및
상기 수정된 오브젝트 영역의 경계 화소에서 특정 범위 내에 영역을 확장하고, 주위 영역과 칼라 유사도를 비교하여 오브젝트 영역의 경계를 수정하는 단계; 를 포함하는 점에 그 특징이 있다.
여기서, 상기 오브젝트 영역의 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역의 경계를 수정함에 있어, 기준 오브젝트 영역의 경계 화소에서 4 방향으로 경계 화소와의 색 차이가 소정의 제 1 임계값(Th1) 이상 발생되는 화소가 제일 먼저 나타났을 때, 해당 화소를 에지 화소로 결정하는 점에 그 특징이 있다.
또한, 상기 오브젝트 영역의 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역의 경계를 수정함에 있어, 상기 경계 화소에서 에지 화소까지의 직선에 속한 화소들을 대상으로, 상기 경계 화소와의 색 차이가 소정의 제 2 임계값 (Th2) 이하인 화소를 구하고, 해당 화소가 현재 오브젝트 영역에 속해 있으면 오브젝트 영역에서 제외시키고, 현재 오브젝트 영역에 속해 있지 않으면 오브젝트 영역에 포함시키는 점에 그 특징이 있다.
또한, 상기 제 2 임계값(Th2)은, 상기 에지 화소 여부를 판단하는 제 1 임계값(Th1)보다 작은 값을 갖는 점에 그 특징이 있다.
또한, 상기 수정된 오브젝트 영역의 경계 화소에서 특정 범위 내에 영역을 확장하고, 주위 영역과 칼라 유사도를 비교하여 오브젝트 영역의 경계를 수정함에 있어, 상기 수정된 오브젝트 영역의 경계 화소 위치에서 특정 범위 안에 속한 화소들을 대상으로 상기 경계 화소와의 색 차이가 소정의 제 3 임계값(Th3) 이하인 화소들을 하나의 그룹으로 지정하여 영역을 확장하는 점에 그 특징이 있다.
또한, 상기 특정 범위는 상기 경계 화소를 중심으로 거리 N 화소수만큼의 사각형인 점에 그 특징이 있다.
또한, 상기 주위 영역과 칼라 유사도를 비교하여 오브젝트 영역의 경계를 수정하는 단계는,
상기 특정 범위 내의 확장된 영역에 대한 주변 영역을 대상으로 각 주변 영역의 평균 색 값을 구하는 단계와;
상기 확장된 영역에 대한 평균 색 값을 구하고, 상기 확장된 영역의 평균 색 값과 가장 가까운 평균 색 값을 갖는 주변 영역을 찾는 단계와;
상기 가장 가까운 평균 색 값을 갖는 주변 영역이 현재 오브젝트 영역이면 상기 확장된 영역을 오브젝트 영역에 포함시키고, 상기 가장 가까운 평균 색 값을 갖는 주변 영역이 현재 배경 영역이면 상기 확장된 영역을 배경 영역으로 수정하는 단계; 를 구비하는 점에 그 특징이 있다.
또한 상기 주변 영역은, 상기 확장된 영역을 구할 때 사용되었던 상기 특정범위와 같은 크기를 갖는 4 방향 인접한 영역으로 설정되는 점에 그 특징이 있다.
또한 상기 제 3 임계값(Th3)은, 상기 제 2 임계값(Th2)보다 더 작은 값을 갖는 점에 그 특징이 있다.
이와 같은 본 발명에 의하면, 대략적인 기준 영역 정보를 사용하여 정확한 오브젝트 영역을 추출할 수 있으며, 기존에 복잡한 배경이나 잡음으로 인해 발생되었던 오브젝트 영역 경계의 혼란성을 해결하고 빠른 실시간 처리를 수행할 수 있는 장점이 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.
도 1은 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 의하여 오브젝트 영역을 추출하는 과정을 나타낸 순서도이다.
도 1을 참조하여 본 발명에 따른 영상내의 오브젝트 영역 추출방법을 설명하면, 본 발명은 오브젝트 영역의 경계 화소에서 가장 가까운 에지(edge) 화소를 찾아 오브젝트 영역의 경계를 수정하는 과정(단계 101); 및 수정된 오브젝트 영역의 경계 화소에서 특정 범위 내에 영역을 확장하고, 주위 영역과 칼라 유사도를 비교하여 오브젝트 영역의 경계를 수정하는 과정(단계 102)으로 구성된다.
그러면, 도 2를 참조하여 단계 101의 과정을 상세히 설명해 보기로 한다. 도 2는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역을 세밀화 하는 과정을 나타낸 순서도이다.
먼저, 현재 프레임에 대한 이미지와 바이너리 경계 이미지(binary contourimage)에 대한 정보를 획득한다(단계 201). 여기서 바이너리 경계 이미지란, 현재 프레임의 이미지에 대하여, 이진 이미지로 구성된 이미지로서 관심 영역은 in(1)이고 그 외의 영역은 out(0)인 이미지를 말한다.
그리고, 상기 단계 201에서 획득된 바이너리 경계 이미지로부터 관심 영역의 경계 화소(BP:Boundary Pixel)를 구한다(단계 202). 이후, 상기 단계 202에서 획득된 경계 화소(BP)를 기준으로 하여 주변 4 방향으로 한 픽셀씩 이동하면서, 상기 경계 화소(BP)와 색 차이가 제 1 임계값(Th1)보다 큰 픽셀(P)을 찾는다(단계 203).
또한, 상기 경계 화소(BP)로부터 P 픽셀까지의 화소에 대하여 경계 화소와의 색 차이를 구하고, 색 차이가 제 2 임계값(Th2) 이하인 픽셀에 대하여 바이너리 경계 이미지에서 상태를 반전시킨다(단계 204). 즉, 상기 경계 화소(BP)와 P 픽셀 사이의 화소들을 경계 화소와 색 차이를 구해, 그 값이 제 2 임계값(Th2) 이하인 화소는 현재 그 위치의 화소가 in(1)이었으면 out(0)으로, out(0)이었으면 in(1)으로 변경해 준다.
그 이유는 현재 기준 영역(관심 영역)이 잘못 잡혀 경계가 실제 오브젝트 영역보다 안쪽으로 들어가 있을 경우 가장 먼저 나타나는, 경계 화소와 색 차이가 제 1 임계값(Th1)보다 큰 화소는 실제 오브젝트 영역의 경계 화소가 될 것이고, 현재 실제 오브젝트 영역과 잘못된 기준 영역 사이는 실제 오브젝트 영역임에도 out(0)으로 표현되어 있기 때문에 in(1)으로 변경해 주는 것이다. 반대의 경우도 마찬가지로 현재 기준 영역(관심 영역)의 경계가 오브젝트 영역보다 바깥쪽으로 나와 있을 경우 가장 먼저 나타나는, 경계 화소와 색 차이가 제 1 임계값(Th1)보다 큰 화소는 실제 오브젝트 영역의 화소가 되고, 그 화소까지의 영역을 out(0)으로 변경해 주는 것이다. 한편, 상기 제 2 임계값(Th2)은 상기 제 1 임계값(Th1)보다 작은 값을 갖도록 설정한다.
그러면, 도 3을 참조하여 상기 단계 203 및 단계 204를 부연하여 설명해 보기로 한다. 도 3은 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 경계 화소에서 가장 가까운 에지 화소를 찾고 오브젝트 영역을 세밀화 하는 과정을 개념적으로 설명하기 위한 도면이다.
도 3에 나타낸 바와 같이, 바이너리 경계 이미지는 관심 영역과 비관심 영역으로 구분되며, 관심 영역은 in(1)으로 표시된 영역이고, 비관심 영역은 out(0)으로 표시되는 영역이다. 이러한 관심 영역과 비관심 영역에는 경계선이 존재하게 되는데, 경계 화소(BP)는 경계선 픽셀을 말한다. 도 3은 여러 경계 화소 중에서 하나의 경계 화소에 대한 처리과정을 나타낸 것이다.
상기 단계 203은, 각 경계 화소(BP)에 대하여 주변 4 방향으로 한 픽셀씩 이동하면서(즉 P11, P21, P31, P41), 상기 경계 화소(BP)와 색 차이가 제 1 임계값 (Th1)보다 큰 픽셀을 찾는 과정을 말한다. 이때, 상기 P11, P21, P31, P41에 대하여 비교한 결과, 상기 경계 화소(BP)와 색 차이가 제 1 임계값(Th1)보다 큰 픽셀이 없는 경우에는, 주변 4 방향으로 한 픽셀씩 더 이동을 하고(즉 P12, P22, P32, P42) 상기 경계 화소(BP)와의 색 차이를 구한다.
그리고 색 차이를 구한 결과, 화소 P32와 상기 경계 화소(BP)의 색 차이가 제 1 임계값(Th1)보다 크다고 하자. 그러면, 상기 경계 화소(BP)와 화소 P32 사이에 있는 P31, P32 화소에 대하여 상기 경계 화소(BP)와의 색 차이를 구하는 것이 상기 단계 204의 첫 과정이다. 이로부터, 상기 화소 P31과 상기 경계 화소(BP)와의 색 차이가 제 2 임계값(Th2)보다 작은 경우에는 상기 화소 P31의 상태를 out(0)에서 in(1)으로 반전시키게 됨으로써, 관심 영역에 대한 세밀화 과정을 수행하게 된다.
이와 같은 과정이 수행된 결과는 나름대로 영역이 보정되는데, 경계 화소의기준이 되는 영역 경계가 오브젝트 영역 경계와 유사한 경우에는 오차가 적지만, 오브젝트 영역 경계와의 거리 차이가 많을 경우에는 가장 가까운 경계 화소가 오브젝트 영역의 경계 화소가 아닌 다른 배경 에지일 수도 있다. 이에 따라, 수정된 결과가 잘못된 쪽으로 번지거나, 밖으로 확장하지 못하는 문제가 발생될 수도 있다.
실제 동영상에서는 에지가 많이 있기 때문에 기준이 되는 영역이 관심 영역에서 많이 어긋나게 되면, 화소 단위의 색 차이를 이용한 알고리즘이기 때문에, 단순히 기준이 되는 영역과 가장 가까운 경계 화소로 기준 영역이 변경될 수도 있는 문제점이 있다. 이러한 결과의 예를 도 4에 나타내었다.
도 4는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역을 세밀화시킨 예를 나타낸 도면이다. 도 4의 (a)는 바이너리 모델 이미지가 실제 관심영역과 유사하게 잡힌 경우에 대한 예를 나타낸 도면이고, (b)는 바이너리 모델 이미지가 잘못 잡힌 경우에 대한 예를 나타낸 도면이다.
이러한 문제점을 해결하기 위해서, 도 1의 단계 102와 같이, 상기에서 기술된 오브젝트 영역 세밀화 방법에 의하여 수정된 오브젝트 영역을 기반으로 하여, 수정된 오브젝트 영역의 경계 화소에서 특정 범위 내에 영역을 확장하고, 주위 영역과 칼라 유사도를 비교하여 오브젝트 영역의 경계를 수정하는 과정을 수행한다.
그러면, 도 5를 참조하여 그 수행과정을 설명해 보기로 한다. 도 5는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 칼라 유사도를 비교하여 오브젝트 영역을 세밀화 하는 과정을 나타낸 순서도이다.
먼저, 현재 프레임에 대한 이미지와 수정된 바이너리 경계 이미지에 대한 정보 획득한다(단계 501). 그리고, 상기 수정된 바이너리 경계 이미지에 있어서 관심 영역의 경계 화소(BP)를 구한다(단계 502).
또한, 상기 단계 502에서 구해진 경계 화소(BP)를 기준으로, 특정 범위의 윈도우 내의 픽셀들에 대해 경계 화소(BP)와 색 차이가 제 3 임계값(Th3)보다 작은 픽셀을 포함하는 영역을 만든다(단계 503). 이때, 특정 범위는 임의로 조절할 수 있으며, 본 발명의 실시 예에서는 경계 화소를 중심으로 30픽셀의 수직/수평 거리를 갖는 사각모양으로 하였다.
그리고, 상기 단계 503에서 확장된 영역에 대하여 평균 색 값을 구한다(단계 504). 또한, 상기 경계 화소(BP)를 기준으로 한 윈도우의 4 방향(상, 하, 좌, 우)의 바깥 영역으로 윈도우와 같은 사이즈의 영역 내의 평균 색 값을 구한다(단계 505).
상기 단계 503 및 504에서 획득된 각 영역의 평균 색 값을 참조하여, 각 주위의 4 개의 영역과 현재 구한 영역 사이의 평균 색 차이가 가장 작은 영역을 찾는다. 그리고, 색 차이가 가장 작은 영역 내에 속한 화소들의 과반수가 오브젝트 영역이면, 현재 확장된 영역을 오브젝트 영역으로 세팅한다. 반대로 색 차이가 가장 작은 영역 내에 속한 화소들의 과반수가 오브젝트 영역이 아니면, 현재 확장된 영역을 오브젝트 영역이 아닌 배경으로 세팅한다(단계 506).
즉, 색 차이가 가장 작은 영역이 주로 'in(1)'으로 구성되어 있으면, 확장 영역도 'in(1)'으로 값을 변경하고, 색 차이가 가장 작은 영역이 주로 'out(0)'으로 구성되어 있으면, 확장 영역도 'out(0)'으로 값을 변경하는 것이다.
도 5를 참조하여 설명된 오브젝트 영역 세밀화 방법은, 단계 501에서 수정된 바이너리 경계 이미지를 사용하지 않고, 도 2에서 설명된 초기의 바이너리 경계 이미지를 통해서도 오브젝트 영역의 보정을 수행할 수도 있다. 그러나, 도 2에서 설명된 과정을 통하여 획득된 수정 바이너리 경계 이미지를 사용하지 않을 경우에는, 색 차이가 적은 화소를 가지고 확장을 처리해야 하기 때문에 같은 영역이라도 명도와 같은 영향으로 색 차이가 발생하면 영역확장을 충분히 하지 못할 수도 있는 단점이 있다.
또한, 색 차이를 많이 두고 영역을 확장하면, 오브젝트 영역 이외의 영역까지 경계가 확장될 수 있는 단점이 있다. 이러한 예를 나타낸 것이 도 6이다. 도 6은 본 발명에 따른 오브젝트 경계화소를 기준으로, 칼라 유사도를 비교하여 오브젝트 영역을 세밀화시킨 예를 나타낸 도면이다. 즉, 도 6의 (a)는 바이너리 모델 이미지가 실제 관심영역과 유사하게 잡힌 경우의 예를 나타낸 것이고, (b)는 바이너리 모델 이미지가 잘못 잡혔을 경우의 예를 나타낸 것이다.
그러나, 본 발명에서 기술된 바와 같이, 수정된 바이너리 경계 이미지를 이용하여, 연속적으로 세밀화 과정을 수행하는 경우에는 이러한 문제점이 많이 해결되어, 도 7에 나타낸 바와 같은 정확한 경계가 추출될 수 있다. 도 7은 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역을 변경시킨 후, 칼라 유사도를 비교하여 오브젝트 영역을 세밀화시킨 예를 나타낸 도면이다.
도 7의 (a)는 바이너리 모델 이미지가 실제 관심영역과 유사하게 잡힌 경우의 예를 나타낸 것이고, (b)는 바이너리 모델 이미지가 잘못 잡혔을 경우에 오브젝트 영역이 수정된 이미지를 나타낸 것이다.
이와 같이, 색을 기반으로 하는 두 단계를 통해 완전한 경계를 추출할 수 있는 것은 같은 색 정보를 기반으로 하더라도, 도 2에서 기술된 단계에서 사용한 두 개의 임계값(Th1, Th2)과 도 5에서 기술된 단계에서 사용된 임계값(Th3)의 역할이 다르고, 이러한 3 가지 임계값에 의해 걸러진 화소들이 적절한 용도로 이용되었기 때문이다. 본 발명에서 사용된 임계값의 크기는 Th1>Th2>Th3의 관계를 갖는다.
이상의 설명에서와 같이 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 의하면, 대략적인 기준 영역 정보를 사용하여 정확한 오브젝트 영역을 추출할 수 있으며, 기존에 복잡한 배경이나 잡음으로 인해 발생되었던 오브젝트 영역 경계의 혼란성을 해결하고 빠른 실시간 처리를 수행할 수 있는 장점이 있다.
본 발명은, 오브젝트 기반 영상 코딩이나, 비디오 메일 등에서 사용되는 비디오 편집 툴, 객체 기반 검색 데이터의 검색 정보 추출 툴, 핫 스팟(hot-spot) TV 프로그램 영상 데이터 툴 등에 유용하게 적용될 수 있는 장점이 있다.

Claims (9)

  1. 오브젝트 영역의 경계 화소에서 가장 가까운 에지(edge) 화소를 찾아 오브젝트 영역의 경계를 수정하는 단계; 및
    상기 수정된 오브젝트 영역의 경계 화소에서 특정 범위 내에 영역을 확장하고, 주위 영역과 칼라 유사도를 비교하여 오브젝트 영역의 경계를 수정하는 단계; 를 포함하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
  2. 제 1항에 있어서,
    상기 오브젝트 영역의 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역의 경계를 수정함에 있어, 기준 오브젝트 영역의 경계 화소에서 4 방향으로 경계 화소와의 색 차이가 소정의 제 1 임계값(Th1) 이상 발생되는 화소가 제일 먼저 나타났을 때, 해당 화소를 에지 화소로 결정하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
  3. 제 1항에 있어서,
    상기 오브젝트 영역의 경계 화소에서 가장 가까운 에지 화소를 찾아 오브젝트 영역의 경계를 수정함에 있어, 상기 경계 화소에서 에지 화소까지의 직선에 속한 화소들을 대상으로, 상기 경계 화소와의 색 차이가 소정의 제 2 임계값(Th2) 이하인 화소를 구하고, 해당 화소가 현재 오브젝트 영역에 속해 있으면 오브젝트 영역에서 제외시키고, 현재 오브젝트 영역에 속해 있지 않으면 오브젝트 영역에 포함시키는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
  4. 제 3항에 있어서,
    상기 제 2 임계값(Th2)은, 상기 에지 화소 여부를 판단하는 제 1 임계값 (Th1)보다 작은 값을 갖는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
  5. 제 1항에 있어서,
    상기 수정된 오브젝트 영역의 경계 화소에서 특정 범위 내에 영역을 확장하고, 주위 영역과 칼라 유사도를 비교하여 오브젝트 영역의 경계를 수정함에 있어, 상기 수정된 오브젝트 영역의 경계 화소 위치에서 특정 범위 안에 속한 화소들을 대상으로 상기 경계 화소와의 색 차이가 소정의 제 3 임계값(Th3) 이하인 화소들을 하나의 그룹으로 지정하여 영역을 확장하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
  6. 제 5항에 있어서,
    상기 특정 범위는 상기 경계 화소를 중심으로 거리 N 화소수만큼의 사각형인 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
  7. 제 1항에 있어서,
    상기 주위 영역과 칼라 유사도를 비교하여 오브젝트 영역의 경계를 수정하는 단계는,
    상기 특정 범위 내의 확장된 영역에 대한 주변 영역을 대상으로 각 주변 영역의 평균 색 값을 구하는 단계와;
    상기 확장된 영역에 대한 평균 색 값을 구하고, 상기 확장된 영역의 평균 색 값과 가장 가까운 평균 색 값을 갖는 주변 영역을 찾는 단계와;
    상기 가장 가까운 평균 색 값을 갖는 주변 영역이 현재 오브젝트 영역이면 상기 확장된 영역을 오브젝트 영역에 포함시키고, 상기 가장 가까운 평균 색 값을 갖는 주변 영역이 현재 배경 영역이면 상기 확장된 영역을 배경 영역으로 수정하는 단계; 를 구비하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
  8. 제 7항에 있어서,
    상기 주변 영역은, 상기 확장된 영역을 구할 때 사용되었던 상기 특정 범위와 같은 크기를 갖는 4 방향 인접한 영역으로 설정되는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
  9. 제 5항에 있어서,
    상기 제 3 임계값(Th3)은, 상기 제 2 임계값(Th2)보다 더 작은 값을 갖는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
KR10-2001-0061833A 2001-10-08 2001-10-08 영상내의 오브젝트 영역 추출방법 KR100474760B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR10-2001-0061833A KR100474760B1 (ko) 2001-10-08 2001-10-08 영상내의 오브젝트 영역 추출방법
EP02021379A EP1321897A3 (en) 2001-10-08 2002-09-24 Method for extracting object region
CNB021440433A CN1223203C (zh) 2001-10-08 2002-09-29 提取对象区域的方法
US10/265,635 US20030067983A1 (en) 2001-10-08 2002-10-08 Method for extracting object region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0061833A KR100474760B1 (ko) 2001-10-08 2001-10-08 영상내의 오브젝트 영역 추출방법

Publications (2)

Publication Number Publication Date
KR20030029353A true KR20030029353A (ko) 2003-04-14
KR100474760B1 KR100474760B1 (ko) 2005-03-08

Family

ID=19714943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0061833A KR100474760B1 (ko) 2001-10-08 2001-10-08 영상내의 오브젝트 영역 추출방법

Country Status (4)

Country Link
US (1) US20030067983A1 (ko)
EP (1) EP1321897A3 (ko)
KR (1) KR100474760B1 (ko)
CN (1) CN1223203C (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100866201B1 (ko) * 2007-02-22 2008-10-30 삼성전자주식회사 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출방법
CN112513677A (zh) * 2018-09-28 2021-03-16 松下知识产权经营株式会社 纵深取得装置、纵深取得方法以及程序

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2839363B1 (fr) * 2002-05-06 2004-07-16 Mbdam Procede pour extraire une zone illuminee d'une matrice de photocapteurs d'un dispositif de detection lumineuse et dispositif de detection lumineuse mettant en oeuvre ce procede
JP2008503828A (ja) * 2004-06-24 2008-02-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブロック型画像処理のための方法及び電子装置
CN100446544C (zh) * 2005-08-26 2008-12-24 电子科技大学 一种视频对象外边界提取方法
JP4696856B2 (ja) * 2005-11-02 2011-06-08 オムロン株式会社 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体
JP4001162B2 (ja) * 2005-11-04 2007-10-31 オムロン株式会社 画像処理方法、画像処理用のプログラムならびにその記憶媒体、および画像処理装置
US7649649B2 (en) * 2005-11-17 2010-01-19 Xerox Corporation Determining the color match between image data and graphics objects
WO2007073616A1 (en) * 2005-12-28 2007-07-05 Intel Corporation A novel user sensitive information adaptive video transcoding framework
JP4701144B2 (ja) * 2006-09-26 2011-06-15 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8548049B2 (en) * 2007-07-02 2013-10-01 Vixs Systems, Inc Pattern detection module, video encoding system and method for use therewith
WO2010001447A1 (ja) * 2008-06-30 2010-01-07 富士通株式会社 認証装置、認証方法および認証プログラム
CN102300086A (zh) * 2010-06-23 2011-12-28 中国科学院微电子研究所 对参考帧边界进行扩展和对运动补偿参考样本位置进行限定的方法
CN108229397B (zh) * 2018-01-04 2020-08-18 华南理工大学 基于Faster R-CNN的图像中文本检测方法
KR102143427B1 (ko) * 2018-10-18 2020-08-11 네오컨버전스 주식회사 인공지능 학습을 위한 객체 지정 방법 및 장치
CN111242966A (zh) * 2020-01-15 2020-06-05 北京大豪科技股份有限公司 图像边界修正方法、装置、电子设备及存储介质
CN112102196A (zh) * 2020-09-16 2020-12-18 广州虎牙科技有限公司 图像美发处理方法、装置、电子设备和可读存储介质
CN114531599B (zh) * 2022-04-25 2022-06-21 中国医学科学院阜外医院深圳医院(深圳市孙逸仙心血管医院) 一种用于医疗图像存储的图像压缩方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149959A (ja) * 1992-11-10 1994-05-31 Toppan Printing Co Ltd 画像切り抜き装置
JPH07334675A (ja) * 1994-06-14 1995-12-22 Toppan Printing Co Ltd 絵柄切り抜き方法および装置
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
JPH10191020A (ja) * 1996-12-20 1998-07-21 Canon Inc 被写体画像切出し方法及び装置
JP3757560B2 (ja) * 1997-07-31 2006-03-22 ソニー株式会社 画像信号の変換装置および変換方法
JP4151134B2 (ja) * 1998-10-30 2008-09-17 ソニー株式会社 伝送装置および方法、受信装置および方法、並びに記録媒体
JP2000339452A (ja) * 1999-05-27 2000-12-08 Canon Inc 画像抽出方法及び装置並びに記憶媒体
JP3243230B2 (ja) * 1999-05-24 2002-01-07 本田技研工業株式会社 カラー画像における対象領域の境界識別方法
JP2001043376A (ja) * 1999-07-30 2001-02-16 Canon Inc 画像抽出方法及び装置並びに記憶媒体
US6670963B2 (en) * 2001-01-17 2003-12-30 Tektronix, Inc. Visual attention model

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100866201B1 (ko) * 2007-02-22 2008-10-30 삼성전자주식회사 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출방법
US8411959B2 (en) 2007-02-22 2013-04-02 Samsung Electronics Co., Ltd. Extraction method of an interest region for multimedia mobile users
CN112513677A (zh) * 2018-09-28 2021-03-16 松下知识产权经营株式会社 纵深取得装置、纵深取得方法以及程序

Also Published As

Publication number Publication date
KR100474760B1 (ko) 2005-03-08
CN1411282A (zh) 2003-04-16
EP1321897A2 (en) 2003-06-25
EP1321897A3 (en) 2005-08-31
CN1223203C (zh) 2005-10-12
US20030067983A1 (en) 2003-04-10

Similar Documents

Publication Publication Date Title
KR100474760B1 (ko) 영상내의 오브젝트 영역 추출방법
US11637971B2 (en) Automatic composition of composite images or videos from frames captured with moving camera
KR100443678B1 (ko) 영상내의 오브젝트 영역 추출방법
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
JP4954206B2 (ja) ビデオオブジェクトのカットアンドペースト
KR100997064B1 (ko) 멀티-모드 관심-영역 비디오 오브젝트 세그먼트화
Menser et al. Segmentation and tracking of facial regions in color image sequences
EP3104331A1 (en) Digital image manipulation
CA2446150A1 (en) Image sequence enhancement system and method
CN105677024A (zh) 一种眼动检测跟踪方法、装置及其用途
Feng et al. Interactive segmentation on rgbd images via cue selection
Li et al. Automatic video segmentation and tracking for content-based applications
Chung et al. Video object extraction via MRF-based contour tracking
Ahlvers et al. Model-free face detection and head tracking with morphological hole mapping
CN102609958A (zh) 视频对象提取的方法及设备
CN108055423A (zh) 一种多镜头视频同步偏移量计算方法
Ben Shitrit et al. Tracking multiple players using a single camera
KR100438303B1 (ko) 객체 추출방법
Cho et al. Improving alpha matte with depth information
CN116894768B (zh) 一种基于人工智能的目标检测优化方法和系统
CN114401365B (zh) 目标人物识别方法、视频切换方法及装置
Neri et al. Video sequence segmentation for object-based coders using higher order statistics
Sheng et al. Fast and automatic facial feature extraction for 3-d model-based video coding
Cotsaces et al. Color-Based Video Shot Boundary Detection
Ma et al. Lip localization on multi-view faces in video

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20091230

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee