KR101272448B1 - 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 - Google Patents

관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
KR101272448B1
KR101272448B1 KR1020110076847A KR20110076847A KR101272448B1 KR 101272448 B1 KR101272448 B1 KR 101272448B1 KR 1020110076847 A KR1020110076847 A KR 1020110076847A KR 20110076847 A KR20110076847 A KR 20110076847A KR 101272448 B1 KR101272448 B1 KR 101272448B1
Authority
KR
South Korea
Prior art keywords
region
interest
vertices
roi
detecting
Prior art date
Application number
KR1020110076847A
Other languages
English (en)
Other versions
KR20130007950A (ko
Inventor
장영균
우운택
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Publication of KR20130007950A publication Critical patent/KR20130007950A/ko
Application granted granted Critical
Publication of KR101272448B1 publication Critical patent/KR101272448B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter

Abstract

조명이 변하거나 사용자가 카메라를 통해서 바라보는 방향이 바뀌었을 때에도 강건한 인식을 하기 위해서는 정확한 관심영역 검출이 중요한 역할을 한다. 그래서, 본 발명에서는 현장에서 곧바로 그림을 인식하기 위해 한번의 선 긋기를 통한 반자동식 관심영역 검출 알고리즘을 제안한다. 제안하는 알고리즘은 두개의 초기 정점 선택 영역 지정을 위해 한번의 선 긋기 상호작용 단계를 거치며, 이후 검출된 정점을 구성하는 적당한 선들을 선택하고 그 선택된 선들의 조합으로 교차하는 점을 예측함으로써 이후에 추가로 검출되어야 하는 정점들에 대해서는 자동으로 검출할 수 있다. 또한, 제안하는 알고리즘은 인식 방법으로 LBP(Local Binary Pattern) 방법을 채택하여 인식 효율을 높인다.

Description

관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 {Apparatus and method for detecting region of interest, and the recording media storing the program performing the said method}
본 발명은 입력 영상에서 관심영역(ROI)을 검출하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 입력 영상에서 오브젝트가 포함된 관심영역을 검출하는 장치 및 방법에 관한 것이다.
최근의 응용 중 하나인 구글 고글(Google Goggles)은 예술 작품인 그림과 책 등과 같은 다양한 종류의 객체를 인식한다. 하지만 이 응용은 무늬가 부족한 그림에 대해서 조명이 변화하는 환경 또는 영상 취득 시점이 많이 기울어진 측면에서의 인식 시도시 인식을 실패하는 경우가 있다. 다양한 예술 작품들이 전시되어 있는 미술관에서는 일반적으로 이와 같은 인식에 어려운 환경을 가지고 있다.
이와 같이 인식이 어려운 미술관 환경에서 그림을 인식하기 위해, 기존 연구자 중 Andreatta는 모바일 박물관 가이드를 위해 외형(appearance) 기반 그림 인식을 제안했다. 제안된 방법은 취득된 그림 영상의 미리 정의된 중심 영역을 사용한다. 이 방법은 환경의 조명 변화에 강건한 인식을 지원하기 위해 그림 영상의 중심 영역을 정의할 수 있는 기술 격자(description grid)를 사용하여 그 격자 영역 내의 영상 그레이 값을 일반화한다. 이 일반화 과정 이후에 이 방법은 과도하게 빛에 노출된 영역(반사광)을 검출하고 그 영역을 노이즈로 판단하고 사용하지 않는다. 하지만, 이 방법은 관심영역(ROI; Region Of Interest) 검출 방법을 제공하지 않고 미리 정의된 중심 영역을 사용자가 맞춰야만 이후의 인식 과정이 동작을 하기 때문에, 사용자가 시점을 변화하여 측면에서 영상을 취득할 경우에는 강건한 인식을 지원하지 못한다.
이와 같은 측면에서 영상 취득시에 발생할 수 있는 문제를 해결하기 위해서, Ruf가 제안한 최근의 모바일 가이드 방법은 Fast SIFT(Scale Invariant Feature Transform)에 기반하고 있다. 이 접근법은 최근의 사용 가능한 객체 인식 및 네트워크 기술을 활용하고 있다. 이 방법은 모바일폰으로 영상을 취득하고 취득된 영상을 서버로 보냄으로써 서버에서 인식을 수행한다. 서버로 전송된 이후의 주요 인식 과정은 특징점 추출 및 매칭이다. 이 특징점 기반의 인식 접근 방법은 일반적으로 정확한 검출 및 인식을 지원한다. 하지만, 이 특징점 기반 접근 방법은 심하게 시점이 변화된 측면에서 취득된 영상에 대한 검출 및 인식을 시도할 경우는 이와 같은 상황에 대한 학습(training) 및 비교 과정을 필요로 하기 때문에 상당한 시간의 검출 및 매칭 처리 시간을 필요로 하는 단점이 있다. 더불어, 이 특징점 기반 인식 방법은 무늬가 부족한 그림에 대해서는 정확한 인식 결과를 제공하지 못하는 단점이 있다.
기존 연구는 조명 변화에 민감하고 측면 인식에 어려움이 있어 정확한 인식을 지원하기 위해 사용자에게 정면에서 인식하고자 하는 영상을 취득하게 하거나 특정 영역에 정확히 맞추는 노력을 요구한다. 그래서, 사용자에게 주의를 보다 많이 기울이게 함으로써 피로감을 유발한다.
"영상들내의 관심있는 영역들을 결정하고 영상 전송을 하기 위한 방법 및 장치" (특허공개번호: 10-2004-0010540).
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 한번의 선긋기 상호작용을 통해 정점들을 검출하고 검출된 정점들에 기반하여 관심영역 지정을 위한 나머지 정점들을 예측 및 예측된 지점에서 재검출하여 목적하는 오브젝트가 포함된 관심영역을 검출하는 관심영역 검출 장치 및 방법을 제안함을 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 입력 영상에서 미리 정해진 임계값에 부합하는 에지(edge)들을 추출하는 에지 추출부; 추출된 에지들에 의한 후보 라인(candidate line)과 미리 정해진 지정 라인(base line)을 이용하여 관심영역(ROI)을 결정하기 위한 정점(vertex)들을 검출하거나 추정하는 정점 처리부; 및 검출되거나 추정된 정점들로 상기 입력 영상에서 오브젝트가 포함된 상기 관심영역을 검출하는 관심영역 검출부를 포함하는 것을 특징으로 하는 관심영역 검출 장치를 제안한다. 후보 라인(candidate line)과 지정 라인(base line)에 대한 보다 자세한 설명은 후술한다.
바람직하게는, 상기 정점 처리부는, 상기 후보 라인과 상기 지정 라인 사이의 교차점이 미리 정해진 기준에 부합하는 것인지를 판별하는 교차점 적격성 판별부; 상기 교차점이 상기 기준에 부합하는 것이면 상기 교차점을 상기 정점으로 검출하는 정점 검출부; 및 두개의 정점이 검출되면 검출된 정점들과 관련된 후보 라인과 지정 라인을 이용하여 상기 관심영역을 결정하기 위한 나머지 정점들을 추정하는 정점 추정부를 포함한다. 더욱 바람직하게는, 상기 교차점 적격성 판별부는, 추출된 에지들을 입력으로 허프 변환을 통해 허프 도메인에서의 파라미터들을 획득하고 허프 변환을 수행하여 상기 후보 라인을 검출하는 후보 라인 검출부; 검출된 후보 라인과 상기 지정 라인 사이의 교차점을 계산하는 교차점 계산부; 계산된 교차점과 미리 정해진 기준점(즉, 사용자가 처음 선긋기 상호작용을 시작할 때에 입력으로 주어진 점) 사이의 거리값을 계산하는 거리값 계산부; 계산된 거리값이 미리 정의된 기준거리값보다 작은지 여부를 판별하는 거리값 판별부; 상기 검출된 후보 라인과 상기 지정 라인 사이의 사이각을 계산하는 사이각 계산부; 계산된 사이각이 미리 정의된 임계 범위 내의 것인지 여부를 판별하는 사이각 판별부; 및 상기 계산된 거리값이 상기 기준거리값보다 작고 상기 계산된 사이각이 상기 임계 범위 이내의 것이면 상기 계산된 교차점을 상기 기준에 부합하는 것으로 판별하는 기준 부합성 판별부를 포함한다. 교차점 계산부는 후보 라인들 중에 임의로 하나의 라인을 지정 라인으로 지정해 놓고 그 지정 라인과 다른 후보 라인들을 차례로 검토하면서 지정 라인은 그대로 두고 후보 라인을 바꿨을 때 변화하는 두 라인들 사이의 각도 및 사용자가 처음 선긋기를 했을 때의 입력 점과의 거리 차를 검토함으로써 가장 적절한 후보 라인을 선택한 이후에 그 선택된 후보 라인과 지정 라인 사이의 교차점을 계산한다. 한편, 거리는 가까울수록 원하는 정점일 가능성이 크지만 사이각의 경우 특정 각도 이내, 즉 기준이 upper bound와 lower bound 사이에 들어오는 것인지 판단할 필요가 있다. 일실시예로 사이각 판별부는 사이각이 기준사이각(예컨대, lower bound)보다 큰 지 여부를 판별할 수 있겠지만, lower bound 이상 upper bound 이하인지 여부를 판별하는 것이 더욱 바람직하다.
바람직하게는, 상기 에지 추출부는, 색의 성질들을 기준으로 상기 입력 영상의 픽셀 형식을 변환하는 픽셀 형식 변환부; 상기 색의 성질들을 기초로 적응적 임계값을 결정하는 임계값 결정부; 및 형식 변환된 상기 입력 영상에서 상기 적응적 임계값(즉, 에지를 찾기 위한 임계값)에 의해 도미넌트 에지(dominant edge)로 추정된 에지들을 추출하는 도미넌트 에지 추출부를 포함한다. 상기에서, 픽셀 형식을 변환하는 이유는 illumination 즉, 조도 변화에 가장 민감하지 않은 요소만을 사용함으로써 조명 변화에도 불구하고 안정적으로 정점을 검출하기 위해서이다.
바람직하게는, 상기 관심영역 검출부는, 상기 입력 영상에 대한 픽셀 강도(intensity)를 고려하여 상기 입력 영상에서 선택된 영역마다 인접 영역들과 비교하여 이진 패턴 정보를 획득하는 패턴 정보 획득부; 및 획득된 이진 패턴 정보를 이용하여 상기 관심영역을 검출하는 패턴 정보 이용 검출부를 포함한다.더욱 바람직하게는, 상기 패턴 정보 이용 검출부는, 원근 투시법을 이용하여 인식하려는 관심영역에 있는 왜곡을 보정하는 왜곡 보정부; 및 왜곡 보정된 관심영역을 상기 오브젝트가 포함된 관심영역으로 검출하는 보정 영역 검출부를 포함한다. 더욱더 바람직하게는, 상기 왜곡 보정부는, 필터링을 통해 얻은 기준 패턴 정보와 해당 영역에 대한 획득 패턴 정보 간 차이를 측정하는 차이 측정부; 및 측정된 차이에 기초한 영상 매칭을 통해 상기 왜곡을 보정하는 영상 매칭부를 포함한다.
또한, 본 발명은 입력 영상에서 미리 정해진 임계값에 부합하는 에지(edge)들을 추출하는 에지 추출 단계; 추출된 에지들에 의한 후보 라인과 미리 정해진 지정 라인을 이용하여 관심영역(ROI)을 결정하기 위한 정점들을 검출하거나 추정하는 정점 처리 단계; 및 검출되거나 추정된 정점들로 상기 입력 영상에서 오브젝트가 포함된 상기 관심영역을 검출하는 관심영역 검출 단계를 포함하는 것을 특징으로 하는 관심영역 검출 방법을 제안한다.
바람직하게는, 상기 정점 처리 단계는, 상기 후보 라인과 상기 지정 라인 사이의 교차점이 미리 정해진 기준에 부합하는 것인지를 판별하는 교차점 적격성 판별 단계; 상기 교차점이 상기 기준에 부합하는 것이면 상기 교차점을 상기 정점으로 검출하는 정점 검출 단계; 및 적어도 두개의 정점이 검출되면 검출된 정점들과 관련된 후보 라인과 지정 라인을 이용하여 상기 관심영역을 결정하기 위한 나머지 정점들을 추정하는 정점 추정 단계를 포함한다. 더욱 바람직하게는, 상기 교차점 적격성 판별 단계는, 추출된 에지들을 입력으로 허프 변환을 통해 허프 도메인에서의 파라미터들을 획득하고 허프 변환을 수행하여 상기 후보 라인을 검출하는 후보 라인 검출 단계; 검출된 후보 라인과 상기 지정 라인 사이의 교차점을 계산하는 교차점 계산 단계; 계산된 교차점과 미리 정해진 기준점 사이의 거리값을 계산하는 거리값 계산 단계; 계산된 거리값이 미리 정의된 기준거리값보다 작은지 여부를 판별하는 거리값 판별 단계; 상기 검출된 후보 라인과 상기 지정 라인 사이의 사이각을 계산하는 사이각 계산 단계; 계산된 사이각이 미리 정의된 임계 범위 이내의 것인지 여부를 판별하는 사이각 판별 단계; 및 상기 계산된 거리값이 상기 기준거리값보다 작고 상기 계산된 사이각이 상기 임계 범위 이내의 것이면 상기 계산된 교차점을 상기 기준에 부합하는 것으로 판별하는 기준 부합성 판별 단계를 포함한다.
바람직하게는, 상기 에지 추출 단계는, 색의 성질들을 기준으로 상기 입력 영상의 픽셀 형식을 변환하는 픽셀 형식 변환 단계; 상기 색의 성질들 중에서 선택된 적어도 하나의 색의 성질을 기초로 적응적 임계값을 결정하는 임계값 결정 단계; 및 형식 변환된 상기 입력 영상에서 상기 적응적 임계값에 의해 도미넌트 에지(dominant edge)로 추정된 에지들을 추출하는 도미넌트 에지 추출 단계를 포함한다.
바람직하게는, 상기 관심영역 검출 단계는, 상기 입력 영상에 대한 픽셀 강도(intensity)를 고려하여 상기 입력 영상에서 선택된 영역마다 인접 영역들과 비교하여 이진 패턴 정보를 획득하는 패턴 정보 획득 단계; 및 획득된 이진 패턴 정보를 이용하여 상기 관심영역을 검출하는 패턴 정보 이용 검출 단계를 포함한다. 더욱 바람직하게는, 상기 패턴 정보 이용 검출 단계는, 원근 투시법을 이용하여 인식하려는 관심영역에 있는 왜곡을 보정하는 왜곡 보정 단계; 및 왜곡 보정된 관심영역을 상기 오브젝트가 포함된 관심영역으로 검출하는 보정 영역 검출 단계를 포함한다. 더욱더 바람직하게는, 상기 왜곡 보정 단계는, 필터링을 통해 얻은 기준 패턴 정보와 해당 영역에 대한 획득 패턴 정보 간 차이를 측정하는 차이 측정 단계; 및 측정된 차이에 기초한 영상 매칭을 통해 상기 왜곡을 보정하는 영상 매칭 단계를 포함한다.
본 발명은 한번의 선긋기 상호작용을 통해 정점들을 검출하고 검출된 정점들에 기반하여 관심영역 지정을 위한 나머지 정점들을 예측 검출하여 목적하는 오브젝트가 포함된 관심영역을 검출함으로써 다음과 같은 효과를 얻을 수 있다. 첫째, 조명 변화가 있거나 측면에서 검출을 시도할 때 기존보다 인식 효율을 더욱 향상시킬 수 있다. 둘째, 한번의 상호작용 뒤 지정되지 않은 정점들을 예측하여 검출함으로써 상호작용을 최소화할 수 있다. 세째, 처리 속도를 향상시킬 수 있고, 에러율을 최소화할 수 있다. 네째, 현장에서 실시간으로 그림을 인식하는 것이 가능해진다.
도 1은 본 발명의 바람직한 실시예에 따른 관심영역 검출 장치를 개략적으로 도시한 블록도이다.
도 2와 도 3은 본 실시예에 따른 관심영역 검출 장치의 내부 구성을 세부적으로 도시한 블록도이다.
도 4는 영상의 정점 검출 방법을 도시한 흐름도이다.
도 5와 도 6은 영상의 정점 검출 방법에 대한 예시도이다.
도 7은 도미넌트 에지 검출 과정을 설명하기 위한 개념도이다.
도 8은 최초 정점 검출 과정을 도시한 개념도이다.
도 9는 지정되지 않은 위치에서의 정점을 검출하는 추정 과정 및 그 검출 결과를 도시한 개념도이다.
도 10은 LBP 코드 추출 과정을 도시한 개념도이다.
도 11은 본 발명에 따른 알고리즘의 결과 예제를 보여주는 도면이다.
도 12는 본 발명의 바람직한 실시예에 따른 관심영역 검출 방법을 도시한 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 관심영역 검출 장치를 개략적으로 도시한 블록도이다. 도 2와 도 3은 본 실시예에 따른 관심영역 검출 장치의 내부 구성을 세부적으로 도시한 블록도이다. 이하 설명은 도 1 내지 도 3을 참조한다.
도 1에 따르면, 관심영역 검출 장치(100)는 에지 추출부(110), 정점 처리부(120), 관심영역 검출부(130), 전원부(140) 및 주제어부(150)를 포함한다.
에지 추출부(110)는 입력 영상에서 미리 정해진 임계값에 부합하는 에지(edge)들을 추출하는 기능을 수행한다. 에지 추출부(110)는 도 3 (a)에 도시된 바와 같이 픽셀 형식 변환부(111), 임계값 결정부(112) 및 도미넌트 에지 추출부(113)를 포함할 수 있다.
픽셀 형식 변환부(111)는 색의 성질들을 기준으로 입력 영상의 픽셀 형식을 변환하는 기능을 수행한다. 픽셀 형식 변환부(111)는 색의 성질들로 H(Hue) 성분(색상 성분), S(Saturation) 성분(채도 성분), V(brightness) 성분(명도 성분) 등을 이용한다. 임계값 결정부(112)는 색의 성질들 중에서 선택된 적어도 하나의 색의 성질을 기초로 적응적 임계값을 결정하는 기능을 수행한다. 임계값 결정부(112)는 적응적 임계값 결정을 위한 색의 성질로 V 성분과 관련된 픽셀 강도(intensity)를 이용한다. 도미넌트 에지 추출부(113)는 형식 변환된 입력 영상에서 적응적 임계값에 의해 도미넌트 에지(dominant edge)로 추정된 에지들을 추출하는 기능을 수행한다.
정점 처리부(120)는 추출된 에지들에 의한 후보 라인과 미리 정해진 지정 라인을 이용하여 관심영역(ROI)을 결정하기 위한 정점들을 검출하거나 추정하는 기능을 수행한다. 정점 처리부(120)는 도 2 (a)에 도시된 바와 같이 교차점 적격성 판별부(121), 정점 검출부(122) 및 정점 추정부(123)를 포함할 수 있다.
교차점 적격성 판별부(121)는 후보 라인과 지정 라인 사이의 교차점이 미리 정해진 기준에 부합하는 것인지를 판별하는 기능을 수행한다. 정점 검출부(122)는 교차점이 기준에 부합하는 것이면 해당 교차점을 정점으로 검출하는 기능을 수행한다. 정점 추정부(123)는 적어도 두개의 정점이 검출되면 검출된 정점들과 관련된 후보 라인과 지정 라인을 이용하여 관심영역을 결정하기 위한 나머지 정점들을 추정하는 기능을 수행한다.
교차점 적격성 판별부(121)는 도 2 (b)에 도시된 바와 같이 후보 라인 검출부(161), 교차점 계산부(162), 거리값 계산부(163), 거리값 판별부(164), 사이각 계산부(165), 사이각 판별부(166) 및 기준 부합성 판별부(167)를 포함할 수 있다. 후보 라인 검출부(161)는 추출된 에지들을 입력으로 허프 변환을 통해 허프 도메인에서의 파라미터들을 획득하고 허프 변환을 수행하여 후보 라인을 검출하는 기능을 수행한다. 교차점 계산부(162)는 검출된 후보 라인과 지정 라인 사이의 교차점을 계산하는 기능을 수행한다. 교차점 계산부는 후보 라인들 중에 임의로 하나의 라인을 지정 라인으로 지정해 놓고 그 지정 라인과 다른 후보 라인들을 차례로 검토하면서 지정 라인은 그대로 두고 후보 라인을 바꿨을 때 변화하는 두 라인들 사이의 각도 및 사용자가 처음 선긋기를 했을 때의 입력 점과의 거리 차를 검토함으로써 가장 적절한 후보 라인을 선택한 이후에 그 선택된 후보 라인과 지정 라인 사이의 교차점을 계산한다. 거리값 계산부(163)는 계산된 교차점과 미리 정해진 기준점 사이의 거리값을 계산하는 기능을 수행한다. 거리값 판별부(164)는 계산된 거리값이 미리 정의된 기준거리값보다 작은지 여부를 판별하는 기능을 수행한다. 사이각 계산부(165)는 검출된 후보 라인과 지정 라인 사이의 사이각을 계산하는 기능을 수행한다. 사이각 판별부(166)는 계산된 사이각이 미리 정의된 임계 범위 내의 것인지 여부를 판별하는 기능을 수행한다. 기준 부합성 판별부(167)는 계산된 거리값이 기준거리값보다 작고 계산된 사이각이 상기 임계 범위 이내의 것이면 계산된 교차점을 기준에 부합하는 것으로 판별하는 기능을 수행한다. 거리는 가까울수록 원하는 정점일 가능성이 크지만 사이각의 경우 특정 각도 이내, 즉 기준이 upper bound와 lower bound 사이에 들어오는 것인지 판단할 필요가 있다. 일실시예로 사이각 판별부(166)는 사이각이 기준사이각(예컨대, lower bound)보다 큰 지 여부를 판별할 수 있겠지만, lower bound 이상 upper bound 이하인지 여부를 판별하는 것이 더욱 바람직하다.
관심영역 검출부(130)는 검출되거나 추정된 정점들로 입력 영상에서 오브젝트가 포함된 관심영역을 검출하는 기능을 수행한다. 관심영역 검출부(130)는 도 3 (b)에 도시된 바와 같이 패턴 정보 획득부(131) 및 패턴 정보 이용 검출부(132)를 포함할 수 있다.
패턴 정보 획득부(131)는 입력 영상에 대한 픽셀 강도(intensity)를 고려하여 입력 영상에서 선택된 영역마다 인접 영역들과 비교하여 이진 패턴 정보를 획득하는 기능을 수행한다. 패턴 정보 이용 검출부(132)는 획득된 이진 패턴 정보를 이용하여 관심영역을 검출하는 기능을 수행한다. 본 실시예에서는 국부 이진 패턴(LBP)을 입력 영상에 적용하므로, 패턴 정보 획득부(131)는 이진 패턴 정보로 LBP 코드를 획득한다. 다만, 국부 영역은 LBP 방법의 마스크 크기에 의존적이며, 국부 영역을 따로 분리하지 않는다. LBP 방법이라는 것 자체가 검출된 영역에서 마스크 크기 내의 인접 영역 픽셀 강도와 비교하는 방법이고, 마스크를 전체 영역으로 시프트(shift)해 가면서 수행한다.
패턴 정보 이용 검출부(132)는 도 3 (c)에 도시된 바와 같이 왜곡 보정부(171)와 보정 영역 검출부(172)를 포함할 수 있다. 왜곡 보정부(171)는 원근 투시법을 이용하여 인식하려는 관심영역에 있는 왜곡을 보정하는 기능을 수행한다. 보정 영역 검출부(172)는 왜곡 보정된 관심영역을 오브젝트가 포함된 관심영역으로 검출하는 기능을 수행한다. 한편, 왜곡 보정부(171)는 도 3 (d)에 도시된 바와 같이 차이 측정부(173)와 영상 매칭부(174)를 포함할 수 있다. 차이 측정부(173)는 필터링을 통해 얻은 기준 패턴 정보와 해당 영역에 대한 획득 패턴 정보 간 차이를 측정하는 기능을 수행한다. 영상 매칭부(174)는 측정된 차이에 기초한 영상 매칭을 통해 왜곡을 보정하는 기능을 수행한다.
이상 설명한 바와 같이, 관심영역 검출 장치(100)는 현장에서 실시간으로 그림을 인식하기 위해 선긋기 상호 작용을 통해 반자동식으로 관심영역을 검출하는 장치를 의미한다.
조명이 변하거나 사용자가 카메라를 통해서 바라보는 방향이 바뀌었을 때에도 강건한 인식을 하기 위해서는 정확한 관심영역 검출이 중요한 역할을 한다. 그래서, 본 발명에서는 현장에서 곧바로 그림을 인식하기 위해 한번의 선 긋기를 통한 반자동식 관심영역 검출 알고리즘을 제안한다. 제안하는 알고리즘은 적응적 임계값 설정을 통한 이진화 방법으로 단순한 무늬의 객체와 복잡한 무늬의 객체 두 경우에 모두 사용할 수 있다. 적응적 임계값을 통해 검출된 주요한 에지(edges)들은 이후 허프 변환 방법을 통한 객체의 정확한 ROI 검출에 주요한 역할을 한다. 또한 제안하는 방법은 사용자에게 검출하고자 하는 ROI의 한쪽 끝부터 다른 한쪽 끝까지 한번의 선 긋기 상호작용만을 요구함으로써 사용하기 쉬운 장점이 있다. 비단 제안하는 알고리즘이 두개의 초기 정점 선택 영역 지정을 위해 한번의 선 긋기 상호작용 단계를 필요로 하지만, 이 알고리즘은 미리 검출된 정점을 구성하는 적당한 선들을 선택하고 그 선택된 선들의 조합으로 교차하는 점을 예측함으로써 이후에 추가로 검출되어야 하는 정점들에 대해서는 자동으로 검출할 수 있다. 이와 같은 방법으로, 제안하는 알고리즘은 사용자가 검출하고자 하는 객체를 측면에서 바라보고 정확하지 않은 입력을 주었음에도 불구하고(4.53 픽셀 에러) 정확하게 객체 영역을 검출한다(1.16 픽셀 에러). 마지막으로, 제안하는 알고리즘은 이후 인식 방법으로 LBP(Local Binary Pattern) 방법을 채택하고 검출된 ROI의 크기를 정규화함으로써 모바일 기기에서도 빠른 처리 속도를 제공한다. 이때 정규화한 코드 사이즈는 높은 인식률(99.51%)을 유지하면서 속도를 줄일 수 있도록 하는 정도의 작은 사이즈를 미리 정의하고 사용한다. 이와 같이 제안하는 알고리즘은 모바일 그림 작품 관람 시스템에 사용될 수 있다.
본 발명에서 제안하는 관심영역 검출 알고리즘에 대하여 설명하기에 앞서, 이 알고리즘과 연관된 영상의 정점 검출 알고리즘에 대해서 먼저 설명한다. 도 4는 영상의 정점 검출 방법을 도시한 흐름도이다. 도 5와 도 6은 영상의 정점 검출 방법에 대한 예시도이다. 도 5는 선긋기 기반 관심영역 검출에 관한 것이고, 도 6은 코드 추출 및 매칭에 관한 것이다. 이하 설명은 도 4 내지 도 6을 참조한다.
알고리즘을 시작하기에 앞서 사용자는 모바일 폰으로부터 검출 및 인식하고자 하는 그림 영상을 취득하고(410) 도 5의 두 초기 탐색 영역(500)을 지정하는 선 긋기 상호작용(510)을 모바일 폰의 터치스크린 위에서 수행한다. 그리고 나면, 알고리즘은 취득한 객체의 히스토그램에 맞는 적응적 임계값을 결정하고 지정된 영역 내에서 결정된 임계값을 이용하여 에지를 검출한다(420). 그 다음, 알고리즘은 이 지정된 두 영역 내에서 허프 변환 방법을 이용하여 두 개의 정점을 검출한다(430). 이 단계에서 알고리즘은 검출된 정점을 구성하는 선분에 대한 매개 변수들을 제공한다. 하나의 정점을 구성하는 두 개의 선분들 중에 한 개를 선택함으로써 알고리즘은 취득된 영상 내부에서 교차하는 다른 정점을 구성하는 선분을 찾을 수 있다(440). 이처럼 알고리즘은 지정되지 않은 정점(520)들에 대해 예측하고 예측된 정점 영역의 내부에서 다시 정확한 정점(530)을 검출한다(450).
검출된 ROI 영상은 원근투시 변환(perspective transformation) 계산을 수행(460)함으로써 취득된 객체 영상의 시점에 상관없이 정면 시점으로 변환되고 크기가 일반화된다(470). 이 일반화 과정은 도 6에 도시된 바와 같이 객체의 실제 크기와 상관없이 한 객체당 동일한 크기의 코드를 추출할 수 있도록 한다(480). 도 6은 LBP 방법을 사용하는 이진 코드 추출과 매칭을 위한 절차에 대한 예를 나타내고 있다. 이후, 추출된 코드를 등록 및 매칭시키며(490), 오브젝트 ID와 함께 정보 가시화를 수행한다(495).
다음으로, 본 관심영역 검출 장치(100)에 의한 강건한 인식(robust recognition)을 위한 관심영역(ROI) 검출 알고리즘에 대해서 설명한다. 그림(painting)마다 다른 질감의 차이 때문에, 본 제안 알고리즘은 엣지(edge)의 세기에 관계없이 우세한 엣지를 추출할 수 있어야 한다. 또한, 본 알고리즘은 사용자의 참여(그림을 바라보는 방향이 변해도 높은 검출율과 인식 정밀도를 유지함)를 요하기 때문에, 알고리즘이 단순해야 하고 상호작용 처리 과정(interaction process)을 줄여야 한다. 이러한 목적으로 본 실시예에서는 적응적으로 추출한 엣지(adaptively extracted edges) 및 정점 추정 과정(vertex estimation process)을 이용한 스트로크 기반(stroke-based) 반자동 ROI 검출 알고리즘을 제안한다.
먼저, 정점 추정을 이용한 스트로크 기반 반자동 ROI 검출에 대해서 설명한다.
매우 거친 질감을 갖는 그림의 노이즈를 감소시키기 위한 일반적인 접근 방법으로서 캡쳐 영상에 대해 가우시안 커널을 적용하여 우세한 엣지를 추출하고 있다. 그러나 이 방법에서는, 약한 엣지(흐릿한 영상 또는 불분명한 영상 경계선)를 추출하지 못한다. 왜냐하면 사전 설정된 임계값만을 사용함으로써 약한 엣지가 제거되기 때문이다. 이러한 문제를 해결하기 위해서 도 7에 도시된 바와 같이 우세한 엣지 검출 과정을 수행한다. 도 7은 도미넌트 에지(dominant edge) 검출 과정을 설명하기 위한 개념도이다. 우선, 픽셀 형식을 RGB에서 HSV로 변환한다(710). 이후 캡처 영상의 픽셀 강도(intensity) 요소에 대해서만 전체 적응형 임계값 설정 방식(global adaptive thresholding method)을 적용한다(720). 임계값 설정을 통하여 간략화된 엣지 검출기를 이용하여 경계선에 대한 우세한 엣지를 추출할 수 있다(730). 왜냐하면 적응형 임계값 설정 방식에 의해서 두 영역이 분리되기 때문이다. 비록 두 영역의 픽셀 강도가 유사하더라도(화상의 엣지가 명확하게 정의되지는 않는다) 이 방식은 적절한 임계값을 자동으로 찾아준다. 따라서 이 방법은 단순한 질감의 그림과 복잡한 질감의 그림 모두에 대해서 적절하게 작동한다.
검출된 우세한 엣지를 입력으로 사용함으로써, 한정된 영역의 파라미터를 검색하는 것만으로 허프 변환(Hough-transform)을 이용하여 우세한 후보 라인을 검출할 수 있다. 이때 하나의 정점을 이루는 두 개의 라인을 선택한다. 두 라인 사이의 각도를, 그리고 최초 지정한 점과 두 라인의 교차점 간의 거리를 측정한다.
Figure 112011059654982-pat00001
수학식 1에서 (ρb,θb)는 기본 라인(base line)를 나타내는 파라미터이고, (ρc,θc)는 비교되는 후보 라인을 나타내는 파라미터이다. 네 개의 파라미터를 갖는 Pt() 함수를 이용하여 교차점 Pd를 계산한다. 그 다음에 검출된 점 Pd와 지정된 점 Ps 사이의 거리 Dd가 Dt와 비교할 때 최소가 되는지를 검사한다. 상대적으로 짧은 거리값이 Dt로서 저장된다. 그 다음에 두 선을 나타내는 파라미터를 갖는 Ang() 함수를 이용하여 계산된 각도가 임계 범위(lower bound Ta1<A<upper bound Ta2) 이내의 값인지를 검사한다. 위 두 조건이 만족된다면, F() 함수는 참이 되는데, 그 의미는 정점이 검출되었다는 것이다. 이상 설명한 바와 같이 이 알고리즘은 사용자가 지정한 영역 내를 검색함으로써 두 개의 최초 정점을 검출한다. 도 8은 최초 정점 검출 과정을 도시한 개념도이다.
반면, 다른 두 정점들은 두 개의 검출된 정점으로 이루어지는 라인들의 ρ 값과 θ 값을 이용하여 추정한다. 이하 설명은 도 9를 참조한다. 도 9는 지정되지 않은 위치에서의 정점을 검출하는 추정 과정 및 그 검출 결과를 도시한 개념도이다. 최초의 두 정점을 검출하기 위하여, 허프 변환을 통해서, 검출된 라인의 파라미터 값들(ρ 및 θ)을 알 수 있다. 이들 정점 중 검출된 하나를 포함하고 있는 이들 두 라인 중에서 하나를 취함으로써, 영상 내부를 통과하는 또다른 라인을 찾을 수 있다(910). 따라서 두 개의 다른 교차점(920)을 추정함으로써, 정점(930)을 검출하기 위한 다른 두 입력으로서 ROI 객체를 검출할 수 있다. 검출된 네 정점을 모두 포함시킴으로써, 화상의 ROI를 정확하게 검출할 수 있다.
다음으로, 국부 이진 패턴(Local Binary Pattern)에 기반한 자체적(in-situ) 그림 인식에 대해서 설명한다.
전체 조명이 변하는 가혹한 환경 하에서 단순한 질감 및 복잡한 질감의 그림 모두를 인식하기 위하여, 특정 그림에 대한 조명 무관 코드를 추출하는 것이 중요하다. 사용자의 만족을 위하여 이러한 알고리즘은 이동 전화에서조차도 빠른 처리 속도를 요한다. 그러나 기존의 특징 기반 인식 방법에서는 이동 전화에서의 처리 시간이 너무 길다. 더욱이, 낮은 질감의 그림의 경우에, 기존의 방법에 의하면 낮은 질감 그림들 사이의 식별 능력이 떨어진다. 왜냐하면 해당 그림에 대한 특징점들을 충분한 갯수로 추출하지 않기 때문이다.
이러한 문제를 극복하기 위하여, 본 발명은 영상 픽셀 강도(image intensity)의 패턴을 국부적 영역 내에서 처리할 수 있게 단순화된 LBP(국부 이진 패턴) 방법을 제안한다. 본래의 LBP 방법은 회전 불변(rotation-invariant) 특징들을 고려한다. 그러나 본 알고리즘에서는 그림에 대한 정확한 ROI를 이미 검출하였기 때문에, 검출된 이 ROI의 다운 샘플링 영상(15×15) 내의 이진 코드를 추출하기만 하면 된다. 이는 LBP 코드 추출의 개념을 단순히 적용하기만 하면 된다. LBP는 중심 픽셀의 그레이값과 중심 주변의 8개의 인접 픽셀을 비교함으로써 결정되는 이진값의 순서화된 집합으로 정의할 수 있다. 도 10은 LBP 코드 추출 과정을 도시한 개념도이다. 도 10에서 A는 중심값을 주변값과 비교하여 이진 코드를 표현하는 과정을 의미한다. 본 실시예에서는 도 10에 도시된 바와 같이 단순화한 LBP 방법을 이용하여 그림을 표현하는 225 바이트(=8×15×15 비트)의 LBP 코드를 추출한다. 비록 사용자가 그림 영상을 비스듬히 취한다 하더라도, 본 알고리즘에 의하면 원근투시 변환을 적용함으로써 영상의 원근투시 왜곡을 보정할 수 있다. 이때 본 알고리즘은 동일한 크기의 그림 코드 및 배타적 OR(XOR) 이진 연산자를 이용하는 단순한 매칭 알고리즘을 제공한다.
이동 전화에 내장된 센서를 이용하는 사용자의 방향과 위치를 알고 있는 것으로 전제할 때, 현재 추출된 코드를 코드 DB에 있는 필터링된 코드군(필터링된 영상의 개수는 50)에 실제적으로 매칭시킬 수 있다. 매칭을 위해서 현재 추출된 코드와 필터링된 코드군 사이의 차이점을 측정하는 해밍 거리(Hamming distance)를 이용한다. 해밍 거리를 계산하는 방법은 수학식 2에 도시된 바와 같다.
Figure 112011059654982-pat00002
0에 가까운 작은 HD(해밍 거리)는 두 코드가 서로 유사하다는 것을 의미한다. HD가 소정의 임계값 Th보다 작을 때 두 코드가 서로 동일한 것으로 판단한다. 실험 결과에 따르면, Th가 0.42인 높은 인식률을 얻을 수 있다.
수학식 2에서 CodeBits는 LBP 코드 비트의 개수를 의미한다. 본 실시예에서는 일례로 1800 비트(=8×15×15 비트)의 LBP 코드를 추출하였다.
Figure 112011059654982-pat00003
는 XOR 연산자를 나타낸다. Num() 함수는 XOR 연산에 의해서 코드 '1'의 개수를 출력한다. 코드 매칭시에 이진 패턴만을 사용하기 때문에, LBP 기반 인식을 이용하는 본 제안 시스템의 처리 속도가 매우 빠르다. 또한, 본 시스템은 낮은 질감의 대상물을, 특히 조명이 변하는 경우에도 인식할 수 있게 된다. 왜냐하면 정확하게 검출된 ROI 내부에서 패턴이 추출되며 이 패턴은 전체 조명에 무관하기 때문이다. 따라서 본 제안 알고리즘은 낮은 질감의 그림 및 높은 질감의 그림 모두를, 갤러리와 같은 가혹한 환경에서 비스듬히 캡쳐된 영상이라 하더라도 인식할 수 있다.
다음으로, 본 발명에 따라 구현된 시스템과 그 실험 결과에 대해서 설명한다.
본 발명에서 제안된 알고리즘을 기초로 선긋기 기반 ROI 검출과 LBP 기반 그림 인식 알고리즘을 사용하는 모바일 그림인식 시스템 프로토타입을 개발하였다. 모바일 폰에 탑재된 카메라로부터 영상을 획득하기 위해 DirectShow를 사용하였고 기본적인 영상 처리 알고리즘을 구현하기 위해서 OpenCV 라이브러리를 사용하였다. 윈도우즈 모바일 6.3 플랫폼을 탑재하고 있는 모바일 폰에서 제안하는 알고리즘을 구현하였다. 이 모바일폰은 1GHz Armv7 프로세서를 탑재하고 있으며 4.1인치 터치 스크린 디스플레이를 탑재하고 있다.
도 11에 도시된 바와 같이 ROI 검출 알고리즘을 구현하였다. 도 11은 본 발명에 따른 알고리즘의 결과 예제를 보여주는 도면이다. 도 11에서 (a)는 초기 입력으로써의 사용자의 선긋기 상호작용을 도시한 것이고, (b)는 ROI 검출을 도시한 것이다. 도면부호 1110은 초기 지정된 점과 추정된 점들로 구성된 ROI이고, 도면부호 1120은 검출된 정점들로 구성된 ROI이다. (c)는 검출 및 인식이 어려운 환경에서도 정확한 검출 및 인식결과를 보여주는 것이다. 검출 및 인식이 어려운 환경에는 예컨대 영상 취득 거리가 먼 경우, 영상을 취득 방향 및 조명 환경이 변화한 경우 등이 있다.
도 11 (a)에서와 같이 탐색 영역을 지정해주기 위해서는 한 번의 선 긋기 상호작용 절차가 필요하다. 도 11 (b)에서 도면부호 1110은 초기에 지정된 곳과 그로부터 추출된 점들로부터 검출된 ROI를 나타내고 있다. 그리고 도면부호 1120은 제안하는 알고리즘을 통해 검출된 ROI 결과이다. 이처럼 ROI가 검출되고 나면 이 검출된 ROI 영역은 도 11 (b)에 도시된 것처럼 크기가 정규화된다. 그리고나서 알고리즘은 정규화된 ROI 영역에서 이진 코드를 추출하고 매칭한다. 매칭시 인식된 그림을 나타내는 ID와 작가의 이름은 화면의 왼쪽과 오른쪽에 표시하였다.
도 11 (b)에서 도시된 바와 같이 알고리즘은 정확하지 않은 입력에도 불구하고 정확한 ROI를 검출한다. 더욱이 알고리즘은 영상 취득 거리 변화, 취득 영상의 시점 변화 그리고 조명의 변화와 같은 인식에 어려움이 야기되는 환경에서도 강건한 인식 성능을 보인다. 도 11 (c)는 인식하고자 하는 그림이 멀리 있을 때(1130), 영상을 측면해서 취득했을 때(1140) 그리고 어두운 조명 환경(1150)에서도 정확히 검출하고 인식한 결과를 보이고 있다. 이와 같이 본 발명에 따른 알고리즘은 모바일 미술관 관람 시스템을 위해 사용될 수 있음을 확인하였다.
이상 설명한 바와 같이 취득된 미술관 그림 영상 DB를 이용함으로써 본 발명에 따른 알고리즘의 성능을 평가하였다. DB는 모바일폰을 사용하여 취득된 250개의 이미지들로 구성되어 있다. 이 250개의 이미지는 자연스러운 조명 변화 환경에서 취득된 50개의 그림에 대해 각 그림 하나당 5개의 다른 시점에서 취득된 영상으로 구성되어 있다. 각각의 이미지는 24비트 컬러값과 320×240 픽셀 크기를 갖는다. 이 이미지 DB 세트는 실험을 위해 구성되었으며 실제로는 인식시 사용될 DB로는 추출된 LBP 이진 코드를 저장하고 사용하였다.
첫째로, 알고리즘의 처리 시간을 측정하였다. 결과에서 보이는 바와 같이 알고리즘은 실험 환경에서 동작하는데 38.97ms를 필요로 했다. 특히, ROI 검출 과정에서는 37.81ms를 소요함으로써 가장 많은 처리 시간을 필요로 하였다. 반면, 코드 추출 및 매칭 과정을 포함하는 인식에 필요한 시간은 1.16ms를 소요하였다. 결과는 표 1에서 보이는 바와 같다. 표 1은 본 발명에 따른 알고리즘의 처리 시간을 보여주는 것이다. 이 처리 속도에 대해서는 소스 코드의 최적화 과정 없이 측정되었는데, 최적화를 하지 않았음에도 불구하고 이 속도는 모바일 폰에서 실시간으로 결과를 얻기에 충분히 빠름을 알 수 있다. 최적화 과정을 통해서 ROI 검출 과정에 필요한 수행 시간을 보다 빠르게 만들 수 있다고 기대된다.
알고리즘 처리 시간(ms)
최고 최소 평균
ROI 검출 27.15 45.83 37.81
LBP 코드 인식 0.83 1.37 1.16
전체 처리 시간 27.98 47.20 38.97
두번째 실험으로 표 2에서 보이는 바와 같이 그림 ROI 영역을 구성하기 위한 코너 점들의 검출 정확도를 측정하였다. 이 정확도는 알고리즘을 사용하여 검출된 점들 위치와 알고리즘의 사용 없이 사용자가 직접 손으로 선택한 점들 위치 사이에 RMS(Root Mean Square) 픽셀 에러를 기반으로 측정되었다. 표 2에서 볼 수 있듯이 평균 RMS 픽셀 에러는 사용자가 부정확한 입력(4.53 에러 픽셀)을 주더라도 제안하는 알고리즘을 이용하는 경우 ROI를 구성하는 정점 검출을 정확히(1.16 에러 픽셀) 할 수 있다는 것을 보이고 있다. 표 2는 그림 ROI의 코너 점에 대한 검출 정확도를 보여주는 것이다.
검출 방법 RMS 픽셀 에러
최소 최대 평균 표준편차
직접 검출 1.00 7.07 4.53 1.68
제안 알고리즘 0.00 3.53 1.16 0.78
마지막으로 인식 정확도를 측정하였다. 이를 위해 주어진 실험군에 가장 정확한 인식률을 보이도록 실험적으로 선택된 임계값을 이용하여 얻을 수 있는 최소의 에러율을 나타내는 EER(Equal Error Rate)를 측정하였다. 실험 결과 본 발명에 따른 알고리즘은 정확한 인식률(EER: 0.48%)을 지원하는 것을 확인할 수 있었다. 이에 반해 본 알고리즘 없이 검출한 뒤에 같은 방법으로 인식을 수행한 경우에는 EER이 3.02%로 제안하는 알고리즘을 이용했을 때보다 상대적으로 낮은 인식 정확도를 보이는 것을 확인할 수 있었다. 이로부터 본 알고리즘을 이용할 경우 사용자의 부정확한 인식이 주어졌을 경우와 영상 취득 거리 및 방향 그리고 조명 환경이 변화하는 환경에서도 강건한 그림 인식을 지원한다는 것을 확인할 수 있다.
본 발명에서는 현장에서 평면 객체를 인식하기 위한 한 번의 선 긋기 상호작용을 기반으로 하는 관심영역 검출 알고리즘을 제안하였다. 이는 비단 평면 객체 검출 및 인식 이외에도 이후 따른 평면 객체 추적에 강건한 초기 정보를 제공할 수 있으며, 현장에서 등록되지 않은 객체의 코드를 등록하기 위한 과정으로써 저작 측면에서도 정확한 검출의 역할을 지원할 수 있다.
다음으로, 관심영역 검출 장치(100)에 의한 관심영역 검출 방법에 대해서 설명한다. 도 12는 본 발명의 바람직한 실시예에 따른 관심영역 검출 방법을 도시한 흐름도이다. 이하 설명은 도 12를 참조한다.
먼저, 입력 영상에서 미리 정해진 임계값에 부합하는 에지(edge)들을 추출한다(에지 추출 단계, S10). 에지 추출 단계(S10)는 색의 성질들을 기준으로 입력 영상의 픽셀 형식을 변환하는 픽셀 형식 변환 단계, 색의 성질들 중에서 선택된 적어도 하나의 색의 성질을 기초로 적응적 임계값을 결정하는 임계값 결정 단계, 및 형식 변환된 입력 영상에서 적응적 임계값에 의해 도미넌트 에지(dominant edge)로 추정된 에지들을 추출하는 도미넌트 에지 추출 단계로 구성될 수 있다.
에지 추출 단계(S10) 이후, 추출된 에지들에 의한 후보 라인과 미리 정해진 지정 라인을 이용하여 관심영역(ROI)을 결정하기 위한 정점들을 검출하거나 추정한다(정점 처리 단계, S20). 정점 처리 단계(S20)는 후보 라인과 지정 라인 사이의 교차점이 미리 정해진 기준에 부합하는 것인지를 판별하는 교차점 적격성 판별 단계, 교차점이 기준에 부합하는 것이면 교차점을 정점으로 검출하는 정점 검출 단계, 및 적어도 두개의 정점이 검출되면 검출된 정점들과 관련된 후보 라인과 지정 라인을 이용하여 관심영역을 결정하기 위한 나머지 정점들을 추정하는 정점 추정 단계로 구성될 수 있다. 교차점 적격성 판별 단계는 추출된 에지들을 입력으로 허프 변환을 통해 허프 도메인에서의 파라미터들을 획득하고 허프 변환을 수행하여 상기 후보 라인을 검출하는 후보 라인 검출 단계, 검출된 후보 라인과 지정 라인 사이의 교차점을 계산하는 교차점 계산 단계, 계산된 교차점과 미리 정해진 기준점 사이의 거리값을 계산하는 거리값 계산 단계, 계산된 거리값이 미리 정의된 기준거리값보다 작은지 여부를 판별하는 거리값 판별 단계, 검출된 후보 라인과 지정 라인 사이의 사이각을 계산하는 사이각 계산 단계, 계산된 사이각이 미리 정의된 임계 범위 내의 것인지 여부를 판별하는 사이각 판별 단계, 및 계산된 거리값이 기준거리값보다 작고 계산된 사이각이 임계 범위 이내의 것이면 계산된 교차점을 기준에 부합하는 것으로 판별하는 기준 부합성 판별 단계로 구성될 수 있다.
정점 처리 단계(S20) 이후, 검출되거나 추정된 정점들로 입력 영상에서 오브젝트가 포함된 관심영역을 검출한다(관심영역 검출 단계, S30). 관심영역 검출 단계(S30)는 입력 영상에 대한 픽셀 강도(intensity)를 고려하여 입력 영상에서 선택된 영역마다 인접 영역들과 비교하여 이진 패턴 정보를 획득하는 패턴 정보 획득 단계, 및 획득된 이진 패턴 정보를 이용하여 관심영역을 검출하는 패턴 정보 이용 검출 단계로 구성될 수 있다. 패턴 정보 이용 검출 단계는 원근 투시법을 이용하여 인식하려는 관심영역에 있는 왜곡을 보정하는 왜곡 보정 단계, 및 왜곡 보정된 관심영역을 오브젝트가 포함된 관심영역으로 검출하는 보정 영역 검출 단계로 구성될 수 있다. 왜곡 보정 단계는 필터링을 통해 얻은 기준 패턴 정보와 해당 영역에 대한 획득 패턴 정보 간 차이를 측정하는 차이 측정 단계, 및 측정된 차이에 기초한 영상 매칭을 통해 왜곡을 보정하는 영상 매칭 단계로 구성될 수 있다.
본 발명은 한번의 상호작용으로 지정되지 않은 다른 곳의 정점 위치를 예측 및 검출할 수 있고 이를 통해서 최소한의 상호작용을 통한 정확한 객체 관심 영역을 검출할 수 있다. 정확한 관심 영역 검출은 이를 패턴화 하는 과정에서 정확한 영역 정보를 제공함으로 이를 통해 추후 수행되는 인식 기술에서 보다 향상된 인식률을 지원할 수 있다. 이는 인식 기술이 특징점 기반이든지 아니든지에 관계없이 공통적으로 취할 수 있는 이득이다. 본 발명은 이외에도 처리 속도 향상, 에러율 최소화, 사용자의 피로감 최소화 등의 효과를 얻을 수 있다.
앞서 언급된 조명 변화, 시점 변화 등의 인식이 어려운 환경에서도 현장에서 무늬가 많고 적음에 상관 없이 그림에 대한 강건한 인식을 지원하기 위해서, 선 긋기 기반 반자동식 ROI 검출 알고리즘을 제안하였다. 제안된 알고리즘은 그림의 한쪽 코너에서부터 대각선 방향의 다른 코너 지점까지 선을 긋는 상호작용인 드래깅(dragging)을 함으로써 그림 ROI를 찾기 위한 초기 탐색 영역을 지정하는데 이 과정에서 사용자의 최소한의 참여를 필요로 한다. 그리고 나면, 알고리즘은 적응적(adatively)으로 임계값(threshold)을 찾고 그 임계값을 활용함으로써 주요한 에지들을 검출한다. 이때 알고리즘은 앞서 말한 바와 같이 적응적으로 임계값을 설정하기 때문에, 무늬가 복잡하거나 혹은 부족한 그림의 경우에도 모두 적절히 주요한 에지들만을 검출할 수 있다. 그리고 이 주요한 에지들은 허프 변환(Hough-transform) 방법에 노이즈가 적절히 제거된 입력으로 사용됨으로써 주요한 후보 선들만을 검출할 수 있도록 도와준다. 다음으로 알고리즘은 두 정점 탐색 영역을 지정하기 위해 초기에 사용자에게 그림의 한쪽 코너 지점부터 대각선 방향의 다른쪽 코너 지점까지 선긋기 상호작용을 요구하기는 하지만 미리 검출된 정점들을 구성하는 적절한 선분을 선택하는 과정을 통해 처음 설정한 범위 이외의 지정되지 않은 영역에서의 정점 위치를 예측하고 검출한다. 간단한 상호작용을 필요로 하는 반자동식 알고리즘을 이용함으로써 심하게 측면에서 취득한 영상과 사용자가 부정확한 입력을 하였을 때에도 정확한 그림 관심영역 검출을 한다. 더욱이, 이 알고리즘은 인식을 위한 일반화된 코드 형식을 갖추기 위해 미리 정의해 놓은 크기로 검출된 ROI 영상의 크기를 일반화한다. 따라서, 제안된 알고리즘은 취득된 영상 안의 그림 객체의 다양한 크기에 영향을 받지 않고 강건한 인식을 제공한다. 또한 LBP(Local Binary Pattern) 방법을 채용함으로써 전체적인 영상의 밝기 변화에 주는 조명 변화에 강건한 인식을 지원, 이진 코드 추출 및 매칭을 통한 빠른 처리 속도, 이진 코드를 통한 DB 생성을 통한 최소한의 저장공간 필요와 같은 여러 장점을 가진다. 제안된 알고리즘의 실험 결과로 시점과 조명이 변화하는 어려운 환경에서도 정확한 검출(1.16 픽셀 에러)을 통해 높은 인식률(99.51%)을 지원한다는 것을 확인할 수 있다.
본 발명에 따른 알고리즘을 이용함으로써 센싱 정밀도가 낮은 터치스크린 모바일 폰을 이용하여 현장에서 정확한 객체 관심 영역 검출 및 인식이 가능하다.
한편, 전술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장 매체(예를 들면, ROM, 플로피 디스크, 하드 디스크, 자기 테이프 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD, 광데이터 저장 장치 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 관심영역 검출 장치 110 : 에지 추출부
111 : 픽셀 형식 변환부 112 : 임계값 결정부
113 : 도미넌트 에지 추출부 120 : 정점 처리부
121 : 교차점 적격성 판별부 122 : 정점 추출부
123 : 정점 추정부 130 : 관심영역 검출부
131 : 패턴 정보 획득부 132 : 패턴 정보 이용 검출부
161 : 후보 라인 검출부 162 : 교차점 계산부
163 : 거리값 계산부 164 : 거리값 판별부
165 : 사이각 계산부 166 : 사이각 판별부
167 : 기준 부합성 판별부 171 : 왜곡 보정부
172 : 보정 영역 검출부 173 : 차이 측정부
174 : 영상 매칭부

Claims (15)

  1. 입력 영상에서 미리 정해진 임계값을 이용하여 에지(edge)들을 추출하는 에지 추출부;
    추출된 에지들에 의한 후보 라인과 미리 정해진 지정 라인, 및 사용자의 선긋기 입력을 통해 미리 정해진 기준점을 이용하여 관심영역(ROI)을 결정하기 위한 적어도 두 개의 정점들을 검출하고, 상기 검출된 적어도 두 개의 정점들을 이용하여 나머지 정점들을 추정하는 정점 처리부; 및
    상기 검출된 적어도 두 개의 정점들 및 상기 추정된 나머지 정점들을 이용하여 상기 입력 영상에서 오브젝트가 포함된 상기 관심영역을 검출하는 관심영역 검출부
    를 포함하는 것을 특징으로 하는 관심영역 검출 장치.
  2. 제 1 항에 있어서,
    상기 정점 처리부는,
    상기 후보 라인과 상기 지정 라인 사이의 교차점이 미리 정해진 기준에 부합하는 것인지를 판별하는 교차점 적격성 판별부;
    상기 교차점이 상기 기준에 부합하는 것이면 상기 교차점을 상기 정점으로 검출하는 정점 검출부; 및
    적어도 두개의 정점이 검출되면 검출된 정점들과 관련된 후보 라인과 지정 라인을 이용하여 상기 관심영역을 결정하기 위한 나머지 정점들을 추정하는 정점 추정부
    를 포함하는 것을 특징으로 하는 관심영역 검출 장치.
  3. 제 2 항에 있어서,
    상기 교차점 적격성 판별부는,
    추출된 에지들을 입력으로 허프 변환을 통해 허프 도메인에서의 파라미터들을 획득하고 허프 변환을 수행하여 상기 후보 라인을 검출하는 후보 라인 검출부;
    검출된 후보 라인과 상기 지정 라인 사이의 교차점을 계산하는 교차점 계산부;
    계산된 교차점과 상기 미리 정해진 기준점 사이의 거리값을 계산하는 거리값 계산부;
    계산된 거리값이 미리 정의된 기준거리값보다 작은지 여부를 판별하는 거리값 판별부;
    상기 검출된 후보 라인과 상기 지정 라인 사이의 사이각을 계산하는 사이각 계산부;
    계산된 사이각이 미리 정의된 임계 범위 내의 것인지 여부를 판별하는 사이각 판별부; 및
    상기 계산된 거리값이 상기 기준거리값보다 작고 상기 계산된 사이각이 상기 임계 범위 이내의 것이면 상기 계산된 교차점을 상기 기준에 부합하는 것으로 판별하는 기준 부합성 판별부
    를 포함하는 것을 특징으로 하는 관심영역 검출 장치.
  4. 제 1 항에 있어서,
    상기 에지 추출부는,
    상기 입력 영상의 픽셀 형식을 RGB 형식에서 HSV 형식으로 변환하는 픽셀 형식 변환부, 상기 HSV 형식은 픽셀의 색상 성분, 채도 성분 및 명도 성분을 포함함;
    상기 성분들 중에서 선택된 적어도 하나의 성분을 기초로 상기 임계값을 결정하는 임계값 결정부; 및
    형식 변환된 상기 입력 영상에서 상기 임계값에 의해 도미넌트 에지(dominant edge)로 추정된 에지들을 추출하는 도미넌트 에지 추출부
    를 포함하는 것을 특징으로 하는 관심영역 검출 장치.
  5. 제 1 항에 있어서,
    상기 관심영역 검출부는,
    상기 입력 영상의 픽셀값들을 이용하여, 상기 입력 영상에서 선택된 영역마다 인접 영역들과 비교하여 이진 패턴 정보를 획득하는 패턴 정보 획득부; 및
    획득된 이진 패턴 정보를 이용하여 상기 관심영역을 검출하는 패턴 정보 이용 검출부
    를 포함하는 것을 특징으로 하는 관심영역 검출 장치.
  6. 제 5 항에 있어서,
    상기 패턴 정보 이용 검출부는,
    원근 투시법을 이용하여 인식하려는 관심영역에 있는 왜곡을 보정하는 왜곡 보정부; 및
    왜곡 보정된 관심영역을 상기 오브젝트가 포함된 관심영역으로 검출하는 보정 영역 검출부
    를 포함하는 것을 특징으로 하는 관심영역 검출 장치.
  7. 삭제
  8. 입력 영상에서 미리 정해진 임계값을 이용하여 에지(edge)들을 추출하는 에지 추출 단계;
    추출된 에지들에 의한 후보 라인과, 미리 정해진 지정 라인, 및 사용자의 선긋기 입력을 통해 미리 정해진 기준점을 이용하여 관심영역(ROI)을 결정하기 위한 적어도 두 개의 정점들을 검출하고, 상기 검출된 적어도 두 개의 정점들을 이용하여 나머지 정점들을 추정하는 정점 처리 단계; 및
    상기 검출된 적어도 두 개의 정점들 및 상기 추정된 나머지 정점들을 이용하여 상기 입력 영상에서 오브젝트가 포함된 상기 관심영역을 검출하는 관심영역 검출 단계
    를 포함하는 것을 특징으로 하는 관심영역 검출 방법.
  9. 제 8 항에 있어서,
    상기 정점 처리 단계는,
    상기 후보 라인과 상기 지정 라인 사이의 교차점이 미리 정해진 기준에 부합하는 것인지를 판별하는 교차점 적격성 판별 단계;
    상기 교차점이 상기 기준에 부합하는 것이면 상기 교차점을 상기 정점으로 검출하는 정점 검출 단계; 및
    적어도 두개의 정점이 검출되면 검출된 정점들과 관련된 후보 라인과 지정 라인을 이용하여 상기 관심영역을 결정하기 위한 나머지 정점들을 추정하는 정점 추정 단계
    를 포함하는 것을 특징으로 하는 관심영역 검출 방법.
  10. 제 9 항에 있어서,
    상기 교차점 적격성 판별 단계는,
    추출된 에지들을 입력으로 허프 변환을 통해 허프 도메인에서의 파라미터들을 획득하고 허프 변환을 수행하여 상기 후보 라인을 검출하는 후보 라인 검출 단계;
    검출된 후보 라인과 상기 지정 라인 사이의 교차점을 계산하는 교차점 계산 단계;
    계산된 교차점과 상기 미리 정해진 기준점 사이의 거리값을 계산하는 거리값 계산 단계;
    계산된 거리값이 미리 정의된 기준거리값보다 작은지 여부를 판별하는 거리값 판별 단계;
    상기 검출된 후보 라인과 상기 지정 라인 사이의 사이각을 계산하는 사이각 계산 단계;
    계산된 사이각이 미리 정의된 임계 범위 이내의 것인지 여부를 판별하는 사이각 판별 단계; 및
    상기 계산된 거리값이 상기 기준거리값보다 작고 상기 계산된 사이각이 상기 임계 범위 이내의 것이면 상기 계산된 교차점을 상기 기준에 부합하는 것으로 판별하는 기준 부합성 판별 단계
    를 포함하는 것을 특징으로 하는 관심영역 검출 방법.
  11. 제 8 항에 있어서,
    상기 에지 추출 단계는,
    상기 입력 영상의 픽셀 형식을 RGB 형식에서 HSV 형식으로 변환하는 픽셀 형식 변환 단계, 상기 HSV 형식은 픽셀의 색상 성분, 채도 성분 및 명도 성분을 포함함;
    상기 성분들 중에서 선택된 적어도 하나의 성분을 기초로 상기 임계값을 결정하는 임계값 결정 단계; 및
    형식 변환된 상기 입력 영상에서 상기 임계값에 의해 도미넌트 에지(dominant edge)로 추정된 에지들을 추출하는 도미넌트 에지 추출 단계
    를 포함하는 것을 특징으로 하는 관심영역 검출 방법.
  12. 제 8 항에 있어서,
    상기 관심영역 검출 단계는,
    상기 입력 영상의 픽셀값들을 이용하여, 상기 입력 영상에서 선택된 영역마다 인접 영역들과 비교하여 이진 패턴 정보를 획득하는 패턴 정보 획득 단계; 및
    획득된 이진 패턴 정보를 이용하여 상기 관심영역을 검출하는 패턴 정보 이용 검출 단계
    를 포함하는 것을 특징으로 하는 관심영역 검출 방법.
  13. 제 12 항에 있어서,
    상기 패턴 정보 이용 검출 단계는,
    원근 투시법을 이용하여 인식하려는 관심영역에 있는 왜곡을 보정하는 왜곡 보정 단계; 및
    왜곡 보정된 관심영역을 상기 오브젝트가 포함된 관심영역으로 검출하는 보정 영역 검출 단계
    를 포함하는 것을 특징으로 하는 관심영역 검출 방법.
  14. 삭제
  15. 컴퓨터로 판독 가능한 기록매체로서, 제 8 항 내지 제 13 항 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록된 기록매체.
KR1020110076847A 2011-07-11 2011-08-02 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 KR101272448B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110068463 2011-07-11
KR1020110068463 2011-07-11

Publications (2)

Publication Number Publication Date
KR20130007950A KR20130007950A (ko) 2013-01-21
KR101272448B1 true KR101272448B1 (ko) 2013-06-07

Family

ID=47838229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110076847A KR101272448B1 (ko) 2011-07-11 2011-08-02 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Country Status (1)

Country Link
KR (1) KR101272448B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117472A1 (ko) * 2017-12-12 2019-06-20 브이피코리아 주식회사 아날로그 계기판의 측정값 인식 시스템 및 방법
KR20210081894A (ko) * 2019-12-24 2021-07-02 아주대학교산학협력단 오브젝트 검출 시스템 및 그 동작 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9924131B1 (en) * 2016-09-21 2018-03-20 Samsung Display Co., Ltd. System and method for automatic video scaling
CN111709912A (zh) * 2020-05-18 2020-09-25 北京配天技术有限公司 一种圆弧边缘检测方法、装置及存储介质
CN111861999A (zh) * 2020-06-24 2020-10-30 北京百度网讯科技有限公司 动静脉交叉压迫征的检测方法、装置、电子设备及可读存储介质
CN112132163B (zh) * 2020-09-21 2024-04-02 杭州睿琪软件有限公司 识别对象边缘的方法、系统及计算机可读存储介质
CN112419298B (zh) * 2020-12-04 2024-01-19 中冶建筑研究总院（深圳）有限公司 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN112767359B (zh) * 2021-01-21 2023-10-24 中南大学 复杂背景下的钢板角点检测方法及系统
CN116758528B (zh) * 2023-08-18 2023-11-03 山东罗斯夫新材料科技有限公司 基于人工智能的丙烯酸乳液颜色变化识别方法
CN117474902B (zh) * 2023-12-25 2024-03-12 山东明佳科技有限公司 一种桶面料包的缺包检测方法、系统、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090106852A (ko) * 2008-04-07 2009-10-12 성균관대학교산학협력단 직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법및 그 장치
KR101032446B1 (ko) * 2009-11-26 2011-05-03 광주과학기술원 영상의 정점 검출 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090106852A (ko) * 2008-04-07 2009-10-12 성균관대학교산학협력단 직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법및 그 장치
KR101032446B1 (ko) * 2009-11-26 2011-05-03 광주과학기술원 영상의 정점 검출 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117472A1 (ko) * 2017-12-12 2019-06-20 브이피코리아 주식회사 아날로그 계기판의 측정값 인식 시스템 및 방법
KR20210081894A (ko) * 2019-12-24 2021-07-02 아주대학교산학협력단 오브젝트 검출 시스템 및 그 동작 방법
KR102315386B1 (ko) 2019-12-24 2021-10-20 아주대학교 산학협력단 오브젝트 검출 시스템 및 그 동작 방법

Also Published As

Publication number Publication date
KR20130007950A (ko) 2013-01-21

Similar Documents

Publication Publication Date Title
KR101272448B1 (ko) 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101469398B1 (ko) 텍스트 기반 3ｄ 증강 현실
KR101283262B1 (ko) 영상 처리 방법 및 장치
KR100519782B1 (ko) 스테레오 카메라를 이용한 사람 검출 방법 및 장치
KR101333871B1 (ko) 멀티-카메라 교정을 위한 방법 및 장치
US7110604B2 (en) Processing of digital images
US10586321B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
US8811751B1 (en) Method and system for correcting projective distortions with elimination steps on multiple levels
KR101809543B1 (ko) 비접촉식 지문 인식하는 방법 및 이를 수행하기 위한 전자 기기
US8897600B1 (en) Method and system for determining vanishing point candidates for projective correction
JP2016166853A (ja) 位置推定装置および位置推定方法
KR101997048B1 (ko) 물류 관리를 위한 원거리 다수의 코드 인식 방법 및 이를 이용한 코드 인식 장치
US8913836B1 (en) Method and system for correcting projective distortions using eigenpoints
JP2019109624A (ja) 情報処理装置、プログラム及び情報処理方法
JPWO2014084181A1 (ja) 画像計測装置
US11216905B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
CN116503388B (zh) 缺陷检测方法、装置及存储介质
WO2015092059A1 (en) Method and system for correcting projective distortions.
JP7448035B2 (ja) 情報処理装置、３次元位置推定方法、及びプログラム
JP6403207B2 (ja) 情報端末装置
US10140509B2 (en) Information processing for detection and distance calculation of a specific object in captured images
CN105930813B (zh) 一种在任意自然场景下检测行文本的方法
Wang et al. Skin Color Weighted Disparity Competition for Hand Segmentation from Stereo Camera.
US11205064B1 (en) Measuring quality of depth images in real time
KR101274741B1 (ko) 객체 영역의 유효성 판단 방법 및 장치, 객체 추출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee