KR101940402B1 - 영상의 경계 검출 방법 및 장치 - Google Patents

영상의 경계 검출 방법 및 장치 Download PDF

Info

Publication number
KR101940402B1
KR101940402B1 KR1020170076041A KR20170076041A KR101940402B1 KR 101940402 B1 KR101940402 B1 KR 101940402B1 KR 1020170076041 A KR1020170076041 A KR 1020170076041A KR 20170076041 A KR20170076041 A KR 20170076041A KR 101940402 B1 KR101940402 B1 KR 101940402B1
Authority
KR
South Korea
Prior art keywords
pixel
boundary
virtual window
image
statistical characteristic
Prior art date
Application number
KR1020170076041A
Other languages
English (en)
Other versions
KR20180136810A (ko
Inventor
이철희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170076041A priority Critical patent/KR101940402B1/ko
Publication of KR20180136810A publication Critical patent/KR20180136810A/ko
Application granted granted Critical
Publication of KR101940402B1 publication Critical patent/KR101940402B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G06K9/4604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

영상의 경계 검출 방법 및 장치가 제공된다. 본 발명의 일 실시예에 따른 영상의 경계를 검출하는 장치는 상기 영상의 각 화소별로, 미리 정해진 서로 다른 형태의 경계선을 가지는 일정 면적의 가상 윈도(window)를 적용 - 상기 경계선은 상기 가상 윈도의 중심 화소를 지나며, 상기 영상의 해당 화소가 상기 중심 화소에 위치하도록 함 - 하는 화소별 가상 윈도 적용부, 상기 적용된 각 가상 윈도별로 해당 경계선에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 계산하는 통계적 특성 계산부 및 상기 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계선을 상기 각 화소에서의 경계로 검출하는 경계 검출부를 포함하는 것을 특징으로 한다.

Description

영상의 경계 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTING EDGE OF IMAGE}
본 발명은 경계 검출 방법 및 장치에 관한 것으로서, 더욱 상세하게는 영상에서 객체의 경계를 검출하는 기술에 관한 것이다.
영상에서 경계(edge)를 추출하는 기술은 다양한 영상 처리 기술 분야에서 물체 인식을 위해 사용되는 핵심 기술로서, 영상의 경계 정보 자체를 취득하기 위하여 사용됨은 물론이고, 영상 내 물체의 특징점을 파악하는데 사용되거나, 영상을 의미있는 부분 영상 단위로 나누는데 사용되거나, 영상 자체의 성질을 분석하는데 사용되는 등 다양한 목적으로 활용되고 있다.
이러한 영상의 경계 검출을 위해서 종래에 많은 경계선 검출 방안들이 제안되었으나, 영상의 다양성으로 인해 경계 검출의 정확도를 높이는 것은 여전히 어려운 문제이다.
이에, 영상에서 경계 검출의 정확도를 높일 수 있는 방안이 요구되고 있는 실정이다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 영상에서 경계 검출의 정확도를 높일 수 있는 방안을 제공하고자 한다.
본 발명의 일 측면에 따르면, 상기 영상의 각 화소별로, 미리 정해진 서로 다른 형태의 경계선을 가지는 일정 면적의 가상 윈도(window)를 적용 - 상기 경계선은 상기 가상 윈도의 중심 화소를 지나며, 상기 영상의 해당 화소가 상기 중심 화소에 위치하도록 함 - 하는 화소별 가상 윈도 적용부; 상기 적용된 각 가상 윈도별로 상기 경계선에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 계산하는 통계적 특성 계산부; 및 상기 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계선을 상기 각 화소에서의 경계로 검출하는 경계 검출부를 포함하는 영상 경계 검출 장치가 제공된다.
본 발명의 다른 측면에 따르면, 상기 영상의 각 화소별로 미리 정해진 서로 다른 형태의 경계면을 가지는 일정 면적의 가상 윈도(window)를 적용 - 상기 경계면은 상기 가상 윈도의 중심 화소를 포함하며, 상기 영상의 해당 화소가 상기 중심 화소에 위치하도록 함 - 하는 화소별 가상 윈도 적용부; 상기 적용된 각 가상 윈도별로 화소간의 경계면에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 계산하는 통계적 특성 계산부; 및 상기 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 화소간의 경계면을 상기 각 화소에서의 경계로 검출하는 경계 검출부를 포함하는 영상 경계 검출 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 상기 영상의 각 화소(이하, '기준 화소'라 칭함)별로, 일정 면적의 가상 윈도를 적용 - 상기 기준 화소가 상기 가상 윈도의 중심 화소에 위치하도록 함 - 하고, 상기 가상 윈도 내에서 상기 기준 화소의 주변에 위치하는 화소들 중 상기 기준 화소와의 화소 값 차이를 이용하여 이질 화소를 선택하는 이질 화소 선택부; 상기 가상 윈도 내에서 상기 기준 화소 및 상기 선택된 이질 화소를 기점으로 화소 값에 기초한 영역 병합(region growing)을 각각 수행하는 영역 병합부; 상기 가상 윈도 내에서 상기 각각의 영역 병합에 의해 구분되어 경계를 형성하는 두 영역에 대한 통계적 특성 차이를 계산하는 통계적 특성 계산부; 및 상기 기준 화소와 상기 기준 화소 주변의 모든 이질 화소간에 각각 수행된 상기 영역 병합에 의한 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계를 상기 기준 화소에서의 경계로 검출하는 경계 검출부를 포함하는 영상 경계 검출 장치가 제공된다.
상기 영상 경계 검출 장치는, 상기 검출된 각 화소에서의 경계를 연결하여 경계 영상을 생성하는 경계 영상 생성부를 더 포함한다.
상기 통계적 특성은 바타차야 거리(Bhattacharya distance)를 이용한다.
상기 통계적 특성 계산부는 상기 가상 윈도 내에서 구분되는 상기 두 영역에 하나 이상의 아웃라이어(outliers)가 존재하는 경우, 상기 아웃라이어를 제거하고 상기 두 영역에 대한 통계적 특성 차이를 계산하되, 상기 아웃라이어는 상기 아웃라이어가 존재하는 영역의 평균 화소 값과 상기 아웃라이어의 화소 값의 통계적 차이가 미리 정해진 임계 값 이상인 경우 아웃라이어로 판단된다.
상기 가상 윈도의 일정 면적은 N X N의 화소로 구성되는 크기를 가지며 상기 N은 1보다 큰 홀수이다.
본 발명의 또 다른 측면에 의하면, 상기 영상의 각 화소(이하, "기준 화소"라 칭함)별로, 일정 면적의 가상 윈도를 적용 - 상기 기준 화소'가 상기 가상 윈도의 중심 화소에 위치하도록 함 - 하고 상기 가상 윈도내에 경계가 없다고 판단되면, 상기 가상 윈도의 크기를 확대하는 가상 윈도 설정부; 상기 확대된 가상 윈도 내에서 제1 화소 및 제2 화소를 선정하는 화소 선정부; 상기 가상 윈도에서, 상기 제1 화소가 포함되는 제1 영역과 상기 제2 화소가 포함되는 제2 영역에 대한 통계적 특성 차이를 계산하는 통계적 특성 계산부; 및 상기 계산된 통계적 특성 차이 값이 미리 정해진 임계 값 이상이면, 상기 가상 윈도의 중심을 상기 제1 화소와 제2 화소 사이의 경계로 검출하는 경계 검출부를 포함하는 영상 경계 검출 장치가 제공된다.
상기 가상 윈도 설정부는 상기 제1 영역과 제2 영역간 통계적 특성 차이가 미리 정해진 임계 값 미만이면 상기 가상 윈도를 제2 일정 면적으로 확장 -블랭크 영역을 중심으로 확장됨 - 시키며, 상기 화소 선정부는 상기 확장된 가상 윈도 내에서 상기 제1 화소와 상기 제2 화소를 재선정하고, 상기 확장된 가상 윈도에서, 상기 제1 화소가 포함되는 제3 영역과 상기 제2 화소가 포함되는 제4 영역에 대한 통계적 특성 차이를 계산하고, 상기 경계 검출부는 상기 계산된 통계적 특성 차이 값이 미리 정해진 임계 값 이상이면, 상기 확장된 가상 윈도의 상기 블랭크 영역 또는 상기 블랭크 영역의 중심을 상기 제1 화소와 제2 화소 사이의 경계로 검출한다.
상기 가상 윈도 설정부는 상기 가상 윈도를 상기 블랭크 영역을 중심으로 확장 시, 상기 제1 화소와 상기 제2 화소의 대칭 축에 상응하여 확장시킨다.
본 발명의 또 다른 측면에 따르면, (a) 상기 영상의 화소에 미리 정해진 형태의 경계선을 가지는 일정 면적의 가상 윈도(window)를 적용 - 상기 경계선은 상기 가상 윈도의 중심 화소를 지나며, 상기 영상의 화소가 상기 중심 화소에 위치하도록 함 - 하는 단계; (b) 상기 적용된 가상 윈도별로 상기 경계선에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 계산하는 단계; 및 (c) 상기 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계선을 상기 화소에서의 경계로 검출하는 단계를 포함하되, 상기 (a) 단계 내지 상기 (c) 단계는 상기 영상의 각 화소별로 수행되는 영상 경계 검출 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, (a) 상기 영상의 화소별로 미리 정해진 형태의 경계면을 가지는 일정 면적의 가상 윈도(window)를 적용 - 상기 경계면은 상기 가상 윈도의 중심 화소를 포함하며, 상기 영상의 화소가 상기 중심 화소에 위치하도록 함 - 하는 단계; (b) 상기 적용된 가상 윈도별로 상기 경계면에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 계산하는 단계; 및 (c) 상기 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계면을 상기 화소에서의 경계로 검출하는 단계를 포함하되, 상기 (a) 단계 내지 상기 (c) 단계는 상기 영상의 각 화소별로 수행되는 영상 경계 검출 방법이 제공된다.
본 발명의 또 다른 측면에 의하면, (a) 상기 영상의 화소(이하 '기준 화소'이라 칭함)별로 일정 면적의 가상 윈도를 적용 - 상기 기준 화소가 상기 가상 윈도의 중심 화소에 위치하도록 함 - 하고, 상기 가상 윈도 내에서 상기 기준 화소의 주변에 위치하는 화소들 중 상기 기준 화소와의 화소 값 차이를 이용하여 이질 화소를 선택하는 단계; (b) 상기 가상 윈도 내에서 상기 기준 화소 및 상기 선택된 이질 화소를 기점으로 화소 값에 기초한 영역 병합(region growing)을 각각 수행하는 단계; (c) 상기 가상 윈도 내에서 상기 각각의 영역 병합에 의해 구분되어 경계를 형성하는 두 영역에 대한 통계적 특성 차이를 계산하는 단계; (d) 상기 가상 윈도 내의 나머지 모든 이질 화소에 대하여 상기 (b) 단계와 상기 (c) 단계를 통해, 각 가상 윈도 내에서 상기 각각의 영역 병합에 의해 구분되어 경계를 형성하는 두 영역에 대한 통계적 특성 차이를 계산하는 단계; 및 (e) 상기 (c) 단계와 상기 (d) 단계에서 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계를 상기 기준 화소에서의 경계로 검출하는 단계를 포함하되, 상기 (a) 단계 내지 상기 (e) 단계는 상기 영상의 각 화소별로 수행되는 영상 경계 검출 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, (a) 상기 영상의 각 화소별로, 미리 정해진 서로 다른 형태의 경계선을 가지는 일정 면적의 가상 윈도(window)를 적용 - 상기 경계선은 상기 가상 윈도의 중심 화소를 지나며, 상기 영상의 해당 화소가 상기 중심 화소에 위치하도록 함 - 하는 단계; (b) 상기 확대된 가상 윈도 내에서 제1 화소 및 제2 화소를 선정하는 단계; (c) 상기 가상 윈도에서, 상기 제1 화소가 포함되는 제1 영역과 상기 제2 화소가 포함되는 제2 영역에 대한 통계적 특성 차이를 계산하는 단계; 및 (d) 상기 계산된 통계적 특성 차이 값이 미리 정해진 임계 값 이상이면, 상기 가상 윈도의 중심을 상기 제1 화소와 제2 화소 사이의 경계로 검출하는 단계를 포함하는 영상 경계 검출 방법이 제공된다.
본 발명의 일 실시예에 따르면, 영상에서 경계 검출의 정확도를 높일 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 영상의 경계를 검출하는 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가상 윈도의 경계선의 몇 가지 예를 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 영상의 경계를 검출하는 장치의 구성을 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 가상 윈도의 경계면을 도시한 도면이다.
도 5는 본 발명의 또 다른 실시예에 따른 영상의 경계를 검출하는 장치의 구성을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영역 병합을 도시한 도면이다.
도 7은 본 발명의 또 다른 실시예에 따른 영상의 경계를 검출하는 장치의 구성을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 제1 화소와 제2 화소의 선정 위치를 도시한 도면이다.
도 9 내지 도 12는 본 발명의 실시예에 따른 영상의 경계를 검출하는 과정을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.
또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상의 경계를 검출하는 장치의 구성을 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 가상 윈도의 경계선의 예를 도시한 도면이다.
본 발명의 일 실시예에 따른 영상의 경계를 검출하는 장치(이하 '영상 경계 검출 장치'라 칭함)(100)는 화소별 가상 윈도 적용부(110), 통계적 특성 계산부(120), 경계 검출부(130), 경계 영상 생성부(140), 제어부(150) 및 저장부(160)를 포함할 수 있다.
참고로, 본 발명에서 경계를 검출고자 하는 '영상'은 2차원 영상, 3차원 영상 및 다차원 영상(분광 영상으로서 다중 분광 영상과 초분광 영상 등)을 포함할 수 있으며, 이하에서는 상기 영상의 일 실시예로서 2차원 영상을 설명하도록 하나, 이에 한정되는 것은 아니다.
각 구성 요소를 설명하면, 화소별 가상 윈도 적용부(110)는 아래의 동작을 영상의 각 화소별로 수행할 수 있다.
화소별 가상 윈도 적용부(110)는 영상의 화소에 미리 정해진 서로 다른 형태의 경계선을 가지는 일정 면적의 가상 윈도(window)를 적용할 수 있다.
가상 윈도의 일정 면적은 N X N의 화소로 구성되는 크기를 가지며 N은 1보다 큰 홀수일 수 있다. 일 실시예로서 가상 윈도는 5 X 5 화소의 일정 면적을 가질 수 있으며, 직사각형, 원형 등의 다양한 형태를 가질 수 있다. 이하, 가상 윈도의 일정 면적 크기는 5 X 5 화소인 실시예를 설명하도록 한다.
그리고 경계선은 가상 윈도의 중심 화소를 지나며, 화소별 가상 윈도 적용부(110)는 영상의 각 화소에 가상 윈도를 적용 시 해당 화소가 가상 윈도의 중심 화소에 위치하도록 한다.
결국, 가상 윈도는 중심 화소를 기준으로 형성되는 경계선의 다양한 형태를 미리 레퍼런스로 저장한 것이라고 할 수 있으며, 영상의 각 화소에 이러한 가상 윈도를 적용하면, 해당 화소를 중심으로 형성되는 다양한 경계의 형태를 미리 예측해볼 수 있다.
도 2를 참조하면, 각 가상 윈도의 경계선이 나타나 있으며, 화소별 가상 윈도 적용부(110)는 도 2에 도시된 바와 같은 다양한 형태의 경계선을 가지는 가상 윈도를 영상의 각 화소에 적용할 수 있다.
화소별 가상 윈도 적용부(110)는 전술한 바와 같은 가상 윈도의 적용을 영상의 모든 화소에 대하여 수행할 수 있다.
한편, 통계적 특성 계산부(120)는 전술한 가상 윈도를 영상의 각 화소에 적용 시 가상 윈도의 경계선에 의해 구분되는 두 영역(이하 제1 영역 및 제2 영역이라 칭함)에 대한 통계적 특성 차이를 계산할 수 있다. 도2에서 경계영역(청색) 제1영역 또는 제2영역에 포함시킬 수 있고, 또한 어느 영역에도 포함시키지 않을 수도 있다.
여기서 '통계적 특성'은 화소 값을 이용하여 계산될 수 있으며, '통계적 특성 차이'는 제1 영역과 제2 영역의 유사 정도를 나타낼 수 있다.
즉, 통계적 특성 차이가 클수록 제1 영역과 제2 영역의 화소 값의 차이는 크게 되어 두 영역간의 경계는 더욱 명확해진다.
이러한 통계적 특성 차이를 계산하는 일 실시예로서 각 영역에 포함되는 화소들의 화소 값에 기초한 바타차야 거리(Bhattacharyya distance)를 이용할 수 있으며, 다른 실시예로서 분류 정확도를 이용할 수 있다.
그 중 바타차야 거리는 아래의 수학식 1과 같이 나타낼 수 있다.
Figure 112017057430944-pat00001
여기서 d는 제1 영역과 제2 영역간 통계적 특성 차이 값,
Figure 112017057430944-pat00002
과
Figure 112017057430944-pat00003
는 제1 영역과 제2 영역에 포함된 화소들의 평균 화소 벡터 값,
Figure 112017057430944-pat00004
과
Figure 112017057430944-pat00005
는 제1 영역과 제2 영역에 포함된 화소들에 대한 화소 값의 공분산 행렬, det(
Figure 112017057430944-pat00006
)는 공분산 행렬
Figure 112017057430944-pat00007
의 행렬식이고, K1과 K2는 일정한 크기의 상수이다.
또한, 통계적 특성 계산부(120)는 상기 제1 영역과 제2 영역에 포함된 화소들의 화소 값에 대한 평균과 분산을 고려하여 각 영역 내에 포함된 화소들 중 이질적인 화소 값을 가지는 '이질 화소' 여부를 판단할 수 있다.
상기 이질 화소의 판단은 일 실시예로서 마할라노비스(Mahalanobis) 거리를 이용하여 판단할 수 있으며 아래의 [수학식 2]을 이용할 수 있다.
Figure 112017057430944-pat00008
여기서 md는 이질 화소를 판단하기 위한 판단 값, x i는 이질 화소 여부를 판단하는 대상 화소의 화소 벡터 값,
Figure 112017057430944-pat00009
는 해당 영역에 포함된 화소들의 화소평균 벡터 값 평균,
Figure 112017057430944-pat00010
는 해당 영역에 포함된 화소들에 대한 화소 값의 공분산 행렬이다. 이와 같이 이질 화소 제거는 제1 영역과 제2 영역에 각각 적용할 수 있다.
통계적 특성 계산부(120)는 이질 화소로 판단된 화소를 제거하고 제1 영역과 제2 영역에서 이질 화소가 제거된 남은 화소만을 이용하여 제1 영역과 제2 영역에 대한 통계적 특성 차이를 계산할 수 있다.
결국, 하나의 화소에 대한 각 가상 윈도의 경계선에 의한 제1 영역과 제2 영역의 통계적 특성 차이가 각각 산출될 수 있다.
한편, 경계 검출부(130)는 통계적 특성 계산부(120)에 산출된 통계적 특성 차이 값들, 즉 영상의 하나의 화소에 적용되는 각 가상 윈도의 경계선에 의해 구분되는 제1 영역과 제2 영역에 대한 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출할 수 있으며, 추출된 가상 윈도의 경계선을 해당 화소에서의 경계로 검출할 수 있다.
한편, 경계 영상 생성부(140)는 경계 검출부(130)에서 검출된 각 기준 화소에서의 경계를 연결하여 경계 영상을 생성할 수 있다.
한편, 제어부(150)는 영상 경계 검출 장치(100)의 전술한 구성 요소들, 예를 들어 화소별 가상 윈도 적용부(110), 통계적 특성 계산부(120), 경계 검출부(130) 및 경계 영상 생성부(140)가 전술한 동작을 수행하도록 제어할 수 있다.
한편, 저장부(160)는 제어부(150)가 영상 경계 검출 장치(100)의 전술한 구성 요소들을 제어하도록 하는 알고리즘 및 그 제어 과정에서 필요하거나 파생되는 다양한 데이터를 저장할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 영상의 경계를 검출하는 장치의 구성을 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 가상 윈도의 경계면을 도시한 도면이다.
본 발명의 다른 실시예에 따른 영상 경계 검출 장치(200)는 화소별 가상 윈도 적용부(210), 통계적 특성 계산부(220), 경계 검출부(230), 경계 영상 생성부(240), 제어부(250) 및 저장부(260)를 포함할 수 있다.
참고로, 도 1의 영상 경게 검출 장치(100)와 도 3의 영상 경계 검출 장치(200)의 차이점은 도 1의 경우는 영상의 각 화소에 가상 윈도 내에 경계선이 존재하고, 도 3의 경우는 영상의 각 화소에 가상 윈도내에 경계선이 존재하지 않는 것이다.
그리고 도 1에서 영상의 각 화소에 선 경계를 적용 시 가상 윈도의 중심 화소를 포함하는 선 경계 자체는 통계적 특성에 포함되지 않지만, 도 2의 면 경계를 적용 시 가상 윈도의 중심 화소는 어느 하나의 영역에 속하여 통계적 특성에 포함되는 차이도 있다.
구체적으로, 화소별 가상 윈도 적용부(210)는 영상의 화소에 미리 정해진 서로 다른 형태의 경계면을 가지는 일정 면적의 가상 윈도(window)를 적용할 수 있다.
도 4를 참조하면, 각 가상 윈도마다 중심 화소를 기준으로 형성될 수 있는 경계면이 표시되어 있으며, 화소별 가상 윈도 적용부(210)는 도 4에 도시된 바와 같은 미리 정해진 다양한 형태의 경계면을 가지는 가상 윈도를 영상의 각 화소에 적용할 수 있다.
이때 화소별 가상 윈도 적용부(210)는 영상의 해당 화소가 가상 윈도의 중심 화소에 위치하도록 한다.
한편, 통계적 특성 계산부(220)는 전술한 가상 윈도를 영상의 각 화소에 적용 시 가상 윈도의 경계면에 의해 구분되는 두 영역(이하 제3 영역 및 제4 영역이라 칭함)에 대한 통계적 특성 차이를 계산할 수 있다.
여기서 제3 영역 및 제4 영역에 대한 통계적 특성 차이를 계산하는 방법은 도 1의 영상 경게 검출 장치(100)의 통계적 특성 계산부(120)에서 설명한 내용과 동일하다.
한편, 경계 검출부(230)는 통계적 특성 계산부(220)에 산출된 제3 영역과 제4 영역에 대한 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출할 수 있으며, 추출된 가상 윈도의 경계면을 해당 기준 화소에서의 경계로 검출할 수 있다.
한편, 경계 영상 생성부(240)는 경계 검출부(230)에서 검출된 각 기준 화소에서의 경계를 연결하여 경계 영상을 생성할 수 있다.
한편, 제어부(250)는 영상 경계 검출 장치(200)의 전술한 구성 요소들, 예를 들어 화소별 가상 윈도 적용부(210), 통계적 특성 계산부(220), 경계 검출부(230) 및 경계 영상 생성부(240)가 전술한 동작을 수행하도록 제어할 수 있다.
한편, 저장부(260)는 제어부(250)가 영상 경계 검출 장치(200)의 전술한 구성 요소들을 제어하도록 하는 알고리즘 및 그 제어 과정에서 필요하거나 파생되는 다양한 데이터를 저장할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 영상의 경계를 검출하는 장치의 구성을 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 영역 병합을 도시한 도면이다.
본 발명의 또 다른 실시예에 따른 영상 경계 검출 장치(300)는 이질 화소 선택부(310), 영역 병합부(320), 통계적 특성 계산부(330), 경계 검출부(340), 경계 영상 생성부(350), 제어부(360) 및 저장부(370)를 포함할 수 있다.
각 구성 요소를 설명하면, 이질 화소 선택부(310)는 아래의 동작을 영상의 각 기준 화소별로 수행할 수 있다.
이질 화소 선택부(310)는 영상의 화소에 일정 면적(일 실시예로서 앞서 언급한 바와 같이 5 X 5 화소)의 가상 윈도를 적용하고, 가상 윈도 내에서 영상의 화소의 주변에 위치하는 화소들 중 중심 화소와의 화소 값 차이를 이용하여 이질 화소를 선택할 수 있다. 이하 가상 윈도를 적용하는 중심 화소를 '기준 화소'이라 칭하도록 한다.
예를 들어, 이질 화소 선택부(310)는 기준 화소에 인접한 주변 화소들(총 8개의 화소 들)에 대하여 순차적으로 화소 값 차이를 비교하고, 그 차이가 미리 정해진 임계 값을 초과하는 경우, 해당 주변 화소를 이질 화소로 선택할 수 있다. 또는 인접 8개의 화소 중 차이가 가장 큰 화소를 이질 화소로 선택할 수 있다.
여기서 이질 화소 선택부(310)는 기준 화소에 인접한 8개의 주변 화소부터 이질 화소 여부를 판단하지 않고, 가상 윈도에 속하는 소정의 화소부터 이질 화소 여부를 판단할 수도 있다.
한편, 영역 병합부(320)는 기준 화소와 이질 화소 선택부(310)에서 선택된 이질 화소를 기점으로 화소 값에 기초한 영역 병합(region growing)을 가상 윈도내에서 각각 수행할 수 있다.
도 6을 참조하여 영역 병합에 대해 설명하도록 한다.
도 6에는 기준 화소와 이질 화소가 가상 윈도에 각각 표시되어 있다.
영역 병합부(320)는 기준 화소를 중심으로 기준 화소의 주변 화소와 화소 값을 비교하고, 그 결과가 미리 정해진 임계 값 미만이면 해당 주변 화소를 기준 화소와 영역 병합한다.
이후, 영역 병합부(320)는 기준 화소를 중심으로 다른 주변 화소와 화소 값을 비교하여 전술한 바와 같이 영역 병합을 통해 점차 그 영역을 넓혀갈 수 있다.
또한, 영역 병합부(320)는 이질 화소를 중심으로 이질 화소의 주변 화소와 화소 값을 비교하고, 그 결과가 미리 정해진 임계 값 미만이면 해당 주변 화소를 이질 화소와 영업 병합할 수 있다.
이후 영역 병합부(320)는 이질 화소를 중심으로 다른 주변 화소와 화소 값을 비교하여 전술한 바와 같이 영역 병합을 통해 점차 그 영역을 넓혀갈 수 있다.
결국, 기준 화소와 이질 화소를 기점으로 가상 윈도 내에서 각각 영역 병합을 수행하면, 도 6에 도시된 바와 같이 영역 병합에 의해 구분되어 경계를 형성하는 가상 윈도가 생성될 수 있다.
참고로, 도 6의 가상 윈도는 5 X 5 화소의 크기를 가지므로, 기준 화소를 제외하면, 영역 병합에 의해 구분되어 다양한 경계를 형성하는 가상 윈도가 생성될 수 있다.
영역 병합부(320)는 기준 화소와 이질 화소를 기점으로 영역 병합을 각각 수행 시, 동시에 수행할 수도 있고, 기준 화소와 이질 화소 중 어느 하나에 대해 영역 병합을 먼저 수행할 수도 있다.
한편, 통계적 특성 계산부(330)는 영역 병합부(320)의 영역 병합에 의해 구분되어 경계를 형성하는 두 영역(이하 '제5 영역 및 제6 영역'이라 칭함)에 대한 통계적 특성 차이를 계산할 수 있다.
여기서 제5 영역 및 제6 영역에 대한 통계적 특성 차이를 계산하는 방법은 도 1의 영상 경게 검출 장치(100)의 통계적 특성 계산부(120)에서 설명한 내용과 동일하다.
한편, 경계 검출부(340)는 영역 병합에 의해 구분되어 경계를 형성하는 모든 가상 윈도에 대한 통계적 특성 차이 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계를 해당 기준 화소에서의 경계로 검출할 수 있다.
한편, 경계 영상 생성부(350)는 경계 검출부(340)에서 검출된 각 기준 화소에서의 경계를 연결하여 경계 영상을 생성할 수 있다.
한편, 제어부(360)는 영상 경계 검출 장치(300)의 전술한 구성 요소들, 예를 들어 이질 화소 선택부(310), 영역 병합부(320), 통계적 특성 계산부(330) 및 경계 검출부(340), 경계 영상 생성부(350)가 전술한 동작을 수행하도록 제어할 수 있다.
한편, 저장부(370)는 제어부(360)가 영상 경계 검출 장치(300)의 전술한 구성 요소들을 제어하도록 하는 알고리즘 및 그 제어 과정에서 필요하거나 파생되는 다양한 데이터를 저장할 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 영상의 경계를 검출하는 장치의 구성을 도시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 제1 화소와 제2 화소의 선정 위치를 도시한 도면이다.
본 발명의 또 다른 실시예에 따른 영상 경계 검출 장치(400)는 화소 선정부(410), 가상 윈도 설정부(420), 통계적 특성 계산부(430), 경계 검출부(440), 경계 영상 생성부(450), 제어부(460) 및 저장부(470)를 포함할 수 있다.
참고로, 도 7의 실시예는 도 1, 도 3 및 도 5에 도시된 각 영상 경계 검출 장치(100, 200, 300)들에 의해 영상 또는 영상의 특정 영역에 경계가 없다고 판단되는 경우 2차 검증을 위해 수행될 수 있다. 이하 영상의 특정 영역에 경계가 없다고 판단되는 실시예를 설명하도록 한다.
먼저, 경계가 없다는 판단되는 경우는 실제로 경계가 없는 경우일 수도 있지만, 영상의 특정 영역에서 화소 값이 서서히 변하는 경우에는 경계 검출이 매우 어렵다.
경계가 없다고 판단된 영역이라면, 해당 영역 내에서 임의로 선택된 두 영역간 통계적 특성에 차이가 없거나 그 차이가 미리 정해진 임계 값 미만이어야 할 것이다.
그러나, 경계가 없다고 판단된 영역에서도 해당 영역 내에서 통계적 특성에 차이가 발생하는 영역이 존재하는 경우가 있으며, 이는 두 영역간 경계가 존재한다는 의미이다.
도 7에 도시된 영상 경계 검출 장치(400)는 전술한 바와 같이 영상의 특정 영역에 경계가 없다고 판단되는 경우 2차 검증을 위해 수행될 수 있다.
먼저, 화소 선정부(410)는 영상에서 경계가 없다고 판단되는 특정 영역이 존재하는 경우, 해당 영역 내에서 제1 화소와 제2 화소를 선정할 수 있다.
이 때 화소 선정부(410)는 해당 영역 내에서 제1 화소를 선정하고, 먼저 선정된 제1 화소에 대하여 가로 축, 세로 축 또는 대각선 축으로 대칭되는 위치에 제2 화소를 선정할 수 있다.
도 8을 참조하면 제1 화소에 대하여 각 축에 대칭되는 위치에 제2 화소가 선정될 수 있다.
이 때 화소 선정부(410)는 제1 화소와 제2 화소를 선정 시 경계 검출을 위해 기존에 사용한 가상 윈도의 일정 면적 크기(본 발명에서는 5 X 5 화소)보다 더 큰 일정 면적을 가지도록 해당 영역 내에서 그 위치를 선정할 수 있다.
즉, 5 X 5 화소 크기의 가상 윈도 내에서 통계적 특성 차이가 없다고 판단되었으므로, 5 X 5 화소 크기의 면적을 더 확장시켜 제1 화소와 제2 화소를 재선정하여 이들이 포함된 영역간의 통계적 특성 차이를 비교하려는 것이다.
만일, 제1 화소와 제2 화소가 포함된 영역간 통계적 특성 차이가 미리 정해진 임계 값 미만이면, 화소 선정부(410)는 가상 위도를 확대하여 제1 화소와 제2 화소를 재선정할 수 있다.
일 실시예로, 가상 윈도 설정부(420)는 기 선정된 제1 화소와 제2 화소 사이에 5 X 10 화소 크기의 가상 윈도를 설정하였으나 해당 가상 윈도에서도 제1 화소와 제2 화소가 포함된 영역간 통계적 특성 차이가 미리 정해진 임계 값 미만이면, 이후 가상 윈도를 5 X 10 화소에서 5 X 20 화소로 조절(확장)하고 제1 화소와 제2 화소를 재선정 할 수 있다.
이 때 가상 윈도 설정부(420)는 가상 윈도의 크기를 확장 시 미리 정해진 크기의 블랭크 영역을 중심으로 확장시킬 수 있다. 물론 블랭크 영역은 가상 윈도우의 확장에 따라 함께 확장될 수 있을 것이다.
즉, 가상 윈도의 두 영역이 대칭되도록 확장시키되, 미리 정해진 크기의 블랭크 영역을 중심으로 확장시킬 수 있는 것이며, 블랭크 영역 역시 함께 확장 시키는 것이다.
한편, 통계적 특성 계산부(430)는 크기가 조절된 가상 윈도에서 제1 화소와 제2 화소가 각각 포함되는 영역(이하 '제7 영역'과 '제8 영역'이라 칭함)에 대한 통계적 특성 차이를 계산할 수 있다.
여기서 제8 영역 및 제8 영역에 대한 통계적 특성 차이를 계산하는 방법은 도 1의 영상 경게 검출 장치(100)의 통계적 특성 계산부(120)에서 설명한 내용과 동일하다.
한편, 경계 검출부(440)는 통계적 특성 계산부(430)에서 계산된 통계적 특성 차이가 미리 정해진 임계 값 이상이면, 해당 가상 윈도의 블랭크 영역 또는 블랭크 영역의 중심을 제1 화소와 제2 화소 사이의 경계로 검출할 수 있다.
한편, 경계 영상 생성부(450)는 경계 검출부(440)에서 검출된 각 기준 화소에서의 경계를 연결하여 경계 영상을 생성할 수 있다.
한편, 제어부(460)는 영상 경계 검출 장치(400)의 전술한 구성 요소들, 예를 들어 화소 선정부(410), 가상 윈도 설정부(420), 통계적 특성 계산부(430), 경계 검출부(440) 및 경계 영상 생성부(450)가 전술한 동작을 수행하도록 제어할 수 있다.
한편, 저장부(470)는 제어부(460)가 영상 경계 검출 장치(400)의 전술한 구성 요소들을 제어하도록 하는 알고리즘 및 그 제어 과정에서 필요하거나 파생되는 다양한 데이터를 저장할 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상의 경계를 검출하는 과정을 도시한 흐름도이다.
도 9에 도시된 흐름도는 도 1의 영상 경계 검출 장치(100)에 의해 수행될 수 있으며, 가상 윈도의 '경계선'을 이용하여 영상의 경계를 검출하는 실시예이다.
영상 경계 검출 장치(100)는 영상의 제1 화소에 미리 정해진 크기의 일정 면적(예를 들어 5 X 5 화소)을 가지며 제1 형태의 '경계선'을 포함하는 가상 윈도를 적용한다(S901).
여기서 영상의 제1 화소는 가상 윈도의 중심 화소에 위치한다.
S901 후, 영상 경계 검출 장치(100)는 가상 윈도 내에서 제1 형태의 경계선에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 계산한다(S902).
여기서 두 영역에 대한 통계적 특성 차이는 두 영역의 유사한 정도로서 두 영역에 포함된 화소의 화소 값에 기초한 바타차야 거리를 이용하여 산출될 수 있다.
S902 후, 영상 경계 검출 장치(100)는 영상의 제1 화소에 제2 형태의 경계선을 포함하는 가상 윈도를 적용하고 가상 윈도 내에서 제2 형태의 경계선에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 계산한다.
영상 경계 검출 장치(100)는 이와 같은 방식으로 영상의 제1 화소에 대하여 미리 정해진 서로 다른 형태의 경계선을 가지는 각 가상 윈도를 적용하고, 각 경계선에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 각각 계산한다(S903).
S903 후, 영상 경계 검출 장치(100)는 S902와 S903에서 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 추출된 가상 윈도의 경계선을 제1 화소에서의 경계로 검출한다(S904).
S904 후, 영상 경계 검출 장치(100)는 영상의 제2 화소에 대하여 S901 내지 S904의 과정을 수행하며, 동일한 방법으로 영상의 제3 화소, 제4 화소,... n 화소까지 영상의 모든 화소에서의 경계를 검출한다(S905).
S905 후, 영상 경계 검출 장치(100)는 영상의 각 화소에서 검출된 경계를 연결하여 경계 영상을 생성한다(S906).
도 10은 본 발명의 다른 실시예에 따른 영상의 경계를 검출하는 과정을 도시한 흐름도이다.
도 10에 도시된 흐름도는 도 3의 영상 경계 검출 장치(200)에 의해 수행될 수 있으며, 경계 화소는 존재하기 않고 화소간의 가상의 경계를 가정하여 영상의 경계를 검출하는 실시예이다.
영상 경계 검출 장치(200)는 화소미리 정해진 크기의 일정 면적(예를 들어 5 X 5 화소)의 가상 윈도를 적용한다(S1001).
여기서 영상의 제1 화소는 가상 윈도의 중심 화소에 위치한다.
S1001 후, 영상 경계 검출 장치(200)는 가상 윈도 내에서 화소간의 가상의 경계를 적용하여 2개의 영역으로 나누고, 두 영역에 대한 통계적 특성 차이를 계산한다(S1002).
여기서 두 영역에 대한 통계적 특성 차이는 두 영역의 유사한 정도로서 두 영역에 포함된 화소의 화소 값에 기초한 바타차야 거리를 이용하여 산출될 수 있다.
화소영상 경계 검출 장치(200)는 이와 같은 방식으로 영상의 제1 화소에 대하여 미리 정해진 서로 다른 형태의 경계를 갖는 화소간의 가상의 경계를 적용하여 구분되는 두 영역에 대한 통계적 특성 차이를 계산한다(S1003).
S1003 후, 영상 경계 검출 장치(200)는 S1002와 S1003에서 계산된 통계적 특성 차이 중 가장 큰 값에 해당하는 화소간의 가상의 경계를 추출하고, 추출된 가상 경계선을 제1 화소에서의 경계로 검출한다(S1004).
S1004 후, 영상 경계 검출 장치(200)는 영상의 제2 화소에 대하여 S1001 내지 S1004의 과정을 수행하며, 동일한 방법으로 영상의 제3 화소, 제4 화소,... n 화소까지 영상의 모든 화소에서의 경계를 검출한다(S1005).
S1005 후, 영상 경계 검출 장치(200)는 영상의 각 화소에서 검출된 경계를 연결하여 경계 영상을 생성한다(S1006).
도 11a 및 도 11b는 본 발명의 또 다른 실시예에 따른 영상의 경계를 검출하는 과정을 도시한 흐름도이다.
도 11a 및 도 11b에 도시된 흐름도는 도 5의 영상 경계 검출 장치(300)에 의해 수행될 수 있으며, 가상 윈도의 영역 병합(region growing)을 이용하여 영상의 경계를 검출하는 실시예이다.
영상 경계 검출 장치(300)는 영상의 제1 화소에 미리 정해진 크기(예를 들어 5 X 5 화소)의 일정 면적을 가지는 가상 윈도를 설정한다(S1101).
여기서 영상의 제1 화소는 가상 윈도의 중심 화소에 위치한다.
S1101 후, 영상 경계 검출 장치(300)는 제1 화소의 화소 값과, 가상 윈도 내에서 제1 화소의 주변에 위치하는 화소(이하 '주변 화소'이라 칭함)들 중 어느 하나인 제1 주변 화소의 화소 값을 비교한다(S1102).
비교 결과, 그 차이가 미리 정해진 임계 값 이상이면 제1 주변 화소를 이질 화소로 판단하고(S1103), 그 차이가 미리 정해진 임계 값 미만이면 제1 주변 화소를 제외한 주변 화소들 중 제2 주변 화소를 선택하여 화소 값을 비교하는 S1102 과정을 수행한다.
S1103 후, 제1 주변 화소가 이질 화소로 판단되면(이하 '제1 이질 화소'이라 칭함), 영상 경계 검출 장치(300)는 가상 윈도 내에서 제1 화소 및 제1 이질 화소를 기점으로 화소 값에 기초한 영역 병합(region growing)을 각각 수행한다(S1104).
여기서 영역 병합은 화소 값이 동일하거나 유사한 주변 화소를 하나의 영역으로 묶어 확장(growing)시키는 것을 의미한다.
S1104 후, 가상 윈도 내에서 제1 화소 및 제1 이질 화소를 기점으로 하는 영역 병합이 완료되면, 영역 병합에 의해 구분되어 경계를 형성하는 두 영역에 대한 통계적 특성 차이를 계산하는 한다(S1105).
여기서 두 영역에 대한 통계적 특성 차이는 두 영역의 유사한 정도로서 두 영역에 포함된 화소의 화소 값에 기초한 바타차야 거리를 이용하여 산출될 수 있다.
S1105 후, 영상 경계 검출 장치(300)는 S1102 내지 S1105 과정을 반복 수행하여 제 1 화소와 제2 이질 화소를 기점으로 하는 영역 병합을 각각 수행한 후 그 결과에 따른 두 영역에 대한 통계적 특성 차이를 계산한다.
그리고 이와 같은 방법으로 가상 윈도 내에서 제1 화소와 제1 화소의 주변에 위치하는 모든 이질 화소를 기점으로 하는 영역 병합을 수행하여 그 결과에 따른 두 영역에 대한 통계적 특성 차이를 계산한다(S1106).
S1106 후, 영상 경계 검출 장치(300)는 전술한 방법으로 계산된 복수의 통계적 특성 차이 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 추출된 가상 윈도의 경계를 제1 화소에서의 경계로 검출한다(S1107).
S1007 후, 영상 경계 검출 장치(300)는 영상의 제2 화소에 대하여 S1101 내지 S1107의 과정을 수행하며, 동일한 방법으로 영상의 제3 화소, 제4 화소,... n 화소까지 영상의 모든 화소에서의 경계를 검출한다(S1108).
S1108 후, 영상 경계 검출 장치(300)는 영상의 각 화소에서 검출된 경계를 연결하여 경계 영상을 생성한다(S1109).
도 12는 본 발명의 또 다른 실시예에 따른 영상의 경계를 검출하는 과정을 도시한 흐름도이다.
도 12에 도시된 흐름도는 도 7의 영상 경계 검출 장치(400)에 의해 수행될 수 있으며, 영상 또는 영상의 특정 영역에 경계가 없다고 판단된 경우 2차 검증을 수행하여 경계를 검출하는 실시예이다.
여기서 영상 또는 영상의 특정 영역에 경계가 없다고 판단되는 선행 과정은 도 9 내지 도 11의 과정 중 어느 하나의 과정을 통해 수행될 수 있다.
먼저, 영상에서 경계가 없다고 판단되는 영역이 존재하면, 영상 경계 검출 장치(400)는 해당 영역 내에서 제1 화소와 제1 화소에 대하여 가로 축, 세로 축 또는 대각선 축으로 대칭되는 위치에 존재하는 제2 화소를 각각 선정한다(S1201).
여기서 제1 화소와 제2 화소의 선정은 경계 검출을 위해 사용하는 기존 가상 윈도의 크기(5 X 5 화소)보다 더 큰 면적을 가지도록 가상 윈도의 크기를 확대할 수 있다.
즉, 기존 5 X 5 화소 크기의 가상 윈도우를 통해서 해당 영역에 경계가 없는 것으로 판단되었기 때문에 가상 윈도의 크기를 확장시킨다.
S1201 후, 영상 경계 검출 장치(400)는 제1 화소와 제2 화소 사이에 기존 가상 윈도의 크기(5 X 5 화소)를 확장시킨 제1 확장 가상 윈도를 설정한다(S1202).
여기서 확장되는 가상 윈도의 중심에는 블랭크 영역이 존재하고, 블랭크 영역은 윈도우의 확장에 따라 함께 확장될 수 있다. 확장된 윈도우 내에서 제1 화소와 제2 화소를 재선정한다.
S1202 후, 영상 경계 검출 장치(400)는 제1 확장 가상 윈도 내에서 제1 화소가 포함되는 영역과 제2 화소가 포함되는 영역의 통계적 특성 차이를 계산한다(S1203).
S1203 후, 계산된 통계적 특성 차이가 미리 정해진 임계 값 이상이면, 영상 경계 검출 장치(400)는 제1 확장 가상 윈도의 블랭크 영역 또는 블랭크 영역의 중심을 제1 화소와 제2 화소 사이의 경계로 검출한다(S1204).
만일 S1203 후, 계산된 통계적 특성 차이가 미리 정해진 임계 값 미만이면, 영상 경계 검출 장치(400)는 S1201 내지 S1203 과정을 수행하여 가상 윈도를 확장시킨 제2 확장 가상 윈도를 설정한 후, 제2 확장 가상 윈도 내에서 재선정된 제1 화소가 포함되는 영역과 제2 화소가 포함되는 영역의 통계적 특성 차이를 계산할 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 영상 경계 검출 장치(경계선 이용)
200 : 영상 경계 검출 장치(경계면 이용)
110, 210 : 화소별 가상 윈도 적용부
120, 220 : 통계적 특성 계산부
130, 230 : 경계 검출부
140, 240 : 경계 영상 생성부
150, 250 : 제어부
160, 260: 저장부
300 : 영상 경계 검출 장치(region growing)
310 : 이질 화소 선택부
320 : 영역 병합부
330 : 통계적 특성 계산부
340 : 경계 검출부
350 : 경계 영상 생성부
360 : 제어부
370 : 저장부
400 : 영상 경계 검출 장치(경계가 없다고 판단된 경우 2차 검증)
410 : 화소 선정부
420 : 가상 윈도 설정부
430 : 통계적 특성 계산부
440 : 경계 검출부
450 : 경계 영상 생성부
460 : 제어부
470 : 저장부

Claims (19)

  1. 영상의 경계를 검출하는 장치에 있어서,
    상기 영상의 각 화소별로, 미리 정해진 서로 다른 형태의 경계선을 가지는 일정 면적의 가상 윈도(window)를 적용 - 상기 경계선은 상기 가상 윈도의 중심 화소를 지나며, 상기 영상의 해당 화소가 상기 중심 화소에 위치하도록 함 - 하는 화소별 가상 윈도 적용부;
    상기 적용된 각 가상 윈도별로 상기 경계선에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 계산하는 통계적 특성 계산부;
    상기 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계선을 상기 각 화소에서의 경계로 검출하는 경계 검출부; 및
    상기 검출된 각 화소에서의 경계를 연결하여 경계 영상을 생성하는 경계 영상 생성부를 포함하는 것을 특징으로 하는 영상 경계 검출 장치.
  2. 영상의 경계를 검출하는 장치에 있어서,
    상기 영상의 각 화소별로 미리 정해진 서로 다른 형태의 경계면을 가지는 일정 면적의 가상 윈도(window)를 적용 - 상기 경계면은 상기 가상 윈도의 중심 화소를 포함하며, 상기 영상의 해당 화소가 상기 중심 화소에 위치하도록 함 - 하는 화소별 가상 윈도 적용부;
    상기 적용된 각 가상 윈도별로 화소간의 경계면에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 계산하는 통계적 특성 계산부;
    상기 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 화소간의 경계면을 상기 각 화소에서의 경계로 검출하는 경계 검출부; 및
    상기 검출된 각 화소에서의 경계를 연결하여 경계 영상을 생성하는 경계 영상 생성부를 포함하는 것을 특징으로 하는 영상 경계 검출 장치.
  3. 영상의 경계를 검출하는 장치에 있어서,
    상기 영상의 각 화소(이하, '기준 화소'라 칭함)별로, 일정 면적의 가상 윈도를 적용 - 상기 기준 화소가 상기 가상 윈도의 중심 화소에 위치하도록 함 - 하고, 상기 가상 윈도 내에서 상기 기준 화소의 주변에 위치하는 화소들 중 상기 기준 화소와의 화소 값 차이를 이용하여 이질 화소를 선택하는 이질 화소 선택부;
    상기 가상 윈도 내에서 상기 기준 화소 및 상기 선택된 이질 화소를 기점으로 화소 값에 기초한 영역 병합(region growing)을 각각 수행하는 영역 병합부;
    상기 가상 윈도 내에서 상기 각각의 영역 병합에 의해 구분되어 경계를 형성하는 두 영역에 대한 통계적 특성 차이를 계산하는 통계적 특성 계산부;
    상기 기준 화소와 상기 기준 화소 주변의 모든 이질 화소간에 각각 수행된 상기 영역 병합에 의한 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계를 상기 기준 화소에서의 경계로 검출하는 경계 검출부; 및
    상기 검출된 각 화소에서의 경계를 연결하여 경계 영상을 생성하는 경계 영상 생성부를 포함하는 것을 특징으로 하는 영상 경계 검출 장치.
  4. 삭제
  5. 제1 항 내지 제3 항 중 어느 하나에 있어서,
    상기 통계적 특성은 바타차야 거리(Bhattacharya distance)를 이용하는 것을 특징으로 하는 영상 경계 검출 장치.
  6. 제1 항 내지 제3 항 중 어느 하나에 있어서,
    상기 통계적 특성 계산부는
    상기 가상 윈도 내에서 구분되는 상기 두 영역에 하나 이상의 아웃라이어(outliers)가 존재하는 경우, 상기 아웃라이어를 제거하고 상기 두 영역에 대한 통계적 특성 차이를 계산하되,
    상기 아웃라이어는 상기 아웃라이어가 존재하는 영역의 평균 화소 값과 상기 아웃라이어의 화소 값의 통계적 차이가 미리 정해진 임계 값 이상인 경우 아웃라이어로 판단되는 것을 특징으로 하는 영상 경계 검출 장치.
  7. 제1 항 내지 제3 항 중 어느 하나에 있어서,
    상기 가상 윈도의 일정 면적은 N X N의 화소로 구성되는 크기를 가지며 상기 N은 1보다 큰 홀수인 것을 특징으로 하는 영상 경계 검출 장치.
  8. 영상의 경계를 검출하는 장치에 있어서,
    상기 영상의 각 화소(이하, "기준 화소"라 칭함)별로, 일정 면적의 가상 윈도를 적용 - 상기 기준 화소'가 상기 가상 윈도의 중심 화소에 위치하도록 함 - 하고 상기 가상 윈도내에 경계가 없다고 판단되면, 상기 가상 윈도의 크기를 확대하는 가상 윈도 설정부;
    상기 확대된 가상 윈도 내에서 제1 화소 및 제2 화소를 선정하는 화소 선정부;
    상기 가상 윈도에서, 상기 제1 화소가 포함되는 제1 영역과 상기 제2 화소가 포함되는 제2 영역에 대한 통계적 특성 차이를 계산하는 통계적 특성 계산부; 및
    상기 계산된 통계적 특성 차이 값이 미리 정해진 임계 값 이상이면, 상기 가상 윈도의 중심을 상기 제1 화소와 제2 화소 사이의 경계로 검출하는 경계 검출부
    를 포함하되,
    상기 가상 윈도 설정부는
    상기 제1 영역과 제2 영역간 통계적 특성 차이가 미리 정해진 임계 값 미만이면 상기 가상 윈도를 제2 일정 면적으로 확장 -블랭크 영역을 중심으로 확장됨 - 시키며,
    상기 화소 선정부는
    상기 확장된 가상 윈도 내에서 상기 제1 화소와 상기 제2 화소를 재선정하고,
    상기 확장된 가상 윈도에서, 상기 제1 화소가 포함되는 제3 영역과 상기 제2 화소가 포함되는 제4 영역에 대한 통계적 특성 차이를 계산하고,
    상기 경계 검출부는
    상기 계산된 통계적 특성 차이 값이 미리 정해진 임계 값 이상이면, 상기 확장된 가상 윈도의 상기 블랭크 영역 또는 상기 블랭크 영역의 중심을 상기 제1 화소와 제2 화소 사이의 경계로 검출하는 것을 특징으로 하는 영상 경계 검출 장치.
  9. 삭제
  10. 제8 항에 있어서,
    상기 가상 윈도 설정부는
    상기 가상 윈도를 상기 블랭크 영역을 중심으로 확장 시, 상기 제1 화소와 상기 제2 화소의 대칭 축에 상응하여 확장시키는 것을 특징으로 하는 영상 경계 검출 장치.
  11. 영상 경계 검출 장치가 영상의 경계를 검출하는 방법에 있어서,
    (a) 상기 영상의 화소에 미리 정해진 형태의 경계선을 가지는 일정 면적의 가상 윈도(window)를 적용 - 상기 경계선은 상기 가상 윈도의 중심 화소를 지나며, 상기 영상의 화소가 상기 중심 화소에 위치하도록 함 - 하는 단계;
    (b) 상기 적용된 가상 윈도별로 상기 경계선에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 계산하는 단계;
    (c) 상기 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계선을 상기 화소에서의 경계로 검출하는 단계; 및
    (d) 상기 검출된 각 화소에서의 경계를 연결하여 경계 영상을 생성하는 단계를 포함하되,
    상기 (a) 단계 내지 상기 (c) 단계는 상기 영상의 각 화소별로 수행되는 것을 특징으로 하는 영상 경계 검출 방법.
  12. 영상 경계 검출 장치가 영상의 경계를 검출하는 방법에 있어서,
    (a) 상기 영상의 화소별로 미리 정해진 형태의 경계면을 가지는 일정 면적의 가상 윈도(window)를 적용 - 상기 경계면은 상기 가상 윈도의 중심 화소를 포함하며, 상기 영상의 화소가 상기 중심 화소에 위치하도록 함 - 하는 단계;
    (b) 상기 적용된 가상 윈도별로 상기 경계면에 의해 구분되는 두 영역에 대한 통계적 특성 차이를 계산하는 단계;
    (c) 상기 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계면을 상기 화소에서의 경계로 검출하는 단계; 및
    (d) 상기 검출된 각 화소에서의 경계를 연결하여 경계 영상을 생성하는 단계를 포함하되,
    상기 (a) 단계 내지 상기 (c) 단계는 상기 영상의 각 화소별로 수행되는 것을 특징으로 하는 영상 경계 검출 방법.
  13. 영상 경계 검출 장치가 영상의 경계를 검출하는 방법에 있어서,
    (a) 상기 영상의 화소(이하 '기준 화소'이라 칭함)별로 일정 면적의 가상 윈도를 적용 - 상기 기준 화소가 상기 가상 윈도의 중심 화소에 위치하도록 함 - 하고, 상기 가상 윈도 내에서 상기 기준 화소의 주변에 위치하는 화소들 중 상기 기준 화소와의 화소 값 차이를 이용하여 이질 화소를 선택하는 단계;
    (b) 상기 가상 윈도 내에서 상기 기준 화소 및 상기 선택된 이질 화소를 기점으로 화소 값에 기초한 영역 병합(region growing)을 각각 수행하는 단계;
    (c) 상기 가상 윈도 내에서 상기 각각의 영역 병합에 의해 구분되어 경계를 형성하는 두 영역에 대한 통계적 특성 차이를 계산하는 단계;
    (d) 상기 가상 윈도 내의 나머지 모든 이질 화소에 대하여 상기 (b) 단계와 상기 (c) 단계를 통해, 각 가상 윈도 내에서 상기 각각의 영역 병합에 의해 구분되어 경계를 형성하는 두 영역에 대한 통계적 특성 차이를 계산하는 단계;
    (e) 상기 (c) 단계와 상기 (d) 단계에서 계산된 통계적 특성 차이 값들 중 가장 큰 값에 해당하는 가상 윈도를 추출하고, 상기 추출된 가상 윈도의 경계를 상기 기준 화소에서의 경계로 검출하는 단계; 및
    (f) 상기 검출된 각 화소에서의 경계를 연결하여 경계 영상을 생성하는 단계를 포함하되,
    상기 (a) 단계 내지 상기 (e) 단계는 상기 영상의 각 화소별로 수행되는 것을 특징으로 하는 영상 경계 검출 방법.
  14. 삭제
  15. 제11 항 내지 제13 항 중 어느 하나에 있어서,
    상기 통계적 특성은 바타차야 거리(Bhattacharya distance)를 이용하는 것을 특징으로 하는 영상 경계 검출 방법.
  16. 영상 경계 검출 장치가 영상의 경계를 검출하는 방법에 있어서,
    (a) 상기 영상의 각 화소별로, 미리 정해진 서로 다른 형태의 경계선을 가지는 일정 면적의 가상 윈도(window)를 적용 - 상기 경계선은 상기 가상 윈도의 중심 화소를 지나며, 상기 영상의 해당 화소가 상기 중심 화소에 위치하도록 함 - 하는 단계;
    (b) 상기 가상 윈도 내에서 제1 화소 및 제2 화소를 선정하는 단계;
    (c) 상기 가상 윈도에서, 상기 제1 화소가 포함되는 제1 영역과 상기 제2 화소가 포함되는 제2 영역에 대한 통계적 특성 차이를 계산하는 단계; 및
    (d) 상기 계산된 통계적 특성 차이 값이 미리 정해진 임계 값 이상이면, 상기 가상 윈도의 중심을 상기 제1 화소와 제2 화소 사이의 경계로 검출하는 단계를 포함하되,
    상기 단계 (a)는 상기 제1 영역과 제2 영역간 통계적 특성 차이가 미리 정해진 임계 값 미만이면 상기 가상 윈도를 제2 일정 면적으로 확장 -블랭크 영역을 중심으로 확장됨 - 시키고, 상기 확장된 가상 윈도 내에서 상기 제1 화소와 상기 제2 화소를 재선정하며,
    상기 단계 (b)는 상기 확장된 가상 윈도 내에서 상기 제1 화소와 상기 제2 화소를 재선정하고,
    상기 단계 (c)는 상기 확장된 가상 윈도에서, 상기 제1 화소가 포함되는 제3 영역과 상기 제2 화소가 포함되는 제4 영역에 대한 통계적 특성 차이를 계산하며,
    상기 단계 (d)는 상기 계산된 통계적 특성 차이 값이 미리 정해진 임계 값 이상이면, 상기 확장된 가상 윈도의 상기 블랭크 영역 또는 상기 블랭크 영역의 중심을 상기 제1 화소와 제2 화소 사이의 경계로 검출하는 것을 특징으로 하는 영상 경계 검출 방법.
  17. 삭제
  18. 제16 항에 있어서,
    상기 단계 (a)는
    상기 가상 윈도를 상기 블랭크 영역을 중심으로 확장 시, 상기 제1 화소와 상기 제2 화소의 대칭 축에 상응하여 확장시키는 것을 특징으로 하는 영상 경계 검출 방법.
  19. 제11 항 내지 제13 항 및 제16 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 일련의 명령을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.





KR1020170076041A 2017-06-15 2017-06-15 영상의 경계 검출 방법 및 장치 KR101940402B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170076041A KR101940402B1 (ko) 2017-06-15 2017-06-15 영상의 경계 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170076041A KR101940402B1 (ko) 2017-06-15 2017-06-15 영상의 경계 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180136810A KR20180136810A (ko) 2018-12-26
KR101940402B1 true KR101940402B1 (ko) 2019-01-18

Family

ID=65006588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170076041A KR101940402B1 (ko) 2017-06-15 2017-06-15 영상의 경계 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101940402B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102386930B1 (ko) * 2019-11-28 2022-04-14 재단법인 경북아이티융합 산업기술원 도로 영상의 경계선 검출 장치 및 그 방법
CN113255637A (zh) * 2020-07-24 2021-08-13 深圳怡化电脑股份有限公司 图像边界的定位方法、图像处理设备、装置和存储介质
KR102535231B1 (ko) * 2021-05-12 2023-05-26 한국전기안전공사 용융흔의 경계선 선정 및 선명도 결정 방법과 그 시스템
CN118071784B (zh) * 2024-04-19 2024-06-21 西安鼎宣机电科技有限公司 一种基于图像处理的自动化热压机对正方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008026186A (ja) * 2006-07-21 2008-02-07 Matsushita Electric Works Ltd 画像処理による隙間検出方法およびその装置
KR101556600B1 (ko) * 2014-11-27 2015-10-01 연세대학교 산학협력단 다차원 영상 경계추출 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008026186A (ja) * 2006-07-21 2008-02-07 Matsushita Electric Works Ltd 画像処理による隙間検出方法およびその装置
KR101556600B1 (ko) * 2014-11-27 2015-10-01 연세대학교 산학협력단 다차원 영상 경계추출 장치 및 그 방법

Also Published As

Publication number Publication date
KR20180136810A (ko) 2018-12-26

Similar Documents

Publication Publication Date Title
JP6972757B2 (ja) 制御プログラム、制御方法、及び情報処理装置
JP6972756B2 (ja) 制御プログラム、制御方法、及び情報処理装置
KR101940402B1 (ko) 영상의 경계 검출 방법 및 장치
KR102144706B1 (ko) 합성곱 신경망 기반의 도로 검출 장치 및 방법
US10460232B2 (en) Method and apparatus for classifying data, and method and apparatus for segmenting region of interest (ROI)
JP2018520428A (ja) 画像処理方法及び装置
KR20120061764A (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
KR101711949B1 (ko) 이미지 융합 방법 및 장치
EP2347388B1 (en) Method, apparatus and software for determining motion vectors
KR101909544B1 (ko) 평면 검출 장치 및 방법
KR101086402B1 (ko) 영상 분할 방법
JP2016029546A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR101507732B1 (ko) 영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체
JP5777390B2 (ja) 情報処理方法及び装置、パターン識別方法及び装置
KR102158390B1 (ko) 영상 처리 방법 및 장치
KR101841966B1 (ko) 영상에서 이동 객체 그림자 제거 방법 및 장치
JP5192437B2 (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
EP3043315B1 (en) Method and apparatus for generating superpixels for multi-view images
JP6030457B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
KR101506812B1 (ko) 랜덤 포레스트와 이진 패턴 반복 길이 행렬을 이용한 얼굴 자세 추정 방법
JP6754717B2 (ja) 物体候補領域推定装置、物体候補領域推定方法、及び物体候補領域推定プログラム
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
JP6272219B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR102240570B1 (ko) 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치
RU2470368C2 (ru) Способ обработки изображений

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170615

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180615

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190111

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190114

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190114

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20221025