KR101032446B1 - 영상의 정점 검출 장치 및 방법 - Google Patents

영상의 정점 검출 장치 및 방법 Download PDF

Info

Publication number
KR101032446B1
KR101032446B1 KR1020090115365A KR20090115365A KR101032446B1 KR 101032446 B1 KR101032446 B1 KR 101032446B1 KR 1020090115365 A KR1020090115365 A KR 1020090115365A KR 20090115365 A KR20090115365 A KR 20090115365A KR 101032446 B1 KR101032446 B1 KR 101032446B1
Authority
KR
South Korea
Prior art keywords
straight line
candidate straight
vertex
candidate
image
Prior art date
Application number
KR1020090115365A
Other languages
English (en)
Inventor
우운택
장영균
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020090115365A priority Critical patent/KR101032446B1/ko
Priority to EP10833483.0A priority patent/EP2528035B1/en
Priority to US13/512,188 priority patent/US8867784B2/en
Priority to PCT/KR2010/007485 priority patent/WO2011065671A2/ko
Application granted granted Critical
Publication of KR101032446B1 publication Critical patent/KR101032446B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 낮은 센싱 정밀도를 갖는 터치 입력부를 이용하더라도 정점 검출을 위한 사용자의 인터렉션을 최소화하여 정점 검출 시간을 단축하고 정확도가 높게 정점을 검출할 수 있는 영상의 정점 검출 장치 및 그 방법에 관한 것이다. 이를 위하여 본 발명의 실시예에 따른 영상의 정점 검출 방법은 영상의 정점 위치를 입력받는 단계; 상기 입력된 정점 위치를 포함하는 관심영역(ROI)을 설정하고, 상기 관심영역 내의 영상으로부터 복수의 에지를 검출하는 단계; 상기 복수의 에지에 기초하여 최적의 정점을 검출하기 위한 후보 직선군을 검출하는 단계; 및 상기 후보 직선군 중에서 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적의 정점으로 검출하는 단계를 포함하여 이루어진다.
낮은 센싱도, 관심영역(ROI), 에지 검출, 허프 변환, 후보 직선군, 기준 후보직선, 정점 검출

Description

영상의 정점 검출 장치 및 방법{Apparatus and method for detecting a vertex on the screen of a mobile terminal}
본 발명은 영상에서 정점을 검출하는 장치 및 방법에 관한 것으로서, 보다 상세하게는 사용자에 의해서 입력된 관심영역(RIO) 내의 정점을 기반으로 최적의 정점을 검출하는 장치 및 방법에 관한 것이다.
근래에는 미리 촬영한 실세계의 객체 영상을 배경에 두고 객체의 정점 좌표를 선택, 조정하는 과정을 거쳐서 객체를 모델링 하는 기술이 각광받고 있다.
일반적으로 객체 모델링을 위해서는 사용자가 객체의 정점을 선택하는 단계와 선택한 점을 정확한 위치로 조정하는 두 단계를 수행해야 한다. 이와 같은 객체 모델링 과정에서의 정점 검출은 많은 사용자의 인터랙션과 느린 처리 시간을 가지는 알고리즘을 이용하여 수행되었고, 또한 모바일 폰에서는 시도된 적이 없으므로 현장에서(in situ)는 모델링 할 수 없었다.
이와 같은 객체 모델링은 모바일 폰에서 수행되는 경우에는 탑재된 터치스크린의 낮은 센싱 정밀도에 따라 정확한 정점 선택과 세밀한 조정이 요구되면, 사용자에게 많은 인터랙션을 요구함으로써 피로감을 유발한다.
도 1은 종래 기술에 따른 모델링 단계 중 정점 검출을 위한 순서도이다.
하나의 종래기술에서, 헨젤(Hengel)은 실세계의 객체 모델링을 위하여, 비디오 시퀀스(video sequence)를 입력으로 하여 장면(scene)을 모델링하는 방법 제안하였다. 상기 헨젤의 객체 모델링 방법에 관하여는 문헌 [A. v. d. Hengel, et al., "VideoTrace: Rapid Interactive Scene Modelling from Video," ACM Transactions on Graphics, vol. 26, no.3, article 86, July, 2007.]에 상세히 개시되어 있다.
도 1을 참조하면, 이 방법은 객체의 정점 선택을 위해 비디오의 각 프레임(frame)의 전체 영상을 세그멘테이션(segmentation)하고 슈퍼픽셀(superpixels) 기반으로 에지(edge) 탐색을 수행한다. 하지만 연산 능력이 낮은 모바일 폰에서 이 과정은 많은 처리 시간을 소요하는 문제가 있다. 또한 헨젤(Hengel)의 방법은 정확한 위치의 정점 선택을 위해서 마우스 입력 기반 선택과 조정 단계를 반복적으로 수행하는데 이도 역시 낮은 센싱 정밀도를 가지는 터치스크린을 탑재한 모바일 폰에서는 정확한 선택과 세밀한 조정에 문제가 있다.
상기 슈퍼픽셀 기반 에지 탐색에 관하여는 문헌 [X. Ren, et al., "Learning a Classification Model for Segmentation," In Proc. 9th ICCV, vol. 1, pp. 10-17, 2003.]에 상세히 개시되어 있다.
다른 종래기술에서, 깁슨(Gibson)은 현실 세계의 건물을 3차원 구조로 복원(reconstruction)하기 위한 모델링 방법 중에서, 정점을 바로 선택하지 않고 기본이 되는 뼈대 상자 모델(frame box model)을 영상에 겹쳐 놓고 제시된 모델의 정 점을 영상에 있는 건물의 정점으로 반복 조정하여 맞추도록 하는 방법을 제안하였다. 하지만 이 방법도 헨젤(Hengel)의 방법과 마찬가지로 모바일 폰 환경에서 세밀한 조정을 하기에는 어려움이 있다.
상기 깁슨의 모델링 방법에 관하여는 문헌 [S. Gibson, et al., "Interactive Reconstruction of Virtual Environments from Video Sequences," Computers & Graphics, vol. 27, pp. 293-301, 2003.]에 상세히 개시되어 있다.
본 발명의 목적은, 정점 검출을 위한 사용자의 인터렉션을 최소화하고, 정점을 형성하는 후보 직선군 가운데 정점 형성 가능성이 낮은 직선을 미리 제거함으로써 정점 검출을 위한 영상 처리 속도를 향상시키고, 에러율을 최소화하는 영상의 정점 검출 장치 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은, 낮은 센싱 정밀도(오차 10픽셀 미만)의 터치스크린를 를 탑재한 장치에서 높은 정확도를 요구하는 객체모델링 등의 비전 응용에 적용가능한 영상의 정점 검출 장치 및 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은, 낮은 센싱 정밀도의 터치스크린을 이용하여 객체 모델링을 하는 경우에도 사용자에게 최소한(한번)의 인터랙션을 요구함으로써 정점 검출시 세밀한 조정의 과정이 생략하여 사용자에게 편의성을 제공하는 영상의 정점 검출 장치 및 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 실시예들에 따른 영상의 정점 검출 장치는 영상을 표시하고, 상기 영상의 정점 위치를 입력받는 UI부; 상기 입력된 정점 위치를 포함하는 관심영역을 설정하는 관심영역(ROI) 설정부; 상기 관심영역 내의 영상으로부터 복수의 에지를 검출하고, 그 검출된 복수의 에지에 기초하여 후보 직선군(直線群)을 검출하는 에지 검출부; 및 상기 후보 직선군 중에서 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적 정점으로 검출하는 정점 검출부를 포함한다.
상기 UI부는 10 픽셀 미만의 오차의 센싱 정밀도를 갖는 표시부를 포함하는 것이 바람직하다.
상기 표시부는 모바일폰에 형성된 터치스크린이고, UI를 구현하는 것을 특징으로 한다.
상기 관심영역 설정부는 상기 관심영역을 상기 선택 위치로부터 기설정된 범위 사각형상으로 설정하는 것을 특징으로 한다.
상기 에지 검출부는, 상기 관심영역의 영상에 대하여 가우시안 블러(gassian blur) 함수를 적용하여 카메라 영상 잡음을 제거하고, 에지 검출기(canny edge detector)를 이용하여 에지를 검출하는 것을 특징으로 한다.
상기 에지 검출부는, 상기 에지에 허프 변환(hough transform)을 적용하여 각도 및 거리의 매개변수 집합으로 표시되는 상기 후보 직선군으로 변환하는 것을 특징으로 한다.
상기 에지 검출부는, 상기 후보 직선군을 허프 변환 수행시 보우팅(voting)된 회수가 많은 순서로 나열하는 것을 특징으로 한다.
상기 정점 검출부는, 상기 후보 직선군 가운데 가장 많이 보우팅된 후보 직선을 상기 기준 후보직선으로 설정하는 것을 특징으로 한다.
상기 정점 검출부는, 상기 기준 후보직선의 각도와 상기 후보 직선군의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선 군의 거리의 차이가 임계 거리 미만이면, 해당 후보 직선군을 제거하는 것을 특징으로 한다.
상기 정점 검출부는, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만인 해당 후보 직선을 기준 후보직선군에서 제거하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 실시예들에 따른 영상의 정점 검출 방법은 영상의 정점 위치를 입력받는 단계; 상기 입력된 정점 위치를 포함하는 관심영역(ROI)을 설정하고, 상기 관심영역 내의 영상으로부터 복수의 에지를 검출하는 단계; 상기 복수의 에지에 기초하여 최적의 정점을 검출하기 위한 후보 직선군을 검출하는 단계; 및 상기 후보 직선군 중에서 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적의 정점으로 검출하는 단계를 포함한다.
상기 에지 검출단계는, 상기 관심영역의 영상에 대하여 가우시안 블러(gaussian blur) 함수를 적용하여 영상잡음을 제거하고, 에지 검출기(canny edge detector)를 이용하여 에지를 검출하는 것을 특징으로 한다.
상기 후보 직선군 검출단계는, 상기 복수의 에지에 허프 변환(hough transform) 함수를 적용하여 각도 및 거리의 매개변수로 표시되는 상기 후보 직선군으로 변환하는 것을 특징으로 한다.
상기 후보 직선군 검출단계는, 상기 후보 직선군을 허프 변환 수행시 보우팅(voting)된 회수가 많은 순서로 나열하는 것을 특징으로 한다.
상기 정점 검출단계는, 상기 후보 직선군 가운데 가장 많이 보우팅된 후보 직선을 상기 기준 후보직선으로 설정하는 것을 특징으로 한다.
상기 정점 검출단계는, 상기 기준 후보직선의 각도와 상기 후보 직선군의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만이면, 해당 후보 직선군을 제거하는 것을 특징으로 한다.
상기 정점 검출단계는, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만인 해당 후보 직선을 기준 후보직선군에서 제거하는 것을 특징으로 한다.
본 발명의 실시예들에 따른 영상의 정점 검출 장치 및 방법은, 객체 모델링 과정에서의 정점 검출시에 센싱 정밀도가 낮은 터치스크린 모바일 폰에서 기존의 정점 조정 단계 없이도 정확하게 정점을 검출할 수 있는 효과가 있다.
본 발명의 실시예들에 따른 영상의 정점 검출 장치 및 방법은, 정점 검출을 위한 사용자의 인터렉션을 최소화하고, 정점을 형성하는 후보 직선군 가운데 정점 형성 가능성이 낮은 직선을 미리 제거함으로써 정점 검출을 위한 영상 처리 속도를 향상시키고, 에러율을 최소화할 수 있는 효과가 있다.
본 발명의 실시예들에 따른 영상의 정점 검출 장치 및 방법은, 낮은 센싱 정 밀도의 터치스크린을 이용하여 객체 모델링을 하는 경우에도 정점 검출시 높은 정밀도를 얻을 수 있어 객체 모델링 장치의 제조원가를 낮출 수 있는 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하며, 단수로 기재된 용어도 복수의 개념을 포함할 수 있다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 2는 본 발명의 실시예에 따른 영상의 정점 검출 장치의 기능 블록도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 영상의 정점 검출 장치(100)는 UI(100), 스크린(120), 관심영역(ROI) 설정부(150), 에지 검출부(140) 및 정점 검출부(130)를 포함하여, 사용자에 의하여 선택된 정점 입력에 기초하여 최적의 정점을 검출한다.
본 실시예에서는 상기 UI는 모바일 환경에서 상기 스크린 상에서 구현된다.
상기 스크린은 10 픽셀 미만의 오차의 센싱 정밀도를 갖는 모바일폰에 형성된 터치스크린이고, 상기 터치 스크린 상에서 상기 UI가 구현된다. 상기 터치 스크 린은 정점 검출 영상을 표시하고, 사용자로부터 상기 영상의 정점 위치를 입력받는다.
사용자의 터치에 의하여 정점에 대한 위치 정보가 입력되면, 상기 관심영역(ROI) 설정부(150)는 상기 정점의 위치를 포함하도록 영상의 일정 영역을 정점 검출 대상 영역으로 설정한다. 이 경우에 상기 관심영역은 상기 입력된 정점 위치를 중심부로하는 원형 또는 사각 형상으로 설정되는 것이 가능하다.
상기 에지 검출부(130)는, 상기 관심영역의 영상에 대하여 가우시안 블러(gassian blur) 함수를 적용하여 카메라 영상 잡음을 제거하고, 캐니 에지 검출기(canny edge detector)를 이용하여 에지를 검출한다. 본 실시예에서는 캐니 에지 검출기가 사용되었나, 로버츠(Roberts) 에지 검출기, 소벨(Sobel) 에지 검출기, 프리윗(Prewitt) 에지 검출기 등의 다른 에지 검출기가 사용되는 것이 가능하다.
상기 에지 검출부(130)는, 상기 검출된 에지에 허프 변환(hough transform)을 적용하여 각도 및 거리의 매개변수로 표시되는 상기 후보 직선군으로 변환한다. 이 경우에 상기 에지 검출부(130)는, 허프 변환 수행시에 상기 후보 직선군을 보우팅(voting)된 회수가 많은 순서로 나열한다. 즉, 상기 에지 검출부는, 이미지 영역에서 복수의 에지 가운데 직선의 길이가 긴 순서대로 상기 복수의 에지에 대응되는 허프 영역에서의 변환값을 나열한다.
상기 정점 검출부(130)는 상기 후보 직선군 중에서 임의의 후보 직선을 기준 후보직선으로 설정할 수 있고, 기준 후보직선이 설정되면 기준 후보직선과 평행하거나 기설정된 오차각 이내에서 평행한 후보 직선을 제거하고, 나머지 후보 직선인 기준 후보직선과 수직하거나 기설정된 오차각 내에서 유사 수식한 직선과의 교점을 구한다. 상기 나열된 순서에서 가장 먼저 나열된 후보 직선을 기준 후보직선으로 설정하는 것이 바람직하다.
상기와 같이 기준 후보직선과 평행하거나 기설정된 오차각 이내에서 평행한 후보 직선을 제거하는 알고리즘을 수행함으로써, 이후 과정에서의 교점을 산출하는 시간이 훨씬 단축될 수 있다.
이와 같이 가장 많은 수로 보우팅 후보 직선을 기준 후보직선으로 설정함으로써, 노이즈에 의하여 생성된 후보 직선이 기준 후보직선으로 설정된 경우에 지배적인 값을 갖는 후보 직선이 제거되는 것을 방지할 수 있다.
상기 정점 설정부(130)는 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적 정점으로 검출한다.
즉, 상기 정점 검출부(130)는, 상기 기준 후보직선의 각도와 상기 후보 직선군의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만이면, 해당 후보 직선군을 제거한다.
상기 정점 검출부(130)는, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만인 해당 후보 직선을 기준 후보직선군에서 제거한다. 이와 같은 지배적인 후보 직선으로 기준 후보직선군을 설정함으로써, 정점 검출시에 소요되는 시간을 단축할 수 있다.
도 3은 본 발명의 실시예에 따른 영상의 정점 검출 방법의 순서도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 영상의 정점 검출 방법은 영상의 정점 위치를 입력받는 단계(S10); 상기 입력된 정점 위치를 포함하는 관심영역(ROI)을 설정하고, 상기 관심영역 내의 영상으로부터 복수의 에지를 검출하는 단계(S20); 상기 복수의 에지에 기초하여 최적의 정점을 검출하기 위한 후보 직선군을 검출하는 단계(S30); 및 상기 후보 직선군 중에서 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적의 정점으로 검출하는 단계(S30)를 포함한다.
상기 에지 검출단계(S20)는, 상기 관심영역의 영상에 대하여 가우시안 블러(gaussian blur) 함수를 적용하여 영상잡음을 제거하고(S21), 캐니 에지 검출기(canny edge detector)를 이용하여 에지를 검출한다(S22).
상기 후보 직선군 검출단계(S31)는, 상기 복수의 에지에 허프 변환(hough transform) 함수를 적용하여 각도 및 거리의 매개변수로 표시되는 상기 후보 직선군으로 변환한다. 이 경우에 상기 후보 직선군 검출단계(S31)는, 상기 후보 직선군을 허프 변환 수행시 보우팅(voting)된 회수가 많은 순서로 나열하는 것이 바람직하다.
상기 정점 검출단계(S32)는, 상기 후보 직선군 가운데 임의의 후보 직선을 기준 후보직선으로 선택하는 것이 가능하며 상기 후보 직선군의 모두 후보 직선은 기준 후보직선이 된다. 이 경우에도 가장 많이 보우팅된 후보 직선을 상기 기준 후 보직선으로 설정하는 것이 바람직하다.
상기 정점 검출단계(S32)는, 상기 기준 후보직선의 각도와 상기 후보 직선군의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만이면, 해당 후보 직선군을 제거한다.
상기 정점 검출단계(S32)는, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만인 해당 후보 직선을 기준 후보직선군에서 제거하는데, 이와 같은 알로리즘을 수행함으로써, 노이즈에 의해서 발생한 지배적이지 않은 후보 직선이 기준 후보직선으로 설정되어 지배적인 후보 직선이 제거되는 것을 방지할 수 있고, 또한 정점 검출 시간을 단출할 수 있다.
이하에서는 도 4 내지 도 10을 참조하여 본원 발명이 터치스크린을 장착한 모바일 폰에서 객체모델링시에 정점 검출에 적용된 예시를 상세히 설명하겠다.
도 4를 참조하여 관심영역(ROI)의 영상의 에지 검출 단계(S20)를 상세히 설명하겠다.
도 4는 사용자 입력 좌표 기반 관심영역(ROI) 설정 개념도를 나타내고 있다.
도 4를 참조하면, 상기 관심영역(ROI)은 사용자가 선택한 좌표를 기반으로 변수 r만큼 상하좌우로 공간을 넓혀서 영상에 설정된다. 그리고 좌측 상단 좌표(x-r, y-r)와 우측 하단 좌표(x+r, y+r)로 생성된 관심영역(ROI) 내에서는 카메라 잡음의 영향을 최소화하기 위해 가우시안 블러(gaussian blur) 함수가 적용되고(S21), 에지 검출을 위하여 캐니 에지 검출기(canny edge detector)가 적용되었 다(S22). 본 실시예에서는 캐니 에지 검출기가 사용되었나, 로버츠(Roberts) 에지 검출기, 소벨(Sobel) 에지 검출기, 프리윗(Prewitt) 에지 검출기 등의 다른 에지 검출기가 사용되는 것이 가능하다.
상기 캐니 에지 검출기에 관하여는 문헌 [ J. Canny, "A Computational Approach to Edge Detection," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 8, no. 6, pp. 679-714, 1986.]에 상세히 개시되어 있다.
본 실시예에서는 그림 4에서 보이는 바와 같이 카메라 입력 영상(640*480)에 적합한 정도의 관심영역(ROI)을 설정하기 위해 r의 값이 60 픽셀(pixel)로 설정된다. 상기 r의 값은 응용 및 터치스크린의 센싱 능력에 따라 개발자가 가변적으로 조정할 수 있다. 상기 관심영역은 사용자가 선택한 정점 위치를 중심부로하는 사각형상이나, 이와 같은 형상은 하나의 실시예에 불과한 것이며 원형형상 또는 삼각형상 등의 형상으로 설정되는 것이 가능하다.
도 5를 참조하여 허프 변환을 이용한 후보직선 검출단계(S31)를 상세히 설명하겠다.
본 실시예에서는 상기 검출된 에지에 대한 정보에 허프 변환을 적용하여 후보직선 검출 과정이 수행된다. 즉, 검출된 에지의 좌표 값을 입력으로 하는 허프 변환[5]에 의하여 후보직선이 검출된다. 이때 후보 직선 검출에 사용하는 허프 변환 방정식은 식 (1)과 같다.
ρ = x cosθ + y cosθ ---------------------------------------(1)
, 식 (1)에서 ρ는 직선과 직교방향으로 떨어져 있는 원점과의 거리를 나타내고 θ는 직선의 기울어진 각도를 나타낸다. 그리고 좌표 (xE, yE)는 캐니 에지 검출기를 이용하여 검출된 에지의 좌표 값을 나타낸다. 본 발명에 따른 알고리즘은 먼저 직선의 허프 변환 식(1)에 검출된 에지 좌표 집합 ES = {(xE1, yE1), (xE2, yE2), ..., (xEN, yEN)}를 적용함으로써 후보직선 N개에 대한 매개변수 집합 PS = {(ρL1, θL1), (ρL2, θL2), ..., (ρLN, θLN)}를 검출하였다. 이때 검출된 매개변수 집합 PS의 요소(element)들은 허프 변환 수행 시 가장 많은 수로 보우팅(voting) 된 순서대로 나열되어있다.
상기 허프 변환에 관하여는 문헌 [R. O. Duda, et al., "Use of the Hough Transformation to Detect Lines and Curves in Pictures," Communications of the ACM, vol. 15, pp. 11-15, 1972.]에 상세히 개시되어 있다.
집합 ES에서 EN는 캐니 에지 검출기를 통해 검출된 에지 픽셀의 총 개수이고 집합 PS의 LN은 허프 변환을 통해 검출한 후보직선의 총 개수이다. 본 실시예에서는 1차적으로 검출하고자 하는 후보직선의 총 개수 LN을 50으로 설정하였다. 이때 LN의 값은 응용 및 터치스크린의 센싱 능력에 따라 개발자가 가변적으로 조정할 수 있다.
도5를 참조하여, 제한된 범위 탐색을 통한 최적의 정점을 검출 단계(S32)를 상세히 설명하겠다.
상기 정점 검출 방법은 최적의 교점 좌표 선택을 위해 최적의 두 후보 직선을 선택하는 과정을 수반한다. 하지만 최악의 경우 LN개의 후보직선에 대해 각 LN번의 교점 검사를 수행해야만 최적의 교점좌표를 알 수 있게 된다. 이는 연산 능력이 부족한 모바일 폰에서 처리속도를 느리게 하는 문제가 있다. 따라서 본 실시예의 알고리즘은 LN개의 후보직선의 매개 변수에 대해 제한된 범위 탐색을 함으로써 연산량을 줄임과 동시에 최적의 교점을 검출한다.
실세계에서 객체 위의 한 정점(교점)에서 만나는 두 모서리(직선)는 서로 최소한의 각도 TT 정도의 각도 차이와 최소한의 거리 TR 정도의 거리 차이가 있다. 즉, 여기서 각도 TT정도의 각도 차이와 최소한의 거리 TR 정도 허프 변환을 통해 추천된 후보 직선들 중에 상기 차이를 가지지 않는 직선들은 객체의 같은 모서리(직선)를 나타내는 후보직선이거나 서로 교차하지 않는 두 모서리(직선)이다. 따라서 제안하는 알고리즘은 LN개의 후보 직선에 대해 다른 비교되는 직선과의 교점 검출 진행 여부를 식 (2)의 조건을 만족하는지를 먼저 검사함으로써 결정한다. 이로써, 매개변수의 탐색 범위를 제안함으로써 연산량을 줄임과 동시에 잘못된 교점 검출을 피할 수 있다.
Figure 112009072950129-pat00001
-------------(2)
, 식 (2)에서 (ρb, θb)는 도 5에서 보이는 바와 같이 기준(base) 후보직선의 매개변수를 나타내고 (ρc, θc)는 비교되는(compared) 후보직선의 매개변수를 의미한다. TT와 TR은 서로 비교되는 직선이 가지는 매개변수인 각도(θ)와 거리(ρ)에 대한 최소 차이 임계값으로써 본 논문에서는 각각 60도와 5픽셀로 설정하였다. 식 (2)에서 함수 Dif(tmp1, tmp2)는 매개변수 tmp1과 tmp2의 차이 값을 결과로 반환한다. 이때 tmp1과 tmp2의 값은 응용 및 터치스크린의 센싱 능력에 따라 개발자가 가변적으로 조정할 수 있다.
본 발명에 따른 알고리즘은 식 (2)에서 보이는 바와 같이 기준 후보직선의 θb와 비교 되는 다른 후보직선 θc의 차이가 TT 이상이고 기준 후보직선의 ρb와 비교 되는 다른 후보직선 ρc의 차이가 TR 이상인 경우에만 두 직선 간의 교점을 구한다. 결과적으로 식 (2)에서 함수 F(ρb, θb, ρc, θc)의 결과 값으로 true가 반환되었을 경우에만 교점 검출을 수행한다.
도 5는 관심영역(ROI)에서 검출된 후보직선 및 제한된 범위 탐색을 통한 최적의 교점 좌표 선택 과정 예시 개념도이다.
도 5를 참조하면, 기준 후보직선이 11인 경우에 θ11과 TT 미만의 차이가 나 는 후보직선 1, 2, 3 그리고 4와 기준 후보직선 11을 나타내는 다른 매개변수인 ρ11과 TR 미만의 차이가 나는 후보직선 10과 12의 경우는 교점 좌표 계산을 하지 않음으로써 속도향상의 결과를 얻을 수 있다.
도 5에서 보이는 예시와 같이 제한된 범위 탐색 기준으로 걸러진 후보직선 5, 6, 7, 8 그리고 9는 기준 후보직선 11과의 교점 좌표를 구하게 되고 각 교점 좌표들은 초기에 사용자가 입력한 좌표(x, y)와 픽셀 거리를 검사함으로써 가장 가까운 교점을 기준 후보직선 11에 대한 최적의 교점좌표로 선택하게 된다. 도 5에서 보이는 바와 같이 기준 후보직선 11의 경우 최적의 교점 좌표는 (x11, y11)이다. 결과적으로 최적의 교점좌표는 교점좌표 후보 집합 CS = {(x1, y1), (x2, y2), ..., (xLN, yLN)}의 요소 중 사용자 입력 좌표 (x, y)와의 픽셀 거리가 가장 가까운 후보 교점좌표가 최적으로 검출된다. 직선에 대한 허프 변환에서 교점 검출은 식 (3)과 같이 계산할 수 있다.
Figure 112009072950129-pat00002
------------------(3)
, 식 (3)에서 (xb, yb)는 매개변수 (ρb, θb)와 (ρc, θc)로 생성된 두 직선의 교점 좌표를 뜻한다.
본 실시예는 터치스크린 모바일 폰에서 허프 변환 기반의 정점 검출 알고리즘에 적용된 것이다. 모바일 폰에 내장된 카메라로부터 영상을 취득하기 위해서 해당 모바일 폰의 카메라 구동을 위한 API(application programming interface)를 사용하였다. 해당 API를 통해 취득된 영상은 RGB565 형태로 전달되었고 이 취득된 영상에 대한 기본적인 영상 처리는 ‘OpenCV’ 라이브러리를 사용하였다.
상기 ‘OpenCV’ 라이브러리에 관하여는 문헌 [Intel Open Source Computer Vision Library, http://sourceforge.net/projects/opencvlibrary/ (accessed on 2009. 09. 14)]에 상세히 개시되어 있다.
본 실시예는 비주얼 C++ 2005의 윈도우즈 모바일(windows mobile) 6.1 플랫폼에서 동작하도록 구현되었다. 사용자의 정점 선택 좌표 입력을 위해서는 모바일 폰에 내장된 터치스크린을 사용하였다. 하지만 이는 예를 보여주기 위한 일환으로 수행된 구현을 나타낸 것으로써, 실제 본 발명을 적용할 때에는 취득된 영상의 형태는 다른 형식의 영상을 사용할 수 있다.
또한 여기서 예시를 위해 구현된 환경 이외의 개발 환경에서 개발이 가능하며, API 및 OpenCV 라이브러리 역시 기본적인 카메라 구동 및 컴퓨터 비전 알고리즘을 간편하게 개발하기 위한 수단으로 사용한 것이다. 이는 전통적인 컴퓨터 비전 알고리즘을 구현해 놓은 라이브러리로써 이 라이브러리를 사용하지 않고서라도 제안하는 알고리즘의 성능 저하 없이 구현이 가능하다.
도 6은 관심영역(ROI) 에지 검출을 한 예시를 보이고 있다. 본 실시예는 먼저 사용자 입력을 통한 선택좌표를 기반으로 관심영역을 설정하고 캐니 에지 검출기를 이용하여 도 6과 같이 관심영역(ROI) 내의 에지를 검출하였다. 이 경우에 도 6(a)에서 보이는 바와 같이 객체의 무늬(texture) 또는 영상의 잡음으로 인해서 원하지 않는 에지가 많이 검출되는 문제가 생길 수 있다. 따라서 본 실시예에서는 도 6(b)와 같이 가우시안 블러 함수를 적용한 후에 에지를 검출하였다.
도 7은 허프 변환을 통한 직선 검출 및 제안하는 알고리즘을 통한 반자동식 정점 검출의 예시로서, 도 7(a)는 허프변환 기반 초기 후보직선 검출의 예시이고, 도 7(b)는 제안하는 알고리즘을 통한 주요직선 검출과 최적의 정점 검출의 예시이다. 본 실시예에서는 반자동식 정점 검출을 위해 먼저 도 7(a)에서 보이는 바와 같이 허프 변환을 통한 초기 후보직선을 검출한다. 그리고 검출된 후보직선은 도 5에서 보이는 바와 같이 제한된 범위의 매개변수 탐색을 통해 최적의 교점 좌표를 반자동식으로 검출한다. 본 실시예에서 검출된 정점의 결과는 도 7(b)와 같다.
도 8 내지 도 10의 각각은 본 발명에 따른 영상의 정점 검출 방법을 통한 객체의 평면 모델링 결과 예시로서, 도 8은 스마트 테이블 영상의 평면 모델링을 도시한 것이고, 도 9는 도 8과 다른 각도에서 촬영한 테이블 영상의 바깥쪽 정점 검출을 통한 평면 모델링((a):데스크탑, (b):모바일폰)을 도시한 것이고, 도 10은 폭 이 좁은 프레임을 포함하는 창문 영상의 정점 검출을 통한 평면 모델링(좌:데스크탑, 우:모바일폰)을 도시한 것이다.
도 9 내지 도10에서 검정색 선은 사용자의 실제 선택 좌표에 의한 모델링 결과이고 노란색 선은 제안하는 알고리즘을 이용하여 반자동적으로 검출된 정점 좌표로부터 모델링한 결과이다. 도 9 내지 도 10을 참조하면, 본 실시예에서는 낮은 센싱 정밀도의 터치스크린을 탑재한 모바일 폰에서의 부정확한 입력이 있는 경우에도 정확한 모델링이 수행되는 것을 알 수 있다. 도 9(b)와 도 10(b)는 실제 터치스크린 모바일 폰에서 본 발명에 따른 정점 검출 방법을 이용한 모델링 결과이고, 도 9(a)와 도 10(a)는 이를 보다 명확히 나타내기 위해서 데스크탑에서 수행한 결과를 보인 것이다. 도 10을 참조하면, 본 발명에 따른 정점 검출 방법은 폭이 좁은 곳에 위치한 정점 검출도 정확히 수행됨을 확인할 수 있다.
본 실시예에서는 터치스크린 모바일 폰으로 미리 촬영한 정지 영상을 이용하여 제안하는 알고리즘의 성능을 평가하였고, 이용한 영상은 탁자, 창문 등의 실내에서 볼 수 있는 객체를 각 3장씩 서로 다른 위치에서 촬영하여 구성하였다. 각 영상은 (640*480)크기이고 영상의 한 픽셀은 각 24 비트의 컬러 값을 가진다. 또한 본 논문에서는 3.3 인치의 터치스크린과 800MHz의 ARM11 프로세서 그리고 128MB SDRAM을 장착한 모바일 폰을 사용함으로써 실험을 진행하였다.
[ 표 1 ]
알고리즘 주요 단계 수행 시간 (ms)
min max
영상 블러링 0.0 9.0 2.5 2.9
에지 검출 1.0 3.0 1.5 0.5
허프 변환 69.0 245.0 159.3 70.0
정점 검출 1.0 8.0 4.4 1.9
총 수행 시간 142.0 294.0 237.6 23.9
표 1은 본 발명에 따른 정점 검출 방법의 수행시간을 나타낸 것이다.
표 1에서 보는 바와 같이 본 본 발명에 따른 정점 검출 방법의 주요 과정 중 허프 변환을 통해 후보직선을 검출하는 단계가 평균 159.3 ms로써 가장 많은 처리시간을 요구하였다. 이는 객체의 모서리(직선)가 어느 정도 위치에서 얼마만큼의 각도로 기울어져 있는지 알지 못하기 때문에 매개변수와의 범위를 세밀하게 탐색함으로써 생기는 문제이다. 이때 입력 값으로 이용되는 에지의 숫자가 많을수록 허프 변환의 처리 시간이 길어질 수 있는데 본 발명에 따른 정점 검출 방법은 한정된 ROI 영역을 설정하고 블러 함수를 적용함으로써 영상에서 노이즈가 되는 에지를 줄일 수 있었다. 따라서 본 발명에 따른 정점 검출 방법은 객체의 모서리(직선)를 나타내는 주요한 에지만을 사용하여 허프 변환을 수행할 수 있었고 인터랙션에 불편함이 없을 만큼의 빠른 처리속도를 얻을 수 있었다. 그리고 제한된 매개변수 범위 탐색으로 인해 정점 검출에 요구되는 수행시간은 알고리즘의 전체 처리 시간에 거의 영향을 미치지 않는 것을 확인할 수 있었다.
결과적으로, 본 발명에 따른 정점 검출 방법의 전체 수행 시간은 평균 237.6ms로써 이 수행 시간은 본 정점 검출 방법의 각 주요 절차 이외에도 내부적으로 수행된 영상 복사 및 형 변환 과정 등을 모두 포함한 결과이다. 본 발명에 따른 정점 검출 방법은 최적화 과정을 거침으로써 보다 향상된 처리 속도로 동작할 수 있다.
[표 2]
RMS 픽셀 에러 (pixel)
min max
모바일 폰의 터치스크린 센싱 정밀도 0.0 14.0 6.3 3.39
표 2는 일반 사용자가 터치스크린 모바일 폰을 이용하였을 때 어느 정도의 오류를 가지고 입력을 하는지에 대한 실험 결과로써, 모바일 폰의 터치스크린 센싱 정밀도의 측정 결과를 도시한 것이다.
도 11은 터치스크린의 센싱 정밀도 실험 과정을 도시한 것으로서, 도 11(a)는 표시된 첫 번째 타겟(점) 위치를 도시한 것이고, 도 11(b)는 타겟(점)이 나타나는 순서를 도시한 것이다.
도 11에서 보여지는 바와 같이, 미리 정해놓은 4개의 타겟(점)을 순차적으로 보여주는 모바일 폰 터치 디스플레이에 사용자가 최대한 정확한 위치를 터치하도록 하였다. 사용자로부터 각 타겟에 대하여 모두 100번의 터치 입력을 하도록 요청하여 정점좌표 데이터를 모으고 분석을 수행하였다. 표 2의 분석 결과를 통해서 알 수 있는 바와 같이, 미리 설정된 타겟의 위치와 사용자가 실제로 입력한 위치와의 RMS(Root Mean Square) 픽셀 에러는 평균(μ)이 6.3이고, 표준 편차(σ)가 3.39 정도의 픽셀 에러를 보인다. 이와 실험결과를 통하여 터치스크린 모바일 폰을 사용하면서 평균적으로 일어날 수 있는 센싱 에러로써 기존의 모델링 과정에서 반복적으 로 요구되는 정점 선택 및 정밀한 조정 단계를 모바일 폰에서 수행하기에는 어려움이 있다는 것을 알 수 있다.
[표 3]
RMS 픽셀 에러 (pixel)
min max
제안하는 알고리즘을 이용하지 않은 경우 1.0 11.0 5.7 2.8
제안하는 알고리즘을 이용한 경우 0.0 18.0 1.4 2.7
제안하는 방법의 검출 실패 경우(4회)를 제외한 실험 결과 0.0 3.0 0.9 0.7
표 3은 본 발명에 따른 정점 검출 방법을 적용하는 경우 정점 검출 정확도를 나타내는 것으로서, 사용자에게 영상 속 객체의 정점 선택과정을 100번 반복 수행한 결과이다.
표 3에서 알 수 있는 바와 같이 사용자가 종래 기술에 따라 객체 모델링을 위해 선택한 정점들은 객체의 실제 정점과 거리가 평균 5.7 픽셀 정도로 모바일 폰의 터치스크린 센싱 정밀도를 확인하기 위해 수행한 실험과 비슷한 정도의 픽셀 에러를 보였다. 반면 제안하는 알고리즘을 이용한 경우에는 1.4 픽셀 정도의 픽셀 에러를 보임으로써 제안하는 알고리즘을 사용하지 않은 경우에 비해 약 4.3 픽셀 정도의 정확도가 향상한 것을 확인 할 수 있었다. 이때 표준 편차는 2.7 픽셀로 안정적이지 않게 보일 수 있으나 이는 제안하는 알고리즘의 특성상 초기 사용자의 선택이 객체의 실제 정점과 멀리에 위치한 경우 선택된 위치와 가장 가까운 정점을 검출함으로써 생길 수 있는 오류이다. 본 실험에서 이와 같이 잘못 검출된 경우는 100번의 시도 중 총 4번 발생하였으며, 이 경우 검출된 정점은 15픽셀 정도의 픽셀 에러 값을 보였다. 사용자가 정확한 초기 입력을 하였다는 가정으로 이와 같은 잘못 검출된 정점 경우를 제거한 경우 제안하는 알고리즘은 표 3에서 보이는 바와 같이 평균 0.9 그리고 표준편차 0.7 정도의 픽셀 에러로써 강건한 검출 성능을 보이는 것을 확인할 수 있었다. 이로써 제안하는 알고리즘을 사용할 경우 뒤에 따르는 모델링 과정을 정점 조정과정 없이 정확한 정점 검출을 수행 할 수 있고 결과적으로 적은 인터랙션으로도 모바일 폰에서 손쉽게 모델링을 할 수 있음을 기대 할 수 있다.
상술한 바와 같이, 본 실시예에서는 사용자가 입력한 선택 좌표를 기준으로 ROI를 설정하고 그 영역 내에서 블러 함수를 적용한 뒤 에지를 검출함으로써 영상의 잡음에 강건하게 객체의 주요한 부분의 에지 검출을 할 수 있었다. 또한, 본 본 실시예에서는 허프 변환을 통해 검출된 후보직선에 대해 제한된 범위의 매개변수를 탐색함으로써 연산 능력이 부족한 모바일 폰에서도 모델링하기에 불편하지 않을 정도의 빠른 처리속도(237.6ms)로 정점 검출(정확도: 1.4 픽셀 오류)을 수행할 수 있었다. 뿐만 아니라, 본 실시예에서는 반자동식으로 정점을 검출함으로써 세밀한 선택 및 조정이 어려운 터치스크린 모바일 폰에서 대략적인 선택 과정만으로도 정확하게 객체의 정점을 검출할 수 있었고, 이로써 결국 적은 인터랙션으로 모델링을 할 수 있었다.
본 실시예에서는 정점 검출에 대한 전체 수행 시간은 평균 237.6ms로써 이 수행 시간은 알고리즘의 각 주요 절차 이외에도 내부적으로 수행된 영상 복사 및 형 변환 과정 등을 모두 포함한 결과이다. 본 발명에 따른 정점 검출 방법은 최적화 과정을 거침으로써 보다 향상된 처리 속도로 동작할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 종래 기술에 따른 모델링 단계 중 정점 검출을 위한 순서도이다.
도 2는 본 발명의 실시예에 따른 영상의 정점 검출 장치의 기능 블록도이다.
도 3은 본 발명의 실시예에 따른 영상의 정점 검출 방법의 순서도이다.
도 4는 사용자에 의해서 입력된 정점 위치에 기반하여 설정된 관심영역(ROI) 설정의 개념도이다.
도 5는 관심영역(ROI)에서 검출된 후보직선 및 제한된 범위 탐색을 통한 최적의 교점 좌표 선택 과정 예시 개념도이다.
도 6은 ROI 영역에서의 에지 검출 예시로서, 도 6(a)는 블러 함수 적용하지 않고 검출한 에지의 예시이고, 도 6(b)는 블러 함수 적용한 후에 검출한 에지의 예시이다.
도 7은 허프 변환을 통한 직선 검출 및 제안하는 알고리즘을 통한 반자동식 정점 검출의 예시로서, 도 7(a)는 허프변환 기반 초기 후보직선 검출의 예시이고, 도 7(b)는 제안하는 알고리즘을 통한 주요직선 검출과 최적의 정점 검출의 예시이다.
도 8 내지 도 10의 각각은 본 발명에 따른 영상의 정점 검출 방법을 통한 객체의 평면 모델링 결과 예시로서, 도 8은 스마트 테이블 영상의 평면 모델링을 도시한 것이고, 도 9는 도 8과 다른 각도에서 촬영한 테이블 영상의 바깥쪽 정점 검출을 통한 평면 모델링((a):데스크탑, (b):모바일폰)을 도시한 것이고, 도 10은 폭이 좁은 프레임을 포함하는 창문 영상의 정점 검출을 통한 평면 모델링(좌:데스크 탑, 우:모바일폰)을 도시한 것이다.
도 11은 터치스크린의 센싱 정밀도 실험 과정을 도시한 것으로서, 도 11(a)는 표시된 첫 번째 타겟(점) 위치를 도시한 것이고, 도 11(b)는 타겟(점)이 나타나는 순서를 도시한 것이다.

Claims (18)

  1. 영상을 표시하고, 상기 영상의 정점 위치를 입력받는 UI부;
    상기 입력된 정점 위치를 포함하는 관심영역을 설정하는 관심영역(ROI) 설정부;
    상기 관심영역 내의 영상으로부터 복수의 에지를 검출하고, 그 검출된 복수의 에지에 기초하여 후보 직선군(直線群)을 검출하는 에지 검출부; 및
    상기 후보 직선군에 포함된 후보 직선들 중에서 임의로 설정된 기준 후보직선과 상기 기준 후보직선을 제외한 나머지 후보 직선들과의 사이각이 임계 각도 미만인 후보 직선을 상기 후보 직선군에서 제거하고, 상기 기준 후보직선과 상기 후보 직선군 중에서 제거되지 않은 잔류 후보직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적 정점으로 검출하는 정점 검출부
    를 포함하는 것을 특징으로 하는 영상의 정점 검출 장치.
  2. 제 1 항에 있어서,
    상기 UI부는 10 픽셀 미만의 오차의 센싱 정밀도를 갖는 터치스크린으로 형성된 표시부를 포함하는 것을 특징으로 하는 영상의 정점 검출 장치.
  3. 제2항에 있어서,
    상기 표시부는 모바일폰에 형성된 터치스크린이고, UI를 구현하는 것을 특징으로 하는 영상의 정점 검출 장치.
  4. 제1항에 있어서
    상기 관심영역 설정부는 상기 입력된 정점 위치를 중심부에 포함하는 기설정된 범위의 관심영역을 설정하는 것을 특징으로 하는 영상의 정점 검출 장치.
  5. 제1항에 있어서,
    상기 에지 검출부는, 상기 관심영역의 영상에 대하여 가우시안 블러(gassian blur) 함수를 적용하여 카메라 영상 잡음을 제거하고, 에지 검출기(edge detector)를 이용하여 에지를 검출하는 것을 특징으로 하는 영상의 정점 검출 장치.
  6. 제5항에 있어서,
    상기 에지 검출부는, 상기 에지에 허프 변환(hough transform)을 적용하여 각도 및 거리의 매개변수 집합으로 표시되는 상기 후보 직선군으로 변환하는 것을 특징으로 하는 영상의 정점 검출 장치.
  7. 제5항에 있어서
    상기 에지 검출부는, 상기 후보 직선군을 허프 변환 수행시 보우팅(voting)된 회수가 많은 순서로 나열하는 것을 특징으로 하는 영상의 정점 검출 장치.
  8. 제7항에 있어서,
    상기 정점 검출부는, 상기 후보 직선군 가운데 가장 많이 보우팅된 후보 직선을 상기 기준 후보직선으로 설정하는 것을 특징으로 하는 영상의 정점 검출 장치.
  9. 제7항에 있어서
    상기 정점 검출부는, 상기 기준 후보직선의 각도와 상기 후보 직선군에 속하는 각 후보직선의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선군에 속하는 상기 각 후보직선의 거리의 차이가 임계 거리 미만이면, 해당 후보직선을 상기 후보 직선군에서 제거하는 것을 특징으로 하는 영상의 정점 검출 장치.
  10. 제7항에 있어서
    상기 정점 검출부는, 상기 기준 후보직선의 거리와 상기 후보 직선군에 속하는 각 후보직선의 거리의 차이가 임계 거리 미만인 해당 후보직선을 상기 후보 직선군에서 제거하는 것을 특징으로 하는 영상의 정점 검출 장치.
  11. 영상의 정점 위치를 입력받는 단계;
    상기 입력된 정점 위치를 포함하는 관심영역(ROI)을 설정하고, 상기 관심영역 내의 영상으로부터 복수의 에지를 검출하는 단계;
    상기 복수의 에지에 기초하여 최적의 정점을 검출하기 위한 후보 직선군을 검출하는 단계; 및
    상기 후보 직선군에 포함된 후보 직선들 중에서 임의로 설정된 기준 후보직선과 상기 기준 후보직선을 제외한 나머지 후보 직선들과의 사이각이 임계 각도 미만인 후보직선을 상기 후보 직선군에서 제거하고, 상기 기준 후보직선과 상기 후보 직선군 중에서 제거되지 않은 잔류 후보직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적의 정점으로 검출하는 단계
    를 포함하는 것을 특징으로 하는 영상의 정점 검출 방법.
  12. 제11항에 있어서,
    상기 에지 검출단계는, 상기 관심영역의 영상에 대하여 가우시안 블러(gaussian blur) 함수를 적용하여 영상잡음을 제거하고, 에지 검출기(edge detector)를 이용하여 에지를 검출하는 것을 특징으로 하는 영상의 정점 검출 방법.
  13. 제11항에 있어서,
    상기 후보 직선군 검출단계는, 상기 복수의 에지에 허프 변환(hough transform) 함수를 적용하여 각도 및 거리의 매개변수로 표시되는 상기 후보 직선군으로 변환하는 것을 특징으로 하는 영상의 정점 검출 방법.
  14. 제13항에 있어서,
    상기 후보 직선군 검출단계는, 상기 후보 직선군을 허프 변환 수행시 보우 팅(voting)된 회수가 많은 순서로 나열하는 것을 특징으로 하는 영상의 정점 검출 방법.
  15. 제14항에 있어서,
    상기 정점 검출단계는, 상기 후보 직선군 가운데 가장 많이 보우팅된 후보 직선을 상기 기준 후보직선으로 설정하는 것을 특징으로 하는 영상의 정점 검출 방법.
  16. 제13항에 있어서,
    상기 정점 검출단계는, 상기 기준 후보직선의 각도와 상기 후보 직선군에 속하는 각 후보직선의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선군에 속하는 각 후보직선의 거리의 차이가 임계 거리 미만이면, 해당 후보직선을 상기 후보 직선군에서 제거하는 것을 특징으로 하는 영상의 정점 검출 방법.
  17. 제13항에 있어서
    상기 정점 검출단계는, 상기 기준 후보직선의 거리와 상기 후보 직선군에 속하는 각 후보직선의 거리의 차이가 임계 거리 미만인 해당 후보직선을 상기 후보 직선군에서 제거하는 것을 특징으로 하는 영상의 정점 검출 방법.
  18. 제11 항 내지 제17 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.
KR1020090115365A 2009-11-26 2009-11-26 영상의 정점 검출 장치 및 방법 KR101032446B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090115365A KR101032446B1 (ko) 2009-11-26 2009-11-26 영상의 정점 검출 장치 및 방법
EP10833483.0A EP2528035B1 (en) 2009-11-26 2010-10-28 Apparatus and method for detecting a vertex of an image
US13/512,188 US8867784B2 (en) 2009-11-26 2010-10-28 Apparatus and method for detecting a vertex of an image
PCT/KR2010/007485 WO2011065671A2 (ko) 2009-11-26 2010-10-28 영상의 정점 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090115365A KR101032446B1 (ko) 2009-11-26 2009-11-26 영상의 정점 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101032446B1 true KR101032446B1 (ko) 2011-05-03

Family

ID=44067035

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090115365A KR101032446B1 (ko) 2009-11-26 2009-11-26 영상의 정점 검출 장치 및 방법

Country Status (4)

Country Link
US (1) US8867784B2 (ko)
EP (1) EP2528035B1 (ko)
KR (1) KR101032446B1 (ko)
WO (1) WO2011065671A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101272448B1 (ko) * 2011-07-11 2013-06-07 광주과학기술원 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
CN103020601B (zh) * 2012-12-13 2015-08-05 北京航空航天大学 高压线视觉检测方法和装置
CN104438125B (zh) * 2014-12-11 2017-01-18 天津普达软件技术有限公司 一种手机屏幕不良品剔除方法
KR20160071242A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
CN105118069B (zh) * 2015-09-30 2019-08-13 杭州南江机器人股份有限公司 一种复杂环境直线检测和筛选方法及应用该方法的机器人
CN106097331B (zh) * 2016-06-07 2018-11-13 浙江工业大学 一种基于锁孔识别的集装箱定位方法
DE102017103953A1 (de) * 2017-02-24 2018-08-30 Volume Graphics Gmbh Verfahren und Vorrichtung zur Erkennung von Ecken
US10037613B1 (en) * 2017-03-30 2018-07-31 Uber Technologies, Inc. Systems and methods to track vehicles proximate perceived by an autonomous vehicle
CN108759661A (zh) * 2018-03-27 2018-11-06 松下电子部品（江门）有限公司 边缘检测视觉系统的直线偏移方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060062154A (ko) * 2004-12-03 2006-06-12 한국전자통신연구원 하프 변환을 이용한 건물외곽선 추출 장치 및 그 방법
KR20090106852A (ko) * 2008-04-07 2009-10-12 성균관대학교산학협력단 직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법및 그 장치
KR20090116435A (ko) * 2008-05-07 2009-11-11 성균관대학교산학협력단 선 입력 기반 영상 처리 방법 및 그 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200282B2 (en) * 2001-12-12 2007-04-03 Sony Corporation Implementation of Hough transform and its application in line detection and video motion analysis
US20080260254A1 (en) * 2005-12-22 2008-10-23 Koninklijke Philips Electronics, N.V. Automatic 3-D Object Detection
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
US8411080B1 (en) * 2008-06-26 2013-04-02 Disney Enterprises, Inc. Apparatus and method for editing three dimensional objects
US8261186B2 (en) * 2009-01-02 2012-09-04 Apple Inc. Methods for efficient cluster analysis
TWI452540B (zh) * 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060062154A (ko) * 2004-12-03 2006-06-12 한국전자통신연구원 하프 변환을 이용한 건물외곽선 추출 장치 및 그 방법
KR20090106852A (ko) * 2008-04-07 2009-10-12 성균관대학교산학협력단 직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법및 그 장치
KR20090116435A (ko) * 2008-05-07 2009-11-11 성균관대학교산학협력단 선 입력 기반 영상 처리 방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101272448B1 (ko) * 2011-07-11 2013-06-07 광주과학기술원 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체

Also Published As

Publication number Publication date
WO2011065671A3 (ko) 2011-09-01
EP2528035A4 (en) 2017-03-22
WO2011065671A2 (ko) 2011-06-03
US8867784B2 (en) 2014-10-21
EP2528035A2 (en) 2012-11-28
EP2528035B1 (en) 2018-09-12
US20120257791A1 (en) 2012-10-11

Similar Documents

Publication Publication Date Title
KR101032446B1 (ko) 영상의 정점 검출 장치 및 방법
Romero-Ramirez et al. Speeded up detection of squared fiducial markers
US10368062B2 (en) Panoramic camera systems
CN110717489B (zh) Osd的文字区域的识别方法、装置及存储介质
US9519968B2 (en) Calibrating visual sensors using homography operators
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
Wei et al. Bi-normal filtering for mesh denoising
KR101643672B1 (ko) 광류 추적 방법 및 장치
TWI536318B (zh) 深度測量之品質提升
JP6089722B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
GB2551396A (en) Augmented reality occlusion
US11551388B2 (en) Image modification using detected symmetry
US10347052B2 (en) Color-based geometric feature enhancement for 3D models
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN105303514A (zh) 图像处理方法和装置
Lo et al. Joint trilateral filtering for depth map super-resolution
EP3048555A1 (en) Image processing device, image processing method, and image processing program
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
US9959672B2 (en) Color-based dynamic sub-division to generate 3D mesh
Chen et al. Kinect depth recovery using a color-guided, region-adaptive, and depth-selective framework
CN105809664A (zh) 生成三维图像的方法和装置
Luo et al. Adaptive canny and semantic segmentation networks based on feature fusion for road crack detection
CN114674826A (zh) 基于布匹的视觉检测方法及检测系统
CN111798519A (zh) 激光条纹中心的提取方法、装置、电子设备及存储介质
Deng et al. Texture edge-guided depth recovery for structured light-based depth sensor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 9