KR101179969B1 - 마커 검출 장치 및 방법 - Google Patents

마커 검출 장치 및 방법 Download PDF

Info

Publication number
KR101179969B1
KR101179969B1 KR1020100136577A KR20100136577A KR101179969B1 KR 101179969 B1 KR101179969 B1 KR 101179969B1 KR 1020100136577 A KR1020100136577 A KR 1020100136577A KR 20100136577 A KR20100136577 A KR 20100136577A KR 101179969 B1 KR101179969 B1 KR 101179969B1
Authority
KR
South Korea
Prior art keywords
feature points
marker
marker image
polygon
points
Prior art date
Application number
KR1020100136577A
Other languages
English (en)
Other versions
KR20120074668A (ko
Inventor
문영식
박기태
박찬우
이종민
김용민
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020100136577A priority Critical patent/KR101179969B1/ko
Publication of KR20120074668A publication Critical patent/KR20120074668A/ko
Application granted granted Critical
Publication of KR101179969B1 publication Critical patent/KR101179969B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

마커 검출 장치 및 방법이 개시된다. 개시된 마커 검출 장치는 등록 마커 영상 및 입력 마커 영상 각각에 포함된 복수의 특징점들을 서로 정합하는 정합부;
상기 입력 마커 영상의 특징점들과 정합된 상기 등록 마커 영상의 제1 특징점들의 분포된 성질을 이용하여 상기 등록 마커 영상에서의 관심영역을 지정하는 관심영역 지정부; 상기 관심영역 내의 복수의 제2 특징점을 이용하여 제1 다각형을 형성하고, 상기 복수의 제2특징점들과 정합된 상기 입력 마커 영상의 복수의 특징점을 이용하여 제2 다각형을 형성하며, 상기 제1 및 제2 다각형을 이용하여 다각형의 변환행렬을 생성하는 변환행렬 생성부; 및 상기 변환행렬 및 상기 등록 마커 영상의 복수의 코너 지점을 이용하여 상기 입력 마커 영상의 복수의 코너 지점을 추정하는 마커 추정부를 포함한다. 본 발명에 따르면, 입력 영상 내의 마커가 일부 가려지더라도 마커를 검출할 수 있게 된다.

Description

마커 검출 장치 및 방법{DEVICE AND METHOD FOR DETECTING MARKER}
본 발명의 실시예들은 마커 검출 장치 및 방법에 관한 것으로서, 더욱 상세하게는 마커의 가려짐에도 마커를 검출하는 마커 검출 장치 및 방법에 관한 것이다.
증강현실은 실제 환경에 가상의 객체나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 가상의 공간과 사물만을 대상으로 하는 가상 현실(Virtual Reality)과는 달리 증강현실은 현실 세계의 환경 위에 가상의 대상을 결합시켜 현실의 효과를 더욱 증가시키는 것이다.
즉, 3차원의 공간을 촬영한 입력 영상에 가상의 객체와 같은 정보를 실시간으로 사용자에게 제공하여 실 세계 현상에 대한 이해와 인식력을 향상시키는 기술분야이다.
예를 들어, 스마트 폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기되며, 원격의료진단, 방송, 건축 설계, 제조공정 관리 등에 활용된다. 최근에는 스마트 폰이 널리 보급되면서 위치 정보와 함께 쇼핑과 식당, 관광, 날씨, 게임 및 모바일 솔루션 업계, 교육 등 다양한 분야에 증강현실 시스템이 도입되고 있는 추세이다.
기존의 증강현실 시스템은 크게 마커 기반 증강현실(Marker-based Augmented Reality)과 마커가 존재하지 않는 증강현실이 있다. 마커가 존재하지 않는 증강현실 시스템보다 상대적으로 인식률이 높은 마커 기반 증강현실 시스템은 객체를 증강시키기 위한 기준 좌표를 찾기 위해 마커를 이용한다. 그러나 마커가 장애물 등에 의해 가려져 마커를 탐지하지 못하는 상황에서는 객체를 증강시키지 못하는 단점이 있었다.
이러한 마커의 가려짐에 따른 문제를 해결하기 위해 마커가 하나가 아닌 여러 마커를 이용하는 다중 마커 형태를 이용해 가려짐 문제를 해결하거나, 기존 마커의 흑백의 사각형 형태가 아닌 컬러 형태의 마커를 이용해 가려짐 문제를 해결하는 방안이 제시되었다.
그러나 다중 마커 형태는 단일 마커들의 집합이기 때문에 마커가 심하게 가려질 경우에는 인식률이 떨어지는 문제점이 있고, 컬러 형태의 마커를 이용하는 경우에는 컬러를 인식하는 알고리즘을 추가 해야 하며 새로운 마커를 등록해야 하는 문제점이 있었다.
상기한 바와 같이 종래기술의 문제점을 해결하기 위해, 본 발명에서는 입력 영상내의 마커 일부가 가려지더라도 마커를 검출할 수 있는 마커 검출 장치 및 방법을 제공하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일실시예에 따르면, 등록 마커 영상 및 입력 마커 영상 각각에 포함된 복수의 특징점들을 서로 정합하는 정합부; 상기 입력 마커 영상의 특징점들과 정합된 상기 등록 마커 영상의 제1 특징점들의 분포된 성질을 이용하여 상기 등록 마커 영상에서의 관심영역을 지정하는 관심영역 지정부; 상기 관심영역 내의 복수의 제2 특징점을 이용하여 제1 다각형을 형성하고, 상기 복수의 제2특징점들과 정합된 상기 입력 마커 영상의 복수의 특징점을 이용하여 제2 다각형을 형성하며, 상기 제1 및 제2 다각형을 이용하여 다각형의 변환행렬을 생성하는 변환행렬 생성부; 및 상기 변환행렬 및 상기 등록 마커 영상의 복수의 코너 지점을 이용하여 상기 입력 마커 영상의 복수의 코너 지점을 추정하는 마커 추정부를 포함하는 것을 특징으로 하는 마커 검출 장치를 제공한다.
여기서, 상기 정합부는 상기 등록 마커 영상에 포함된 복수의 특징점의 특징 벡터 및 상기 입력 마커 영상에 포함된 복수의 특징점의 특징 벡터간의 유사도를 이용하여 상기 정합을 수행하며, 상기 특징 벡터는 특징점의 주변 정보를 포함하는 벡터를 의미할 수 있다.
상기 특징 벡터는 상기 등록 마커 영상 또는 상기 입력 마커 영상의 이동, 회전, 크기 변화 및 각도 변화에 의해 쉽게 변하지 않는 고유한 값을 의미한다.
또한, 상기 제1 특징점들의 분포된 성질이 가장 크게 반영된 축을 제1 주축으로 형성하고, 그 다음 상기 제1 특징점들의 분포된 성질이 크게 반영되면서 상기 제1 주축과 수직인 축을 제2 주축으로 형성하는 주축 형성부를 더 포함할 수 있다.
여기서, 상기 관심영역 지정부는 상기 제1 특징점들의 평균점과 상기 제1 특징점들간의 거리 차이를 이용하여 상기 관심영역을 지정할 수 있다.
또한, 상기 관심영역 지정부는 상기 평균점과 상기 제1 주축에 의해 사영된 특징점들간의 거리차이의 제1 거리 평균 및 상기 평균점과 상기 제2 주축에 의해 사영된 특징점들간의 거리차이의 제2 거리 평균을 이용하여 상기 관심영역을 지정할 수 있다.
상기 제1 다각형은 상기 복수의 제 2 특징점들 중 외곽 경계점을 모서리로 하여 형성되며, 상기 외곽 경계점은 상기 제 2 특징점들이 차지하는 면적이 최대가 되도록 하는 외곽 경계선 상에 존재하는 점을 의미할 수 있으며 상기 제2 다각형은 상기 외각 경계점들과 정합된 상기 입력 마커 영상의 특징점들을 모서리로 하여 형성될 수 있다.
상기 마커 추정부는 상기 등록 마커 영상의 복수의 코너 지점 중 어느 하나의 코너 지점에 상기 변환행렬을 곱하여 상기 입력 마커 영상의 복수의 코너 지점 중 어느 하나의 코너 지점을 추정할 수 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 등록 마커 영상 및 입력 마커 영상 각각에 포함된 복수의 특징점들을 서로 정합하는 단계; 상기 입력 마커 영상의 특징점들과 정합된 상기 등록 마커 영상의 제1 특징점들의 분포된 성질을 이용하여 상기 등록 마커 영상에서의 관심영역을 지정하는 단계; 상기 관심영역 내의 복수의 제2 특징점을 이용하여 제1 다각형을 형성하고, 상기 복수의 제2특징점들과 정합된 상기 입력 마커 영상의 복수의 특징점을 이용하여 제2 다각형을 형성하며, 상기 제1 및 제2 다각형을 이용하여 다각형의 변환행렬을 생성하는 단계; 및 상기 변환행렬 및 상기 등록 마커 영상의 복수의 코너 지점을 이용하여 상기 입력 마커 영상의 복수의 코너 지점을 추정하는 단계를 포함하는 것을 특징으로 하는 마커 검출 방법이 제공된다.
본 발명에 따르면, 입력 영상 내의 마커가 일부 가려지더라도 마커를 검출하는 마커 검출 장치 및 방법이 제공된다.
도 1은 본 발명의 일 실시예에 따른 마커 검출 장치를 도시한 블록도이다.
도 2는 주성분 분석을 통한 주축을 형성을 하는 그래프를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 다각형의 기하학적인 변환 관계에 대해 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 등록 마커 영상과 입력 마커 영상의 특징점들을 정합한 결과를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 주성분 분석을 통한 주축을 형성하는 일례를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 관심영역이 지정된 등록 마커 영상을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 관심영역내의 특징점들을 이용하여 다각형을 형성하는 일례를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 마커의 코너 지점을 추정하는 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 마커에 객체를 증강시키는 영상의 일례이다.
도 10은 본 발명의 일 실시예에 따른 마커 검출 방법의 전체적인 흐름을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 마커 검출 장치를 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 마커 검출 장치(100)는 정합부(101), 주축 형성부(103), 관심영역 지정부(105), 변환행렬 생성부(107), 마커 추정부(109)를 포함할 수 있다. 이하 각 구성요소 별로 그 기능을 상술하기로 한다.
정합부(101)는 등록 마커 영상 및 입력 마커 영상 각각에 포함된 복수의 특징점들을 서로 정합한다.
여기서, 등록 마커 영상은 마커 검출을 위해 데이터베이스(미도시)에 입력된 마커의 가려지지 않은 온전한 영상일 수 있으며, 입력 마커 영상은 카메라, CCTV, 센서 및 웹 캠 등을 통해 전송된 마커의 영상이며, 영상 내의 마커가 등록된 마커와 비교하여 일부가 가려진 체 입력되는 영상일 수 있다.
특징점은 영상의 지역적 특징을 나타내는 점이며, 정합부(101)는 등록 마커 영상 및 입력 마커 영상 각각에 포함된 복수의 특징점들을 서로 정합하기 위해 특징점의 특징 벡터를 이용한다. 즉 정합부(101)는 서로 유사한 특징 벡터 값을 가진 특징점들을 서로 정합한다.
여기서, 특징 벡터란 특징점의 지역적 특징을 포함하는 벡터를 의미하며, 영상의 이동, 회전, 크기 변화 및 각도 변화 의해 변하지 않는 특성을 지니고 있다.
본 발명의 일 실시예에 따르면 영상 내의 특징점을 검출하고 두 개의 영상간의 특징점 정합을 위해 Affine-SIFT 알고리즘을 이용할 수 있다.
기존의 특징점을 추출하기 위한 SIFT 알고리즘은 영상간의 지역적 특징을 추출하기 위해 x축과 y축, 이동. 회전, 크기의 4가지 변수만을 고려해 특징점을 추출하였다.
그러나 촬영하는 카메라 기울기에 대한 공간상의 각도 변화에 따라서도 영상의 왜곡이 일어날 수 있다. Affine-SIFT 알고리즘은 각도 변화에 대한 요소를 더 반영하는 알고리즘으로서 촬영 공간에서의 위도(Latitude)와 경도(Longitude)의 위치변화를 기존의 SIFT 알고리즘에 추가하여 영상의 이동, 회전, 크기 변화 및 각도 변화 등에도 변하지 않는 보다 강건한 특징점을 추출한다.
주축 형성부(103)는 등록 마커 영상의 복수의 특징점 중 입력 마커 영상의 특징점들과 정합된 제1 특징점들의 영상내의 분포된 성질을 이용하여 제1 주축 및 제2 주축을 형성한다.
여기서 주축 형성부(103)는 제1 특징점들의 분포된 성질이 가장 크게 반영된 축을 제1 주축으로 형성하고, 그 다음 제1 특징점들의 분포된 성질이 크게 반영되면서 제1 주축과 수직인 축을 제2 주축으로 형성한다.
본 발명의 일 실시예에 따르면, 주축의 형성을 위해 주성분 분석(Principal Component Analysis: PCA) 방법을 사용할 수 있다.
주성분 분석 방법은 다차원 특징 벡터의 데이터를 높은 차원에서 정보를 유지하면서 차원을 축소하는 다 변량 데이터 처리 방법중의 하나로서 영상 공간 내에서 특징점의 분포를 가장 잘 나타내주는 감소된 차원의 벡터를 생성하는데 이용할 수 있다.
보다 상세하게, 영상에서의 특징점의 특징 벡터는 특징점 추출 시 고려하는 변수에 따라 다차원으로 형성될 수 있다. 즉, 특징 벡터가 N-차원인 경우에는 각 특징 벡터는 N개의 기준축을 기준으로 표현된다. 따라서 특징 벡터의 차원을 줄인다는 것은 기준 축을 줄이는 것으로 생각할 수 있다.
이하, 도 2를 참조하여 주성분 분석을 통한 주축의 형성 방법에 대해 설명하도록 한다.
도 2는 주성분 분석을 통한 주축을 형성을 하는 그래프를 도시한 도면이다.
도 2(a)를 참조하면, a축과 b축으로 구성된 2 차원 평면에서 특징 벡터가 대각선 방향으로 길게 퍼져 있다면 대각선 방향과 그에 수직 방향인 a’축과 b’축 관점에서 특징 벡터를 살펴 볼 때에는 특징 벡터가 a’축을 중심으로 넓게 퍼져 있고 b’축을 중심으로 좁게 모여 있다고 할 수 있다.
따라서 특징 벡터를 구분할 때에는 a’축 상에서 어느 위치에 있느냐가 가장 중요한 요소가 되고 b’축 상에서 어느 위치에 있느냐 하는 것이 그 다음으로 중요하게 된다.
이와 같이 특징 벡터의 분포에 따른 새로운 기준 축을 구한 후 기준 축 중에서 중요한 것만 남기고 나머지는 버림으로써 데이터의 차원을 줄일 수 있다. 즉 특징벡터를 a’축에 사영하여 b’축 성분 값은 버리고 a’축 성분 값만 남도록 하거나 특징벡터를 b’축에 사영하여 a’성분 값은 버리고 b’축 성분 값만 남도록 하여 2차원의 특징 벡터를 1차원의 특징 벡터로 줄여서 표현할 수 있다.
여기서 도 2(b)를 참조하면, 특징 벡터를 a’축에 사영하여 b’축 성분 값을 버리는 경우 a’축과의 거리 차 값만을 가진 1차원의 특징 벡터로 표현될 수 있다.
따라서 주성분 분석 방법을 통해 특징점들의 분포된 성질이 가장 크게 반영된 축을 제1 주축으로 형성하고, 그 다음으로 분포된 성질이 크게 반영되면서 제1 주축과 수직인 축을 제2 주축으로 형성할 수 있다.
이하, 다시 도 1을 참조하여 마커 검출 장치(100)에 대해 설명하도록 한다.
관심영역 지정부(105)는 입력 영상 마커에서의 마커가 일부 가려진 경우에도 강건한 마커 검출을 위해 제1 특징점들이 분포된 영역 중 관심영역을 지정하여 마커를 검출한다.
관심영역을 지정하는 이유는 모든 제1 특징점들의 벡터 정보를 이용하여 마커 검출을 하는 것은 연산 량이 많고 입력 마커 영상에서의 마커의 왜곡된 비율을 구하는데도 효과적이지 못하기 때문이다.
또한, 마커가 가려지지 않은 부분들의 지역적 특징점인 관심영역내의 특징점들을 통해 마커를 검출함으로써 마커가 가려진 입력 마커 영상이 입력되더라도 마커를 검출할 수 있게 된다.
따라서, 이후 설명될 마커의 네 모서리 추정 시 관심영역 내의 특징점들 만을 이용하기 위해 관심영역 지정부(105)는 등록 마커 영상 내에서 제1 특징점들의 분포 특성이 잘 반영된 관심영역을 지정한다.
관심영역 지정부(105)는 관심영역을 지정하기 위해 우선 제1 특징점들의 좌표의 평균값을 이용하여 평균점을 추출한다.
이어서 관심영역 지정부(105)는 제1 특징점들의 평균점과 상기 제1 특징점들간의 거리 차이를 이용하여 상기 관심영역을 지정할 수 있다.
보다 상세하게 평균점의 x좌표와 제1 주축에 의해 사영된 제1 특징점들간의 거리차이의 제1 거리 평균 및 평균점의 y좌표와 제2 주축에 의해 사영된 제1 특징점들간의 거리차이의 제2 거리 평균을 이용하여 관심영역을 지정할 수 있다.
여기서, 제1 거리 평균 및 제2 거리 평균은 하기의 수식 1로 표현할 수 있다.
Figure 112012009888314-pat00046
Figure 112012009888314-pat00047

여기서,
Figure 112012009888314-pat00048
는 제1 거리 평균값,
Figure 112012009888314-pat00049
는 제2 거리 평균값, N은 제1 특징점들의 개수,
Figure 112012009888314-pat00050
는 평균점의 x좌표,
Figure 112012009888314-pat00051
는 평균점의 y좌표,
Figure 112012009888314-pat00052
은 제1 주축에 의해 사영된 특징점들의 1차원 좌표,
Figure 112012009888314-pat00053
는 제2 주축에 의해 사영된 특징점들의 1차원 좌표를 각각 의미함.
본 발명의 일 실시예에 따르면, 관심영역 지정부(105)는 제1 거리 평균 및 제2 거리 평균을 이용하여 관심영역을 타원영역으로 지정할 수 있다. 보다 상세하게 제1 거리 평균을 타원의 장축, 제2 거리 평균을 타원의 단축으로 하는 타원 형태의 관심영역을 지정할 수 있다.
타원 형태의 관심영역은 하기의 수식 2 와 같이 표현할 수 있다.
Figure 112012009888314-pat00054
이어서, 변환행렬 생성부(107)는 관심영역 내의 복수의 제2 특징점을 이용하여 제1 다각형을 형성하고, 복수의 제2 특징점들과 정합된 상기 입력 마커 영상의 복수의 특징점을 이용하여 제2 다각형을 형성하며, 상기 제1 및 제2 다각형을 이용하여 다각형의 변환행렬을 구한다.
본 발명의 일 실시예에 따르면, 관심영역 내부에 존재하는 제2 특징점들을 모두 포함하며 면적이 최대가 되도록 하는 외곽 경계선 상에 존재하는 외곽 경계점들을 이용하여 제1 다각형을 형성할 수 있다. 여기서, 제1 다각형은 입력 마커 영상에서 마커의 왜곡된 비율을 계산하기 위한 기준 다각형으로 이용된다.
본 발명의 바람직한 일 실시예에 따르면 효율적으로 특징 점들의 외곽 경계선을 추출하기 위해 Convex-hull 알고리즘을 이용할 수 있다.
평면상의 영역이 Convex 하다는 의미는 그 영역에 속하는 임의의 두 점을 연결하는 선분상의 모든 점들이 해당 영역에 속한다는 것을 의미한다. 따라서 Convex-hull을 찾는 것은 점들을 잇는 선분들이 모두 포함되는 다각형을 찾는 것이다.
따라서, Convex-hull 알고리즘을 통해 관심영역 내에 존재하는 제2 특징점들의 Convex-hull 좌표를 구할 수 있다. 여기서 Convex-hull 알고리즘에 대한 구체적인 내용은 당업자에게 자명한 사항이므로 생략하기로 한다.
변환행렬 생성부(107)는 Convex-hull 좌표를 통해 외곽 경계점이 구해지면 외곽 경계점을 모서리로 하는 제1 다각형과 외곽 경계점과 정합된 입력 마커 영상의 특징점들을 모서리로 하는 제2 다각형을 형성한다.
그 다음으로, 변환행렬 생성부(107)은 제1 다각형이 제2 다각형으로 변환되는 특성을 포함하는 다각형 변환행렬을 생성한다.
여기서, 다각형 변환행렬은 두 평면 사이의 다각형의 기하학적인 변환관계를 의미하는 것으로서 이하 도 3을 참조하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 다각형의 기하학적인 변환 관계에 대해 도시한 도면이다.
도 3을 참조하면 등록 마커 영상내의 마커는 입력 마커 영상을 통해 회전(Rotation), 전단 변형(Shearing), 이동(Translation) 및 축척(Scaling)등의 다양한 형태로 변형될 수 있다.
본 발명의 일 실시예에 따르면, 제1 다각형 및 제2 다각형의 좌표로부터 이러한 기하학적인 변환관계를 포함하는 Affine 변환행렬을 구할 수 있다.
Affine 변환을 통한 한 점의 변환은
Figure 112012009888314-pat00055
행렬과
Figure 112012009888314-pat00056
의 행렬의 곱으로 표시할 수 있으므로 3행은 동차 좌표계(Homogeneous Coordinate)인 1로 표시가 가능하며 하기의 수식 3을 통해 Affine 변환행렬을 구할 수 있다.
Figure 112012009888314-pat00057
Figure 112012009888314-pat00058
Figure 112012009888314-pat00059
Figure 112012009888314-pat00060
Figure 112012009888314-pat00061

여기서, P는 제1 다각형의 꼭지점의 좌표 행렬, P'는 제2 다각형의 꼭지점의 좌표 행렬, A는 Affine 변환행렬,
Figure 112012009888314-pat00062
는 제1 다각형의 꼭지점 중 어느 하나의 꼭지점의 x좌표,
Figure 112012009888314-pat00063
는 제1 다각형의 꼭지점 중 어느 하나의 꼭지점의 y좌표,
Figure 112012009888314-pat00064
는 제2 다각형의 꼭지점 중 어느 하나의 꼭지점의 x좌표,
Figure 112012009888314-pat00065
는 제2 다각형의 꼭지점 중 어느 하나의 꼭지점의 y좌표, dxi와 dyi는 이동(Translate)에 대한 변수, a는 전단 변형(Shearing)에 대한 변수,
Figure 112012009888314-pat00066
와
Figure 112012009888314-pat00067
는 회전(Rotation)에 대한 변수, Sx,Sy는 축척(Scaling)에 대한 변수를 각각 의미함.
따라서, 수식 3을 만족하는 Affine 변환행렬을 통해 회전, 전단 변형, 이동 및 축척 등의 다각형의 변환관계를 포함하는 다각형의 변환행렬을 구할 수 있다.
이하, 도 1을 다시 참조하여 마커 검출 장치(100)에 대해 살펴보도록 한다.
마커 추정부(109)는 등록 마커 영상내의 마커의 4 개의 코너 지점 및 변환행렬을 이용하여 입력 마커 영상내의 마커의 4 개의 코너 지점을 추정할 수 있다.
보다 상세하게, 하기의 수식 4와 같이 등록 마커 영상의 수동으로 지정한 마커의 4 개의 코너 지점에 Affine 변환행렬을 곱하여 입력 마커 영상에서의 마커의 4 개의 코너 지점을 추정할 수 있다.
Figure 112012009888314-pat00068
여기서, T는 등록 마커 영상의 코너 지점 좌표, T’입력 마커 영상의 코너 지점 좌표를 각각 의미함.
상기와 같이 추정된 마커의 4 개의 코너 지점을 추정하여 마커를 검출하고, 검출된 마커에 객체를 증강시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 등록 마커 영상과 입력 마커 영상의 특징점들을 정합한 결과를 도시한 도면이다.
도 4(a)는 SIFT 방법을 이용하여 특징점들을 도시한 도면으로서 잘못된 특징점들이 정합된 것을 확인할 수 있다.
도 4(b)는 Affine-SIFT 방법을 이용하여 특징점들을 도시한 도면으로서 마커내의 특징점들이 올바르게 정합된 것을 확인할 수 있다.
도 5는 본 발명의 일 실시예에 따른 주성분 분석을 통한 주축을 형성하는 일례를 도시한 도면이다.
도 5를 참조하면, 도 5(a)에는 등록 마커 영상에 분포된 특징점 중 입력 마커 영상과 정합된 제1 특징점들이 파란 원으로 표시된다.
도 5(b)에는 주성분 분석을 통해 제1 특징점들의 분포된 성질이 가장 크게 반영된 제1 주축이 빨간색 선으로 표시되며 도 5(b)에는 제1 주축과 수직으로 형성된 제2 주축이 녹색 선으로 표시된다.
도 6은 본 발명의 일 실시예에 따른 관심영역이 지정된 등록 마커 영상을 도시한 도면이다.
도 6을 참조하면, 제1 특징점들의 평균점과 상기 제1 특징점들간의 거리 차이를 이용하여 관심영역을 타원 모양으로 하여 지정할 수 있다. 도 6에서 관심영역은 파란색의 타원 형상을 이루고 있다.
도 7은 본 발명의 일 실시예에 따른 관심영역내의 특징점들을 이용하여 다각형을 형성하는 일례를 도시한 도면이다.
도 7(a)를 참조하면, 관심영역 내의 제2 특징점들의 외곽 경계점들을 모서리로 하는 제1 다각형이 형성됨을 확인할 수 있다.
도 7(b)는 외곽 경계점과 정합된 입력 마커 영상의 특징점들을 모서리로 하는 제2 다각형이 형성됨을 확인할 수 있다.
도 8은 본 발명의 일 실시예에 따른 마커의 코너 지점을 추정하는 일례를 도시한 도면이다.
도 8(a)는 다각형의 변환행렬 및 등록 마커 영상의 4 개의 코너 지점을 이용하여 입력 마커 영상의 4 개의 코너 지점을 추정한 결과이다.
도 8(b)는 등록 마커 영상의 마커 영역을 확대한 영상이며 도 8(c)는 입력 영상의 마커 영역을 확대한 영상이다.
도 9는 본 발명의 일 실시예에 따른 마커에 객체를 증강시키는 영상의 다양한 일례이다.
도 9 (a), (b) 및 (c)를 참조하면, 입력 마커 영상내의 마커가 일부 가려진 경우에도 마커의 4 개의 코너 지점을 추정되고, 마커에 객체가 증강됨을 확인할 수 있다.
도 10은 본 발명의 일 실시예에 따른 마커 검출 방법의 전체적인 흐름을 도시한 순서도이다. 이하, 도 10을 참조하여 각 단계별로 수행되는 과정을 설명하기로 한다.
먼저, 단계(S1000)에서는 등록 마커 영상 및 입력 마커 영상의 특징점들을 정합한다.
본 발명의 일 실시예에 따르면, 특징점들의 정합을 위해 등록 마커 영상 및 입력 마커 영상 각각에 포함된 복수의 특징점들의 특징벡터의 유사도를 이용하여 정합을 수행할 수 있다.
이어서, 단계(S1010)에서는 등록 마커 영상내의 제1 주축 및 제2 주축을 형성한다. 제1 주축은 제1 특징점들의 분포된 성질이 가장 크게 반영된 축을 의미하며, 제2 주축은 그 다음으로 분포된 성질이 반영되며 제1 주축과 수직을 이루는 축을 의미한다. 본 발명의 일 실시예에 따르면 주성분 분석을 이용하여 제1 주축 및 제2 주축을 형성할 수 있다.
단계(S1020)에서는 등록 마커 영상의 관심영역을 지정한다.
본 발명의 일 실시예에 따르면, 제1 특징점들의 평균점의 x 좌표와 제1 주축에 의해 사영된 제1 특징점들간의 거리차이의 평균 및 평균점의 y 좌표와 제2 주축에 의해 사영된 제2 특징점들간의 거리차이의 평균을 이용하여 관심영역을 지정할 수 있다.
이어서, 단계(S1030)에서는 다각형의 변환행렬을 생성한다.
다각형의 변환행렬은 관심영역 내의 제2 특징점의 외곽 경계점을 모서리로 하는 제1 다각형과 외곽 경계점과 정합을 이루는 입력 마커 영상의 특징점을 모서리로 하는 제2 다각형을 이용하여 생성될 수 있다.
단계(S1040)에서는 다각형의 변환행렬 및 등록 마커 영상내의 마커의 4 개의 코너 지점을 이용하여 입력 마커 영상내의 마커의 4 개의 코너 지점을 추정하며 이렇게 추정된 4개의 코너 지점을 이용하여 검출된 마커에 객체가 증강되게 된다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100: 마커 검출 장치101: 정합부
103: 주축 형성부105: 관심영역 지정부
107: 변환행렬 생성부109: 마커 추정부

Claims (13)

  1. 등록 마커 영상 및 입력 마커 영상 각각에 포함된 복수의 특징점들을 서로 정합하는 정합부;
    상기 입력 마커 영상의 특징점들과 정합된 상기 등록 마커 영상의 제1 특징점들의 분포된 성질을 이용하여 상기 등록 마커 영상에서의 관심영역을 지정하는 관심영역 지정부;
    상기 관심영역 내의 복수의 제2 특징점을 이용하여 제1 다각형을 형성하고, 상기 복수의 제2특징점들과 정합된 상기 입력 마커 영상의 복수의 특징점을 이용하여 제2 다각형을 형성하며, 상기 제1 및 제2 다각형을 이용하여 다각형의 변환행렬을 생성하는 변환행렬 생성부; 및
    상기 변환행렬 및 상기 등록 마커 영상의 복수의 코너 지점을 이용하여 상기 입력 마커 영상의 복수의 코너 지점을 추정하는 마커 추정부
    를 포함하는 것을 특징으로 하는 마커 검출 장치.
  2. 제1항에 있어서,
    상기 정합부는
    상기 등록 마커 영상에 포함된 복수의 특징점의 특징 벡터 및 상기 입력 마커 영상에 포함된 복수의 특징점의 특징 벡터간의 유사도를 이용하여 상기 정합을 수행하며,
    상기 특징 벡터는 특징점의 주변 정보를 포함하는 벡터를 의미하는 것을 특징으로 하는 마커 검출 장치.
  3. 제2항에 있어서,
    상기 특징 벡터는 상기 등록 마커 영상 또는 상기 입력 마커 영상의 이동, 회전, 크기 변화 및 각도 변화에 의해 쉽게 변하지 않는 고유한 값을 의미하는 것을 특징으로 하는 마커 검출 장치.
  4. 제1항에 있어서,
    상기 제1 특징점들의 분포된 성질이 가장 크게 반영된 축을 제1 주축으로 형성하고, 그 다음 상기 제1 특징점들의 분포된 성질이 크게 반영되면서 상기 제1 주축과 수직인 축을 제2 주축으로 형성하는 주축 형성부를 더 포함하는 것을 특징으로 하는 마커 검출 장치.
  5. 제4항에 있어서,
    상기 관심영역 지정부는
    상기 제1 특징점들의 평균점과 상기 제1 특징점들간의 거리 차이를 이용하여 상기 관심영역을 지정하는 것을 특징으로 하는 마커 검출 장치.
  6. 제5항에 있어서,
    상기 관심영역 지정부는
    상기 평균점과 상기 제1 주축에 의해 사영된 특징점들간의 거리차이의 제1 거리 평균 및 상기 평균점과 상기 제2 주축에 의해 사영된 특징점들간의 거리차이의 제2 거리 평균을 이용하여 상기 관심영역을 지정하는 것을 특징으로 하는 마커 검출 장치.
  7. 제6항에 있어서,
    상기 관심영역 지정부는
    상기 관심영역을 하기의 수식과 같이 타원영역으로 지정하는 것을 특징으로 하는 마커 검출 장치.


    Figure 112012009888314-pat00069



    여기서,
    Figure 112012009888314-pat00070
    는 상기 제1 특징점들의 평균점의 x좌표,
    Figure 112012009888314-pat00071
    는 상기 제1 특징점들의 평균점의 y좌표,
    Figure 112012009888314-pat00072
    는 상기 제1 거리 평균값,
    Figure 112012009888314-pat00073
    는 상기 제2 거리 평균값을 각각 의미함.
  8. 제1항에 있어서,
    상기 제1 다각형은 상기 복수의 제 2 특징점들 중 외곽 경계점을 모서리로 하여 형성되며,
    상기 외곽 경계점은 상기 제 2 특징점들이 차지하는 면적이 최대가 되도록 하는 외곽 경계선 상에 존재하는 점들을 의미하는 것을 특징으로 하는 마커 검출 장치.
  9. 제8항에 있어서,
    상기 제2 다각형은 상기 외곽 경계점들과 정합된 상기 입력 마커 영상의 특징점들을 모서리로 하여 형성되는 것을 특징으로 하는 마커 검출 장치.
  10. 제1항에 있어서,
    상기 다각형의 변환행렬은 상기 제1 다각형이 상기 제2 다각형으로 변환되는 특성을 포함하는 것을 특징으로 하는 마커 검출 장치.
  11. 제1항에 있어서,
    상기 마커 추정부는
    상기 등록 마커 영상의 복수의 코너 지점 중 어느 하나의 코너 지점에 상기 변환행렬을 곱하여 상기 입력 마커 영상의 복수의 코너 지점 중 어느 하나의 코너 지점을 추정하는 것을 특징으로 하는 마커 검출 장치.
  12. 등록 마커 영상 및 입력 마커 영상 각각에 포함된 복수의 특징점들을 서로 정합하는 단계;
    상기 입력 마커 영상의 특징점들과 정합된 상기 등록 마커 영상의 제1 특징점들의 분포된 성질을 이용하여 상기 등록 마커 영상에서의 관심영역을 지정하는 단계;
    상기 관심영역 내의 복수의 제2 특징점을 이용하여 제1 다각형을 형성하고, 상기 복수의 제2특징점들과 정합된 상기 입력 마커 영상의 복수의 특징점을 이용하여 제2 다각형을 형성하며, 상기 제1 및 제2 다각형을 이용하여 다각형의 변환행렬을 생성하는 단계; 및
    상기 변환행렬 및 상기 등록 마커 영상의 복수의 코너 지점을 이용하여 상기 입력 마커 영상의 복수의 코너 지점을 추정하는 단계
    를 포함하는 것을 특징으로 하는 마커 검출 방법.
  13. 제12항에 있어서,
    상기 제1 특징점들의 분포된 성질이 가장 크게 반영된 축을 상기 제1 주축으로 형성하고, 그 다음 상기 제1 특징점들의 분포된 성질이 크게 반영되면서 상기 제1 주축과 수직인 축을 상기 제2 주축으로 형성하는 단계
    를 더 포함하는 것을 특징으로 하는 마커 검출 방법.
KR1020100136577A 2010-12-28 2010-12-28 마커 검출 장치 및 방법 KR101179969B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100136577A KR101179969B1 (ko) 2010-12-28 2010-12-28 마커 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100136577A KR101179969B1 (ko) 2010-12-28 2010-12-28 마커 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120074668A KR20120074668A (ko) 2012-07-06
KR101179969B1 true KR101179969B1 (ko) 2012-09-05

Family

ID=46708757

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100136577A KR101179969B1 (ko) 2010-12-28 2010-12-28 마커 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101179969B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015176163A1 (en) 2014-05-21 2015-11-26 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834905B1 (ko) 2006-12-08 2008-06-03 한국전자통신연구원 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834905B1 (ko) 2006-12-08 2008-06-03 한국전자통신연구원 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법

Also Published As

Publication number Publication date
KR20120074668A (ko) 2012-07-06

Similar Documents

Publication Publication Date Title
US11393173B2 (en) Mobile augmented reality system
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
US9940756B2 (en) Silhouette-based object and texture alignment, systems and methods
US9928656B2 (en) Markerless multi-user, multi-object augmented reality on mobile devices
JP6430064B2 (ja) データを位置合わせする方法及びシステム
US10846844B1 (en) Collaborative disparity decomposition
JP5822322B2 (ja) ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び３ｄディスプレイ
US8144238B2 (en) Image processing apparatus and method
US7616807B2 (en) System and method for using texture landmarks for improved markerless tracking in augmented reality applications
CN111459269B (zh) 一种增强现实显示方法、系统及计算机可读存储介质
CN107949851B (zh) 在场景内的物体的端点的快速和鲁棒识别
JP6172432B2 (ja) 被写体識別装置、被写体識別方法および被写体識別プログラム
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
KR101179969B1 (ko) 마커 검출 장치 및 방법
JP2018036884A (ja) 光源推定装置及びプログラム
Suzuki et al. Design of an AR marker for cylindrical surface
JP6835665B2 (ja) 情報処理装置及びプログラム
JP2012123567A (ja) オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム
Setyati et al. Face tracking implementation with pose estimation algorithm in augmented reality technology
JP2023153664A (ja) マッチング装置、方法及びプログラム
CN117063206A (zh) 用于在增强现实观看环境中对齐虚拟物体的装置和方法
JP2019008441A (ja) 情報処理装置及びプログラム
Sekii et al. 6-DOF camera pose estimation using reference points on an aerial image without altitude information
Artashes et al. RGB-D Sensor Data Correction and Enhancement by Introduction of an Additional RGB View

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150526

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee