KR100834905B1 - 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법 - Google Patents

마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법 Download PDF

Info

Publication number
KR100834905B1
KR100834905B1 KR1020060124859A KR20060124859A KR100834905B1 KR 100834905 B1 KR100834905 B1 KR 100834905B1 KR 1020060124859 A KR1020060124859 A KR 1020060124859A KR 20060124859 A KR20060124859 A KR 20060124859A KR 100834905 B1 KR100834905 B1 KR 100834905B1
Authority
KR
South Korea
Prior art keywords
marker
posture
pattern
recognition
candidate
Prior art date
Application number
KR1020060124859A
Other languages
English (en)
Inventor
이승욱
김용훈
서희전
이준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020060124859A priority Critical patent/KR100834905B1/ko
Application granted granted Critical
Publication of KR100834905B1 publication Critical patent/KR100834905B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 책에 인쇄된 마커에 대해 패턴 인식과 자세 추정을 통해 마커를 정확하게 인식하는 장치 및 방법에 관한 것이다.
본 발명은 실감형 교재에 인쇄된 마커를 에지 정보를 이용해 마커의 테두리 사각형 검출하고, 검출된 마커에 대해 에지 정보와 색상 정보를 이용해 마커 패턴을 인식하고, 패턴 인식된 마커에 대해 자세 변환 행렬을 이용한 자세 추정을 수행함으로써 보다 정확한 마커 인식을 수행한다.
따라서 본 발명은 마커의 부분적인 가림, 그림자, 급격한 조명변화에서도 마커를 인식할 수 있으며, 책의 여러 페이지에 대응할 수 있는 256가지의 고정 패턴과 사용자가 디자인한 아이콘 패턴을 인식하고 작은 크기의 마커의 자세도 정확히 추정할 수 있다.
마커 검출, 패턴 인식, 자세 추정

Description

마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법{Marker recognition apparatus using marker pattern recognition and attitude estimation and method thereof}
도 1은 본 발명에 따른 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치가 동작하는 전체 구성을 나타낸 도,
도 2는 본 발명에 따른 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치에서의 마커 인식하는 과정을 나타낸 순서도,
도 3은 본 발명에 따른 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치에 의한 실제 영상을 통해서 본 마커 인식 과정을 나타낸 도,
도 4는 본 발명에 따른 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치에 있어서 마커 검출부의 동작 순서를 나타낸 도,
도 5는 본 발명에서 사용하는 고정 패턴과 아이콘 패턴의 디자인 예시도,
도 6은 본 발명에서 사용하는 고정 패턴의 디자인 예시도,
도 7은 본 발명에 따른 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치에 있어서 패턴 인식부의 동작 순서를 나타낸 도,
도 8은 패턴 인식부에서 방향비트와 고정 패턴 아이디 검출에 사용된 색상정 보 및 에지정보를 나타낸 도,
도 9는 본 발명에 따른 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치에 있어서 자세 추정부의 동작 순서를 나타낸 도,
도 10은 첫 번째 후부 자세와 두 번째 후보 자세의 관계를 나타낸 도,
도 11은 실제 책에 인쇄된 마커를 인식한 예시도,
도 12는 마커를 인식하는 다양한 환경의 예시도,
도 13은 본 발명에 따른 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치에 있어서 마커 복원부의 동작 순서를 나타낸 도,
도 14는 마커 배치 구조 파일의 예시도이다.
<도면의 주요부분에 대한 부호의 설명>
11. 실감형 교재 12. 카메라
13. 마커 인식 장치 14. 마커 검출부
15. 패턴 인식부 16. 자세 추정부
16. 마커 복원부
본 발명은 e-Learning을 위한 실감형 교재에 인쇄된 마커를 인식하는 혼합현 실 기술을 상용화하기 위한 장치 및 방법에 관한 것으로, 더욱 상세하게는 실감형 교재에 인쇄된 마커에 대해 패턴 인식과 자세 추정을 통해 마커를 더욱 정확하게 인식하기 위한 장치 및 방법에 관한 것이다.
종래 마커 인식 기술에 대해 알아보면, 국내특허 "3차원 마커 인지 방법 및 이를 이용한 증강현실 및 복합 현실 제공 방법 및 장치"(출원번호 10-2004-0103916호)는 데카르트 좌표 형태의 3차원 마커를 이용하여 실사 영상 내에 포함된 3차원 마커를 인지하는 시스템을 구현하였다.
또한, 종래 공지된 논문으로 "ARTag, a fiducial marker system using digital techniques"(게제지명: Computer Vision and Pattern Recognition, Beier, D. & Billert, R. 공동저, 2005.7 발표)는 마커의 ID 구분을 위해 마커의 내부를 36개의 영역으로 나눠 10비트는 마커의 ID 구분으로, 26비트는 CRC(Cyclical Redundancy Check) 코드로 할당하여 마커 아이디 추출의 성능을 높이는 기술을 제공하였다.
상기한 종래 기술들은 저가형 임베디드 시스템에 적합한 증강현실 응용 시스템이나, 마커의 아이디를 혼동하는 Inter Marker Confusion을 줄이기 위한 시스템을 제공할 뿐 마커의 인식 성능 자체의 향상시키는 기술에 관한 것은 아니다.
또한, e-Learning 실감형 교재에 인쇄된 마커를 인식하여 혼합현실 기술을 상용화하기 위해서는 여러 가지 요구사항이 따르게 된다. 우선 다양한 카메라, 조명 환경에서도 마커 인식 기술이 강인하게 동작해야 하고, 일반 사용자의 경우 책에 인쇄된 마커에 대해서 부자연스럽게 느끼는 경향이 있는데, 이를 위하여 책에 들어간 마커의 크기를 최대한 줄일 필요가 있다.
또한 책의 페이지 수가 늘어나는 만큼 책에 포함되는 마커의 종류가 다양해지기 때문에 이를 위해 여러 종류의 마커를 효율적으로 제작하고 인식할 수 있는 패턴 제작 및 인식 매커니즘이 필요하다.
따라서 상기한 문제점을 해결하기 위한 본 발명의 목적은 실감형 교재에 인쇄된 마커를 에지 정보를 이용해 마커의 테두리인 사각형을 검출함으로써 다양한 카메라 환경, 조명 변화, 마커의 부분적인 가림에 강인한 마커 인식 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 실감형 교재에 인쇄된 마커에 대해 패턴 영역을 9개의 영역으로 나누고, 이를 에지 정보와 색상 정보를 이용해 패턴 인식함으로써 다양한 종류의 마커 패턴 제작 및 인식 가능한 마커 인식 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 실감형 교재에 인쇄된 마커에 대해 자세 변환 행렬을 이용하여 자세 추정을 수행함으로써 작은 크기의 마커를 정밀하게 자세 추정 가능한 마커 인식 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 마커의 패턴 인식 및 자세 추정을 이용한 마커 인식 장치는 실감형 교재를 카메라로 촬영한 영상을 입력받고, 상기 입력된 영상에서 마커를 검출하고, 상기 검출된 마커의 패턴을 인식하고, 상기 패턴 인식된 마커가 포함된 실감형 교재 페이지의 자세를 추정하여 정확한 마커를 인식하는 것을 특징으로 한다.
상기 마커 인식 장치는 조명의 변화 및 마커의 가림으로 인해 입력 영상으로부터 인식되지 않은 마커를 마커의 배치구조 정보를 이용하여 복원하는 것을 특징으로 한다.
한편 상기한 목적을 달성하기 위한 본 발명의 마커 패턴 인식 및 자세 추정을 통한 마커 인식 방법은 실감형 교재를 카메라로 촬영한 영상에서 상기 실감형 교재에 인쇄된 마커를 검출하는 단계와, 상기 검출된 마커의 패턴을 인식하는 단계와, 상기 패턴 인식된 마커가 포함된 교재 페이지의 자세를 추정하는 단계를 포함하여 이뤄지는 것을 특징으로 한다.
상기 마커 인식 방법은 조명의 변화 및 가림으로 인해 입력영상으로부터 인식되지 않은 마커를 마커의 배치구조 정보를 이용하여 복원하는 단계를 더 포함하는 것을 특징으로 한다.
이하에서는 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 마커 인식 장치(13)의 전체 구성 블록도이다. 도 1과 같이, 마커 인식 장치(13)은 실감형 교재(11)를 카메라(12)가 촬영한 영상을 입력받고, 입력된 영상으로부터 마커를 검출해 마커의 패턴 아이디 및 마커 자세를 추정하여 마커를 인식하는 마커 검출부(14), 패턴 인식부(15), 자세 추정부(16) 및 마커 복원부(17)를 포함하여 구성된다.
상세하게는, 마커 검출부(14)는 카메라(12)로부터 입력된 영상에 대해 에지 정보를 이용해 마커의 테두리가 사각형인지 판단하여 마커를 검출한다. 패턴 인식부(15)는 검출된 마커에 대해 에지 정보와 색상 정보를 이용해 마커의 패턴을 인식하고, 인식된 마커의 패턴 아이디를 검출한다.
자세 추정부(16)는 선형적인 방법으로 초기 자세를 구하고, 이 초기 자세를 최적화하여 첫 번째 후부 자세를 구한다. 구한 첫 번째 후보 자세에 자세 변환 행렬(M)을 곱하여 두 번째 후보 자세를 구하고, 이 두 후보 자세를 비교해 패턴 인식된 마커를 포함하는 책 페이지의 자세를 추정한다.
마커 복원부(17)는 조명의 변화 및 손가락 등에 의한 마커의 가림으로 인식되지 않은 마커를 마커 배치 구조 파일을 이용해 복원하여 인식한다.
도 2는 본 발명에 따른 마커 인식 장치(13)에 있어서 카메라로 취득한 영상으로부터 마커의 패턴 아이디와 마커 자세를 추정하는 과정에 대한 일련의 흐름을 보여준다.
마커 인식 장치(13)은 먼저 카메라(12)로 실감형 교재(11)를 촬영하여 얻은 영상(S21)에서 에지 정보를 이용하여 마커의 테두리 사각형을 검출하여 마커를 검출한다(S22).
검출한 마커에서 마커의 방향을 나타내는 방향비트의 유무에 따른 마커의 패턴을 인식하고, 9개의 영역으로 구분한 마커의 패턴 영역에 대해 에지정보 및 색상정보를 이용해 패턴 아이디를 검출한다(S23).
패턴 인식된 사각형은 마커로서 인정되어 이 마커가 포함된 책 페이지의 자 세를 자세 변환 행렬(M)을 이용하여 추정하고(S24), 추정된 자세를 표현하는 투영행렬(P)을 구한다.
따라서 본 발명의 마커 인식 장치(13)은 최종적으로 영상에 포함된 마커의 패턴 아이디와 추정된 자세를 표현하는 투영행렬(P)을 도 11과 같이 혼합현실 시스템에서의 콘텐츠 합성에 반영한다.
이 마커의 패턴 아이디와 투영행렬(P)은 혼합현실 시스템에서 카메라 영상에 포함된 마커에 대해 어떤 가상의 컴퓨터 그래픽을 어떤 자세로 합성시킬지를 결정하는데 사용된다.
또한, 인식된 마커에 대한 조명의 변화 및 마커의 가림에 의해 마커가 인식되지 않은 경우, 마커 배치 구조 파일을 이용하여 인식되지 않은 마커를 복원하고(S25), 최종 마커 인식을 완료한다(S26).
도 3은 도 1의 마커 인식 장치(13)에서 수행하는 도 2의 각 과정을 실제 영상을 통해서 표현한 것으로, 도 3(a)는 실감형 교재(11)를 카메라로 촬영한 실제 영상이며, 도 3(b)는 촬영한 영상에서 마커의 사각형을 검출한 영상이며, 도 3(c)는 검출한 마커의 사각형에서 패턴을 인식한 영상이며, 도 3(d)는 책의 자세를 추정한 영상이다.
도 4는 본 발명에 따른 마커 인식 장치(13)에 있어서 마커 검출부(14)의 사각형 검출 과정을 상세하게 나타낸 도이다.
우선, 카메라로부터 입력되는 영상에는 점, 선, 명암 등 다양한 특징들이 존재한다. 기존에는 사각형 검출을 위해 영상의 명암을 문턱값(threshold)으로 이진화(binarization)한 뒤, 그 중 어두운 영역을 그룹핑하여 이 영역이 사각형인지 아닌지를 판단하는 방법을 많이 사용하였다.
하지만 문턱값을 이용하는 이 방법은 다양한 조명환경, 그림자, 부분적인 가림 등에 매우 취약한 단점이 있다. 이에 본 발명에서는 여러가지 환경에서도 검출이 잘되는 에지(edge) 정보를 이용하여 사각형을 검출한다.
먼저 카메라로부터 입력되는 영상(S40)을 Robert, Sobel, Prewitt과 같은 에지 검출 마스크로 컨볼루션(convolution)하여 에지를 검출한다(S41).
검출된 에지에 대해 1 픽셀 두께로 선성분이 끊어지지 않도록 하는 세선화(thinning)를 수행한다(S42). 세선화는 말 그대로 선을 가늘게 하는 것으로, 검출된 에지에 대해 1 픽셀 두께의 일률적인 선으로 표현하는 것이다.
세선화된 에지들은 아직까지 픽셀로 표현된 래스터(raster) 정보이므로, 직 선 성분 검출을 위해 벡터화(vectorization)를 수행한다(S43). 벡터화된 에지들에 대해 각 벡터의 시작과 끝을 비교하여 시작과 끝이 가까운 벡터끼리 그룹핑한다(S44).
그런 다음, 그룹핑된 각 벡터 그룹에 대하여 최종적으로 사각형을 이루는지 판단한다(S45). 사각형으로 판단되면 마커로 판단하여 검출을 완료한다.
다음으로, 도 7을 참조하여 본 발명의 패턴 인식부(15)에서 마커 검출부(14)로부터 전달된 검출된 마커에 대해 패턴 인식을 수행하는 과정을 설명한다. 그 전에 도 5 및 도 6을 참조하여 마커 패턴의 종류에 대해 설명한다.
우선, 본 발명에서는 다양한 마커의 패턴을 제작 및 인식할 수 있도록 총 256가지의 고정 패턴을 정의하며, 이와 더불어 마커의 종류를 직관적으로 알 수 있도록 사용자가 정의한 아이콘을 패턴으로 사용할 수 있다. 도 5(a)는 4개의 고정 패턴의 예이고, 도 5(b)는 사용자가 정의한 4개의 아이콘 패턴의 예이다.
상세하게, 마커는 사각형 모양의 검은색 테두리 안에 패턴 영역을 포함하고 있다. 아이콘 패턴의 경우 사용자가 마커의 용도를 직관적으로 나타낼 수 있는 아이콘을 패턴 영역에 사용자가 정의한 아이콘을 그림으로써 제작할 수 있다.
고정 패턴은 도 6(a)와 같이 마커의 검은색 테두리 안의 패턴 영역을 9개의 영역으로 나눈다. 9개의 영역 중 좌측 상단의 영역은 마커의 방향을 나타내는 영역, 즉, 방향비트(D)를 나타내고, 이 방향비트(D)를 인식함으로써 고정 패턴 마커임을 인식함과 동시에 이 방향비트(D)는 항상 좌측 상단에 위치하여야 함으로 마커 패턴의 대칭성 문제를 해결할 수 있다.
패턴 영역의 방향비트를 제외한 나머지 8개 영역은 좌에서 우측 순으로, 상에서 하단 순으로 8자리 2진수의 각 자릿수에 대응된다. 이 영역이 검게 칠해지면 그 자릿수는 1이 되고, 빈 경우에는 0이 된다.
예를 들어 도 6(b)의 마커와 같이 5, 6 비트 영역이 검게 칠해지면 이는 2진수 00001100에 대응되고, 이 수는 10진수로 환산했을 때 12가 된다. 즉 이 마커의 패턴 아이디는 12가 된다. 이와 같이 마커의 패턴은 8자리 2진수에 대응되므로 총 256(=28)개의 패턴 아이디가 정의되며, 256개의 고정 패턴을 표현할 수 있다.
도 7은 본 발명의 마커 검출부(14)에서 검출된 마커의 사각형으로부터 고정패턴과 아이콘패턴을 한 프레임워크에서 인식할 수 있는 패턴 인식부(15)의 패턴 인식 과정을 상세하게 나타낸 도이다.
우선 마커의 사각형 검출 과정에서 검출된(S71) 사각형 테두리 안의 패턴 영역에서 방향비트(D)가 있는지 찾는다(S72). 만약 이 방향비트(D)가 존재한다면(예) 이는 고정 패턴으로 판단하여 각 비트 영역을 디코딩하여 패턴 아이디를 검출한다(S75).
반면 방향비트(D가 존재하지 않는다면(아니오), 아이콘 패턴일 가능성에 대해서 조사한다. 아이콘패턴일 가능성이 낮다고 판단되면, 이 사각형은 단순한 검정색 사각형으로 마커 후보 목록에서 제외하고, 아이콘 패턴일 가능성이 높다고 판단되면, 패턴 DB와 PCA(Principal Component Analysis) 매칭을 통해(S74) 패턴 아이콘을 검출한다(S75).
패턴 인식부(15)에서 패턴인식을 하는 과정 중 가장 중요한 점은 패턴 오인식을 낮추는 것이다. 만약 패턴을 오인식하게 되면, 의도하지 않은 컴퓨터 그래픽을 합성시키게 되고, 이것은 혼합현실을 상용화하는데 있어서 치명적인 문제점이 될 수 있다.
이를 해결하기 위해 본 발명에서는 도 8과 같이 패턴인식시에 색상 정보(B(블랙), W(화이트))와 에지 정보(E)를 함께 사용한다. 도 8은 고정 패턴에 있어서 방향 비트(D)와 패턴 아이디 검출에 사용되는 색상 정보(B, W)와 에지 정보(E)를 나타낸 것이다.
즉, 도 8(a)는 방향 비트(D) 검출과정(S72)에 있어서 방향 비트(D)의 대각선 에지정보(E)와 함께 대각선 상단의 검정색 영역(B)과 대각선 하단의 흰색 영역(W)의 색상 정보를 이용하여 검출한다.
도 8(b)는 패턴 아이디 검출과정(S75)에 있어서 각 비트 영역의 색상 정보와 에지 정보를 동시에 사용하여 각 비트 영역이 검정색 영역(B)인지 흰색 영역인지 확인하여 흰색 영역이면 0, 검정색 영역이면 1로 디코딩하여 패턴 아이디를 검출함으로써 검출 신뢰도를 높일 수 있다.
다음으로, 본 발명의 자세 추정부(16)에서 패턴 인식부(15)로부터 전달된 패턴 인식된 마커에 대해 자세추정을 수행하는 과정을 도 9 및 도 10을 참조하여 설명한다.
도 9는 본 발명에 따른 마커 인식 장치(13)의 자세 추정부(16)에서 작은 크기의 마커에 대한 자세를 정밀하게 추정하는 과정을 상세하게 나타낸 것이다.
자세 추정(attitude estimation)은 마커의 크기가 작아질수록 불안해지는 경향이 있다. 이는 마커의 크기가 작을수록 실제 자세와 투영오차가 비슷한 다른 자세가 존재하는 데서 비롯된다.
투영행렬(P)은 카메라의 내부 파라메터(K)와 마커의 자세를 나타내는 행렬([R│t])의 곱이다. 또, 마커의 좌표(x, y)를 투영행렬(P)과 곱하게 되면 영상에 투영된 마커의 좌표(
Figure 112006091194408-pat00001
,
Figure 112006091194408-pat00002
)를 수식 1과 같이 구할 수 있다.
[수식 1]
Figure 112006091194408-pat00003
투영오차(Projection error)란 영상에서 측정한 마커의 특징점(사각형의 네 개의 꼭지점)의 좌표(x, y)와 추정한 마커의 자세([R│t])를 이용하여 계산된 추정 마커 좌표(
Figure 112006091194408-pat00004
,
Figure 112006091194408-pat00005
) 사이의 거리의 평균값이다. 따라서, 마커의 자세([R│t])를 정확하게 추정할수록 투영오차는 작아진다.
따라서 투영오차(Projection error)는 마커의 좌표(x, y)와 투영행렬에 의해 구해진 추정 마커 좌표(
Figure 112006091194408-pat00006
,
Figure 112006091194408-pat00007
)를 이용해 아래 수식 2와 같이 구해진다.
[수식 2]
Figure 112006091194408-pat00008
도 9를 참조하여 본 발명의 마커 자세 추정 과정을 설명하면, 우선 선형적인 방법(direct linear method)으로 초기 자세를 계산한다(S91).
선형적인 방법을 통해 얻은 자세의 경우 투영오차가 상당히 크다. 이 초기 자세를 Levenberg-Marquardt method 또는 Newton method 같은 최적화(optimization) 기법을 적용하여 첫번째 후보 자세를 결정한다(S92).
카메라로 촬영한 교재에 대한 첫 번째 후보 자세와 두번째 후보 자세의 관계를 나타낸 도 10을 참조하면, 두번째 후보 자세는 카메라 시점에 대하여 첫 번째 후보 자세와 투영오차가 비슷하며, 첫 번째 후보 자세와 거의 대칭을 이룬다.
즉, 마커의 첫 번째 후보 자세(p1)의 법선벡터(n1)와 카메라 시점(z)이 이루는 각(θ1)은 두번째 후보 자세(p2)의 법선벡터(n2)와 카메라 시점(z)이 이루는 각(θ2)과 거의 비슷하다.
따라서 두번째 후보 자세는 첫 번째 후보 자세(p1)의 법선벡터(n1)와 -z가 이루는 평면에 수직인 벡터(nr=n1×-z)에 대해서 각도 2*θ1 만큼 회전시키는 자세 변환 행렬을 구함으로써 계산되어 진다. 즉, 두 번째 후보 자세는 첫 번째 후보 자세를 자세 변환 행렬을 통해 이동시키는 것에 의해 구해진다. 이 자세 변환 행렬은 수식 3으로 구할 수 있다.
[수식 3]
Figure 112006091194408-pat00009
여기서, θ1은 첫번째 후보 자세의 법선벡터와 카메라 시점이 이루는 각, n1은 첫 번째 후보 자세의 법선 벡터, z는 카메라의 시점 벡터이고, nr1, nr2, nr3는 도 10과 같이 첫 번째 자세(P1)에 의해 구해진 자세를 이용하여 구할 수 있다(nr=n1*-z).
그리고 첫 번째 자세를 P1이라 하고 두 번째 자세를 P2라 하면, 두 번째 자세(P2)는 M×P1을 통해서 구할 수 있다(S92). P2=M×P1을 통해 구한 두 번째 자세도 초기 자세와 마찬가지로 정밀한 자세가 아니므로 이를 최적화하는 과정이 필요하다. 이렇게 구한 첫 번째 자세와 두 번째 자세의 투영 오차를 측정하여 더 작은 자세를 최종 마커의 자세로 결정한다(S93).
위의 모든 과정을 거친 후 카메라 영상으로부터 인식된 마커와 컴퓨터 그래픽이 최종적으로 합성된 영상은 도 11과 같다. 영상에 잡힌 마커의 크기가 작음에도 불구하고 고정 패턴, 아이콘 패턴을 정확히 인식하고 정확한 자세로 컴퓨터 그래픽을 합성한 것을 볼 수 있다.
한편, 조명의 변화 등에 의해 마커가 순간적으로 인식되지 않을 수 있다. 이 경우 합성된 가상 콘텐츠가 사라짐으로 사용자는 깜빡거림을 느낄 수 있다. 또한 아이콘 패턴을 이용하여 사용자 인터랙션을 제공하는 경우, 아이콘 패턴이 책 위에 인쇄된 마커를 가려 마커가 인식되지 않을 수 있다. 이 경우에도 사용자는 깜박거림을 느낄 수 있다.
도 12는 실감형 교재의 마커에 대해 부분적인 가림, 급격한 조명변화가 있는 환경의 예를 보여준다.
이러한 경우를 대비하여 본 발명에서는 도 13과 같은 마커 복원 과정으로, 페이지마다 고정 패턴 마커를 삽입하고, 이 마커의 배치구조 정보를 이용하여 인식되지 않은 마커를 복원한다.
우선, 도 14와 같은 마커 배치 구조 파일(marker_str.dat)을 만든다(S130). 마커 배치 구조 파일에 포함된 정보에 의하면, 현재 페이지(ID=1)의 교재에는 책 위에 인쇄된 마커가 3개가 있고(id=1, 2, 3), 이 마커들은 마커 아이디가 가장 작은 것(id=1)을 중심(0, 0)으로 각각 (10, 20)(id=2), (20, 30)(id=3)만큼 떨어져 있음을 알 수 있다.
입력된 영상에서 마커를 인식하고(S131), 만약 인식된 마커의 아이디가 1이라면 도 14에 나태낸 마커 배치 구조 파일(marker_str.dat)을 이용하면 현재 페이지가 1페이지라는 것을 알 수 있다.
또한, 마커 배치 구조 파일(marker_str.dat)에 의해 현재 마커(id=1)의 위치를 기준(0, 0)으로 (10, 20)의 위치에 마커 2(id=2)가 있다는 것을 알고, (20, 30)의 위치에 마커 3(id=3)이 있다는 것을 알 수 있다(S132).
이러한 정보(S132)를 바탕으로, 입력 영상에서 현재 인식된 마커(id=1)를 기준(0, 0)으로 (10, 20)의 위치로 이동하여 영상을 가져온다. 이를 Im(x, y)라고 하고, 마커 2(id=2)의 패턴을 가지는 영상을 Ip(x, y)라고 한다. 마커의 패턴 디자인이 규칙적으로 되어 있으므로 Ip(x, y)는 알 수 있다.
두 영상 Im(x, y)와 Ip(x, y)를 비교하여 두 영상의 유사도가 특정 임계값을 넘으면 그 위치에 id=2인 마커가 있다고 가정하여 마커가 인식된 것으로 한다. 이때 두 영상을 비교하는 방법은 PCA 매칭을 이용한다.
따라서 마커 배치 구조 파일을 이용함으로써 조명의 변화 및 아이콘 패턴이 책 위에 인쇄된 마커를 가리는 경우와 같은 마커의 가림에 의해 마커가 인식되지 않아 합성된 가상 콘텐츠가 사라지는 깜빡거림을 없앨 수 있다.
이상에서 알아본 바와 같이 본 발명이 실시예는 하나의 실시예에 지나지 않으며, 본 발명의 요지를 벗어나지 않는 범위 내에서 많은 변형 및 변경이 가능함은 물론이다.
이와 같이, 본 발명의 마커 인식 장치 및 방법은 e-learning 실감형 교재에 인쇄된 마커를 인식하여 혼합현실 기술을 상용화하는 경우, 마커의 부분적인 가림, 그림자, 급격한 조명변화에서도 마커를 인식할 수 있다. 또한 책의 여러 페이지에 대응할 수 있는 256가지의 고정 패턴과 사용자가 디자인한 아이콘 패턴을 인식하고 작은 크기의 마커의 자세도 정확히 추정할 수 있다. 따라서 본 발명에 따른 마커 인식 장치 및 방법은 마커를 이용한 혼합현실 기술을 상용화 수준까지 끌어올리는데 이바지하는 효과가 있다.

Claims (20)

  1. 교재를 카메라로 촬영한 영상을 입력받고, 상기 입력된 영상에서 상기 교재에 인쇄된 마커를 검출하는 단계;
    상기 검출된 마커의 패턴을 인식하는 단계; 및
    상기 패턴 인식된 마커가 포함된 교재 페이지의 자세를 추정하는 단계를 포함하여 이루어지는 것을 특징으로 하는 마커 패턴 인식 및 자세 추정을 통한 마커 인식 방법.
  2. 제1항에 있어서,
    상기 마커 인식 방법은 조명의 변화 및 가림으로 인해 상기 입력된 영상으로부터 인식되지 않은 마커를 마커의 배치구조 정보를 이용하여 복원하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 마커 패턴 인식 및 자세 추정을 통한 마커 인식 방법.
  3. 제2항에 있어서,
    상기 마커의 배치구조 정보는 상기 교재의 페이지마다 고정형 마커를 삽입한 규칙적인 패턴 정보인 것을 특징으로 하는 마커 패턴 인식 및 자세 추정을 통한 마커 인식 방법.
  4. 제1항에 있어서,
    상기 마커 검출은 에지 정보를 이용하여 마커의 사각형 테두리의 검출에 의해 이뤄지는 것을 특징으로 하는 마커 패턴 인식 및 자세 추정을 통한 마커 인식 방법.
  5. 제4항에 있어서,
    상기 마커의 사각형 테두리 검출은 에지 검출 마스크를 통해 상기 입력된 영상을 컨볼루션하여 에지를 검출하는 단계;
    상기 검출된 에지에 대해 1 픽셀 두께의 선 성분이 끊어지지 않도록 세선화하는 단계;
    상기 세선화된 에지에 대해 벡터화하여 직선 성분을 검출하는 단계;
    상기 벡터화된 직선 성분의 에지의 시작과 끝이 가까운 벡터끼리 그룹핑하는 단계; 및
    상기 그룹핑된 벡터 그룹이 사각형을 이루는지 판단하는 단계를 포함하여 이뤄지는 것을 특징으로 하는 마커 패턴 인식 및 자세 추정을 통한 마커 인식 방법.
  6. 제1항에 있어서,
    상기 마커 패턴 인식은 색상정보와 에지정보를 이용해 상기 검출된 마커가 고정 패턴인지 아이콘 패턴인지를 인식하는 것을 특징으로 하는 마커 패턴 인식 및 자세 추정을 통한 마커 인식 방법.
  7. 제6항에 있어서,
    상기 마커 패턴 인식은 마커의 방향을 나타내는 영역인 방향비트의 유무를 판단하는 단계;
    상기 판단결과, 상기 방향비트가 있으면 고정패턴으로 판단하여 각 비트 영역을 디코딩하는 단계; 및
    상기 디코딩한 2진수 값을 이용하여 상기 고정패턴의 패턴 아이디를 검출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 마커 패턴 인식 및 자세 추정을 통한 마커 인식 방법.
  8. 제7항에 있어서,
    상기 판단결과, 상기 방향비트가 없으면 패턴DB를 검색하여 PCA(Principal Component Analysis) 매칭을 통해 패턴 아이콘을 검출하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 마커 패턴 인식 및 자세 추정을 통한 마커 인식 방법.
  9. 제1항에 있어서,
    상기 자세추정은 선형적인 방법을 이용하여 초기 자세를 계산하는 단계;
    상기 계산된 초기 자세에 대해 최적화 기법을 이용해 첫 번째 후보 자세를 구하는 단계;
    상기 첫 번째 후보 자세에 대해 자세 변환 행렬(M)을 곱하여 두 번째 후보자세를 구하는 단계; 및
    상기 구한 첫 번째 후보 자세와 두 번째 후보자세의 투영오차를 측정하여 더 작은 자세를 최종 마커의 자세로 결정하는 단계;로 이뤄지는 것을 특징으로 하는 마커 패턴 인식 및 자세 추정을 통한 마커 인식 방법.
  10. 제9항에 있어서,
    상기 자세 변환 행렬(M)은 아래의 식에 의해 구해지는 것을 특징으로 하는 마커 패턴 인식 및 자세 추정을 통한 마커 인식 방법.
    Figure 112006091194408-pat00010
    여기서, θ1은 첫번째 후보 자세의 법선벡터와 카메라 시점이 이루는 각, n1은 첫 번째 후보 자세의 법선 벡터, z는 카메라의 시점 벡터이다.
  11. 교재를 카메라로 촬영한 영상을 입력받고, 상기 입력된 영상에서 마커를 검출하는 마커 검출부,
    상기 검출된 마커의 패턴을 인식하는 패턴 인식부,
    상기 패턴 인식된 마커가 포함된 교재 페이지의 자세를 추정하여 정확한 마커를 인식하는 자세 추정부를 포함하는 것을 특징으로 하는 마커의 패턴 인식 및 자세 추정을 이용한 마커 인식 장치.
  12. 제11항에 있어서,
    상기 마커 인식 장치는 조명의 변화 및 마커의 가림으로 인해 입력 영상으로부터 인식되지 않은 마커에 대해 마커의 배치구조 정보를 이용하여 복원하는 마커 복원부를 더 포함하는 것을 특징으로 하는 마커의 패턴 인식 및 자세 추정을 이용한 마커 인식 장치.
  13. 제12항에 있어서,
    상기 마커의 배치구조 정보는 상기 교재의 페이지마다 고정형 마커를 삽입한 규칙적인 패턴 정보인 것을 특징으로 하는 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치.
  14. 제11항에 있어서,
    상기 마커 검출은 에지 정보를 이용해 마커의 사각형 테두리를 검출하는 것에 의해 검출되는 것을 특징으로 하는 마커의 패턴 인식 및 자세 추정을 이용한 마커 인식 장치.
  15. 제14항에 있어서,
    상기 마커의 사각형 테두리 검출은 에지 검출 마스크를 이용해 컨볼루션을 실행하여 에지를 검출하고, 상기 검출한 에지에 대해 세선화를 실시한 후 벡터화하여 직선 성분을 추출하고, 상기 벡터화된 직선 성분의 근접해 있는 시작과 끝부분 을 그룹핑하여 사각형을 이루는지 판단하는 것에 의해 검출되는 것을 특징으로 하는 마커의 패턴 인식 및 자세 추정을 이용한 마커 인식 장치.
  16. 제11항에 있어서,
    상기 마커 패턴 인식은 색상정보와 에지정보를 이용해 상기 검출된 마커가 고정 패턴인지 아이콘 패턴인지를 판단하는 것을 특징으로 하는 마커의 패턴 인식 및 자세 추정을 이용한 마커 인식 장치.
  17. 제16항에 있어서,
    상기 고정 패턴의 판단은 마커의 방향을 나타내는 영역인 방향비트를 인식하는 것에 의해 이루어지는 것을 특징으로 하는 마커의 패턴 인식 및 자세 추정을 이용한 마커 인식 장치.
  18. 제17항에 있어서,
    상기 아이콘 패턴의 판단은 상기 방향비트가 인식되지 않을 경우, 패턴 DB를 검색하여 PCA(Principal Component Analysis) 매칭을 통해 이루어지는 것을 특징으로 하는 마커의 패턴 인식 및 자세 추정을 이용한 마커 인식 장치.
  19. 제11항에 있어서,
    상기 마커의 자세 추정은 선형적인 방법을 이용하여 계산된 초기 자세로부터 첫번째 후보 자세를 구하고, 상기 첫번째 후보 자세에 자세 변환 행렬(M)을 곱하여 두번째 후보자세를 구한 후, 상기 구한 첫번째 후보 자세와 두번째 후보자세의 투영오차를 측정하여 더 작은 자세를 최종 마커의 자세로 결정하는 것에 의해 추정되는 것을 특징으로 하는 마커의 패턴 인식 및 자세 추정을 이용한 마커 인식 장치.
  20. 제19항에 있어서,
    상기 자세 변환 행렬(M)은 아래의 식에 의해 구해지는 것을 특징으로 하는 마커의 패턴 인식 및 자세 추정을 이용한 마커 인식 장치.
    Figure 112006091194408-pat00011
    여기서, θ1은 첫번째 후보 자세의 법선벡터와 카메라 시점이 이루는 각, n1은 첫 번째 후보 자세의 법선 벡터, z는 카메라의 시점 벡터이다.
KR1020060124859A 2006-12-08 2006-12-08 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법 KR100834905B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060124859A KR100834905B1 (ko) 2006-12-08 2006-12-08 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060124859A KR100834905B1 (ko) 2006-12-08 2006-12-08 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR100834905B1 true KR100834905B1 (ko) 2008-06-03

Family

ID=39769941

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060124859A KR100834905B1 (ko) 2006-12-08 2006-12-08 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100834905B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100974900B1 (ko) * 2008-11-04 2010-08-09 한국전자통신연구원 동적 임계값을 이용한 마커 인식 장치 및 방법
KR101177820B1 (ko) * 2008-12-22 2012-08-28 한국전자통신연구원 마커 인식 장치
KR101179969B1 (ko) 2010-12-28 2012-09-05 한양대학교 에리카산학협력단 마커 검출 장치 및 방법
KR101281314B1 (ko) 2013-02-18 2013-07-03 구덕회 증강현실시스템 및 증강현실구현방법
KR20160122033A (ko) * 2015-04-13 2016-10-21 동아대학교 산학협력단 픽셀 방향정보를 사용한 영상정보 내 패턴정보영역 검출방법
KR101934557B1 (ko) 2018-08-23 2019-01-02 (주)피케이시스템 3d 스캔용 편심형 추종표적 및 이를 이용한 3d 스캐닝 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542370B1 (ko) 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
KR20060129960A (ko) * 2005-06-13 2006-12-18 가부시끼가이샤 도시바 이동 로봇 및 그의 위치 및 자세의 산출방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542370B1 (ko) 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
KR20060129960A (ko) * 2005-06-13 2006-12-18 가부시끼가이샤 도시바 이동 로봇 및 그의 위치 및 자세의 산출방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100974900B1 (ko) * 2008-11-04 2010-08-09 한국전자통신연구원 동적 임계값을 이용한 마커 인식 장치 및 방법
US8682095B2 (en) 2008-11-04 2014-03-25 Electronics And Telecommunications Research Institute Method for recognizing markers using dynamic threshold and learning system based on augmented reality using marker recognition
KR101177820B1 (ko) * 2008-12-22 2012-08-28 한국전자통신연구원 마커 인식 장치
KR101179969B1 (ko) 2010-12-28 2012-09-05 한양대학교 에리카산학협력단 마커 검출 장치 및 방법
KR101281314B1 (ko) 2013-02-18 2013-07-03 구덕회 증강현실시스템 및 증강현실구현방법
KR20160122033A (ko) * 2015-04-13 2016-10-21 동아대학교 산학협력단 픽셀 방향정보를 사용한 영상정보 내 패턴정보영역 검출방법
KR101689705B1 (ko) 2015-04-13 2016-12-26 동아대학교 산학협력단 픽셀 방향정보를 사용한 영상정보 내 패턴정보영역 검출방법
KR101934557B1 (ko) 2018-08-23 2019-01-02 (주)피케이시스템 3d 스캔용 편심형 추종표적 및 이를 이용한 3d 스캐닝 방법

Similar Documents

Publication Publication Date Title
KR101469398B1 (ko) 텍스트 기반 3ｄ 증강 현실
US6678425B1 (en) Method and apparatus for decoding angular orientation of lattice codes
KR100974900B1 (ko) 동적 임계값을 이용한 마커 인식 장치 및 방법
US6935562B2 (en) Operations on images having glyph carpets
US9405182B2 (en) Image processing device and image processing method
US6880755B2 (en) Method and apparatus for display of spatially registered information using embedded data
KR100834905B1 (ko) 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법
JP2015153046A (ja) 画像処理装置、画像処理方法およびプログラム
KR20150105479A (ko) 2차원 코드 증강 현실의 실현 방법 및 디바이스
CN113076814B (zh) 文本区域的确定方法、装置、设备及可读存储介质
JP2010231686A (ja) 画像からの文書領域抽出装置、方法、及びプログラム
KR100702534B1 (ko) 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법
CN110738185A (zh) 表单对象的识别方法、装置及存储介质
WO2022087846A1 (zh) 图像的处理方法、装置、设备以及存储介质
WO2023193763A1 (zh) 数据处理方法及装置、追踪标记、电子设备及存储介质
JP2014219822A (ja) コンテンツ表示装置、コンテンツ表示方法、プログラム、及び、コンテンツ表示システム
JP4550460B2 (ja) コンテンツ表現制御装置およびコンテンツ表現制御プログラム
WO2020208742A1 (ja) 多角形検出装置、多角形検出方法、及び多角形検出プログラム
JP2020071672A (ja) 情報処理プログラム、サーバ・クライアントシステム、及び情報処理方法
CN113343965A (zh) 图像倾斜矫正方法、装置及存储介质
CN114390265B (zh) 投射区域的设定辅助方法、设定辅助系统以及记录介质
JP6815712B1 (ja) 画像処理システム、画像処理方法、画像処理プログラム、画像処理サーバ、及び学習モデル
EP1557793B1 (en) Method and apparatus for registering, displaying and decoding of information for spatial registration
WO2023017723A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP4328282B2 (ja) 数値入力方法及び装置並びに数値入力プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130424

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150427

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160427

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180426

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 12