KR20070014767A - 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 - Google Patents
방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 Download PDFInfo
- Publication number
- KR20070014767A KR20070014767A KR1020050069673A KR20050069673A KR20070014767A KR 20070014767 A KR20070014767 A KR 20070014767A KR 1020050069673 A KR1020050069673 A KR 1020050069673A KR 20050069673 A KR20050069673 A KR 20050069673A KR 20070014767 A KR20070014767 A KR 20070014767A
- Authority
- KR
- South Korea
- Prior art keywords
- area
- visual marker
- extended
- region
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법이 개시된다. 본 발명은 증강현실을 구현하는 시스템에서 영상기반 위치 인식을 위한 인식수단으로 이용되는 비주얼 마커와 상기 비주얼 마커의 인식을 통해 아이디를 판단하는 방법에 관한 것으로 종래 비주얼 마커에 비해 아이디의 확장이 용이하고, 카메라를 통해 취득된 영상을 통해 비주얼 마커를 인식하는 인식률의 높고, 상대적으로 인식된 비주얼 마커를 통해 아이디를 판단하는 계산량의 감소로 인한 빠른 증강현실 구현이 될 수 있는 확장형 비주얼 마커와 이를 이용한 아이디 판단 방법을 제공하는 것을 목적으로 한다. 이를 위해 아이디영역과 정보영역을 포함하는 내부영역과 확장된 아이디영역을 사각영역의 외측에 접하도록 하여 비주얼 마커 인지 여부와 방향성 및 아이디를 동시에 표시할 수 있는 확장형 비주얼 마커와 이를 통해 아이디를 판단하는 방법을 제공한다. 따라서 카메라를 통해 취득된 영상에서 정확히 비주얼 마커를 검출하고 이를 통해 정확한 아이디를 결정할 수 있는 효과와 아이디 개수의 확장이 용이하고, 응용 또한 용이한 효과 및 정확한 비주얼 마커의 인식으로 증강현실 시스템을 안정적으로 운용할 수 있는 효과가 있다.
증강현실, 비주얼 마커, 사각영역, 이진화, 영상보정, 방향성
Description
도 1은 증강현실을 개념적으로 설명하기 위한 시스템 구성을 개념적으로 보인 도면.
도 2는 종래 비주얼 마커를 설명하기 위해 각각의 예를 보인 도면.
도 3은 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 확장형 비주얼 마커의 구조를 설명하기 위한 도면.
도 4는 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 단계를 설명하기 위한 도면.
도 5는 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 임계값 결정 단계를 설명하기 위한 도면.
도 6은 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 사각영역 및 내부영역 꼭지점 검출 방법을 설명하기 위한 도면.
도 7은 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 사각영역 및 내부영역 꼭지점 검출 방법을 그림으로 설명하기 위한 도면.
도 8은 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 내부영역 영상보정 단계를 설명하기 위한 도면.
도 9는 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 확장 사각영역의 꼭지점 검출 방법을 그림으로 설명하기 위한 도면.
본 발명은 증강현실을 구현하기 위한 비주얼 마커를 3차원으로 인식하여 상기 비주얼 마커에 해당하는 아이디를 판단하는 방법에 관한 것이다.
증강현실(Augmented Reality)은 가상현실(virtual reality)의 변화된 형태로 실제 환경에 가상의 물체를 첨가하여 보여줌으로써 사용자의 지각 및 현실과의 상호작용에 도움을 주는데 목적이 있다. 좀 더 상세히 설명하면, 도 1 증강현실을 개념적으로 설명하기 위한 시스템 구성을 개념적으로 보인 도면에 도시한 바와 같이 현실의 보드(1)에 비주얼 마커(2)를 부착하고, 상기 비주얼 마커(2)의 아이디에 해당하는 이미지정보(2`)를 컴퓨터(4) 또는 태블릿 컴퓨터(5) 또는 피디에이(6)에 저장한다. 이때 상기 컴퓨터(4) 또는 태블릿 컴퓨터(5) 또는 피디에이(6)에는 증강현실을 구현하는데 필요한 연산프로그램이 설치되어 있다.
이와 같은 상태에서 카메라(3)를 통해 현실의 보드(1)와 현실의 보드(1)에 부착된 비주얼 마커(2)가 촬영되어 상기 컴퓨터(4) 또는 태블릿 컴퓨터(5) 또는 피디에이(6)로 전송되면, 상기 컴퓨터(4) 또는 태블릿 컴퓨터(5) 또는 피디에이(6)에서는 상기 카메라(3)를 통해 촬영된 이미지에서 비주얼 마커(2)의 아이디를 판단하고, 판단된 아이디에 해당하는 이미지정보(2`)를 독출하여 증강현실에 필요한 정보처리를 거쳐 최종적으로 도 1(b)에 도시한 바와 같이 화면(7)에 현실의 보드(1) 위에 가상의 집(2`)이 있는 것과 같은 합성영상을 출력한다. 이와 같은 증강현실은 의학, 산업, 오락, 군사 분야 등에 다양하게 응용되고 있다. 일반적인 증강현실은 광학(optical) 또는 영상(video) 기반 시스템으로 설계될 수 있으며 광학기반 시스템은 사용자가 HMD(Head-Mounted Display)의 반투명스크린을 통해 실제 환경을 직접 볼 수 있으며, HMD의 스크린에 가상의 물체를 투영하여 사용자에게 정보를 제공한다. 이에 반해 영상 기반 시스템은 카메라로부터 영상을 얻은 다음 이 영상에 가상의 정보를 합성한다. 이때 특정 사물의 위치를 3차원으로 인식하기 위해 비전 기술을 활용하여, 특정사물을 인식하는 것이 어려운 이유로 인식이 상대적으로 용이한 마커들이 개발되었다. 통상 마커는 태그(tag), 컨텍스트(context) 또는 비주얼 마커(visual marker)라고 일컫는다. 이하 비주얼 마커로 칭한다.
각각의 비주얼 마커는 그 형태에 따라 임의로 지정된 고유 아이디(ID)를 가지고 있으며, 상기 비주얼 마커의 고유 아이디에는 해당하는 문자, 그래픽, 음향과 같은 데이터(Data)를 컴퓨터에 저장해 두고 상기 비주얼 마커를 인식함으로써 상기 데이터를 출력한다. 이와 같은 비주얼 마커는 방향성과 그 모양에 따라 여러 가지의 ID로 인식을 하게 되는데 종래의 대표적인 비주얼 마커로는 ArToolkit 마커, HOM 마커, IGD 마커, SCR 마커, Kobe 대학 마커 등이 있다.
도 2는 종래 비주얼 마커를 설명하기 위해 각각의 예를 보인 도면에 도시한 바와 같이 상기 ArToolkit 마커는 상기 도면에 도시한 바와 같이 마커 내의 사각영역 안에 패턴으로 템플리트 매칭 알고리즘을 통해 마커를 인식하고 . 즉 각각의 마커의 동/서/남/북 네 방향에 대한 템플리트 정보를 모두 비교하여, 마커의 모양 및 방향을 인식한다. 이와 같은 마커를 인식하는 방법과 시스템은 처리속도가 빠른 장점과 사각영역 안의 내용이 이미지 및 아이콘화하는 것이 가능하여 사용자에게 직관적인 아이디를 제공해 줄 수 있으나 실제 상용함에 있어 유사한 패턴이 동일한 패턴으로 인식될 가능성이 높다는 문제점과 마커의 개수가 다수일 경우에는 매칭 횟수가 증가하여 마커 선별 시간이 마커의 갯수에 비례하여 증가하는 문제점이 있다.
상기 HOM 마커는 상기 도면에 도시한 바와 같이 주요 사각영역 이외에도 부가적으로 마커 인식의 신뢰를 높이기 위한 방법으로 마커의 한 변 외각에 6비트의 인코딩 영역을 포함한다. 따라서 인식할 수 있는 아이디(ID)의 양이 16비트에서 24비트까지 가능한 장점이 있으나 상기 ArToolkit 마커에 비해 마커가 크고, 마커를 인식하기 위한 인식 연산량이 많은 문제점이 있다.
상기 IGD 마커는 6×6의 사각틀로 구성되며 내부 4×4 사각틀이 마커의 원점 및 의미를 나타내게 되어 마커의 인식의 정확도와 처리속도가 빠른 장점이 있으나 아이디의 양이 16비트에 한정되는 문제점과 마커를 인식하기 위한 인식 연산량이 많은 문제점이 있다.
상기 SCR 마커는 사각영역 안에 마커의 의미가 코드화된다. 시간적인 트래킹 정보를 이용하기 때문에 비디어 시퀸스를 사용하는 시스템에서 우수한 성능을 나타내고, 마커의 갯수가 늘어나도 연산속도가 쉽게 떨어지지 않는 장점이 있으나, 아이디의 양이 16비트에 한정되는 문제점과 마커를 인식하기 위한 인식 연산량이 많은 문제점이 있다.
상기 Kobe 대학 마커는 사각영역을 50개의 작은 삼각형 영역으로 나누고 이 삼각형들은 0 또는 1을 나타내기 위해 검정 혹은 흰색으로 이진화한다. 이때 마커의 방향인식은 코너 네 영역 중에 세부분 곧 6비트가 할당되고 그 사이 12비트는 에러 검출에 사용되어 데이터영역으로 32비트가 할당되어 아이디의 양은 32비트가 된다. 따라서 상기 Kobe 대학 마커는 아이디의 양이 많은 장점과 데이터오류를 위해 패리티 비트를 이용하는 장점이 있으나, 마커의 크기가 작을 경우 많은 분할로 인해 타 마커에 비해 인식이 어려운 문제점과 상기 ArToolkit 마커에 비해 마커를 인식하기 위한 인식 연산량이 많은 문제점이 있다.
본 발명은 상기와 같은 종래 비주얼 마커의 문제점을 개선하고, 상기 비주얼 마커를 인식하는 방법을 제공하기 위하여 창안된 것으로 사각영역의 외부영역을 데이터 영역으로 확장하여 아이디의 확장이 용이하고, 비주얼 마커 인지 여부 정보와 방향성 정보를 갖는 비주얼 마커를 제공하고, 상기 비주얼 마커를 통해 비주얼 마커의 인식에 따른 연산량을 줄이고, 비주얼 마커를 생성하는 생성규칙이 간결하여 비주얼 마커 생성툴의 제작이 용이한 비주얼 마커를 제공하고, 이를 통해 아이디를 정확하고 용이하게 판단할 수 있는 방법을 제공하는데 그 목적이 있다.
상기와 같은 본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법은 사각영역과 상기 사각영역의 내부영역을 갖는 비주얼 마커를 통해 아이디를 판단하는 방법에 있어서, (a) 상기 내부영역은 방향정보 및 비주얼 마커 판단 정보를 표시하는 정보영역과 아이디정보를 표시하는 제1 아이디영역으로 구분되고, 상기 사각영역의 외측에 접하여 확장된 아이디정보를 표시하는 제2 아이디영역으로 구성된 확장형 비주얼 마커 생성 단계; (b) 상기 (a)단계에서 생성되어 소정의 위치에 존재하는 상기 확장형 비주얼 마커를 카메라를 통해 촬영하여 확장형 비주얼 마커가 포함된 영상을 획득하는 확장형 비주얼 마커 영상획득 단계; (c) 상기 (b)단계에서 획득된 RGB영상을 임계값을 이용한 이진화로 이진화된 영상으로 변환하는 RGB영상 이진화 단계; (d) 상기 (c)단계에서 이진화된 확장형 비주얼 마커가 포함된 획득 영상에서 사각영역의 꼭지점과 내부영역의 꼭지점을 검출하여 사각영역을 확정하는 사각영역 확정 단계; (e) 상기 (d)단계에서 확정된 사각영역 중에서 내부영역 영상을 직사각영역으로 펼치는 내부영역 영상보정 단계; (f) 상기 (e)단계에서 직사각화된 내부영역 영상에서 정보영역을 통해 비주얼 마커 인지를 판단하는 비주얼 마커 판단 및 방향성을 검사하는 정보영역 검사 단계; (g) 상기 (f)단계에서 방향성이 검사된 후 상기 직사각화된 내부영역 영상에서 제1 아이디영역을 분리하는 제1 아이디영역 추출 단계; (h) 상기 (g)단계 이후에 제2 아이디영역을 포함한 확장된 사각영역의 꼭 지점을 검출하여 확장된 사각영역을 확정하는 확장 사각영역 확정 단계; (i) 상기 (h)단계에서 확정된 확장 사각영역을 직사각영역으로 펼치는 확장 사각영역 영상보정 단계; (j) 상기 (i)단계에서 직사각화된 확장 사각영역 영상에서 제2 아이디영역을 분리하는 제2 아이디영역 추출 단계; 및 (k) 상기 (j)단계 이후에 상기 (g)단계에서 추출된 제1 아이디영역과 상기 (j)단계에서 추출된 제2 아이디영역을 통해 확장형 비주얼 마커의 아이디를 결정하는 아이디 결정 단계;를 포함하는 것을 특징으로 한다.
이때, 상기 (a)단계의 상기 확장형 비주얼 마커의 내부영역은 정사각형으로 4분할되어 1/4영역은 정보영역이고, 3/4영역은 제1 아이디영역인 것;을 특징으로 하고, 상기 (a)단계의 상기 확장형 비주얼 마커의 제1 아이디영역은 12비트 표시 가능 영역으로 하고, 제2 아이디영역은 사각영역의 일면당 8비트씩 32비트 표시 가능 영역으로 한 것;을 특징으로 한다.
또한, 상기 (c)단계의 임계값은 (c1) 상기 (b)단계에서 획득된 영상의 전체 픽셀의 평균값을 구하는 전체 평균값 연산 단계; (c2) 상기 (c1)단계에서 구해진 전체 픽셀의 평균값 미만의 픽셀들의 평균값을 구하는 미만 평균값 연산 단계; 및 (c3) 상기 전체 평균값과 상기 미만 평균값의 평균을 구하는 임계값 연산 단계;를 통해 결정되어 자동 조절되는 것을 특징으로 한다.
또한, 상기 (d)단계의 사각영역의 꼭지점과 내부영역의 꼭지점 검출은 (d1) 상기 (c)단계에서 이진화된 영상에서 사각영역의 후보영역을 라벨링하는 사각영역의 후보영역 라벨링 단계; (d2) 상기 (d1)단계에서 라벨링된 후보영역들의 연속된 점을 찾아 외곽선을 검출하는 외곽선 검출 단계; (d3) 상기 (d2)단계에서 검출된 외곽선의 교점을 통해 사각영역의 꼭지점을 검출하는 사각영역 꼭지점 결정 단계; 및 (d4) 상기 (d3)단계에서 결정된 사각영역의 꼭지점에서 벡터를 생성하여 안쪽으로 단위벡터만큼씩 이동하여 내부영역의 꼭지점을 검출하는 내부영역의 꼭지점 결정 단계;로 이루어지는 것을 특징으로 한다.
또한, 상기 (h)단계의 확장된 사각영역의 꼭지점 검출은 상기 (d)단계에서 검출된 사각영역의 꼭지점에서 벡터를 생성하여 외측으로 단위벡터만큼씩 이동하여 확장된 사각영역의 꼭지점을 검출하는 확장된 사각영역의 꼭지점 결정 단계;로 이루어지는 것을 특징으로 한다.
또한, 상기 (k)단계 이후에 상기 (d)단계에서 확정된 사각영역의 왜곡된 모양으로부터 3차원 위치정보를 추출하는 3차원 위치정보 결정 단계;를 더 포함하는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법을 상세히 설명한다.
도 3은 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 확장형 비주얼 마커의 구조를 설명하기 위한 도면이다. 상기 도 3에 도시한 바와 같이 본 발명에 따른 확장형 비주얼 마커는 도 3(a)에 바람직한 실시 예로 도시한 바와 같이 내부영역과 사각영역으로 이루어지고 상기 내부영역과 상기 사각영역의 외측에 아이디를 판별하기 위한 소정의 표시를 한다.
구체적으로 살펴보면, 도 3(b)에 도시한 바와 같이 본 발명에 따른 확장형 비주얼 마커는 상기 내부영역은 방향정보 및 비주얼 마커 판단 정보를 표시하는 정보영역(A1)과 아이디정보를 표시하는 제1 아이디영역(A2)으로 구분되고, 상기 사각영역의 외측에 접하여 확장된 아이디정보를 표시하는 제2 아이디영역(A2)으로 구성된다. 이때 상기 내부영역은 정사각형으로 4분할되어 1/4영역은 정보영역(A1)이고, 3/4영역은 제1 아이디영역(A2)으로 지정한다. 이때 아이디정보를 표시할 수 있는 비트수는 제한하지 않지만 도시한 바와 같이 제1 아이디영역(A2)은 12비트 표시 가능 영역으로 하고, 제2 아이디영역(A3)은 사각영역의 일면당 8비트씩 32비트 표시 가능 영역으로 하는 것이 바람직하다.
따라서 상기 확장형 비주얼 마커는 기본적으로 12비트로 제1 아이디영역(A2)에서 4096개의 아이디를 표시할 수 있고, 확장된 제2 아이디영역(A3)를 포함하면 제1 아이디영역(A2)의 12비트와 제2 아이디영역(A3)의 32비트의 합인 44비트로 표시됨으로 최대 244개의 아이디를 표시할 수 있다.
이때 상기 내부영역의 1/4을 차지하는 정보영역(A1)은 두가지의 정보를 가지고 있는데 그 중 하나는 카메라를 통해 영상을 획득했을 때 획득된 영상에 포함된 것이 비주얼 마커인가를 확인할 수 있는 것과 다른 하나는 비주얼 마커의 방향성이다. 즉 상기 정보영역(A1)은 도 3(c)에 도시한 바와 같이 정보영역(A1) 내에 표시된 패턴에 의해 비주얼 마커인가와 방향성을 알 수 있다. 예를 들어 설명하면 도시 한 바와 같은 네가지의 패턴이 있는 경우 일단 비주얼 마커임이 확인되고, 네가지 패턴에 따라 0도, 90도, 180도, 270도 회전됨을 확인할 수 있다. 따라서 종래 방향성 정보가 없는 비주얼 마커에 비해 연산량이 1/4로 감소한다.
도 4는 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 단계를 설명하기 위한 도면이다. 상기 도면에 도시한 바와 같이 확장형 비주얼 마커를 이용한 아이디 판단 방법은 사각영역과 내부영역으로 이루어진 비주얼 마커를 통해 아이디를 판단하는 방법에 있어서, 확장형 비주얼 마커 생성 단계(S10), 확장형 비주얼 마커 영상획득 단계(S20), RGB영상 이진화 단계(S30), 사각영역 확정 단계(S40), 내부영역 영상보정 단계(S50), 정보영역 검사 단계(S60), 제1 아이디영역 추출 단계(S70), 확장 사각영역 확정 단계(S80), 확장 사각영역 영상보정 단계(S90), 제2 아이디영역 추출 단계(S100) 및 아이디를 결정하는 아이디 결정 단계(S110)를 포함한다. 더 나아가 상기 아이디 결정 단계(S110) 이후에 3차원 위치정보 결정 단계(S120)를 더 포함한다.
상기 확장형 비주얼 마커 생성 단계(S10)는 상기 도 3에서 설명한 바와 같은 형태와 구조를 갖는 확장형 비주얼 마커를 생성하는 것으로 소정의 아이디와 방향성 정보를 갖도록 표시되어 특정 아이디에 해당하는 확장형 비주얼 마커를 생성하고, 이를 원하는 곳에 위치하도록 한다.
상기 확장형 비주얼 마커 영상획득 단계(S20)는 소정의 위치에 있는 확장형 비주얼 마커를 포함한 실제영상을 RGB정보로 획득하는 것으로 이는 가시광선을 RGB 신호로 변환하는 카메라를 통해 이루어진다. 이때 상기 카메라는 어느 특정된 카메라에 국한되는 것은 아니며 외부의 영상을 획득할 수 있는 모든 종류의 카메라가 될 수 있다. 따라서 만일 상기 확장형 비주얼 마커가 적외선을 발하는 적외선 비주얼 마커인 경우에는 상기 카메라는 적외선을 인식할 수 있는 적외선 카메라가 된다.
상기 RGB영상 이진화 단계(S30)는 상기 비주얼 마커 영상획득 단계(S20)에서 획득된 RGB영상 중에서 확장형 비주얼 마커를 정확히 검출하기 위해 확장형 비주얼 마커 부분과 그 이외의 부분을 명확하게 나누기 위한 것으로 이는 임계값를 이용하여 RGB영상을 이진화시킨다. 이때 상기 임계값이 임의로 설정된 고정된 값이라면 영상의 획득 시에 주변밝기에 따라 임계값은 큰 영향을 받기 때문에 상기 임계값은 획득된 영상에 따라 자동으로 임계값이 조절되도록 하는 것이 바람직하다.
도 5는 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 임계값 결정 단계를 설명하기 위한 도면의 도 5(a)에 도시한 바와 같이 상기 임계값이 자동으로 조절되는 방법은 카메라를 통해 획득된 영상의 전체 픽셀의 평균값을 구하는 전체 평균값 연산 단계(S310)와 상기 전체 평균값 연산 단계(S310)단계에서 구해진 전체 픽셀의 평균값 미만의 픽셀들의 평균값을 구하는 미만 평균값 연산 단계(S320) 및 상기 전체 평균값 연산 단계(S310)에서 연산된 전체 평균값과 상기 전체 픽셀의 평균값 미만의 픽셀들의 평균값을 구하는 미만 평균값 연산 단계(S320)에서 연산된 미만 평균값의 평균을 구하는 임계값 연산 단계(S330) 통해 임계값이 결정되어 카메라를 통해 획득된 RGB영상을 이진화한다. 예를 들면 8 비트로 나누어 '0'은 검정이라 하고 '255'는 흰색일 경우 도 5(b)에 도시한 바와 같은 영상은 전체 평균값과 미만 평균값의 평균으로 구해진 임계값에 의해 도 5(c)에 도시한 바와 같이 변환된다. 결국 도 5(b)와 도 5(c)에 도시된 것을 보면 경계가 명확해짐을 알 수 있다.
상기 사각영역 확정 단계(S40)는 상기 RGB영상 이진화 단계(S30)에서 이진화된 획득영상에서 확장형 비주얼 마커 부분 중에서 사각영역과 내부영역에 해당하는 영역을 확정하는 것으로 사각영역의 꼭지점과 내부영역의 꼭지점을 검출하여 외부 및 내부영역을 확정한다. 이때 상기 사각영역의 꼭지점과 내부영역의 꼭지점을 검출하는 바람직한 방법은 도 6 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 사각영역 및 내부영역 꼭지점 검출 방법을 설명하기 위한 도면에 도시한 바와 같이 이진화된 영상에서 사각영역의 후보영역을 라벨링하는 사각영역의 후보영역 라벨링 단계(S410), 라벨링된 후보영역들의 연속된 점을 찾아 외곽선을 검출하는 외곽선 검출 단계(S420), 검출된 외곽선의 교점을 통해 사각영역의 꼭지점을 결정하는 사각영역 꼭지점 결정 단계(S430) 및 사각영역의 꼭지점에서 벡터를 생성하여 안쪽으로 단위벡터만큼씩 이동하여 내부영역의 꼭지점을 검출하는 내부영역의 꼭지점 결정 단계(S440)를 통해 검출한다. 즉, 도 6 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 꼭지점 검출 방법을 설명하기 위한 도면의 도 6(a)에 도시한 바와 같이 꼭지점 검출 방법은 이진화된 영상에서 사각영역이 될 수 있는 후보영역들을 나누는 사각영역의 후보영역 라벨링 단계(S410)를 거쳐 상기 사각영역의 후보영역 라벨링 단계(S410)에서 라벨 링된 후보영역에서 연속된 점을 찾아 외곽선을 검출하는 외곽선 검출 단계(S420)를 거치고 이때 4개의 외곽선이 검출된다., 상기 외곽선 검출 단계(S420)에서 검출된 4개의 외곽선의 교점을 사각영역의 꼭지점으로 결정하는 사각영역의 꼭지점 결정 단계(S430)를 통해 이루어진다.
즉, 도 7은 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 사각영역 및 내부영역 꼭지점 검출 방법을 그림으로 설명하기 위한 도면에 도시한 바와 같이 도 7(a)에 도시한 카메라에서 획득된 RGB영상은 임계값에 의한 이진화로 도 7(b)에 도시한 바와 같은 이진화된 영상이 되고, 이와 같이 이진화된 영상에 대해 사각영역이 될 수 있는 후보영역들을 나누는 사각영역의 후보영역 라벨링 단계(S410)와 각각의 후보영역에서 연속된 점을 찾아 외곽선을 검출하는 외곽선 검출 단계(S420)를 수행하고, 이후 도 7(c)에 도시한 바와 같이 검출된 4개의 외곽선의 교점을 찾아 이를 사각영역의 꼭지점으로 결정하는 사각영역의 꼭지점 결정 단계(S430)를 수행하고, 도 7(d)에 도시한 바와 같이 기 결정된 사각영역의 꼭지점을 통해 벡터를 생성하고, 상기 벡터를 안쪽으로 단위벡터만큼씩 이동하여 내부영역의 꼭지점을 검출한다. 이렇게 결정된 사각영역의 꼭지점과 내부영역의 꼭지점에 의해 사각영역이 확정된다.
상기 내부영역 영상보정 단계(S50)는 카메라를 통해 확장형 비주얼 마커를 포함한 영상을 획득시에 서로 마주보고 있는 경우를 제외하고는 도 8은 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 내부영역 영상보정 단계를 설명하기 위한 도면에 도시한 바와 같이 도 8(a)의 확장형 비주얼 마커는 카메라를 통해 도 8(b)와 같이 보여지고, 결국 도 8(c)와 같은 형태로 인식된다. 따라서 이와 같은 형태에서는 확장형 비주얼 마커가 포함하는 정보를 정확히 인식하기가 어렵기 때문에 왜곡된 내부영역만을 추출하고, 추출된 내부영역에 대하여 왜곡측정(DistortCalibration)모듈을 통해 직사각화한다. 결국 상기 도 8(c)에 도시된 것과 같은 사다리꼴 형태 내지 마름모꼴 형태의 내부영역은 상기 도 8(a)에 도시한 바와 같은 내부영역으로 형태가 변형된다.
상기 정보영역 검사 단계(S60)는 본 발명에 따른 확장형 비주얼 마커는 상기 도 3에서 설명한 바와 같이 내부영역이 정보영역을 포함하고 있으므로 상기 내부영역에 표시된 것을 검사하여 획득된 영상에 포함된 것이 확장형 비주얼 마커인지 여부를 확인하고, 방향성 또한 확인한다. 예를 들면 내부영역을 4등분하여 이를 마스크와 비교하여 검사를 할 수 있다.
상기 제1 아이디영역 추출 단계(S70)는 상기 내부영역에 포함되어 있는 제1 아이디영역으로부터 표시된 정보를 확인하여 아이디를 판단하기 위해 상기 내부영역 중에서 제1 아이디영역만을 분리해 낸다.
상기 확장 사각영역 확정 단계(S80)는 확장형 비주얼 마커에 포함되어 있는 제2 아이디영역을 추출하기 위해 사각영역을 제2 아이디영역이 포함되도록 확장하여 사각영역을 확정하는 것이다. 즉, 도 9 본 발명 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법의 확장 사각영역의 꼭지점 검출 방법을 그림으로 설명하기 위한 도면에 도시한 바와 같이 도 9(a)에 도시한 카메라에서 획득된 RGB영상은 임계값에 의한 이진화로 도 9(b)에 도시한 바와 같은 이진화된 영상이 되고, 이와 같이 이진화된 영상에 대해 사각영역이 될 수 있는 후보영역들을 나누는 사각영역의 후보영역 라벨링 단계(S410)와 각각의 후보영역에서 연속된 점을 찾아 외곽선을 검출하는 외곽선 검출 단계(S420)를 수행하고, 이후 도 9(c)에 도시한 바와 같이 검출된 4개의 외곽선의 교점을 찾아 이를 사각영역의 꼭지점으로 결정하는 사각영역의 꼭지점 결정 단계(S430)를 수행한 상태에서 도 9(d)에 도시한 바와 같이 기 결정된 사각영역의 꼭지점을 통해 벡터를 생성하고, 상기 벡터를 제2 아이디영역쪽으로 단위벡터만큼씩 이동하여 확장된 사각영역의 꼭지점을 검출한다. 이렇게 결정된 확장된 사각영역의 꼭지점에 의해 제2 아이디영역을 포함하는 확장 사각영역이 확정된다.
상기 확장 사각영역 영상보정 단계(S90)는 상기 내부영역 영상보정 단계(S50)에서 설명한 바와 같이 사다리꼴 형태 내지 마름모꼴 형태의 확장 사각영역을 상기 도 8(a)에 도시한 바와 같은 사각영역으로 형태를 변형한다.
상기 제2 아이디영역 추출 단계(S100)는 상기 확장 사각영역 영상보정 단계(S90)에서 직사화각화된 확장 사각영역 영상에서 상기 확장 사각영역에 포함되어 있는 제2 아이디영역으로부터 표시된 정보를 확인하여 아이디를 판단하기 위해 상기 확장 사각영역 중에서 제2 아이디영역만을 분리해 낸다.
상기 아이디를 결정하는 아이디 결정 단계(S110)는 상기 제1 아이디영역 추출 단계(S70)에서 추출된 제1 아이디영역과 상기 제2 아이디영역 추출 단계(S100)에서 추출된 제2 아이디영역을 통해 확장형 비주얼 마커가 표시하는 아이디를 결정한다. 이로써 확장형 비주얼 마커를 통해 상기 확장형 비주얼 마커에 소정의 아이 디를 식별하기 위해 표시된 것에 해당하는 아이디를 판단하다.
상기 3차원 위치정보 결정 단계(S120)는 상기에서 설명한 단계를 거쳐 아이디가 판단한 후 상기 (d)단계에서 확정된 사각영역의 왜곡된 모양으로부터 3차원 위치 추적 기술을 이용하여 3차원 위치 정보를 결정한다.
상기 기술한 바와 같이 본 발명에 따른 확장형 비주얼 마커는 표시영역을 내부영역과 외부영역으로 분리하고, 내부영역은 제1 아이디영역과 정보영역을 포함하며, 외부영역은 확장된 아이디영역으로 사각영역의 외측에 접하도록 하여 아이디의 확장이 용이한 효과와 비주얼 마커를 생성하는 생성규칙이 간결하여 비주얼 마커 생성툴의 제작이 용이한 효과가 있다.
또한 비주얼 마커의 표시영역에 있어 제 제1 아이디영역과 제2 아이디영역을 분리함으로써 인식이 용이한 효과가 있다. 또한 정보영역을 통해 비주얼 마커 인지 여부를 판단할 수 있는 기능이 부가된 효과와 상기 정보영역의 패턴을 통해 방향성을 판단하여 비주얼 마커를 인식함에 필요한 계산량 및 요구되는 정보량을 줄일 수 있는 효과가 있다.
따라서 카메라를 통해 취득된 영상에서 정확히 비주얼 마커를 검출하고 이를 통해 정확한 아이디를 결정할 수 있는 효과와 정확한 비주얼 마커의 인식으로 증강현실 시스템을 안정적으로 운용할 수 있는 효과가 있다.
이상에서 살펴본 본 발명은 기재된 구체적인 예에 대해서만 상세히 설명되었 으나 본 발명의 기술사상범위 내에서 다양한 변형 및 수정이 가능함 은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.
Claims (7)
- 사각영역과 상기 사각영역의 내부영역을 갖는 비주얼 마커를 통해 아이디를 판단하는 방법에 있어서,(a) 상기 내부영역은 방향정보 및 비주얼 마커 판단 정보를 표시하는 정보영역과 아이디정보를 표시하는 제1 아이디영역으로 구분되고, 상기 사각영역의 외측에 접하여 확장된 아이디정보를 표시하는 제2 아이디영역으로 구성된 확장형 비주얼 마커 생성 단계;(b) 상기 (a)단계에서 생성되어 소정의 위치에 존재하는 상기 확장형 비주얼 마커를 카메라를 통해 촬영하여 확장형 비주얼 마커가 포함된 영상을 획득하는 확장형 비주얼 마커 영상획득 단계;(c) 상기 (b)단계에서 획득된 RGB영상을 임계값를 이용한 이진화로 이진화된 영상으로 변환하는 RGB영상 이진화 단계;(d) 상기 (c)단계에서 이진화된 확장형 비주얼 마커가 포함된 획득 영상에서 사각영역의 꼭지점과 내부영역의 꼭지점을 검출하여 사각영역을 확정하는 사각영역 확정 단계;(e) 상기 (d)단계에서 확정된 사각영역 중에서 내부영역 영상을 직사각영역으로 펼치는 내부영역 영상보정 단계;(f) 상기 (e)단계에서 직사각화된 내부영역 영상에서 정보영역을 통해 비주얼 마커 인지를 판단하는 비주얼 마커 판단 및 방향성을 검사하는 정보영역 검사 단계;(g) 상기 (f)단계에서 방향성이 검사된 후 상기 직사각화된 내부영역 영상에서 제1 아이디영역을 분리하는 제1 아이디영역 추출 단계;(h) 상기 (g)단계 이후에 제2 아이디영역을 포함한 확장된 사각영역의 꼭지점을 검출하여 확장된 사각영역을 확정하는 확장 사각영역 확정 단계;(i) 상기 (h)단계에서 확정된 확장 사각영역을 직사각영역으로 펼치는 확장 사각영역 영상보정 단계;(j) 상기 (i)단계에서 직사각화된 확장 사각영역 영상에서 제2 아이디영역을 분리하는 제2 아이디영역 추출 단계; 및(k) 상기 (j)단계 이후에 상기 (g)단계에서 추출된 제1 아이디영역과 상기 (j)단계에서 추출된 제2 아이디영역을 통해 확장형 비주얼 마커의 아이디를 결정하는 아이디 결정 단계;를 포함하는 것을 특징으로 하는 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법.
- 제1항에 있어서,상기 (a)단계의 상기 확장형 비주얼 마커의 내부영역은 정사각형으로 4분할되어 1/4영역은 정보영역이고, 3/4영역은 제1 아이디영역인 것;을 특징으로 하는 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법.
- 제1항에 있어서,상기 (a)단계의 상기 확장형 비주얼 마커의 제1 아이디영역은 12비트 표시 가능 영역으로 하고, 제2 아이디영역은 사각영역의 일면당 8비트씩 32비트 표시 가능 영역으로 한 것;을 특징으로 하는 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법.
- 제1항에 있어서, 상기 (c)단계의 임계값은(c1) 상기 (b)단계에서 획득된 영상의 전체 픽셀의 평균값을 구하는 전체 평균값 연산 단계;(c2) 상기 (c1)단계에서 구해진 전체 픽셀의 평균값 미만의 픽셀들의 평균값을 구하는 미만 평균값 연산 단계; 및(c3) 상기 전체 평균값과 상기 미만 평균값의 평균을 구하는 임계값 연산 단계;를 통해 결정되어 자동 조절되는 것을 특징으로 하는 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법.
- 제1항에 있어서, 상기 (d)단계의 사각영역의 꼭지점과 내부영역의 꼭지점 검출은(d1) 상기 (c)단계에서 이진화된 영상에서 사각영역의 후보영역을 라벨링하는 사각영역의 후보영역 라벨링 단계;(d2) 상기 (d1)단계에서 라벨링된 후보영역들의 연속된 점을 찾아 외곽선을 검출하는 외곽선 검출 단계;(d3) 상기 (d2)단계에서 검출된 외곽선의 교점을 통해 사각영역의 꼭지점을 검출하는 사각영역 꼭지점 결정 단계; 및(d4) 상기 (d3)단계에서 결정된 사각영역의 꼭지점에서 벡터를 생성하여 안쪽으로 단위벡터만큼씩 이동하여 내부영역의 꼭지점을 검출하는 내부영역의 꼭지점 결정 단계;로 이루어지는 것을 특징으로 하는 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법.
- 제1항에 있어서, 상기 (h)단계의 확장된 사각영역의 꼭지점 검출은상기 (d)단계에서 검출된 사각영역의 꼭지점에서 벡터를 생성하여 외측으로 단위벡터만큼씩 이동하여 확장된 사각영역의 꼭지점을 검출하는 확장된 사각영역의 꼭지점 결정 단계;로 이루어지는 것을 특징으로 하는 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법.
- 제1항에 있어서, 상기 (k)단계 이후에상기 (d)단계에서 확정된 사각영역의 왜곡된 모양으로부터 3차원 위치정보를 추출하는 3차원 위치정보 결정 단계;를 더 포함하는 것을 특징으로 하는 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디 판단 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050069673A KR100702534B1 (ko) | 2005-07-29 | 2005-07-29 | 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050069673A KR100702534B1 (ko) | 2005-07-29 | 2005-07-29 | 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20070014767A true KR20070014767A (ko) | 2007-02-01 |
| KR100702534B1 KR100702534B1 (ko) | 2007-04-02 |
Family
ID=38080485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050069673A KR100702534B1 (ko) | 2005-07-29 | 2005-07-29 | 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100702534B1 (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101040253B1 (ko) * | 2009-02-03 | 2011-06-09 | 광주과학기술원 | 증강 현실 제공을 위한 마커 제작 및 인식 방법 |
| KR101049090B1 (ko) * | 2010-09-17 | 2011-07-15 | 성준형 | 증강 현실 마커 및 증강 현실을 이용한 콘텐츠 유통 방법 |
| KR101277737B1 (ko) * | 2012-03-22 | 2013-06-24 | 한남대학교 산학협력단 | 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법 |
| KR101334049B1 (ko) * | 2011-03-16 | 2013-11-28 | 성준형 | 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법 |
| KR101373285B1 (ko) * | 2009-12-08 | 2014-03-11 | 한국전자통신연구원 | 제스쳐 인식 기능을 갖는 휴대 단말기 및 이를 이용한 인터페이스 시스템 |
| KR101411893B1 (ko) * | 2014-04-11 | 2014-06-25 | 한국건설기술연구원 | 도로표지 영상에서의 방향정보 자동인식 방법 |
| KR101522842B1 (ko) * | 2008-07-10 | 2015-06-25 | 인텔렉추얼디스커버리 주식회사 | 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100974900B1 (ko) | 2008-11-04 | 2010-08-09 | 한국전자통신연구원 | 동적 임계값을 이용한 마커 인식 장치 및 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100327120B1 (ko) * | 1999-12-13 | 2002-03-13 | 오길록 | 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 |
| KR20010091219A (ko) * | 2000-03-14 | 2001-10-23 | 조영익 | 표본화된 얼굴 표정을 새로운 얼굴에 리타켓팅하는 방법 |
| KR100346363B1 (ko) * | 2000-06-02 | 2002-08-01 | 주식회사 엔지티 | 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치 |
| KR100452917B1 (ko) * | 2001-10-09 | 2004-10-14 | 주식회사 제노프릭스 | 색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템 |
| KR101086068B1 (ko) * | 2004-12-10 | 2011-11-22 | 한국문화콘텐츠진흥원 | 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치 |
-
2005
- 2005-07-29 KR KR1020050069673A patent/KR100702534B1/ko not_active IP Right Cessation
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101522842B1 (ko) * | 2008-07-10 | 2015-06-25 | 인텔렉추얼디스커버리 주식회사 | 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법 |
| KR101040253B1 (ko) * | 2009-02-03 | 2011-06-09 | 광주과학기술원 | 증강 현실 제공을 위한 마커 제작 및 인식 방법 |
| KR101373285B1 (ko) * | 2009-12-08 | 2014-03-11 | 한국전자통신연구원 | 제스쳐 인식 기능을 갖는 휴대 단말기 및 이를 이용한 인터페이스 시스템 |
| KR101049090B1 (ko) * | 2010-09-17 | 2011-07-15 | 성준형 | 증강 현실 마커 및 증강 현실을 이용한 콘텐츠 유통 방법 |
| KR101334049B1 (ko) * | 2011-03-16 | 2013-11-28 | 성준형 | 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법 |
| KR101277737B1 (ko) * | 2012-03-22 | 2013-06-24 | 한남대학교 산학협력단 | 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법 |
| KR101411893B1 (ko) * | 2014-04-11 | 2014-06-25 | 한국건설기술연구원 | 도로표지 영상에서의 방향정보 자동인식 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100702534B1 (ko) | 2007-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180211404A1 (en) | 3d marker model construction and real-time tracking using monocular camera | |
| US10672142B2 (en) | Object recognition apparatus, method for recognizing object, and non-transitory computer-readable storage medium for storing program | |
| KR100702534B1 (ko) | 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 | |
| TWI419081B (zh) | 提供擴增實境的標籤追蹤方法、系統與電腦程式產品 | |
| JP5905540B2 (ja) | 画像の少なくとも１つの特徴として記述子を提供する方法及び特徴をマッチングする方法 | |
| KR101469398B1 (ko) | 텍스트 기반 3ｄ 증강 현실 | |
| US7809194B2 (en) | Coded visual markers for tracking and camera calibration in mobile computing systems | |
| US7424174B2 (en) | Image processing device | |
| TWI506563B (zh) | A method and apparatus for enhancing reality of two - dimensional code | |
| US11775788B2 (en) | Arbitrary visual features as fiducial elements | |
| RU2729399C1 (ru) | Способ обнаружения и распознавания визуальных маркеров большой дальности и высокой плотности | |
| Prochazka et al. | Augmented reality implementation methods in mainstream applications | |
| KR100834905B1 (ko) | 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법 | |
| CN104881641A (zh) | 基于移动设备的问卷和表格数字化识别方法及系统 | |
| KR101010904B1 (ko) | 마커를 사용하지 않는 증강공간 제공 장치 | |
| JP4550768B2 (ja) | 画像検出方法および画像検出装置 | |
| Beglov | Object information based on marker recognition | |
| Tybusch et al. | Color-based and recursive fiducial marker for augmented reality | |
| JP5657503B2 (ja) | 読取装置、方法及びプログラム | |
| WO2022204864A1 (en) | A method for corner detection on unified calibration board between dvs and camera | |
| CN105930813B (zh) | 一种在任意自然场景下检测行文本的方法 | |
| CN115843375A (zh) | 徽标标注方法及装置、徽标检测模型更新方法及系统、存储介质 | |
| JP2011071746A (ja) | 映像出力装置及び映像出力方法 | |
| EP2509028B1 (en) | Method and system for optically detecting and localizing a two-dimensional, 2D, marker in 2D scene data, and marker therefor | |
| KR101460350B1 (ko) | 마커 인식 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120130 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |