KR101277737B1 - 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법 - Google Patents

다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법 Download PDF

Info

Publication number
KR101277737B1
KR101277737B1 KR1020120029119A KR20120029119A KR101277737B1 KR 101277737 B1 KR101277737 B1 KR 101277737B1 KR 1020120029119 A KR1020120029119 A KR 1020120029119A KR 20120029119 A KR20120029119 A KR 20120029119A KR 101277737 B1 KR101277737 B1 KR 101277737B1
Authority
KR
South Korea
Prior art keywords
marker
array
image
detected
submarkers
Prior art date
Application number
KR1020120029119A
Other languages
English (en)
Inventor
김석수
정성모
임지훈
김동현
Original Assignee
한남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한남대학교 산학협력단 filed Critical 한남대학교 산학협력단
Priority to KR1020120029119A priority Critical patent/KR101277737B1/ko
Application granted granted Critical
Publication of KR101277737B1 publication Critical patent/KR101277737B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법으로서, 더욱 상세하게는 패턴의 유사성이 적은 다중 마커로 생성된 마커 배열을 통해 다수의 컨텐츠를 증강하여 사용자에게 제공하는 것을 특징으로 하는 증강현실 시스템이다.
본 발명은, 서로 유사성이 없는 패턴을 가지고 있는 1개의 기준마커와 3개의 서브마커로 구성된 마커 배열, 영상 디바이스를 통해 입력된 영상을 전처리하고 상기 전처리된 영상에서 마커 인식 및 정합을 통해 기준마커를 검출하는 기준마커검출부와 상기 검출된 기준마커의 좌표영역을 기준으로 마커 배열영역을 설정하고 설정된 상기 마커 배열영역 안에서 상기 기준마커검출부와 동일한 방법으로 서브마커를 검출하는 서브마커검출부를 포함하고 있는 마커검출부, 상기 마커검출부에서 검출된 마커들의 ID를 이용하여 1차원 배열을 생성하고 이를 기반으로 마커정보데이터베이스에서 마커 배열의 ID를 검색하는 마커배열처리부, 상기 마커배열처리부를 통해 검출된 마커 배열 ID를 이용하여 증강객체데이터베이스에서 컨텐츠를 검색하고 사용자에게 제공하는 컨텐츠제공부, 기준마커, 서브마커, 마커 배열의 정보를 저장하고 있는 마커정보데이터베이스, 사용자에게 제공되는 컨텐츠와 컨텐츠의 정보를 저장하고 있는 증강객체데이터베이스를 포함하여 이루어지는 것을 특징으로 하는 증강현실 시스템 및 그 방법을 제공한다.

Description

다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법{An Augmented Reality System Using Array of Multiple Marker and A Method Thereof}
본 발명은 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법이다. 보다 상세하게는, 유사성이 적은 패턴을 가지고 있는 4개의 마커를 이용하여 마커 배열을 생성하고 상기 생성된 마커 배열을 통해 다수의 가상 객체를 현실세계에 증강시킴으로 마커기반의 증강현실에서 유사패턴을 가지고 있는 마커들을 인식할 경우 동일 마커로 인식하는 문제를 해결하고 상기 문제로 인해 발생되는 마커 패턴수의 한정적인 문제점을 해결하는 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법에 관한 것이다.
증강현실(Augmented Reality, AR)은 가상현실의 한 분야로, 현실 세계(Real World)에 가상의 객체나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로 복합현실이라고도 불리고 있다.
이러한 증강현실은 비마커기반과 마커기반으로 구분된다. 비마커기반은 실세계 환경에서 자연적으로 발생하는 점, 선, 에지, 그리고 텍스쳐 등과 같은 특징들로부터 카메라의 방향을 결정하는 방식이다. 마커기반은 흰 바탕에 검은색 사각형과 그 안에 다양한 패턴을 적용한 평면 마커를 이용하여 카메라의 방향을 결정하는 방식이다.
하지만, 특허출원번호 제 10-2009-0095711호에 게시된 증강현실 환경에서 위치를 기반으로 한 컨텐츠 공유 시스템과 같은 종래의 마커기반의 증강현실을 이용한 시스템은 다수의 패턴을 인식하는 과정에서 도 1에서 알 수 있는 바와 같이 유사한 패턴을 가지고 있는 마커를 동일한 마커로 인식하는 문제점이 있다. 따라서 다수의 객체를 증강하기 위해서 서로 유사하지 않은 패턴을 가지고 있는 마커들을 이용하여야 하기 때문에 증강되는 객체에 비해 생성할 수 있는 마커의 수가 한정적이라는 문제점을 가지고 있다.
본 발명은 상기의 문제점을 해결하기 위해 안출된 것으로서, 서로 유사성이 적은 패턴을 가지고 있는 4개의 마커를 이용하여 만들어진 배열을 통해 다수의 객체를 현실세계 증강시키는 것을 특징으로 하는 증강현실 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
본 발명은 상술한 목적을 달성하기 위해 안출된 것으로서, 마커기반의 증강현실을 구현하는 시스템에 있어서 서로 유사성이 없는 패턴을 가지고 있는 1개의 기준마커와 3개의 서브마커로 구성된 마커 배열, 영상 디바이스를 통해 입력된 영상을 전처리하고 상기 전처리된 영상에서 마커 인식 및 정합을 통해 기준마커를 검출하는 기준마커검출부와 상기 검출된 기준마커의 좌표영역을 기준으로 마커 배열영역을 설정하고 설정된 상기 마커 배열영역 안에서 상기 기준마커검출부와 동일한 방법으로 서브마커를 검출하는 서브마커검출부를 포함하고 있는 마커검출부, 상기 마커검출부에서 검출된 마커들의 ID를 이용하여 1차원 배열을 생성하고 이를 기반으로 마커정보데이터베이스에서 마커 배열의 ID를 검색하는 마커배열처리부, 상기 마커배열처리부를 통해 검출된 마커 배열 ID를 이용하여 증강객체데이터베이스에서 컨텐츠를 검색하고 사용자에게 제공하는 컨텐츠제공부, 기준마커, 서브마커, 마커 배열의 정보를 저장하고 있는 마커정보데이터베이스, 사용자에게 제공되는 컨텐츠와 컨텐츠의 정보를 저장하고 있는 증강객체데이터베이스를 포함하여 이루어지는 것을 특징으로 한다.
또한, 다중 마커의 배열을 이용한 기반 증강현실을 구현하는 방법에 있어서 영상 디바이스를 통해 입력된 영상을 전처리하는 영상 전처리 단계, 상기 전처리된 영상에서 라벨링 작업을 수행하여 마커 후보 영역을 추출하고 상기 추출된 최종 마커 후보 영역에서 PPHT(Progressive Probabilistic Hough Transform)와 직선의 방정식을 통해 마커의 ROI(Region of Interest)를 검출하는 기준마커 인식 단계, 상기 검출된 마커의 ROI에서 기준마커의 패턴 정보에 와핑 변환 행렬과 와핑에 의한 크기 차이율(Scale difference ratio, Sdiff)을 적용한 템플릿 매칭 기법을 통해 기준마커를 검출하고 이후 상기 검출된 기준마커의 위치(마커의 모서리점 좌표) 및 기준마커의 ID를 확인하는 기준마커 검출 단계, 상기 검출된 기준마커의 모서리 점 좌표를 이용하여 기준마커의 면적을 측정하고 기준마커의 면적보다 약 30%정도 크게 마커 배열 영역을 지정하는 마커 배열영역 설정 단계, 상기 기준마커 인식 단계에서 검출된 마커 ROI들 중에서 상기 마커 배열영역 안에 존재하는 마커 ROI들을 확인하고, 상기 확인된 마커 ROI에서 기준마커 검출 단계와 동일한 방법으로 서브마커를 검출하는 서브마커 검출 단계, 서브마커를 검출하지 못한 다음 마커 배열 영역이 존재할 경우에는 다음 마커 배열 영역에서 상기 서브마커 검출 단계를 재수행하여 다음 서브마커를 검출하며 다음 마커 배열 영역이 존재하지 않을 경우 서브마커 검출 단계에서 검출된 서브마커들의 마커 ID를 마커정보데이터베이스에서 확인하는 다음 서브마커 확인 단계, 상기 기준마커의 ID와 상기 서브마커들의 ID로 1차원 배열을 생성한 후 상기 생성된 1차원 배열을 이용하여 마커정보데이터베이스에서 해당 마커 배열의 ID를 검출하는 마커 배열 ID 확인 단계, 상기 마커 배열에 해당하는 컨텐츠를 증강객체데이터베이스에서 확인하고 상기 기준마커의 모서리 점 좌표를 통해 좌표 변환 행렬을 생성하고 와핑에 의한 크기 차이율, 와핑에 와핑에 의한 크기 오류 보정 값을 계산하여 이를 기반으로 기준마커위에 상기 컨텐츠를 증강하여 사용자에게 제공하는 객체 증강 단계를 포함하는 것을 특징으로 하는 증강현실 구현방법을 제공한다.
본 발명은 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법으로, 유사하지 않은 패턴을 가지고 있는 4개의 마커로 구성된 마커의 배열을 사용하여 증강현실을 구현하기 때문에 마커기반 증강현실 시스템에서 유사한 패턴을 가지고 있는 마커들을 인식하는 과정 중에 발생하는 동일 마커 인식으로 인해 발생되는 등록 마커의 부재에 대한 문제점을 해결할 수 있으며, 소수의 마커를 등록하여도 다수의 객체를 증강할 수 있는 장점이 있다.
도1은 종래의 마커기반 증강현실 시스템의 문제점을 설명하기 위한 개념도이다.
도2는 본 발명의 일실시예에 따른 다중 마커의 배열을 이용한 증강현실 시스템의 내부 구성 블록도이다.
도 3은 본 발명의 일실시예에 따른 증강현실 시스템의 마커 배열을 이용한 증강현실 구현방법을 도시한 순서도이다.
도 4는 종래의 마커기반 증강현실 시스템에서 사용되는 마커의 구조도이다.
도 5는 본 발명의 일실시예에 따른 기준마커의 모서리 점 좌표를 이용한 마커 배열 영역의 상태를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 마커 배열 ID를 검색하기 위한 기준마커의 ID와 상기 서브마커들의 ID 이용하여 1차원 배열을 생성하는 상태들 도시한 도면이다.
이하, 본 발명의 일실시예를 첨부된 도면들을 참조하여 상세히 설명한다.
도 2는 본 발명의 일시시예에 의한 다중 마커의 배열을 이용하는 증강현실 시스템의 내부구성 블록도이다. 도 2에 도시한 바와 같이, 본 발명의 일실시예에 따른 다중 마커의 배열을 이용하는 증강현실 시스템은, 서로 유사성이 없는 패턴을 가지고 있는 1개의 기준마커(211)와 3개의 서브마커(212~114)로 구성된 마커의 배열(210), 영상 디바이스를 통해 입력된 영상을 전처리하고 상기 전처리된 영상에서 기준마커, 서브마커를 검출하는 마커검출부(220), 상기 기준마커(211), 서브마커(212~114), 마커 배열(210)의 정보를 저장하고 있는 마커정보데이터베이스(250)와 사용자에게 제공되는 컨텐츠와 컨텐츠의 정보를 저장하고 있는 증강객체데이터베이스(260), 상기 마커검출부에서 검출된 마커들의 ID를 이용하여 1차원 배열을 생성하고 이를 기반으로 마커정보데이터베이스(250)에서 마커 배열 ID를 검색하는 마커배열처리부(230), 상기 검출된 마커 배열 ID를 통해 증강객체데이터베이스(260)에서 컨텐츠를 검색하고 사용자에게 제공하는 컨텐츠제공부(240)를 포함하여 이루어지는 것을 특징으로 한다.
보다 자세하게, 상기 마커 배열(210)은 1개의 기준마커(211)와 3개의 서브마커(212~114)들이 2X2 행렬 형태로 구성되어 있으며, 상기 마커(211~114)들은 하얀색 바탕 영역인 Crust(410), QR 코드(Quick Response Code)의 파인더 패턴과 같이 마커를 인식하는데 사용되는 Mantle(420), 상기 Mantle(420)안의 흰색 바탕 영역인 Core(431), 각기 고유 패턴을 가지는 정사각형 이미지 Symbol(432)로 구성된 마커 ROI로 이루어져 있다.
상기 마커검출부(220)는 영상 디바이스를 통해 입력된 영상을 전처리하고 상기 전처리된 영상에서 마커 인식 및 정합을 통해 기준마커(211)를 검출하는 기준마커검출부(221)와 상기 검출된 기준마커의 좌표영역을 기준으로 마커 배열영역을 설정하고 설정된 상기 마커 배열영역 안에서 상기 기준마커검출부(221)와 동일한 방법으로 서브마커(212~114)를 검출하는 서브마커검출부(222)로 이루어져 있다.
상기 기준마커검출부(221)는 영상 디바이스를 통해 입력된 영상을 히스토그램 평활화 및 이진화하여 전처리한다. 이후 상기 전처리된 영상에서 라벨링(Labeling) 작업과 PPHT를 수행하여 마커를 인식하고 템플릿 매칭방법을 통해 상기 기준마커(211)를 검출한다.
상기 서브마커검출부(222)는 상기 기준마커검출부(221)를 통해 검출된 기준마커(211)의 모서리점 좌표를 기준으로 마커 배열 영역을 설정하고, 상기 설정된 마커 배열 영역 안에서 상기 기준마커검출부(221)와 동일한 방법으로 라벨링과 PPHT를 수행하여 마커를 인식하고 템플릿 매칭을 통해 서브마커(212~114)를 검출한다.
상기 마커배열처리부(230)는 상기 마커검출부(220)를 통해 검출된 기준마커(211), 서브마커(212~114)의 ID값을 이용하여 마커 배열(2100 ID를 검색하기 위한 1차원 배열을 생성한다. 이후 상기 생성된 1차원 배열을 마커정보데이터베이스(250)에 저장되어 있는 마커 정보와 비교하여 마커 배열(210) ID를 확인한다.
상기 컨텐츠제공부(240)는 마커배열처리부(230)에서 검출된 마커 배열(210) ID에 해당하는 컨텐츠를 증강객체데이터베이스(260)에서 확인하고 이를 증강하여 사용자에게 제공한다.
상기 마커정보데이터베이스(250)는 기준마커(211)와 서브마커(212~114)들을 검출하기 위해 사용되는 마커 패턴, 상기 패턴에 따른 마커 ID, 상기 마커 ID들로 이루어진 1차원 마커 배열과 마커 배열(210) ID와 같은 마커 정보를 가지고 있다.
상기 증강객체데이터베이스(260)는 마커 배열(210) ID에 따라 사용자에게 제공될 컨텐츠와 컨텐츠의 정보를 저장하고 있다.
도 3은 본 발명의 일실시예에 따른 증강현실 시스템의 마커 배열을 이용한 증강현실 구현방법을 도시한 순서도이다. 도 3에 도시한 바와 같이, 본 발명의 일실시예에 따른 증강현실 시스템의 마커 배열을 이용한 증강현실 구현방법은, 영상 디바이스를 통해 영상이 입력되면(S301) 상기 입력된 영상의 히스토그램을 평활화하고, 이후 상기 평활화된 영상에서 그레이 영상의 빈도수 히스토그램을 양봉 분포하는 Otsu 임계값 결정 방법을 통해 영상을 이진화하여 영상을 전처리 한다.(S302) 상기 전처리 된 영상에서 1차 라벨링 작업을 수행하여 마커의 Mantle(420) 후보 영역을 추출하고 추출된 후보 영역의 영상을 반전한다. 이후, 상기 반전된 영상에서 2차 라벨링 작업을 수행하여 마커 후보 영역을 추출한다. 마지막으로 상기 추출된 최종 마커 후보 영역에서 PPHT와 직선의 방정식을 통해 모서리 점을 추출하고 이를 기반으로 마커의 ROI(430)를 검출한다.(S303) 정합과정 중에 발생하는 중심위치 및 크기 편차를 줄이기 위해 상기 검출된 마커의 ROI(430)에 마커정보데이터베이스(260)안의 기준마커(211)의 패턴 정보에 와핑 변환 행렬과 와핑에 의한 크기 차이율(Scale difference ratio, Sdiff)을 적용한 템플릿 매칭 기법을 수행하여 기준마커(211)를 검출한다. 이후, 상기 검출된 기준마커(211)의 위치 및 기준마커(211)의 ID를 확인한다.(S304) 상기 검출된 기준마커(211)의 모서리 점 좌표를 이용하여 기준마커의 면적을 측정한다. 이후, 기준마커의 면적보다 약 30%정도 크게 서브마커 검출을 위한 마커 배열 영역의 크기를 설정하고 도 5와 같이 기준마커(211)의 우측을 제 2마커 배열 영역(501), 기준마커(211)의 하단을 제 3마커 배열 영역(502), 상기 지정된 제 2마커 배열 영역(501) 하단, 제 3마커 배열 영역(502) 우측을 기준으로 제 4마커 배열 영역(503)을 지정한다.(S305)
상기 기준마커 인식 단계(S303)에서 검출된 마커 ROI들 중에서 상기 지정된 마커 배열 영역 안에 존재하며 상기 기준마커 검출 단계(S304)에서 정합되지 않은 마커 ROI들을 추출한다. 이후, 상기 기준마커 검출 단계(S304)와 동일한 방법으로 서브마커(212~114)를 검출한다.(S306)
상기 서브마커 검출 단계(S306)에서 서브마커(212~114)가 검출되면 서브마커(212~114)를 검출하지 못한 다음 마커 배열 영역이 존재하는지 확인한다. 다음 마커 배열 영역이 존재할 경우에는 다음 마커 배열 영역에서 상기 서브마커 검출 단계(S306)의 과정을 재수행하여 다음 서브마커를 검출한다. 서브마커(212~114)를 검출하지 못한 다음 마커 배열 영역이 존재하지 않을 경우에는 서브마커 검출 단계에서 검출된 서브마커(212~114)들의 마커 ID를 마커정보데이터베이스(260)에서 확인한다.(S307)
상기 기준마커(211)의 ID와 상기 서브마커(211~114)들의 ID를 확인하고 이를 이용하여 마커 배열 ID를 검색하기 위해 도 6과 같이 1차원 배열을 생성한다. 이후, 마커정보데이터베이스(260)에서 상기 생성된 1차원 배열에 해당하는 마커 배열(210)의 ID를 검출한다.(S308)
상기 검출된 마커 배열(210)의 ID에 해당하는 컨텐츠를 증강객체데이터베이스(260)에서 확인한다. 이후, 상기 기준마커(211)의 모서리 점 좌표를 통해 좌표 변환 행렬을 생성하고 와핑에 의한 크기 차이율, 와핑에 의한 크기 오류 보정 값을 계산하여 이를 기반으로 기준마커(211)위에 상기 컨텐츠를 증강하여 사용자에게 제공한다.(S309)
참고로, 도 4는 종래의 마커기반 증강현실 시스템에서 사용되는 마커의 구조도로, 마커기반 증강현실에서 사용되는 마커의 구조는 하얀색 바탕 영역인 Crust(410), QR 코드(Quick Response Code)의 파인더 패턴과 같이 마커를 인식하는데 사용되는 Mantle(420), 상기 Mantle(420)안의 흰색 바탕 영역인 Core(431), 각기 고유 패턴을 가지는 정사각형 이미지 Symbol(432)로 구성된 마커 ROI로 이루어진다.
도 5는 본 발명의 일실시예에 따른 기준마커의 모서리 점 좌표를 이용한 마커 배열 영역의 상태를 도시한 도면으로, 마커 배열영역의 크기는 상기 기준마커의 면적보다 약 30%정도 크게 설정되며, 상기 기준마커(211)의 우측을 제 2마커 배열 영역(501), 기준마커(211)의 하단을 제 3마커 배열 영역(502), 상기 지정된 제 2마커 배열 영역(501) 하단, 제 3마커 배열 영역(502) 우측을 기준으로 제 4마커 배열 영역(503)을 지정하게 된다.(S305)
도 6은 본 발명의 일실시예에 따른 마커 배열 ID를 검색하기 위한 기준마커의 ID와 상기 서브마커들의 ID 이용하여 1차원 배열을 생성하는 상태들 도시한 도면으로, 상기 기준 마커(211)의 ID를 1st zone에 입력하고, 상기 제 2마커 배열영역(501)에서 검출된 상기 첫 번째 서브 마커(212)의 ID를 2nd Zone에, 상기 제 3마커 배열영역(501)에서 두 번째 검출된 상기 서브 마커(214)의 ID를 3rd Zone에, 상기 제 4마커 배열영역(501)에서 검출된 상기 세 번째 서브 마커(215)의 ID를 4th Zone에 입력하게 되는 것이다.
상기한 바와 같은 구성 및 작용은 하나의 실시예로서 본 발명의 청구범위를 제한하는 것은 아니며, 본 발명의 기술적 사상을 변경하지 아니하는 범위 내에서 다양한 변경과 수정이 가능함은 본 발명이 속하는 분야에 종사하는 자에게는 자명한 것이다.
210...마커배열
220...마커검출부
230...마커배열처리부
240...컨텐츠제공부
250...마커정보데이터베이스
260...증강객체데이터베이스

Claims (4)

  1. 마커기반의 증강현실을 구현하는 시스템이 있어서,
    서로 유사성이 없는 패턴을 가지고 있는 1개의 기준마커(211)와 3개의 서브마커(212~114)로 구성된 마커의 배열(210), 영상 디바이스를 통해 입력된 영상을 전처리하고 상기 전처리된 영상에서 기준마커, 서브마커를 검출하는 마커검출부(220), 상기 기준마커(211), 서브마커(212~114), 마커 배열(210)의 정보를 저장하고 있는 마커정보데이터베이스(250)와 사용자에게 제공되는 컨텐츠와 컨텐츠의 정보를 저장하고 있는 증강객체데이터베이스(260), 상기 마커검출부에서 검출된 마커들의 ID를 이용하여 1차원 배열을 생성하고 이를 기반으로 마커정보데이터베이스(250)에서 마커 배열 ID를 검색하는 마커배열처리부(230), 상기 검출된 마커 배열 ID를 통해 증강객체데이터베이스(260)에서 컨텐츠를 검색하고 사용자에게 제공하는 컨텐츠제공부(240)를 포함하여 이루어지는 것을 특징으로 하는 다중 마커 배열을 이용하는 증강현실 시스템
  2. 제 1항에 있어서,
    상기 마커 배열(210)은 하얀색 바탕 영역인 Crust(410), QR 코드(Quick Response Code)의 파인더 패턴과 같이 마커를 인식하는데 사용되는 Mantle(420), 상기 Mantle(420)안의 흰생 영역 인 Core(431), 각기 고유 패턴을 가지는 정사각형 이미지 Symbol(432)로 구성된 마커 ROI(Region of Interest)로 구성된 1개의 기준마커(211), 3개의 서브마커(212~114)들이 2X2 행렬 형태로 이루어지는 것을 특징으로 하는 다중 마커 배열을 이용하는 증강현실 시스템
  3. 제 1항에 있어서,
    상기 마커정보데이터베이스(250)는 기준마커(211)와 서브마커(212~114)들을 검출하기 위해 사용되는 마커 패턴, 상기 패턴에 따른 마커의 ID, 상기 마커의 ID로 이루어진 1차원 마커 배열과 마커 배열(210)의 ID와 같은 마커 정보를 가지고 있는 것을 특징으로 하는 다중 마커 배열을 이용하는 증강현실 시스템
  4. 서로 유사성이 없는 패턴을 가지고 있는 1개의 기준마커(211)와 3개의 서브마커(212~114)로 구성된 마커의 배열(210), 영상 디바이스를 통해 입력된 영상을 전처리하고 상기 전처리된 영상에서 기준마커, 서브마커를 검출하는 마커검출부(220), 상기 기준마커(211), 서브마커(212~114), 마커 배열(210)의 정보를 저장하고 있는 마커정보데이터베이스(250)와 사용자에게 제공되는 컨텐츠와 컨텐츠의 정보를 저장하고 있는 증강객체데이터베이스(260), 상기 마커검출부에서 검출된 마커들의 ID를 이용하여 1차원 배열을 생성하고 이를 기반으로 마커정보데이터베이스(250)에서 마커 배열 ID를 검색하는 마커배열처리부(230), 상기 검출된 마커 배열 ID를 통해 증강객체데이터베이스(260)에서 컨텐츠를 검색하고 사용자에게 제공하는 컨텐츠제공부(240)를 포함하여 이루어지는 다중 마커 배열을 이용하는 증강현실 시스템을 이용하는 증강현실 방법에 있어서,
    영상 디바이스를 통해 영상이 입력되면(S301) 상기 입력된 영상의 히스토그램을 평활화하고, 이후 상기 평활화된 영상에서 그레이 영상의 빈도수 히스토그램을 양봉 분포하는 Otsu 임계값 결정 방법을 통해 영상을 이진화하여 영상을 전처리하는 영상 전처리 단계(S302);
    상기 전처리 된 영상에서 1차 라벨링 작업을 수행하여 마커의 Mantle(420) 후보 영역을 추출하고 추출된 후보 영역의 영상을 반전하고, 이후 상기 반전된 영상에서 2차 라벨링 작업을 수행하여 마커 후보 영역을 추출하여 상기 추출된 최종 마커 후보 영역에서 PPHT와 직선의 방정식을 통해 모서리 점을 추출하고 이를 기반으로 마커의 ROI(430)를 검출하는 기준마커 인식 단계(S303);
    정합과정 중에 발생하는 중심위치 및 크기 편차를 줄이기 위해 상기 검출된 마커의 ROI(430)에 마커정보데이터베이스(260)안의 기준마커(211)의 패턴 정보에 와핑 변환 행렬과 와핑에 의한 크기 차이율(Scale difference ratio, Sdiff)을 적용한 템플릿 매칭 기법을 수행하여 기준마커(211)를 검출하고, 이후 상기 검출된 기준마커(211)의 위치 및 기준마커(211)의 ID를 확인하는 기준마커 검출 단계(S304);
    상기 검출된 기준마커(211)의 모서리 점 좌표를 이용하여 기준마커의 면적을 측정하고 이후, 기준마커의 면적보다 크게 서브마커 검출을 위한 마커 배열 영역의 크기를 설정하여 기준마커(211)의 우측을 제 2마커 배열 영역(501), 기준마커(211)의 하단을 제 3마커 배열 영역(502), 상기 지정된 제 2마커 배열 영역(501) 하단, 제 3마커 배열 영역(502) 우측을 기준으로 제 4마커 배열 영역(503)을 지정하는 마커 배열영역 설정 단계(S305);
    상기 기준마커 인식 단계(S303)에서 검출된 마커 ROI들 중에서 상기 지정된 마커 배열 영역 안에 존재하며 상기 기준마커 검출 단계(S304)에서 정합되지 않은 마커 ROI들을 추출 한 후, 상기 기준마커 검출 단계(S304)와 동일한 방법으로 서브마커(212~114)를 검출하는 서브마커 검출 단계(S306);
    상기 서브마커 검출 단계(S306)에서 서브마커(212~114)가 검출되면 상기 서브마커(212~114)를 검출하지 못한 다음 마커 배열 영역이 존재하는지 확인하고 다음 마커 배열 영역이 존재할 경우에는 다음 마커 배열 영역에서 상기 서브마커 검출 단계(S306)의 과정을 재수행하여 다음 서브마커를 검출하며 서브마커(212~114)를 검출하지 못한 다음 마커 배열 영역이 존재하지 않을 경우에는 서브마커 검출 단계에서 검출된 서브마커(212~114)들의 마커 ID를 마커정보데이터베이스(260)에서 확인하는 다음 서브마커 확인 단계(S307);
    상기 기준마커(211)의 ID와 상기 서브마커(211~114)들의 ID를 확인하고 이를 이용하여 마커 배열 ID를 검색하기 위해 1차원 배열을 생성한 후, 마커정보데이터베이스(260)에서 상기 생성된 1차원 배열에 해당하는 마커 배열(210)의 ID를 검출하는 마커 배열 ID 확인 단계(S308);
    상기 검출된 마커 배열(210)의 ID에 해당하는 컨텐츠를 증강객체데이터베이스(260)에서 확인하고 상기 기준마커(211)의 모서리 점 좌표를 통해 좌표 변환 행렬을 생성하여 와핑에 의한 크기 차이율, 와핑에 의한 크기 오류 보정 값을 계산한 후, 이를 기반으로 기준마커(211)위에 상기 컨텐츠를 증강하여 사용자에게 제공하는 객체 증강 단계(S309)를 포함하는 것을 특징으로 하는 다중 마커 배열을 이용하는 증강현실 방법
KR1020120029119A 2012-03-22 2012-03-22 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법 KR101277737B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120029119A KR101277737B1 (ko) 2012-03-22 2012-03-22 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120029119A KR101277737B1 (ko) 2012-03-22 2012-03-22 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101277737B1 true KR101277737B1 (ko) 2013-06-24

Family

ID=48867522

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120029119A KR101277737B1 (ko) 2012-03-22 2012-03-22 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101277737B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101572867B1 (ko) * 2014-11-20 2015-11-30 홍익대학교 산학협력단 오버레이 기반 큐알 코드를 이용한 증강현실 서비스 시스템
KR101572870B1 (ko) * 2014-11-20 2015-11-30 홍익대학교 산학협력단 큐알코드 큐브를 이용한 증강현실 서비스 시스템
KR20160036723A (ko) * 2014-09-25 2016-04-05 (주)씨소 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
US10032288B2 (en) 2016-10-11 2018-07-24 Electronics And Telecommunications Research Institute Method and system for generating integral image marker

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060065159A (ko) * 2004-12-10 2006-06-14 (주)제니텀 엔터테인먼트 컴퓨팅 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치
KR20070014767A (ko) * 2005-07-29 2007-02-01 (주)포스트미디어 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060065159A (ko) * 2004-12-10 2006-06-14 (주)제니텀 엔터테인먼트 컴퓨팅 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치
KR20070014767A (ko) * 2005-07-29 2007-02-01 (주)포스트미디어 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036723A (ko) * 2014-09-25 2016-04-05 (주)씨소 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
KR101669850B1 (ko) * 2014-09-25 2016-10-28 (주)씨소 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
KR101572867B1 (ko) * 2014-11-20 2015-11-30 홍익대학교 산학협력단 오버레이 기반 큐알 코드를 이용한 증강현실 서비스 시스템
KR101572870B1 (ko) * 2014-11-20 2015-11-30 홍익대학교 산학협력단 큐알코드 큐브를 이용한 증강현실 서비스 시스템
US10032288B2 (en) 2016-10-11 2018-07-24 Electronics And Telecommunications Research Institute Method and system for generating integral image marker

Similar Documents

Publication Publication Date Title
Uchiyama et al. Random dot markers
WO2018074110A1 (ja) 指紋処理装置、指紋処理方法、プログラム、指紋処理回路
CN110555879B (zh) 一种空间定位方法、其装置、其系统及计算机可读介质
WO2014123619A1 (en) System and method for identifying similarities in different images
US9418446B2 (en) Method and apparatus for determining a building location based on a building image
US8705864B2 (en) Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method, and program
KR101277737B1 (ko) 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법
KR101753360B1 (ko) 시점 변화에 강인한 특징점 정합 방법
US8693786B2 (en) Marker determination device, marker determination detection system, marker determination detection device, marker, marker determination method, and program therefor
US8755608B2 (en) Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method, and program therefor
Sadeghi et al. Ocrapose: An indoor positioning system using smartphone/tablet cameras and OCR-aided stereo feature matching
US20200167583A1 (en) Apparatus and method for registering face pose for face recognition
CN105190689A (zh) 包括基于毗连特征的对象检测和/或双边对称对象分段的图像处理
Li et al. A novel marker system in augmented reality
Ryu et al. A system for supporting paper-based augmented reality
CN115984211A (zh) 视觉定位方法、机器人及存储介质
CN113361547A (zh) 一种签章识别方法、装置、设备及可读存储介质
Tybusch et al. Color-based and recursive fiducial marker for augmented reality
JP2013101481A (ja) 読取装置、方法及びプログラム
EP2509028B1 (en) Method and system for optically detecting and localizing a two-dimensional, 2D, marker in 2D scene data, and marker therefor
Yang et al. Robust random dot markers: Towards augmented unprepared maps with pure geographic features
Sumiyoshi et al. Estimating 3D position of strongly occluded object with semi-real time by using auxiliary 3D points in occluded space
Kim et al. A study on method of advanced marker array
Bermudez et al. Comparison of natural feature descriptors for rigid-object tracking for real-time augmented reality
US20240119620A1 (en) Posture estimation apparatus, posture estimation method, and computer-readable recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160523

Year of fee payment: 4