KR20100006736A - 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법 - Google Patents

이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법 Download PDF

Info

Publication number
KR20100006736A
KR20100006736A KR1020080067067A KR20080067067A KR20100006736A KR 20100006736 A KR20100006736 A KR 20100006736A KR 1020080067067 A KR1020080067067 A KR 1020080067067A KR 20080067067 A KR20080067067 A KR 20080067067A KR 20100006736 A KR20100006736 A KR 20100006736A
Authority
KR
South Korea
Prior art keywords
marker
frame
augmented reality
type
image
Prior art date
Application number
KR1020080067067A
Other languages
English (en)
Other versions
KR101522842B1 (ko
Inventor
우운택
김혜진
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020080067067A priority Critical patent/KR101522842B1/ko
Publication of KR20100006736A publication Critical patent/KR20100006736A/ko
Application granted granted Critical
Publication of KR101522842B1 publication Critical patent/KR101522842B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 마커를 둘러싸며 마커의 위치 및 자세에 대한 정보를 가지는 마커 프레임을 이용하여 마커의 인식 속도 및 인식 효율을 향상시키는 증강현실을 구현하는 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용하여 증강현실을 구현하는 방법에 관한 것이다. 본 발명은 증강현실을 구현하는 시스템에 있어서, 증강현실 환경의 가상 객체(natural view)를 표상하는 마커와 상기 마커를 둘러싸며 마커의 위치 및 자세에 대한 정보를 가지는 마커 프레임을 구비하는 심플 프레임 마커; 및 마커 프레임의 가로 길이와 세로 길이의 차이에 따라 마커의 타입을 결정하는 심플 프레임 마커 타입 결정부를 포함하는 것을 특징으로 하는 증강현실 시스템을 제공한다.
증강현실(augmented reality), 심플 프레임 마커(simple frame marker), 마커 프레임, 마커 프레임 생성, 마커 차단(marker occlusion), 호모그래피(homography)

Description

증강현실을 구현하는 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용하여 증강현실을 구현하는 방법 {System and apparatus for implementing augmented reality, and method of implementing augmented reality using the said system or the said apparatus}
본 발명은 증강현실을 구현하는 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용하여 증강현실을 구현하는 방법에 관한 것이다. 보다 상세하게는, 마커를 둘러싸며 마커의 위치 및 자세에 대한 정보를 가지는 마커 프레임을 이용하여 마커의 인식 속도 및 인식 효율을 향상시키는 기술에 관련한 증강현실을 구현하는 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용하여 증강현실을 구현하는 방법에 관한 것이다.
일반적으로 증강현실(AR; Augmented Reality)은 가상현실(VR; Virtual Reality)의 변화된 형태로서, 사용자가 보고 있는 실사 영상에 컴퓨터에서 생성한 가상 영상을 정합시키는 사용자 인터페이스 기술을 말한다. 비전 기반 증강현실은 광학기반 시스템이나 영상기반 시스템을 통하여 구현될 수 있다. 광학기반 시스템의 경우, 증강현실은 반투명 스크린인 HMD(Head Mounted Display)를 이용하여 실제 환경에 가상 물체를 투영시킴으로써 구현된다. 반면, 영상기반 시스템의 경우, 증강현실은 카메라를 통하여 취득된 영상에 가상의 정보를 합성시킴으로써 구현된다. 이러한 증강현실은 사용자에게 보다 향상된 현실감과 인지도를 제공하기에 현재 의학, 산업, 오락, 군사 분야 등에서 다양하게 응용되고 있다.
증강현실을 구현하기 위해 카메라 또는 추적 대상체의 움직임을 정확하게 추정하는 것은 매우 중요하다. 종래 일반적인 증강현실의 구현방법은 크게 AR(Augmented Reality) 마커를 이용하여 증강현실을 구현하는 마커 기반 방법(marker based method)과 실세계에 존재하는 물체로부터 수집된 특징점들이나 3D 모델을 이용하여 증강현실을 구현하는 마커리스 방법(marker-less method)으로 구분된다.
그런데, 인식 대상이 이미지, 로고, 문자, 기호 등 다양할 경우 종래의 두 증강현실 구현방법은 이미지나 로고를 인식하는 데에 촛점을 맞추기 때문에 동시에 모든 대상을 인식한다는 것이 불가능하였다. 또한, 인식 대상이 장애물에 의해 일부라도 차단(occlusion)될 경우 증강되던 가상 객체가 사라지는 불안정성(instability)의 문제점이 발생하였다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 마커와 상기 마커를 둘러싸며 마커의 위치 및 자세에 대한 정보를 가지는 마커 프레임을 구비하는 심플 프레임 마커의 가로 길이와 세로 길이의 차이에 따라 이미지, 로고, 문자, 기호 등 중 어느 하나인 심플 프레임 마커의 타입을 결정하는 증강현실을 구현하는 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용하여 증강현실을 구현하는 방법을 제공함을 목적으로 한다.
또한, 본 발명은 마커에 대해 가상의 마커 프레임을 생성하여 증강되는 가상 객체가 다양한 자세를 가지도록 하는 증강현실을 구현하는 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용하여 증강현실을 구현하는 방법을 제공함을 목적으로 한다.
본 발명은 상술한 목적을 달성하기 위해 안출된 것으로서, 증강현실을 구현하는 시스템에 있어서, 상기 증강현실 환경의 가상 객체(natural view)를 표상하는 마커와 상기 마커를 둘러싸며 상기 마커의 위치 및 자세에 대한 정보를 가지는 마커 프레임을 구비하는 심플 프레임 마커; 및 상기 마커 프레임의 가로 길이와 세로 길이의 차이에 따라 상기 마커의 타입을 결정하는 심플 프레임 마커 타입 결정부를 포함하는 것을 특징으로 하는 증강현실 시스템을 제공한다.
또한, 본 발명은 증강현실을 구현하는 장치에 있어서, 상기 증강현실 환경의 가상 객체를 표상하며 위치에 대한 정보를 가지는 마커를 둘러싸며 상기 마커의 자세에 대한 정보를 가지는 마커 프레임을 가상 생성하는 마커 프레임 생성부를 포함하는 것을 특징으로 하는 증강현실 구현장치를 제공한다.
또한, 본 발명은 증강현실을 구현하는 방법에 있어서, (a) 증강현실 환경의 가상 객체를 표상하는 마커와 상기 마커를 둘러싸며 상기 마커의 위치 및 자세에 대한 정보를 가지는 마커 프레임을 구비하는 심플 프레임 마커에서 상기 마커 프레임의 가로 길이와 세로 길이의 차이에 따라 상기 마커의 타입을 결정하는 단계; (b) 상기 타입이 결정된 마커를 둘러싸는 마커 프레임에 저장된 자세에 대한 정보를 이용하여 상기 타입이 결정된 마커의 자세를 추정하는 단계; 및 (c) 상기 심플 프레임 마커의 위치에 가상 영상을 증강시키는 단계를 포함하는 것을 특징으로 하는 증강현실 구현방법을 제공한다.
또한, 본 발명은 증강현실을 구현하는 방법에 있어서, (a) 상기 증강현실 환경의 가상 객체를 표상하며 위치에 대한 정보를 가지는 마커를 둘러싸며 상기 마커의 자세에 대한 정보를 가지는 마커 프레임을 가상 생성하는 단계; (b) 상기 가상 생성된 마커 프레임의 가로 길이와 세로 길이의 차이에 따라 상기 마커의 타입을 결정하는 단계; (c) 상기 타입이 결정된 마커를 둘러싸는 마커 프레임에 저장된 자세에 대한 정보를 이용하여 상기 타입이 결정된 마커의 자세를 추정하는 단계; 및 (d) 상기 심플 프레임 마커의 위치에 가상 영상을 증강시키는 단계를 포함하는 것을 특징으로 하는 증강현실 구현방법을 제공한다.
본 발명에 따르면, 다음과 같은 효과를 거둘 수 있다. 첫째, 심플 프레임 마커의 가로 길이와 세로 길이의 차이에 따라 그 타입을 결정함으로써 이미지, 로고, 문자, 기호 등 중 어느 하나로 이루어진 인식 대상을 동시에 모두 인식할 수 있다. 이에 따라, 문자를 읽어서 소리로 들려주거나, 생소한 문자를 번역하여 제공하거나, 노인을 위해 돋보기를 사용하듯 문자의 크기를 키워주는 등 다양한 응용이 가능하게 된다. 더불어, 종전보다 대상을 인식하는 속도와 인식 효율이 더욱 향상된다.
둘째, 마커에 대해 다양한 자세 정보를 가지는 가상의 마커 프레임을 생성함으로써 장애물에 의한 차단 현상을 방지하고, 증강되던 가상 객체가 사라지는 불안정성의 문제를 해소하며, 증강되는 가상 객체의 자세를 더욱 다양하게 구성할 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 제1 실시예에 따른 증강현실을 구현하는 시스템의 개념도이다. 그리고, 도 2는 본 발명의 바람직한 제2 실시예에 따른 증강현실을 구현하는 시스템의 개념도이다. 먼저 도 1을 참조하여 제1 실시예에 따른 증강현실 시스템을 설명하고, 이후 도 2를 참조하여 제2 실시예에 따른 증강현실 시스템을 설명한다.
도 1에 도시한 바에 따르면, 본 발명의 바람직한 제1 실시예에 따른 증강현실 시스템(100)은 심플 프레임 마커(simple frame marker; 110), 심플 프레임 마커 처리부(120), 영상 처리부(130) 및 영상 표시부(140)를 포함한다.
심플 프레임 마커(110)는 증강현실(augmented reality) 환경에서 증강될 가상 객체(natural view)에 대응하도록 현실 환경에 구비되는 마커(marker; 111)와 상기 마커(111)를 둘러싸는 마커 프레임(marker frame; 112)을 구비한다. 이러한 심플 프레임 마커(110)는 증강현실 환경에서의 가상 객체의 위치에 가시적 정보 또는 비가시적 정보로써 표현될 수 있다.
마커(111)는 증강현실 환경의 가상 객체를 표시하는 수단으로, 로고(logo), 사진(photograph)이나 그림(picture) 또는 영상의 일부분을 포함하는 개념의 이미지(image), 문자(character), 기호 등을 포함한다.
마커 프레임(112)은 마커(111)를 둘러싸는 액자 구조의 틀로 형성된다. 이러한 마커 프레임(112)은 그 위에 형성되는 복수개의 기준점을 통하여 증강될 가상 객체의 위치를 표시한다. 바람직하게는, 도 1에서 보는 바와 같이 각각의 모퉁이에 형성된 4개의 기준점(113a~113d)을 통하여 증강될 가상 객체의 위치를 표시한다. 그러나, 본 발명의 실시예에서 2~3개 또는 5개 이상의 기준점을 이용하여 가상 객체의 위치를 표시하는 것도 가능하다. 2개의 기준점을 이용하는 경우에는 두 기준점이 대각선 방향에 위치함이 바람직하다. 각 기준점은 (x, y) 형태의 2차원 좌표 정보를 수반한다. 그래서, 심플 프레임 마커 처리부(120)는 이 기준점 정보를 통해 마커 프레임(112)을 용이하게 찾을 수 있다. 물론, 각 기준점은 (x, y, z) 형태의 3차원 좌표 정보를 수반하는 것도 가능하다.
또한, 마커 프레임(112)은 증강될 가상 객체의 자세(pose)를 표시하는 자세 정보 저장부(114)를 일측에 형성한다. 자세 정보 저장부(114)는 (x, y, z) 형태의 3차원 좌표 정보를 수반한다. 이를 통해 영상 처리부(130)는 3D 모델 형상의 가상 영상을 마커(111) 상에 증강 구현할 수 있다.
이상 상술한 마커 프레임(112)는 보통 사각 형상의 틀로 구현된다. 이러한 마커 프레임(112)은 본 발명의 실시예에서 너비(width)와 높이(height)에 따라 2가지 타입으로 구분된다. 제1 타입은 동일 단위의 너비값과 높이값이 같거나 이 값들의 차이가 작은 경우로, 도 3의 (a)가 그 예이다. 구체적으로, 제1 타입은 본 발명의 실시예에서 너비값과 높이값 중 어느 하나의 값이 다른 하나의 값보다 2배 이하일 경우이다. 마커 프레임(112)이 제1 타입이면, 그 내부의 마커(111)는 로고나 이미지로 해석되며, 도 3의 (b)가 그 예이다. 반면, 제2 타입은 동일 단위의 너비값과 높이값의 차이가 큰 경우로, 도 3의 (c)가 그 예이다. 구체적으로, 제2 타입은 본 발명의 실시예에서 너비값과 높이값 중 어느 하나의 값이 다른 하나의 값보다 2배 초과일 경우이다. 마커 프레임(112)이 제2 타입이면, 그 내부의 마커(111)는 문 자 또는 기호로 해석되며, 도 3의 (d)가 그 예이다.
한편, 마커 프레임(112)는 사각 형상의 틀에 한정되지 않으며, 원 형상, 타원 형상, 마름모 형상 등의 틀로 구현되는 것도 가능하다.
심플 프레임 마커 처리부(120)는 심플 프레임 마커(110)(구체적으로 마커 프레임(112))의 너비와 높이의 차이에 따라 심플 프레임 마커(110)(구체적으로 마커(111))의 타입을 결정하는 기능을 수행한다.
또한, 심플 프레임 마커 처리부(120)는 심플 프레임 마커(110)를 검출 인식하는 기능을 수행한다. 구체적으로, 심플 프레임 마커 처리부(120)는 마커 프레임(112)을 먼저 검출하며, 이후 상기 마커 프레임(112)을 통해 마커(111)를 인식하는 기능을 수행한다. 마커(111)의 인식은 증강될 가상 객체가 무엇인지를 분별 가능하게 한다. 바람직하게는, 심플 프레임 마커 처리부(120)가 영상 처리부(130)와 연동하여 공간맵을 센서로 구성하고 이로부터 공간맵에 대한 컨텍스트(context) 정보를 얻음으로써 이의 해결을 도모한다.
상기에서, 심플 프레임 마커 처리부(120)는 심플 프레임 마커(110)가 가시적 정보로 표현됨을 고려할 경우 RGB 카메라(또는 광 센서나 시각 센서)를 포함하여 구현될 수 있다. 반면, 심플 프레임 마커 처리부(120)는 심플 프레임 마커(110)가 적외선 반사 코팅 재료(IR reflective coating materials) 등을 이용하여 비가시적 정보로 표현됨을 고려할 경우 상기 RGB 카메라 외에 적외선 카메라(또는 IR 센서)를 더 포함하여 구현될 수 있다. 한편, 본 발명의 실시예에서 심플 프레임 마커(110)(또는 마커 프레임(112))의 크기가 매우 작을 경우 인식 거리 문제가 대두 될 수 있다. 이를 위해 심플 프레임 마커 처리부(120)는 광학 줌 카메라를 더 구비할 수 있으며, 용이한 추적을 위해 계산에 참조할 파라미터를 삽입시킴도 가능하다.
또한, 심플 프레임 마커 처리부(120)는 마커 프레임(112)을 이용하여 마커(111)를 추적하고 자세를 추정하는 기능을 수행한다. 마커(111)의 추적은 마커 프레임(112)의 기준점 정보를 수시 확인함으로써 가능하며, 자세 추정은 자세 정보 저장부(114)에 저장되어 있는 가상 객체의 자세에 대한 정보를 해석함으로써 가능하다.
이상 상술한 심플 프레임 마커 처리부(120)는 본 발명의 실시예에서 기능에 따라 SFM(Simple Frame Marker) 타입 결정부(121), SFM 인식부(122) 및 SFM 추적부(123)로 분류할 수 있다. 이때의 SFM 타입 결정부(121)는 마커 프레임(112)의 너비와 높이의 차이에 따라 마커(111)의 타입을 결정하는 기능을 담당한다. 그리고, SFM 인식부(122)는 마커(111)의 인식 기능을 담당하며, SFM 추적부(123)는 마커(111)의 추적 및 자세 추정 기능을 담당한다.
영상 처리부(130)는 본 발명의 실시예에서 심플 프레임 마커(110)(구체적으로는 마커(111))가 표시된 위치에 사전에 준비된 가상 영상을 증강하여 새로운 영상을 생성하는 기능을 수행한다. 상기에서, 증강은 바람직하게는 렌더링(rendering)을 포함한다. 렌더링이란 화면에 그려지는 실제 물체의 각 면에 3차원 컴퓨터그래픽(CG)을 통한 색깔이나 효과를 부여하는 것을 말하며, 이를 통해 화면상의 실제 물체에 대한 입체감 및 사실감을 향상시킬 수 있다.
영상 처리부(130)는 심플 프레임 마커 처리부(120)(또는 SFM 추적부)와 연동하여 심플 프레임 마커(110)의 위치 및 자세를 실시간으로 감시하는 것도 가능하다. 이에 따르면, 영상 처리부(130)는 언제라도 증강현실 구현을 통한 가상 객체 증강을 달성하는 효과를 거둘 수 있다.
영상 표시부(140)는 본 발명의 실시예에서 영상 처리부(130)가 생성한 영상을 화면에 출력하는 기능을 수행한다. 이러한 영상 표시부(140)로는 통상의 모니터를 비롯하여 HMD(Head Mounted Display), 크리스탈 아이즈(crystal eyes) 등의 입체안경, 안경형 HMD(Optical See-Through HMD) 등이 가능하며, 휴대용 모바일 기기(예컨대, 휴대폰, PDA 등)의 액정표시 장치도 가능하다.
다음으로, 제2 실시예에 따른 증강현실 시스템을 설명한다. 도 2에 도시한 바에 따르면, 제2 실시예에 따른 증강현실 시스템(200)은 심플 프레임 마커(110) 및 증강현실 구현장치(210)를 포함한다.
증강현실 구현장치(210)는 상술한 심플 프레임 마커 처리부(120), 영상 처리부(130), 영상 표시부(140) 등을 포함하는 개념으로, 휴대폰과 같은 모바일 디바이스(mobile device)로 구현될 수 있다. 이러한 증강현실 구현장치(210)는 본 발명의 실시예에서 마커 프레임(112)을 생성하는 마커 프레임 생성부(211)를 더 구비한다.
마커 프레임 생성부(211)는 영상 표시부(140)를 통해 마커(111)가 표시되면 이 마커(111)를 둘러싸는 마커 프레임(112)을 가상 생성하는 기능을 수행한다. 도 4의 (a)를 참조하면, 본 발명의 제1 실시예에서는 영상 표시부(140)를 통해 마 커(111)와 마커 프레임(112)이 모두 확인되어야만 마커의 인식 속도 및 인식 효율을 향상시킬 수가 있었다. 그런데, 도 4의 (b)를 참조하면, 본 발명의 제2 실시예에서는 증강현실 구현장치(210)의 마커 프레임 생성부(211)가 마커(111)를 둘러싸는 마커 프레임(112)을 다양한 포즈를 가지도록 직접 가상으로 생성한다. 이에 따라, 마커 프레임(112)이 없어도 마커의 인식 속도 및 인식 효율의 향상을 기대할 수 있다.
마커 프레임 생성부(211)의 이러한 기능은 기존 ARToolkit이나 ARTag가 가지고 있던 장애물에 의한 마커 차단(marker occlusion)을 해결할 수 있게 하며, 이에 따라 증강되던 가상 객체가 사라지는 불안정성(instability)도 해소할 수 있게 한다. 더불어, 더욱 다양한 자세의 가상 객체를 마커(111) 상에 증강할 수 있게 한다.
한편, 상기와 같은 경우 마커 프레임(112)을 수반하지 않는 마커(111)는 용이한 검출이 가능하도록 위치 정보를 수반하게 된다.
다음으로, 본 발명에 따른 심플 프레임 마커 처리부(120)를 좀더 구체적으로 설명한다. 도 5는 본 발명의 바람직한 실시예에 따른 심플 프레임 마커 처리부(120)의 내부 구성 블록도이다. 도 5를 참조하면, 본 발명의 바람직한 실시예에 따른 심플 프레임 마커 처리부(120)는 마커 프레임 검출부(500), 마커 프레임 교정부(505), 마커 프레임 크기 계산부(510), 마커 프레임 체크부(515), 마커 프레임 타입 결정부(520), 마커 인식부(525), 마커 자세 추정부(530), 전원부(540) 및 제어부(545)를 포함한다. 심플 프레임 마커 처리부(120)를 구성하는 각 구성부의 역 할에 대해서는 도 6을 참조하여 자세하게 설명하기로 한다.
한편, 도 5에 도시된 심플 프레임 마커 처리부(120)의 구성부와 도 1에 도시된 심플 프레임 마커 처리부(120)의 구성부를 견주어 보자면, 기능상 도 5의 마커 인식부(525)가 도 2의 SFM 인식부(122)에 포함될 것이고, 도 5의 마커 자세 추정부(530)가 도 2의 SFM 추적부(123)에 포함될 것이다. 전원부(540)와 제어부(545)를 제외한 나머지 구성부들(500~520)은 모두 SFM 타입 결정부(121)에 포함될 것이다.
도 6은 본 발명의 바람직한 실시예에 따른 심플 프레임 마커 처리부의 마커 인지 방법을 설명한 순서도이다. 이하, 도 6을 참조하여 심플 프레임 마커 처리부의 마커 인지 방법을 설명한다.
먼저, 마커 프레임 검출부(500)가 촬영(또는 센싱)을 통하여 마커 프레임(112)을 검출한다(S600). 이 S600 단계는 구체적으로 특정 이미지를 취득하는 제1 단계, 및 취득된 이미지에서 마커 프레임(112)을 추출하는 제2 단계로 이루어질 수 있다.
이후, 마커 프레임 교정부(505)가 검출된 마커 프레임(112)을 정해진 기준에 따라 교정한다(S605). 이 단계는 사전 결정된 마커 프레임(112)의 표준 정보를 이용하여 검출된 마커 프레임(112)을 교정하는데, 바람직하게는 마커 프레임(112)이 수반하는 위치 정보로 호모그래피(homography)를 구하여 검출된 마커 프레임(112)을 교정한다. 이와 같이 마커 프레임(112)의 교정이 필요한 이유는 다수개의 촬영 장치(ex. 카메라)로부터 제각각의 이미지가 생성되기 때문이다.
이상의 S600 단계와 S605 단계는 David G. Lowe가 2004년 1월 "International Journal of Computer Vision"를 통해 발표한 "Distinctive Image Features from Scale-Invariant Keypoints"에 나타난 SIFT(Scale Invariant Feature Transform)를 이용함이 바람직하다. 그 이유는 이 SIFT를 통해 특징점 매칭(feature point matching)의 에러율을 감소시킬 수 있기 때문이다.
이후, 마커 프레임 크기 계산부(510)가 교정된 마커 프레임(112)의 크기를 계산한다(S610). 이때, 계산 결과로 얻어지는 마커 프레임(112)의 크기는 마커 프레임(112)의 너비와 높이의 비율이다.
이후, 마커 프레임 타입 결정부(520)가 마커 프레임(112)의 너비와 높이의 비율로부터 마커 프레임(112)의 타입을 결정한다(S620). 구체적으로, 이 단계에서는 마커 프레임(112)의 너비값이 높이값의 1/2배 이상이고 2배 이하이면 마커 프레임(112)의 타입을 제1 타입(square type)으로 결정하고, 마커 프레임(112)의 너비값이 높이값의 1/2배 미만이거나 2배 초과이면 마커 프레임(112)의 타입을 제2 타입(rectangle type)으로 결정한다.
이후, 마커 인식부(525)가 마커 프레임(112) 내부에 위치하는 마커(111)를 인식한다. S620 단계에서 결정된 바가 제1 타입이면 마커(111)는 로고이거나 이미지일 것이므로, 마커 인식부(525)는 템플릿 매칭 기반 방법(template matching based method) 또는 로컬 피쳐 매칭 기반 방법(local feature matching based method)을 이용하여 마커(111)를 인식한다(S625a). 템플릿 매칭 기반 방법은 예컨대 Su, Yi와 Robb, Richard A.가 2005년 4월 "Medical Imaging 2005 : Image Processing. Edited by Fitzpatrick, J. Michael; Reinhardt, Joseph M. Proceedings of the SPIE, Volume 5747, pp. 1038-1045"를 통해 공개한 "Seed image reconstruction using a template matching technique"를 참조할 수 있겠다. 또한, 로컬 피쳐 매칭 기반 방법은 예컨대 Deng, Hongli가 "http://ir.library.oregonstate.edu/dspace/handle/1957/6497"를 통해 공개한 "Image feature detection and matching for biological object recognition"를 참조할 수 있겠다.
반면, S620 단계에서 결정된 바가 제2 타입이면 마커(111)는 문자이거나 기호일 것이므로, 마커 인식부(525)는 캐릭터 인식 방법(character recognition method)을 이용하여 마커(111)를 인식한다(S625b). 캐릭터 인식 방법은 예컨대 미국특허등록공보 제4,415,880호 "Character recognition method and apparatus"에 나타난 바를 참조할 수 있겠다.
이후, 마커 자세 추정부(530)가 자세 정보 저장부(114)에 저장된 가상 객체의 자세에 대한 정보를 해석하여 가상 객체의 자세를 추정한다(S630).
이상의 과정(S600~S630)을 통해 마커(111)를 인지하면 마커(111) 위에 가상 객체를 증강할 수 있게 된다. 그러나, 이러한 과정(S600~S630)은 단편적 이미지에 가상 객체 증강을 구현하는 것에 불과하며, 연속적 이미지에 가상 객체를 증강하려 할 경우에는 상기 과정(S600~S630)이 일정 시간마다 반복됨이 필요하다.
그런데, 소정 시간 경과후 가상 객체의 자리 이동이나 가상 객체의 교체 등의 현상이 발생할 수 있다. 이에, 반복 진행시 두번째 진행부터는 마커 프레임(112)의 크기 계산(S610) 이후 마커 프레임(112)의 변동 여부를 체크할 필요가 있다. 이를 참작하여 본 발명의 실시예에서는 S610 단계 이후 마커 프레임 체크부(515)가 마커 프레임(112)의 변동 여부를 판단하는 과정이 추가된다(S615). 마커 프레임(112)의 변동 여부 판단은 계산된 마커 프레임(112)의 크기값이 이전 마커 프레임(112)의 크기값에 비해 달라졌는지 여부로 결정하며, 이때의 기준은 경계값(threshold value)에 따른다. 경계값은 예컨대 {현재 마커 프레임의 크기값 - 이전 마커 프레임의 크기값} 계산식에서 0 또는 {(현재 마커 프레임과 이전 마커 프레임의 크기값 차이 - 이전 마커 프레임의 크기값) × 100} 계산식에서 5% 등으로 설정할 수 있으며, 사전에 결정되어 있음이 일반이나, 추후 보정 과정을 통해 수정되는 것도 가능하다.
S615 단계의 판단 결과에 따라 마커 프레임(112)이 변동한 것으로 판단되면, 상기의 S620 단계부터 진행한다. 이때, 마커 프레임(112)의 타입이 바뀌지 않은 것으로 결정되면 마커(111)가 바뀌지 않은 것으로 판단하고 마커(111)를 인식하는 과정(S625a 또는 S625b)을 생략하는 것도 가능하다. 반면, 마커 프레임(112)이 변동하지 않은 것으로 판단되면, 이전 마커(111)에 대한 정보를 그대로 유지하며(S635) 상기의 S630 단계를 수행한다.
이상 설명한 바는 심플 프레임 마커 처리부(120)가 영상 표시부(140)와 연동하는 경우이다. 반면, 심플 프레임 마커 처리부(120)는 도 2의 증강현실 구현장치(210)와 연동하는 것도 가능하다. 심플 프레임 마커 처리부(120)가 증강현실 구현장치(210)와 연동하는 경우에는 먼저 마커(111)를 검출하고, 이후 상기 마커(111)를 둘러싸는 특정한 마커 프레임(112)을 가상 생성한다. 그 다음에는 상기 의 S605 단계부터 진행한다. 바람직하게는, S605 단계는 객체 분포로 호모그래피를 추정하여 생성된 마커 프레임(112)을 교정한다.
다음으로, 본 발명의 바람직한 제1 실시예에 따른 증강현실 시스템(100)의 증강현실 구현방법을 설명한다. 도 7은 본 발명의 바람직한 제1 실시예에 따른 증강현실 시스템의 증강현실 구현방법을 도시한 순서도이다. 이하, 도 7을 참조하여 설명한다.
먼저, SFM 타입 구분부(121)가 심플 프레임 마커(110)의 타입을 결정한다(S700). 이후, SFM 인식부(122)가 심플 프레임 마커(110)를 인식한다(S705). 그리고 난 후에는, SFM 추적부(123)가 심플 프레임 마커(110)의 자세를 추정한다(S710). 이상의 심플 프레임 마커 처리부(120)가 수행하는 S700 단계 내지 S710 단계는 도 5와 도 6을 참조하여 구체적으로 상술한 바, 여기서는 생략한다. 이후, 영상 처리부(130)가 심플 프레임 마커(110) 상에 가상 객체(예컨대, 3D CG 컨텐츠)를 증강시킨다(S715). 그러면, S715 단계를 통한 상호작용으로 가상 영상이 반영된 새로운 영상이 생성되며, 이는 영상 표시부(140)를 통해 표출된다(S720).
한편, 제2 실시예에 따른 증강현실 시스템(200)의 증강현실 구현방법은 증강현실 구현장치(210)가 마커 프레임 생성부(211) 외 어느 구성부를 더 포함하느냐에 따라서 달라질 수 있다. 왜냐하면, 이때의 증강현실 구현장치(210)는 영상 표시부(140)만을 더 포함할 수 있으며, 심플 프레임 마커 처리부(120) 또는 영상 처리부(130)를 더욱 포함할 수도 있기 때문이다. 제2 실시예에 따른 증강현실 시스 템(200)의 증강현실 구현방법은 도 7를 참조하여 상술한 바로부터 유추 가능하므로 자세한 설명은 생략한다.
이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명에 따른 증강현실 시스템은 심플 프레임 마커의 가로 길이와 세로 길이의 차이에 따라 그 타입을 결정하며, 마커에 대해 다양한 자세 정보를 가지는 가상의 마커 프레임을 생성함으로써 다양한 인식 대상의 동시 구현, 마커에 대한 인식 속도 및 인식 효율의 향상, 장애물에 의한 차단 현상 방지, 증강되던 가상 객체가 사라지는 불안정성의 문제점 해소, 증강되는 가상 객체의 다양한 자세 구성 등의 효과를 거둘 수 있다. 오늘날 지능형 정보 증강 응용이 다양해짐에 따라 다양한 대상에 정보를 증강하고자 하는 요구가 있다. 본 발명에 따른 증강현실 시스템은 더욱 재미있는 응용을 가능하게 할 것이므로 유비쿼터스 컴퓨팅 시대에 더욱 이바 지할 것으로 기대된다.
도 1은 본 발명의 바람직한 제1 실시예에 따른 증강현실을 구현하는 시스템의 개념도,
도 2는 본 발명의 바람직한 제2 실시예에 따른 증강현실을 구현하는 시스템의 개념도,
도 3은 본 발명의 바람직한 제1 실시예에 따른 심플 프레임 마커를 설명하기 위한 개념도,
도 4는 본 발명의 바람직한 제2 실시예에 따른 증강현실 구현장치를 설명하기 위한 개념도,
도 5는 본 발명의 바람직한 실시예에 따른 심플 프레임 마커 처리부(120)의 내부 구성 블록도,
도 6은 본 발명의 바람직한 실시예에 따른 심플 프레임 마커 처리부의 마커 인지 방법을 설명한 순서도,
도 7은 본 발명의 바람직한 제1 실시예에 따른 증강현실 시스템의 증강현실 구현방법을 도시한 순서도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100 : 제1 실시예에 따른 증강현실 시스템 110 : 심플 프레임 마커
111 : 마커 112 : 마커 프레임
120 : 심플 프레임 마커 처리부 121 : SFM 타입 결정부
122 : SFM 인식부 123 : SFM 추적부
130 : 영상 처리부 140 : 영상 표시부
200 : 제2 실시예에 따른 증강현실 시스템 210 : 증강현실 구현장치
211 : 마커 프레임 생성부 500 : 마커 프레임 검출부
505 : 마커 프레임 교정부 510 : 마커 프레임 크기 계산부
515 : 마커 프레임 체크부 520 : 마커 프레임 타입 결정부
525 : 마커 인식부 530 : 마커 자세 추정부

Claims (18)

  1. 증강현실을 구현하는 시스템에 있어서,
    상기 증강현실 환경의 가상 객체(natural view)를 표상하는 마커와 상기 마커를 둘러싸며 상기 마커의 위치 및 자세에 대한 정보를 가지는 마커 프레임을 구비하는 심플 프레임 마커; 및
    상기 마커 프레임의 가로 길이와 세로 길이의 차이에 따라 상기 마커의 타입을 결정하는 심플 프레임 마커 타입 결정부
    를 포함하는 것을 특징으로 하는 증강현실 시스템.
  2. 제 1 항에 있어서,
    상기 심플 프레임 마커 타입 결정부는 상기 가로 길이와 상기 세로 길이 중 어느 하나가 다른 하나의 2배를 초과하는지에 따라 상기 마커의 타입을 결정하는 것을 특징으로 하는 증강현실 시스템.
  3. 제 1 항에 있어서,
    상기 심플 프레임 마커 타입 결정부는 상기 가로 길이가 상기 세로 길이의 0.5배 이상이고 2배 이하일 때 상기 마커를 사진이나 그림을 포함하는 이미지 또는 로고로 해석하며, 상기 가로 길이가 상기 세로 길이의 0.5배 미만이거나 2배 초과일 때 상기 마커를 문자나 기호로 해석하는 것을 특징으로 하는 증강현실 시스템.
  4. 제 1 항에 있어서,
    상기 타입이 결정된 마커를 인식하는 심플 프레임 마커 인식부;
    상기 인식된 마커를 둘러싸는 마커 프레임에 저장된 마커의 자세에 대한 정보를 이용하여 상기 인식된 마커의 자세를 추정하는 심플 프레임 마커 추적부;
    상기 심플 프레임 마커 인식부 및 상기 심플 프레임 마커 추적부와 연동하여 상기 심플 프레임 마커의 위치에 가상 영상을 증강시키는 영상 처리부; 및
    상기 영상 처리부가 증강을 통해 생성한 영상을 표시하는 영상 표시부
    를 더 포함하는 것을 특징으로 하는 증강현실 시스템.
  5. 제 1 항에 있어서,
    상기 심플 프레임 마커 타입 결정부는,
    취득된 이미지에서 상기 마커 프레임을 검출하는 마커 프레임 검출부;
    상기 검출된 마커 프레임을 정해진 기준에 따라 교정하는 마커 프레임 교정부;
    상기 가로 길이와 세로 길이의 차이를 표시하는 상기 교정된 마커 프레임의 크기값을 계산하는 마커 프레임 크기 계산부; 및
    상기 계산된 크기값에 따라 상기 마커 프레임의 타입을 결정하는 마커 프레임 타입 결정부
    를 포함하는 것을 특징으로 하는 증강현실 시스템.
  6. 제 5 항에 있어서,
    상기 심플 프레임 마커 타입 결정부는 상기 교정된 마커 프레임의 크기값이 이전의 마커 프레임의 크기값에 대해 기준치 이상 변동되었는지 여부를 체크하는 마커 프레임 체크부를 더 포함하는 것을 특징으로 하는 증강현실 시스템.
  7. 증강현실을 구현하는 장치에 있어서,
    상기 증강현실 환경의 가상 객체를 표상하며 위치에 대한 정보를 가지는 마커를 둘러싸며 상기 마커의 자세에 대한 정보를 가지는 마커 프레임을 가상 생성하는 마커 프레임 생성부
    를 포함하는 것을 특징으로 하는 증강현실 구현장치.
  8. 제 7 항에 있어서,
    상기 가상 생성된 마커 프레임의 가로 길이와 세로 길이의 차이에 따라 상기 마커의 타입을 결정하는 심플 프레임 마커 타입 결정부
    를 더 포함하는 것을 특징으로 하는 증강현실 구현장치.
  9. 제 8 항에 있어서,
    상기 심플 프레임 마커 타입 결정부는 상기 가로 길이가 상기 세로 길이의 0.5배 이상이고 2배 이하일 때 상기 마커를 사진이나 그림을 포함하는 이미지 또는 로고로 해석하며, 상기 가로 길이가 상기 세로 길이의 0.5배 미만이거나 2배 초과일 때 상기 마커를 문자나 기호로 해석하는 것을 특징으로 하는 증강현실 구현장치.
  10. 제 7 항 또는 제 8 항에 있어서,
    상기 마커를 인식하는 심플 프레임 마커 인식부;
    상기 인식된 마커를 둘러싸는 마커 프레임에 저장된 마커의 자세에 대한 정보를 이용하여 상기 인식된 마커의 자세를 추정하는 심플 프레임 마커 추적부;
    상기 심플 프레임 마커 인식부 및 상기 심플 프레임 마커 추적부와 연동하여 상기 심플 프레임 마커의 위치에 가상 영상을 증강시키는 영상 처리부; 및
    상기 영상 처리부가 증강을 통해 생성한 영상을 표시하는 영상 표시부
    중 하나 이상을 더 포함하는 것을 특징으로 하는 증강현실 구현장치.
  11. 제 7 항 또는 제 8 항에 있어서,
    상기 증강현실 구현장치는 휴대용 모바일 디바이스인 것을 특징으로 하는 증강현실 구현장치.
  12. 제 8 항에 있어서,
    상기 심플 프레임 마커 타입 결정부는,
    상기 가상 생성된 마커 프레임을 정해진 기준에 따라 교정하는 마커 프레임 교정부;
    상기 가로 길이와 세로 길이의 차이를 표시하는 상기 교정된 마커 프레임의 크기값을 계산하는 마커 프레임 크기 계산부;
    상기 계산된 크기값에 따라 상기 마커 프레임의 타입을 결정하는 마커 프레임 타입 결정부; 및
    상기 교정된 마커 프레임의 크기값이 이전의 마커 프레임의 크기값에 대해 기준치 이상 변동되었는지 여부를 체크하는 마커 프레임 체크부
    를 포함하는 것을 특징으로 하는 증강현실 구현장치.
  13. 증강현실을 구현하는 방법에 있어서,
    (a) 증강현실 환경의 가상 객체를 표상하는 마커와 상기 마커를 둘러싸며 상기 마커의 위치 및 자세에 대한 정보를 가지는 마커 프레임을 구비하는 심플 프레임 마커에서 상기 마커 프레임의 가로 길이와 세로 길이의 차이에 따라 상기 마커의 타입을 결정하는 단계;
    (b) 상기 타입이 결정된 마커를 둘러싸는 마커 프레임에 저장된 자세에 대한 정보를 이용하여 상기 타입이 결정된 마커의 자세를 추정하는 단계; 및
    (c) 상기 심플 프레임 마커의 위치에 가상 영상을 증강시키는 단계
    를 포함하는 것을 특징으로 하는 증강현실 구현방법.
  14. 제 13 항에 있어서,
    상기 (a) 단계는,
    (aa) 취득된 이미지에서 상기 마커 프레임을 검출하는 단계;
    (ab) 상기 검출된 마커 프레임을 정해진 기준에 따라 교정하는 단계;
    (ac) 상기 가로 길이와 세로 길이의 차이를 표시하는 상기 교정된 마커 프레임의 크기값을 계산하는 단계; 및
    (ad) 상기 계산된 크기값에 따라 상기 마커 프레임의 타입을 결정하는 단계
    를 포함하는 것을 특징으로 하는 증강현실 구현방법.
  15. 제 14 항에 있어서,
    상기 (ac) 단계와 상기 (ad) 단계의 중간 단계는 상기 교정된 마커 프레임의 크기값이 이전의 마커 프레임의 크기값에 대해 기준치 이상 변동되었는지 여부를 체크하는 단계를 포함하는 것을 특징으로 하는 증강현실 구현방법.
  16. 제 13 항에 있어서,
    상기 (a) 단계는 상기 가로 길이가 상기 세로 길이의 0.5배 이상이고 2배 이하일 때 상기 마커를 사진이나 그림을 포함하는 이미지 또는 로고로 해석하며, 상기 가로 길이가 상기 세로 길이의 0.5배 미만이거나 2배 초과일 때 상기 마커를 문자나 기호로 해석하여 상기 마커의 타입을 결정하는 것을 특징으로 하는 증강현실 구현방법.
  17. 증강현실을 구현하는 방법에 있어서,
    (a) 상기 증강현실 환경의 가상 객체를 표상하며 위치에 대한 정보를 가지는 마커를 둘러싸며 상기 마커의 자세에 대한 정보를 가지는 마커 프레임을 가상 생성하는 단계;
    (b) 상기 가상 생성된 마커 프레임의 가로 길이와 세로 길이의 차이에 따라 상기 마커의 타입을 결정하는 단계;
    (c) 상기 타입이 결정된 마커를 둘러싸는 마커 프레임에 저장된 자세에 대한 정보를 이용하여 상기 타입이 결정된 마커의 자세를 추정하는 단계; 및
    (d) 상기 심플 프레임 마커의 위치에 가상 영상을 증강시키는 단계
    를 포함하는 것을 특징으로 하는 증강현실 구현방법.
  18. 제 17 항에 있어서,
    상기 (b) 단계는,
    (ba) 상기 가상 생성된 마커 프레임을 정해진 기준에 따라 교정하는 단계;
    (bb) 상기 가로 길이와 세로 길이의 차이를 표시하는 상기 교정된 마커 프레임의 크기값을 계산하는 단계; 및
    (bc) 상기 계산된 크기값에 따라 상기 마커 프레임의 타입을 결정하는 단계
    를 포함하며,
    상기 (bb) 단계와 상기 (bc) 단계의 중간 단계로 상기 교정된 마커 프레임의 크기값이 이전의 마커 프레임의 크기값에 대해 기준치 이상 변동되었는지 여부를 체크하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 구현방법.
KR1020080067067A 2008-07-10 2008-07-10 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법 KR101522842B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080067067A KR101522842B1 (ko) 2008-07-10 2008-07-10 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080067067A KR101522842B1 (ko) 2008-07-10 2008-07-10 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법

Publications (2)

Publication Number Publication Date
KR20100006736A true KR20100006736A (ko) 2010-01-21
KR101522842B1 KR101522842B1 (ko) 2015-06-25

Family

ID=41815829

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080067067A KR101522842B1 (ko) 2008-07-10 2008-07-10 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법

Country Status (1)

Country Link
KR (1) KR101522842B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012134069A2 (ko) * 2011-03-31 2012-10-04 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
KR101399248B1 (ko) * 2010-07-29 2014-05-27 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실용 기준 마커
US8760722B2 (en) 2010-06-25 2014-06-24 Fujitsu Limited Apparatus and method for processing images
KR101481271B1 (ko) * 2013-05-22 2015-01-12 부경대학교 산학협력단 텍스트 마커를 이용한 증강 현실시스템
KR20190114696A (ko) 2018-03-30 2019-10-10 주식회사 지오멕스소프트 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
KR20200108518A (ko) * 2019-03-04 2020-09-21 인하대학교 산학협력단 증강현실 기반 3d 프린터 유지보수 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2786355B2 (ja) * 1991-11-08 1998-08-13 沖電気工業株式会社 文章画像の属性判別方法
JP3240273B2 (ja) * 1997-05-30 2001-12-17 日本電信電話株式会社 帳票読み取り装置
WO2005104033A1 (de) * 2004-04-26 2005-11-03 Siemens Aktiengesellschaft Verfahren zur bestimmung einer position eines markers in einem augmented-reality-system
KR100702534B1 (ko) * 2005-07-29 2007-04-02 (주)포스트미디어 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760722B2 (en) 2010-06-25 2014-06-24 Fujitsu Limited Apparatus and method for processing images
KR101425299B1 (ko) * 2010-06-25 2014-07-31 후지쯔 가부시끼가이샤 화상 처리 장치 및 화상 처리 방법
KR101399248B1 (ko) * 2010-07-29 2014-05-27 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실용 기준 마커
WO2012134069A2 (ko) * 2011-03-31 2012-10-04 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
WO2012134069A3 (ko) * 2011-03-31 2012-11-29 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
KR101481271B1 (ko) * 2013-05-22 2015-01-12 부경대학교 산학협력단 텍스트 마커를 이용한 증강 현실시스템
KR20190114696A (ko) 2018-03-30 2019-10-10 주식회사 지오멕스소프트 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
KR20200108518A (ko) * 2019-03-04 2020-09-21 인하대학교 산학협력단 증강현실 기반 3d 프린터 유지보수 방법 및 시스템

Also Published As

Publication number Publication date
KR101522842B1 (ko) 2015-06-25

Similar Documents

Publication Publication Date Title
US10977818B2 (en) Machine learning based model localization system
CN108369742B (zh) 使用传感器融合的经优化对象扫描
KR102317247B1 (ko) 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
KR101410273B1 (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
Rekimoto Matrix: A realtime object identification and registration method for augmented reality
US10852847B2 (en) Controller tracking for multiple degrees of freedom
EP2915140B1 (en) Fast initialization for monocular visual slam
KR100953931B1 (ko) 혼합현실 구현 시스템 및 그 방법
CN106210538A (zh) 在用户设备上显示基于光场的图像的方法和装置及程序
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
CN107646109B (zh) 管理电子设备上的环境映射的特征数据
KR101227255B1 (ko) 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
US20150002419A1 (en) Recognizing interactions with hot zones
KR20150130483A (ko) 평면의 자연스러운 특성 타겟들의 인시츄 생성
KR20100006736A (ko) 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
KR100957189B1 (ko) 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체
KR20190027079A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
Afif et al. Orientation control for indoor virtual landmarks based on hybrid-based markerless augmented reality
KR20010055957A (ko) 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
JP2012146305A (ja) ウィンドウ状の拡張現実を提供する装置および方法
CN113228117A (zh) 创作装置、创作方法和创作程序
CN115309113A (zh) 一种零件装配的引导方法及相关设备
KR101001856B1 (ko) 동화상 입력장치를 이용한 3차원 가상현실 디스플레이 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee