KR20090087545A - 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체 - Google Patents

심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
KR20090087545A
KR20090087545A KR1020080012852A KR20080012852A KR20090087545A KR 20090087545 A KR20090087545 A KR 20090087545A KR 1020080012852 A KR1020080012852 A KR 1020080012852A KR 20080012852 A KR20080012852 A KR 20080012852A KR 20090087545 A KR20090087545 A KR 20090087545A
Authority
KR
South Korea
Prior art keywords
marker
augmented reality
frame
information
image
Prior art date
Application number
KR1020080012852A
Other languages
English (en)
Other versions
KR100957189B1 (ko
Inventor
김혜진
우운택
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020080012852A priority Critical patent/KR100957189B1/ko
Publication of KR20090087545A publication Critical patent/KR20090087545A/ko
Application granted granted Critical
Publication of KR100957189B1 publication Critical patent/KR100957189B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels

Abstract

본 발명은 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법, 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것으로서, 특히 마커의 위치를 표시하는 마커 프레임을 통하여 마커를 보다 용이하게 찾도록 하며, 마커 프레임에 설정된 위치 정보와 방위 정보를 이용하여 자연영상 이미지를 통한 증강현실 구현시 인식 과정(natural view recognition)과 추적 과정(marker frame tracking)의 속도를 모두 효율적으로 향상시키는 데에 그 목적이 있다. 이러한 본 발명은 증강현실 환경의 가상 객체(natural view)를 표상하는 마커와, 마커를 둘러싸며 마커의 위치 정보와 방위 정보를 표시하는 마커 프레임을 구비하는 심플 프레임 마커를 포함하는 것을 특징으로 하는 증강현실 시스템을 제공한다.
증강현실, 가상현실, 마커, 마커 프레임, 심플 프레임 마커(simple frame marker), 인식(natural view recognition), 추적(marker frame tracking), 자연영상 이미지

Description

심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법, 상기 방법을 구현하는 프로그램이 기록된 기록매체 {Augmented reality system using simple frame marker, and method therefor, and the recording media storing the program performing the said method}
본 발명은 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법, 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 보다 상세하게는, 마커의 위치를 표시하는 마커 프레임을 통하여 마커를 보다 용이하게 찾도록 하며, 마커 프레임에 설정된 위치 정보와 방위 정보를 이용하여 자연영상 이미지를 통한 증강현실 구현시 인식 과정(natural view recognition)과 추적 과정(marker frame tracking)의 속도를 모두 효율적으로 향상시키는 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법, 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다.
일반적으로 증강현실(AR; Augmented Reality)은 가상현실(VR; Virtual Reality)의 변화된 형태로서, 사용자가 보고 있는 실사 영상에 컴퓨터에서 생성한 가상 영상을 정합시키는 사용자 인터페이스 기술을 말한다. 비전 기반 증강현실은 광학기반 시스템이나 영상기반 시스템을 통하여 구현될 수 있다. 광학기반 시스템의 경우, 증강현실은 반투명 스크린인 HMD(Head Mounted Display)를 이용하여 실제 환경에 가상 물체를 투영시킴으로써 구현된다. 반면, 영상기반 시스템의 경우, 증강현실은 카메라를 통하여 취득된 영상에 가상의 정보를 합성시킴으로써 구현된다. 이러한 증강현실은 사용자에게 보다 향상된 현실감과 인지도를 제공하기에 현재 의학, 산업, 오락, 군사 분야 등에서 다양하게 응용되고 있다.
증강현실을 구현하기 위해 카메라 또는 추적 대상체의 움직임을 정확하게 추정하는 것은 매우 중요하다. 종래 일반적인 증강현실의 구현방법은 크게 다음과 같다. 첫째, 실세계에 존재하는 물체로부터 수집된 특징점들을 이용하여 증강현실을 구현한다. 이 방법은 매 프레임마다 영상을 전체 검색함으로써 특징점을 인식하고 이에 따라 추적 기능을 수행하게 된다. 따라서, 제공되는 이미지가 많거나 텍스처가 매우 복잡할 경우 인식 속도나 추적 속도가 급격히 저하되어 증강현실 구현에 많은 시간이 소요되는 문제점이 발생된다. 게다가, 수집된 특징점이 적거나 조명과 같은 환경 조건이 불안정한 경우에는 성능이 크게 떨어지는 문제점도 발생된다.
둘째, AR 마커(AR marker)를 이용하여 증강현실을 구현한다. AR 마커는 추적 대상체의 위치와 방위를 정확하게 추정하기 위해 인위적으로 실세계에 삽입되는데, 종래의 이러한 AR 마커는 인식 및 추적이 가능하도록 임의로 지정된 고유 아이디(unique ID)를 필요로 하였다. 이에 따라 종래에는 영상을 전체 검색하여 고유 아이디를 추출하고 이를 해석해야만 마커의 위치를 찾아내고 증강시킴이 가능하였다.
한편, 종래에는 3D 모델을 이용하여 증강현실을 구현함도 가능하였다. 그러나, 이 경우에는 도 1에서 보는 바와 같이 3D 영상(100)에 2D 이미지(110)를 매칭시킬 때에 위치 변동에 따른 자세 추정이 요구됨으로써 인식 과정과 추적 과정의 속도가 저하되는 문제점도 발생하였다. 이의 해결을 위해 AR 마커를 도입하게 되더라도 상기에서 언급한 문제점으로 인해 인식 과정 및 추적 과정에서의 속도 저하는 제거되지 않았다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 자연영상 이미지와 상기 자연영상 이미지를 둘러싸는 형태로 형성되는 마커 프레임으로 이루어지는 심플 프레임 마커(simple frame marker)를 구비하는 증강현실 시스템 및 그 방법, 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.
본 발명은 상술한 목적을 달성하기 위해 안출된 것으로서, 증강현실을 구현하는 시스템에 있어서, 증강현실 환경의 가상 객체(natural view)를 표상하는 마커와, 상기 마커를 둘러싸며 상기 마커의 위치 정보와 방위 정보를 표시하는 마커 프레임을 구비하는 심플 프레임 마커를 포함하는 것을 특징으로 하는 증강현실 시스템을 제공한다.
바람직하게는, 상기 증강현실 시스템은 상기 마커 프레임을 선행하여 검출한 후 상기 마커를 후행하여 인식하는 마커 인식부; 상기 마커 프레임을 이용하여 상기 마커를 추적하거나 자세 추정하는 심플 프레임 마커 추적부; 상기 마커 인식부 및 상기 심플 프레임 마커 추적부와 연동하여 상기 마커의 위치에 가상 영상을 증강시키는 영상 처리부; 및 상기 영상 처리부가 증강을 통해 생성한 영상을 표시하는 영상 표시부를 더 포함한다.
또한, 본 발명은 증강현실을 구현하는 시스템의 증강현실 구현방법에 있어서, (a) 촬영 또는 센싱을 이용하여 증강현실 환경의 가상 객체를 표상하는 마커를 둘러싸며 상기 마커의 위치 정보와 방위 정보를 표시하는 마커 프레임을 분별하는 단계; (b) 상기 분별된 마커 프레임이 가지는 위치 정보를 이용하여 상기 마커를 인식하는 단계; (c) 상기 (a) 단계에서 도출된 마커 프레임이 가지는 정보를 이용하여 상기 마커를 추적하거나 자세 추정하는 단계; (d) 상기 (a) 단계 내지 상기 (c) 단계의 결과를 이용하여 상기 마커의 위치에 가상 영상을 증강시키는 단계; 및 (e) 상기 증강을 통해 생성된 영상을 표시하는 단계를 포함하는 것을 특징으로 하는 증강현실 구현방법을 제공한다.
본 발명은 후술하는 구성 및 방법에 따라 다음과 같은 효과를 발생시킨다. 첫째, 자연영상 이미지의 위치를 표시하며 용이하게 추출될 수 있는 마커 프레임을 구비시킴으로써 마커 프레임 내부에 대해서만 특징점 수집을 수행할 수 있으며, 마커 프레임의 꼭지점을 추적점으로 활용하여 빠른 속도로 자세 추정을 실행할 수 있다. 이에 따라 인식 과정(natural view recognition) 및 추적 과정(marker frame tracking)에서의 속도의 효율적 향상이 가능하다. 둘째, 자연영상 이미지에 비해 인식이 수월한 마커 프레임을 이용하여 자연영상 이미지가 가지는 위치 정보와 방위 정보를 도출함으로써 증강을 위한 깊이 정보를 용이하게 취득할 수 있다. 또한, 자연영상 이미지가 상대적으로 정면에서 어느 정도 기울어졌는지 용이하게 파악할 수 있어 텍스처 이미지나 3D 모델 등을 자세별로 비교해서 인식하는 과정을 생략시킬 수 있다. 세째, 모바일 기기를 이용한 증강현실 구현에 적합하다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 2는 본 발명의 바람직한 실시예에 따른 증강현실 시스템의 내부구성 블록도이다. 상기 도 2에 도시한 바에 따르면, 본 발명의 바람직한 실시예에 따른 증강현실 시스템(200)은 심플 프레임 마커(simple frame marker: 210), 마커 인식부(220), 심플 프레임 마커 추적부(230), 영상 처리부(240) 및 영상 표시부(250)를 포함한다.
본 발명에 따른 증강현실 시스템(200)은 증강현실 환경에서 증강될 가상 객체(natural view)에 대응하도록 현실 환경에 구비되는 마커(211)와 상기 마커(211)를 둘러싸는 마커 프레임(212)으로 이루어진 심플 프레임 마커(210)를 배치시킴을 특징으로 한다. 상기에서, 마커(211)는 증강현실 환경의 가상 객체를 표시하는 로고(logo), 사진이나 그림(picture frame), 기호, 문자 등으로 나타날 수 있다. 그러면, 마커 인식부(220)가 시각 센서 등을 이용하여 증강하려는 가상 객체를 용이하게 파악할 수 있게 된다. 이러한 마커(211)는 본 발명의 실시예에서 자연영상 이 미지(natural view image)일 수 있다.
심플 프레임 마커(210)는 본 발명의 실시예에서 마커(211)와 상기 마커(211)의 테두리에 일정 두께를 가지는 틀 형상의 마커 프레임(212)으로 구성된다. 이러한 심플 프레임 마커(210)는 본 발명의 실시예에서 증강현실 환경에서의 가상 객체의 위치에 가시적 정보 또는 비가시적 정보로써 표현될 수 있다. 이하, 마커(211)와 마커 프레임(212)에 대해 자세히 설명한다.
마커 프레임(212)은 본 발명의 실시예에서 마커(211)가 가지는 위치 정보 및 방위 정보와 동일한 정보를 가지도록 구현된다. 이에 따라 마커 인식부(220)와 심플 프레임 마커 추적부(230)가 종전보다 기능 수행이 수월해지는 효과를 거둘 수 있다.
마커(211)는 일반적으로 위치 정보를 수반한다. 이에 따라 마커 프레임(212)은 본 발명의 실시예에서 마커(211)의 위치를 4개의 꼭지점 정보로써 나타낸다. 도 3에서 보는 바와 같이 증강현실 환경에서의 가상 객체가 위치할 자리에 마커(211)가 형성되면 마커 프레임(212)은 4개의 꼭지점 정보(311 내지 314)를 이용하여 마커(211)의 위치를 표시하게 된다. 그러면, 종전의 경우보다 훨씬 수월하게 마커(211)의 위치를 찾을 수 있을 뿐만 아니라 빠른 추적도 실현시킬 수 있게 된다.
한편, 마커 프레임(212)은 본 발명의 실시예에서 마커(211)의 위치를 2개 또는 3개의 꼭지점 정보로써 나타냄도 가능하다. 특히, 마커 프레임(212)이 증강현실 환경에서의 가상 객체의 위치를 2개의 꼭지점 정보로써 나타낼 경우에는 상기 2개의 꼭지점이 대각선 방향에 위치함에 유의한다. 도 3을 참조하면 이 경우의 2개의 꼭지점은 도면부호 311과 313 또는 도면부호 312와 314가 해당될 수 있겠다. 한편, 상기의 꼭지점 정보는 평면 좌표값 정보(x, y)나 입체 좌표값 정보(x, y, z)로 나타낼 수 있다.
마커 프레임(212)은 본 발명의 실시예에서 기울기를 고려한 방위 정보를 이용하여 가상 영상을 증강시킬 수 있게 한다. 도 4를 참조하면, (a)에 표시된 마커 프레임(212)의 방위 정보(즉, x축과 y축과 z축에 대한 좌표값)에 따라 (b)와 같이 프린터의 3D 모델(400)을 증강 구현할 수 있게 된다.
마커 인식부(220)는 본 발명의 실시예에서 심플 프레임 마커(210)를 촬영 인식하는 기능을 수행한다. 구체적으로, 마커 인식부(220)는 심플 프레임 마커(210)의 마커 프레임(212)을 먼저 검출하고, 이후 상기 마커 프레임(212)을 통해 마커(211)를 인식하는 기능을 수행한다.
마커 인식부(220)는 심플 프레임 마커(210)가 가시적 정보로 표현됨을 고려할 경우 RGB 카메라(또는 광 센서나 시각 센서)를 포함하여 구현될 수 있다. 반면, 마커 인식부(220)는 심플 프레임 마커(210)가 적외선 반사 코팅 재료(IR reflective coating materials) 등을 이용하여 비가시적 정보로 표현됨을 고려할 경우 상기 RGB 카메라 외에 적외선 카메라(또는 IR 센서)를 더 포함하여 구현될 수 있다.
한편, 본 발명의 실시예에서 심플 프레임 마커(210)(또는 마커 프레임(212))의 크기가 매우 작을 경우 인식 거리 문제가 대두될 수 있다. 이를 위해 마커 인식부(220)는 광학 줌 카메라를 더 구비할 수 있으며, 용이한 추적을 위해 계산에 참 조할 파라미터를 삽입시킴도 가능하다.
심플 프레임 마커 추적부(230)는 본 발명의 실시예에서 마커 프레임(212)을 이용하여 마커(211)를 추적하고 자세를 추정하는 기능을 수행한다. 이를 위해 심플 프레임 마커 추적부(230)는 모든 마커 프레임(212)의 꼭지점 정보를 항시 확보하고 있음이 바람직하다.
영상 처리부(240)는 본 발명의 실시예에서 심플 프레임 마커(210)(구체적으로는 마커(211))가 표시된 위치에 사전에 준비된 가상 영상을 증강하여 새로운 영상을 생성하는 기능을 수행한다. 상기에서, 증강은 바람직하게는 렌더링(rendering)을 포함한다. 렌더링이란 화면에 그려지는 실제 물체의 각 면에 3차원 컴퓨터그래픽(CG)을 통한 색깔이나 효과를 부여하는 것을 말하며, 이를 통해 화면상의 실제 물체에 대한 입체감 및 사실감을 향상시킬 수 있다.
영상 처리부(240)는 상기 기능 수행을 위해 다음 기능을 추가적으로 수행한다. 즉, 영상 처리부(240)는 심플 프레임 마커 추적부(230)와 연동하여 마커 프레임(212)을 이용하여 마커(211)의 위치 및 자세를 실시간으로 감시한다. 이를 통해 영상 처리부(240)는 언제라도 증강현실 구현을 통한 가상 객체 증강을 실행할 수 있게 된다.
한편, 본 발명의 실시예에서 마커(211)가 특정 로고(예컨대, HP)를 나타낼 경우 상기 특정 로고 위치에 증강될 가상 객체가 무엇인지를 분별함이 필요하다. 이에 대해 영상 처리부(240)는 본 발명의 실시예에서 공간맵을 센서로 구성하고 공간맵에 대한 컨텍스트(context) 정보와 결합하면 이 문제를 해결할 수 있게 된다.
영상 표시부(250)는 본 발명의 실시예에서 영상 처리부(240)로부터의 영상을 화면에 출력하는 기능을 수행한다. 이러한 영상 표시부(250)의 예로는 통상의 모니터를 비롯하여 HMD(Head Mounted Display), 크리스탈 아이즈(Crystal Eyes) 등의 입체안경, 안경형 HMD(Optical See-Through HMD) 등이 있을 수 있으며, 휴대용 모바일 기기(예컨대, 휴대폰, PDA 등)의 액정표시 장치인 것도 가능하다.
다음으로, 본 발명의 바람직한 실시예에 따른 증강현실 시스템(200)의 증강현실 구현방법을 설명한다. 도 5는 본 발명의 바람직한 실시예에 따른 증강현실 시스템의 증강현실 구현방법을 도시한 순서도이다.
도 5를 참조하면, 먼저 마커 인식부(220)가 촬영(또는 센싱)을 통해 마커 프레임(212)을 탐색한다(S500). 이후, 마커 인식부(220)는 S500 단계의 결과에서 얻어진 데이터를 바탕으로 마커 프레임(212)의 위치를 결정한다(S505). 예컨대, 마커 프레임(212)의 꼭지점 정보 도출이 이에 해당한다고 할 수 있다.
이후, 마커 인식부(220)는 S505 단계의 결과를 토대로 마커(211)를 인식한다(S510). 마커(211)는 마커 프레임(212)의 내부에 위치하는 바, 종래보다 수월하게 인식 과정을 수행할 수 있게 된다.
다음으로, 심플 프레임 마커 추적부(230)가 마커 프레임(212)을 이용하여 마커(211)를 추적하고 자세를 추정한다(S515). 이때의 심플 프레임 마커 추적부(230)는 마커 프레임(212)의 꼭지점 정보(및 파라미터)를 활용한다. 이후, 영상 처리부(240)는 상술한 3가지 추가 기능을 바탕으로 마커(211) 위치에 가상 영상(예컨대, 3D CG 컨텐츠)을 증강시킨다(S520). S520 단계를 통한 상호작용으로 가상 영상 이 반영된 새로운 영상이 생성되며, 이는 영상 표시부(250)를 통해 표출된다(S525).
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명에 따른 증강현실 시스템은 자연영상 이미지와 상기 자연영상 이미지를 둘러싸는 마커 프레임으로 이루어진 심플 프레임 마커를 통하여 자연영상 이미지를 기반으로 한 증강현실 구현시 인식과 추적의 속도를 모두 효율적으로 향상시 키는 효과를 거둘 수 있다. 모델 하우스에서 가상 영상을 이용하여 가전 제품을 배치시키거나, 스포츠 중계방송시 경기장 바닥에 스코어나 팀(또는 선수)에 대한 정보를 제공하는 등 증강현실이 다양한 분야에 적용될 수 있음을 감안할 때, 본 발명에 따른 증강현실 시스템의 산업상 이용가능성은 매우 높을 것으로 예측된다. 더욱이, 이러한 증강현실 시스템은 유비쿼터스 컴퓨팅 시대를 앞당기는 데에도 이바지할 것으로 기대된다.
도 1은 종래의 증강현실 시스템의 문제점을 설명하기 위한 개념도,
도 2는 본 발명의 바람직한 실시예에 따른 증강현실 시스템의 내부구성 블록도,
도 3 및 도 4는 본 발명의 바람직한 실시예에 따른 증강현실 시스템의 특징을 설명하기 위한 개념도,
도 5는 본 발명의 바람직한 실시예에 따른 증강현실 시스템의 증강현실 구현방법을 도시한 순서도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
200 : 본 발명에 따른 증강현실 시스템 210 : 심플 프레임 마커
211 : 마커 212 : 마커 프레임
220 : 마커 인식부 230 : 심플 프레임 마커 추적부
240 : 영상 처리부 250 : 영상 표시부

Claims (10)

  1. 증강현실을 구현하는 시스템에 있어서,
    상기 증강현실 환경의 가상 객체(natural view)를 표상하는 마커와, 상기 마커를 둘러싸며 상기 마커의 위치 정보와 방위 정보를 표시하는 마커 프레임을 구비하는 심플 프레임 마커
    를 포함하는 것을 특징으로 하는 증강현실 시스템.
  2. 제 1 항에 있어서,
    상기 마커는 상기 가상 객체를 표시하는 그림, 문자 및 기호 중 어느 하나로 구현되는 것을 특징으로 하는 증강현실 시스템.
  3. 제 1 항에 있어서,
    상기 마커 프레임은 상기 마커의 위치 정보로써 좌표값을 이용하여 표시하는 꼭지점 정보를 2개 내지 4개 중 어느 하나의 갯수만큼 가지며, 상기 꼭지점 정보가 2개일 경우 상기 2개의 꼭지점 정보를 대각선 방향에 위치한 두 꼭지점에서 도출하는 것을 특징으로 하는 증강현실 시스템.
  4. 제 1 항에 있어서,
    상기 마커 프레임을 선행하여 검출한 후 상기 마커를 후행하여 인식하는 마 커 인식부;
    상기 마커 프레임을 이용하여 상기 마커를 추적하거나 자세 추정하는 심플 프레임 마커 추적부;
    상기 마커 인식부 및 상기 심플 프레임 마커 추적부와 연동하여 상기 마커의 위치에 가상 영상을 증강시키는 영상 처리부; 및
    상기 영상 처리부가 증강을 통해 생성한 영상을 표시하는 영상 표시부
    를 더 포함하는 것을 특징으로 하는 증강현실 시스템.
  5. 제 1 항에 있어서,
    상기 마커 프레임은 비가시적으로 표시되는 것을 특징으로 하는 증강현실 시스템.
  6. 제 1 항에 있어서,
    상기 마커는 자연영상(natural view)에 대한 이미지인 것을 특징으로 하는 증강현실 시스템.
  7. 증강현실을 구현하는 시스템의 증강현실 구현방법에 있어서,
    (a) 촬영 또는 센싱을 이용하여 상기 증강현실 환경의 가상 객체를 표상하는 마커를 둘러싸며 상기 마커의 위치 정보와 방위 정보를 표시하는 마커 프레임을 분별하는 단계;
    (b) 상기 분별된 마커 프레임이 가지는 위치 정보를 이용하여 상기 마커를 인식하는 단계;
    (c) 상기 (a) 단계에서 도출된 마커 프레임이 가지는 정보를 이용하여 상기 마커를 추적하거나 자세 추정하는 단계;
    (d) 상기 (a) 단계 내지 상기 (c) 단계의 결과를 이용하여 상기 마커의 위치에 가상 영상을 증강시키는 단계; 및
    (e) 상기 증강을 통해 생성된 영상을 표시하는 단계
    를 포함하는 것을 특징으로 하는 증강현실 구현방법.
  8. 제 7 항에 있어서,
    상기 (b) 단계에서의 마커는 상기 가상 객체를 표시하는 그림, 문자 및 기호 중 어느 하나로 구현되는 것을 특징으로 하는 증강현실 구현방법.
  9. 제 7 항에 있어서,
    상기 (a) 단계에서의 마커 프레임은 상기 마커의 위치 정보로써 좌표값을 이용하여 표시하는 꼭지점 정보를 2개 내지 4개 중 어느 하나의 갯수만큼 가지며, 상기 꼭지점 정보가 2개일 경우 상기 2개의 꼭지점 정보를 대각선 방향에 위치한 두 꼭지점에서 도출하는 것을 특징으로 하는 증강현실 구현방법.
  10. 컴퓨터로 판독 가능한 기록매체에 있어서,
    제 7 항 내지 제 9 항 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록되는 기록매체.
KR1020080012852A 2008-02-13 2008-02-13 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체 KR100957189B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080012852A KR100957189B1 (ko) 2008-02-13 2008-02-13 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080012852A KR100957189B1 (ko) 2008-02-13 2008-02-13 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체

Publications (2)

Publication Number Publication Date
KR20090087545A true KR20090087545A (ko) 2009-08-18
KR100957189B1 KR100957189B1 (ko) 2010-05-11

Family

ID=41206509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080012852A KR100957189B1 (ko) 2008-02-13 2008-02-13 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체

Country Status (1)

Country Link
KR (1) KR100957189B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012134069A2 (ko) * 2011-03-31 2012-10-04 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
WO2012093816A3 (ko) * 2011-01-04 2012-11-08 (주)올라웍스 생성된 이미지에 포함된 객체에 대한 콜렉션을 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
WO2012165692A1 (en) * 2011-05-30 2012-12-06 Postmedia Co., Ltd. Stereoscopic image display device with stereoscopic digital information display function and method of displaying stereoscopic digital information in stereoscopic image
KR101257889B1 (ko) * 2011-04-26 2013-04-23 한국과학기술원 휴대용 단말기의 사용자 입력 인터페이스 장치 및 방법
KR101325757B1 (ko) * 2010-07-09 2013-11-08 주식회사 팬택 가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법
KR20190026267A (ko) * 2017-09-04 2019-03-13 삼성전자주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101295862B1 (ko) * 2010-11-25 2013-08-12 에스케이플래닛 주식회사 증강 현실 영상을 제공하는 노래방 장치 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1741059B1 (de) * 2004-04-26 2013-10-02 Siemens Aktiengesellschaft Verfahren zur bestimmung einer position eines markers in einem augmented-reality-system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101325757B1 (ko) * 2010-07-09 2013-11-08 주식회사 팬택 가상 마커 생성을 이용한 증강 현실 제공 장치 및 방법
WO2012093816A3 (ko) * 2011-01-04 2012-11-08 (주)올라웍스 생성된 이미지에 포함된 객체에 대한 콜렉션을 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
WO2012134069A2 (ko) * 2011-03-31 2012-10-04 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
WO2012134069A3 (ko) * 2011-03-31 2012-11-29 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
KR101257889B1 (ko) * 2011-04-26 2013-04-23 한국과학기술원 휴대용 단말기의 사용자 입력 인터페이스 장치 및 방법
WO2012165692A1 (en) * 2011-05-30 2012-12-06 Postmedia Co., Ltd. Stereoscopic image display device with stereoscopic digital information display function and method of displaying stereoscopic digital information in stereoscopic image
KR101242551B1 (ko) * 2011-05-30 2013-03-19 (주)포스트미디어 입체 디지털 정보 표시 기능을 갖는 입체 영상 디스플레이 장치 및 입체 영상에서 입체 디지털 정보 표시 방법
KR20190026267A (ko) * 2017-09-04 2019-03-13 삼성전자주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품

Also Published As

Publication number Publication date
KR100957189B1 (ko) 2010-05-11

Similar Documents

Publication Publication Date Title
CN106875431B (zh) 具有移动预测的图像追踪方法及扩增实境实现方法
KR100957189B1 (ko) 심플 프레임 마커를 이용하는 증강현실 시스템 및 그 방법,상기 방법을 구현하는 프로그램이 기록된 기록매체
KR100932634B1 (ko) 증강 현실을 이용한 3차원 웹 지도 서비스 방법 및 그시스템
US8933966B2 (en) Image processing device, image processing method and program
US8983184B2 (en) Vision image information storage system and method thereof, and recording medium having recorded program for implementing method
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
KR101227255B1 (ko) 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
Pucihar et al. Exploring the evolution of mobile augmented reality for future entertainment systems
CN107646109B (zh) 管理电子设备上的环境映射的特征数据
US9361731B2 (en) Method and apparatus for displaying video on 3D map
KR101410273B1 (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
CN111833458B (zh) 图像显示方法及装置、设备、计算机可读存储介质
EP3906527B1 (en) Image bounding shape using 3d environment representation
JP2015001875A (ja) 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
CN113359986B (zh) 增强现实数据展示方法、装置、电子设备及存储介质
CN116057577A (zh) 用于增强现实的地图
Yu et al. Key technology and application research on mobile augmented reality
KR101522842B1 (ko) 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
WO2023124691A1 (zh) 增强现实场景的展示
CN111569421A (zh) 虚拟场景变化同步方法、系统、vr播放设备及存储介质
CN116524154A (zh) 一种ar系统及ar设备
CN115309113A (zh) 一种零件装配的引导方法及相关设备
CN110827411B (zh) 自适应环境的增强现实模型显示方法、装置、设备及存储介质
Treskunov et al. Range Camera for Simple behind Display Interaction.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130313

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140421

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee